セキュアなAI利用では基本的なセキュリティ対策が不可欠

　ここまで、AI利用のコントロールについて解説してきたシュー氏だが、忘れてはならないのは、「まずセキュリティを必ずクリーンな形にしておくこと」と語る。

　各要素には役割があり、スタートアップが提供する機能も確認が求められるからだ。AIセキュリティ・テストは手動でも可能だが時間がかかるため、自動化してAIに送る仕組みが重要となるという。

　シュー氏は、社内のレッドチーム向けの高度なタスクには手動によるAIセキュリティ・テストを実施し、基本的なセキュリティ／リスクマネジメントには「SaaSセキュリティ・ポスチャ・マネジメント（SSPM）」や「サードパーティ・リスクの管理（TPRM）」を利用することを推奨する。具体的には、SSPMによってChatGPTの一時チャットの会話内容が漏れないようにするため、テナント単位でセッティングしたり、TPRMによって「組織データでトレーニングを行わない」こと、そして「自社の知見を他者に使わせない」ことが挙げられるという。

AIアプリケーションの保護の5要素

　次に、シュー氏はAISPの構成部分である「AIアプリケーションの保護」について触れた。ここでは、どのようにしてお客さまを守り、カスタム構築されたAIを安全に利用していくかが焦点となる。シュー氏によると、大きく以下の5種類に分けられるという。


　順に見ていこう。


■AIの検出／棚卸し
　まず重要なのが「AIの検出や棚卸し」である。コード・リポジトリやデータ・パイプライン、AIエンジニアリング・プラットフォームを用いてAIアプリを特定する。「Azure AI Foundry」「AWS Bedrock」、API接続などの領域も対象に含まれる。

■モデルのスキャン
　モデル自体をダウンロードしてスキャンし、品質改善に役立てることもできる。ただ、ここでは「悪意のあるpickleファイル」に注意が必要だ。これは、AIモデルの配布形式であるPickleファイルの欠陥を突いた巧妙な攻撃手法だ。

　シュー氏は、インポートされた悪意のあるライブラリがないか、従来のマルウェアがないかなどモデルスキャンによって、サプライチェーン全体が感染しないようにすることが極めて重要であると説く。

■RAG（検索拡張生成）セキュリティ
　次に「RAG（検索拡張生成）セキュリティ」である。RAGは、AIがランタイムで外部のベクターデータベースからデータを取得する仕組みだ。生成AIが扱う非構造化データの格納・管理・照会で利用されるベクターデータベースにはロールベースのアクセス・コントロールが備わっていないため、チャンクレベルでの認可が求められるとのことだ。

　たとえば、メタデータを介したユーザーIDからチャンクに関連付けることで、ユーザーアカウントごとの制御が可能になる。

■LLMセキュリティ・ガードレール
　シュー氏がおそらく最も有名なものと挙げたのが「LLMにおけるガードレール（Guardrails）」だ。これはAIにおける基本的な入出力フィルターサービスであり、問題のある情報を入力段階や出力段階で制御する仕組みである。

　具体的には、入力段階でのプロンプト・インジェクションをブロックし、出力段階ではトピック・モデレーションによって社員がチャットボットとの対話で扱うべきでない話題を制限する。また、有害なコンテンツや文化的に不適切な情報の出力を遮断する役割も果たす。さらに個人識別情報（PII）の漏えい防止や、システムプロンプトそのものを守ることも重要な対象となる。同氏は「AIハッキングの第一歩はシステムプロンプトの侵害から始まります」と強調する。

■自動AIセキュリティ・テスト
　シュー氏は「AIアプリを自身で構築する場合、そのセキュリティ・テストは一次的に自分たちの責任となります」と強調する。購入製品であれば責任は二次的にとどまるが、自社構築では主体的に取り組む必要があるからだ。その中で重要になるのが、自動化されたAIセキュリティ・テストだ。

　テストの基本はプロンプトベースであり、さまざまなテスト用プロンプトをアプリに送って挙動を確認する。生成方法には違いがあり、ベンダー独自のアルゴリズム、自動生成AI、AIエージェント、あるいはセキュリティリサーチャーによる手作業などがあるという。

「ソリューションによっては、ライブラリの規模も1000件から2000件までさまざまだが、単純な数の比較で優劣を判断できるわけではありません。重要なのは実際の攻撃をどれだけ現実的に再現できるかです」（シュー氏）

　特に、日本市場においては、日本語のテストプロンプトが不可欠と指摘する。海外で使われる言語のプロンプトを単に翻訳しても役に立たないから。各国・各業界の文脈に即したテストが求められるが、これに関する業界標準はまだ存在しない。だからこそ、自社固有のビジネスロジックを反映したカスタム化が重要になると説く。

「基本対策」が重要なワケ

　続いて、シュー氏は「AISPベンダーやセキュリティスタートアップの機能を語る一方で、基本的なセキュリティを忘れてはなりません」と説明した。特に重要なのがセキュアなベクトルデータベースだという。ベクトルデータベースはAIアプリだけでなく、類似性検索やECサイトの商品推薦など幅広い領域で利用されており、セキュリティ機能を組み込むことが前提となるからだ。

　また、サードパーティの仕組みを用いてベクトル埋め込み内容を暗号化し、送信前に保護する方法も存在する。さらにAzure、Google、Oracle、AWSといったクラウド基盤上でAIアプリを扱う際には、「CNAPP（クラウド・ネイティブ・アプリケーション保護プラットフォーム）」によって、インフラが正しく構成されているかを確認しなければならないという。「セキュリティにおけるハイジーンが欠かせません。構成ミスがあれば必ず報告しなければならないのです」（シュー氏）と念を押す。

　ここまで、AIセキュリティソリューションについて見てきたが、今後の動向についてシュー氏は、「AIエージェント」に着目していると話す。中でも「MCP（Model Context Protocol）」のセキュリティは新しい分野で扱い方の検討が必要になるとのことだ。AIのセグメンテーションを設計し、外部ユーザーのエージェント経由でデータベースが破壊され得るリスクを想定できる。