ガートナー流のAIセキュリティ「AISP」とは

　ガートナーでは、AIのリスクを継続的に管理するフレームワークとして「AI TRiSM」を提唱している。その中のセキュリティ領域を重点的にカバーするソリューションについて、「AIセキュリティ・プラットフォーム（AISP）」という新しい市場カテゴリを設けている。

　シュー氏は、AISPを近年急速に台頭している分野として位置付け、同市場の製品群の多くがAI利用や構築に伴うリスクを技術的に防御・管理する機能を持つと説明する。

　シュー氏によると、セキュリティコントロールを考えるにあたり、最初に注視すべきはリスクだという。中でも、AIに関連するリスクには大きく2種類存在する。1つは「AIネイティブのリスク」であり、代表的なものがプロンプト・インジェクションだ。これは従来存在しなかった新しい脅威で、AIやLLMの登場によって初めて顕在化したものである。

　そして、もう1つが「AIで増幅されるリスク」だ。これは、従来から存在していたが、AI技術の進展により影響が増幅されたものだとシュー氏は話す。

「この二分法は、AIセキュリティを論じる上での基本的な整理軸となります」（シュー氏）

　また、AIの採用形態もリスクの把握に欠かせないという。その利用パターンは大きく2つに分けられる。1つChatGPTのような既存サービスを「利用する」場合であり、もう1つは自らAIアプリケーションを「構築する」場合である。

「AIの利用と構築ではリスクの性質が異なるため、必要となるセキュリティコントロールも変化します。この2種類のリスクと2種類の採用パターンを掛け合わせた「2×2」の視点で整理し、それぞれに適合した対策を講じることが不可欠です」（シュー氏）

　ガートナーは、AISPの機能構造を図式化したモデルとして「AIセキュリティのロケット」を説明に用いることが多い。これは、ロケットの形に見立てて階層的にAIセキュリティを整理したものだ。


　中央のオレンジ色部分がAISPであり、スタートアップ各社が構築した機能群を示している。また左側には「AI利用用のコントロール」があり、これはサードパーティAI利用に伴うリスクを軽減する。右側には「AIアプリケーションの保護」が位置し、自社で構築する場合に必要な防御策を表している。さらに基盤部分には、基本的なセキュリティとリスクマネジメントが存在し、全体を支えているという構図だ。

AI利用のコントロール「6要素」

　続いて、シュー氏はAIセキュリティのロケット内の各枠について解説した。まず、AISPの一部である「AI利用のコントロール」について。対象となるのは特にサードパーティのサービスであり、以下の6種類に分けられる。


　それぞれ順番に見ていこう。

■AIの検出／棚卸し
　これはWebプロキシーの基本的な仕組みと似ており、ブラウザーのエクステンション、OSエージェント、あるいはインラインプロキシーとしてデプロイできるものを指す。

「たとえば、Microsoft 365のCopilotをサイドパネルでログインするとWebソケットを利用します。このとき、通常のチャンネルではなく、サイドパネルは別の通信路を用いる場合があります。そのため既存のプロキシベンダーの多くが対応に苦労しています」（シュー氏）

　また、サイト・キュレーションのベンダーも登場している。これらはチャットボットを自動的に識別し、トラフィックを自動で記録できる。さらに何千ものサードパーティAIアプリを迅速に扱えるようになっている。利用規約をスクレーピングして「入力データを学習に使っているか」を確認できる仕組みもある。

■AIアクセス・コントロール／DLP
　シュー氏はこの項目について、「ユーザーが何にアクセスできるのか、できないのかを制御し、さらにポリシーをユーザーのプロンプトに組み込むことで、機密情報をChatGPTに送信しないようにする仕組みが求められます。禁止されていれば自動的にブロックされるように設定できる点も重要です」と説明する。

　また、DLPではファイルアップロードの制御も可能であり、ChatGPTをはじめ、サービスによってはファイルのアップロードを認めているものも存在することから利用制御の強化も欠かせないという。

　さらに「コンテキストウィンドウ」への対応も必要になるという。これは1つのプロンプトにどれだけの情報を送れるかを示す制限を指す。

　加えて「AIリスクデータベース」の重要性にも留意する必要があるとシュー氏は話す。

「AIセキュリティスタートアップの中には、サードパーティのAIサービスを何千もカタログ化している企業が存在します。その一方、自社マニュアルをベースにした場合は数百単位となるなど、その規模には大きな違いがあります」

■トピック・モデレーション
　「トピック・モデレーション」はLLMに固有の規定で、社員が扱うべきトピックを制御する仕組みを指す。

「たとえばMicrosoft Copilotを利用する際、CEOの給与に関する質問はしてほしくないのです。公開企業であっても機密に関わる情報です」（シュー氏）

　実際、M＆Aや財務、HR、給与関連など、トピックごとにポリシーを設定し、不要なプロンプトをブロックできる機能を備えている。さらに業界固有のトピックや、言語サポートを日本語に限定するなどのカスタマイズも求められるという。

Microsoft Copilot利用時の「ある注意点」

■自動AIセキュリティ・テスト
　このテストは生成AIのセキュリティを検証するプロンプトベースのテストであり、Microsoft 365 Copilotに焦点を当てている。

「AIを安全に信用するためには、もちろん提供側のMicrosoftが最も大きな責任を負うことにあります。ただ、利用者側でもテストを行い、プロンプト・インジェクションのような攻撃を防ぐ必要があります」（シュー氏）

　シュー氏は「Copilotを利用する場合、過剰共有に対するテストを実施しなければなりません。どのような問題が共有されているか、テナント内で使ってはいけない問題が含まれていないかを確認することが重要です」と説明する。

■トピック・アクセス・ガバナンス
　トピック・アクセス・ガバナンスとは、生成AIやCopilotのようなAIツールを利用する際、「誰（どの役割のユーザー）が、どのトピックについて質問できるのか／できないのか」を管理・制御する仕組みを指す。

　TAGではユーザーの役割とトピックとの組み合わせによって有害な情報が出てしまう可能性がある。たとえば「予定されている買収や合併に関する質問は認められない」「人事部が収益額をCopilotに問うのも公開企業のポリシー違反につながりかねない」などの例が挙げられる。

　そのため、「どのようにアクセスを管理するか」「どのようにユーザーを管理するか」「どのような質問を許可し、禁止するか」を定義し、振り分ける仕組みが欠かせないとシュー氏は話す。

　シュー氏によると、Microsoftは公式に「防御側の立場」を公式に明言しておらず、利用方法によっては高リスクであるため常に警戒が必要であると説明する。 【次ページ】セキュアなAI利用では基本的なセキュリティ対策が不可欠