- 2026/07/21 08:00 掲載
OpenAIがAIの脆弱性を自動探索する内部モデル「GPT-Red」を発表
AI自身に悪意のある指示を生成させて攻撃と防御の訓練を繰り返す
GPT-Redの訓練には、攻撃側と防御側を競わせる自己対戦方式の強化学習が採用されている。攻撃役であるGPT-Redは、標的となるAIモデルを欺いて誤った行動を取らせることで報酬を得る。一方の防御側モデルは、攻撃を退けつつ本来のタスクを完了させることで報酬を得る仕組みとなっている。防御側のモデルがセキュリティを強化するにつれて、GPT-Redはより巧妙で多様な攻撃手法を編み出すように学習を進める。
その攻撃能力は人間の専門家によるレッドチームを大きく上回っている。間接的なプロンプトインジェクションの環境を再現した社内評価において、GPT-Redは84%のシナリオで攻撃に成功した。同じ条件で人間の専門家チームが攻撃を成功させた割合は13%であった。また、実運用に近い環境として社内に設置されたAI自動販売機エージェントに対するテストでは、高額商品の価格を最低額に変更したり、他人の注文を取り消したりといった3つの攻撃目標をすべて達成した。
さらにGPT-Redは、これまで認識されていなかった新しい攻撃手法を自律的に発見している。偽の思考連鎖と呼ばれるこの手法は、AIが複雑な問題を処理する際に内部で保持する思考の履歴に偽の情報を挿入し、標的のAIに誤った判断を下させるものである。この手口は従来のモデルに対して高い成功率を示したが、GPT-Redを用いた訓練を経た最新モデルであるGPT-5.6 Solでは、成功率が大幅に低下している。GPT-5.6 SolがGPT-Redによる直接的なプロンプトインジェクションに屈した割合は0.05%であり、最も難易度の高い評価においても失敗件数は以前のモデルの6分の1に抑えられている。
一方で、GPT-Redにも技術的な限界が存在する。複数回にわたる対話を通じた攻撃や、画像に文字を埋め込むような手法に対しては十分な成果を挙げておらず、人間の専門家による検証作業を引き続き併用していく方針が示されている。
なお、GPT-Redは外部向けの製品として提供されることはない。高度な攻撃能力を持つモデルが外部に流出して悪用されるリスクを防ぐため、一般提供モデルとは完全に分離された環境下で、自社モデルの安全性向上のためだけに使用される。
AI・生成AIのおすすめコンテンツ
AI・生成AIの関連コンテンツ
PR
PR
PR