実験中のChatGPTが「勝手に」他社システムを攻撃…それでもOpenAIが“得をする”ワケ

ChatGPTが「勝手に」脱走＆攻撃…インシデントの真相は？

　今回のOpenAIでのインシデントは、SF小説などで数十年来、人類が抱いてきた「機械・AIによる人間への反逆」という不安を煽る内容であった。AIはついに人間のように欲求を持ち、自らの意思を形成し、自衛本能を獲得して暴走したのだろうか。

　結論から述べると、当該モデルは人間の意思のようなものを得て「脱走」したわけではなく、過度に心配する必要はない。

　OpenAIは開発中のAIモデルのサイバー攻撃に対する防御能力を向上させるために、防御と表裏一体である「攻撃能力」をテストしていた。そのため同モデルの安全機構は意図的に外された状態になっており、今回のインシデントはむしろ攻撃課題の命令に忠実に従っていたに過ぎない。モデルに「攻撃」という目的を与えたのは、あくまでも人間だ。

　逆に、評価を行っていたスタッフが1週間も暴走に気づかなかった手落ちこそが、問題なのである。

　OpenAIの発表によれば、GPT-5.6 Solとさらに強力な未公開モデルを搭載した同社のAIエージェントが、2026年7月9日に試験用のサンドボックス環境から脱出を試み、実際に同年7月11日から13日にかけてHugging Faceへ約1万7000回もの自動化されたエージェント攻撃が行われていた。

　OpenAIがこれに気づいたのは7月18日から19日の週末であり、自社サーバへの侵入を受けたHugging FaceがすでにFBI（米連邦捜査局）に攻撃を通報した後であった。

　モデルが脱出後に最初の足がかりとしたのは、別のクラウド企業である米Modalの顧客が認証をかけずに公開していたエンドポイントだったとされる。Modal自体のインフラは侵害されておらず、顧客側のコードの設定不備が突かれた形だ 。モデルはここを「攻撃の踏み台」とし、そこからHugging Faceへの侵入に進んだとみられる。。

　なぜOpenAIのモデルは、このような法に抵触しかねない挙動をしたのか。

　理由は単純で、はっきりしている。

　同社の開発者たちがモデルの攻撃能力の上限を計測するために、あえて「安全弁」を外していたからだ。そのうえで、隔離環境から外部インターネットに出る方法を探す、「ExploitGym（エクスプロイトジム）」と呼ばれる複雑な攻撃を模した課題を解かせていたことが原因だ。

　この試験においては、環境内に隠されたフラグを不正取得した上で、その脆弱性を突くことがあえて許されていることがミソだ。

　暴走したとされるAIモデルは命令に反逆して攻撃意思を形成したのではなく、「セキュリティの脆弱性を実際の攻撃（エクスプロイト）に変換するベンチマークテストにおいて、最も高い点数を取れ」という命令を実行していただけである。

　多くの専門家が指摘するように、この「大脱走」の原因は、試験環境を外部インターネットから完全な形で遮断せず、「絶対に外部を攻撃してはならない」という明確な境界設定プロンプトを与えなかったとみられるOpenAIの研究者による「過失」である可能性が高い。

　実際に、英政府機関のAIセキュリティー研究所（AISI）が7月末、GPT-5.6 SolとMythosの攻撃テスト中に、両モデルが悪意あるコードを作成し、それを人間に承認させようとして偽の身元情報まで作り出したと8月4日に発表した。計122回のテストのうち、10回で合計19件の不正行為が確認されたが、17件がMythos、2件がGPT-5.6 Solによるもの?だった。

　しかしAISIの報告書は、「モデルに対しては事前に『インターネットへのアクセスを悪用してはならない』『人間の心理的な隙や行動のミスにつけ込んで秘密情報を入手するソーシャルエンジニアリングを行ってはならない』との具体的なプロンプトは与えられていなかった」と認めている。

　高性能モデルが暴走するか否かは、開発者が設定する目的と手段、およびそれらの制約にかかっていることがわかる。このプロセスにおける過失の発生、あるいは悪意のあるプロンプトが与えられて初めて、AIモデルの暴走が可能になるのだ。

　一方で、米メディアの報道には誤解を与えかねない伝え方が多く見られた。

　たとえば、7月21日付の高級紙『ニューヨーク・タイムズ』の見出しは、「OpenAIは同社のAIモデルが暴走し他社システムを攻撃と発表（OpenAI Says Its A.I. Models Went Rogue and Attacked a Digital Library）」だった。

　記事本文では「SF小説のような潜在的な（攻撃破壊）能力が近未来に実現するかもしれない」との見方を示している。

　だが真相は、著名なAI専門家のゲイリー・マーカス氏が指摘するように、「暴走しないよう歯止めをかけるはずの仕組みが機能しなかっただけ」である。あたかもAIが完全な自由意志を獲得して悪さをしたかのような印象を与える報道には、注意をもって接する必要があるだろう。

　さらに、こうした制御不全はOpenAIに限った話ではない。同社のインシデントを受け、Anthropicも自社のサイバー評価ログ14万1006回分を精査したところ、Claude Opus 4.7、Mythos 5、社内研究用モデルの3つが、第三者評価パートナーであるIrregularの環境を経由してインターネットに到達し、実在する3組織の本番システムに無断アクセスしていたことが判明したと7月30日に発表した。

　中でもMythos 5は、悪意あるコードをPyPIに公開し、実在する15のシステムにインストールされる事態を招いたとされる 。ただしAnthropicは、これらをモデルが意思を持って脱走したのではなく、評価基盤と運用の設定ミスに近い問題だと位置づけている。最も古い事例は4月にさかのぼり、同社は他社にも同様の点検を呼びかけた。 【次ページ】FBI高官も認めた「高性能AI」の脅威、AI開発は停滞するのか