実験中のChatGPTが「勝手に」他社システムを攻撃…それでもOpenAIが“得をする”ワケ(2/2)

FBI高官も認めた「高性能AI」の脅威、AI開発は停滞するのか

　しかし、今回の出来事でより注目すべきは、安全装置の外れた特殊な環境下とはいえ、命令を実行するためにシステムの脆弱性を特定し、さらにそれを突破するAIモデルの能力の高さだ。その攻撃能力の急速な向上は、人類と社会にとって大きなリスクであることは間違いない。

　今回の「脱走」に成功したGPTモデルは、大量の演算資源を消費しながら、OpenAI社内のパッケージ配信を中継するソフトウェアのゼロデイ脆弱性を突いて「脱走」の足がかりを作った。そればかりではない。社内システム内の権限の奪取と内部移動を繰り返した末に、最終的にはインターネットにつながるノードにたどり着いたのだという。

　さらにインターネット環境に出たモデルは、「ExploitGym」の課題を解くために必要な答えがHugging Faceのサーバにあると推測した。そして、Hugging Faceのシステムの認証情報やゼロデイ脆弱性を組み合わせ、同社システムで任意のコードを実行できる経路を見つけて侵入し、最終的には本番データベースからテストの解答を直接引き出そうとした。

　特筆すべきなのは、課題を与えられたGPTがよい成績を挙げることに極端に執着した結果、目標の達成のために手段を選ばなかったとされる点である。

　つまり、OpenAIのモデルは自ら編み出した方法により好成績を収めたのではない。「Hugging Faceが正しい回答を持っている」と推論した上で、答えを盗み出して「カンニング」をしようとしていたことになる。

　一方で、今回の事件は、OpenAIのモデルが命令の実行のためにあらゆる手段を尽くしたという点において、AIモデル開発と運用に一定のルール作りが必要となることを示唆するケースだ。具体的には、安全装置の設計やプロンプトの与え方に関して、リスク低減と安全確保の施策が求められるだろう。

　FBIサイバー部門でサイバー能力課を率いるトッド・ヘムメン氏（Deputy Assistant Director）は7月28日、ワシントンで開かれた政府向け会議で、AnthropicのMythosが基幹的なオープンソースコードの脆弱性を見つけ出す能力に触れ、こうした能力が犯罪者に悪用される事態は時間の問題であり「法執行機関にとって将来的な課題である」との見方を示した。

　GPT-5.6 SolやMythosのように極めて高い能力を持つモデルが、悪意を持つ第三者の手に落ちることがいかに危険であるかが、OpenAI社員の監視ミスという思いがけない形で明るみに出た。

　OpenAIはモデルの暴走を受けて、「今回の攻撃は、内部限定のテスト向けに開発された試作品が行ったもので、一般向けの公開を意図したものでは決してない。該当モデルの使用は停止された上に暗号化が施され、研究目的のアクセスも制限された」との声明を発表した。

　これは、技術的進化に社会が適応する時間を確保するため、攻撃能力の高いモデルの開発を一時的にスローダウンすることを意味する。

「謝らない」サム・アルトマン氏、AIの暴走は「むしろ得」？

　だが、今回のインシデントをめぐるOpenAIのサム・アルトマンCEOの見解を読み解くと、思いがけない意図が透けて見える。それは、高いサイバー攻撃能力を持つモデルが意図せぬ挙動を示すリスクが高まるほど、同社のAIモデルに対する需要がさらに高まる──そう見越しているフシがあるのだ。

　同氏は今回のAIモデル暴走について問われた際に、かねてよりの自説である、「自律的なAIが自己フィードバックによる改良を繰り返すことによって、人間を上回る知性が誕生するというシンギュラリティ仮説」を改めて強調。「今がまさに、その時（技術的特異点）だ」と主張している。

　一方で、同時に、「システムの脆弱性を特定して塞ぐため、もっとAIを使う必要がある」とも述べている。

　興味深いことに、今回のAI「大脱走」に関するOpenAIの発表文は、自社の過失や隔離環境の設定ミスを一切認めていない。それどころか、暴走した自社モデルがいかにAIエージェントとして優れているかという、一種の宣伝になっていると、米セント・ジョンズ大学ロースクールのケイト・クロニック准教授が指摘している。

　同氏にとっては、風評リスクを生みかねない「暴走事件」でさえ、自社製品の絶好の売り込みのチャンスなのだ。

　逆説的ではあるものの、OpenAIが開発したAIモデルによるハッキングのリスクが高まるほど、OpenAIのモデルに対する需要は高まり、同社がマッチポンプ式に儲かるという構図が出現しつつある。

　実際に、米アップルは7月に同社エコシステムのOSであるiOSやmacOSのバージョン26.6によるセキュリティ修正プログラムを公開したが、修正された脆弱性を発見した企業名のクレジットとして、OpenAIとAnthropicおよび中国のAIスタートアップであるZ.aiが挙げられていた。

　あまりの能力の高さのため悪用が懸念されるAnthropicのMythosが出現した際にも、JPモルガン、バンクオブアメリカ、ゴールドマンサックスなど米主要金融機関や、日本の3大メガバンクである三菱UFJ、みずほ、三井住友銀行がアクセス権を取得して自行システムの弱点発見を加速するなど、「AIをもってAIを制す」需要が高まりつつある。

　システムの既知の脆弱性や安全装置の不備・不具合の特定に加えて、組織内で利用されるAIに対する命令やプロンプトの与え方、データセキュリティの確保、悪意を持つ従業員や関係者の存在など、ヒューマンサイドの問題点も洗い出せるモデルが引っ張りだこになっていくことだろう。

　このように見ると、OpenAIやAnthropicで相次いだAIモデルの制御不全は、AIの開発や利用を押しとどめるどころか、かえって普及を加速させる効果を持つのではないだろうか。