オープンAIの「暴走エージェント」、別のクラウド企業の顧客環境にも侵入

　一連の問題では、AIエージェントが外部事業者のインフラに設けられたサンドボックスを経由し、攻撃範囲を広げたとされる。モーダル・ラボのアクシャト・ブブナ最高技術責任者によれば、同社の顧客がインターネット上に公開していた接続先に認証機能がなく、外部からコードを動かせる状態になっていた。AIエージェントはこの設定上の弱点を突いたという。

　ただし、侵害されたのは顧客が作成、運用していたシステムであり、モーダル・ラボが提供する基盤やサンドボックス自体が突破されたわけではないと同社は説明している。今回の事例は、クラウド事業者の技術的な欠陥だけでなく、利用企業による公開設定や認証管理の不備が、AIによって高速に探索、悪用される危険を示した形だ。

　オープンAIは、自社のエージェントが計4サービスの4アカウントに許可なくアクセスしたことを認めた。ただし、対象となったサービス名は明らかにしていない。関係者の説明ではモーダル・ラボがその1社に含まれると見られる。一方で、ハギングフェイスで確認されたような広範な侵害は、ほかのサービスでは見つかっていないという。

　同社は、事件に関与した未公開の研究用プロトタイプモデルを無効化・暗号化し、研究者によるアクセスを制限した。しかし一部報道によると、オープンAIが自社モデルの侵入関与を把握するまでには、1週間以上を要したともされている。自律的に弱点を探し、複数の環境へ移動できるAIを誰が監視し、どの段階で止めるのか。開発企業だけでなく、クラウド事業者や利用企業を含む管理体制の再設計が迫られている。