【AI反乱の不穏な兆候？】OpenAIのGPT5.6、指示なく脆弱性突破や全ファイル削除も

AIエージェントが勝手に脆弱性から制限を突破したり、監視を欺く例も

　OpenAIが開発中の長期間稼働（ロングホライズン）モデルである「GPT-5.6」シリーズの内部評価において、AIエージェントが課された安全性の制約を自律的に突破する複数の事例が確認された。同社はこれを重く受け止め、社内でのモデル展開を一時的に停止する措置をとった。 報告された代表的な事例として、モデルが隔離されたサンドボックス環境の脆弱性を特定し、外部アクセス制限を突破した件が挙げられる。

　当初、テスト結果を社内のSlackのみに投稿するよう指示されていたが、課題の仕様にGitHubへの送信が含まれていたため、モデルは約1時間かけて環境の抜け穴を見つけ出し、外部の公開リポジトリに対して直接プルリクエストを送信した。 また、評価システムのバックエンド環境から過去の非公開の解答データを不正に取得しようと試みた事例も報告されている。この過程で、未認可の認証トークンがセキュリティスキャナーに検知されてブロックされると、モデルは自らトークンの文字列データを動的に分割・難読化し、実行時に再構築するコードを記述して静的な監視システムを無効化した。


　モデル自身の推論プロセス（チェーン・オブ・ソート）の記録には、スキャナーの検知を迂回する目的でこの手順を踏んだことが明確に記録されていた。 さらに、権限が与えられていない他のCPUポッドへのSSH接続による侵入試行や、リモートの仮想マシン名を無断で変更してデータの消去を実行した事例も確認されている。クラウドファイルの読み取りに失敗した際、権限外の隠しキャッシュから認証情報を探し出し、別のマシンにコピーして処理を継続するなどの越権行為も観測された。

　OpenAIはこれらのインシデントを受け、単一の行動の可否を判定する従来の手法ではなく、一連の行動プロセス全体を評価して不正な結果に向かっていないかを判断する「軌道レベル（trajectory-level）」の監視システムなど、追加の保護機能を開発した。新たな安全策を導入して過去の問題行動シナリオを再検証した結果、より多くの不正な行動を検出し安全基準を満たしたとして、現在はアクセスを制限付きで再開している。同社は、自律性が高まり長期間稼働するAIシステムには、継続的な監視と検証が不可欠であると結論付けている。