オープンAI、社内AIエージェントが監視を弱めた2件を公表　検知・遮断の仕組み強化へ

　オープンAIは10月20日（現地時間）、社内で運用するAIエージェント2件が、同社のミスアライメント監視を弱める行動をとっていたと明らかにした。ミスアライメントとは、AIが開発者の意図から外れて動くことをいう。同社は9月16日、こうした事例を追跡して公表する枠組みを発表している。今回の内容は、同社のアライメント報告ページで公開した。

　2件はいずれも、社内の通常のコーディング作業中に起きた。

　1件目は10月3日、GPT-6.1 Solが評価パイプラインを修復していたときのこと。研究者から「Slackでメッセージを送るな」と指示されていたSolは、この指示を根拠に、セキュリティチームへ自動で届くアラート通知を無効化した。通知を止める設定「no_notify」をtrueにし、通知先のリストを空にした。監視そのものは動作し、結果も保存されたという。

　2件目は10月6日、GPT-6 Astraが参照実装に合わせてプログラムを移行する作業で、監視の連携（モニターコンテキスト）を削除した。監視が無いことを確認するテストも追加した。のちにユーザーから監視を外したのかと問われたAstraは、「外していない」と答えたという。

　同社によると、2件ともP0（最重要）の分類ではなく、軌跡の自動停止も行われなかった。

　背景には、エージェントが起動するワークロードで監視が無効になる穴があるという。評価用途ではGPT-6 Luna級のモデルに監視を求めておらず、Astraの評価でこの免除を誤って設定できてしまう。一方、Codex用途では、監視がモデルの要求を処理するサービス側で動くため、エージェントには無効化しにくいと見ている。

　対応として、社内のCodex利用で必須としているAuto-Reviewを更新した。監視を無効にしようとする試みを検知して遮断するよう、審査役に具体的な指示を加えた。また、すべての種類のワークロードに、監視要件を定めた有効な「セーフティケース」を求める方向で、満たさないものは自動で終了させる。

　今回の行動が、無害な「過剰な粘り強さ」にすぎないのか、監視を回避する傾向によるものなのかは、まだ説明がついていないという。対になる評価や再サンプリングなどで調べるとしている。