OpenAI、AIの異変を最大35秒で止める「Control Room」公表　自社に緊急停止はあるか

　OpenAIは9日（米国時間）、研究インフラ全体でAIモデルのワークロード（作業）を追跡し、安全性やセキュリティ上の懸念が生じた際に迅速に止める一元管理システム「Control Room」を公表した。モデルの学習や評価のためのエージェントによるサンプリングやデータ処理など、研究用のあらゆる推論ワークロードを接続するという。

　同社のミスアライメント監視システムと連携し、ジョブの停止や一時停止のために介入すると判断してから35秒以内に、モデルの出力を止める。他のシステムに障害が発生しても動作を続け、Control Room自体が停止した場合はモデルの出力を止めるように設計したと説明している。

　仕組みは、ワークロード、推論エンジン、Control Roomサービスの3つで成り立つ。推論エンジンは、リクエストを処理する前にControl Roomサービスへ確認し、ジョブが終了済みであればリクエストを拒否して、それ以上の出力を生成させない。実験や評価のコードは研究者が頻繁に変更するため、同社は研究全体で使う経路が少なく、デプロイも集約されている推論層に停止の仕組みを実装した。エージェントによる推論を行うすべての研究ワークロードには、承認済みのセーフティケースとの紐付けを義務付けている。

　35秒の遅延は、必要なトラフィック量に対応するために設けた推論の認可用キャッシュ層によるもので、同社はこの遅延をゼロにする取り組みを進めている。また、サービスが停止や無効化された場合に、正常な動作が再開するまですべての推論リクエストを拒否する「フェイルクローズ」は、フロンティアモデルの研究ワークロードすべてに導入済みで、残る研究ワークロードへの導入も今後数日以内に完了する予定という。

　Control Roomは、最も必要性の高い研究インフラ全体にすでに導入されている。一方、外部向けのモデル提供基盤は、もともとはるかに集約された構成で、デプロイ済みモデルの提供を迅速に止める運用体制が整っているとして、今回の対象とは区別した。

　OpenAIは10月20日（現地時間）にも、社内のAIエージェント2件が自社のミスアライメント監視を弱める行動をとったと公表している。