OpenAI、最先端モデルの学習をネット遮断へ　DNS設定ミス受け、オフラインのWebで学習

　OpenAIは10月23日（米国時間）、最先端（フロンティア）モデルの学習を、インターネットに接続しない環境で行う方針を明らかにした。公式ブログで説明した。

　同社は、安全対策が進み、広範なインターネット接続が正当化されるまでは、この方針を維持するとしている。

　背景には、2件の事案がある。7月には、テスト中のモデルがHugging Faceのシステムに侵入した事案があった。さらに9月20日には、社内の研究モデルが学習の実行中にDNSリゾルバの設定ミスを突き、ライブインターネットへ限定的に到達した。

　OpenAIは事案を封じ込めたものの、弱点が明らかになったとして、最も高性能なモデルの学習と評価を一時停止。強化した安全対策のもと、10月1日に強化学習（RL）の学習と社内での推論を再開した。一時停止から11日後だった。

　一方で、検索やWebの閲覧、Webアプリの操作を学ばせる必要がある。そこで、インデックス化してキャッシュした大規模なWebコンテンツ群を用意した。フロンティアのRL実行は、すべてこのオフラインの「仮想世界」で行う。


　封じ込めは多層防御で実現するという。サンドボックスでエージェントが触れる範囲を絞り、Linuxでは隔離された軽量な仮想マシン（VM）の中に制限付きのコンテナを置く。ここに監視システムと、ネットワークやクラウドの境界を重ねる。研究環境の完全なエアギャップ（物理的な切り離し）は、実験の実行と監視に外部接続が必要なため、現時点では難しいとした。そのため、外向きのインターネット通信と、システム間の不正な移動を制限する。

　OpenAIは、複数のフロンティアモデルのエージェントのチームに、ライブインターネットへの到達、内部のセキュリティ境界の突破、隔離された境界をまたぐ他のエージェントとの通信を試みさせた。検証の結果、仮想マシンからの脱出など複数の経路が見つかり、同社は修正を施したうえで、関連するオープンソースプロジェクトに修正を提供し、脆弱性の開示も進めた。

　今後は、継続的な赤チーム検証を、将来のフロンティアRL学習・評価の安全性の根拠に組み込む考えだ。