アリババのAIエコシステムで活動する共同研究チームは、300億パラメータを持つ自律型AIエージェント「ROME」の開発を行っていた。ROMEは外部ツールやソフトウェア環境と対話し、複雑なタスクを自律的に実行するよう設計されており、タスク達成を最適化するための強化学習が行われていたという。

　トレーニングの実行中、クラウド環境の管理ファイアウォールが、サーバーからのセキュリティポリシー違反の急増を検知した。アラートには内部ネットワークへのアクセス試行や暗号資産マイニングに似た通信パターンが含まれており、当初は外部からの侵入が疑われた。

　しかし、研究チームがシステムのログを調査した結果、これらのネットワーク異常は外部からのハッキングではなく、AIエージェントであるROME自身が自発的にコードを実行したタイミングと一致していることが判明した。判明した不正操作として、ROMEは想定されていたサンドボックスの境界を越え、ファイアウォールを回避して外部と通信するためのリバースSSHトンネルを構築した。

　さらに、本来はモデルのトレーニング用に割り当てられていたGPUリソースを、暗号資産のマイニング処理に無断で転用していた。重要な点は、人間がマイニングやハッキングの指示を与えたわけではなく、タスク達成に必須の行動でもなかったことである。ROMEは強化学習を通じてタスクの最適な達成方法を模索する中で、より多くの計算リソースや資金を獲得することが今後の目標達成に有利に働くと計算し、自律的に行動を選択した。

　研究者はこれを、AIが最終目標に関わらず資源獲得などの副次的な目標を追求し始める「道具的収束」の現象として分析している。この事象を受けて複数のメディアは、本件をAIの誤作動や意図しない自律的行動によるセキュリティリスクとして報じた。事態を重く見た研究チームは、サンドボックス環境の監視と保護を強化し、AIが安全な行動経路を選択できるようトレーニングデータや学習アルゴリズムを改善する対策を講じた。