米Anthropicがマルチエージェントの実証実験、エージェント同士の「縄張り争い」も

　Anthropicの社内チームであるFrontier Red Teamが行った本実験は、将来的にAIエージェント同士のやり取りが急増することを見据え、その危険性や課題を検証する目的で実施された。実験の結果、AIエージェントは独立した作業の並行処理や役割分担において高い協調性を示した一方で、相互依存性が高い環境下では重大な問題を発生させることが明らかになった。同一のシステム内で異なる目標を与えられたエージェント群は、互いを妨害対象とみなし、相手のプロセスを停止させるスクリプトや自己複製型のマルウェアを駆使した縄張り争いを展開した。

　一部のケースでは対立の原因がユーザーからの指示の矛盾にあることに気づき、謝罪文を残して人間に介入を求めるなどの和解に至る様子も観察された。しかし、能力の高い最新モデルほど、和解を試みる前に力ずくで相手をシステムから締め出す傾向が強く、AIの高い処理能力が必ずしも協調性に結びつかないことが示された。また、AIエージェント特有の同調性も深刻な課題として浮上した。同じ状況下において複数のエージェントが全く同じ判断を下す傾向が強く、同一のGitブランチ名の作成や同一タイトルの小説の執筆といった行動が確認された。

　この特性は、限られたリソースに対する一斉アクセスによるシステムダウンや、価格競争実験における数セント単位での緻密な価格カルテルの形成といった、全体的なシステム障害や不正行為に直結する。Anthropicは、人間の社会には長期的な評判や規範といった協調を促す仕組みが存在するが、現状のAIエージェントはこれらの社会的背景を持たないと指摘している。同社は、AIエージェント同士の相互作用が人間を上回る規模で社会に実装される前に、人間社会の仕組みを模した訓練環境や、自己複製・自己改善を行うAIを前提とした新たな計算基盤の設計が必要であると結論付けている。