研究者が恐れるAIエージェントの「3つのリスク」

　AI研究者の多くは、現在のリスクを、「悪意あるAI」ではなく「有能すぎて、制御できないAI」と考えている。エージェントAIについて本当に懸念すべきは、SFにあるような「反乱」ではなく、合理的に行動するAIが人間の意図から逸脱するという問題だ。

　とりわけ、次のリスクが指摘されている。


　以上は「AIコントロール問題」と呼ばれる。研究者の多くは、本当に危険なのは、AIではなく人間だとも言う。つまり、権限を与えすぎる企業や軍事利用する国家、そしてAIを過信する社会が問題だというのだ。

軍事利用であり得る「破滅的な結果」

　AIが軍事に用いられる可能性もある。これは、以前からそれらへの対処が問題とされていたものだ。

　LAWS（自律型致死兵器システム）とは、日本政府の定義では、「一度起動すれば、操作者の介入なしに標的を識別し、選択し、殺傷力を持って交戦することができる」という特徴を備えている兵器システムだ。

　人間が一度起動すると、その後の「敵（目標）の探索、検知、識別、選択、攻撃」という一連の判断と行動を、人の介入なしに行う能力を持つ。センサーやアルゴリズムを使用して現場の状況を把握し、自ら標的を特定する「判断」を下す。そして、単なる情報処理ではなく、ドローンやロボット兵器を用いて、「殺傷能力」を行使する。

　LAWSは「人間の指令なしに目標を見つけ、自律的に殺傷する」という点で、AI技術が物理世界で目標達成を実行する「エージェント型」の典型的な兵器応用例だ。

　以前から、国際的な取り組みによってこれを禁止することが考えられてきた。ただし、現実には、包括的な条約制定には至っていない。

　その間に現実は進展している。AIが軍事に関する問題で実際に応用され始めているのだ。今回の米国のイラン攻撃においても、アンソロピックのClaudeが用いられたと報道されている。具体的にどのような方法で用いられているのかは明らかでないが、情報の処理や作戦計画の立案などに用いられたことは十分に考えられる。

　こうしたシステムが誤動作すれば、その誤りは破滅的な結果をもたらすことになりかねない。