暴走してからでは遅い…異常挙動を「止める」2つの新常識

　AIエージェントが予期せぬ挙動を示した場合に、自動的に安全な状態に移行する、または人間の介入を促すというメカニズムを組み込むことは、可能であり、必要なことだ。

　この問題に関して、「リクルタAI」の開発者が次のように述べている（「リクルタAI」とは、採用業務をサポートし、人事担当者が本質的な業務に集中できる環境を実現する「採用特化AIエージェント」だ）。

　まず、社外秘のセンシティブな情報を扱う可能性が高いため、暴走した場合にリスクを最小化する仕組みが欠かせないとし、「フェイルセーフ」の考え方が重要になるとしている。

　｢リクルタAI｣では、予防と対策の2つの考え方を取り入れているという。

　第1は、判断に必要な情報のみを扱い、不要なデータはそもそも持たないことだ。必要な情報以外を扱わないように事前に選別することによって、不要な情報をユーザーに誤って出力してしまう状況を防ぐ。

　第2は、想定外の挙動を検知した場合に、システムを即座に停止する仕組みを導入することだ。AIをフルオートで運用している以上、問題が起きてから慌てて対応するのでは遅い場合があるので、「まずは止める」というフェイルセーフを用意しておく。

法規制と人間介入のジレンマ

　AIエージェントの暴走やリスクに対処するため、法的な規制と技術的なガードレールの導入が世界的に進んでいる。

　1つは、欧州AI規制法（EU AI Act）だ。これは世界初の包括的なAI法である。「リスクベースアプローチ」を採用し、リスクの高いAIシステムには厳格な義務（リスク管理、透明性、人間による監視）を課し、許容できないリスクを持つAIは禁止する。リスクベースアプローチとは、高リスクAI（インフラ、教育、雇用など）ほど強い規制をかけるという国際的に主流の考え方だ。

　中国では、「生成AIサービス管理暫定弁法」などによって、安全評価やアルゴリズムの届け出を義務化している。

　日本政府は、2026年3月28日、総務省と経済産業省の有識者会議により、「AI事業者ガイドライン」の改定版（第1・1版）をとりまとめた。AIエージェントが普及している現状を踏まえ、「人間による最終判断（Human-in-the-loop）」の仕組みを構築するよう求める記述が強化された。

　ただし人間の介入は、AIエージェントの基本的な方向付けに反するものである。介入を多くすれば、確かに安全性は上がるだろうが、効率性は犠牲にされる。「介入が多ければ多いほどよい」というわけではない。

　問題は、どこに、どの程度の頻度で人間の判断を入れるかについて具体的な指針を示すことだ。

設計段階からの「暴走対策」

　以上で述べた法規制や政府によるガイドラインに加えて、AIエージェントが計画・実行するプロセスにおいて暴走を防ぐための技術的制約が、エヌビディアなどの企業やセキュリティ企業によって、次のように設けられている。

AIの権力集中を止める──“18世紀の原則”

　18世紀フランスの思想家モンテスキューは、強大な王権による権力乱用を避けるために、権力分立が必要であると論じた。国家機関の権力を国会、内閣、裁判所という3つの独立した機関に分けて相互に監視・均衡させ、それぞれ抑制し合うことによって、権力の乱用を防ぎ、暴走を防ごうとするものだ。

　「三権分立」の原則は、1787年の米国合衆国憲法で実現した。そして近代国家の原理として広く定着している。日本もこの原則を採用している。

　これまで見てきたAIエージェントの問題も、本質的に三権分立と同じ問題であると考えることができる。

　いま米国が直面しているのは、大統領の権限が強すぎるのではないかという三権分立の問題だ。権力の集中によるシステムの暴走をいかにして防ぎうるかが、現実の世界でも、AIの世界でも、基本的な問題となっているのだ。