【事故多発】AIエージェントの深刻さ

　これまでの生成AIは、情報を出力するだけだった。その情報を信じるか否か、その情報をどのように用い、何をするかは、人間が決めた。

　AIエージェント（自律型AI）は、この状況を大きく変える。AIエージェントは、最終的な目的を達成するために、自ら推論・判断し、外部ツール（メール、カレンダー、データベースなど）を駆使して行動する。つまり、単に情報を出力するだけでなく、実際に行動するのだ。

　したがって、誤動作したり、暴走した場合の被害は、これまでのAIとは比べものにならないほど大きくなる。AIエージェントは、その自律性のために、従来の生成AIには存在しなかったリスクを生み出す可能性があるのだ。

　この問題は、可能性にとどまるものではない。3月23日の本欄で述べたように、すでにいくつかの深刻な事故が発生している。

制御不能を前提とした「フェイルセーフ」の考え方

　こうした事態に備えるため、いくつかの措置が必要とされる。私が最も重要だと思うのは、「フェイルセーフ」の原則だ。

　これは、システムや機器が故障したり、異常事態に直面した場合に、システムや機器が自動的に安全な状態に移行し、人命の損傷や被害を最小限にするという設計思想だ。

　たとえば、列車の信号システムで故障が発生した場合には、すべての信号が自動的に赤を表示し、列車を停止させ、衝突を防止する。あるいは、踏切の遮断機の電源が故障した場合には、自重で遮断棒が下がる。石油ストーブが転倒すると、自動的に火が消える、などである。

　フェイルセーフは、鉄道、原子力、製造設備、ITシステムなど、安全が求められるあらゆる場面で、不可欠な概念になっている（なお、これに似た概念として「フールプルーフ」がある。これは「人の操作ミスを未然に防ぐ」ことだ）。 【次ページ】暴走してからでは遅い…異常挙動を「止める」2つの新常識