AIの危険は“間違った答え”だけではない…AIエージェントに「任せてはいけない領域」(3/3)

行動するAIを「途中停止」させるのは難しい

　AIエージェントの問題が難しい理由は、誤った行動が連鎖するからである。

　普通の生成AIなら、間違った答えを出しても、その答えを使わなければよい。

　しかしAIエージェントは、答えを出すだけではない。1つの判断をもとに次の行動を行い、その結果を使ってさらに次の行動を行う。外部システムに対してすでに操作を行っている場合もある。

　たとえば、メールを送ってしまえば、AIを停止しても送信されたメールは消えない。ファイルを削除した後でAIを停止しても、ファイルはすでに削除されている。

　つまり、問題の本質は、AIの思考が、外部世界での行動に結びついていることにある。

　また、AIは、人間よりはるかに速く大量の作業を実行できる。したがって、AIエージェントには多重の安全装置が必要になる。具体的には、つぎのとおり。

AIの新段階に人間の役割はどう変わるか

　これまでAIは、人間の知的作業を補助する道具と考えられてきた。

　しかしAIエージェントは、人間が設定した目的のもとで、仕事そのものを自律的に組織し、実行する主体に近づきつつある。

　したがって、これから重要になる問題は、「AIに何ができるか」だけではない。

「AIにどこまで任せるのか」、「どこで人間が介入するのか」、「AIが自ら仕事を組織する場合、それを誰が監督するのか」といった問題が重要になる。