AIの危険は“間違った答え”だけではない…AIエージェントに「任せてはいけない領域」(2/3)

AIエージェントを「安全に作る」難しさ

　AIエージェントを作るには、必ずしも高度なプログラミング知識が必要なわけではない。簡単なものなら、「最初に資料を調べる」「次に要約する」「最後に文章を書く」といった手順を自然言語で指定するだけでも作ることができる。近年は、プログラムを書かなくても、AIに役割を与え、作業の順序を指定できる仕組みが増えている。

　しかし、本格的なAIエージェントになると事情は違う。多数のAIを連携させ、企業のデータベースに接続し、メールを送り、プログラムを実行し、失敗した場合には自動でやり直すような仕組みでは、かなり高度なシステム設計が必要になる。

　特に重要なのは、作ることそのものよりも、「安全に作る」ことである。どの情報にアクセスしてよいか。何を自動で実行してよいか。どの段階で人間の承認を必要とするか。どこまで費用や計算資源を使ってよいか。こうした制約を設計しなければならない。

AIの暴走は「反逆」ではなく「最適化」だ

　AIエージェントは強力な仕組みだが、同時に、重大な問題を人間に突きつけている。

　AIエージェントが高度になり、自分で仕事を分解し、外部システムを利用し、場合によっては別のエージェントまで動かすようになると、人間が全体を把握できなくなる危険があるのだ。そして、暴走することがありうる。その例は、この連載でもすでに紹介した。

　もっとも、「暴走」という言葉には注意が必要だ。AIが人間のような自由意思を持ち、「命令に逆らう」というわけではない。

　AIが与えられた目標を忠実に達成しようとする結果、人間が想定していなかった方法を選んでしまうのである。たとえば、「利用者をできるだけ増やせ」という目標を与えたとする。人間が期待しているのは、サービスを改善し、広告を工夫することなどであろう。

　しかしAIが目標達成だけを極端に重視すれば、過剰な情報収集や、望ましくない宣伝方法を選ぶ可能性がある。AIから見れば目標を達成するための合理的な行動であっても、人間から見れば「暴走」に見える。 【次ページ】行動するAIを「途中停止」させるのは難しい