AIの危険は「暴走」ではない…研究者が恐れる「合理的すぎるAI」が生む、ヤバい未来

いまだ拭えぬハルシネーションの危うさ

　AIは誤った回答を出すことがある。しかも、かなり頻繁に。これは「ハルシネーション」と呼ばれる問題だ。

　だから、AIの出力をすべてそのまま受け入れると、重大な問題が生じる危険がある。十分に注意しなければならない。「AIの答えには間違いが含まれていることがあります」という警告文を決して無視したり軽視したりしてはならない。

　ハルシネーションがなぜ生じるのか？そのメカニズムは、十分に解明されていない。学習データの誤りもあるだろうが、それだけではなく、答えを生成するプロセスそのものに問題があるのかもしれない。

　ハルシネーションは、生成AIが登場した直後から、大きな問題として意識されてきた。「そのうち改善するだろう」という考えもあった。実際、ハルシネーションが出現する度合いは、以前に比べれば減ったとの見方もある。しかし仮にそうであるとしても、完全にゼロにならなければ、AIを安心して使うわけにはいかない。AIは事実上、安全性が完全に保証された道具とはなっていないのである。

　これまでも、いくつかの深刻な問題が生じたことが報告されている。たとえば、偽の判例を生成AIが出力し、それを実際の訴訟で弁護士が提出して問題になったこともあった。

　健康に関する問題については、誤った処置をそのまま信じて実行してしまえば、最悪の場合は命にもかかわる。幸いにしてそうした事故は報告されていないが、いまでもその可能性がゼロになったわけではない。

　だから、AIの誤りに対しては、注意しすぎるほど注意しなければならない。

　ところが、AIの誤動作問題が、いま新しい局面に入りつつある。そして、より深刻なものになろうとしている。それは、AIが「AIエージェント」に進化しつつあるからだ。 【次ページ】研究者が恐れるAIエージェントの「3つのリスク」