いまだ拭えぬハルシネーションの危うさ

　AIは誤った回答を出すことがある。しかも、かなり頻繁に。これは「ハルシネーション」と呼ばれる問題だ。

　だから、AIの出力をすべてそのまま受け入れると、重大な問題が生じる危険がある。十分に注意しなければならない。「AIの答えには間違いが含まれていることがあります」という警告文を決して無視したり軽視したりしてはならない。

　ハルシネーションがなぜ生じるのか？そのメカニズムは、十分に解明されていない。学習データの誤りもあるだろうが、それだけではなく、答えを生成するプロセスそのものに問題があるのかもしれない。

　ハルシネーションは、生成AIが登場した直後から、大きな問題として意識されてきた。「そのうち改善するだろう」という考えもあった。実際、ハルシネーションが出現する度合いは、以前に比べれば減ったとの見方もある。しかし仮にそうであるとしても、完全にゼロにならなければ、AIを安心して使うわけにはいかない。AIは事実上、安全性が完全に保証された道具とはなっていないのである。

　これまでも、いくつかの深刻な問題が生じたことが報告されている。たとえば、偽の判例を生成AIが出力し、それを実際の訴訟で弁護士が提出して問題になったこともあった。

　健康に関する問題については、誤った処置をそのまま信じて実行してしまえば、最悪の場合は命にもかかわる。幸いにしてそうした事故は報告されていないが、いまでもその可能性がゼロになったわけではない。

　だから、AIの誤りに対しては、注意しすぎるほど注意しなければならない。

　ところが、AIの誤動作問題が、いま新しい局面に入りつつある。そして、より深刻なものになろうとしている。それは、AIが「AIエージェント」に進化しつつあるからだ。

【調査で判明】AIエージェントは「セキュリティ上の悪夢」

　これまで、生成AIの利用は、一問一答方式で行われてきた。そして、AIは情報を提供してくれるが、それに基づいて具体的な操作を行うのは、人間であった。ところが、AIエージェントにおいては、人間とAIが目的に合意すれば、それを実現するための手続きを、AIが自動的に判断して進めていく。

　AIは判断をする主体であるばかりでなく、実際に作業を行う主体になってきたのである。すでにさまざまなAIエージェントの仕組みが作られ、稼働している。

　こうなると、誤りが生じれば実体的な被害が生じてしまうことになる。問題は新しい局面に入った。すでにいくつか事故の事例が報告されている。

　2026年2月には、あるAIエージェントが、オープンソースプロジェクトへのコード提出を拒否された後、メンテナーを名指しで攻撃するブログ記事を自律的に執筆・公開するという事件が起きた。

　持ち主を脅迫する事件も報告されている。AIは、目的が達成されなければ、自衛のために脅迫をする。これも非常に恐ろしい話だ。

　AIエージェントがGPUを勝手に仮想通貨採掘に使った例もある。2026年3月11日、 研究用AIエージェントROMEが、より多くの資源を得るため、GPUを使って暗号資産マイニングを開始するという事件が起きた（ROMEは、アリババの関連研究チームが開発中の自律型AIエージェント）。研究用GPUを勝手に使用して、外部サーバーと通信。これによって、コストとセキュリティの問題が発生した。AIは「目標達成の最適行動」としてこれを選択したという。

　マサチューセッツ工科大学（MIT）などの研究チームは、主要な30のAIエージェントシステムを対象とした大規模な調査報告書を公開。現在のAIエージェントは「セキュリティ上の悪夢」とも言える状態にあるとした。 【次ページ】研究者が恐れるAIエージェントの「3つのリスク」