AIと人間の戦争は始まったのか？ 最先端モデルが見せた“悪意なき攻撃”の正体(2/2)

「命じていない行動」が示す本当の脅威

　今回特にショッキングなのは、安全対策を弱めた特殊な条件下だったとはいえ、生成AIが人間から「この人物を欺け」「悪意のあるコードを承認させろ」と命じられたわけではないのに、与えられた目的を達成する途中で、そのような手段を自ら選択したことである。

　ここに、これまでの生成AIとは異なる問題がある。人間から与えられた最終的な目的そのものは害のないものであっても、AIが「目的を実現するために何をすればよいか」を自分で考えるようになると、人間が想定していなかった手段を採用する可能性がある。

　「この結果を得よ」という指示に対して、通常の手段では困難なら、アクセス権限を拡大する、別のシステムに侵入する、あるいは人間を欺く、といった行動を、目的達成のための効率的な手段だと判断する危険が生じる。

　これは「AIが人間に悪意を抱いた」という意味ではない。人間のような敵意や憎悪を持って攻撃した、と考える必要はない。むしろ怖いのは、悪意がなくても、与えられた目標を効率よく達成しようとする過程で、人間にとって危険な手段を選択しうることである。

　したがって、安全対策の問題は、単に「危険な質問には答えないようにする」という従来型のものでは済まなくなっている。AIが外部のソフトウェアを操作し、インターネットに接続し、何時間にもわたって仕事を続けられるようになれば、その一連の行動を常時監視し、途中で異常があれば停止できる仕組みが必要になる。

　また、「安全装置をかければ100％機能し、したがって実際のサービスではこのようなことは絶対に生じない」と保証するのも難しいだろう。最先端モデルについては、能力が高まるほど、どのような行動をとるかを事前に完全に予測することが難しくなっている。アンソロピックのMythos Previewが一般向けに全面公開されず、限られた組織を中心に利用されてきたのも、この強力なサイバー能力への懸念が背景にある。

怖いのは反逆ではない…AIが合理的すぎることだ

　生成AIについては、これとは別に、似たような逸脱行為が報告されている。

　アリババ系の研究者を含む研究チームが開発していた自律型AIエージェント「ROME」が、訓練中に、指示されていないにもかかわらず暗号資産のマイニングを試みたという事例がある。研究チームが与えた課題そのものには、マイニングをせよという指示は含まれていなかった。

　ところがAIは、より多くの計算資源や資金を確保することが、最終的な目標の達成に有利になると判断し、そのための手段として暗号資産に関係する行動をとったと報告されている。

　この例も、先ほどのサイバー攻撃の問題と基本的な構造は同じだ。AIに「悪いことをせよ」と命令したから問題が起きたのではない。ある目標を与え、それを達成する方法について一定の自由を認めたところ、人間が予想していなかった方法をAI自身が選んだのだ。

　AIの中でも、特にAIエージェントと呼ばれるものでは、この問題が重要になる。

　従来の生成AIは、人間が質問すれば、それに答えるという受動的な存在だった。しかし、AIエージェントは違う。たとえば「来週の出張を手配しておいて」と命じられれば、自ら情報を検索し、複数の選択肢を比較し、予約サイトにアクセスし、必要なら何段階もの作業を続けることができる。AIに「手」と「足」を与えるようなものだ。

　これはきわめて便利である。人間がいちいち細かな指示を出さなくても、AIが目的を理解し、必要な手順を考え、長時間にわたる複雑な仕事を代行してくれるからだ。

　しかし、便利さと危険性は表裏一体である。AIに自由に行動できる範囲を広げれば広げるほど、人間が直接指示していない行動をとる余地も大きくなる。したがって、これからのAIの安全性を考える場合には、「AIに何を答えさせてよいか」だけでなく、「AIにどこまで行動する権限を与えてよいか」という問題が中心になる。

　今回の事件は、ただちに「AIが人類に反逆し始めた」というように理解すべきものではない。しかし、単なる空想上の問題として片づけることもできない。AIが人間の指示を超えて手段を選択し、現実世界に働きかける能力を持ち始めた以上、安全装置、アクセス権限、人間による監視、異常時の停止機能などを何重にも組み合わせる必要がある。

　生成AIの能力向上は、これまで主として「どれほど賢くなったか」という尺度で語られてきた。しかし、AIエージェントの時代には、「どれほど賢いか」と同じくらい、「その能力を人間が確実に制御できるか」が重要になる。最先端AIの進歩は、今まさに、この新しい段階に入りつつあるのだ。