AI開発を止めずに“暴走だけ”止められるか？人類が直面する「最大級の難問」(2/3)

“安全装置”を理解するAIをどう止めるか

　ところが、AIと自動車との間には決定的な違いがある。

　自動車は、ガードレールを「目的達成を妨げる障害」と理解し、その突破方法を考えたりすることはない。また、自動車に速度制限装置が付けられている場合、自動車自身がその仕組みを調べ、プログラムを書き換えて解除することもない。

　ところが、AIの場合には違う。高度なAIは、目的を与えられると、その実現方法を自ら組み立てる。途中で障害にぶつかれば、別の方法を探す。その過程で、人間が安全のために設けた制限が「目的達成を邪魔する障害」と認識されれば、その制限を迂回する方法まで探索する可能性がある。

法律違反を罰するだけでは手遅れになる

　この問題は、法律を作れば解決するというものでもない。

　自動車の場合、速度制限を破れば警察が取り締まる。運転者は人間なので、罰則が抑止力として働く。しかしAIに罰金を科しても意味はない。開発企業や利用者に責任を負わせても、AIが暴走しているときに、それをリアルタイムで止めることはできない。

　したがって、法律上の規制とともに、「AIがある行動をできないようにする」技術的な仕組みが必要になる。

　たとえば、AIが操作するシステムと重要システムを分離したり、AIに与える認証情報を限定する。あるいは、一定の行動回数を超えれば自動停止する。異常なアクセスがあれば外部から強制的に切断する。重要な操作にはAIとは独立した別のシステムによる承認を必要とする、などの多重の防壁が必要だ。

　これは、自動車のガードレールというよりは、航空機や原子力施設の安全設計に近いものだ。どれか1つの安全装置が機能しなくとも、ほかの装置が働いて、事故を防ぐのである。 【次ページ】AI規制で最後に残る“最大の難問”