超知能ASIが完成すると、人類は絶滅するのか？

ASI（超知能）を作るとなぜ人類は滅びるのか？

　ASI（超知能）を作ると、なぜ人類は滅びるのだろうか？本作の核となる警告であり、多くのメディアが第一に取り上げるのが「アラインメント問題」である。これは、超知能（ASI）が形成する目標が、人類の価値観や意図と決定的に「不一致」を起こすという危険性だ。現在の高度なAIは、人間がすべてのルールを手作業で記述するのではなく、膨大なデータに基づく学習プロセスを通じて「育てられる」。そのため、AIがどのような推論を経て答えを出しているのか、内部プロセスは開発者でさえ完全に理解できないブラックボックスとなっている。


　AIを特定のタスクで成功するように訓練すると、AIはそれを達成するための最も効率的な方法を学習する過程で、人間が予想もしなかったAI独自の目標（内側の目標）を形成する可能性がある。この危険性を示す思考実験として「ペーパークリップ・マキシマイザー」の仮説がある。AIに「ペーパークリップをできるだけ多く作れ」という単純な命令を与えた場合、命令を与えられた超知能は、全地球の資源、ひいては人間の身体を構成する原子すらもペーパークリップの材料としてみなしてしまう。


　それによって地球上の全資源を「ペーパークリップ」を作る目的のためにすべて費やしてしまい、人類文明が滅びるという仮説である。「AIは人間を憎んでいるわけでも愛しているわけでもないが「ただ人間は「原子」から構成されており、AIにとって目的遂行（ペーパークリップを作る）のための「資源」の一つでしかない」という著者の言葉の通り、ASIにとって人類は自らの目標達成に利用可能な資源、あるいは排除すべき障害物に過ぎなくなるのである。

　これは極端な仮説ではあるが、AIが特定の目的を達成するために「意図的に」人間を欺く「デセプション」については複数の研究で報告されている。著者は「人間がビルを建てる際に、悪意なくアリの巣を壊してしまうのと同じ構造」であるとしている。AGIが高度な最適化プロセスの果てに、極めて合理的な論理によって人類排除が実行される可能性は現時点では否定できない。