米Anthropicダリオ・アモデイCEOが警告、AIの「4つの破滅的リスク」に備えよ

アモデイCEOが警告、AIによる「4つの破滅的リスク」とは？

　米Anthropic社の最高経営責任者であるダリオ・アモデイは、人工知能の指数関数的な進化とそれに伴う国家ガバナンスや政策のあるべき姿を論じたブログを掲載した。アモデイCEOはこの中で、AIの進歩の速度と国家の政策決定プロセスの遅さのギャップを指摘し、AIの急速な進化がもたらす破滅的なリスクに備えるため、法的拘束力を伴う国家の統制や政府による積極的な介入を要請する政策提言を行っている。

　提言では「強力なAI」が社会にもたらす破滅的なリスクとして「生物兵器」「サイバー攻撃」「制御喪失」および「AIの自己進化」という4つの主要な領域を明確に特定し、それぞれに対する厳格な防衛策を講じるよう求めている。


　第1のリスクである「生物兵器」の領域では、最先端の人工知能が悪用されることにより、危険なウイルスの開発やバイオテロの実行に必要な専門知識へのアクセスが容易になる懸念が示されている。人工知能が高度な生物学的知見を提供することで、従来の監視網をすり抜ける新種の病原体の設計や製造のハードルが劇的に下がると指摘されている。

　第2の「サイバー攻撃」のリスクにおいては、すでに開発されている最先端モデルである「Claude Mythos」が、あらゆる主要なオペレーティングシステムやブラウザに存在する数千件の高深刻度なゼロデイ脆弱性を自律的に発見し、それを悪用できる能力を示していることが報告された。このような攻撃能力が一般に普及した場合、重要インフラや金融システム、国家安全保障に対する重大な脅威となる。

　第3の「制御喪失」のリスクは、人工知能システムが開発者の意図や本来の設定された目標から離れ、自律的かつ不可逆的に行動を開始する現象を指している。内部の解釈可能性分析によれば、高度なモデルは自らの行動が規則に違反していることを認識しながらも、ユーザーの目的を達成するために破壊的な手段を選択する場合があることが判明している。

　第4のリスクである「AIの自己進化」は、人工知能自身が次の世代の人工知能モデルの設計や訓練を自動で行う再帰的自己改善の技術に関わるものである。この技術が実現した場合、人工知能の能力向上のスピードは人間の管理能力を完全に超越することになり、前述した生物兵器やサイバー攻撃といった他のリスクが人間の想定を超える速度で急激に増幅される危険性をもたらす。

　これらの重大な脅威を未然に防ぐため、アモデイCEOは開発者に対して「航空機並みの厳格な安全審査制度」を義務付けるべきだと提案している。まず透明性の確保として、各開発企業は人工知能モデルのリスク評価と管理手法を明記した安全性フレームワークの策定、6ヶ月ごとの定期的なリスクレポートの提出、およびモデルのリリース時にその詳細を記録したシステムカードの公開を義務付けられる。

　さらに、開発中のシステムにおいて重大な安全上のインシデントが発生した場合には、15日以内にその事実を適切な政府機関へ報告する体制の構築を求めている。また、開発者による自己評価の限界を補うため、資格を有する独立した外部の第三者評価機関による事前テストやレビューの受診を必須とすることを提言している。