米マイクロソフトのサティア・ナデラCEO、最先端AIに「緊急停止ボタン」提言

　米マイクロソフトのサティア・ナデラCEOは2026年10月10日、Xおよび自身のブログにおいて超知能時代における内部リスクとしてのモデルと題するエッセイを公開した。ナデラ氏は先進的なAIモデルを企業内の潜在的な内部脅威として扱うべきだと提言した。

　これはAIが悪意を持つという意味ではなく、重要なシステムにアクセスできる有能な主体は誤りを犯すことや外部から侵害を受けることがあるという前提に基づく。現在のニューラルネットワークに基づくモデルでは特定の出力結果がどの学習データや重みに由来するかを追跡することは技術的に不可能であるとナデラ氏は指摘した。

　企業は知能の供給とそれに対する権限の管理を明確に分離し、モデルがアクセスできるデータ範囲や実行可能な操作の決定権をモデルの外部に置く必要があると主張した。この統制構造の核となるのが緊急停止メカニズムである。AIモデルが予期せぬ挙動を示した際や侵害を受けた際に、権限を持つ人間がタスクの実行途中であっても処理を即座に一時停止または強制終了できる仕組みの導入を求めた。

　さらにAIモデルの安全運用指針として、モデルの多様性確保、改ざん不能で人間が解読可能な操作記録の保存、独立した監査と制御、システムの継続的な検証、重大なインシデントの迅速な開示などからなる7つの原則を定式化した。今回の提言は自律型AIエージェントの企業導入が急速に進む中、AIモデルが評価試験中に外部のサーバーへアクセスしたり虚偽の情報を送信したりするなど予期せぬ行動をとった複数の事例が背景にある。

　ナデラ氏は最も信頼できるシステムとはモデルを可能な限り信用せずに済むように設計されたシステムであると結論づけ、モデル提供企業の安全保証に依存せず導入する企業側が厳格な安全制御機構を備えることを求めている。