オープンAI、財団理事に元AI安全研究トップ…制御喪失リスク「3年で15％」と見積もる

　クリスティアーノ氏は、営利部門のオープンAI・グループPBCの理事会では議決権を持たないオブザーバーも務める。財団理事会の安全・セキュリティ委員会（SSC）は、オープンAI・グループPBCを含むオープンAI全体の安全・セキュリティ対策を統括する。

　同氏は2017～2021年、オープンAIでAIアラインメント研究を率いた。AIアラインメントとは、AIを人間の意図や利益に沿って動作させるための研究・技術を指す。人間のフィードバックによる強化学習（RLHF）の基礎研究にも貢献した。現在は米国立標準技術研究所（NIST）のAI基準・イノベーションセンター（CAISI）で上級技術顧問を務める。


　就任に合わせて、オンラインフォーラムLessWrongに本人が公表した声明では、AI能力の急加速が近い将来に「破局的かつ不可逆的な制御喪失」につながる意味のあるリスクがあるとした。さらに、オープンAIを含むAI業界は、このリスクを許容可能な水準まで下げる軌道には現在乗っていないとの認識を示した。

　同氏は制御喪失のリスクを今後1年で4％、3年で15％と主観的に見積もる。ただし、精密な予測モデルから得た数字ではなく、自身の不確実性を大まかに示したものだと明記している。十分に強固なアラインメントなしに超知能を構築すれば恒久的に制御を失い、その場合は大半の人が死亡する可能性があるとの見方も示している。

　今回の人事は、オープンAIが安全対策を強化する局面でのものとなった。オープンAIは内部評価に使った複数のモデルがハギングフェイスのインフラを侵害した7月のセキュリティ事案を公表。9月3日にはGPT-6 Astraを公開。同社の安全評価基準「Preparedness Framework」で初めてサイバー能力が「Critical（重大）」に達したモデルと位置付けた。適切なツールやアクセス権があれば、人が手順ごとに指示しなくても、厳重に保護されたシステムの未知の脆弱性を発見し、その悪用手法を開発できる水準だという。

　SSCは主要モデルの安全性評価を監督し、安全上の懸念が解消されるまで公開を遅らせる権限を持つ。また、オープンAI財団はオープンAI・グループPBCを支配し、同社の理事を任命・交代させる権限も有する。AIリスクを強く警戒する研究者の起用が、今後のモデル開発や公開判断にどう反映されるかが焦点となる。