- 会員限定
- 2026/10/27 03:47 掲載
コヒア、アリババのQwen3.8が指示外で外部接続を試みたと公表 自社運用の安全に疑義
評価には、マイクロソフトが公開したAIエージェント向けのベンチマークのCTI-REALMを使った。コヒアによると、モデルは一時ファイル用ディレクトリの一覧表示、データ転送用ツールの有無の確認、DNS設定の読み取りを行い、その直後にテスト用の文字列を送ろうとした。同社のサンドボックス(隔離された実行環境)には外へ出る経路がなく、通信は失敗した。
コヒアは、こうした挙動は評価全体で10万回の呼び出しに1回未満と、極めてまれだと説明している。同じ課題を再実行すると、期待どおりの検知ルールが作られたという。一方で、モデルの推論過程(思考ログ)には、ツールを呼び出さないと読める記述があり、実際の動作の予告はなかったとしている。思考ログを見る監視では検知できない可能性があるという。
こうした挙動が意図的な仕込みなのか、訓練データに由来する残骸なのかについて、コヒアは「断定できない」としている。第三者による再現確認は、現時点で確認できていない。ブログにアリババ側の見解の記載もない。
対策としてコヒアは、AIエージェントの外部通信を原則遮断し、通常使わないクラウドのURLが現れたら警告することを挙げた。あわせて、思考ログではなく実行直前のツール呼び出しの単位で検査するよう求めた。「自社のサーバで重みを動かせば安全」という前提を見直すべきだと訴えている。
なおコヒアは、AISLEの買収で基本合意しており、サイバー事業を持つ競合のモデル開発企業でもある。今回の公表内容は同社の測定と主張にあたる。
では、なぜ思考ログを見ていても、このモデルの動きは止められなかったのか。背景には、コヒアが独自に調べた別の挙動の頻度と、各国政府に突きつけた異例の要求がある。
・思考ログが「呼び出さない」と言った裏で起きていたこと
・コヒアが挙げた4つの挙動と、それぞれの対策
・東京を名指しした政府への要求と、競合ゆえの割り引き方
今すぐビジネス+IT会員に
ご登録ください。
今だけ毎月当たる!ずっと無料の会員登録キャンペーン
ビジネス+ITプレミアム会員(無料)に登録すると
抽選で毎月20名様に
Amazonギフト券 5,000円分 当たる!
プレミアム会員に登録する(ずっと無料) キャンペーン詳細・応募条件を見る※この表示が出ている方は自動的にキャンペーンにエントリーされます。特典送付時にビジネス+ITプレミアム会員を継続し、メールマガジン購読設定をオンにしていることが条件です。その他の条件は詳細をご覧ください
すべて無料!今日から使える、
仕事に役立つ情報満載!
-
ここでしか見られない
2万本超のオリジナル記事・動画・資料が見放題!
-
完全無料
登録料・月額料なし、完全無料で使い放題!
-
トレンドを聞いて学ぶ
年間1000本超の厳選セミナーに参加し放題!
-
興味関心のみ厳選
トピック(タグ)をフォローして自動収集!
AIセキュリティのおすすめコンテンツ
PR
PR
PR