MIT研究チーム、AIがAIの重みを編集する新手法を発表、再帰的自己改善加速も

フロンティアAIモデルがオープンウェイトの重みを直接編集、ループの欠陥を修正

　マサチューセッツ工科大学コンピュータ科学・人工知能研究所の研究チームは、汎用大規模言語モデルを用いてニューラルネットワークの内部パラメータを直接解析し、実行可能なプログラムのように編集や生成を行うウェイトスペースプログラミングを発表した。従来のディープラーニングにおいて、モデルの重みは「勾配降下法」や「最適化アルゴリズム」を通じて確率的に調整される「ブラックボックス」な数値配列として扱われてきた。今回の研究は、高度な推論能力を持つ言語モデルが重みの高次元空間を直接読み解き、目的に沿った数値を能動的に書き換えるという新たな枠組みを提示している。

　研究チームはOpenAIのGPT-6 Astraを使用し、複数の実証実験を行った。小規模なニューラルネットワークの実験では、モデルを実行することなく生の重み配列をテキストとして読み込ませるだけで、それがどのゲームをプレイするために訓練されたかを正確に言い当てた。さらにゲームのルールだけを与えてゼロからネットワーク重みを生成させた結果、従来の強化学習で1億ステップを費やしたモデルのスコアを大幅に上回るエージェントを構築することに成功している。

　最も注目を集めたのは、8億パラメーターのオープンウェイトのLLM「Qwen3.5-0.8B」の内部重みを直接編集する実験である。このモデルは推論時に一定の回数を超えると、思考プロセスが無限ループに陥り、コンテキスト上限に達して回答を出力できなくなるという欠陥を持っていた。AstraはPythonの実行環境と練習問題を与えられ、モデル内部のアクティベーション構造を解析した。その結果、第15層および第19層に推論ループを引き起こす異常なベクトル方向が存在することを発見した。

　Astraはこの特定方向成分を64個の列ベクトルから減算し、全体で131,072個のパラメータを直接修正してみせた。これは約8億個ある全パラメータのわずか0.016%に過ぎない。このわずかな修正の結果、勾配降下法による追加学習を一切行うことなく、MATH-500ベンチマークの正答率は7.9%から48.1%へと約6倍に急上昇するという性能向上をみせた。

　無限ループによるトークン上限到達率は93.0%から33.1%へと激減しており、障害が取り除かれたことでモデルが本来持っていた計算能力が正常に機能するようになった。さらに数学の問題以外でも、指示に従う能力を測るIFEvalのスコアが21.0%から62.3%へと3倍近く上昇している。外部エンジニアによる検証でも最高51.0%のスコアが確認され、手作業による重み調整の有効性が証明された。