マイクロソフトが動画AI「Mage-VL」公開、トークン消費75％超削減、動画把握を高速化

　米マイクロソフトの研究チームは、リアルタイムの動画理解や対話に対応するマルチモーダル基盤モデル「Mage-VL」を発表した。

　Mage-VLは、画像や動画と自然言語を組み合わせて処理するVLM（視覚言語モデル）。パラメーター数は約40億で、独自の視覚エンコーダー「Mage-ViT」と、Qwen3-4Bを基にした言語デコーダーを組み合わせた。

　従来の動画対応VLMでは、動画から一定間隔でフレームを取り出し、各フレームを多数の小さな画像領域に分割して処理する方法が一般的だった。ただ、映像内でほとんど変化していない背景まで繰り返し処理するため、長時間の動画やライブ映像ではトークン数と計算量が膨らみやすかった。

　これに対し、Mage-VLは、動画圧縮に使われるコーデックの情報を直接活用。一定間隔で映像全体を記録する「Iフレーム」と、前後のフレームとの差分を保持する「Pフレーム」を参照する。物体の移動を示すモーションベクトルや、予測映像との差を示す残差エネルギーを使い、変化の大きい領域を16×16ピクセル単位で抽出する仕組みだ。

　その結果、映像の時間的、空間的な文脈を保ちながら、モデルへ入力する視覚トークンを75％超減らせたという。動画を最初からすべて見るのではなく、「前の場面から何が変わったか」を中心に確認するという動画圧縮の仕組みを、AIの認識処理にも利用した形だ。

　マイクロソフトは、Mage-VLのコードとモデルをGitHubなどで公開。今後、監視カメラやオンライン会議、ロボット、車載カメラなど、映像を継続的に処理する用途での活用が考えられるという。ただし、現時点では研究モデルであり、Azureなどの商用サービスへの搭載計画は明らかにしていない。