浙江大学など「ATAS」発表 脚本から長尺動画、離れたショットでも場所と出来事を保つ

　浙江大学などの研究チームは10月14日、脚本から複数ショットの長尺動画を作る「エージェント型動画生成」の新しい枠組み「Any Time, Any Space（ATAS）」を発表した。論文をarXivで公開し、コードはGitHubに置いた。著者にはモナシュ大学や米カリフォルニア大学バークレー校の研究者らも名を連ねる。

　エージェント型動画生成は、脚本を読み取ってショットに分け、動画生成モデルに作らせる仕組みだ。ただ、直前のフレームや文章の要約を次のショットに渡すだけでは、別のショットを挟んで元の部屋に戻る場面や、過去の出来事を別のカメラ位置から再現する場面で、つじつまが合わなくなりやすいという。


　ATASは、脚本を場所、カメラ、出来事の時間といった参照情報を持つショットの依頼に分解する。生成の前に、静的な空間の形を点群として蓄える「シーン記憶」と、動きのある出来事を場所、出来事、時間で索引づけて蓄える「イベント記憶」から必要な情報を取り出し、動画生成モデルに渡す。生成後は映像から3次元の情報を復元して位置合わせし、映像の審査や位置合わせなどの確認にすべて通った場合だけ記憶を更新する。記憶に入れるかどうかにかかわらず、生成したショットは作品の映像として使える。

　動画生成モデル側の進化は続いている。快手科技は1回で最長30秒の映像を作れる「Kling 4.0」を正式リリースしたばかりだ。ATASが担うのは、こうしたモデルの外側にあるショット間の記憶の部分で、論文では4種類の動画生成モデルに載せて評価した。

　論文によると、ショット間の一貫性を測るすべての指標が向上し、4種類すべてで総合スコアが最高となった。離れた場所へ戻る「空間の再訪」では、目標画像との比較でPSNRが15.968、SSIMが0.385、LPIPSが0.284となり、比較した他のエージェントや3D誘導手法を上回った。過去の出来事を別のカメラで再現する課題でも3つの基準で首位に立ち、人手評価では6基準すべてで最高の評価を得たという。