AI動画は「映画のプロ基準」で実力不足、映画監督らが新評価基盤「FilmBench」を発表

　映画制作の専門基準で生成AI動画を測る新たな評価基盤「FilmBench」を、中国アリババや北京電影学院などの研究チームが映画監督らと共同開発した。テキストから動画を作るT2Vの9モデルを評価したところ、複数ショットの映像は単一ショットに比べて平均7.9点低くなり、動きのある場面や複数のカットをつなぐ制作で弱点が目立った。

　FilmBenchは、受賞歴のある映画の映像から逆算して1,169件のプロンプトを作成した。ジャンルは20種類で、うち1,056件は複数ショットを含む。FilmBenchでは、Webユーザー由来や大規模言語モデルのテンプレートをそのまま使うのではなく、受賞歴のある映画の映像を基に生成AIでプロンプトの草案を作り、映画監督らが実際のショットリストに近い形へ仕上げたという。

　評価軸は、指示への追従、時間的な連続性、美的品質の3領域。構図、カメラの角度や動き、焦点、編集の流れなど共通の12項目に分け、R2Vでは参照画像への追従を加えた13項目とした。T2Vでは35指標、R2Vでは38指標を採点した。T2Vで9モデル、R2Vで7モデルを対象にした。

　さらに研究チームは、専門家水準の判定を目指す自動評価エージェントも開発。モデル単位の順位と、北京電影学院の関連分野の評価者による順位とのスピアマン順位相関は、T2Vで0.95、R2Vで0.96だったという。評価用の映像分析機能群「FilmOps」はオープンソースで公開している。

　一方、主要モデルの得点は、Web由来や大規模言語モデルで作成したプロンプトを使う従来型ベンチマークより低かった。単一ショットの平均89.2点に対し、複数ショットは81.3点。低下は構図や視点、カメラ移動、焦点、編集の自然さ、ショットをまたぐ空間的一貫性に集中した。音声や時間的な整合性の落ち込みは比較的小さかったという。

　会話場面と比べると、アクション場面では全モデルの得点が下がった。テキストから動画を作る評価では、上位モデルの低下幅が5.3～6.7点だったのに対し、下位モデルでは12.3～15.5点に広がった。見栄えのよい短い映像を1本作れても、複数カットで人物や小道具の位置を保ち、撮影意図に沿ってカメラを動かす能力には差が残る。

　ただし、FilmBenchの自動評価器は研究チーム自身が開発したもので、論文も査読前である。評価手法の妥当性については、今後、外部研究者による独立した検証も必要になる。今回の結果は、AI動画の品質が低いと一律に結論付けるものではない。映画などのプロ向け映像制作で採用を判断する際には、短いデモ映像だけでなく、複数ショットの整合性や編集工程まで含めて評価する必要性を示した形だ。