NVIDIA ロボット世界モデルAI「DreamDojo」発表、人間の動画からロボットが学習

人間の44,000時間の動画からロボットが学習、物理法則や作業動作を理解

　NVIDIAが率いる研究チームは、UC BerkeleyやStanford大学などと協力し、ロボットの自律制御を飛躍的に高める新たな基盤モデル「DreamDojo」を開発した。本モデルの最大の特徴は、ロボットの学習データとして従来一般的だった「ロボット自身による試行錯誤データ」ではなく、YouTubeなどに存在する「人間の行動動画」を大規模に活用した点にある。学習に使用された「DreamDojo-HVデータセット」は44,000時間の人間の一人称視点動画で構成されており、これは2024年に発表された他社の世界モデルが使用したデータ量の約49倍に相当する。


　DreamDojoは、この膨大な映像データから物理的な因果関係や物体の操作スキルを事前学習（Pre-training）し、その後、特定のロボットの身体に合わせて微調整（Post-training）を行う2段階のプロセスを採用している。これにより、異なるメーカーのロボットであっても、共通の物理的常識を適用することが可能となった。実際にFourier Intelligence社のGR-1やUnitree Robotics社のG1、AgiBot、YAMといった複数のヒューマノイドロボットにおいて、多様な環境下での物体操作や移動が確認されている。

　また、実用面における処理速度の課題も克服しており、10 FPS（毎秒10フレーム）でのリアルタイム相互作用を実現した。これにより、ロボットは1分以上の長期間にわたる動作生成（ロングホライゾン・ロールアウト）を安定して行うことができ、コストのかかる実機テストを行う前に、高精度な仮想シミュレーション内での動作検証が可能となる。NVIDIAのジェンセン・フアンCEOは、AIロボティクスを「一世代に一度の機会」と位置づけており、産業界全体での資本支出が拡大する中、本技術はロボット開発の効率化に大きく寄与するとみられる。