テンセントARC Lab、ゲームAI「Player-1」発表 Minecraft成功率38％で比較対象の約3倍

　テンセントのARC Labなどの研究チームは、ゲームを操作するAIの後訓練手法「Player-1」を論文で発表した。論文はarXivに10月14日付で公開された。録画されたプレイの模倣だけに頼る手法を、合成環境での強化学習で大きく上回ったという。

　論文によると、画面を読み取ってキーボードとマウスを操作するコンピューター操作エージェントは登場しているものの、ゲームは依然として難しい課題だという。Player-1は、AIが選べる行動に、相対的なポインタ移動、持続的な入力、複数の入力を組み合わせた複合アクションを加えた。

　学習は2段階で進める。まず、録画された操作に指示と視覚的な推論を組み合わせた6,044件のゲームプレイ軌跡で、教師ありファインチューニング（SFT）を行う。続いて、2Dと3Dの合成環境16種からなる「Player-1-Gym」で、検証可能な報酬と、観測や操作の力学のランダム化を使い、強化学習のPPOで鍛える。モデルはQwen3.5-9BとQwen3.5-35B-A3Bから初期化し、「Player-1-9B」「Player-1-35B-A3B」とした。

　評価では、Minecraft上の300タスクで構成する「MineDojo-300」の成功率が、SFT版に比べてPlayer-1-9Bで27.8ポイント、Player-1-35B-A3Bで17.7ポイント向上した。Player-1-9Bの成功率は38.33％で、論文が比較した他のモデルで最も高いGameWAMの12.63％の約3倍にあたる。ViZDoomの10マップによる「ViZDoom-10」と、ブラウザゲームの「GameWorld」でも、SFT版を上回った。

　論文はこのほか、合成環境の種類が多いほど、学習に使っていないゲームへの転移性能が高まることや、強化学習の間に複合アクションの使用が増えたことも報告している。

　GitHubでプロジェクトのリポジトリが公開されている。ただしREADMEによると、モデルの重みとPlayer-1-Gymは「Coming Soon」で、学習と評価のコードも未公開という。ライセンスはMITとしている。