「クロード！もういい！もどれ！」Claude Fableが50時間かけて「ポケモンFR」をクリア

　これまでのAIモデルがゲームをプレイする際には、ゲーム内の状態を追跡するための補助プログラムを使う必要があった。しかしClaude Fable 5はマップデータなどの追加情報を一切与えられず、人間が画面をみてプレイするのと同様に、ゲーム画面のスクリーンショットだけで『ポケットモンスター ファイアレッド』のプレイを進行した。

　着実に進行を重ねたClaude Fableは、約50時間9分ぶっ続けでプレイをし、見事「殿堂入り」を果たした。視覚情報のみでポケモンをクリアできたことは、長時間のプレイにおいて画面の情報を正確に読み取り、ゲーム進行を記憶し、失敗したらやり直すという「人間のゲーマー」と同レベルのスキルを、AIがすでに身に着けていることを示している。


　Fable 5は、ポケモンをプレイする上でゲームの内部メモリの読み取りや座標データ、マップ情報、状態を追跡する外部ツールを一切使用しなかった。人間がゲームで遊ぶのと同じように「画面を見るだけ」で状況を認識したという。

　ゲームの進行はシンプルなループの繰り返しで行われた。まずのゲーム画面のスクリーンショットを読み込むと、画面の状態から「今何が起きているか」「次にするべきことは何か」を考える。そこからA、B、十字キーなどの「どのボタンを押すか」を判断し、ゲームに指示を出す、Fable 5はこのサイクルを、約50時間かけてエンディングまで自律的に繰り返し続けた。同時に、数百万トークンに及ぶ文脈を維持する長期記憶能力の高さも示している。

　さらに同モデルは『ポケモン』だけでなく、複雑な工場建設シミュレーションゲーム『Factorio』を自律的にプレイし、自動化工場を構築する技術デモ映像も公開されている。


　ゲームプレイの実証実験以外にも、本モデルの視覚処理能力は実用的な研究やビジネス分野で高い性能を発揮する。詳細な図表から正確な数値を読み取るスキルは、これまでの視覚モデルが失敗を繰り返していた領域である。

　また、スクリーンショット画像からアプリのデザインや動作を含むソースコードを生成することも可能となる。ソフトウェア開発のベンチマークでも高い成績を収めており、プログラミング能力と視覚情報を組み合わせた高度な作業の自動化などへの応用が想定されている。