アンソロピックのAIドローン「Project Pilot」、成功率0％でも驚異的な自律飛行の実力

成功率0％、それでも凄い「4工程突破」の現在地

　米アンソロピックは7月24日、AIモデルが市販ドローンを制御する能力を検証した実験「Project Pilot」を発表した。米アンドン・ラボと共同で、オフィス内を自律飛行し、指定された人物を発見して追跡するまでの能力を測ったものだ。アンソロピックは、「AIが物理世界で生み出す機会とリスクを把握する狙いがある」と説明している。


　実験のために開発したベンチマーク「Drone-Bench」では、米オープンAI、米グーグル、アンソロピックの新旧15モデルを比較した。作業は、撮影済み映像からオフィスを3D化する「再構築」、ドローンの位置を割り出す「自己位置推定」、目的の部屋へ移動する「航行」、参照写真と同じ人物を探す「検出」、その人物を追い続ける「追尾」の5工程である。

　各モデルは工程ごとにプログラムを書き、評価結果を受けながら最大10回修正した。さらに、同じモデルで10回の試行を実施。人間の専門家がコーディングエージェントを使って作ったプログラムを基準とし、モデル単独でどこまで近づけるかを測った。

　最も成績が良かったClaude Fable 5は、良好な試行では再構築を除く4工程で基準を突破したという。実機試験でも、人物の検出と追尾は基準プログラムを上回った。人を見つけ、カメラの中央に捉えながら距離を保って飛ぶ能力は、すでに一定水準へ到達した形だ。

　ところが、5工程を順につなぐDrone-Bench上の成功率は0％だった。再構築で基準を上回ったモデルがなく、その誤差が後続工程へ波及するためだという。人は追えるが、目的の部屋へ安定してたどり着くことができないそうだ。

最良と平均に「約6カ月差」、AI自律飛行の実力

　成功率0％という数字だけを見れば、AIによる自律飛行はまだ遠いように映るが、実験結果を詳しく見ると、別の姿が浮かび上がる。最良のモデルは良好な試行で4工程を突破しており、残された大きな課題は再構築へと絞られつつあるからだ。


　アンドン・ラボ によると、現時点の最良モデルが通常の試行で4工程を連続して基準以上にできる確率は約6％だった。また、平均的な試行の能力は、同じ時点の最良試行と比べて約6カ月遅れているという。現在の「たまにできる」が、半年ほどで「普通にできる」へ近づいてきた計算である。

　さらに目を引くのが、試行錯誤による伸びだ。各モデルに10回の修正機会を与えたところ、最初の提出物から最良の提出物まで、スコアは平均182％改善した。Claude Fable 5は最初の提出で基準を超えた割合が2％だったのに対し、最良の提出では52％まで上昇。スコアの改善率は312％に達したとしている。

　ただ、この数字は企業導入時に割り引いて考える必要がある。ベンチマークでは、モデルがプログラムを提出するたびに数値化された結果を受け取れる。どこを直せばよいかを判断しやすい環境だ。

　一方、実際の工場や倉庫、被災地では、正しい答えを示すスコアが直ちに返ってくるとは限らない。モデル自身が映像やセンサー情報を調べ、失敗の原因を突き止めなければならないためだ。アンドン・ラボも、次のモデルでは最良試行が5工程を突破する可能性がある一方、平均的な試行が追いつくには、さらに約6カ月かかると予測する。

　重要なのは、最高性能ではなく再現性だという。1度だけ成功するデモと、毎日止まらずに動く業務システム。その間には、想像以上に深い溝が残っている。 【次ページ】1つの失敗で止まる、AIドローン「誤差連鎖」の正体