- 2026/08/21 06:40 掲載
「Claude Code×GPT」自律ループが凄すぎ、仕事が“3つ”に減る5ステップ(3/3)
「最強AI」でも成功率25％…「完全自動化」はまだ幻想と言えるワケ
ここで、冷静な数字も見ておきたい。2026年7月末にマイクロソフトなどが公開したベンチマーク「LoopsBench」は、112件の長時間開発タスクで、ループエンジニアリングの実力を測った。当時最強のClaude Opus 4.7とClaude Codeの組み合わせでも、完全に解決できた割合は25%にとどまった。実際のGitHub上の複雑な連続タスクに限れば、成功率は3%台に沈んだ。優秀なモデルを無限に回せばソフトウェアが勝手に完成する、という期待は現時点では幻想だ。
ループエンジニアリングの本当の姿は、こう表現できる。失敗するAIを前提に、失敗を検出し、修正させ、再試行させ、それでも駄目なら安全に止める。そのための制御の仕組みを作る技術だ。7月公開の査読前論文「Proof-or-Stop」も、この思想を端的に示した。AIの「終わりました」は事実ではなく、ただの主張である。テスト結果という証拠がそろうまで、完了として扱ってはならない。
AIの「できました」は主張にすぎず、テスト結果という証拠がそろうまで完了と見なさない。最新ベンチマークでも完全解決率は25%にとどまり、検証の仕組みこそが生命線になる
ループエンジニアリングの本当の姿は、こう表現できる。失敗するAIを前提に、失敗を検出し、修正させ、再試行させ、それでも駄目なら安全に止める。そのための制御の仕組みを作る技術だ。7月公開の査読前論文「Proof-or-Stop」も、この思想を端的に示した。AIの「終わりました」は事実ではなく、ただの主張である。テスト結果という証拠がそろうまで、完了として扱ってはならない。
（画像：筆者作成）
AI時代でも残る「人間のタスク」の正体
ループエンジニアリングが進むと、人間のやることはほとんどなくなるように見えるが、実際は違う。コンテキストを整え、ゴール条件を定義し、どこで人間が引き取るか。AIを安全に自動運転させるための高度な判断と設計が、人間の仕事になる。
これには経験による勘だけでは対応しきれない。ソフトウェア工学や組織マネジメント、もしくは人間側の認知心理学といった基礎知識が必要になってくる。筆者も正式に学んだわけではないが、常に知識を仕入れ、最初は下手でも実際の仕事に投入し、失敗しながら学ぶ。このループは今後も人間の仕事として残るはずだ。
これには経験による勘だけでは対応しきれない。ソフトウェア工学や組織マネジメント、もしくは人間側の認知心理学といった基礎知識が必要になってくる。筆者も正式に学んだわけではないが、常に知識を仕入れ、最初は下手でも実際の仕事に投入し、失敗しながら学ぶ。このループは今後も人間の仕事として残るはずだ。
Googleで見つけやすく
共有する
-
0
-
4
-
0
-
0
-
0
システム開発総論のおすすめコンテンツ
関連タグ
タグをフォローすると最新情報が表示されます
システム開発総論の関連コンテンツ
あなたの投稿
PR
PR
PR
