Computer Use（コンピューター・ユース）とは何か？Claude・Gemini・ChatGPTの利用法

Computer Useとは？AIが画面を通じて作業する技術

　Computer Useとは、AIがコンピューターの画面を認識し、マウスやキーボードに相当する操作を選びながら、アプリケーション上のタスクを進める技術だ。コンピューターユース、コンピューター操作などとも表記される。特定の1製品だけを指す名称ではなく、Anthropic、OpenAI、Googleなどが関連機能を提供している。

　従来のチャット型AIに『申請画面の入力方法を教えて』と頼むと、通常は手順の説明が返ってくる。Computer Useを組み込んだエージェントでは、許可された環境と権限の範囲内で画面を開き、入力欄を選び、値を入力するところまで進められる。回答を作るだけでなく、ソフトウェアの状態を変更できる点が特徴である。

　AIエージェントとは、目的に応じて作業を計画し、ツールを使いながら処理を進める仕組みを指す。Computer Useは、そのエージェントに画面操作の手段を与えるものだ。エージェントはAPI連携やファイル処理なども使えるため、AIエージェントとComputer Useは同義ではない。

仕組みは画面認識・判断・操作・再確認の繰り返し

　典型的な処理では、実行環境が画面のスクリーンショットをAIモデルに渡し、モデルが次の操作を選ぶ。実行環境がクリックやスクロール、文字入力を実行した後、新しい画面を取得してモデルに返す。この繰り返しで、入力が反映されたか、別の画面に移動したかを確認しながら作業を進める。

　モデルが『クリックする』という指示を生成することと、実際にクリックが実行されることは別である。APIを利用して開発する場合、開発者は操作対象のブラウザーやデスクトップ、操作を実行するプログラム、結果をモデルへ返す仕組みを用意する必要がある。完成したアプリとして提供されるサービスでは、これらを提供事業者が組み込んでいる。

　OpenAIのComputer useの公式ガイドでも、操作後に画面を返し、アプリケーション上の結果を確認する流れを示している。AIの『完了した』という回答だけで成功と判定せず、保存済みの値や生成ファイルなど、業務上の成果を確認する設計が重要になる。

RPA・API・ブラウザー自動化との違い

活用例とメリットは？APIのない業務をつなぐ

　活用候補は、複数の管理画面に分散した情報の収集、フォームへの転記、画面を使った操作テストなどだ。Googleの公式ドキュメントも、フォーム入力、Webアプリケーションのテスト、複数サイトでの調査を用途として挙げている。これらは用途の提示であり、個別企業での削減効果を保証するものではない。

　以下は実測結果ではなく、業務設計を説明するための想定例だ。営業担当者が表計算ファイルの顧客情報を、APIのない社内システムへ転記する場面を考える。担当者は対象ファイルと入力先を指定し、『会社名・担当者名・電話番号を入力し、登録確定の前で止める。不明な項目は推測しない』と指示する。エージェントが画面上の項目を確認して入力し、担当者が入力内容と重複の有無を確認して確定する。

　この例で変わるのは、転記に伴う画面移動や入力操作の一部をエージェントへ移せることだ。一方で、列名の対応付け、同姓同名の判定、既存顧客との統合などの業務判断は別途定める必要がある。入力を任せただけでデータ品質が保証されるわけではない。

　専用の連携機能を開発する前に、少量の作業で自動化の価値を確かめられることも利点となる。ただし、大量の定期処理では画面遷移やAIの判断待ちが積み重なるため、APIや既存の自動化方式も含めて比較する必要がある。

3つの限界：誤操作、プロンプトインジェクション、コスト

Claude・Gemini・ChatGPTを比較：APIとアプリは何が違う？

　最初に区別したいのは、開発者が操作環境を用意するAPIと、利用者がタスクを頼むアプリである。同じ提供元でも、使えるOSや承認方法、利用条件は異なる。以下は2026年11月4日に確認した公式情報の整理であり、3社を同条件で測定した性能比較ではない。

　Claude：APIのcomputer use toolは、開発者が管理するデスクトップ環境で画面取得とマウス・キーボード操作を実行する。現行資料はcomputer_toolset_20260801を案内しており、旧版ツールの条件と混同しないことが重要だ。Claude DesktopではmacOSとWindowsに対応し、アプリごとの許可を求める。Computer UseはPro・Max・Ultra向けのベータで、Team・Enterprise向けには提供されていないと記載されている。

　別の入口であるClaude Code CLIの画面操作はmacOS向けのresearch previewだ。セッション単位で対象アプリを承認し、Escまたは端末のCtrl+Cで中止できる。Desktop版とCLI版の対応OSを一括りにしないよう注意したい。

　Gemini：Gemini APIのComputer Useは、ブラウザー・モバイル・デスクトップの操作エージェントを構築するための機能だ。開発者が操作の実行と画面の返却を実装する。確認要求（safety_decision）が返った場合は利用者の承認を得る必要があり、画面内の不正な指示を検出する機能は任意で有効化する方式となる。一般向けGeminiアプリで同じ操作ができるという意味ではなく、対応モデルと提供段階は採用時に個別確認が必要だ。

　ChatGPT／OpenAI：開発向けComputer useでは、モデルの操作要求を実行し、結果を返す環境を組み込む。一方、デスクトップアプリのComputer Useは、許可したPC上のアプリを操作する。Windowsでは前面の入力を使うため、操作中に人が同じPCを使う場合の運用も考える必要がある。

　さらにChatGPTのブラウザー機能には、デスクトップアプリ内のブラウザーや既存ブラウザーへの接続に加え、クラウド側で動くブラウザーがある。クラウドのブラウザーは手元のPCとは別環境で、社内ネットワークやローカルファイルに同じように届くとは限らない。利用可能範囲はプラン・地域・組織設定で確認する。

提供元・入口	操作環境	承認	停止	提供状況・確認事項
Claude API	開発者が用意するデスクトップ	重要操作の確認を実装	実行ループに停止処理を実装	ツール版・モデルごとに条件確認
Claude Desktop ／CLI	Desktop： macOS・Windows CLI：macOS	アプリごとの許可 CLIはセッション単位	Desktopはタスク停止 CLIはEsc ／Ctrl+C	Desktop：ベータ CLI：研究プレビュー
Gemini API	ブラウザー・モバイル・デスクトップを開発者が構築	確認要求への対応を実装	承認拒否時などに実行を中止	対応モデル・提供段階を個別確認
OpenAI API	開発者が組み込む操作環境	業務上の承認を実装	実行ループに停止処理を実装	モデル・ツールの組み合わせを確認
ChatGPT アプリ／Work	ローカルPC操作とクラウドブラウザーを区別	アプリの許可・重要操作の確認	タスク停止・人による引き継ぎ	プラン・地域・組織設定で利用範囲が異なる

　APIでは「承認を求める応答が返ること」と「実際に操作を止めること」は別である。確認待ちの間に操作を実行しない制御と、中断後の保存状態の確認までを実装して初めて運用できる。

企業が導入する手順と効果測定

　最初に、対象業務の開始条件と完了条件を決める。「指定ファイルの対象行を入力し、登録前の確認画面で停止する」なら、正しい入力と指定位置での停止を成功条件にする。登録完了まで任せる検証なら、保存先の値と重複の有無まで確認する。異なる完了条件の結果は混ぜない。

　次に、最小限の権限を持つ検証環境とダミーデータを用意する。読み書きできる範囲、接続先、ログの保存先を限定し、決済・削除・顧客への送信などは確定前に人が内容を確認する。製品の確認画面が出ることだけに頼らず、業務として承認すべき操作と承認者を定める。

　比較実験では、同じデータ・同じ指示・同じ開始画面で各5回など、試行条件をそろえる。日付、製品・モデル・版、OS、権限、ブラウザーを記録し、毎回初期状態へ戻す。5回の結果はその条件下の観察にとどまり、製品一般の成功率とは言えない。入力不足や重複、ログイン切れ、途中停止は、正常系と分けて追加検証する。

評価指標	測り方	見落としやすい点
完了率	事前に定めた成功条件を満たした試行数 ÷ 全試行数	登録前停止の試験を「保存成功」と数えない
人の介入回数	承認・再指示・入力修正・復旧などを種類別に記録	承認のための介入と失敗の救済を分ける
1件当たりの総工数	担当者の準備・確認・修正・復旧の作業時間を合計し、完了件数で割る	失敗分の手戻りも含める。AIの待ち時間と人の作業時間を混同しない

　失敗した試行では、止まった画面と保存済みの範囲を記録する。その証拠から復旧できるかを確かめ、確認と復旧を含む工数が現行業務を下回る範囲から本番へ広げる。モデルや画面が更新されたら同じ条件で再検証することが、継続運用の判断材料になる。