- 2026/10/26 06:10 掲載
【保存版】GPT-6 Astraに“PCの初期設定“を丸投げ？凄すぎる「画面操作機能」活用術
面倒なソフトの設定も、PDFへのコメント入力も、AIに丸投げできたら──。そんな使い方を実現するのが、GPT-6 Astraの「Computer Use」です。AIが画面を見ながら操作するこの機能は、Astraで精度が大きく向上。筆者の検証でも、PDF校正でほぼ正確にコメントを挿入できました。では、どうすれば自分のPCでも使えるのでしょうか。設定手順から実践的な活用法、Claudeとの使い分けまで詳しく紹介します。
Nyanta AI株式会社 代表取締役／機械学習エンジニア
機械学習エンジニアとして、データの整備やAIの回答精度を数値で検証する方法など、AIを実務で使うための土台づくりに携わってきた。現在はNyanta AI株式会社で、中小企業のAI導入を自ら手を動かして支援している。新しいAIツールは自身の業務で試し、使えた点と使えなかった点をYouTube「にゃんたのAIチャンネル」（登録者約9万人）で発信。ChatGPTやClaudeを仕事で使う方法を初心者向けに解説している。著書に『ゼロからわかるDifyの教科書』、11月刊行予定の『ゼロから学ぶClaude Code業務エージェントの教科書』（ともに技術評論社）。
（本文を基に編集部作成）
Astraの画面操作は何が便利？役立つ「2つの場面」
筆者は普段、ChatGPTとClaudeをメインで使っています。ChatGPTは最新情報の検索やレビューに、Claudeは文章を書かせたり相談役にしたりと重宝しています。GPT-6 Astraの登場でこの使い分けは変わりませんでしたが、筆者の仕事に一番影響があったのは、Computer Use（AIが画面を見ながらマウスやキーボードを操作する機能）です。機能自体は以前からありましたが、Astraで操作の精度が目に見えて上がりました。
GPT-6 Astraで、Computer Useの操作精度が目に見えて上がりました
（Photo/Robert Way/Shutterstock.com）
たとえば、筆者は書籍も執筆していますが、原稿のPDFを校正して該当箇所にコメントを付けさせることがあります。GPT-5.6 Solでは位置がずれることがありましたが、Astraではほぼ正確に該当のテキストを選んでコメントを入れてくれました。
画面操作の出番を一言で言うと、APIやMCPが使えない作業です。APIやMCPで連携できない、あるいは連携するほどではない作業は意外と多く、代表的なものが2つあります。
1つは、ソフト側にAPIやMCPが用意されていない場合です。Webサービスは人が画面で操作する前提で作られているものが多く、プログラムからの窓口を持たないものがまだ少なくありません。仕事で長く使っている古い業務ソフトも同様です。データはそこに蓄積されているのにAIが読みに行けず、この「取り出し」がAI活用のボトルネックになっている職場は多いのではないでしょうか。
もう1つは、連携を組むまでもない一度きりの作業です。新しいツールの初期設定や、慣れない管理画面での手続きがこれにあたります。わからないたびにスクリーンショットを撮ってAIに聞きながら進めている、という人も多いと思います。
どちらの場合も、Computer Useなら人がマウスとキーボードで触るのと同じようにAIが操作するので、ソフト側の対応を待たずに自動化できます。
ではここからは、具体的な使い方を紹介していきます。
AI・生成AIのおすすめコンテンツ
関連タグ
タグをフォローすると最新情報が表示されます
AI・生成AIの関連コンテンツ
あなたの投稿
PR
PR
PR
