【保存版】GPT-6 Astraに“PCの初期設定“を丸投げ？凄すぎる「画面操作機能」活用術(2/3)

【実践編】「＠」で始める画面操作の設定手順

　Computer Useには、パソコン全体を画面で操作する方法と、ブラウザを拡張機能経由で操作する方法があり、どちらも「@」で指名して使い分けます。

　使い方は簡単です。ChatGPTのデスクトップアプリ（Mac／Windows）をインストールし、「Work」か「Codex」を選んで使います。画面操作はこの2つで使う機能で、普段の調べものに使うChatの画面には出てきません。

　有効にするには、アプリの「設定 > コンピューターの使用」を開き、「任意のアプリ」をオンにするだけです。


　あとはチャットで「@」と打つと操作先の候補が表示されるので、そこから選んで指名し、「〇〇の設定を行なって」のように頼みます。

　注意点が2つあります。1つ目は、ブラウザの指名先が2種類あることです。候補から「ブラウザ」を選ぶとChatGPTに内蔵されたブラウザが動きます。「Chrome」のように普段使っているブラウザを選ぶと、そのブラウザを操作してくれます。ログイン済みの状態をそのまま使えるので、ログインが必要なサービスに向いています。


　2つ目は、Chromeを操作させるには、Chrome側に拡張機能を別途入れる必要があることです。「設定 > コンピューターの使用」にブラウザの一覧があり、Chromeの横の「インストール」を押すと拡張機能のストアが開きます。

　入れ終えてアプリに戻り、表示が「管理」に変わっていれば準備完了です。EdgeやBraveも同じ手順で追加できます。拡張機能に対応していないブラウザやアプリは、候補の「コンピューター」かアプリ名で指名すれば、画面操作として動かせます。

Macの面倒な初期設定をAIに丸投げ…どこまでできた？

　筆者は先日Mac Studioを買いました。仕事で使えるようにするには、さまざまなソフトを入れて設定する必要があります。そこで最初にChatGPTのデスクトップアプリだけを入れ、Computer Useを有効にして、残りを全部任せてみました。

　日本語入力の全角・半角切り替えキーの設定から、画面の見やすさの調整、Chromeや動画編集ソフトの導入、プログラム実行環境の準備まで、すべて自動で進めてくれました。

　導入したソフトの1つに「Hermes Agent」があります。自分専用のAIエージェントをパソコンに常駐させるオープンソースのソフトで、使いながら自分で学習していく仕組みが注目されています。GitHubのスター数は25万を超えており、コードが公開されているので誰でも自分のパソコンに入れて使えます。


　パソコンに入れるだけなら難しくありませんが、外出先のPCやスマホ、Slackからも使えるようにするには追加の設定が必要で、手間を考えて先延ばしにしていました。これもComputer Useに頼んだところ、15分ほどで連携が終わりました。

　任せきりにしないために、作業後は「何をどう設定したのか図解してください」と頼んでいます。返ってきたのが次の構成図です。


　SlackからMac Studioの常駐プログラム、Hermes本体、OpenAIのモデルまでの流れが1枚に描かれています。自動で任せた作業は、念のため何をしたのか自分の目で確かめておくのがおすすめです。

　使ってみたいのにセットアップが面倒で手を付けていないソフトがある方は、ぜひ試してみてください。 【次ページ】ChatGPTとClaude、画面操作はどう使い分ける？