OpenAI、Codexの新機能「Record & Replay」を公開 操作の実演で作業を自動化

　OpenAIが新たに提供を開始した「Record & Replay」は、画面上の操作を録画してAIに学習させることで、日常的なPC作業を自動化する機能だ。利用者が対象の機能を開始し、通常通りに作業を行うと、Codexがその操作手順と画面上の情報を記録する。記録された一連の動作は、自動化プログラムである「スキル」として保存され、以降はプロンプトを書かずに再利用できる。

　本機能の特徴は、テキストによる詳細なプロンプト入力を実演に置き換えた点にある。従来のAIエージェントでは、画面のレイアウトやデータファイルの場所、入力形式の制約などをその都度テキストで正確に指示する必要があった。新機能では、人間が一度だけ操作を見せることで、AIが自律的に必要な入力内容や実行すべきステップ、作業完了の確認方法を把握した手順書を作成する。次回以降は「この動画を公開して」などの短い指示を出すだけで、AIが同じ手順を実行する仕組みとなっている。


　用途として、経費精算や休暇申請の提出、駐車場の予約手配、定期レポートのダウンロードなどが提示されている。公式の紹介動画では、利用者がYouTube Studioを開き、動画ファイルをアップロードしてタイトルやサムネイル画像を設定するまでの手順を一度記録し、その後の投稿作業をCodexに代行させる様子が示された。

　記録したスキルは、実行時に一部の条件を変更して適用できる。例えば、別のファイルや異なる日付の指定、別の入力フォームの内容など、その時々の状況に合わせて情報を差し替えて実行させることが可能だ。生成されたスキルは、AIによるコンピュータ操作機能やブラウザのアクション、インストール済みのプラグインを組み合わせて機能する。利用者は保存されたスキルを後から編集し、ファイルの命名規則やデフォルトの入力項目などの独自の設定を追加することもできる。本機能は現在、macOS環境のユーザーに限定して提供されている。