• 会員限定
  • 2024/05/25 掲載

GPT-4oの動画・画像、音声の能力は? これから使える機能、今わかっていることまとめ

  • icon-mail
  • icon-print
  • icon-hatena
  • icon-line
  • icon-close-snsbtns
記事をお気に入りリストに登録することができます。
OpenAIの新型AIモデル「GPT-4o」で特に注目すべきは、動画理解や音声処理能力です。たとえば45分の専門家向け講義動画をGPT-4oに入力し、数分で正確に要約する能力を示しました。さらに、高品質な画像生成や3Dオブジェクトの生成までこなします。まだ一般開放されていないこれらの技術はどのようなものなのか、いったい何をもたらすのか。『生成AIで世界はこう変わる』の著者で、東大 松尾研究室の今井翔太氏がわかりやすく解説します。
photo
GPT-4oは画像の生成でも従来とは異次元の能力を持つ
(出典:OpenAI
前回記事はこちら
GPT-4oをわかりやすく解説、専門家が「時代の転換点」と評価するヤバすぎる能力
(https://www.sbbit.jp/article/cont1/140613)

Geminiは炎上、ライブで示したGPT-4oの能力

 動画・映像の理解については、現時点でOpenAI公式から細かい評価の説明はほとんどないようです。もっとも、この性能の高さについては、OpenAIのライブや、その後に公開されたGPT-4oの動画からも明らかでしょう。

 実際に示した性能があまりにも高すぎて、逆に具体的で定量的な性能が問題にされていない感すらあります。

 余談ですが、グーグルの開発したマルチモーダルモデル「Gemini」もGPT-4oと同じく言語、画像、動画、音声の処理能力を持っており、去年の12月に発表された直後には、人間とGeminiがリアルタイムでやり取りをしながらさまざまなタスクをこなすデモ動画が公開されました。

 しかし、このデモ動画は実はリアルタイムでのやり取りではなく、複数の独立したやり取りを編集して、あたかもリアルタイムのように見せかけているということが明らかになり、炎上しました。

 OpenAIはGeminiが炎上したやり取りを、言い訳のしようがなく編集も不可能な生放送でやってのけ、動画・映像理解の能力を示したとも言えます。

45分の専門家向け動画をたった数分で要約

 GPT-4oの動画・音声処理能力について具体的に示した例はOpenAIの公式解説ページに載っています

 この例では、OpenAIの職員が「Maximizing LLM Performance」という内容の45分の講義動画(過去のイベントの講演動画)を、そのままGPT-4oに入力し、その内容を要約させています。

 理解の正確さはもちろんですが、GPT-4oは(書かれていないので正確な処理時間は不明ですが)このような動画理解を、遅く見積もっても数分以外に完了できるようです。

 人間は普通、映像理解には、映像の長さと同じ時間を要しますが、GPT-4oは極めて短時間で動画を深く理解できます。まして、今回の例の講義動画は研究者であっても理解にかなり時間を要するもので、ここに人間を超える知能の一端が現れています。

画像
GPT-4oに読ませた45分の動画は極めて高度な内容だ
(出典:OpenAI)

画像
高度な講義動画を理解して要約するGPT-4o
(出典:OpenAI
【次ページ】画像生成でも「極めて高い性能」、あの苦手作業を克服

関連タグ タグをフォローすると最新情報が表示されます
あなたの投稿

    PR

    PR

    PR

処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます