• 会員限定
  • 2023/07/31 掲載

米国経済の強さがわかる「OpenAIの大成功」と「グーグルの大失敗」、対する日本は…?

連載:野口悠紀雄のデジタルイノベーションの本質

記事をお気に入りリストに登録することができます。
ChatGPTなどの基礎になっている「トランスフォーマー」という技術がある。これは、グーグルが発明したが、グーグルはそれを活用することに出遅れた。ただし、スタートアップ企業がそれを活用して、見事に開花させた。この一連の流れから、米国経済の強さが垣間見えてくる。対する日本はどうか。

執筆:野口 悠紀雄

執筆:野口 悠紀雄

1940年、東京に生まれる。 1963年、東京大学工学部卒業。 1964年、大蔵省入省。 1972年、エール大学Ph.D.(経済学博士号)を取得。 一橋大学教授、東京大学教授(先端経済工学研究センター長)、スタンフォード大学客員教授、早稲田大学大学院ファイナンス研究科教授などを歴任。一橋大学名誉教授。
noteアカウント:https://note.com/yukionoguchi
Twitterアカウント:@yukionoguchi10
野口ホームページ:https://www.noguchi.co.jp/

★本連載が書籍化されました★
『どうすれば日本経済は復活できるのか』 著者:野口悠紀雄
購入サイトはこちら:https://www.sbcr.jp/product/4815610104/

photo
なぜトランスフォーマー技術を、開発者のグーグルが活用できず、スタートアップが活用できたのか
(出典元:JRdes / Shutterstock.com)

ChatGPTの基礎「トランスフォーマー」とは

 ChatGPTは、「大規模言語モデル(LLM:Large Language Models)」と呼ばれるAIの一種だ。LLMは、インターネット上の記事や書籍など、何億個もの単語から成る巨大なテキストデータセットを用いて学習し、ディープラーニング(深層学習)によって訓練される。

 そこで用いられるのが、「トランスフォーマー」という仕組みだ。これによって、LLMは文脈に基づいて文章を生成する能力や、文脈に適した次の単語を予測する能力を獲得できた。

 訓練が終わったLLMは、自然言語処理(NLP)のタスクに用いられる。具体的には、文書の要約、質問応答、翻訳、文書生成などのタスクだ。

画像
ChatGPTの基礎にもなっているトランスフォーマー技術の発展で見えた米国の強さと日本の弱さ
(出典元:Rokas Tenys / Shutterstock.com)

 GPT-3やGPT-4(OpenAIによって開発されたLLM)は、その最もよく知られた例だ。GPTのTは、「トランスフォーマー」という意味だ(GPTとは、Generative Pretrained Transformerの略)。

グーグルが「トランスフォーマー」を開発したが…

 トランスフォーマーは、グーグルの最も重要な発明の1つだ。

 The JAPAN TIMES(JULY 19, 2023)によると、この技術は元々、ランチタイムの会話から生まれた。2017年、グーグルの研究者たちは、コンピューターにテキストを生成させるより効率的な方法について議論し、その結果を、『Attention is All You Need』と題した論文で発表した。

 彼らは、「注意(Attention)」という概念を用いて、より効率的に単語を学習する方法を開発したのだ。

 この論文は、AIに飛躍的な進歩をもたらすこととなった。彼らの論文は、他の研究者によって8万回以上引用された。そして、彼らが設計したAIアーキテクチャーが、OpenAIのChatGPTや、画像生成ツールMidjourneyなどに利用されたのだ。

 ところが、トランスフォーマーの技術は、グーグルですぐに活用されることはなかった。なぜだろうか? 【次ページ】グーグルがトランスフォーマー活用に「出遅れた」ワケ

関連タグ

あなたの投稿

関連コンテンツ

    PR

    PR

    PR

処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます