ChatGPTの基礎「トランスフォーマー」とは

　ChatGPTは、「大規模言語モデル（LLM：Large Language Models）」と呼ばれるAIの一種だ。LLMは、インターネット上の記事や書籍など、何億個もの単語から成る巨大なテキストデータセットを用いて学習し、ディープラーニング（深層学習）によって訓練される。

　そこで用いられるのが、「トランスフォーマー」という仕組みだ。これによって、LLMは文脈に基づいて文章を生成する能力や、文脈に適した次の単語を予測する能力を獲得できた。

　訓練が終わったLLMは、自然言語処理（NLP）のタスクに用いられる。具体的には、文書の要約、質問応答、翻訳、文書生成などのタスクだ。


　GPT-3やGPT-4（OpenAIによって開発されたLLM）は、その最もよく知られた例だ。GPTのTは、「トランスフォーマー」という意味だ（GPTとは、Generative Pretrained Transformerの略）。

グーグルが「トランスフォーマー」を開発したが…

　トランスフォーマーは、グーグルの最も重要な発明の1つだ。

　The JAPAN TIMES（JULY 19, 2023）によると、この技術は元々、ランチタイムの会話から生まれた。2017年、グーグルの研究者たちは、コンピューターにテキストを生成させるより効率的な方法について議論し、その結果を、『Attention is All You Need』と題した論文で発表した。

　彼らは、「注意（Attention）」という概念を用いて、より効率的に単語を学習する方法を開発したのだ。

　この論文は、AIに飛躍的な進歩をもたらすこととなった。彼らの論文は、他の研究者によって8万回以上引用された。そして、彼らが設計したAIアーキテクチャーが、OpenAIのChatGPTや、画像生成ツールMidjourneyなどに利用されたのだ。

　ところが、トランスフォーマーの技術は、グーグルですぐに活用されることはなかった。なぜだろうか？ 【次ページ】グーグルがトランスフォーマー活用に「出遅れた」ワケ