「目指すもの」が見えなかったOpenAI創生期

　OpenAIは、2015年12月、イーロン・マスク氏とアルトマン氏が共同で会長を務めるかたちで設立されました。

　グーグルなどから優秀な人材を集めてスタートしましたが、ジャーナリストである小林雅一氏の「サム・アルトマンの『OpenAI』はどのように生まれ、進化し、この先どこへ向かうのか？」によると、そもそもの目標である「AGI（Artificial General Intelligence）」（汎用人工知能）の定義がはっきりせず、メンバーは「朝から晩までおのおの好き勝手な研究に取り組んでいた」といいます。

　研究は進めるし、論文も発表するものの、会社として何を目指し、何を作ろうとしているかがはっきりと見えていなかったということでしょう。

転機はグーグル研究チームの論文、「GPT」誕生

　転機は2017年に訪れます。グーグルの研究チームが「Attention Is All You Need」という論文で「Transformer」（トランフォーマー）と呼ばれる「高精度で学習時間も短い自然言語処理タスクにおける強力なネットワーク」を提唱したことで、それまでなかなか進まなかった言語モデルの研究に突破口をもたらすことになります。

　Transformerは、データのどこに注目すべきかを推測するAttentionという機構のみでネットワークを構築、文章中のどの単語に注目すればその文章を理解しやすいかを判断することで、それまでの言語モデルが支離滅裂な文章しか出力できなかったのに対し、人間に近い文章を出力できる可能性が生まれたのです。

　元グーグルでOpenAIに参画していたイリヤ・サツケバー氏はこの論文を読み、「これこそ、我々の待ち望んでいたものだ。これこそ（従来の言語モデルに欠如していた）最後のピースだ」と感想を口にし、以後、OpenAIはTransformer方式による新しい言語モデルの開発へ進むこととなります。

　そこから生まれた言語モデルが「GPT（Generative Pre-trained Transformer）」で、これまでに世界各国の研究チームが作り上げたどの自然言語処理システムよりも高い能力を有していました。 【次ページ】イーロン・マスク氏との対立、新たな壁に直面