• 会員限定
  • 2023/04/19 掲載

【文系でもわかる】ChatGPTの“限界”はどこか? 知れば「怖くない」その仕組みとは

  • icon-mail
  • icon-print
  • icon-hatena
  • icon-line
  • icon-close-snsbtns
記事をお気に入りリストに登録することができます。
さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」は、最新版のGPT-4が登場し、ますます盛り上がりをみせています。一方で、ChatGPTを禁止する国や大学の動きも報道されています。本記事は、GPTを支える仕組みをChatGPTユーザーにとってわかりやすく説明し、その能力と限界についての見通しをよくするための記事です。
執筆:Preferred Robotics ソフトウェアエンジニア 礒部正幸

執筆:Preferred Robotics ソフトウェアエンジニア 礒部正幸

2023年春、ChatGPTやLLMの進歩に衝撃を受ける。新しい技術を非専門家向けにも分かりやすく説明するのが得意。最近は勤務先の事業であるAMR(自律走行搬送ロボット)とLLMを融合したビジネスに興味。大学時代は人工知能系の研究室に所属、世界コンピュータ将棋選手権やACM-ICPCにも参加。

photo
GPTの仕組みと限界についての考察
(Photo:DIA TV/Shutterstock.com)

GPT-3とGPT-4の違い:トークン長とは何か?

 まるで人が書いたような文章を作成できる生成型(ジェネレーティブ)AIを用いたチャットサービス「ChatGPT」が注目を浴びています。

 ChatGPTはOpenAIが開発した汎用的な大規模言語モデル(事前に大規模テキストデータの学習によりわずかなタスクで文章生成や質問応答などの言語処理タスクが解くことが可能)である「GPT(Generative pre-trained transformers)」を基に展開されています。

 そもそもここで注目されているのが、最新版であるGPT-4で性能が飛躍的に向上している点です。

 では、GPT-3とGPT-4の違いはどこにあるのでしょうか。

 その違いをシンプルに表現するなら「トークン長(GPTが文脈を意識できる過去の単語数)」の大きさです。

 このトークン長と、ニューラルネットワークを使ったモデルにおいて、学習を繰り返していくうちに、答えに自動で近づけてくれる役割を指す「パラメータ」の数は生成型AIの性能に大きく寄与します。

 GPT-3は、パラメータ数が1750億個(850GBの容量)でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は3万2768です。トークン長の数だけでも、ちょうど8倍です。

「GPTが文脈を意識できる過去の単語数」で変わることは?

 では、「GPTが文脈を意識できる過去の単語数」が多くなると何が変わるのでしょうか?

 それは、GPT-4がGPT-3よりも長文を生成可能になったことです。これによりチャット時の会話のやり取りも長く、ユーザーの意図をより反映した返答が可能になります。

 たとえば、ChatGPTに何か言葉を投げかけると返事をしてくれますが、このときに「文脈」としてそれ以前の単語を参照します。トークン長が4097でしたら、4097個前の単語までを参照しながら、返事を生成します。

 逆に言うと(非常に大事なことですが)、トークン長を超えるような過去の単語は参照しないということです。つまり、何か新しいことを教えて、それを踏まえたふるまいをChatGPTにさせたいとしても、3万2768単語以内で教える必要があるのです。

 さらに教えたことを応用してチャットを進めて行った末に3万2768のトークン長をオーバーしてしまったら、せっかく教えた内容を忘れて(参照しなくなって)しまいます。

 この点は、ユーザーの“直観”に反する点かもしれません。GPTは何か「文脈」のような抽象的な一塊の「記憶」をもって動作しているわけではないのです。

 そうではなく、直前の「トークン長分の単語」を「まるっと」参照した上で、次の単語を計算して答えを出す、というのをひたすら繰り返すシステムなのです。

画像
この挿絵はChatGPT-4の指示で作成した(ChatGPT-4に対し「GPTの考察記事をWebで公開するにあたり挿絵を画像生成AIで描くのでプロンプトをいくつか提案してくれ」と指示。ChatGPTが出したプロンプトをMidjourneyに与えて出てきた中から選出)
【次ページ】GPTはなぜ「単純な仕組み」なのに賢いのか

関連タグ タグをフォローすると最新情報が表示されます

関連コンテンツ

あなたの投稿

    PR

    PR

    PR

処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます