• 会員限定
  • 2023/10/09 掲載

生成AIの超基礎「デコーダー」、LLMが“答え”を生成できる不思議な仕組み

連載:野口悠紀雄のデジタルイノベーションの本質

  • icon-mail
  • icon-print
  • icon-hatena
  • icon-line
  • icon-close-snsbtns
記事をお気に入りリストに登録することができます。
ChatGPTなどの大規模言語モデル(LLM)においては、確率的な判断に基づいて出力、つまり答えが生成される。この過程で不思議なのは、あらかじめ全体がどうなるかの見通しなしに、単語が逐次生成されることだ。今回は答えを生成する仕組みをひも解いていく。
執筆:野口 悠紀雄
photo
ChatGPTなどLLMはどのように答えを生成しているのか
(Photo:Ascannio / Shutterstock.com)

デコーダーの役目とは

 ChatGPTの基となっているトランスフォーマーにおいて、デコーダーは、トランスフォーマーの後段に位置する部分だ。

 エンコーダーは、入力された文章を前回の連載で述べたメカニズムによって分析し、その意味を捉える。そして、結果の情報がデコーダーへと供給される。デコーダーの役割は、エンコーダーから受け取った情報を基盤として、適切な文や応答を生成することだ。

 英語から日本語への機械翻訳の場合、デコーダーの役目は、日本語の適切な単語や句を逐次的に生成することだ。

 デコーダーは、自らの出力を順次入力として系列を生成する。つまり、あるステップで出力されたトークンが、次のステップの入力に追加されていく。

デコーダーが「答え」を生成する仕組み

 デコーダーの仕組みをもう少し詳しく説明すると、次のとおりだ。

画像
ChatGPTなどのLLMが答えを生成する「デコーダー」の仕組みとは
(Photo/Shutterstock.com)

 最初にシステムは、ユーザーから提供された質問テキストを解析し、モデルに適した形式に変換する。

 次に、モデルは入力テキストから特徴を抽出し、その特徴を用いて文脈を理解する。

 抽出された特徴はモデル内部に格納される。これは、テキストの構造や意味をキャプチャし、次のステップへ進むための情報源として利用される。

 そして、すでに学習済みの知識の体系と合わせて、答えを生成していく。その場合、逐次、答えをつくっていく。つまり、デコーダーは単語を1つずつ生成する。この際、以前に生成したトークン(単語)の情報や全体の文脈を考慮しながら、最も確率的に高いトークンを選び出す。

 デコーダーは各トークンに「スコア」を割り当てる。このスコアは、各トークンが次のトークンとして生成される「適合度」を示す。スコアは、現在の内部状態と各トークンの特徴ベクトルを基に計算される。

 得られたスコアをソフトマックス関数(複数の出力値の合計が1.0になるように変換して出力する関数)に通すことによって、スコアを確率分布に変換する。ソフトマックス関数は、各トークンのスコアを0と1の間の確率に変換し、すべてのトークンの確率の合計が1になるように調整する。

 この確率分布を用いて、デコーダーは次のステップ(トークンの選定)で最も適したトークンを選び出す。このプロセスを繰り返すことで、次第に答えのテキストが生成されていく。 【次ページ】ChatGPTは「ペラペラ話し出す人」タイプと言えるワケ

関連タグ タグをフォローすると最新情報が表示されます

関連コンテンツ

あなたの投稿

    PR

    PR

    PR

処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます