デコーダーの役目とは

　ChatGPTの基となっているトランスフォーマーにおいて、デコーダーは、トランスフォーマーの後段に位置する部分だ。

　エンコーダーは、入力された文章を前回の連載で述べたメカニズムによって分析し、その意味を捉える。そして、結果の情報がデコーダーへと供給される。デコーダーの役割は、エンコーダーから受け取った情報を基盤として、適切な文や応答を生成することだ。

　英語から日本語への機械翻訳の場合、デコーダーの役目は、日本語の適切な単語や句を逐次的に生成することだ。

　デコーダーは、自らの出力を順次入力として系列を生成する。つまり、あるステップで出力されたトークンが、次のステップの入力に追加されていく。

デコーダーが「答え」を生成する仕組み

　デコーダーの仕組みをもう少し詳しく説明すると、次のとおりだ。


　最初にシステムは、ユーザーから提供された質問テキストを解析し、モデルに適した形式に変換する。

　次に、モデルは入力テキストから特徴を抽出し、その特徴を用いて文脈を理解する。

　抽出された特徴はモデル内部に格納される。これは、テキストの構造や意味をキャプチャし、次のステップへ進むための情報源として利用される。

　そして、すでに学習済みの知識の体系と合わせて、答えを生成していく。その場合、逐次、答えをつくっていく。つまり、デコーダーは単語を1つずつ生成する。この際、以前に生成したトークン（単語）の情報や全体の文脈を考慮しながら、最も確率的に高いトークンを選び出す。

　デコーダーは各トークンに「スコア」を割り当てる。このスコアは、各トークンが次のトークンとして生成される「適合度」を示す。スコアは、現在の内部状態と各トークンの特徴ベクトルを基に計算される。

　得られたスコアをソフトマックス関数（複数の出力値の合計が1.0になるように変換して出力する関数）に通すことによって、スコアを確率分布に変換する。ソフトマックス関数は、各トークンのスコアを0と1の間の確率に変換し、すべてのトークンの確率の合計が1になるように調整する。

　この確率分布を用いて、デコーダーは次のステップ（トークンの選定）で最も適したトークンを選び出す。このプロセスを繰り返すことで、次第に答えのテキストが生成されていく。 【次ページ】ChatGPTは「ペラペラ話し出す人」タイプと言えるワケ