ファインチューニングとは？RAGと何が違うのか

　OpenAIのGPT-3.5などの大規模言語モデル（LLM）は、膨大な量のデータにより事前トレーニングされており、さまざまなタスクをこなすことが可能だ。とりわけOpenAIのフラッグシップモデルであるGPT-4は、ネット上にあるすべての公開データを使いトレーニングされているといわれており、現時点で他モデルを圧倒するパフォーマンスを示している。

　それでも、企業で大規模モデルを活用したい場合、想定タスクに関連する追加データをモデルに与え、そのタスクをこなせるようにカスタマイズする必要が出てくる。このカスタマイズにおいて、現在2つのアプローチが存在する。

　1つは、大規模言語モデルのプロンプトに関連情報を追加し、その情報をもとに、回答を生成させるRAG（Retrieval-Augmented Generation）によるアプローチ。

　もう1つがファインチューニングによるアプローチだ。生成AIにおけるファインチューニングとは、事前学習したLLMを別のデータセットで再トレーニングし、新しい目的に合わせた調整を行うことを指す。エンドユーザー側もファインチューニングにより、事前トレーニングされた大規模言語モデルをカスタマイズすることができる。

　たとえば、企業のカスタマーサポートセンターにおける特定商品に関する顧客とのやり取りデータを使い、大規模言語モデルをファインチューニングすることで、その特定商品に関して、当該カスタマーサポートセンターの特色を持った形で受け答えするようにカスタマイズできる。

　これはRAGアプローチでも可能だが、この場合プロンプトに特定商品に関する情報ややり取りのルールを毎回記載する必要があり、入力プロンプトが増え、API利用料が高くなってしまう場合がある。また、入力プロンプトの量が多くなってしまうことで、レスポンス／出力スピードが落ちる可能性も高くなる。

　エンドユーザー側ではこれまで、ベクトルデータベースなどRAG関連のプラットフォームが充実していたこともあり、大規模言語モデルのカスタマイズにおいてはRAGが主流だった。しかし、OpenAIのファインチューニングAPIやGradient.aiが提供するオープンソースモデル向けのファインチューニングパッケージの登場により、ファインチューニングがより身近になっており、このアプローチへの注目が高まっているのだ。

開発段階におけるファインチューニングの重要性

　ChatGPTの開発段階においてもファインチューニングは非常に重要な役割を果たしている。

　ChatGPTの開発では大きく4つのステップがあった。1つ目のステップは、いわゆるネット上の公開データによるトレーニングだ。トークン数は、1兆以上に上る膨大なものとされ、このトレーニングでは「アウトプットコンプリーション」に焦点が当てられている。

　これが意味するところは、ステップ1で出来上がった事前トレーニングモデルは、何らかのアウトプットを生成することが可能ではあるものの、この段階ではチャットに最適化されておらず、生成するアウトプットが必ずしも質問に対する回答にはならないということだ。

　たとえばステップ1の事前トレーニングモデルに「How to make a cake（ケーキの作り方を教えて）」という質問を投げかけた場合、以下のようなアウトプットが生成される。


　望ましいのは3番目のケーキの作り方の説明であるが、この段階においては、1と2のアウトプットも正解となるため、3番目のような質問－回答形式のやり取りが100％発生するとはいえない状況だ。

　ここで登場するのが、ステップ2におけるファインチューニングだ。このステップにおいては、ステップ1のようなネット上から集めた乱雑なデータではなく、demonstration dataと呼ばれる高品質なデータが用いられる。

　これには、ユースケースごとにカスタマイズされたプロンプト－レスポンスのペアデータが含まれる。質問－回答形式のペアデータによりファインチューニングすることで、常に上記の3番目のような回答を生成することができるようになる。 【次ページ】RLHFの2つのステップを経てサービスとして展開