生成AI学習の新手法「Explorative Modeling」を米研究チーム発表、データ効率は6.2倍

生成AIの「第3の事前学習軸」とは何か

　米イリノイ大学アーバナ・シャンペーン校と米ハーバード大学の研究チームは、生成モデルの新たな学習手法「Explorative Modeling」を発表した。モデルの規模と学習データ量に続く「第3の事前学習軸」として、学習時に生成候補を探索する量を増やす考え方を提案した。

　著者はイリノイ大学アーバナ・シャンペーン校のアレクシ・グラッドストーン氏とヘン・ジー氏、ハーバード大学のイルン・ドゥ氏。研究チームは手法のコードも公開している。

　生成AIの事前学習では一般に、モデルのパラメーター数を増やすことと、学習に使うデータ量を増やすことが性能向上の主要な軸とされてきた。これに対し、研究チームはモデルが学習時に作る「候補の数」を増やすことも、性能を拡張する軸になると主張する。

　Explorative Modelingでは、モデルが1つの正解だけを予測するのではなく、学習データに対応する複数の生成候補を作る。その中から実際のデータと最もよく合う候補を選び、その候補を基にモデルを更新する仕組みだ。

　研究チームは、この処理を「K個の候補を探索し、最も適切な対応関係で学習する」方法と説明する。論文では、同手法を使うモデルを「Explorative Models」と呼んでいる。従来の生成モデルでは、1つの入力に複数の妥当な出力が存在する場合、それらの中間的な結果を予測し、画像などがぼやける問題が起こり得る。

　たとえば「犬の画像を生成する」という指示には、犬種や姿勢、背景などが異なる多数の正解がある。しかし、モデルがそれらを単純に平均化すると、どの正解にも明確に対応しない出力になりかねない。

　XMは複数の候補を生成し、その中からデータに近いものを選んで学習することで、異なる正解の平均ではなく、いずれかの明確なパターンを捉えやすくするという。