小規模言語モデル（SLM）とは？ マイクロソフトPhi-3やグーグルGammaは何を競うのか？

小規模言語モデル（SLM）とは何か？メリットは？

　生成AI領域における言語モデルは今、いくつかの方向で開発が進められている。

　その1つは「大規模言語モデル（LLM）」の開発。大規模言語モデルは、生成AIの代名詞的な存在で、文字どおりサイズ（パラメータ数）が大きなモデルを指す。最近の例でいえば、GPT-4oやClaude 3 Opusなどが代表格といえるだろう。パラメータ数は公開されていないが、非常に大規模なモデルといわれており、パフォーマンスもかなり高いものとなっている。

　もう1つが、大規模言語モデルに比べ規模が小さな言語モデル（Small Language Model＝SLM）の開発だ。SLMとは、LLMよりもパラメータ数が少なく、よりコンパクトで効率的なAIモデルのことを指す。一般的にLLMが数百億から数千億のパラメータを有するのに対し、SLMは数億から数十億程度のパラメータで構成される。

　LLMは、テキストや画像、音声、動画など幅広いコンテンツを生成でき、さまざまなタスクに対応することが可能。対してSLMは、LLMほど多様なタスクはこなせないものの、特定の用途に特化させることで効率的に機能する。

　またSLMは、LLMに比べて計算リソースの消費を抑えつつ、高いパフォーマンスを発揮することが可能だ。用途に合わせてカスタマイズしやすく、オンプレミス環境での運用にも適しているとされる。

　SLMが注目される理由の1つに、LLMの開発・運用にかかる高コスト問題がある。LLMの学習には膨大なデータと計算リソース、長い時間を要するため、開発・運用だけでなく、利用するにも多大なコストが発生する。

　たとえば、LLMの開発には数千～数万台のGPUが用いられるが、SLMでは、100台ほどのGPUで開発されたケースや、軽量版は1GPU、超軽量版はCPUで高速に推論できると主張するケースもあり、コスト面でのメリットは大きい。

　さらにSLMは、少ないデータで学習可能で、プライバシーとセキュリティの向上につながる可能性もあるとされている。

　LLM間の性能差は急速に縮小しており、特定のタスクではトップモデル同士の差は最小傾向にある。Mixtral 8x7BやLlama 2-70Bなどの比較的小規模のモデルが、推論や多肢選択問題で大型モデルを上回る結果を示すなど、モデルのサイズが性能を決定する唯一の要因ではないことを示唆する事例が増えているのもSLMが注目される理由だ。

NTTやNECも事実上のSLMをリリース

　昨年末ごろから海外勢の動きが活発化してきたが、日本国内でも（LLMをうたいつつも事実上のSLM開発の）取り組みが進んでいる。

　NTTは2024年3月、70億と6億の2種類のパラメータを持つ「tsuzumi」の提供を開始。NECも2024年4月末、130億のパラメータを持つ「cotomi」シリーズをリリースした。

　これらはLLMをうたいつつも軽量を強みとするSLMであり、ユーザー企業が自社で保有するオンプレミス環境での利用を想定し、機密情報の漏えいリスクを抑えつつ、効率的に生成AIを活用できるソリューションとして期待されている。

　HuggingFaceのクレム・ドゥラングCEOは、ユースケースの99％がSLMで対応可能であり、2024年はSLMの年になると予測するなど、国内外でさまざまなSLMが登場する見込みだ。 【次ページ】SLM開発、マイクロソフトやグーグルらの動向とは