ELYZA、日本語特化の「拡散言語モデル」公開　商用利用も可

拡散言語モデルはもともと画像生成AIで広く使われている拡散モデルをテキスト生成に適用したもので、従来の自己回帰型モデルとは異なる生成プロセスを持つ。自己回帰モデルでは文章を左から右へ順番に生成するが、拡散型ではノイズを段階的に除去する逆拡散過程を通じてテキストを生成する。これにより、設計次第では推論処理回数を削減するなどの効率化や高速生成が期待されている。


公開された「ELYZA-LLM-Diffusion」シリーズには、日本語データによる追加事前学習を施した「ELYZA-Diffusion-Base-1.0-Dream-7B」と、さらに指示学習を行った「ELYZA-Diffusion-Instruct-1.0-Dream-7B」の2種類が含まれる。これらはいずれも7Bクラスのモデルとして提供され、Hugging Face上でダウンロードおよびデモの利用が可能になっている。

ELYZAによると、「ELYZA-Diffusion-Instruct-1.0-Dream-7B」は日本語の知識・指示追従能力を高めることを目的に設計され、既存のオープンな拡散言語モデルと比較して日本語タスクにおいて同等以上の性能を示したという。これにより、研究用途や検証用途だけでなく、実用的な日本語生成タスクにも応用できるモデルとして提供される。

公開に伴い、モデルの性能評価や技術的詳細を解説する公式テックブログ記事も公開されている。また、chatUI形式のデモも用意されており、一般ユーザーが機能を試すことができるようになっている。モデルの配布はApache License 2.0のもとで行われ、商用利用も可能としている。

拡散言語モデルの研究はまだ発展途上とされる一方で、生成プロセスの違いから推論効率の向上や電力消費の低減につながる可能性が指摘されている。ELYZAは今後もLLMを中心とした研究開発を進め、自然言語処理技術の国内実装を支援していく意向だとしている。