• 会員限定
  • 2024/04/16 掲載

オープンソース大規模言語モデルまとめ、メタのLlama 2が「超重要になる」ワケ

  • icon-mail
  • icon-print
  • icon-hatena
  • icon-line
  • icon-close-snsbtns
記事をお気に入りリストに登録することができます。
オープンソースのLLM(大規模言語モデル)がこれまでにないほど大きな注目を集めている。OpenAIのGPTモデルなどクローズドな大規模言語モデルが圧倒的なシェアを有する状況だが、それらに匹敵するオープンソースのLLMの開発が進んでいる。メタの「Llama 2(ラマツー)」を筆頭に、日本でもそれをベースにした日本語LLM「ELYZA-japanese-Llama-2-13b」が公開された。直近ではメタに対抗して、Databricksも「DBRX」をリリース。オープンソースLLMとは何か、クローズドモデルに比べてどのような利点があるのか。オープンソースLLMが注目される理由を探ってみたい。
執筆:細谷 元、構成:ビジネス+IT編集部

執筆:細谷 元、構成:ビジネス+IT編集部

バークリー音大提携校で2年間ジャズ/音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上げにあたり、ドローンの可能性を模索。ドローンレース・ドバイ世界大会に選手として出場。現在、音楽制作ソフト、3Dソフト、ゲームエンジンを活用した「リアルタイム・プロダクション」の実験的取り組みでVRコンテンツを制作、英語圏の視聴者向けに配信。YouTubeではVR動画単体で再生150万回以上を達成。最近購入したSony a7s3を活用した映像制作も実施中。
http://livit.media/

photo
オープンソースAIの領域別資金調達ランキング
(出典:CBInsights

オープンソースのLLMが注目される理由

 2023年はChatGPTを筆頭にコンシューマー向けの生成アプリケーションが広く普及した年となった。

 一方、企業における生成AI利用は大きく2つのアプローチにより進展する見込みだ。1つはOpenAIやAnthropic(アンソロピック)などのAI企業が提供するクローズドLLMを活用するアプローチ。もう1つはメタやMistralなどが提供するオープンソースLLMを活用するアプローチだ。

 それぞれに一長一短があり、多くの企業ではリスクを回避するために単一のLLMに依拠するのではなく、クローズドとオープンソースモデルを含め、複数のモデルを採用するシナリオが優勢となっている。

 代表的なクローズドLLMは、OpenAIのGPT-3.5、GPT-4、アンソロピックのClaude 3のほか、グーグルのGeminiやCohereが提供するモデルなどが含まれる。これらクローズドモデルの長所は、オープンソースモデルに比べて簡単に利用できる点、有害なアウトプットを制限するガードレール機能、高度な技術サポート、そしてパフォーマンスの安定性などが挙げられる。

 一方、オープンソース領域では、メタのLlama2、フランスのAIスタートアップMistralのMixtralモデル、アラブ首長国連邦(UAE)で開発されたFalconモデル、MosaicMLのMPTモデルなどが人気を集めている。直近ではエンタープライズソフトウェア企業のDatabricksがDBRXをリリースした。さらにはイーロン・マスクのxAIもGrokの最新版 Grok-1.5を発表している

 これらオープンソースモデルの主な利点としては、カスタマイズの自由度が高いこと、そしてモデル使用料が無料または低コストであることが挙げられる。

 現在、多くの企業では、クローズドLLMとRAG(Retrieval Augmented Generation)、ファインチューニングを組み合わせた方法が主流となっている。

 OpenAIのGPT-3.5やGPT-4、またアンソロピックのClaude3などのクローズドモデルは広範におよぶ知識を有しているが、特定の企業に関する詳細情報を持っていない。

 このため、社内・社外向けに関わらず、企業がクローズドLLMをベースとする生成AIアプリケーションを開発したとしても、そのアプリケーションは企業に関する詳細な回答を生成することができない。

 RAGのアプローチを採用することで、モデルのコンテクストウィンドウに関連情報を注入することが可能となり、企業の文脈に沿った回答を生成できるようになるのだ。

 RAGはLLMをファインチューニングすることなく、比較的簡単に企業文脈に沿った生成AIアプリケーションの開発を可能とすることから人気のアプローチとなっている。しかし、やはり企業独自のデータを用いてLLMをファインチューニングしたいという需要も高まっており、こうした取り組みも増えつつある状況だ。

 クローズドモデルの中でファインチューニングできるモデルの1つがOpenAIのGPT-3.5だ。AIエンジニアであるサム・ルリエ氏がGPT-3.5とコード生成に特化したオープンソースモデルCode Llama 34Bのファインチューニング比較実験を行ったところ、GPT-3.5のトレーニングコストはCode Llama 34Bに比べ3.6~6倍かかることが判明した。

 ファインチューニングの結果、GPT-3.5のパフォーマンスはCode Llama 34Bを上回ったものの、その差はわずかなもので、コスト差を正当化できるものではなかったという。

 またルリエ氏は、GPT-3.5のファインチューニングでは、すべてのパラメータを調整する手法ではなく、一部のみを調整する手法が採用されている可能性が高いと指摘しており、カスタマイズ性は高くないことが示唆されている。

オープンソース生成AIモデル開発の主要プレイヤー

 オープンソースLLMの開発でも代表格となる企業がいくつか存在するが、まず名が挙がるのはメタだろう。

 メタが2023年7月にリリースした「Llama2(ラマツー)」は、OpenAIなどのクローズドモデルに匹敵するともいわれ、企業やAI開発コミュニティではLlama2をベースとするアプリケーション開発が進んでいる。

 ちなみに上記で言及したCode Llama 34Bは、メタがLlama2をコーディング関連のデータでファインチューニングしたコード生成特化モデルとなる。報道によると、メタのザッカーバーグCEOはNVIDIAの最新GPU・H100を35万台購入する計画とのこと。当初の報道より大幅に増えており、同社のオープンソースLLM開発はさらに加速する見込みだ。

 メタと同等、またはそれ以上の注目を浴びているのがフランスのスタートアップMistralだ。2023年5月に設立された非常に新しい企業だが、すでに数億ドルを調達し、評価額も20億ドル近くに達したといわれている。

 Mistralの強みは、サイズを抑えつつ高いパフォーマンスを持つAIモデルを開発できる点にある。同社が2023年12月にリリースした「Mixtral 8×7B」は、実質的なパラメータを120億に抑えつつ、700億パラメータを持つメタの最高峰モデル「Llama2 70B」を超えたとされる。

画像
MistralとLlama2のベンチマーク比較
(出典:Mistral

 このほか動向が注視されるオープンソースLLM開発企業・組織としては、HuggingFace、Falconモデルを開発するTechnology Innovation Institute(TII)、MPTモデルを開発するMosaic MLなど含まれる。

 さらに、Databricksも2024年3月に大規模LLM「DBRX」をリリース。オープンソースベンチマーク「Gauntlet」では30以上の異なるベンチマークが含まれており、「DBRXはそれらすべてを上回る性能を示している」という。

画像
DBRXは、言語理解(MMLU)、プログラミング(HumanEval)、および数学(GSM8K)について著名なオープンソースモデルを上回るという
(出典:Databricks

 そのほか、イーロン・マスクのAI企業、xAIが2024年3月にオープンな大規模LLM「Grok-1.5」をリリースすると発表。一部のコード生成能力では、GPT-4を上回るスコアを獲得したと主張している

画像
他のLLMと比較したGrok-1.5の性能
(出典:xAI
【次ページ】拡大するオープンソースAIテクノロジー市場

関連タグ タグをフォローすると最新情報が表示されます
あなたの投稿

    PR

    PR

    PR

処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます