• 会員限定
  • 2024/05/17 掲載

Samba-1とは何かをわかりやすく解説、1兆パラメータの大規模言語モデルのスゴさ

  • icon-mail
  • icon-print
  • icon-hatena
  • icon-line
  • icon-close-snsbtns
記事をお気に入りリストに登録することができます。
これまでOpenAIのGPT-3.5やGPT-4が火付け役になって進んできた大規模言語モデル競争。SambaNova Systemsが発表した1兆パラメータの大規模言語モデル(LLM)「Samba-1」も注目されるモデルの1つだ。GPT-4より少ない計算リソースで動作しつつ、同等以上の能力を持つというSamba-1とは一体どんなモデルなのか。また、Samba-1を生み出したSambaNovaとはどのような企業なのか。GPT-4と比較しつつ、わかりやすく解説する。
執筆:細谷 元
photo
SambaNovaが発表した大規模言語モデルは、GPT-4と比べどんな能力を持つのだろうか
(Photo:T. Schneider / Shutterstock.com、Hamara / Shutterstock.com)

Samba-1の特徴とは

生成AIで1分にまとめた動画
 Samba-1とは、SambaNova Systemsによって開発された、企業向けの1兆パラメータ規模の大型言語モデルである。

 同モデルは、OpenAIが提供するGPT-4のような単一の巨大モデルではなく、50以上のAIモデルを組み合わせた「Composition of Experts」アーキテクチャを採用しているのが特徴だ。個々のモデルが独立して機能しつつ、状況に応じて柔軟に連携することで、全体として高いパフォーマンスを発揮することが可能になるという。

 Composition of Expertsアーキテクチャでは、各エキスパートモデルがそれぞれ独自のデータセットで学習されるため、データのセキュリティとプライバシーを保持しつつ推論を行うことが可能だ。複数のモデルを組み合わせるアプローチは、フランスのAIスタートアップMistralが最近リリースしたMixtralモデルでも採用されている。

 一方、このアプローチは「Mixture of Experts」と呼ばれるもので、SambaNovaいわく、同社の「Composition of Experts」とは異なる。「Mixture of Experts」アプローチでは、1つのエキスパートモデルが複数のデータセットで学習されるため、データ漏えいのリスクが高まるというのだ。

 Samba-1を構成するエキスパートモデルには、LLaMA 2、Mistral、DeepSeek Coder、Falcon、DePlot、CLIP、Llavaなど、SambaNovaと他社の優れたオープンソースモデルが含まれている。SambaNovaは、最適なモデルを選定し最適化した上で、1兆パラメータ規模のモデルに統合した。

GPT-4とどちらが優れている?

 そんなSamba-1は、GPT-4に機能面でどこまで近づいているのだろうか。

 SambaNovaは、Samba-1の性能を評価するために「Enterprise Grade AI(EGAI)」と呼ばれる独自のベンチマークテストを実施している。

 EGAIベンチマークは、オープンソースコミュニティで広く採用されている一連のベンチマークテストのコレクションで、特に企業のユースケースに関するタスクでのパフォーマンスを評価するものとなっている。

 このEGAIベンチマークの結果を見ると、Samba-1は情報抽出、APIを用いた情報検索、APIドキュメントの理解、数学的推論、コンテンツ評価、テキストからのSQL変換、プログラミング、テキスト編集など、幅広いタスクにおいて、GPT-3.5やGPT-4と同等かそれ以上の性能を示している。

画像
GPT-4などと比較したSamba-1のパフォーマンス(対GPT-3.5、GPT-4)
(出典:SambaNova

 特にGPT-4に対しSamba-1の強みが示されたのが、テキストからのSQL変換タスクだ。Samba-1内のエキスパートモデル「SambaCoder-nsql-llama-2-70b」はSQLクエリの生成に特化したモデルで、Spiderベンチマークで78.1%の精度を達成。GPT-4の76.2%を上回る結果となった。

 このSpiderベンチマークでは、たとえば、「このデータベースにおける収入が最も高い従業員は誰ですか?」という自然言語のクエリに対して、“SELECT name FROM employees ORDER BY income DESC LIMIT 1;”というSQLクエリに変換するなどのタスクが与えられる。これは、Samba-1がエキスパートモデルの組み合わせによって非常に高い専門性を発揮できることを示す好例と言えるだろう。 【次ページ】GPT-4を30%上回った「強み」とは

関連タグ タグをフォローすると最新情報が表示されます

関連コンテンツ

あなたの投稿

    PR

    PR

    PR

処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます