• 会員限定
  • 2023/05/23 掲載

HuggingChatとは何か?ChatGPTとの比較でわかるオープンソース生成AIの驚きの性能

  • icon-mail
  • icon-print
  • icon-hatena
  • icon-line
  • icon-close-snsbtns
いいね!でマイページに保存して見返すことができます。
ChatGPTに代表されるチャット型ジェネレーティブAI(生成AI)への注目が高まっているが、こうした中でオープンソースソフトウェアの「HuggingChat」が登場した。オープンソースのため、環境を用意する必要はあるものの、利用も無料で、開発者が多く集まりつつあり、今後さらなる改善も期待されている。ここでは、HuggingChatがそもそもどのようなチャットAIなのか。またChatGPTとどう違うのか。実際にChatGPTとの比較を行いながら、HuggingChatの実力を測ってみた。実際に検証して見えてきた「驚きの性能」とは。
執筆:細谷 元
photo
Hugging Faceが公開したチャットAI「HuggingChat」
(出典:HuggingChat

オープンソースAIの台頭、ChatGPTの対抗馬となるか

 グーグルのBardを筆頭にOpenAIのChatGPTに対抗する生成AIが続々登場している中、現在特に注目度が高まっているのが、オープンソースコミュニティで開発が進むチャット型生成AI(以下、チャットAI)の動向だ。

 オープンソースソフトウェアとは、ソースコードが公開され、ユーザーのカスタマイズを可能とする開発手法のこと。集合知に頼ることで、一般的には開発コストを下げつつ、開発スピードを上げるなどの恩恵があるといわれている。代表的なオープンソースプロジェクトの事例としては、OSのLinux、ウェブブラウザのFirefox、3DソフトウェアのBlenderなどが挙げられる。

 現在生成AI領域においても「Linux Moment」と呼ばれる状況が到来しており、オープンソースのチャットAIが急速に進化を遂げている。

 そして生成AI領域における数あるオープンソースプロジェクトの中でも、最近注目されているのが、Hugging Faceというスタートアップが公開したチャットAI「HuggingChat」だ。

画像
急速に進化を遂げているオープンソースのチャットAI
(Photo/Shutterstock.com)

注目のチャットAI、HuggingChatとは?

 Hugging Faceは、2016年にフランスの起業家らが立ち上げた米ニューヨークを拠点とするスタートアップ。チャットAIの開発・トレーニング・デプロイに必要なオープンソースライブラリを提供している。2022年10月にシリーズCラウンドで1億ドルを調達、評価額は20億ドルに達したと報じられているユニコーン企業だ。

 2023年4月末、Hugging FaceはオープンソースのチャットAI「HuggingChat」をリリース。基本的な機能はChatGPTと同じで、自然言語によるプロンプトに対し、Eメールの草稿、コード、歌詞などを生成できる。

 テクニカルな側面を見ると、HuggingChatは、Stable Diffusionの学習データセットを作成したドイツの非営利団体「LAION」によるオープンソースAI「Open Assistant」と対話するためのユーザーインターフェース。したがって、HuggingChatの技術的な詳細を知るには、Open Assistantの開発ドキュメントを参照する必要がある。

 では、パフォーマンスはどうだろうか。

HuggingChatとChatGPTを比較した「驚きの結果」

 HuggingChatの気になるパフォーマンスだが、多くの海外メディアが報じるところでは、曖昧な回答や支離滅裂な回答が多く、現時点ではChatGPTには及ばないという。しかし、オープンソースであることから、今後さらなる改良が加えられ、それに伴うパフォーマンスの改善が期待されている。

 多くの報告は、英語プロンプトに対する回答を評価したもの。日本語に関しては、学習データが乏しく、日本語での回答が支離滅裂になることが報告されている。

 以下では、実際にHuggingChat(v0.1、モデル:OpenAssistant/oasst-sft-6-llama-30b)とGPT3.5(ChatGPT May 3 Version)、GPT4の比較を行ってみた。HuggingChatがGPT3.5やグーグルBardよりも正確な情報を提示できることを確認しているが、今回特に注目したいのは、チャットAI分野で大きな問題となっている「幻覚症状」について。

 検証プロンプトの1つ目として用いるのは「When did Leonardo da Vinci paint the Mona Lisa?(レオナルド・ダ・ヴィンチがモナリザを描いたのはいつか?)」というもの。

 以前このプロンプトに対し、ChatGPT(2023年3月22日以前のGPT3.5)が「幻覚症状(hallucination)」を起こしたことが報告されているからだ。

 3月22日に発表されたBernard Marrの記事によると、ChatGPTに「レオナルド・ダ・ヴィンチはいつモナリザを描いたのか?」と尋ねると、「レオナルド・ダ・ヴィンチは1815年にモナリザを描いた」と回答。実際は、モナリザが描かれたのは1503~1506年、または1517年まで制作が続いたといわれており、この時点におけるChatGPTは、間違った情報を提示していた。

 しかし、2023年5月10日時点における検証結果は、次の通りになった。

ChatGPT(GPT3.5)の回答:
Leonardo da Vinci painted the Mona Lisa, also known as La Gioconda, between 1503 and 1506, during the Renaissance period in Italy. The painting is currently housed in the Louvre Museum in Paris, France, where it has been on display since 1797.

 以前報告されていた幻覚症状は見られず、1503~1506年に描かれたという定説に沿って回答している。

ChatGPT(GPT4)の回答:
Leonardo da Vinci is believed to have painted the Mona Lisa between 1503 and 1506, although some scholars suggest he continued working on it as late as 1517. The exact timeline remains uncertain, but the painting is widely considered one of his most famous and recognizable masterpieces.

 GPT4は、モナリザが描かれたのは1503~1506年であるとしつつ、1517年まで制作が続いたという一部の研究者らがいることに触れ、正解な時期は分からないと回答、GPT3.5に比べ、1歩踏み込んだ情報を提示している。

HuggingChatの回答:
According to Wikipedia, Leonardo da Vinci painted the Mona Lisa (also known as La Gioconda) during his stay in Florence between 1503-06, and later took it with him on his return to Paris, where he finished it sometime between 1507-15 years later. However, experts believe that there may have been some additional touches made by later artists after the painting left Leonardo’s workshop. I hope that helps! Is there anything else I can assist you with today?

 HuggingChatは、まずウィキペディアを参照したことを踏まえた上で、モナリザはダ・ヴィンチがイタリア・フィレンツェ滞在中の1503~1506年の間に描かれたが、彼がフランスに戻った後も制作が続いた可能性があり、最終的に仕上がったのは1507~1515年であると回答している。

 この英語プロンプトに関しては、以前GPT3.5で報告された幻覚症状は見られず、またGPT4に近い回答を生成しており、HuggingChatの精度は低くないと評価できる。 【次ページ】Bardが幻覚症状を見せた質問にHuggingChatはどう回答?
関連タグ タグをフォローすると最新情報が表示されます
あなたの投稿

    PR

    PR

    PR

処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます