オープンソースAIの台頭、ChatGPTの対抗馬となるか

　グーグルのBardを筆頭にOpenAIのChatGPTに対抗する生成AIが続々登場している中、現在特に注目度が高まっているのが、オープンソースコミュニティで開発が進むチャット型生成AI（以下、チャットAI）の動向だ。

　オープンソースソフトウェアとは、ソースコードが公開され、ユーザーのカスタマイズを可能とする開発手法のこと。集合知に頼ることで、一般的には開発コストを下げつつ、開発スピードを上げるなどの恩恵があるといわれている。代表的なオープンソースプロジェクトの事例としては、OSのLinux、ウェブブラウザのFirefox、3DソフトウェアのBlenderなどが挙げられる。

　現在生成AI領域においても「Linux Moment」と呼ばれる状況が到来しており、オープンソースのチャットAIが急速に進化を遂げている。

　そして生成AI領域における数あるオープンソースプロジェクトの中でも、最近注目されているのが、Hugging Faceというスタートアップが公開したチャットAI「HuggingChat」だ。

注目のチャットAI、HuggingChatとは？

　Hugging Faceは、2016年にフランスの起業家らが立ち上げた米ニューヨークを拠点とするスタートアップ。チャットAIの開発・トレーニング・デプロイに必要なオープンソースライブラリを提供している。2022年10月にシリーズCラウンドで1億ドルを調達、評価額は20億ドルに達したと報じられているユニコーン企業だ。

　2023年4月末、Hugging FaceはオープンソースのチャットAI「HuggingChat」をリリース。基本的な機能はChatGPTと同じで、自然言語によるプロンプトに対し、Eメールの草稿、コード、歌詞などを生成できる。

　テクニカルな側面を見ると、HuggingChatは、Stable Diffusionの学習データセットを作成したドイツの非営利団体「LAION」によるオープンソースAI「Open Assistant」と対話するためのユーザーインターフェース。したがって、HuggingChatの技術的な詳細を知るには、Open Assistantの開発ドキュメントを参照する必要がある。

　では、パフォーマンスはどうだろうか。

HuggingChatとChatGPTを比較した「驚きの結果」

　HuggingChatの気になるパフォーマンスだが、多くの海外メディアが報じるところでは、曖昧な回答や支離滅裂な回答が多く、現時点ではChatGPTには及ばないという。しかし、オープンソースであることから、今後さらなる改良が加えられ、それに伴うパフォーマンスの改善が期待されている。

　多くの報告は、英語プロンプトに対する回答を評価したもの。日本語に関しては、学習データが乏しく、日本語での回答が支離滅裂になることが報告されている。

　以下では、実際にHuggingChat（v0.1、モデル：OpenAssistant/oasst-sft-6-llama-30b）とGPT3.5（ChatGPT May 3 Version）、GPT4の比較を行ってみた。HuggingChatがGPT3.5やグーグルBardよりも正確な情報を提示できることを確認しているが、今回特に注目したいのは、チャットAI分野で大きな問題となっている「幻覚症状」について。

　検証プロンプトの1つ目として用いるのは「When did Leonardo da Vinci paint the Mona Lisa?（レオナルド・ダ・ヴィンチがモナリザを描いたのはいつか？）」というもの。

　以前このプロンプトに対し、ChatGPT（2023年3月22日以前のGPT3.5）が「幻覚症状（hallucination）」を起こしたことが報告されているからだ。

　3月22日に発表されたBernard Marrの記事によると、ChatGPTに「レオナルド・ダ・ヴィンチはいつモナリザを描いたのか？」と尋ねると、「レオナルド・ダ・ヴィンチは1815年にモナリザを描いた」と回答。実際は、モナリザが描かれたのは1503～1506年、または1517年まで制作が続いたといわれており、この時点におけるChatGPTは、間違った情報を提示していた。

　しかし、2023年5月10日時点における検証結果は、次の通りになった。

ChatGPT（GPT3.5）の回答：
Leonardo da Vinci painted the Mona Lisa, also known as La Gioconda, between 1503 and 1506, during the Renaissance period in Italy. The painting is currently housed in the Louvre Museum in Paris, France, where it has been on display since 1797.

　以前報告されていた幻覚症状は見られず、1503～1506年に描かれたという定説に沿って回答している。

ChatGPT（GPT4）の回答：
Leonardo da Vinci is believed to have painted the Mona Lisa between 1503 and 1506, although some scholars suggest he continued working on it as late as 1517. The exact timeline remains uncertain, but the painting is widely considered one of his most famous and recognizable masterpieces.

　GPT4は、モナリザが描かれたのは1503～1506年であるとしつつ、1517年まで制作が続いたという一部の研究者らがいることに触れ、正解な時期は分からないと回答、GPT3.5に比べ、1歩踏み込んだ情報を提示している。

HuggingChatの回答：
According to Wikipedia, Leonardo da Vinci painted the Mona Lisa (also known as La Gioconda) during his stay in Florence between 1503-06, and later took it with him on his return to Paris, where he finished it sometime between 1507-15 years later. However, experts believe that there may have been some additional touches made by later artists after the painting left Leonardo’s workshop. I hope that helps! Is there anything else I can assist you with today?

　HuggingChatは、まずウィキペディアを参照したことを踏まえた上で、モナリザはダ・ヴィンチがイタリア・フィレンツェ滞在中の1503～1506年の間に描かれたが、彼がフランスに戻った後も制作が続いた可能性があり、最終的に仕上がったのは1507～1515年であると回答している。

　この英語プロンプトに関しては、以前GPT3.5で報告された幻覚症状は見られず、またGPT4に近い回答を生成しており、HuggingChatの精度は低くないと評価できる。 【次ページ】Bardが幻覚症状を見せた質問にHuggingChatはどう回答？