LLMの仕組みを知っておくべき納得理由

　大規模言語モデル（LLM）と呼ばれるものは、人間の自然言語による問い合わせや指示に対して、自然言語で答えを示してくれる。ただハルシネーション（幻覚）という現象によって、固有名詞や統計データなどに関しては、答えの内容がときどき間違っていることがある。しかし、基本的にはかなり正確だ。

　人類は、これまで利用できなかった新しい強力な道具を手に入れたことになる。これが我々の社会に甚大な影響を与えることは間違いない。では、LLMは、なぜ自然言語を操れるのか？

　その仕組みを、すべての人が詳細に知っている必要はない。しかし、おおよその仕組みを知っていることは必要だ。なぜなら、LLMは何ができて何ができないか、を判断するためには、こうした理解が不可欠だからだ。

　LLMの能力が高いからといって、人間の仕事のすべてを取り上げてしまうわけではない。どのような仕事が人間にしかできないのか、を正しく知ることは、今後の人生設計にとって極めて重要な意味を持つ。

　その半面で、LLMが、人間より正確かつ高速でできる仕事は、これから急速にLLMに置き換えられるだろう。そうした仕事に執着するのは得策ではない。LLMができない仕事に転換すべきだ。このような判断をするために、LLMに関する基礎知識が必要だ。

　また、LLMを適切に使うためにも、以上のような理解が重要な役割を果たす。たとえば、どのようなプロンプトを書けば、ハルシネーションを避けることができるか？ そして、正確で適切な答えが得られるのか？

　やみくもに生成AIを使っても、仕事の能率が上がるとは限らない。それだけではない。誤った答えを信用して使えば、甚大な被害を受けることもある。そのため、LLMの限界についても、正確に把握する必要がある。

粗雑すぎる「トランスフォーマー」の一般的な説明

　ChatGPTなどの基礎になっているのは、「トランスフォーマー」という仕組みだ。したがって、ChatGPTなどを適切に使うためには、トランスフォーマーのおおよその仕組みを知っている必要がある。これを以下に解説する。


　ChatGPTなどの動作ついてしばしば行われる説明は、「ある単語の次に来る確率が高い単語を並べて文章の続きを生成していく」というものだ。この説明はまったく間違いとは言えないが、あまりにも粗雑だ。

　たとえば、「ゲティスバーグの戦いで」という文章に続く言葉として最も確率が高いのは、「リンカーン大統領は」だろう。しかし、すべての場合にそうであるわけではない。まったく別のことを論じている文章は、いくらでもある。だから、最も高い確率の文章をつなげるだけで役に立たないことは、明らかだ。

　そして、このような理解では、ChatGPTの使い方の示唆は得られないだろう。では、LLMは一体どのようにして機能しているのか？

【次ページ】知っておくべきLLM（1）：「エンコーダー」「デコーダー」とは