【松尾研究所】RAG導入はなぜ失敗？ クレディセゾンに学ぶ「AI前提」の超・情報設計

なぜデータが重要なのか？

　以前の記事（注1）では、「Prompt Engineering（プロンプトエンジニアリング）は死んだのか？」という問いを通じて、モデルが賢くなった現在においても、LLMに情報として何を与えるかが依然として重要であることを論じた。

　プロンプトの巧拙だけでなく、「どのような情報を、どのような形で与えるか」という設計思想こそが、生成AI活用の本質であると整理した。

　では、その”与える情報”はどこから来るのか。

　業務活用において生成AIの精度が上がらない背景には、モデルの能力不足だけではなく、入力されるデータ環境の未整備がある。社内文書が整理されていない、データが分断されている、最新情報が反映されていない──。こうした状況では、どれほど高性能なモデルを使っても、その能力を十分に引き出すことは難しい。

　生成AIの性能は、モデルそのものだけではなく、それを取り巻く「データ供給網」によっても大きく左右される。

「AIモデル選び」は無意味？ 精度を落とす“魔窟”な文書群

　生成AI活用の議論において、金融機関の文書環境は極めて象徴的である。

　金融機関には、膨大な規程類、通達、業務マニュアル、商品説明資料、約款、FAQ、監督指針対応資料、内部監査報告書などが存在する。しかもそれらは、長年の制度改正や組織再編、業務追加の積み重ねの上に成り立っている。

　実際、金融機関における生成AI活用状況の調査（注2）（注3）（注4）でも、「データ・文書の未整備」は精度や運用上の課題に関わる重要な論点として繰り返し指摘されている。その結果、多くの組織で以下のような状況が生じている。


　人間であれば、経験や暗黙知によってこれらをある程度補完できる。しかし生成AIは、そのような暗黙の前提を共有していない。

　たとえば、「内部管理責任者」という言葉が文書Aと文書Bで微妙に異なる役割を指していた場合、AIはその違いを正確に解釈できないことがある。あるいは、古い商品仕様書が検索結果に含まれていた場合、AIはそれを最新情報と取り違える可能性がある。

　つまり、金融機関の文書環境は、人間中心の設計としては成立していても、AI前提の設計にはなっていないのである。

　ここで重要なのは、「文書が多いこと」自体が問題ではないという点だ。問題は、情報が「構造化されていない」ことである。

　金融機関の文書は、制度対応や監査対応を優先して作られてきた。そのため、網羅性や証跡性は高い。一方で、AIが情報を検索・解釈・統合するために必要な構造は十分に整備されていないことが多い。

　たとえば、ある規程の本文では一般原則が示され、具体的な例外は別紙や通達に記載されていることがある。また、商品説明資料、業務マニュアルFAQ、社内通達の間で、同じテーマが異なる粒度で説明されていることも少なくない。

　人間であれば、所属部門の知識や過去の経緯を踏まえて「どの文書を優先すべきか」「どの記述が現在有効か」を判断できる。しかしAIにとっては、その優先順位や文脈が明示されていなければ、誤った情報を参照したり、複数の記述を不適切に統合したりするリスクがある。

　よって、金融機関において生成AIの精度を高めるためには、モデル選定やプロンプト改善だけでは不十分である。規程、マニュアル、商品情報、FAQ、通達、監査対応資料などを、AIが利用可能な形で整理し直す必要がある。

　具体的には、文書間の関係性、情報の鮮度、正式文書と補足資料の区別、部門ごとのローカルルール、例外条件などを明示し、AIが誤解しにくいデータ環境を整えることが求められる。

　この意味で、生成AI活用の成否は「どのモデルを使うか」だけでは決まらない。むしろ、AIに何を読ませ、どの順序で参照させ、どの情報を信頼させるかというデータ供給網の設計こそが、実務精度を左右する重要な競争軸になっている。

【次ページ】RAGは魔法ではない…実証実験で判明した「残酷な現実」