AIプロジェクトの失敗例

　新興の損害保険会社A社は積極的な商品展開、広告と営業活動を武器に成長してきた。売上は数年間右肩上がりで、組織は拡大し続けている。

　そんなA社だが、ある時期に保険金支払いの審査にミスが続いたことがあり、現在はいくつかの段階でチェックを二重化している。しかし、取り扱う案件は増え続けており、数年後には審査部門がボトルネックになることが予想されている。そこで、継続的な成長を狙って、AIによる審査システムを開発することにした。

　担当に企画部門のB氏がアサインされた。現場の細かいところまで目が届き、経営陣からの信頼も厚い。エンジニアをアサインしたかったが、彼らは運用保守に時間を取られており、かつ、専門が違うということで断られた。専門外のB氏がアサインされた代わりに、困った場合には経営陣からサポートを受けられるように調整した。

　B氏は数社に見積りを依頼し比較検討した。その際、各社にどれくらいで完成するかも問い合わせたが、いずれも「やってみないとわからない」という回答だった。

　彼らはさまざまな業界でPoCを実施しており、この回答は一般的なようであった。価格は高かったが、メディアで著名なスタートアップC社に発注することにした。担当にAIエンジニアのD氏がアサインされた。

　B氏は率直に「AIについて知らないのでいろいろと教えて欲しい」「経営陣からサポートを取り付けており、できるだけのことはする」と伝えた。A氏は了承し、「まずは人手でやる場合のKPIを教えて欲しい」と言った。B氏は「そもそも会社がKPIを設定していない。業務負荷が高く、時間をとって現状のKPIを計測することは難しい。ある程度成果が出てからKPIを計測したい」と述べたところ、D氏は「利用可能なデータをすべて欲しい」と伝えた。IT 部門から渋られたが、D氏へデータが渡された。

　第1回の報告会では、B氏はほとんど内容を理解できなかった。とはいえ、質問は浴びせており、原因の分析についての質問などを行ったが、D氏は「今のAIはブラックボックスですので」と述べたのみだった。続いてアルゴリズムの質問をしたが、知識がなかったため基本的な質問に終始した。

　第2回以降の報告会では新しい試みが報告されたが、B氏はなぜその試みが選択されたのか理解できなかった。B氏がアルゴリズムそのものへの質問を増やすにつれて、D氏は結果のみを伝えるようになっていった。そのため、B氏は経営陣への説明に苦しむようになった。

　結果としてB氏は経営陣に報告書を見せる際、D氏が説明能力に欠けていると述べるようになった。A社はC社へ改善依頼を出したが、目に見える変化は見られなかったため、PoCプロジェクトを終了することにした。

問題の分析

　上記の例では何が問題だったのだろうか。発生した事象を素直に読み解けば、以下の3点に集約できるだろう。

1. ビジネスの KPI が発注者側から提示されなかった
2. 初歩的な細かい質問が多く、そこに多くの時間を割かれた
3. （その結果として）C社の報告書が結果のみになった

　まず、1の影響は意外と大きい。現行の業務におけるKPIはAIにとって理想の目標値に近い。改善する施策として、アルゴリズムの変更やパラメータの調整、データの項目追加や件数の増加など、いくつかの選択肢がある。理想の目標値はこのような戦術を決定する上でヒントを与えてくれる。

　2、3に対する原因は、プロジェクトにおけるビジネス側の役割が明確になっていないことである。B氏は「AIについて知らないのでいろいろと教えて欲しい」と言って、AI エンジニアと同じ視点でアルゴリズムを理解しようとした。その結果プロジェクトにおけるビジネス側の価値を出せていない。

目標の曖昧さ

　ビジネス側の担当者B氏の視点で見てみよう。多くの場合、AI導入の目的は人手で行っている作業の自動化である。自動化によって目指すインパクトは「安い（コストダウン）」「早い（回転率アップ）」「旨い（品質アップ）」の3種類である。

　事前に何を目標にしたいのか、どれくらい改善されるのか、定量化しておくことが重要である。ビジネスにおける説明責任を果たすことに役に立つ。一般的にAIで評価できる指標と粒度をそろえておく必要がある。

　続いて、AI側の担当者D氏の視点で見てみよう。彼の頭の中には（AIで解ける）タスク、データの種類と項目と量、アルゴリズムの基本セットがある。タスクとデータが所与であり、適切なアルゴリズムを選択することで問題を解決する。アルゴリズムは目標とする精度によって評価される。

　初期の段階においては目標とする精度はアルゴリズムの選定に役に立つ。大まかに言うと、データの量と精度によって選択できるアルゴリズムは変わってくる。目標が高いのにデータが足りないこともある。データが多いのに大したことがない目標を求められることもある。双方で期待値の調整が必要になるだろう。

　改善の段階においては誤差の分析と対策が検討される。その中で理想的なアルゴリズムと現状のアルゴリズムの誤差を比較することは効果的な方法である。

　モデルのアーキテクチャ（ニューラルネットワークの構造）を変更するか、データを追加するか、などの判断が変わってくる。とくにデータの追加は負荷が高いことがある。説明できる根拠があることが求められるだろう。

【次ページ】ビジネス側の役割