ほとんどの予測AIプロジェクトは本番環境への導入に失敗している。数値処理は適切で、データサイエンティストは実用可能な機械学習モデルを提供するのだが、残念ながらステークホルダーの反対により導入が妨げられている。
ステークホルダーの立場をより理解するため、ML（機械学習）の専門家たちは予測AIのビジネス価値に焦点を当てる動きを主導している。MLモデルのパフォーマンスを報告する従来の技術的指標にこだわるのではなく、積極的な少数派のデータサイエンティストたちは、オタク風の小部屋から飛び出し、MLの利益予測を提供している。潜在的な収益を報告することで、これらの定量分析専門家たちは、ビジネスサイドのカウンターパートにモデル導入を売り込む可能性が大幅に高まる。
しかし、ML評価からML価値評価へのこの新しい動きは、その実践がより理解され、広く採用されるまでは、特定の反対意見に直面するだろう。ここでは、ML価値評価に関するステークホルダーの4つの一般的な懸念事項と、それらへの対処法を紹介する。
1) 仮定に基づく利益予測をどう信頼すればよいのか？
利益曲線は、MLモデルの価値を単一の数値よりも包括的に示してくれる：
しかし、利益曲線だけでは、導入計画と導入の説得という事業課題を解決できない。なぜか？それは通常、偽陽性と偽陰性のコストなどの特定のビジネス上の仮定に基づいており、それが曲線全体の信頼性に疑問を投げかける可能性があるからだ。
この問題の解決策は、チャートをインタラクティブにすることだ。スライダーを動かすことで、ユーザーはこうした未解決の要因の設定を変更し、それが曲線の形状にどう影響するかを確認できる。
この相互作用により、導入決定を行う際にこれらの要因がどれだけ重要かについての直感、つまり「感覚」が得られる。各チャートの形状が応答的に変化することで、ユーザーは各要因の影響を視覚化できる。多くの場合、曲線の変化は許容範囲内にとどまるため、導入決定は自信を持って行うことができる。他のケースでは、曲線が大幅に、あるいは有害に変化することがあり、不確実性の範囲が受け入れられないことを示している。これは、モデルの価値に対する信頼を得て導入を承認するためには、不確実性の範囲を狭める必要があることを意味する。
この実践により、不確実性があっても、モデルの価値評価が可能になる。例えば、各偽陽性の金銭的損失について直接的な知識がない場合がある。それは他のビジネスユニットの機密情報であるか、新たな調査や実験的発見が必要だからだ。そのような変数の値をインタラクティブに変更することで、その不確実性が導入決定にどれだけ影響するかについての即時の洞察が得られる。このようにして、その範囲を狭め、モデル導入が価値あるものとなるために値が収まるべき限界を決定できる。曲線の形状の変化や他の関連指標の変化を観察することで、そのような要因がどれだけ大きな違いをもたらすか、導入計画がそれでも適切かどうか、あるいは不確実性の範囲を狭めるための追加努力なしには前進できないほど「不確実すぎる」要因があるかどうかについての重要な直感が得られる。
ビジネス要因について理想的な可視性をすでに持っていたとしても、それらの一部は必然的に潜在的な変化や不確実性の対象となる—常に「余地」のあるビジネス変数が存在するものだ。
2) ML価値評価は予測AIプロジェクトの監査を行うのか？
標準的なML評価からML価値評価への移行は、通常の意味での監査を構成するものではない。実際、そうすることで通常はMLモデルの認識が弱まるのではなく、強化される。主な成果と目的は、導入された価値を最大化し、その潜在的価値を顧客、同僚、その他の意思決定者に示す力を与えることだ。ステークホルダーはしばしば、ML価値評価を、彼らがすでに直感的に存在すると信じていたビジネス価値の検証として認識する。
これが導入を促進する。モデルパフォーマンスに対する価値志向のレンズは、他者を説得し、モデルが確実に導入される—そしてより最適に導入されるための重要な証拠を提供する。
同時に、特定の「監査」は害ではなく助けとなる。監査は、潜在的な価値を発掘し、証明し、伝えることに向けられる場合がある—イニシアチブの目的と価値に焦点を当て、その価値が実現されるようにする。さらに、場合によっては、潜在的なビジネス価値を評価することで、モデルの対処可能な弱点を明らかにすることができる。
3) 導入後のモデルパフォーマンス追跡だけでは不十分なのか？
ほとんどの予測AIプロジェクトは、MLモデルが導入された後にのみビジネス結果を評価する計画を立てている。そのため、多くが導入に失敗する。このような事後評価は、いくつかの理由で失敗する。モデル開発中にビジネス価値を追求する唯一の方法は、途中でそのビジネス価値を評価することだ。また、導入するかどうか、どのモデルを導入するか、そしてどのように導入するかについて賢明なビジネス判断を下す唯一の方法は、ビジネス価値に基づいてそれらの判断を行うことだ。さらに、価値の見積もりがなければ、モデルは導入される可能性が低く、プロジェクトは導入後の評価に至ることさえないだろう。
価値を明示的に計画することで価値が高まる。技術的にのみ評価されたモデルが導入されれば価値を実現する可能性はあるが—そのプロセスが明示的に価値を最適化していないため、その価値は不必要に運に任されていたことになる。さらに悪いことに、価値評価されていないモデルはそもそも導入されないことが多いため、価値は通常ゼロになる。技術的なパフォーマンスではステークホルダーを説得できない。
実践としてのML価値評価は、導入後も継続的な価値を維持する。ビジネス観点からパフォーマンスを監視することで、モデルやその導入の詳細（決定境界など）の変更をビジネス価値の最大化に向けて推進できる。MLプロジェクトは継続的に見直され、潜在的に再導入される必要があるため、モデル価値評価は導入前だけでなく、「再導入前」にも必須だ。
4) 競合するKPI間のトレードオフをどう調整するか？
お金が唯一の指標であることは決してない。すべての予測AIプロジェクトは、競合するKPI間のトレードオフを調整し、それらのバランスを取る必要がある。そうするための最良の方法は、トレードオフのオプションを視覚化することだ。
例えば、不正検出で節約される最終的な金額に加えて、もう一つの重要な考慮事項がある：正当な取引が中断される回数—つまり偽陽性の数だ。中規模の銀行は、節約曲線がピークとなる決定境界を設定することで2600万ドルを獲得する可能性があるが、よく言われるように、お金がすべてではない。中断のコストはすでに最終的な節約額に考慮されているが、まだ考慮されていない無形または長期的なコストも発生する可能性がある。例えば、このような方法で顧客に不便をかけるという銀行の評判に寄与する可能性があるからだ。
金銭的な最終利益を少し犠牲にすることで、取引の中断を大幅に減らせることがある。あるケースでは、偽陽性が59%削減され、最終的な節約額はわずか5%の犠牲で済み、さらにブロックされる取引も50%少なくなり、商取引の中断が半減した。同様の例として、誤情報検出において、最終利益をわずかに犠牲にするだけで、より多くの誤情報が防止される例についてこちらで読むことができる。
モデルを導入しよう！これら4つの懸念事項に対処することで、ML価値評価が必要とされる広く採用されるベストプラクティスとして確立される道が大きく開かれ、それによって予測AIの導入実績が大幅に向上するだろう。
