アレッサ・クロス氏はVentrilo AIの創業チームのメンバーである。
視覚、言語、構造化データ、生成出力におけるAIのパフォーマンス指標は、ますます精度が高く汎用性のあるモデルを示している。しかし、これらの技術的進歩が必ずしも製品価値として成功裏に変換されているわけではない。中規模企業の半数以上が少なくとも1つのAIモデルを本番環境に導入していると報告しているが、20%未満の企業しか、それらの導入が意味のある持続的なビジネスインパクトをもたらしたとは言っていない。
ほとんどの場合、問題は上流にあるのではなく、AIの予測が意思決定に影響を与えるべき地点にある。適切なアクションを引き起こさない正確な推論は、存在しないも同然である。行動を変えることができなければ、モデルがどれほど精密であっても意味がない。
解釈と学習の下流層は、AIの「ラストマイル」を表しており、ほとんどの導入がここで頓挫している。技術リーダーにとって、このギャップが今や中心的な設計焦点となるべきである。
優れたモデルが失敗する時
失敗したAIイニシアチブには共通のパターンがある：サンドボックス環境での成功したプロトタイピングの後、統合の時点で失敗する。自動化されたカスタマーサポートから臨床診断まで、これらの出力が動的で高度に文脈依存の意思決定ループに供給されるため、失敗は特に顕著である。
技術リーダーとしての本能は、モデルに戻り、再トレーニングし、微調整し、より多くのデータを収集することだが、それはしばしば誤配置された信号の問題である。高品質の信号でも、誰も聞かなかったり、聞き手がそれをどう扱えばよいかわからなければ無用の長物となる。ラストマイルを埋めるということは、エンドユーザーのコンテキストをシステム設計の基点として扱うことを意味する。
統合と実行可能性を優先する
技術的に有効な推論がゴールラインであってはならない。指針となる問いは「この予測は正しいか？」から「これによってどのような意思決定が可能になるか？」に変わるべきである。問題をこのように再構成することで、チームは精度の最適化から意思決定支援の設計へと移行せざるを得なくなる。
有用になるためには、モデルの出力は3つの運用次元に合致する必要がある：
• タイミング：予測は意思決定が行われる時に到達する必要がある。早すぎるか遅すぎる信号は関連性を低下させたり、ユーザーの信頼を損なったりする可能性がある。
• コンテキスト：出力はユーザーに馴染みのある用語で表現される必要がある。確率スコアやクラスタIDは、多くの場合、ドメイン固有の言語やしきい値に変換する必要がある。
• 実行可能性：出力は、プロセスを自動化するか、情報に基づいた人間の反応を促すことによって、具体的な次のステップを提案すべきである。
良い例として、ロチェスター大学メディカルセンターとButterfly Networkが共同でAI支援ポータブル超音波を導入したケースがある。チームは診断精度の向上だけに焦点を当てるのではなく、医学生がケアの現場でAIが生成したガイダンスを信頼し、行動できるように臨床ワークフローを再設計した。彼らはスタッフを増やすことなく診断能力を拡大しただけでなく、電子健康記録にアップロードされるスキャンの数を3倍にした。この画期的な成功は、AIの機能がメディカルセンターの意思決定フローにいかにうまく統合され、補完されたかにある。
意思決定のための構築
AI導入における持続的な失敗は、モデルの精度をインパクトの代用指標として使用することである。効用のない精度は虚栄の指標にすぎない。より適切な問いは、モデルの出力が下流で何かを変えるかどうかである。チームは以下のことを問うべきである：
• この出力はどのようなアクションを可能にするか、または置き換えるか？
• それに誤って行動することのコストは何か？
• 下流のシステムやユーザーはどのような影響を受けるか？
これらの問いは、システム設計者に意思決定を意識したエンジニアリングに焦点を当てるよう促す。これはしばしば、抽象的な出力を特定の認識可能な手がかりに変換することを意味する。軽量な解釈可能性メカニズムを追加したり、既に意思決定が行われている既存のソフトウェア環境に出力を埋め込んだりすることを意味するかもしれない。
エネルギー部門では、ENGIE Energy AccessがAtlas AIと提携し、ケニアでのオフグリッド太陽光製品をターゲットにした。チームは一般的な人口統計クラスタリングによる地域ランキングではなく、現地の手頃な価格と流通能力の指標を使用して予測を構築した。その結果、市場投入計画はより強固なものとなった。これらの予測を使用したパイロット導入では、従来のマーケティング活動と比較して月間売上が48%増加した。これは、出力が明確な運用上の意思決定を促進するように設計されていたためである。
オーバーライドをフィードバックとして扱う
よく設計されたシステムでも、手動のオーバーライド（上書き）に直面することがある。これらの瞬間はしばしば失敗として見なされ、ラベル付けされる。実際には、オーバーライドは収集できる最も有用な信号の一つである。それらはアルゴリズムのロジックと人間の推論の間に残る不一致を明らかにする。信頼が欠けている場所や、まだコンテキストが不足している場所を示している。
これらの瞬間を意味あるものにするために、システムはオーバーライドを構造化されたフィードバックとして扱う必要がある。オーバーライドは以下のようであるべきだ：
• 体系化：ユーザーは出力にフラグを立て、修正するための明確で認可された方法を必要とする。
• 記録：すべてのオーバーライドは、分析に役立つ形式で記録され、構造化されるべきである。
• 反射的：オーバーライド行動のパターンは、将来のモデル調整、インターフェース再設計、あるいはポリシーやビジネスロジックの変更にも情報を提供すべきである。
オーバーライドは重要なテストポイントである。それらはユーザーが設計上のギャップを補うことを強いられているかどうかを示し、標準的なモニタリングパイプラインよりも速くエッジケースやブラインドスポットを浮き彫りにすることが多い。
製品はラストマイルにある
多くのAIプロジェクトが技術的失敗と誤診されている。チームはデータ品質の弱さ、過学習、モデルドリフトなどを指摘する。しかし、より頻繁に、失敗は統合の問題である：モデルは構築され、検証され、さらには導入されたが、それが重要であるはずの意思決定アーキテクチャに完全に入ることはなかった。
AIのラストマイルは、エンジニアリングと設計作業のほとんどがまだ必要とされる場所である。それは製品が始まる場所であり、おそらくあなたのAIの価値が創造される場所でもある。また、エンジニアリングと設計投資のほとんどが集中すべき場所でもある。運用化に真剣に取り組むチームや技術リーダーにとって、それはあなたが注目すべき場所である—なぜなら、ラストマイルで行う作業が、あなたが提供すると約束した製品になることが多いからである。
フォーブス・テクノロジー・カウンシルは、世界クラスのCIO、CTO、テクノロジーエグゼクティブのための招待制コミュニティである。参加資格を確認する
