AnswerRocket（アンサーロケット）のCEO兼共同創業者であるアロン・ゴレン氏は、AIによる分析変革を推進しています。
企業はAIへの投資を続けており、ガートナーの調査によると、生成AI（GenAI）の導入に牽引され、今年のIT支出は2024年と比較して9.8%増加すると予測されています。しかし、企業は依然として測定可能な価値を生み出す上で障壁に直面しています。IBMの最近の調査によると、2022年以降のAIプロジェクトのうち、期待されたROIを達成したのはわずか25%にとどまっています。
現時点で、AIはあらゆる業界で画期的な影響を示しています。問題を引き起こしているのは技術ではありません。AIプロジェクトは2つの重要な局面で破綻しています。最初の破綻点は立ち上げ時にあります：目標と成功の定義に関する合意を得ることです。2つ目は後工程で発生します：デプロイ後のパフォーマンスを評価・監視するシステムの構築です。これらのどちらかを間違えると、その間の優れた実行があっても救われません。
内部の不一致が組織を最初から不利な立場に置く
あまりにも頻繁に、曖昧な指示がC層から下りてきます。時には「AIを導入せよ」という一般的なものであったり、時には「顧客獲得を支援するAIが必要だ」というより具体的なものであったりしますが、それでもパラメータや詳細が欠けています。これは失敗の処方箋です。
懐疑的な見方をすれば、これは流行に踊らされる時代遅れの経営陣のように聞こえます。しかし、ここに落とし穴があります：AIプロジェクトはROIを推進するために中核的なビジネス課題を解決する必要があり、経営陣は誰よりもそのニーズを理解しています。取り組みが純粋に技術関係者によって推進される場合、プロジェクトは本番環境に到達することのない実験になってしまいます。
企業の経営陣は技術リーダーと協力して、目標を定義し、AIが実際のビジネス価値を生み出せる領域を特定し、何が実現可能かを判断し、それを実現するためのリソースを集める必要があります。十分にシンプルに聞こえますが、無数の組織がこの最初のステップで失敗しています。
ビジネスリーダーと技術リーダーが同じ考えを持ち、AIでの成功に備えているかどうかを判断する方法は次のとおりです。重要なプロジェクトに着手する前に、両者は次の質問に明確に答えられるはずです：
1. このAIプロジェクトは重要なビジネス課題を解決するか？
2. その問題は従来の方法（例：レガシーな自動化技術）でより良く解決できるか？
3. 測定可能な価値（例：収益の向上やチャーンの削減）を提供するか？
4. その価値を正確に追跡・測定する方法はあるか？
連携が強く、目標が明確な場合、組織は成功の共通定義を持って実装フェーズに入ります。構築、反復、改良の中間フェーズには確かに課題があります。しかし、チームがこれら4つの質問に明確に答えると、それらの課題に効果的に対処するために必要な基盤が作られます。
AIのテストと評価はバックエンドで課題をもたらす
プロセスの反対側では、企業がよく直面するもう一つの大きな障壁があります：AIパフォーマンスのテストと評価です。AIの動作は予測不可能に変化することがあります。企業は実世界の条件下で一貫した信頼できる結果を確保するために、堅牢な検証フレームワーク、多様なテストデータセット、継続的なモニタリングを必要としています。これらのプロセスは規模が大きくなると煩雑になる可能性があります。
中核的な課題は、組織がテストにどのようにアプローチするかから始まります。ほとんどの企業はAIシステムの成功をテストしますが、失敗をテストすることはほとんどありません。チームは意図された使用事例で機能する印象的なデモを構築します。リーダーシップはその可能性を見ます。しかし、誰もエッジケースをテストしていません：機能しないシナリオ、システムが答えられない質問、信頼性の低い出力を生成する入力などです。失敗が本番環境で表面化すると、組織は事後対応的に修正に追われます。
これをより複雑にしているのは、AI障害自体の性質です。従来のソフトウェアシステムは派手に明らかに失敗します。私たちは皆、ブルースクリーンや完全なシステムクラッシュに馴染みがあります。AIシステムは微妙に失敗します。応答品質が2%低下します。処理時間が1.5秒から3秒に増加します。回答はやや関連性が低くなりますが、依然として妥当です。これらの段階的な劣化は標準的な監視ツールでは捉えにくく、ユーザーは組織よりも先に問題に気づくことがよくあります。
このドリフトはいくつかの理由で発生します。プロバイダーがエンドポイントを更新すると、AIモデルが変更される可能性があります。先月は優れた結果を生み出したプロンプトが、今日では平凡な出力をもたらすかもしれません。マルチエージェントシステムでは、小さなエラーが相互作用全体に蓄積され、システムが物語の流れを失うまでになります。
効果的なAI評価には、すべての相互作用にわたる質的側面の監視が必要です：十分に速いか？コンテキストに適切か？昨日と一貫しているか？コストはいくらか？ユーザーは価値を見出したか？これらは二項対立の合格/不合格の指標ではありません。サーバーが稼働しているかどうかをチェックするというよりも、アナリストを管理するような継続的な評価が必要です。
これが、本番後のモニタリングが事前テストと同様に重要である理由です。AIで成功する組織は、初日から継続的なモニタリングをアーキテクチャに組み込みます。彼らはベースラインのパフォーマンス指標を確立し、時間の経過とともに偏差を追跡し、ユーザーが報告する必要がある前に品質問題を捉えるフィードバックループを作成します。この継続的な監視がなければ、設計の優れたAIシステムでも時間とともに劣化します。
両方を正しく行う
企業がAI ROIで苦戦しているという最近の調査結果は、技術の非難と読むべきではありません。AIは私たちが聞かされてきたほど影響力があり、さらに強力になっています。問題は、組織が実装の準備と評価をどのように行っているかです。
内部の不一致とテストは2つの重要な障壁ですが、それらは克服できます。C層と技術実装者を最初に明確に連携させる企業は、成功に必要な基盤を作り出します。厳格なテストと評価を確立する組織は、さらに数ヶ月後、数年後も目標が達成されていることを確実にします。これら2つの領域を正しく行えば、実際のビジネス価値を提供するAI実装の条件が整います。
