ほとんどの経営幹部は、AIを恐れているわけではない。
彼らが恐れているのは、取締役会、監査、予算審査の場で、誰かがシンプルな質問を投げかけたときに、AIによって恥をかかされることだ。
「これは価値を生み出しているのか……それとも単に活動を生み出しているだけなのか？」
チームがチャートを持って会議室に入ってくる場面を想像してほしい。コパイロットの導入数、作成されたプロンプト数、「節約された時間」。そして、最高財務責任者（CFO）が身を乗り出してこう言う。
「私が説明できる証拠を見せてくれ」
多くのAIプログラムが信頼性を失うのは、まさにこの瞬間だ。テクノロジーが失敗したからではなく、測定システムが間違った行動に報酬を与えたからである。
ジャズでは、ベーシストを何音弾いたかで判断しない。バンドがそのグルーヴを信頼できるかどうかで判断する。AIのROIも同じように機能する。活動をカウントするのは簡単だが、インパクトを証明するのが難しい部分だ。
アービンド・ナラヤナン氏とサヤシュ・カプール氏は、著書AI Snake Oil: What Artificial Intelligence Can Do, What It Can't, and How to Tell the Differenceの中で、「AIはトレーニングデータを反映する。データを構成する人々に関するパターンを学習し、AIによる意思決定はこれらのパターンを反映する。しかし、意思決定の対象がトレーニングデータとは異なる特性を持つ母集団から来る場合、モデルの意思決定は誤っている可能性が高い」と述べている。
良いニュースがある。90日あれば、意思決定レベルの証拠を生み出すのに十分だ。ただし、AIを目新しいものとして測定するのをやめ、オペレーティングシステムとして測定し始める必要がある。
「現状」の問題：AIダッシュボードは指標の演劇を招く
現在、多くの組織は、ダッシュボード上では「勝って」いるが、現実では負けている。
これは人々が不誠実だからではない。指標はパフォーマンスを測定するだけでなく、それを形作るからだ。「指標を過度に強調すると……操作、ごまかし、短期的な質への近視眼的な焦点、不適切な代理指標につながる」（ScienceDirect）
キャリア、予算、ナラティブが数字に依存している場合、チームは数字を良く見せる方法を見つけるだろう。時には、ビジネスが静かに悪化している間にも。
そして、AIはこれを台無しにしやすくする。なぜなら、チームはしばしば入手可能なものを測定するからだ。
- ツールの使用状況
- コンテンツの量
- 自己申告による「節約された時間」
- デモセットの精度スコア
これらはしばしば活動の測定であり、価値の測定ではない。
したがって、命題は「より良い指標を得る」ことではない。
それは、ごまかしに抵抗する証拠を構築することだ。
「あり得る姿」の代替案：90日で再構築可能な証拠
CFOの反対尋問に耐えられるAIのROIが必要なら、信念に依存しない基準が必要だ。
取締役会対応のテストは次の通りだ。
財務部門は結果を再構築できるか？
「ストーリーはもっともらしく聞こえるか？」ではない。
「導入は上昇傾向にあるか？」でもない。
そうではなく、懐疑的なレビュアーは、ベースライン→方法→結果→トレードオフ→経済性→意思決定という証拠の流れを追うことができるか？
これがプルーフパック（証拠パッケージ）の目的だ。AIのROIを雰囲気ではなく、証拠ケースに変える。
PROOF-90メソッド：取締役会が信頼できる90日間のプルーフパック
私はシンプルな運用方法を使用している。P.R.O.O.F. 90だ。これは、指標操作を実際の改善よりも困難にするように設計されたケイデンスである。
P — 1つの価値単位を選ぶ（「モデル」を測定しない）
AIのROIは、1つの価値単位を指し示すことができるときに防御可能になる。
- 1つのワークフロー（例：契約レビュー、カスタマーサポートのトリアージ、引受業務、調達例外）
- 1人の意思決定責任者（結果を検証できる説明責任のある人物）
- 1つの測定可能な結果（サイクルタイム、エラー率、サービス提供コスト、コンバージョン、リスク削減）
エリック・シーゲル氏は、著書The AI Playbook: Mastering the Rare Art of Machine Learning Deploymentの中で、「プロジェクトの成功の定義は、モデルが開発され展開され、それに対して支払った組織のためにビジネス価値を創造した──過去形に注目──ときだと私は言う。その基準を課すと、まあ、静かなものだ」と述べている。
意思決定に名前を付けられなければ、ROIを証明することはできない。
R — ベースラインを登録する（そして「カウントしない」ルールも）
パイロットが始まる前に、3つのことを登録する。
- ベースラインパフォーマンス（今日何が真実か）
- 成功の定義（何が改善されなければならないか）
- カウントしないもの（後で指標を水増しできないように）
「目標設定は、慎重な投与、有害な副作用の考慮、綿密な監督を必要とする処方箋強度の薬である」（ハーバード・ビジネス・スクール）
この1つの動きがほとんどのごまかしを殺す。なぜなら、ごまかしは曖昧さの中で繁栄するからだ。
O — ワークフローにおける行動変化を観察する（単なる「使用状況」ではなく）
ROIは、ツールを試した人の数ではない。
ワークフローが変化したかどうかだ。
- 意思決定は速く、正確になったか？
- 例外は減少しているか？
- エスカレーションは減っているか？
- 人間は重要な瞬間にAIに依存しているか、それとも便利なときだけか？
イーサン・モリック氏は、著書Co-Intelligence: The Definitive Guide to Living and Working with AIの中で、「AI導入は、以前の技術の波よりもはるかに速く、はるかに広範囲に起こっている。そして、この新しい技術の限界と可能性、それらがどれだけ速く成長し続けるか、そしてその効果がどれほど非歴史的で奇妙なものになるかについて、私たちはまだ不明確である」と述べている。
使用は義務付けることができる。ワークフローの改善は獲得しなければならない。
O — カウンター指標でオフセットする（すべての勝利にはボディーガードが必要）
ビジネスが悪化している間に改善できる成功指標は、ROI指標ではない。それはごまかしへの招待状だ。
したがって、すべての「勝利指標」にはボディーガード指標が必要だ。品質、リスク、やり直し、コンプライアンス、信頼を保護するシグナルである。
例：
- サイクルタイムの短縮→やり直し率/欠陥率
- コスト削減→品質スコア/顧客への影響
- スループットの増加→エスカレーション/オーバーライド
- 自動化の増加→例外の量/コンプライアンスフラグ
F — 財務＋フォレンジック（価値を翻訳し、証拠の痕跡を保存する）
AIのROIをCFOレベルの証拠に変える2つのこと：
- 財務翻訳：単位経済性、仮定、感度範囲、提供コスト、価値実現までの時間
- フォレンジック：証拠アーカイブ（ベースラインデータ、変更ログ、制限事項、監視計画、ガバナンス態勢）
目標は「パイロットに勝つ」ことではない。
目標は、1つの意思決定を行うのに十分なクリーンな証拠を生み出すことだ。スケール、保留、または中止。
1ページの取締役会ビュー：PROOF-90エグゼクティブスコアボード
取締役会にAI結果を信頼してもらいたいなら、「取締役会ビュー」を徹底的にシンプルに保つ。6行を使用する。
- 価値単位──AIはどのワークフロー意思決定を改善したか？
- ベースライン──AI導入前は何が真実だったか？
- 結果の改善──何が良くなったか？
- カウンター指標の安定性──何が悪化しなかったか？
- 財務翻訳──経済的価値は何か（そして仮定は）？
- ガバナンス態勢──それを防御し監視できるか？
これにより、会話は経営幹部対応になる。何が変わったか？何が悪化しなかったか？どのような意思決定が続くか？
実践的な90日間の運用タイムライン
すぐに実行できるケイデンスは次の通りだ。
- 1〜10日目：ワークフロー、意思決定責任者、ベースライン、カウンター指標を選択
- 11〜30日目：ワークフローを計測し、ベースラインの現実を把握
- 31〜60日目：パイロットを実行し、毎週証拠（ストーリーではなく）をレビュー
- 61〜90日目：結果を単位経済性に翻訳し、スケール/保留/中止を決定
1つのルール：ROIを因果関係の質問（「何と比較して？」）として扱う。A/Bテスト、段階的展開、マッチドコントロール、またはその他の準実験デザインを使用し、結果が現れた後にストーリーを書き換えられないようにする。
誇大宣伝より結果
AIプログラムを殺す最速の方法は、演劇に報酬を与えることだ。
AIのROIは、AI活動によって証明されるものではない。明確なベースラインと比較して、1つの重要なワークフロー意思決定が改善され、カウンター指標がビジネスが他の場所で悪化しなかったことを示すときに証明される。90日間のパイロットは、企業変革を証明しようとすべきではない。財務部門と取締役会が1つの正直な意思決定を行うのに十分な明確な証拠を生み出すべきだ。スケール、保留、または中止。
したがって、異なるリーダーシップを発揮する。
- 活動ではなく、結果に報酬を与える
- ダッシュボードではなく、学習に報酬を与える
- 誇大宣伝ではなく、証拠に報酬を与える
偉大なベーシストのように、部屋が騒がしくなったときに加速しない。他の全員が自信を持ってより速く演奏できるように、グルーヴをロックする。
