信頼の前にシャドーモードを
マーケティングは、モデルに支出を任せる前に、そのモデルに実力を証明させることを学んだ。グーグルは「7日間で広告クリック数が700回未満」の広告主については、追跡できない売上を推定しない。手法を比較した研究者らは、対照群なしで誰が広告を見たかを観察するだけで広告を評価すると誤解を招き得ることを見いだした。そうした手法は、ランダム化比較実験（RCT）と同じ結果を示せないことが多い。
予測に基づいて実際の資金を投じる際のリスクを示しているのが不動産業界だ。不動産情報大手ジロー（Zillow）の住宅直接買取事業は、3〜6カ月先の住宅価格を予測することに依存していた。2021年11月、Zillowは同事業から撤退を余儀なくされ、予想売却価格を上回る価格で購入していた住宅について3億440万ドル（約481億円）の評価損を計上し、全従業員の約4分の1を解雇した。同社のCEOは「住宅価格予測における不確実性は、当社の想定をはるかに上回った」と述べた。
銀行には明文化された規定がある。2026年4月に発行された米国銀行規制当局の改訂版モデルリスクガイダンスは、「客観的な専門家」による「実効性のある検証（Effective Challenge）」と、「モデル出力を対応する現実世界の結果と比較する」結果分析を求めている。
医療分野には、先に実力を証明したモデルがある。医師が画像を読影することなく糖尿病網膜症をスクリーニングするAIシステムが承認される前に、研究者らはプライマリ・ケア診療所の900人の患者を対象に、事前に設定された基準に照らしてテストした。患を持つ人の85%超を検出し、疾患のない人の82.5%超を正しく陰性と判定するという条件をクリアしなければならなかった。同システムはそれぞれ87.2%と90.7%を達成し、2018年4月、医療のあらゆる分野を通じてFDA（米国食品医薬品局）が承認した初の自律型AI診断システムとなった。
欧州宇宙機関（ESA）は、軌道上で同じことを行った。人工衛星「ファイサット・ワン（PhiSat-1）」はすべての画像を保持し、それぞれについてAIの雲判定を記録した。AIに何かを破棄させる前に、人間がAIを確認できるようにするためである。船内AIも同じプロセスを経て信頼を勝ち取るべきである。まずは「シャドーモード（裏側で並行稼働させる運用）」で動かす。AIは乗組員のそばで静かに判定を下し、その結果は人間が下した判断と照合して採点される。スコアが維持されて初めて、AIが引き継ぐのである。
