初めてジャズバンドが崩壊するのを聞いたとき、それはミュージシャンが音符を忘れたからではなかった。音響エンジニアが音量を上げすぎたからだった。
あらゆる小さなタイミングのずれが突然明らかになった。ソロは、アンプの音量が大きくなったから悪くなったわけではない。欠陥が公になっただけだ。
これが、多くの企業がAIで迎えているリーダーシップの瞬間である。
パイロット版は愛されやすい。静かで、限定的で、寛容だ。しかし規模拡大は異なる。AIが実際のワークフロー、顧客とのやり取り、業務上の意思決定に入り込むと、より大きな舞台に上がることになる。より多くの人々が影響を受ける。より多くの結果が可視化される。そして小さな失敗は小さいままではいられなくなる。
だからこそ、AIの規模拡大における真の課題は、単なる技術的な展開ではない。リーダーシップが、能力とともに信頼を拡大できるかどうかだ。
AIの規模拡大は、説明責任がそれとともに拡大する場合にのみ機能する。
ほとんどの経営幹部は、依然としてAIをツールの問題として捉えている。どのモデル、どのベンダー、どのユースケース、そしてどれだけ速くか。しかしビジネスの重要な部分では、AIはソフトウェアというよりも、意思決定システム内の新たな参加者のように振る舞う。書籍Prediction Machinesで、アグラワル氏、ガンズ氏、ゴールドファーブ氏は、予測マシンは時間とともに精度を向上させるために「トレーニングデータ」「入力データ」「フィードバックデータ」に依存していると書いている。
AIが価格設定、採用、請求、与信、サービス、安全性、従業員のワークフローに影響を与える場合、単にタスクを自動化しているだけではない。判断を増幅しているのだ。
そして信頼が崩れるのは、企業が「AIを使用した」からではない。人々が驚き、害を受け、または無視されたと感じ、そしてシステムが何を許可されていたのか、どのようなデータを使用したのか、どのようにテストされたのか、誰が結果を所有しているのかを誰も明確に説明できないことに気づいたときに、信頼は崩れる。
これが取締役会レベルの枠組みだ。取締役会の仕事はコードを検査することではない。AIが規模拡大において信頼できる条件を統治することだ。
まさにそれを実現する5つの問いを以下に示す。
1. 正確には、どこでAIに意思決定への影響を許可しているのか？
防ごうとしている信頼の問題はシンプルだ。AIがその判断を下していることを知らなかった。
AIは決して「あらゆる場所」や「すべてを支援」と表現されるべきではない。その言葉は野心的に聞こえるが、説明責任を弱める。リーダーは、AIがどこで推奨し、どこで実行し、どこで人間が最終的な意思決定者でなければならないかを知る必要がある。
ダベンポート氏とミッタル氏は、著書All-in On AI: How Smart Companies Win Big with Artificial Intelligence（16ページ）で次のように述べている。「AI駆動型企業が直面する主要な問題は、人間の労働者をAIに置き換える方法ではなく、仕事を再設計し、労働者のスキルを再教育し、そのプロセスでより効率的かつ効果的になることによって、両者から最高のものを引き出す方法である」
つまり、3つの実践的な問いを投げかけることを意味する。どの意思決定が実質的に影響を受けるのか？誰がそれらの意思決定を所有しているのか？何かがおかしいと感じたときの停止ボタンはどこにあるのか？
今四半期は、シンプルなAI意思決定登録簿から始めよう。ユースケース、意思決定タイプ、ビジネスオーナー、リスク階層、エスカレーションパス。そして1つのルールを譲れないものにする。説明責任を持つ人間がいなければ、展開はない。
2. このシステムは何のデータから学習しているのか、そして我々の許可ストーリーは何か？
ここでの信頼の問題は、ステークホルダーが最も長く記憶するものだ。あなたは私が同意していない方法で私のデータを使用した。
経営会議では、データガバナンスは手続き的に聞こえるかもしれない。顧客や従業員にとっては、個人的に感じられる。人々は、ポリシーが存在するかどうかで信頼を測定しない。境界が尊重されたかどうかで測定する。書籍The Coming Waveで、これは封じ込め問題と呼ばれている。ムスタファ・スレイマン氏によると、The Coming Wave: AI, Power, and Our Future（222ページ）。「研究所からの漏洩は、意図しない結果の好例に過ぎず、封じ込め問題の核心であり、原子炉のメルトダウンや紛失した弾頭に相当する来るべき波である。このような事故は、別の予測不可能なストレス要因、システムの別の分裂する亀裂を生み出す」
だからこそリーダーは、コンプライアンスの姿勢以上のものが必要だ。平易な言葉で説明できる許可ストーリーが必要だ。どのようなデータが使用されているのか、なぜ使用されているのか、どのように保護されているのか、どのくらいの期間保持されるのか、そして企業が何をすることを拒否するのか。
最良の設計原則は依然として最もシンプルなものだ。データが必要でなければ、収集せず、保存せず、できるからといって使用することを正常化しない。
3. AIが信頼できることをどのように証明するのか、単に印象的なだけではなく？
防ごうとしている信頼の問題はよく知られている。デモでは機能したが、実世界では失敗した。
取締役会は感銘を受けるために報酬を得ているわけではない。成長を可能にしながら企業リスクを削減するために報酬を得ている。
したがって、真の問いは、モデルが理想的な条件下でパフォーマンスを発揮できるかどうかではない。組織が実世界の条件下でパフォーマンスを検証でき、環境が変化してもそれを継続できるかどうかだ。
つまり、各ユースケースで「良い」が実際に何を意味するかを定義することを意味する。精度、レイテンシ、安全性、公平性、説明可能性、またはそれらの組み合わせ。展開前に既知の故障モードとエッジケースを特定することを意味する。立ち上げ後のドリフトを監視することを意味する。そして悪い結果の後に何が起こったかを再構築できるほど強力な監査証跡を維持することを意味する。
影響の大きい文脈では、信頼性は機能ではない。規模拡大への入場料だ。
4. AIが間違えたとき、誰が結果を所有するのか？
ここでの信頼の問題は、誤って処理されると致命的だ。リーダーシップがアルゴリズムを非難した。
人々は時折のエラーを許容する。回避的な責任は許容しない。キャシー・オニール氏は、Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy（199ページ）で述べている。「一般的に言えば、アルゴリズムの説明責任の仕事は、アルゴリズムを開発し展開する企業から始めるべきだ。彼らは自分たちの影響力に対する責任を受け入れ、化学会社が周囲の河川や流域を破壊していないという証拠を提供する必要があるのと同様に、自分たちがしていることが害を引き起こしていないという証拠を開発すべきだ」
モデルは作業を支援できるが、結果を所有することはできない。その責任はリーダーシップにとどまる。ステークホルダーは、誰がシステムを設計したのか、誰がトレードオフを承認したのか、誰が是正措置を処理するのか、そして害が発生した後にシステムを一時停止、ロールバック、または再設計する権限を誰が持っているのかを知りたがっている。
ここで多くのAIプログラムは、真剣なのか演劇的なのかを明らかにする。真剣なプログラムにはインシデント対応マニュアルがある。検出、トリアージ、ロールバック、コミュニケーション、根本原因レビュー、是正措置。演劇的なプログラムにはポリシーステートメントと混乱がある。
正しい線は明白だ。AIは作業を支援できるが、リーダーシップが結果を所有する。
5. パフォーマンスと同じくらい信頼を可視化し続けるにはどうすればよいか？
防ごうとしている信頼の問題はより静かで、それが危険にする。我々は効率を最適化し、静かに信頼を失った。
ほとんどのチームは採用、速度、コスト削減を追跡するが、同じ規律で信頼を追跡するチームはほとんどない。つまり、警告サインは公になるまで見えないままだ。書籍Co-Intelligence: Living and Working with AI（134ページ）で、イーサン・モリック氏は述べている。「委任の未来には、ハルシネーション率のさらなる削減と、AI意思決定のより良い透明性が必要であり、それによって我々はそれをより信頼できるようになる。委任の全体的な目標は、我々の時間を節約し、我々が価値を持つことができる、または持ちたいタスクに集中できるようにすることだ」
信頼は観察可能にされなければならない。そうでなければ、リーダーはテンポのずれに気づかずにより速くプレイし続ける。
だからこそ、すべての真剣なAIプログラムには、ROI指標の横に小さな信頼スコアカードが必要だ。AIとのやり取りに関連する苦情を追跡する。エスカレーションと取り消し率を追跡する。従業員が報告する摩擦と回避策を追跡する。監査結果を追跡する。問題が発見された後、どれだけ迅速に是正されるかを追跡する。
信頼のための完璧な公式は必要ない。システムが信頼を構築しているのか、それとも侵食しているのかを示すシグナルが必要だ。
高業績チームが異なる行動をとること
最も強力な経営チームは、AIをサイドプロジェクトではなく、ポートフォリオとして扱う。
彼らは低リスクの実験と高影響の展開を分離する。ステージゲートを使用する。ツールだけでなく、実現手段に資金を提供する。そして、誰かが「これはおかしい」と言えるような文化を創造し、反イノベーションとして却下されることはない。
有用なリーダーシップの演習はシンプルだ。上位3つのAIイニシアチブに対してこれら5つの問いを実行し、すべてのギャップに所有者と期限を割り当て、毎月レビューする1つの信頼指標に合意する。
これが、責任あるAIがスローガンであることをやめ、運用規律になる方法だ。
これがうまくいかない場合
リーダーが4つのパターンに陥ると、信頼は最も速く崩れる。説明責任のない自動化、ポリシーの演劇、サイレント展開、そして戦略としてのスピード。
それぞれのケースで、同じ過ちが犯されている。組織は、明確性、所有権、抑制を拡大する前に、機械の影響力を拡大する。
それがAIがイノベーションのように見えることをやめ、エクスポージャーのように見え始めるときだ。
ムスタファ・スレイマン氏は、著書The Coming Wave: AI, Power, and Our Future（262ページ）で述べている。「AIは、我々の最良と最悪の自己の延長であるからこそ、価値があり危険である。そして学習を前提とした技術として、それは適応し、探索し、以前に考えられたものから潜在的に遠く離れた新しい戦略やアイデアを生み出し続けることができる。他のAIによってさえも」
リーダーシップの瞬間
AIは単なる技術シフトではない。リーダーシップのオーディションだ。ステークホルダーは能力よりも深いものを聞いている。彼らは誠実さ、明確性、所有権を聞いている。だから、次の取締役会の議題の最上位に置く価値のある問いは次のとおりだ。
我々はAIを拡大しているのか、それとも信頼できる意思決定方法を拡大しているのか？
なぜなら結局のところ、信頼はベースラインだからだ。それが脱落すると、パフォーマンス全体が崩壊する。
