企業がAIポリシーを持ち、リスク委員会を設置し、責任者を任命し、エスカレーションプロセスを整え、人間によるレビューを義務付けていたとしても、AIの影響を受ける意思決定に対して実質的な制御が及ばないことはある。
よくあるパターンを考えてみよう。AIシステムがある行動を推奨する。マネージャーがその推奨内容を確認して承認する。自動化されたワークフローがその決定を実行し、別のシステムに情報を送り、次のステップを起動する。
書類上、このプロセスはガバナンスが効いているように見える。
しかし、仮にマネージャーがモデルの不確実性をまったく目にしていないとしたらどうか。承認によって、マネージャーが認識している以上に多くの下流工程が起動するとしたらどうか。エスカレーションプロセスが自動化されたワークフローよりも遅く動作するとしたらどうか。あるいは、そのプロセスを実際に止められる唯一の人々が、意思決定の正式な責任者から遠く離れたテクノロジーチームに属しているとしたらどうか。
問題は必ずしもガバナンスの欠如ではない。
それは、形式的なガバナンスと運用上の制御との間のギャップかもしれない。
これが重要なのは、AIが実験段階から、重大な意思決定を伴う反復的なワークフローへと移行しているからだ。経営幹部が問うべきは、もはや「当社にAIガバナンスはあるか」ではない。
より有用な問いはこうだ。「当社のガバナンスは、AIを活用した意思決定が組織内を進む際に起きることへ影響を及ぼせるのか」。
ガバナンスは意図を定義する。だが、制御を保証するものではない。
AIガバナンスは必要である。誤りは、その下にある運用システムが実行できない役割まで、ガバナンスだけに期待することにある。
米国立標準技術研究所（NIST）のAIリスクマネジメントフレームワークは、有益な示唆を与えてくれる。その中核は、AIリスク管理を「Govern（統治）」「Map（把握）」「Measure（測定）」「Manage（管理）」という4つの相互に関連する機能で構成している。ガバナンスは、より広範なリスク管理システム内で横断的に機能するものであり、運用上の実行の代替ではない。
これは、経営幹部が制御をどう考えるべきかを変える。
ガバナンスは、何が起きるべきかを定める。期待、境界、説明責任、リスク許容度を定義する。
運用上の制御が問うのは、意思決定が行われている局面で、それらの期待が実際に実行可能かどうかである。
例外をエスカレーションする要件は、ワークフローが例外を確実に検知し、適切な相手に振り分けられなければ、ほとんど価値がない。監査要件も、意思決定を再構成するために必要な証拠を記録していなければ弱い。人間による監督も、レビュー担当者に介入するための情報、時間、技術的能力がなければ、実務上の制御としてはほとんど機能しない可能性がある。
「当社にはガバナンスがある」という主張と、「運用条件下でこの意思決定を制御できる」という主張は別物である。
形式上の説明責任と実際の制御は乖離し得る
この問題はAI以前から存在していた。
フィリップ・アギオンとジャン・ティロールは、組織における権限に関する1997年の研究で、意思決定する権利である形式的権限と、意思決定に対する実効的な制御である実質的権限を区別した。彼らの理論研究はまた、情報が実質的権限の所在に影響し得る理由も示している（Chicago Press）。
AIを活用した意思決定の内部で何が起きているかを考えてみよう。
AIシステムはどの情報が可視化されるかを決定し、選択肢をランク付けするかもしれない。推奨を生成するかもしれない。マネージャーがそれを承認する権限を保持しているかもしれない。ワークフローがそれを実行するかもしれない。技術チームがシステムを停止できるかもしれない。別のグループが、その結果を将来の意思決定へのフィードバックとするかどうかを決めるかもしれない。
これは、AIが組織の経営幹部になったという意味ではない。形式上の説明責任が集中したままであっても、意思決定への影響力は分散し得るという意味である。
そこから、より精密な経営上の問いが生まれる。
単に「誰がその決定に対して形式上の責任を負っているのか」ではなく、「この意思決定の重要な各段階を制御しているのは誰か」という問いだ。
私は、意思決定を少なくとも7つの要素（枠組み設定、情報、推奨、承認、実行、介入、学習）に分解して検証することが有益だと考えている。
それぞれ異なる人物やテクノロジーが、各要素を形づくっている可能性がある。
ガバナンスは実行可能でなければならない
アムリット・ティワナとベン・コンシンスキーは223の組織を調査し、ITアーキテクチャとガバナンスが相補的に機能し得ることを見出した。彼らの研究は今日のエンタープライズAIシステムではなく組織のITに焦点を当てているため、AIガバナンスに関する直接的な証拠にまで拡大解釈すべきではない（Ideas）。
ただし、示唆は重要だ。ガバナンスとアーキテクチャは、単純な順序で自動的に別々のステップとして扱うべきではないのだ。
実務上の問題はわかりやすい。
AIポリシーに「高リスクの意思決定はエスカレーションせよ」と書かれているなら、何かが例外を検知し、適切な人に振り分け、その人に行動する能力を与えなければならない。
ポリシーに「人間が意思決定をレビューしなければならない」と書かれているなら、その人には利用可能な情報と、介入するのに十分な時間が必要である。
ポリシーに「意思決定は監査可能でなければならない」と書かれているなら、組織は何が起きたのか、どの情報が利用可能だったのか、誰または何が行動したのかを記録する必要がある。
ポリシーは、欠けている運用能力を補うことはできない。
つまり、AIガバナンスの失敗に見えるものが、実際にはデータ、ワークフロー、テクノロジー、オーナーシップ、または運用能力の失敗である可能性があるのだ。
「ヒューマン・イン・ザ・ループ」だけでは意思決定アーキテクチャを定義できない
もう1つ、よくある前提についても、より慎重に検討する必要がある。プロセスに人間を組み込むことが、自動的に最良の意思決定を生み出すわけではない。
ミシェル・ヴァッカロ、アブドラ・アルマトゥーク、トーマス・マローンは、106件の実験と370の効果量を対象とする事前登録済みの系統的レビューとメタ分析を実施した。平均すると、人間とAIの組み合わせは人間単独よりも優れていたが、単独で最も優れた人間またはAIシステムには劣っていた。結果はタスクによっても異なり、意思決定タスクではシナジーに平均的な損失が見られた一方、創造タスクではより強い利得が生じた（ARXIV）。
この知見を、重大な意思決定から人間を排除すべきだという主張として解釈すべきではない。
人間は、法的説明責任、価値判断、適正手続き、文脈、異議申し立て可能性、その他パフォーマンススコアには還元できない理由により必要とされる場合がある。
より重要な教訓は、「ヒューマン・イン・ザ・ループ」という言葉だけでは、あまりにも多くを語り損ねているということだ。
より良い問いはこうである。
その人間は具体的にどの機能を担っているのか。そして、その人は意思決定が効力を持つ前に、現実的にその機能を果たせるのか。
人は、文脈に基づく判断を提供し、例外に対応し、AIの推奨に異議を唱え、重大な結果を伴う行動を承認し、不服申し立ての仕組みを提供し、異常な振る舞いを監視し、インシデント時に介入するかもしれない。
それらの機能には、それぞれ異なる情報、スキル、タイミング、権限が求められる。
人間が存在することと、意味のある人間の制御があることは同じではない。
隠れた脆弱性は「引き継ぎ」にあるかもしれない
ここで、研究を読んだことが、私の問題の見方を変えた。
経営幹部は「箱」をガバナンスしがちである。
モデルにはオーナーがいる。プロセスにはオーナーがいる。人間の承認者には責任がある。テクノロジー・プラットフォームには制御機能がある。リスクチームには監督責任がある。
しかし、意思決定はそれらの箱の間を移動する。
簡略化した連鎖を考えてみよう。
AIによる推奨 → 人間によるレビュー → 自動化ワークフロー → 下流システム → 行動 → 結果
各構成要素は適切にガバナンスされているように見えても、引き継ぎの過程で重要な何かが弱まっていくことがある。
AIの不確実性が、人間のレビュー担当者に届いていないかもしれない。
人間の承認が、想定以上の自動化された活動を承認しているかもしれない。
あるシステムに適用された制約が、次のシステムには引き継がれていないかもしれない。
エスカレーションが、行動を元に戻すことが難しくなった後に届くかもしれない。
現場での修正が、システムを改善する責任者に戻らないかもしれない。
これらの例はいずれも、引き継ぎが組織的失敗の新しいカテゴリを構成することを証明するものではない。プロセス管理、ヒューマンファクター、組織設計、システム工学が、関連する多くの問題にすでに取り組んでいる。
しかし、これらを合わせて見ると、経営幹部にとって有用な診断視点が浮かび上がる。
私はこれを制御の連続性と考えている。すなわち、情報、権限、行動がAIを活用した意思決定システム内を移動する際に、意味のある制御が引き続き使える状態にあるかを検証する考え方である。
その考え方の一部として、移行の完全性がある。すなわち、重要な引き継ぎにおいて、文脈、不確実性、制約、介入能力、説明責任、追跡可能性、フィードバックが十分に残るかどうかである。
この意思決定が境界を越えるとき、制御に関わるどの情報、権限、または制約が消失し得るのか。
これは、個々の構成要素をガバナンスすることから、意思決定システム全体の挙動を検証することへと注意を移す。
制御を増やすことが、制御可能性を下げることもある
組織は統合を必要とする。共有プラットフォーム、データ、制御は、調整を改善し、ガバナンスをより一貫したものにできる。
しかし、接続は依存関係も生み出す。
複雑系の研究は長らく、単独では機能している構成要素同士の相互作用が、システムレベルの問題をどのように生じさせ得るかを検討してきた。高信頼性組織に関する研究は、重要な対照を提供する。複雑で危険を伴う技術を扱う一部の組織は、例外的な信頼性を達成している。
教訓は、複雑性が制御を不可能にするということではない。
制御可能性は、設計と運用条件に依存する。
経営幹部は、可観測性、可逆性、介入速度、依存関係、そしてシステムを密結合することの帰結を考慮すべきである。
私が検証したい実務原則の1つは、「能力向上のために統合し、制御可能性のためにモジュール化する」である。
別の制御を追加することが適切な場合もある。よりよい対応が、単純化、封じ込め、モジュール化、または自律性の低減である場合もある。
そして、重大な結果を伴う状況によっては、その意思決定をそもそも自動化しないことが、責任ある選択である場合もある。
ここでは規制も重要である。一部の人間によるレビュー、承認、説明責任の構造は義務であり、法的目的、正当性、適正手続きに資する。診断的思考は、それらの制御を改善すべきであり、それらを迂回する口実になってはならない。
「AIガバナンスの問題」に見えるが実は異なる6つのケース
これが、この研究の経営幹部向けの最も有用な応用だと私が信じるものにつながる。
AIの制御が弱く見えるとき、少なくとも6つの診断の可能性を検討すべきである。
- ガバナンスの失敗：期待、境界、リスク許容度、または説明責任が明確でない。
- 運用の失敗：必要なデータ、プロセス、テクノロジー、モニタリング、またはオーナーシップが欠けている。
- 意思決定設計の失敗：人間とAIの役割分担、情報、権限、または介入メカニズムの構成が不適切である。
- 移行の失敗：意思決定が人、AIシステム、ワークフロー、または組織単位の間を移動するにつれて制御が弱まる。
- システム構造の失敗：複雑性、結合、速度、または不可逆性により、意味のある介入が難しくなっている。
- 変革の失敗：AIによって本来再設計すべき意思決定プロセスであるにもかかわらず、組織がそのプロセスの周辺で制御の改善を進めている。
これらは相互に排他的なカテゴリーではない。1つの問題が同時に複数を含み得る。
また、これは6段階の成熟度モデルでもない。
これらは鑑別診断である。
対応する経営上の反応は、要約すれば、統治する、構築する、構成する、修復する、封じ込める、変革する、となるかもしれない。
重要なのは動詞ではない。介入を問題に適合させることだ。
運用の失敗に、必ずしも追加のポリシーが必要なわけではない。
設計の悪い人間とAIの関係に、必ずしも追加の承認が必要なわけではない。
密結合したシステムに、必ずしも追加の統合が必要なわけではない。
そして、時代遅れのワークフローに、同じワークフローをめぐるより良いガバナンスが必要なわけではない。
これにより、AI制御は資本配分の問題になる。
新たなAI制御を追加する前に、意思決定システムが意図どおりに振る舞うのを実際に妨げているメカニズムは何か。
企業には、もう1つのAIフレームワークは必要ないのかもしれない
組織は数十年にわたり、権限、委任、プロセス設計、人間と機械の相互作用、モジュール性、システム安全性、運用制御に取り組んできた。
アギオンとティロールはすでに、形式的権限と実質的権限という強力な区別を示している。情報システム研究者は、ガバナンスとアーキテクチャを検討してきた。組織設計の研究者は、人間とAIの間で意思決定業務を分割するさまざまな方法を研究している。システム工学とヒューマンファクターは、インターフェース、制御、失敗を長く検討してきた（Harvard）。
したがって、私は制御の連続性が組織行動の新法則だと主張するつもりはない。
その価値は、基礎的というより統合的なものかもしれない。
AIは、経営幹部が注目すべき組み合わせで、なじみのある組織上の問題を一堂に集めている。アルゴリズムによる推奨、大量の意思決定、自動化された実行、人間の説明責任、分散した技術的オーナーシップ、そしてますます接続されたシステムである。
したがって、有用な貢献は用語の別の階層ではない。
リーダーが資源を配分する前の、より良い診断である。
ガバナンス層を追加する前に、1つの意思決定を検証せよ
経営幹部は、会社を再編せずにこの考え方を試すことができる。
AIの影響を受ける、反復的で重大な意思決定を1つ選ぶ。低リスクの生産性ツールや全社的な変革から始めるのは避ける。追跡できる程度に絞られていながら、無視できない重要性を持つものを選ぶとよい。
そして、以下のプロセスを最初から最後まで追跡する。
枠組み設定 → 情報提供 → 推奨 → 承認 → 実行 → 介入 → 学習
重要な移行ごとに、誰が形式上その意思決定を所有しているのか、誰が実際に関連情報を握っているのか、AIが何に影響しているのか、人間は何を変えられるのか、何が自動的に起きるのか、介入可能な時間はどれほど残されているのか、どの証拠が記録されるのか、結果のフィードバックはどこへ行くのかを特定する。
そのうえで、文書化されたプロセスと、複数の意思決定サイクルを通じて実際に起きていることを比較する。
特に4つの点に注目する。権限における予期せぬ差異、欠落した情報、介入の遅れ、そして必要とする人々やシステムに届かないフィードバックである。
文書化されたガバナンスと実際の運用がよく一致しているなら、その特定の意思決定にガバナンスと制御のギャップがあるという見方は弱まる。
乖離しているなら、すぐに承認を1つ追加したい誘惑に抵抗すべきである。
まず、その差を診断するのだ。
安全、法務、規制上の差し迫ったリスクがある場合は、実験よりも封じ込めまたは義務的なコンプライアンスを優先すべきである。
この取り組みの目的は、フレームワークを証明することではない。形式上の説明責任と運用上の実行力がどこで分かれるのか、そしてその違いが実際に重要なのかを発見することである。
それにより経営幹部は、次のテクノロジー投資、運用能力、リーダーシップの注意をどこに向けるべきかを判断するための、より良い証拠を得られる。
正しい答えが、より良い制御ではないこともある
最後に、もう1つの可能性がある。
組織が、誤った意思決定システムをガバナンスしてしまっている可能性である。
アジェイ・アグラワル、ジョシュア・ガンズ、アヴィ・ゴールドファーブは、著書『Power and Prediction: The Disruptive Economics of Artificial Intelligence』の中で、機械による予測が安価になることで補完的な活動が変化し、最終的には意思決定システムが変わり得ることを検討している。
これは、ガバナンスを超えた戦略的な問いを提起する。
組織は、もはや意味をなさないプロセスを温存したまま、古いワークフローをより安全に、より監査可能に、より説明責任のあるものにできてしまう。
再考すべき承認を改善することもできる。消失し得る引き継ぎを最適化することもできる。より良い介入が上流にあるにもかかわらず、下流に人間によるレビューを追加することもできる。あるいは、より大きな意思決定システムを手つかずのまま、1つのタスクだけを自動化することもできる。
したがって、経営幹部には2つの問いが必要である。
我々はこの意思決定を適切に制御しているのか。
そして、こうである。
この意思決定システムは、なおこの形で存在すべきなのか。
AIガバナンスは依然として不可欠である。だが、ガバナンスの成熟度を、運用上の制御が機能している証拠と混同してはならない。
企業は、組織図上のすべての箱の所有者を把握していても、それらをつなぐ矢印の中で意味のある制御を失うことがある。
重大な結果を伴うAIを活用した意思決定を、最初の入力から最終的な帰結までたどってみるべきである。
真剣に考えるべき問いはこうだ。形式上の説明責任は、次に何が起きるかに影響を及ぼす実務上の能力と、どこで一致しなくなるのか。
