ティファニー・A・アーチャー氏、Eunomia Risk Advisory創業者。テクノロジストから弁護士へ転身 | AIガバナンス、リスク、企業文化 | フォーダム・ロースクール及びニューヨーク大学教員。
最近の記事で、私は「静かなドリフト」について書いた。これは、AIシステムの導入後に取締役会による監視が薄れていく一方で、モデルは学習を続け、適応し、誰も十分に注意深く監視していない中で判断を下し続けるという現象だ。最も多く寄せられた反応は、同じ趣旨の安心材料だった。「我々には人間がループに入っている」というものだ。
この反応は、通常受けているよりも厳しい精査に値する。なぜなら実際には、人間によるレビューの存在と、意味のある人間による監視の存在は同じものではないからだ。そして取締役会は、この2つを混同した保証に基づいてシステムを承認することが常態化している。
私は、高度に規制された業界全体でAIガバナンスを導入する組織と協働している。私が目にするパターンは一貫している。人間のレビュアーがAIの出力をチェックする役割を割り当てられる。その役割は統制として位置づけられるが、レビュアーは処理時間と処理量で評価される。モデルがどのようにその結論に至ったかについての可視性は限定的だ。そして、自分が測定される業務フローを遅らせることなくシステムを覆す実質的な権限を持っていない。
人間はループに入っている。しかし、そのループは何も変えるようには設計されていない。
監視が静かになる場所
私がレビューしたある保険引受業務では、人間による監視の役割が1年以上前から設置されていた。レビュアーには肩書きがあり、定義された範囲があり、プロセスにおける席があった。彼らが持っていなかったのは、モデルのロジックへのアクセス、懸念を段階的にエスカレーションする構造化された方法、そして介入するインセンティブだった。レビュアーがモデルの出力に同意しなかった場合に何が起こるかを尋ねたとき、答えは示唆的だった。14カ月間で2回発生し、両方ともレビュアーの異議はシステムの実績を信頼するマネージャーによって覆された。懸念を指摘することは遅延を意味し、それはバックログを意味した。そのためレビュアーは出力を確認して先に進んだ。
パラスラマンとライリーは、このパターンを数十年前に特定した。自動化システムが信頼できるように見えるとき、人々はそれに従う。現在の違いは、AIシステムが補償適格性、採用、コンプライアンス、患者ケアに関する決定を下しているということだ。これらは、覆しの見逃しが誰かの治療を拒否したり、適格な候補者を却下したり、コンプライアンスに準拠した取引を詐欺としてフラグ付けしたりする可能性がある領域だ。
規制当局がすでに問いかけていること
規制当局は、取締役会が問いかけていない同じ質問を始めている。2025年、欧州中央銀行（ECB）の銀行監督部門は、13の監督対象銀行とワークショップを実施し、信用スコアリングと詐欺検出におけるAI使用を具体的に検証した。これには、人間のレビュアーが介入する意味のある権限を持っているのか、それとも単にプロセスにおける席を持っているだけなのかが含まれた。調査結果は示唆的だった。決定のリスクが高いほど、人間による検証の関与が期待されていた。審査官が発見したのは、期待と運用上の現実が頻繁に乖離しているということだった。
2026年8月から完全適用されるEU AI法は、さらに踏み込んでいる。自動引受、信用スコアリング、採用決定を含む高リスクAIシステムについて、第14条は、導入者が人間による監視が単に割り当てられるだけでなく、構造的に機能できることを保証することを要求している。レビュアーは出力を理解し、失敗を特定し、介入できなければならない。モデルのロジックへのアクセスを欠いているレビュアー、またはパフォーマンス指標が介入にペナルティを課すレビュアーは、組織図が何と言おうと、その基準を満たさない。大西洋の反対側では、米国立標準技術研究所（NIST）のAIリスク管理フレームワークが同じ期待を設定し、AIライフサイクルのすべての段階に人間による監視を組み込んでいる。
現在の監視役割がその基準を満たしているかどうかを検証した組織はほとんどない。検証した組織は、それが説明されていた方法で機能するように構築されていなかったことを発見している。人間がループに入るという要件は、コンプライアンス要件がしばしばそうであるように運用化される。役割が作成され、プロセスが文書化され、それが機能するかどうかという質問は決してされない。
取締役会が問うべきこと
覆しの履歴から始めよう。レビュアーが最後にAIの出力を覆したのはいつで、そのときに何が起こったか。答えが「一度もない」、または「誰も知らない」であれば、その役割は手続き的なものだ。覆しが発生し、システムの実績を信頼するマネージャーによって覆された場合、その構造は、含めるために構築された判断を積極的に阻害している。これは権限のない説明責任だ。レビュアーは出力に責任を負うが、それに異議を唱える制度的な支援を持っていない。
指標も同様の物語を語っている。ほとんどの組織におけるレビュアーのパフォーマンスは、処理量と処理時間で追跡され、レビュアーがモデルが見逃したものを捉えたかどうかでは追跡されない。速度と処理量で測定されるパフォーマンスは、頻繁に介入するレビュアーは単により遅いレビュアーであることを意味する。システムは服従に報酬を与え、監視が保護するために設計された判断にペナルティを課す。
エスカレーションは3番目の圧力点だ。レビュアーが今日懸念を指摘した場合、それが意思決定者に到達するまでの経路を誰かが追跡できるか。ほとんどの場合、正直な答えはノーだ。懸念はログに入り、おそらくチケットに入り、そこに留まる。指名された受信者も、必要な応答時間もない。経営陣がこれらに明確に答えられない場合、問題はプロセスよりも深く根ざしている。
静かなドリフトは、取締役会が導入後に監視をやめたときに起こることだ。存在しなかったループは、システムが最初から何も捉えることができなかったときに起こることだ。
人間による監視に対する規制上の期待がより正確になるにつれて、最も有利な立場にある組織は、監視構造が実際に結果を変えることができるかどうか、単に文書化するだけでなく、すでに問いかけている組織だ。人間がループに入ることを手続き的なステップとして扱う組織は、それが決して機能していなかったことを発見するだろう。
