あるウェルスマネジメント会社で、コンプライアンス責任者が、AI支援型のマネーロンダリング対策（AML）監視システムのログを見せてくれた。同社のシステムは、顧客のオンボーディング時や継続的なレビューの際に、通常とは異なる取引パターンにフラグを立てる。リレーションシップマネジャーは、文書化した正当な理由を添えればそれを上書きでき、その記録は四半期ごとのコンプライアンスレビュー用にログに残る。
そのコンプライアンス責任者は、1年分の記録を取り出した。記録されていた上書きは47件。しかし、そのうちレビューされたものは1件もなかった。リレーションシップマネジャーたちは、どのアラートなら無視しても安全かを学習していたのだ。システムはフラグを生成し、コンプライアンス体制は誰かが見ていることを前提としていたが、実際には誰も見ていなかった。
そのパターンは1年以上続いていた。取締役会は2年前にAMLシステムを承認し、最初の6カ月間、コンプライアンス責任者は四半期レビューで問題のない報告を行っていた。しかし、取締役会は質問をしなくなった。その一方で、リレーションシップマネジャーたちは、どの上書きが業務を遅らせ、どの上書きならコンプライアンス部門が決して確認しないかを学んでいた。取締役会は監視をやめていたが、そもそもレビューの仕組みは一度も機能していなかった。
私は4月の記事で、AIシステムが、誰も十分に注意深く見ていない判断を下し続ける一方で、導入後に取締役会の監督が薄れていく状況を論じた。5月には、監督を空洞化させる3つの構造的失敗を挙げた。権限を伴わない説明責任、従属を促す評価指標、そしてどこにもつながらないエスカレーション経路である。これらの失敗は、予測可能な行動パターンを生む。レビュー担当者は、システムに異議を唱える権限がなければシステムに従う。介入が評価指標上の不利益になるなら、疑問を呈するのではなく追認する。エスカレーションしても何も起きなければ、懸念を提起するのをやめる。
以下に示す対策は、こうした行動を生む構造に対処するうえで、私が有効だと考えてきた方法である。
権限が機能しなくなる場所
よくあるシナリオはこうだ。人間のレビュー担当者がAIの出力を確認する役割を与えられ、肩書きを付与され、組織図上では統制機能として位置づけられる。しかし、モデルの推論プロセスへのアクセスも、上書きする明確な権限も、実行した場合の組織的な後ろ盾も与えられていない。
監督の役割は存在する。だが、権限は存在しない。
自社で、信用、採用、コンプライアンス、引受審査、患者ケアなど、重大な判断を下しているAIシステムごとに、次の3つの問いを投げかけることが重要である。
1. レビュー担当者は、その出力がどのように生成されたかを、意味のある評価ができる程度に理解しているか。
2. 単にフラグを立てるだけでなく、上書きする明確な権限を持っているか。
3. 上書きした場合、その判断は記録され、以後のシステム監視に反映されるか。
いずれかの答えがノーであれば、その監督役割はチェックボックスを埋めているにすぎない。これを是正するには、役割を再設計する必要がある。非技術系のレビュー担当者でも、出力に異議を唱えるべきタイミングを見極められるだけの解釈可能性ツールやモデル文書を提供する。明示的な上書き権限を、基準となる閾値を明記したうえで書面化する。レビュー担当者の人事評価には、処理件数だけでなく、上書き判断が反映されるようにする。
EU AI法第14条は、これを法的基準として成文化している。人間による監督は、単に割り当てられるだけではなく、構造的に機能可能でなければならない。2026年5月に成立した暫定合意により、一部の高リスクシステムについて第14条の期限は2027年12月まで延長されたが、注意すべきは、行動面のインフラ構築には、多くの組織が実際に活用する時間よりも長い時間を要することが多いという点である。
評価指標が監督に逆行するとき
レビュー担当者のパフォーマンスを処理量と所要時間で追跡すると、その指標が報いる行動が生まれやすい。すなわち、迅速な追認、最小限の介入、独立した判断の消失である。個人に非はない。仕組みが設計通りに機能しているだけである。
私の経験では、掲げられた目的と測定される行動が乖離した場合、人は測定されるものに従う。頻繁に介入するレビュー担当者が、重要視される指標上は処理の遅いレビュー担当者になるなら、その組織は、依拠すると称する判断力を排除するシステムを構築していることになる。
これを是正するには、測定方法を変えることだ。上書き率、その異議申し立ての正確性、人間の介入がある場合とない場合の意思決定の下流での質を追跡する。上書き率が高いこと自体が問題ではない。レビュー担当者、チーム、期間をまたいで比較すれば、AIシステムが意図通りに機能しているかどうかを示す材料になる。このデータを取得していないのであれば、それ自体がガバナンス上の判断である。適切なデータがなければ、監督は名ばかりの監督にすぎない。
行き止まりのエスカレーション
エスカレーション経路は、どの組織にも存在する。だが、いったん懸念がエスカレーションされた後、それが名指しされた意思決定者に届き、実質的な回答を受け、解決まで追跡されることを保証する仕組みは、ほとんど存在しない。
私の経験では、その仕組みを構築するには4つの要素が必要である。
1. 指名された受け手： キューや部署ではなく、特定の個人が、定められた期限内に回答する責任を負うべきである。
2. 実質的な回答： これは受領確認ではなく、どのような措置が取られたか、または取られなかったかを文書化するものである。
3. クローズドループの記録： これは、通常のAIガバナンス報告の一部として取締役会が確認できるようにすべきである。
4. エスカレーションした人の保護： 懸念を表面化させることに職業上のリスクが伴う場合、人はそれをためらう。フラグを立てることがコンプライアンス責任者のキャリアを犠牲にするなら、そのフラグはおそらく上がらなくなる。
次の直接的な演習で、自社のエスカレーション基盤を検証してみるとよい。組織が何らかのチャネルを通じて受け取った直近5件のAI関連の懸念を特定する。それぞれについて、あなた、または取締役会の誰かは、誰が受け取り、どのような回答がなされ、どのように解決されたかを言えるだろうか。言えないのであれば、そのエスカレーション経路は虚構である。
機能する監督とは何か
47件のAML上書きにフラグを立てたコンプライアンス責任者は、いまもその職にある。上書きは、いまもレビューされていない。彼女の組織は、人間による監督が整っていると考えている。だが実際にあるのは、何かを変えるようには最初から作られていなかったループである。
機能するループを築くには、関与し続ける取締役会と、介入できる監督構造が必要だと私は考えている。これら3つの対策がすべて整えば、監督は単なる手続きから実効性のあるものへと移行できる。レビュー担当者はシステムを上書きでき、組織は彼らが見つけたものから学ぶことができる。介入率は、レビュー担当者の処理速度ではなく、モデル性能を示すシグナルになり得る。懸念は、ドリフトが標準になる前に、行動する権限を持つ人々へ届く。
ループは、ログエントリーではなく、意思決定によって閉じる。
