AIの最も危険な性質の一つは、リーダーたちがAIに惹かれる理由の一つでもある。それは、AIが極めて自信に満ちているように聞こえることだ。
AIは問題を要約し、道筋を推奨し、ワークフローを起動し、その推論を説明することができる。それも、自分が何をしているかを正確に把握している人物のような、冷静で自信に満ちた口調で行う。しかし、当然ながら、自信があることと正確であることは別物だ。AIが不完全または古いビジネスの現状に基づいて行動している場合、その自信はかえって足かせになりかねない。
多くのリーダーは、AIが自社のために何ができるかを評価しているが、むしろAIが行動を決定する際に「何を参照しているか」に目を向けるべきだ。AIエージェントは現実に基づいて行動するのではない。組織が「現実をどのように表現しているか」に基づいて行動する。そして、その表現は通常、経営陣が認めたいと思っている以上に煩雑で混乱しているものだ。
見過ごされているリスク、「断片化された真実」
ITやオペレーションのチームと長年仕事をしてきて、私は同じパターンが繰り返されるのを目にしてきた。真実がどこか一箇所で明らかに間違っているのではなく、あらゆる場所で少しずつ間違っているのだ。組織改編後にサービスの責任者が変わったが、一部のシステムしかそれを認識していない。ある従業員が別のチームに異動したが、アクセス権管理ツールはまだ以前の役割を認識している。資産インベントリ上はノートPCが稼働中となっているが、IT部門の誰かはそれが数か月前に交換されたことを知っている。財務部門は顧客の利用権限についてある記録を信頼し、サポート部門は別の記録を基準にしており、両チームともその不一致に目をつぶることに慣れてしまっている。
長い間、企業がこの問題を乗り切ってこられたのは、人が欠けた文脈を担ってきたからだ。どのシステムを信頼すべきかを知っている人がいる。スプレッドシートが古いことを覚えている人がいる。実際にその判断を所有しているマネジャーを知っている人がいる。効率的ではないが、混乱した業務の周囲に人間による判断の層をつくっている。
問題は、AIがその人間の判断力を自動的に引き継ぐわけではないということだ。エージェントがリクエストの解決、例外の承認、あるいはリスクのルーティングを求められた場合、組織から提供されたデータとルールに基づいて行動する。もしそれらのインプットが間違っていたとしても、エージェントは立ち止まらないかもしれない。その情報が疑わしいかどうかを尋ねることもないかもしれない。公式のプロセスと実際のプロセスが乖離していることにも気づかないかもしれない。単にその業務を実行してしまうのだ。
だからこそ、断片化された真実は、企業向けAIにおいて最も過小評価されているリスクの一つなのだ。
エージェントAIがもたらすリスクの高まり
これこそが、きわめて実務的な意味でAIを危険なものにする部分だ。システムは、注目を集めるような形で失敗したり、「文脈が不足している」と旗を振って知らせたりはしないかもしれない。データが古いこと、責任者が前四半期に変更されたこと、あるいはワークフローがチームの実際の働き方を反映していないことに気づかないかもしれない。ただ、リクエストをそのまま先へ進めてしまう可能性がある。
AIが単にコパイロット（副操縦士）として機能しているだけであれば、それでも問題はない。人間が要約を確認し、提案を無視し、下書きを修正すればよいからだ。しかし、AIに記録の変更、アクセス権の付与、エスカレーションのトリガー、あるいは業務の優先順位付けなどを許可するとなれば、要求される基準は高くならざるを得ない。その段階になると、単に興味深いツールを試しているのではなく、ソフトウェアが社内で能動的に行動することを認めることになるからだ。
このギャップはすでに市場に現れている。ガートナー（Gartner）は、コストの上昇、ビジネス価値の不透明さ、そしてリスク管理体制の不十分さを理由に、エージェントAIプロジェクトの40％以上が2028年より前に中止されると予測している。つまり、ボトルネックは知能そのものだけでなく、運用化（オペレーショナル化）にもあるのだ。
したがって、これは運用上の問いになる。しかも、その問いは厄介だ。
リーダーが把握すべき「権限の所在」
どのシステムが個人の役割を定義しているのか。どの記録がサービスの責任者を決定しているのか。そして、ある資産が今もアクティブであるかどうかを最終的に判断する「信頼できる唯一の情報源（Source of Truth）」はどこなのか。その情報を変更する権限は誰にあるのか。2つのシステムで矛盾が生じた場合はどうなるのか。そして、同様に重要なこととして、次の組織改編やシステムの移行、プロセスの変更を経た半年後、その情報を最新の状態に維持する責任は誰にあるのだろうか。
これらはいずれも、新しいAIインターフェースを立ち上げるほど刺激的ではない。しかし、そのインターフェースが信頼に値するかどうかを決めるのは、まさにこれらである。
これに対して、「すべてを一箇所に集約しよう」と言いたくなる気持ちはわかる。その直感は理解できる。単一のプラットフォームはすっきりと整理されており、管理しやすく見える。しかし、それではほとんどの企業が実際にどのように運営されているかという現実を無視することになる。
現実には、各チームが異なるシステムを使用しているのは、こなすべき業務が根本的に異なるからだ。人事、財務、IT、セキュリティ、運用、カスタマーサポートにはそれぞれ独自のツールがあり、その多くには存在するもっともな理由がある。目標とすべきは、業務の複雑さのせいで、AIが当て推量に頼るような事態を防ぐことだ。
そのためには、権限について明確な合意が必要である。サービス責任者が変わった場合、その変更は最初にどこに記録されるのか。ある資産が稼働中かどうかについて2つのシステムが食い違った場合、AIはどちらを信頼すべきなのか。アクセス権が誰かの役割に依存するなら、その役割を定義する情報源はどれなのか。これらは、AIが現実に基づいて行動するのか、それとも都合のよい近似値に基づいて行動するのかを決めるルールである。
信頼できるAIは、モデル選定、プロンプト設計、より優れたユーザーインターフェースだけで構築されるものではない。事業が何を知っているのか、その知識を誰が所有しているのか、それがどれほど速く変化するのかを把握するという、地味な規律によって構築される。
リーダーが求めるべき「監査可能性」
AIが行動を取る、または行動を推奨する場合、組織はその判断を追跡できなければならない。どの情報を使ったのか。それはどれほど最新だったのか。どのポリシーが適用されたのか。どの信頼度の閾値が求められたのか。人間による承認ステップはあったのか。その行動は取り消せるのか。
答えが不明確なら、その組織はAIにさらなる自律性を与える準備ができていない。
教訓
最終的に、AIで最も速く前進する企業は、土壌を整えた企業だ。データ所有権を整理し、システムを慎重につなぎ、ポリシーを機械が実行できる形にし、AI主導の行動を事後に実際に説明できるだけの構造的透明性を構築する企業である。
AIが有用なアシスタントから自律的な行為主体へと急速に進化するなか、あらゆる組織はそれを管理するだけでも、ガバナンスが効き、分散連携され、監査可能な公式記録システムを必要とすることになる。そうでなければ、AIは自信満々の推測を大規模に行っているにすぎない。
