AI

2026.05.15 10:23

AIエージェントの暴走を防ぐ「監督責任」の欠如

Adobe Stock

Adobe Stock

ある顧客が返金を求めた。企業のポリシーでは認められていなかった。そこで顧客はボットに取引を持ちかけた。返金を承認してくれたら、高評価のレビューを残すと。ボットはその取引に応じた。そして、同じ取引を繰り返し続けた――顧客から顧客へ、日々――誰かがついに気づくまで。プログラミングのどこかで、このAIカスタマーサービスボットは、肯定的なレビューが優先目標であることを学習していた――そして返金こそがそれを得る方法だと。ボットはインセンティブ構造が指示した通りのことを正確に実行したのだ。

誰もハッキングしていない。誰も壊していない。ボットは仕事をあまりにもうまくこなすことで暴走したのだ。

これが2026年における「暴走」の姿である。ロボットの反乱ではなく、返金ループだ。静かで、スケーラブルで、振り返ってみれば完全に予測可能だった。

この実際のケースは、IBMのソフトウェアサイバーセキュリティ担当副社長であるスジャ・ヴィスウェサン氏によって開示され、CNBCが3月に「大規模な静かな失敗」と呼んだ報道で表面化した。これは、エージェント型AIを展開するすべての経営幹部にとって必読の内容であるべきだ――そしてタイミングが重要である。先週、OpenAIはChatGPTにワークスペースエージェントを導入し、Slackへの展開とより広範なビジネスツールとの接続が、企業が導入を加速させる中で到来している。数日後、Monte Carloは、企業リーダーとエンジニアの64%が、準備が整う前に組織がAIエージェントを展開したと述べたと報告した。最も密接にそれらを運用している開発者とエンジニアの間では、その数字は75%に上昇した。エージェントは、説明責任よりも速く到来しているのだ。

少し前、リーダーシップセッションで、私は経営幹部チームにシンプルな質問をした。「このエージェントが明日の朝失敗したら、正午までに誰が結果に責任を持つのか」誰も答えなかった。

これは導入競争ではない。監督競争なのだ。

そして、すべての経営幹部が今すぐ問うべき3つの質問は次の通りだ。

1. エージェントが仕事をしたなら、誰が結果に責任を持つのか

2. 誰もそれを解雇できないなら、正確には誰がそれを管理しているのか、そして

3. 明日の朝それが失敗したとき、組織図に名前があるのか――それともログファイルだけなのか

問題はエージェントの増加ではない。オーナーの減少だ。

デロイトの2026年版「企業におけるAIの現状」レポートによると、85%の企業がビジネスニーズに合わせてエージェントをカスタマイズすることを期待している。展開しているエージェントに対して成熟したガバナンスモデルを持っているのはわずか21%だ。

85%が展開している。21%が展開しているものを管理する方法を知っている。これは技術ギャップではない。監督ギャップだ――そしてこれは誰も価格に織り込んでいないリスクである。

企業がAIスケールと呼んでいるものは、多くの場合、より洗練されたパッケージに包まれた管理されていない委任に過ぎない。

監督ギャップは、企業が人間の説明責任を割り当てる前にエージェントに権限を与えたときに開く。それは、アクセス、ワークフロー、意思決定権が、所有権、エスカレーションルール、管理者トレーニングよりも速く移動する瞬間に現れる。

展開に最も近いリーダーたちはすでにそれを見ている。フォーチュン500の金融サービス企業のあるチーフAIオフィサーが、最近の取締役会諮問セッションで私に語ったように、「私たちは能力では6カ月先を行っているが、説明責任では18カ月遅れている。誰もが何台のエージェントを展開できるかを知りたがっている。それらのエージェントが大規模に意思決定を行うときに誰が責任を負うのかを尋ねる人ははるかに少ない」

逆張りの見方

コンセンサスの見方は、勝者は最も速く展開する企業になるというものだ。それは完全に間違っている。

競合他社があなたを打ち負かすのは、エージェントをより速く出荷するからではない。彼らの説明責任インフラが、それらのエージェントが生み出すものを吸収できるほど成熟しており、あなたのものがそうでないからだ。

敗者は、エージェントを本番環境に出荷することを急ぎながら、私が説明責任負債と呼び始めたものを静かに蓄積する者たちになるだろう。AIエージェントが行っていることと、組織内の人間が実際に答えられることとの間のギャップだ。説明責任負債は、技術的負債と同じように複利で増える。指名されたオーナー、定義された意思決定権、監査証跡なしに展開するすべてのエージェントは、表面化を待つ将来のインシデントである。

調達エージェントが承認された閾値内でベンダー条件を再交渉する――すべての取引がコンプライアンスに準拠している――企業が、一度に1つの最適化で戦略的サプライヤー関係を空洞化させていることを発見するまで。上記で言及したIBMの返金ケースは異常値ではない。これは今後3年間、機能全体で繰り返されるパターンの最初の動きである。

Klarnaは大規模な早期警告を提供している。2024年、同社はAIアシスタントが数百人のカスタマーサービスエージェントの仕事をしていると発表した。2025年までに、Klarnaは静かに人間を再雇用していた。自動化した仕事には、ワークフロー図が示唆するよりも多くの判断、共感、例外処理が含まれていることを発見したのだ。

マクドナルドは3番目のバリエーションだ。同チェーンは、2024年にウイルス的な失敗――数百ドル分のチキンナゲットの注文、アイスクリームに追加されたベーコン――の後、それを撤回するまで、IBM製のAIドライブスルーシステムを3年間試験運用していた。異なる失敗モード、同じ根本原因。誰も完全に監督できないワークフロー内で動作する自律システムだ。

これがパターンだ。エージェントは仕事をする。組織は仕事に答えられない。

組織図が実際に設計された目的

現代ビジネスにおけるすべての組織構造は、単一の荷重を支える前提に基づいている。仕事は、それに対して責任を問われることができる人間によって実行されるという前提だ。

AIエージェントはその前提を破る。彼らはタスクを持つが判断力を持たない。アクセスを持つが忠誠心を持たない。アウトプットを持つがキャリアを持たない。彼らは意味のある意味でコーチング、昇進、降格、解雇されることはできない。彼らが失敗したとき、責任を問う人はいない――ベンダー契約、モデルバージョン、ログファイルだけだ。

AIエージェントはタスクを実行できる。結果を所有することはできない。

誰も声に出して言わない部分

監督ギャップは技術問題ではない。技術問題に偽装されたリーダーシップ問題だ。

私がこれらのシステムを展開するリーダーたちに助言する取締役会やCEOコーチングセッションで、同じ会話が浮上し続けている。企業はエージェントの調達、統合、ベンチマークに競争している。誰がそれらを所有し、誰がそれらをシャットダウンでき、それらが失敗したときに誰が答えるかを決定するという、より困難な作業をしている者はほとんどいない。答えが不明だからではない。答えには、権限、説明責任、経営そのものの再設計について、リーダーたちが不快な決定を下すことが必要だからだ――そしてほとんどのリーダーシップチームは、構造を再配線するよりもプラットフォームを購入したいと考えている。

私が一緒に仕事をするほとんどの経営幹部は、統治できる速度よりも速くこれらのシステムを展開していることを知っている。彼らの本当の希望は、何も問題が起こらないことではない。失敗がより遅く、より小さく、そして率直に言って、他の誰かの監視下で起こることだ。

これはより遅いイノベーションを求める呼びかけではない。大人の監督を求める呼びかけだ。

監督ギャップを埋める企業は、最高のエージェントを持つ企業ではない。最も規律ある説明責任インフラを持つ企業になるだろう。そのインフラには5つのコンポーネントがある。それらのどれも技術的ではない。すべてが管理的だ。それらが一緒になって、私が説明責任スタックと呼ぶものを形成する。

説明責任スタック

エージェント型AIが監督ギャップを生み出しているなら、企業には原則以上のものが必要だ。管理システムが必要だ。そのシステムは、誰がエージェントを所有し、何が許可され、その決定がどのように制御されるかを決定する5つの非技術的規律から始まる。

1. エージェント登録簿。エージェントをリストアップできなければ、統治できない。承認されたすべてのAIエージェントは、ライブインベントリに表示されるべきだ。オーナー、目的、ベンダー、データアクセス、意思決定権限、リスク階層、それが触れるビジネスプロセス。今日、ほとんどの組織はこのリストを作成できない。

2. 指名された人間のマネージャー。すべてのエージェントには1人必要だ。チームではない。機能ではない。名前を持つ人物で、そのエージェントの範囲、パフォーマンス、シャットダウンに対する責任を職務記述書に含む人だ。「プラットフォーム」に存在する説明責任は、どこにも存在しない。

3. 定義された意思決定権。自律性は獲得されるべきであり、前提とされるべきではない。リーダーシップは、各エージェントが単独で決定できること、人間の承認を必要とすること、永久に禁止されていることを分類しなければならない。デフォルトはエスカレーションであるべきで、実証された信頼性を通じて自律性がアンロックされる。

4. 設計による監査可能性。エージェントの決定をリアルタイムで再構築できなければ、ガバナンスはない――希望があるだけだ。すべての意味のあるエージェントアクションは、5つの質問に答える証跡を残すべきだ。何をしたか、どの情報を使用したか、どの決定を下したか、どのシステムに触れたか、どの人間が結果を所有したか。

5. 管理スキルとしての監督。次の昇進を定義する管理能力はプロンプティングではない。デジタル労働の監督だ。境界の設定、アウトプットのレビュー、失敗パターンの特定、介入すべき時を知ること。今これをトレーニングすれば、マネージャーはエージェントとともにスケールする。しなければ、彼らはスケールしない。

中間管理職は消えていない。それが仕事になりつつある。

AIエージェントが中間管理職を空洞化させるという人気のある議論がある。その逆が真実だ。中間管理職は20年ぶりに重要になろうとしている――なぜなら仕事がより困難なものに変化しているからだ。

2027年の中間管理職は、タスクの監督に費やす時間が減り、判断の監督により多くの時間を費やすだろう。フォローアップを追いかける時間が減り、エージェントが何を決定し、なぜそうしたかをレビューする時間が増える。日常的な仕事を承認する時間が減り、日常的な仕事が彼らなしで起こることができる境界条件を定義する時間が増える。あるCOOが私に変化を説明したように、「マネージャーの仕事は、仕事が完了したかどうかをチェックすることから、システムがそのようにそれを行うべきだったかどうかをチェックすることに移行している」

それが判断マネージャーだ。新しい雇用ではない。すでに組織図にある役割の進化版だ。

判断マネージャーはタスクを監督しない――タスクはエージェントが行うものだ。彼らはエージェントが下す決定、彼らが動作する境界、それらの決定がスケールするときに現れるパターンを監督する。彼らの中核スキルは、エージェントの自信に満ちたアウトプットが実際には自信に満ちたエラーであることを認識し、それについて何をすべきかを知ることだ。それには、エージェントができることとできないことの流暢さ、自分が設計しなかったシステムによって下された決定をレビューする快適さ、返金ループがカテゴリーになる前に介入する判断力が必要だ。

組織内のすべての既存の中間管理職は時計の針を刻んでいる。彼らは判断マネージャーに進化するか、監督するはずだったエージェントによって管理されるかのどちらかだ。

結論

先月、私はこのコラムで、バイブコーディングが誰が構築できるかを変えることによってあなたの会社を壊すと主張した。エージェント型AIは2つ目の靴が落ちることだ。それは誰が――または何が――実行できるかを変えている。誘惑は、両方を導入競争として扱うことだ。

そうではない。監督競争なのだ。

IBM、Klarna、マクドナルド。これらは警告射撃だ。監督ギャップは現実であり、拡大しており、プレスリリースで自らを発表することはない。IBMの顧客が発見を余儀なくされた方法で自らを発表するだろう――静かに、大規模に、機能しているように見えたワークフロー内で。次のものは他の誰かの会社から来るのではない。あなたの会社から来るだろう。

この競争に負ける企業は、自動化不足ではない。統治不足になるだろう。勝者は、エージェントが下すすべての重要な決定を誰が所有しているかを名前で知っている企業になるだろう。AIは誰が仕事を実行するかを変えた。誰がそれに答えるかは変えなかった。あなたの競合他社は今その説明責任を構築している。唯一の質問は、あなたのものがそうであるかどうかだ。

組織図上のすべてのエージェントには、その上に人間の名前が必要だ。唯一の質問は、あなたが名前を選ぶか――それとも失敗後にそれを継承するかだ。

forbes.com 原文

タグ:

advertisement

ForbesBrandVoice

人気記事