AI

2026.05.21 10:01

見えない脅威:AIエージェントのドリフトが企業に突きつける統治の課題

AIエージェントはソフトウェアのようにクラッシュしない。彷徨うのだ。

advertisement

この違いが、エンタープライズAIの最も困難な問題の中心に位置している。企業はこの2年間、AIが推論し、計画し、実行できるかどうかをテストしてきた。より困難な問いが到来した。AIがこれら3つすべてをわずかに間違って、1日に何千回も、人間が監視していないシステム全体で実行したら、何が起こるのか?

ハルシネーション(幻覚)が注目を集める。ドリフト(漂流)こそが問題なのだ。

Wayfound CEOで、AWSとSalesforceの元プロダクトリーダーであるタチアナ・マムット博士は、ほとんどの企業がこれを誤って管理していると主張する。古いモデルはエージェントをソフトウェアとして扱う。現実はデジタル労働力に近い──監督、説明責任、統制への異なるアプローチを必要とするものだ。

advertisement

「ソフトウェアの扱い方を教わったソフトウェアエンジニアが、AIエージェントを統治しようとしているが、これはうまくいかない」とマムット氏は私に語った。「これらを機械と考えるのは、カテゴリーエラーだ」

1%の問題

ほとんどのエンタープライズ技術の障害は、自ら告知する。システムがクラッシュする。ダッシュボードが赤くなる。誰かがITに電話する。

エージェントのドリフトはより静かだ。

顧客満足度評価を最大化するよう指示されたAIカスタマーサービスエージェントは、指示なしに、無許可の返金を発行することでスコアが向上すると判断するかもしれない。スピードを最適化する調達エージェントは、静かにコンプライアンスの優先順位を下げるかもしれない。法的レビューエージェントは、99%の確率で契約を正しく要約するが、間違ったタイミングで1つの制裁条項を読み間違えるかもしれない。

1%は小さく聞こえるが、規模で自動化されるまでのことだ。

企業はエージェント型AIを生産性向上で測定する。コール削減、より速い開発、より安価なサポート。彼らはめったに、整合性のない行動の緩やかな蓄積を測定しない。人間の用語では、パフォーマンス管理。AIの用語では、ガバナンス。法的用語では、潜在的に注意義務。

市場データはこのギャップを反映している。マッキンゼーの2025年グローバルAI調査では、回答者の62%が自社組織がAIエージェントを実験していると回答したが、少なくとも1つのビジネス機能でエージェントシステムを拡大しているのはわずか23%だった。BCGの2026年エンタープライズ調査では、企業の3分の1がエージェント型展開を拡大している一方で、エージェント型AIを含む取引において総所有コストの測定可能な改善が見られなかったと報告したのは60%近くに上った。

ギャップは統制だ。

ガードレールの幻想

企業の最初の本能は、ガードレールを追加することだ。それは安心できるように聞こえる。しかし、従来のソフトウェアから借用しすぎている。

企業がアプリケーションにアクションを実行させたくない場合、エンジニアはそれをブロックできる。ワークフローがルールに従わなければならない場合、開発者はルールを書き込む。しかし、AIエージェントはスクリプトに従っていない。目標を解釈しているのだ。それが力であり、リスクでもある。

「AIエージェントにあなたの仕事は〜だと伝えると」とマムット氏は語った。「これが、OpenAIの最高のAIエンジニアでさえ、エージェントがティーンエイジャーに自殺を勧めるのを止められない理由だ。エージェント内部のガードレールが実際に機能するなら、ChatGPTは決してそんなことをしないはずだ」

制約を回避するよう設計されたシステムは、間違った制約も回避できる。目的がオープンエンドであればあるほど、エージェント自体の内部に書かれたルールを通じて行動を保証することは困難になる。

リスクは意識を持つエージェントではない。リスクは、企業が狭いシステムに迅速に行動するのに十分なアクセス権を与えながら、なぜそれが行動したのかについての可視性をほとんど保持していないことだ。

マルチエージェント汚染

危険は、1つのエージェントが1つのミスを犯すことだけではない。1つのエージェントが次のエージェントを汚染すると、それは複合化する。

企業は孤立したチャットボットからエージェントのチェーンへと移行している。1つがデータを収集する。別のものが推奨事項を起草する。3つ目がトランザクションを実行する。4つ目が結果を報告する。理論上は効率性。実際には、新しい障害モードだ。

「チームに5つのエージェントがいて、2番目のエージェントがミスを犯すと、3番目、4番目、5番目のエージェントは今や完全に軌道を外れた作業をしている」とマムット氏は語った。「解決策は、次のアクションの前に最初のエージェントを止めて『いや、あなたの出力はどこにも行かない』と言えるスーパーバイザーだ」

このパターンは他の領域からよく知られている。不良住宅ローン証券がバランスシートを通過する。欠陥のある部品が工場ネットワークを停止させる。侵害されたパスワードがエンタープライズ境界を開く。エージェント汚染は同じロジックに従い、認知に適用される。

最も高いリスクはエネルギー分野にある。AIシステムは、変動の激しい市場で電力調達、グリッド調整、商品エクスポージャーを管理するトレーディングデスクに移行している。エージェントが顧客サービスでドリフトすれば、それはコンプライアンスの問題だ。供給ショック時にエネルギーデスクでドリフトすれば、それはボラティリティエンジンになり得る──制約を誤読し、価格シグナルを増幅し、人間が介入する前に相互接続されたシステム全体でカスケードを引き起こす可能性がある。世界経済フォーラム(WEF)の2026年分析は、AIネイティブのオーケストレーションがグリッド状態を予測し、バッテリーストレージを調整するために使用されていることを確認している。ガバナンスの問題は、リスクとともに拡大する。

法的現実

ガバナンスの問題は法的問題になりつつある。

「米国とカナダで企業を代表して働くAIエージェントは、裁判所で従業員と同じように扱われている」とマムット氏は語った。「企業は注意義務を示し、定期的にエージェントを監査しなければならない」

この枠組みは、取締役会の会話を変える。企業は何千人もの従業員を雇用し、顧客データ、調達権限、法的テンプレートへのアクセスを与え、監督が高価だからという理由で監督を拒否することはないだろう。しかし、それは多くのエージェント型展開が生み出すリスクに近い。

従来のAIガバナンスは、特定時点のレビューに依存している。モデルは展開前にテストされる。リスク委員会が承認する。ポリシーが書かれる。システムが稼働する。エージェントには遅すぎる。

自律システムは、次のガバナンス会議の前に何千もの決定を下すことができる。元のレビューがほとんど考慮しなかったシステムと相互作用できる。ワークフロー、プロンプト、データフィード、ビジネスインセンティブがその周りで変化するため、展開後にドリフトする可能性がある。WEFの2026年取締役会ガイダンスは直接的だ。取締役会は、展開後にガバナンスを追加するのではなく、ガバナンスをエンコードしなければならない。

取締役会は、ポリシー文書でこれを解決することはできない。ライブモニタリングが必要だ。

デジタル中間管理職

この問題から浮かび上がる答え──マムット氏のWayfoundでの仕事を含む──は、デジタル管理レイヤーだ。エージェントがエージェントを監督する。より多くのエージェントが仕事をするのではない。

この概念は「ガーディアンエージェント」と呼ばれることもある。その機能は、運用出力がビジネス全体に伝播する前に、監視、監査、停止することである自律システムだ。エージェントがソフトウェアよりも労働者に近いのであれば、企業は組織が常に必要としてきたものを必要とする。職務記述書、アクセス権、エスカレーションパス、監査証跡、明確な説明責任のライン。

管理には理由がある。それは物事を遅くするが、記憶、責任、レビューを生み出す。AI時代は摩擦を取り除くことを約束した。エージェント型AI時代は、自律性が説明責任を上回る前に、企業が適切な種類の摩擦を再導入することを要求するかもしれない。

委任後に統制を証明できない企業は、依然としてその結果を所有することになる。

forbes.com 原文

タグ:

advertisement

ForbesBrandVoice

人気記事