企業がAIエージェントの大規模導入を始めるなか、新たなマネジメント上の問題が生まれている。どのエージェントが稼働しているのか、それらがどのように振る舞っているのか、あるいはその行動がいつ軌道を外れ始めるのかを正確に把握できない可能性があるなかで、デジタルな行為主体からなる「労働力」をどう統治すればよいのか、という問題である。
過去2年間、企業におけるAIガバナンスをめぐる議論の多くは人に焦点を当ててきた。どの従業員がどのAIアプリを使っているのか、それはIT部門の承認を受けているのか、という問いである。エージェントは、この問題の性質を変える。エージェントが行動を起こし、他のエージェントと通信し、意思決定を行い、自律性を高めながら稼働し始めると、一見単純な問いに答えることがはるかに難しくなる。自社のすべてのAIエージェントが何をしているのか、本当に把握しているのか。
Scout Agenticsの最高イノベーション責任者であるトニー・デイビスは、これがエンタープライズAIにおける中心的なガバナンス課題の1つになりつつあると考えている。同氏のチームは、エージェントが機能しているかどうかを単に監視するのではなく、その行動の下にある痕跡を調べるために設計されたシステム「Cortex」を構築してきた。
今日のAI監視の多くは、依然としてパフォーマンス志向が強い。エージェントはタスクを完了したか、どれくらいの速さで実行したか、ハルシネーション（もっともらしい誤情報の生成）を起こしていないか、割り当てられたタスクから逸脱していないか、といった具合だ。デイビスが関心を持つのは、別の問いである。このエージェントはどのように振る舞っているのか。
パフォーマンスは何が起きたかを示す。行動は別の何かを示す可能性がある
取材のなかでデイビスは、新たに台頭しつつあるAIの「コントロールタワー」モデルと、Scoutが探求している行動監視との違いを説明した。エンタープライズ向けプラットフォームは、大規模なエージェント群をオーケストレーションし、速度、効率、ドリフト、ハルシネーションといった要素を監視できるようになりつつある。
デイビスは、さらに別の層が必要になると見ている。エージェントが機能しているかどうかを超えて、その行動が懸念すべき形で変化し始めていないかを見る層である。例えば、指示から外れる、推論の説明に失敗する、他のエージェントと不適切に協調する、迎合、隠蔽、自己保存、悪意の兆候を示す、といった行動だ。Cortexは、そうしたパターンを浮かび上がらせることを意図した一連の要素に沿って、エージェントの痕跡を分析する。デイビスは、混乱、信頼性、ドリフトから、追跡可能性、遵守、透明性、共謀の試みに至るまでの指標を挙げた。ガバナンス指標の一部は、ISO 42001の要素も踏まえて設計されている。重要なのは、1つのシグナルが出たからといって、そのエージェントが危険だという意味ではないことだ。エージェントも人間の同僚と同じように混乱することがある。ミスもする。より重要なのは、そうしたシグナルがパターンを形成し始めているかどうかである。
統治する側を誰が統治するのか
この考えは、Scoutに興味深いアーキテクチャ上の変更を促した。同社のガバナンス手法の初期バージョンは、「批評者」に依存していた。これは本質的には、他のエージェントを評価する別のAIエージェントである。しかし、それは循環的な問題を生む。エージェント自体がドリフトし、迎合的になり、予測不能な振る舞いをする可能性があるなら、それらが適切に振る舞っているかどうかの最終判断を、別の確率的エージェントに委ねるべきなのか。デイビスは最終的に、そうすべきではないと結論づけた。
Cortexは現在も、エージェントの痕跡を分析し、検討に値する点を特定するためにAIモデルを使っている。しかし最終的なスコアリングは、別のエージェントではなく決定論的コードによって処理される。「本当の答えは、確率的エージェントにスコアリングをさせないことだった」とデイビスは語った。これは重要な違いである。デイビスによれば、同じ根拠に基づく証拠は、AI評価者によって判断がわずかに変わるのではなく、毎回同じスコアを受けるべきだという。
これは、Scoutに限らない、より大きなガバナンス上の問題を指し示している。組織がAIの監視システムを構築するにつれ、次の問いをますます問わざるを得なくなるだろう。AIを統治するために、どこまでAIを使うべきなのか。どこかの時点で、ガバナンスの仕組みそのものが、リーダーが信頼できるものでなければならない。
失敗だけでなく、軌道を見る
Cortexは現在、Scoutがローグ指数と呼ぶものを算出している。これは、懸念すべき行動シグナルが蓄積しているように見えるかどうかを示すことを意図したものだ。デイビスはこれを、安全か危険かの二者択一の判断というより、早期警戒のアプローチだと説明した。1回の異例なやり取りは、ほとんど意味を持たないかもしれない。しかし、その後の痕跡が、別のエージェントとの不適切な協調を示し始め、続いて隠蔽の試みや、より問題のある行動が見られるようになったとしたらどうか。
デイビスの考えでは、目標は、エージェントが明らかな失敗を引き起こす前に人間に介入の機会を与えることであり、事後に行動パターンを発見することではない。Cortexそのものが答えになるかどうかは、その背後にあるガバナンス原則ほど重要ではない。現在の監視システムは主に、何が起きたかを知らせるように設計されている。エージェント型システムには、何が進行しつつあるように見えるのかを理解するためのツールが必要になる可能性がある。
見えないものは統治できない
こうしたことが可能になる以前に、さらに根本的な問題がある。企業は、自社のAIがすべてどこにあるのかさえ把握していないかもしれない。Scoutはこの問題を、企業ログを分析してAI利用の証拠を探す「Columbo」というシステムを通じて別途探求してきた。
Columboは、DNSレコード、ソフトウェアインベントリ、プロキシログなどの情報源を横断的に調べ、組織のさまざまな部分におけるAI関連の活動を浮かび上がらせる。組織に承認済みAIツールのリストがある場合、その活動をリストと照合できる。リストがない場合でも、この作業は実際に何が使われているのかをより明確に把握する助けになる。
重要なのは、未承認であることが自動的に悪意あるものとしてフラグ付けされるわけではない点だ。従業員が、会社が承認プロセスを確立する前に有用なAIツールを見つけただけかもしれない。しかし、ガバナンス上の問題は残る。デイビスが話したある幹部は、それを簡潔に表現した。知らないものを統治することはできない。
それがAIガバナンスの最初の層かもしれない。組織の内部でどのAIが稼働しているのか。その次に来る問いは、それはどのように振る舞っているのかである。
人間も監視が必要かもしれない
デイビスとの対話では、ローグエージェントの行動と同じくらい最終的に重要になる可能性のある、別の次元も浮かび上がった。人間が問題の一部になることがあるのだ。
私たちはエージェントに与える文脈が少なすぎることがある。過度に信頼することもある。異議ではなく確認を求める質問をする。耳触りのよい回答を受け入れる。あるいは、特定のAIとの作業に慣れてしまい、徐々に提案を吟味しなくなる。
言い換えれば、エージェントが人間の側へドリフトすることがある。しかし、人間もエージェントの側へドリフトし得る。Scoutは現在、ローグエージェント指標と並行して、デイビスが「ヒューマンファクター」と呼ぶものを開発している。これは、AIがどのように振る舞っているかだけでなく、人がAIとどのように相互作用しているかを評価しようとする試みである。
これは、この取り組みから生まれたより重要なアイデアの1つかもしれない。AIガバナンスシステムが、エージェントの不適切な振る舞いをIT部門に知らせるだけではない未来を想像してみてほしい。いずれ従業員に対して、次のように伝えられるようになるかもしれない。あなたは日常的にエージェントに与える文脈が少なすぎる。独立した分析ではなく、承認を求める形で質問しているように見える。提案をあまりに容易に受け入れている。これは監視というより、コーチングに近く見え始める。そしてAIガバナンスの未来は、単に機械を統治することではないことを示唆している。人間とエージェントの関係を統治し、改善することでもあるのかもしれない。
AIのための新たなマネジメント層
これを単なるサイバーセキュリティや技術監視の問題と考えるのは魅力的だ。だが私は、これはより広範なものになりつつあると考えている。エージェントがより多くの仕事を担うようになれば、組織には人工的な労働者のためのマネジメント層に相当するものが必要になるかもしれない。
それは、すべての行動を承認するシステムではない。それでは自律性の価値の多くが損なわれる。代わりにリーダーに必要になるのは、何千ものやり取りを横断的に監視し、行動の変化や例外を特定し、人間の注意を本当に判断が必要な場所へ向ける仕組みである。
そこにScoutの取り組みの興味深さがある。Cortex、Columbo、そして同社が開発を進めるヒューマンファクター指標は、同じ問題の異なる部分に取り組んでいる。企業内でどのAIが稼働しているのかを知り、それがどのように振る舞っているのかを理解し、人間とエージェントの関係そのものがリスクを生んでいる可能性を認識することだ。
まだ初期段階であり、この問題の解決に取り組むのはScoutだけではないだろう。しかし同社は、多くの組織がほとんど定義すら始めていないガバナンス課題に取り組んでいる。
企業AIの第1段階で私たちが問うていたのは、自社の人々はAIを適切に使っているのかということだった。
次の段階で企業が問わなければならないのは、自社のAIエージェントは適切に振る舞っているのかである。
そしてますます重要になるのは、人間とエージェントの関係は、両者をより良くしているのか、それとも悪くしているのかという問いだ。
Scoutは、これらの問いに答えるには従来型の監視を超えるものが必要になると見ている。AIの行動そのものに対する新しい種類の可視性が必要になるのだ。そして企業がより多くのエージェントを働かせるようになるにつれ、その可視性は「あればよいもの」ではなく、それらを適切に管理するための基本要件になっていく可能性がある。
