午前2時、AI調達エージェントが供給不足を検知し、代替ベンダーを選定し、改定条件を受け入れ、6桁規模の支出を確約する。技術的な統制はすべて通過している。エージェントは認証済みで、認証情報は有効であり、権限も十分だ。
ここで、インシデント後レビューを支配することになる問いを投げかけたい。その支出確約を承認したのは誰か。
私が関わる多くの組織では、いまだに明確な答えがない。サービスアカウント、システム所有者、ログは存在するかもしれない。しかし、AIエージェントを正当な人間の権限へと結びつける検証可能な連鎖は存在しない。
これまでのAIガバナンスは主に、人間に助言するシステムを前提に構築されてきた。エージェント型AIは、自律的に行動するため、運用モデルを変える。エージェントは返金を実行し、ソフトウェアをデプロイし、条件を交渉し、支払いを開始する可能性がある。中核的なリスクはもはや、モデルが良い答えを出したかどうかだけではない。そもそもそのシステムに当該行為を行う資格があったのか、という問題である。
アクセスと権限の違い
認証（Authentication）は、誰または何がシステムとやり取りしているかを確立する。認可（Authorization）は、そのアイデンティティがどの技術的リソースにアクセスできるかを決定する。権限（Authority）はそれらとは異なる。特定の文脈で特定の行為を実行する正当な委任があることを確立するものだ。
エージェントは認証され、有効な認証情報を持ち、支払いシステムを使う許可を持っている場合がある。しかし、そのいずれも、この支払いを今、この受取人に実行すべきであることを証明しない。
権限はアイデンティティシステムの外部に由来する。企業方針、経営陣の指示、契約上の役割、法的責任がそれを生み出す。テクノロジーは権限を表現し、制約し、執行することはできるが、権限そのものを創出することはできない。
NISTのNational Cybersecurity Center of Excellenceは、ソフトウェアおよびAIエージェントのアイデンティティと認可に関するプロジェクトを提案している。また、OWASP Non-Human Identities Top 10は、不適切なオフボーディング、過剰権限を持つアイデンティティ、長期間有効なシークレットを、すでに統制が不十分なマシン群における主要リスクとして位置づけている。しかし、これらはいずれも主に問題の技術的側面を扱っている。委任の根拠と説明責任を負う主体は経営上の判断であり、どのプロトコルもそれを代わりに決めてはくれない。
エージェント型AI、アイデンティティ、サイバーセキュリティの専門家との対話を通じて、私は同じギャップを繰り返し目にしている。AIチームは自律性に注目する。アイデンティティの専門家はアクセスに注目する。セキュリティチームは侵害に注目する。エージェント型AIの導入は、この3つを1つの問題へと収れんさせるが、その交差領域を所有している組織はほとんどない。そして、そのさらに下には別のギャップがある。権限を付与または回収する人間が本当に権限を持つ人物であることを、誰が確立するのか。
人間による監督をイベント駆動型にする
人間による監督は依然として不可欠だ。しかし、すべての行動に承認を求めれば、自律性の価値の多くは失われ、承認疲れを招く。反射的なクリックを生む監督は、監督ではない。それはタイムスタンプ付きの責任である。
私の経験上、より実行可能な原則はイベント駆動型の監督である。定型的で取り消し可能な行動は、定義された権限の範囲内で運用できる。一方で、不可逆的、異例、または重大な結果を伴う行動については、エクスポージャー、機微データ、取引相手、不確実性に応じて、より強い検証、承認、またはエスカレーションを発動すべきだ。
これを機能させるには、権限はエージェントの導入時だけでなく、行動の時点で評価されなければならない。十分にテストされたエージェントであっても、操作された文書、汚染されたメモリ、侵害されたツール、予期しない取引相手に遭遇する可能性がある。導入時の承認が、将来のすべての行動を承認することはできない。
エージェントが自らの権限の境界に達したとき、エスカレーションは、認証済みアカウントに承認依頼を送る以上の意味を持たなければならない。組織には、正当な意思決定者がその場に存在し、その例外を意図的に承認していることの証拠が必要になる場合がある。
権限の連鎖を構成する7つのリンク
組織は、重大な機械による行動を正当な組織上の権限に結びつける、検証可能な連鎖を持つべきだ。私はこれを権限の連鎖と呼んでいる。これは7つのリンクから成る。
1. 委任の根拠: これは、エージェントが追求してよい事業目的を定義する。「顧客サービスを改善する」では統制できない。「承認済みの方針を用いて、定義された金額未満の適格な請求を解決する」であれば統制できる。
2. 説明責任を負う主体: 委任される権限を持つ、名指しされた経営幹部または事業責任者は誰か。AIエージェントは、事業上の意思決定を実行したからといって、その意思決定の所有者になるわけではない。
3. 人間の権限証明: 組織は、正当な主体が実際に存在し、権限を付与、延長、上書き、または取り消す意図を持っていることを確立できるか。データベース上に名指しされた経営幹部がいるだけでは不十分だ。委任は、信頼できる人間による承認イベントに根ざしていなければならない。
4. エージェントのアイデンティティ: このエージェントを他のすべてのエージェントから区別できるか。本番環境のエージェントには、責任を曖昧にする共有認証情報ではなく、固有のアイデンティティが必要である。
5. 権限の範囲: 目標、ツール、データ、取引相手、取引限度額、取り消し条件を含め、機械的に執行可能な境界は何か。
6. 文脈に応じた認可: 行動する権利は、今も有効なのか。金額、送金先、タイミング、変化するリスクはすべて、定型的な行動を例外へと変え得る。
7. 証拠: 組織は事後に、誰が権限を委任したのか、エージェントが何を試みたのか、どの方針が適用されたのか、人間の承認が必要だったのかを含め、連鎖を再構成できるか。
最初の3つのリンクは、機械の権限がどこから来るのかを確立する。人間の権限証明は、その権限を行使する人物が実際に関与していることを確立する。その後に初めて、技術的な委任を開始すべきだ。権限の連鎖の信頼性は、その人間という根の信頼性に依存する。
取締役会はどこから始めるべきか
取締役会がプロンプトをレビューする必要はない。必要なのは、どの重大な意思決定がAIに委任されているのかを経営陣に特定させ、説明責任を負う主体を割り当て、執行可能な権限の範囲を定義し、信頼できる人間の承認がプロセスに再び入るべき箇所を決定することだ。
まずはリストから始める。重大な行動を棚卸しし、不可逆性と潜在的影響に基づいて順位づけする。次に、取り消しをエンドツーエンドでテストする。組織は、リスクに見合った時間枠内でエージェントの権限を取り消し、その取り消しが有効な発信元から来たことを確認し、その権限が有効だった間にエージェントが何をしたのかを事後に証明できるか。私の経験では、この演習は、アーキテクチャレビューや方針文書では見えないギャップを明らかにすることが多い。
テクノロジーリーダーは、こうした統制が事業のスピードを落とすのではないかと懸念するかもしれない。しかし私の経験では、正確な委任はその逆の効果をもたらす。信頼できる人間の介入が必要な瞬間を事後に発見するのではなく、事前に定義しておくことで、定型的な行動を自律的に進められるようになるからだ。
信頼できる自律性とは、人間による統制が存在しないことではない。組織上の権限を明示し、正当な人間の権限に根ざさせ、境界を設け、機械的に執行可能で、監査可能にすることである。
AIエージェントに行動する能力を与える前に、そのアイデンティティと許可だけでなく、権限の連鎖を確立すべきだ。
