共著: マニシュ・スード、ヴェンカット・ヴェンカトラマン
エージェント型AIに関する企業内での議論は、最終的に必ず同じ問いに行き着く。「モデルは十分に優れているのか」と。だが、それは的外れな問いだ。モデルの性能は、多くの専門家の予測を上回るスピードで進化してきた1。解決されていないもの——企業がエージェントに実際の行動を委ねることを妨げているもの——は「信頼」である。エージェントが推論の対象とするデータへの信頼、判断に用いる文脈への信頼、そしてその推論を検証でき、必要ならば取り消せるという信頼だ2。
コエージェンシー——新たな意思決定者の登場
著書『Agentic Intelligence』で、私たちは「コエージェンシー（coagency）」という概念を提示している。これは、単に助言するのではなく、実際に行動できるエージェントを配備した瞬間、あなたは新たな種類の共同意思決定者を生み出したのだ、という認識である。エージェントは人間の号令を待つ道具ではない。参加者なのだ。そしてあらゆる関係——人間同士であれそうでなくとも——における参加者は、仕様書ではなく、実証された信頼性を通じて権限を獲得する。コエージェンシーが機能するのは、双方——人間とエージェント——が互いの推論を十分に見通せ、それぞれの役割を果たせる場合に限られる。これはモデルの問題ではなく、設計の問題である。エージェントがすでに本番環境で意思決定を行っている段階になってから、後付けで組み込むことはできない。システムが自らの行動をどう表現するか——ある主張はどこから来たのか、なぜそのように重み付けされたのか、誰かがそれに異議を唱えたときに何が起こるのか——を最初から作り込む必要がある。
系譜と出所は「コンプライアンス項目」ではない
「エージェント型AI」を、構築すべき能力ではなく、購入する機能として捉えたときに企業が陥る誤りが、まさにここにある。私は20年にわたり、企業が顧客・製品・業務データを統合する現場を見てきたが、そのパターンは常に同じだ。失敗する技術は最悪のアルゴリズムを持つものではなく、誰も行動を委ねられるほど信頼しないものである。営業担当者に、値引きを提案するエージェントを与えてみるといい。彼らが真っ先に尋ねるのは「このモデルはどれほど賢いのか」ではなく、「この数字はどこから来たのか、その裏にある取引履歴を確認できるのか」だ。答えがブラックボックスなら、たとえその提案が実際にどれほど正確であっても、導入はその場で頓挫する。
だからこそ、系譜（リネージ）と出所（プロベナンス）はコンプライアンスのチェック項目ではなく——製品そのものなのだ。エージェントのアウトプットの信頼性は、その背後にたどれる経路——どのレコードを取得し、どれが照合・重複排除されたか、そして2つのシステムが食い違ったときにどちらの情報源が優先されたか——に等しい。企業が長年にわたり顧客と製品の統合ビューを構築してきたのは、まさにエージェントが推論の基盤として、一貫性がありプロベナンスで裏付けられた土台を必要とするからである。系譜を提示できないエージェントは、顧客契約や価格決定に関与させるべきではない。
異議申し立て可能性——押し返す権利
2つ目の要素は、異議申し立て可能性（contestability）である。信頼とは、単に意思決定の出どころを知ることではない。それに異議を唱える実効的な仕組みを持つことだ。問いただすことのできないシステムは信頼されているのではない。容認されているだけであり、容認されているシステムは、やがて静かに回避され、最終的には放棄される。異議申し立て可能性とは、エージェントの推論が十分に読み解けるものであり、人間が「これを説明してほしい」と言ったときに、もっともらしく聞こえるよう後から生成された正当化ではなく、検証に耐える答えを得られることを意味する。
オーバーライド権——「取り消し」を前提に設計する
だからこそ、オーバーライド権は自動化そのものと同じくらい重要である。エージェント型AIから実際に価値を得ている組織は、最も多くの制御を手放した組織ではない。人間が介入し、行動を一時停止し、あるいは取り消すための明確で迅速な方法を構築した組織である。オーバーライドは、許容すべき失敗モードではない。設計すべき機能である。そもそもそれがあるからこそ、人々はシステムに実質的な権限を委ねることができる。取り戻せないものに鍵を預ける人はいない。
信頼こそがアーキテクチャである
エージェント型AIの勝者は、最も鋭いモデルを持つ者ではない。系譜が可視化され、出所が検証可能で、意思決定に異議を唱えられ、人間が本物のオーバーライド権を保持できるシステム——コエージェンシーが後付けではなくアーキテクチャそのものであるシステム——を築いた者が勝つ。信頼こそが、その他すべてが構築される基盤となるインフラである。それを飛ばせば、世界で最も賢いエージェントも使われぬまま眠り続けることになる。
