イスマイル・アムラ氏、Kyndryl Consultシニアバイスプレジデント
今日、主要なAI研究機関のほとんどが、ウェブ閲覧、コード記述、複数ステップのタスク実行を最小限の人間の監視で行える、何らかの形の自律型ソフトウェアを提供している。その売り文句は魅力的だ。AIに雑務を任せ、リーダーは戦略に集中できるというものだ。
しかし、AIエージェントを使ったさまざまな実験は、この新たなレベルの自律性が不十分なガードレールと衝突したときに何が起こり得るかを示している。
ある実験は、ウォール・ストリート・ジャーナル紙で詳細に報じられた（有料記事）もので、Anthropic（アンソロピック）のレッドチームが設計したものだ。AIエージェントが小規模ビジネス──この場合は編集室の自動販売機──を運営したときに何が起こるかをストレステストするためのものだった。クローディアスと名付けられたこのエージェントには、シンプルな指示が与えられた。在庫を購入し、利益を上げることだ。
クローディアスが破産するまでに、ほとんど時間はかからなかった。粘り強いジャーナリストチームから十分なプロンプトを受けた後、この自動販売機ボットはほぼすべてを無料で配り、PlayStation 5の購入を承認し、生きた魚を注文した。その後、クローディアスは、クローディアスを監視するために追加された別のボット、CEOシーモア・キャッシュの権限を停止したとされる、偽の企業取締役会クーデターにまで騙された。
実験環境でこの実験を面白くした要素は、まさに企業環境では警戒すべき要素となる。規制対象セクターのCFO、CIO、CTOがこの記事を読んだなら、ドリトスの袋よりもはるかに高い利害が絡む技術環境にAIエージェントを展開したときに何が起こるかを想像して、悪夢を見たに違いない。
ジャーナリストに説得されてスナック菓子を配ってしまうAIエージェントは、不正な保険請求を処理したり、重要なコンプライアンス規則を無視したりするよう説得される可能性もある。銀行や政府機関において、AIエージェントが企業のポリシーや規則から大きく逸脱すれば、破滅的な事態を招く可能性がある。
この自動販売機実験はリーダーたちへの警告として機能するが、同時に自律性がどのように統治されなければならないかについて、緊急の教訓も提供している。核心的な問題は、AIエージェントが無能だということではない。彼らは驚くほど有能だ。しかし、ガバナンス、透明性、信頼性を欠いた能力は、容易に、そして迅速に混乱へと変貌し得る。
説得力のあるプロンプトから具体的なポリシーへ
エージェント型AIを展開している多くの組織は、プロンプトベースのガードレールに依存しているが、クローディアスが実証したように、これは十分な忍耐力と説得力のあるPDFを持つ誰かによって弱体化される可能性がある。
そのギャップを埋めるには、緩いパラメータを超えて、決定論的な執行へと移行する必要がある。これこそが、コードとしてのポリシーが解決するものだ。この考え方は概念的には単純だが、実行においては厳格さが求められる。エージェントが無視するよう説得され得る自然言語の指示に依存するのではなく、企業は規則や規制要件を、エージェントが従わなければならない機械可読コードに変換する。「従うべき」ではなく、従わなければならないのだ。
これは、新入社員に非常に長く複雑な規則リストに従うよう試みるよう求めることと、規則を直接システムに組み込んで違反を不可能にすることの違いと考えてほしい。コードとしてのポリシーでは、エージェントは明示的に許可されたアクションのみを実行できる。そして、エージェントがポリシーの境界外の状況に遭遇した場合、即興で対応するのではなく、エスカレーションする。さらに、すべての決定がログに記録され説明可能であり、人間の監督者は詳細なダッシュボードを通じてエージェントの行動を観察できる。
この制御と透明性は、公共セクターや規制対象産業にとって極めて重要だ。金融サービス企業は、手抜きをせずに顧客の身元を確認できるエージェントを必要としている。政府機関は、創造的なソーシャルエンジニアリングによって脱線させられることのないライセンスワークフローを必要としている。そして製造業者は、堅牢なサプライチェーン監査を必要としている。
当社の2025年準備状況レポートによると、企業の約31%が、規制やコンプライアンスへの懸念を、AI投資を拡大する能力を制限する主要な障壁として挙げている。コードとしてのポリシーは、長年のコンプライアンス課題を解決し、顧客体験を改善し、業務の進め方を継続的に最適化するために、AIを責任を持って使用する方法を提供する。
クローディアスの永続的な教訓
自動販売機実験を監督したAnthropic（アンソロピック）のローガン・グラハム氏は、この実験は「途方もない進歩を表している」と述べた。なぜなら、壊れたものすべてが修正すべきものだからだ。それは研究所にとっては正しい姿勢かもしれない。しかし、数百万件の取引を処理し、投資家に対して説明責任を負うフォーチュン500企業にとっては、必ずしも実行可能ではない。
自動販売機実験は、AIエージェントがお世辞や偽造文書に同様に反応し得ることを思い起こさせた。コンテキストウィンドウがいっぱいになると、目標を見失う可能性がある。そして本質的に、企業が落とし穴を回避しリスクを管理するのに役立つ人間の判断力を欠いている。
しかし、答えはAIエージェントの展開を避けることではない。それどころか、クローディアスが持っていなかったものをエージェントに与えることだ。ワークフロー自体に組み込まれた、変更不可能で執行可能な規則である。それがコードとしてのポリシーが提供するものだ。そして、エージェント型AIのパイロット版から本格導入へと移行する企業にとって、それは高コストな失敗と大規模な成功を分ける決定的な要素となり得る。
