取引先のシステムとAIエージェントの行動を監査する体制
取引先が提供するサービスの安全性を確かめるだけでは足りない。AIエージェントの重要な操作を人間が承認し、事故の後に判断や操作の根拠をたどれるようにすることも課題だ。
（15）取引先のAIプラットフォームは本当に安全なのか
トビン・トーマス（Lifesight）は、従業員が公開AIツールへ誤って企業データを入力する危険は過大に取り上げられ、多くの企業はすでに管理できているとみる。むしろ確認すべきなのは、取引先が提供するプラットフォーム自体が安全かどうかだ。マーケティングや顧客の情報を扱う外部ツールが増えるほど、ネット上で企業が攻撃にさらされる範囲も広がる。ほぼすべてのプラットフォームが何らかの形でAIを使う中、取引先にはAIの機能だけでなく、システムの保護、監査、アクセス管理の方法まで尋ねるべきだという。
（16）人の承認なしでデータ送信や記録変更ができるAIエージェント
ジョーダン・ヘンリー（Veritas AI Consulting）は、チャットボットに不適切な発言をさせる「脱獄」に注目が集まりすぎていると考える。より大きな危険は、機密情報や認証情報、業務ツールに幅広くアクセスできるAIエージェントだ。悪意ある指示を紛れ込ませるプロンプトインジェクションも、AIエージェントが外部へのデータ送信や記録の変更、業務処理の開始まで実行できる場合には重大な事故につながりかねない。AIエージェントのIDを作業単位で管理し、権限を必要最小限に絞り、重要な操作には人間の承認を必要とする仕組みを勧める。
（17）自動化によって失われる、人間が確認・承認する時間
ジェイミー・ン（Ashurst Perkins Coie）は、AIの制限を突破する「脱獄」のような高度な攻撃は現実の危険だが、すでに十分理解されていると話す。見落とされているのは、AI導入によって企業が取り払ってしまった確認・承認の手順だ。以前は誰かが内容を読み、誰かが承認する必要があった。確認と承認に時間がかかること自体が、偶然の安全策になっていた。AIやAIエージェントは人間による確認手順を省き、機械の速度で処理を進める。企業が本当に恐れるべきなのは、外部からの侵入そのものよりも、社内システムが不正な操作を承認してしまう事態だという。
（18）AIが実行した操作の根拠を後から証明できない
アンリ・アミール・デービッド（Black Wall Global）は、AIの脱獄よりも、AIが行った操作の根拠をたどれなくなることを深刻なリスクとみる。企業がAIによる操作を調査しようとしても、どのデータ、AIモデル、入力された指示、人間の判断を基に処理が実行されたのかを確実に証明できない。証拠が残らなければ、事故後の調査は推測に頼るしかなくなる。企業は意思決定を自動化する速度に、判断の経緯を記録する仕組みの整備が追いついていないという。
