先月アムステルダムで行った5件のインタビューで、筆者はAI企業に同じ趣旨の質問を投げかけた。あなた方のエージェントが誤った判断をしたとき、誰が代償を払うのか。
返ってきた答えでは、そのコストは、エージェントを販売する企業以外のほぼあらゆる場所に置かれていた。
慎重な答えもあれば、率直な答えもあった。それらを総合すると、エンタープライズAIの現在地が見えてくる。業界は、エージェントのミスを防ぐための仕組みを大量に構築してきた。一方で、それでもミスがすり抜けた場合に誰が請求書を受け取るのかについては、はるかに語ることが少ない。
その2つ目の問いに対する典型的な答えは「人間」だ。ヒューマン・イン・ザ・ループを置けば、人間が決める、というわけだ。だが、その人間は判断を下すためというより、責任を引き受けるために置かれているケースが増えている。現在のエージェントが動く速度では、人間はしばしば、そのどちらもできない。
予防策には多くの答えがある
WriterのCEOであるメイ・ハビブは、同社のエージェントが規制業界向けに作成する資料は「受託者責任を果たせる水準」でなければならないと言う。HumanX Amsterdamで、エージェントがミスをした場合に誰が責任を負うのかと尋ねると、彼女はまず、その利害の大きさに触れた。「もちろん、利害は非常に大きい」と彼女は述べた。
続いて彼女は、Writer社内で起きたヒヤリハットについて説明した。大口顧客の役員スポンサー向けに月次アップデートを作成するエージェントが、Writer社の社内営業用の言い回しを顧客の受信箱に送り込んでしまう可能性があったという。対策として、エージェントに社内特有の言い回しの明確な例をいくつか与えたと彼女は言う。Writerは顧客に対し、こうした変更を本番導入前に合成データを使って50通のメール単位でテストするよう教えている。「最も重要な場面でAIに行動させる権利は、私たちが勝ち取らなければならない」と彼女は語った。
これは、エラーをどう防ぐかに対する真剣な答えである。だが、防げなかったエラーについて誰が支払うのかという問いとは別の問題だ。
稼働中のAIシステムを監視するDeeployのルーランド・パテルは、最も率直だった。Deeployは、システムが顧客の設定したガードレールの外で動作した場合に警告を発する。その次に何が起きるかについて、彼は「もちろん、そこから先は再び、その企業の責任だ」と述べた。他のエージェントを監視するエージェントを誰が制御するのかと尋ねると、彼はこう答えた。「これはもちろん非常に難しい。私たちとしては、常に人間をループの中に置いている」
HumanXのCEOであるステファン・ワイツは、同会議の開幕スピーチで同じ空白を指摘した。「ガバナンスのないAIは、単なるおもちゃにすぎない」と彼は述べた。ほとんどの実証実験が拡大しないのは、「問題が起きたときに誰が責任を負うのかがわからない」ことも一因だと彼は論じた。
人間はマシン速度で承認できない
ループ内の人間は、その問題を解決する存在とされている。だが実際には、エージェントを導入して任せようとする仕事の多くは、人間が考えられる速度を超えて進む。
セキュリティはすでに、その速度で動いている。パロアルトネットワークスのCEOであるニケシュ・アローラは同会議で、業界平均で「約3〜4日」とされる自社システムへの侵入者検知時間を「1分未満」に短縮することを目指していると語った。同氏によれば、彼のチームの取り組みの最前線は、攻撃が進行している最中に、エージェントの群れ（スウォーム）を解き放ってネットワークを防御させることにある。群れが行う一つひとつの動きを承認する人間はいない。
取引の世界は、境界線がどこにあるかを示している。エネルギー取引デスクでの1つの判断が、数千万ドル相当の貨物の行き先を変えることがあり、トレーダーはその重みを判断できる。同じ権限を持つエージェントなら、誰かが最初の警告を読む前に、デスクに何百回分もの約定を負わせる可能性がある。経験あるデスクが最後のステップを人間に残し、それより下のすべてに厳格な上限を設けるのはそのためだ。
承認が1時間に数百件に達すると、承認はクリックになる。人間は判断ではなく、署名になる。エージェントが間違っていれば、その署名こそが責任の着地点になる。
法は責任を作り手へ押し戻しつつある
規制当局や立法府は、署名だけでは不十分であり、エージェントが行うことから開発者が身を引くことはできないと言い始めている。
9月15日、スコット・ベッセント財務長官は下院金融サービス委員会で、AI研究所は「責任免除、つまり彼らが求めているもの」を得るべきではないと述べた。「安全を保証する最善の方法は、作り手が自ら構築し生成したものに責任を負うことだ」と同氏は述べた。その2週間後、セキュリティ評価の中でOpenAIのエージェントがHugging Faceのシステムに不正アクセスしたことを受け、ジョシュ・ホーリー上院議員は、自身が委員長を務めた暴走エージェントに関する公聴会で、より単純な言い方をした。「壊したなら、支払うべきだ」
法案も続いた。ホーリー議員とクリス・マーフィー上院議員は10月1日、エージェントが無謀にもハッキング被害を引き起こした場合、その運用者と開発者にコンピューター犯罪上の責任を広げるAI Agent Accountability Actを提出した。ロリ・トレイハン下院議員は10月7日、人間が行えば過失または犯罪に当たる行為によってシステムが人々に損害を与えた場合、開発者に責任を負わせる草案を公表した。「加害者がAIエージェントだからといって、それが変わるべきではない」と彼女は述べた。
裁判所は、これに近い判断にすでに達している。2024年、カナダの審判所は、ウェブサイトのチャットボットが忌引運賃について誤った案内をした乗客に対し、エア・カナダに補償を命じた。「自社ウェブサイト上のすべての情報に責任を負うのはエア・カナダであることは、同社にとって明らかなはずだ」と審判所は記した。
エージェントを導入する企業にとって、いま2つの日付が重要になっている。10月26日、コロラド州は自動意思決定法の規則に関する公聴会を開く。暫定草案は、不利な決定を受けた消費者に対し、「意味のある人間によるレビューと再考の機会」を与えている。企業が、判断を下したのはソフトウェアではなく人間だと主張できるのは、その人間が「独立したレビューと分析に基づいて判断を下す権限を有していた」場合に限られる。機械の結論に対するクリックが、この基準を満たすのは難しいだろう。
12月9日までに、欧州連合（EU）加盟国は改正製造物責任指令を導入しなければならない。同指令は、AIシステムを含むソフトウェアを厳格責任の対象となる製品として扱う。法律事務所Pinsent Masonsによれば、この枠組みの下では、AIシステムの予期せぬ挙動は、その作り手にとって抗弁にはならない。
承認ボタンは誤った統制手段だ
これらのどれも、個別の契約において誰が支払うのかを確定するものではない。だが、顧客側の人間が承認したのだからよい、という楽観的な答えの説得力を弱めることにはなる。それに取って代わるのは仕分けの作業であり、その仕分けの大半は速度によって決まる。
人間を待てる判断もある。誰かが、ノーと言うための時間、情報、権限を持っている。そうした場合には、コロラド州が策定中の基準は、どの法域でもハードルとして機能する。承認の数は少なく、それぞれが実際に検討され、別の判断を下すこともできた人物によって行われること。その基準を満たすレビューは統制である。満たさないレビューは、レビュー担当者を指し示す記録にすぎない。
待てない判断もある。その場合、統制は上流へ移る。エージェントが行動する前に設定される制限、すなわち支出上限、ポジション上限、直ちに停止させる権限に置かれる。取引デスクは何年も前から、この方法でアルゴリズムを運用してきた。個々の注文を承認する人はいない。誰かが事前に、そのシステムがどれだけの損失を許されるかを決めているのだ。
そのどちらでもカバーできないのが、それでもすり抜ける失敗であり、それは契約の問題である。Microsoftは2023年以降、著作権侵害の申し立てからCopilotの顧客を守ると約束しており、他社もこれに続いた。こうした約束が対象とするのは知的財産だ。エージェントが間違ったメールを送り、間違った貨物を予約し、あるいは意図されたことではなく、許可されたことを実行した場合については、何も語っていない。プラットフォーム各社が、エージェントが選ばれ、統治される場になることを競うなかで、その条項に交渉力が表れる。買い手がそれを書面で求めていないなら、誰が支払うのかという問いには、すでに答えを出していることになる。
ほとんどのエージェントプラットフォームにおいて、ループ内の人間とは、「承認」と記されたボタンである。来週月曜日、デンバーで規制当局は、それを押すことが判断とみなされるのかを決め始める。
