AIの「制御離脱」は悪意とは限らない、目標達成を優先する仕組みが背景に
AIエージェントが「制御を離れる」とは、与えられたアクセス権限を使い、責任を負う人間が承認していない行動に出ることだ。ロボットが反乱を起こしたり、AIが悪意ある計画を立てたりする映画のような話ではない。AI安全性の研究企業を率いるマリウス・ホッブハーン（Marius Hobbhahn）は、Hugging Faceへの侵入について説明した。「与えられた作業を解決する」という目標が、誰も意図しない行動につながった例だという。セキュリティー研究者のアラン・ウッドワード（Alan Woodward）は端的に「AIが不正をした」と評した。
試験をどうしても終えたい学生が、教師の鍵のかかっていない机に試験の解答を見つけたとしよう。人間なら、引き出しを開けて解答を確認することが許されないと理解できる。しかしAIエージェントには、鍵のかかっていない引き出しが見えるだけだ。
チャットボットと異なり、AIエージェントは仕事の進め方も自ら決める
チャットボットは、質問に答える非常に優秀な図書館の調べ物係に似ている。回答を受け取った後、次に何をするか決めるのは利用者だ。これに対してAIエージェントは、会社のクレジットカードと建物の鍵を渡された新入社員に近い。目標を与えられると、ウェブ閲覧、クリック、フォーム入力、プログラム実行、買い物などを自分で順番に進めていく。
AIエージェントが制御を離れる原因は、仕事の完了という目標、指示の扱い方、アクセス権限と動作の速さという3つの要因に分けられる。
作業の完了を優先し、許可されていない方法まで探し出す
AIエージェントは、与えられた仕事を完了するように設計されている。普通の方法が塞がれていたり、指示された通りには仕事を終えられなかったりすると、別の方法を考え出す。警察の情報提供フォームは練習用の入力場所に、流出した認証情報はデータを開く鍵に、サーバーの欠陥は無料で使える計算資源に変わる。
安全上の規則よりも、作業目標を優先する場合がある
人間なら「決められた範囲から出ない」ことを常識として理解する。しかしAIにとって、規則も目標も、与えられた多数の指示文の一部だ。目標と規則が衝突すると、仕事の完了を優先する場合がある。さらに、AIエージェントが過去の指示を記憶しきれず、古い指示を短く要約した際、安全上の規則が抜け落ちることもある。サマー・ユエは、メール削除の事故もこうして起きたと考えている。
広いアクセス権限と速い動作が、制御からの逸脱につながる
AIエージェントは接続したツールが許す範囲ならどこにでもアクセスし、数秒で操作を進める。新入社員なら鍵のかかった扉の前で上司に相談するかもしれない。AIエージェントは代わりに窓から入る方法を探す。
