原則拒否、人間による承認、プロンプトに依存しない物理的・技術的境界線を設ける
安全のためのプロンプトを書き直せば、多少はましになる。だが、それは解決策ではない。解決策になるのは、エージェントが言葉で切り抜けられない境界線を、いくつも用意しておくことだ。
・ネットワークへのアクセスは原則拒否（Default Deny）とする。明示的に許可した先にしか、エージェントは届かないようにする
・使えるツールと接続先は、危ないものを拒否リストで塞ぐのではなく、許可リスト方式で指定する
・影響の大きい行動、外部への公開メッセージ、コードのマージ、支払いには、人間の承認を必須にする。その種類の行動を十分に検証し、単独で実行してよいと確認できるまでは解除しない
・エージェントの行動はリアルタイムで監視する。あとから読むログだけで済ませず、アラートと停止条件を用意しておく
・認証情報は、権限を絞った一時的なものをエージェント専用に発行する。人間が常時持っているアクセス権を使い回させてはならない。
どれも華のない話だが、それこそが要点である。今回の件で落ち着かない気持ちにさせられるのは、モデルが有能だったことではない。「アシスタント」と「内部に入り込んだ脅威」を隔てていたのが、技術的な壁ではなかったことだ。このときは、注意を払っていた1人の人間が最悪の事態を抑えたに過ぎず、その余裕はごく薄かった。
こうしたシステムが何かをしでかしたとき、誰が責任を負うのかについて、私たちはまだ合意できていない。だからこそ、技術的な作り込みを正しくやることが、いっそう急がれる。AIエージェントがセキュリティ事故になるのに、悪意は必要ない。必要なのは、目標と、与えられすぎたアクセス権と、制御ではなく指示でできた境界線だけだ。忘れてはならない。指示は安全装置ではなく、アクセスできることは権限を与えられていることではない。
