企業の境界を越えて動くAI、運用者の身元と責任を特定する難しさ
過去の記事で、企業が利用を承認したソフトウェアにも、AIエージェントとして動く機能が知らないうちに加わる問題を取り上げた。企業に残る操作・判断の記録を見ても、人間とAIエージェントのどちらが判断したのか区別できない場合がある。「誰が責任を持ち、誰が操作しているのかを、開かれたインターネット上で確かめるのは難しい。AIエージェントは目標を追うだけで、組織の境界を気にしない」とイフサヌラーは述べた。AIエージェントの身元を検証できれば、企業が外部から来るエージェントの信頼性を判断し、誰が運用しているか追跡できると説明する。「高度な能力を持つAIが、インターネット上で匿名のまま活動することを、もはや当たり前にしてはならない」と語った。
フィクスラーは自律型AIシステムを評価する際に、3つの問いを示した。人間が意思決定の権限を保持しているか。AIは人間が意図しない行動を取ろうとしていないか。AIは自分の行動を隠したり、嘘をついたりしようとしていないか。Hugging Faceの事件では、理論上、責任を負うべき企業はOpenAIだと特定できるという。第三者が運用するAIエージェントが制御を逸脱した場合は、責任の所在がさらに分かりにくくなる。
AIを防御にも活用し、組織同士が安全に連携する仕組みを築く
プルーズは慎重ながらも楽観的だ。AIは攻撃者だけでなく、防御側にも強力な手段を提供する。AIを使った攻撃と同じ速度でAIによる防御を実行できれば、攻撃を成功しにくくする「拒否的抑止」が可能になるという。攻撃者が突破するための条件を変えられる、という考え方だ。
The Cyber Guildの共同議長で企業の取締役も務めるテレサ・シェイは、対策を急ぐ必要があると訴えた。「サイバー攻撃を巡る争いでは、AIが単なる戦術的な道具から、自ら行動する主体へ変わる根本的な転換が起きている。今回の討論会でも指摘された通り、固定的な防御策だけに頼るのをやめる必要がある。責任の所在と人間の監督を維持しながら、自律システム同士が組織の境界を越えて、安全かつ迅速に連携できる信頼の仕組みを築かなければならない」。
サイバー攻撃と防御の進む速度は、もはや人間がどれだけ速く作業できるかでは決まらない。攻撃側と防御側のAIが、どれだけ速く動けるかによって決まる。自社のシステムに何を許可するかという判断を先送りすれば、攻撃者のAIエージェントに先手を取られてしまう。
