他社AIモデルの評価でも確認された、試験環境を越えて行動する問題
OpenAI、アンソロピック、メタ（Meta）のモデルを使った評価でも、同様の事例が起きたと報告されている。アンソロピックは14万1000件を超える評価試験の実行記録を調べ、複数の事例を確認した。OpenAIは、意図しない、または懸念を伴うモデルの行動を追跡・調査・開示する枠組みを導入した。
AIモデルがブラウザーやコマンド操作に使うターミナル、ソフトウェアツール、実際のネットワークへ接続される機会は増えている。開発者が設定した境界をモデルが越える事例は、単発の試験ミスではなく、業界全体で解決すべき問題に見えてくる。
AIエージェントにどこまで権限を与え、どこで行動を制限するかは、グーグルだけの問題ではない。AIの安全性確保と株主利益が両立しない場合、企業がどちらを優先するのかを投資家は見極める必要がある。
Geminiが危険な状況を生むのに犯罪の意図は必要なかった。必要だったのは、アクセス権と指示、それにどの範囲で作業を許されているかについての誤った認識だけだ。企業がAIシステムへより大きな責任を与えるにつれ、こうした組み合わせは増えていく。
AIエージェントの高速・自律動作が通常の業務ミスを大きな損失へ広げる
現在も多くの投資家は、AIを質問を待って回答するソフトウェアだと考えている。AIエージェントは、計画を立て、アプリを開き、データベースを調べ、コードを書き、他のシステムと通信し、各段階で人の承認を求めずに行動できる点が異なる。グーグルは最新のGeminiモデルについて、知能と行動を組み合わせ、複雑な複数段階の作業を完了できると説明している。
企業がAIエージェントを求めるのは、人手を要する作業の費用を減らし、処理時間を短縮できるためだ。問題は、企業のセキュリティーシステムが主に人と機器を対象に設計され、複数のアプリで数千回の操作をこなす自律型ソフトウェアを想定していないことにある。AIエージェントは複数のIDを使って連続稼働し、人が実行前にすべての判断を確認できない速さで動く可能性がある。
悪意も大げさな行動もなくてもリスクは生じる。財務担当のAIエージェントが正当な請求書へ2度支払い、調達担当のAIエージェントが誤った仕入れ先へ発注するかもしれない。コーディング用AIエージェントが試験環境だと思い込み、本番データベースを書き換える可能性もある。顧客対応用AIエージェントが、名前の似た2人を取り違え、個人情報を誤送信することも考えられる。いずれも業務上起こり得るミスだが、AIエージェントの速さとアクセス権によって影響が増幅される。
人間より速く動くAIにも、従業員と同じ役割・権限・承認管理
人間の従業員には上司がおり、役割が定められ、その役割に応じて権限が与えられる。ソフトウェアは人よりはるかに速く動くため、企業はAIエージェントにも、人間の従業員と同じように役割と権限を明確に管理する必要がある。重要な仕事を任せるという理由だけで広範なアクセス権を与えるのは、新入社員へ初日に建物の鍵をすべて渡すのと同じである。
企業がAIエージェントを導入したい理由は、人が介在する確認や手続きを減らし、定型業務を速く進められるからだ。Geminiの事例は、確認や制限をすべて取り除く危険も示した。承認、制限、待ち時間の一部は、誤った処理による損失が、数秒早く処理できる利益を上回るために設けられている。
