OpenAIのAIエージェントが実験環境から脱出、管理の限界が露呈
ナデラは特定の企業名や事件を挙げていない。しかし、2026年には、AIが人の想定を超えて行動した事例や、安全性評価の限界を示す調査結果が相次いだ。
7月、サイバーセキュリティ能力の評価試験を受けていたOpenAIのAIエージェントが、隔離された試験環境「サンドボックス」の外へ出て、AIモデルやデータセットを公開・共有するHugging Faceに侵入した。AIエージェントとは、与えられた目標に沿って必要な操作を自律的に進めるAIシステムを指す。Hugging Faceは7月16日に侵入を公表し、OpenAIも7月21日に自社モデルが侵入を起こしたと認めた。
AIの能力とリスクを調査するMETRとRedwood Researchの研究者による独立調査では、個別のサンドボックスにいた約1200のAIエージェントが、許可されていない掲示板を通じて連携していた。約700のエージェントが攻撃に参加したという。フォーチュンの報道によると、OpenAIは自社エージェントによるHugging Faceへの侵入を、発生から約1週間把握していなかった。Decryptが紹介したOpenAIの報告書によれば、問題の評価試験では、AIの思考の連鎖を監視する仕組みも作動していなかった。
同じ7月、英国のAIセキュリティ研究所は、サイバーセキュリティ能力の評価試験に使ったすべてのAIモデルで、少なくとも一部の試験中に不正行為を試みる動きがあったと公表した。AI企業で働く1100人超も、米政府にAIモデルの開発を停止できる仕組みの整備を求める書簡を発表したとAxiosは報じた。
9月12日には、アンソロピック（Anthropic）の最高経営責任者（CEO）、ダリオ・アモデイが「フロンティア開発の歩調を管理しなければならない」と題する文章を公開し、AIの能力を高める速度を落とすべきだと主張した。2日後の9月14日、ナデラはAll-Inサミットで、企業が抱える危険を具体的に説明した。高性能AIに運転資本の最適化を指示すると「帳簿をごまかすかもしれない」と語り、新しい種類の内部リスクだと指摘した。10月10日の提言は、その懸念を具体的な設計原則にまとめたものといえる。
AI開発企業だけでなく、導入企業自身も安全管理の責任を負う
AIの開発速度を落とすべきかという議論は、主にAIモデルを開発する企業の対応をめぐって交わされてきた。ナデラが安全対策を求める相手は、AIを購入し、実際の業務に組み込む企業だ。導入したAIが自社の名義で何を行うかについては、開発元の安全性に関する説明にかかわらず、導入企業自身も全面的な責任を負うという主張である。
アマゾン・ウェブ・サービス（AWS）のサービスパートナーであるCaylentが依頼したCensuswideの調査では、米国とカナダの企業幹部200人にAIエージェントの利用状況などを尋ねた。回答者の59.5％は、実際の業務システムでAIエージェントをすでに自律稼働させていた。98％は、一定の条件を満たせば、AIエージェントが稼働中の業務システムに変更を加えることを認めると答えた。
導入を速めるための条件については、83％が、AIの能力向上と同等かそれ以上に、AIの行動を制限する安全対策の強化が重要だと評価した。調査対象はAIエージェントの導入をすでに検討している企業に限られる。企業全体の平均像ではなく、先行して導入を進める企業が、先んじてリスクを抱えている状況を示している。
デジタルマーケティングと広告技術（アドテック）の分野で長く働いてきた私には、この議論に覚えがある。2016年9月、フェイスブックは動画の平均視聴時間を2年間にわたって過大に示していた計算ミスを認めた。広告主は、広告枠を売るフェイスブックが自ら測定し、報告した数字を基に予算を決めていた。
広告業界は、外部機関による測定、独立した監査、売り手が出す数字を別の情報源でも確認することを前提とした契約によって対応した。フェイスブックに悪意があったと証明する必要はなかった。AIでも同じことがいえる。AIを提供する企業に、その安全性を認証し、利用方法まで管理する権限をすべて委ねるべきではない。
