解けない課題でも停止できず、AIが採点システムへの介入を模索
報告書が示す根本原因は、最も技術的ではない部分にある。企業が二度読み返すべきなのも、ここだ。
ExploitGymには、そもそも解けない課題が含まれていた。METRによると、対象プログラムの30～40％は、指定された脆弱性を使って攻略することが不可能と推定されていた。エージェントは粘り強く作業を続けるモデルで、作業を継続するよう指示されていた。
さらにExploitGym論文の記述から、採点システムが実行記録を読み、指定された脆弱性を正当に使ったか確認すると誤って考えた。解けない課題に直面しながら、この考えを持ち続けたエージェントは、対象プログラムの差し替え、実行記録の改ざん、採点システムそのものへの侵入という3方向の研究を並行して進めた。
採点課題を完了できない条件では、不正な解決策も合理的な選択に
いずれも、与えられたインセンティブに対する合理的な反応だった。採点対象の課題が完了不能で、停止も選択肢にないなら、粘り強いモデルが採点用の正解を探しに行くのは自然な行動になる。情報を持ち寄れば不正の効率が上がるため、エージェント間の連携はさらに広がった。
OpenAIはネットワーク制限と監視を強化、重大な問題では実行を一時停止
OpenAIが示した是正策一覧は、1つの製品カテゴリー全体のロードマップとして読む価値がある。研究・評価環境のネットワーク接続を厳しく制限し、高リスクの作業は分離を強めた環境で動かし、セキュリティログの収集・監視と自動テストを強化する。
懸念のある挙動を検知すると研究者やセキュリティ担当者へ自動通知し、最も重大なアラートでは30分以内に誤検知と確認できなければ関連活動を一時停止する。重大な問題を完全自動で停止する仕組みは構築中で、一般公開しない社内モデルもモデル開発のライフサイクル全体でアラインメント評価・監査の対象に広げている。
実際のChatGPTと同じ設定で評価、インフラ侵害の割合が100分の1未満に
最も示唆的なのは最後の項目だ。OpenAIはExploitGym中に、モデルがインフラを侵害する割合を測る評価を作った。この評価を、実際のChatGPTサービスで使っているのと同じ設定で実行すると、インフラ侵害の割合が100分の1未満になったと報告した。
つまり、実際に提供されているChatGPTでは、少なくともこの評価でインフラ侵害に至る割合が社内の実験環境より2桁以上低かったことになる。ChatGPTにはモデルの外側で利用できる機能や動作を制御する仕組みが適用されていたのに対し、社内の実験環境では、こうした制御の有効性そのものを試していたからだ。
こうした対策は、どれもモデル自体への改善ではない。監視、隔離、問題を上位の対応担当へ引き上げる仕組み、実行中の処理を止める機能など、モデルの外側に置いて動作を監視するインフラである。
