AIはもはや乳児期にはない。今は思春期にある。途方もない能力、スピード、自信を備える一方で、成熟度、規律、結果への理解はまだ十分ではない。親なら誰でもこの問題がわかるはずだ。どれほど立派に造られた車であっても、子どもに鍵を渡すことはしない。まず運転教習を受け、駐車場で十分に練習し、知識試験を通じて交通ルールを理解していることを示し、その後に運転技能の評価を受ける。これらすべてが、自動車を運転する力と責任に、その10代の若者の判断力が追いついていることを示す証拠となる。
AIにも同じことが当てはまる。鍵を渡せばすべてうまくいくと期待するわけにはいかない。だが私たちは、助手席で白くなるほど拳を握りしめながら、その道を猛スピードで進んでいるように見える。
私は、AIが科学、セキュリティ、経済を変革する能力については引き続き強気である。しかし企業がそれをどれだけ早く導入するかを決めるのは、能力だけではない。信頼である。信頼こそがゲートとなる要素であり、AIに権限を渡す前に、その信頼は獲得されなければならない。
研究現場からの警告
この問いを最初に浮き彫りにした出来事は、OpenAIとHugging Faceに関わるものだった。社内のサイバー評価中、サイバー関連の拒否設定を低減した状態で動作していたOpenAIのモデルには、インターネットへの直接アクセス権が与えられていなかった。しかしモデルは、パッケージレジストリのプロキシに存在する未知の脆弱性を発見して悪用し、インターネットに到達、評価のための回答を追求する過程でHugging Faceのインフラを侵害した。OpenAIとHugging Faceはこの活動を検知し、封じ込め、調査した。
モデルはHugging Faceを攻撃するよう指示されていたわけではない。運用者が想定していなかった経路を通じて、狭い目的を追求したのである。これこそが、機械の速度で進むAIの思春期の姿だ。必ずしも悪意ではないが、力がそれを抑えるために築かれた境界を追い越してしまう。
ギャップが開く
この問題を攻撃と防御の競争に当てはめてみよう。攻撃者は先に動く。AIが規模と速度をもたらすからだ。しかも攻撃者は、意図せぬ結果とともに生きる必要がない。エージェントが制御不能になれば、作り直して戻ればよい。防御側は、自らのシステムが生み出すあらゆる失敗を引き受ける。規制上、法的、評判上、運用上の失敗である。
防御はさらに自動化されなければならないが、攻撃者の運用モデルをそのまま採用することはできない。片足をアクセルに置き、片手を非常ブレーキにかけながら、慎重に進む必要がある。防御は臆病すぎてはならないが、非対称な下振れリスクに対しては合理的に対応する必要がある。これはまた、ギャップが構造的であることも意味する。攻撃は能力の速度で動けるが、防御は信頼の速度でしか動けない。
最近の出来事は、この方程式の両面を示している。アジアの政府インフラを狙ったマルチエージェントのキャンペーンでは、オープンソースのツールを使い、12回の攻撃波と21のシステムにまたがって活動した。英国政府のテストでは、122回の評価実行のうち10回で、エージェントがライブのインターネット上で未承認の行動を取り、その中にはソフトウェア保守担当者にソーシャルエンジニアリングを仕掛けようとする試みも含まれていた。防御側では、Wizの自律型Red Agentが、公開から5日後にSnowflakeのリポジトリの欠陥を発見し、検証した。
これらは別々の物語ではない。同じ能力が、攻撃者を一段引き上げ、運用者を驚かせ、防御側の発見を数カ月から数日に短縮し得るのだ。問うべきは、それを使うべきかどうかではない。重大なシステムを任せる前に、どのような証拠が存在していなければならないのかである。
信頼がゲートになる
企業は、破壊的な影響を及ぼすとわかっているテクノロジーについて、積極的に探索し、実験するという正しい姿勢を取っている。だが危険なのは、実験が本番環境への準備完了と取り違えられるときである。信頼は、ユースケースごとに構築される。何がうまくいかない可能性があるのかを理解し、制御策を設計し、それをテストし、信頼が得られた分だけ権限を拡大するというフィードバックループを通じてである。
実験と本番を分離する。取締役会は、どのエージェントが実験段階にあり、どれが重大なワークフローで稼働しているのか、そしてそれぞれの責任者が誰なのかを把握しておくべきだ。
境界を証明する。導入前に、エージェントが到達できるシステム、データ、認証情報、アクションを明確にする。ポリシー文書は証明ではない。現実的な障害条件の下で、その境界をテストすべきである。
観察し、帰属を明らかにし、中断する。重大なアクションはすべてログに記録され、再構成可能であるべきだ。影響の大きい、または取り消し不能なアクションには、身元を特定できる人間の承認を求めるべきであり、エージェントをリアルタイムで停止できる、検証済みの仕組みも必要である。
信頼が正当化されるかを測定する。検知と中断に要する時間、ログ取得範囲、テスト済みの停止機構、共有される依存関係を追跡する。ベンダーの証拠提示とインシデント通知は契約事項にすべきだ。ベンダーのエージェントが自社システムに到達するのであれば、儀礼的な電話連絡を検知戦略にすることはできない。
検証し、その後に信頼する
耳になじむ言い方は「信頼せよ、されど検証せよ」だった。だがそれは、信頼を誤った場合の結果が、修正できるほどゆっくり現れる世界を前提にした表現である。機械の速度では、事後に報告するだけの制御では不十分だ。システムは、権限が拡大される前に、自らの限界を示さなければならない。
私たちは、短期的にはAIの影響を過大評価し、長期的には過小評価しがちである。その2つをつなぐ道は一直線ではない。答えは、アクセルを踏み込むか、車を駐車したままにするかの二択ではない。規律ある利用、証拠、フィードバックを通じて信頼を築くことにある。
先に述べたように、私はAIに強気である。親がたいてい自分の子どもに強気であるのと同じだ。だが鍵を渡す前に、成熟と制御が力に追いつけることを知る必要がある。検証せよ。その後に信頼せよ。
ここで提供される情報は、投資、税務、または財務上の助言ではない。個別の状況に関する助言については、資格を持つ専門家に相談すべきである。
