筆者はキャリアの大半をテクノロジー業界で過ごし、大企業が最重要システムを導入するのを支援してきた。その世界では、安全性や信頼性を欠く製品をリリースすることなど考えられない。障害が起きれば、多額の金銭的責任を招き、企業の評判を修復不能なほど傷つける可能性がある。厳格な統制は情報技術への信頼を築き、それが現代経済の中心に位置することを確かなものにしてきた。現在の暴走AIをめぐるパニックは、こうした基本原則を見落としている。強力なシステムには、それを開発し利用する人々による適切な監督が必要だ。AI業界は、自発的な動機を持つ知覚システムという物語ではなく、ビジネス統制を再び重要なものとして位置づけるべきである。
OpenAIやAnthropicなどで起きた最近のセキュリティ侵害を説明する際に使われる言葉は、品質と統制から注意をそらしている。エージェントが策を巡らせる、あるいは自由を求めると語ることは、ソフトウェアに独立した動機があるかのような外観を与え、これらの製品をどのように開発しリリースするかを決める人々の責任を背景に追いやる。人間がAIエージェントに目標を与え、エージェントはその目標に向けて最適な道筋を選びながら、複数のステップにわたってタスクを遂行する。エージェントは、不透明なネットワーク内部での一連の数学的最適化ステップを通じてそこに到達する。人間はこうしたネットワーク、すなわちモデルの訓練とテストを設計し、実行する。予期せぬ振る舞いは重大な工学上の問題を提起するが、それを人間になぞらえて説明しても、誰が被害を防ぐべきだったのかを明らかにする助けにはほとんどならない。
OpenAIのチーフサイエンティストであるヤクブ・パチョツキは、自らの創造物を「異質な知性」と呼び、AIは設計されるのではなく、育てられるものだと述べている。コードであらゆるステップと応答を指定する代わりに、AIモデルは反復的な最適化を通じて訓練されるため、開発者がその振る舞いを予測することは難しく、実質的に不可能でさえある。この不確実性は、モデル開発者が自社製品を監督し、予測不能な振る舞いを前提とした統制を構築する義務を高める。AI開発者は、自らのシステムが何にアクセスできるのか、どのようなセキュリティ対策が講じられているのか、そして製品が研究室の外で稼働する準備ができているのかを決定する。AIは強力なテクノロジーだが、その能力がどれほど異例であっても、意思決定を行う人々はなお義務を負っている。
異質な知性が培われ、育てられるというパチョツキの比喩には、責任が伴う。愛情深い親は注意深く見守り、限界を設け、必要なときには介入する。ビジネスにおける同等の責任とは、リーダーが自分たちのチームが何をテストしているかを把握し、必要に応じて実験を止める統制を実装することである。
テストから導入までAI統制を用いる
「企業が基本的な予防措置を講じるべきだと期待するために、未解決の技術的課題をめぐる意見の相違を解決する必要はない」と、プリンストン大学のコンピューター科学者で研究者のサヤシュ・カプールとアルヴィンド・ナラヤナンは書いている。2人はAIブームに懐疑的な立場の一人であり、AIを通常のテクノロジーとして捉える見方を提唱している。彼らの分析は、より強固な安全策を生み出すために継続的な研究とイノベーションが必要であることを認めつつ、従来型の統制を重視している。最近相次いだ侵害は、業界にその両方が必要である理由を示している。
Hugging Faceのセキュリティ侵害に関するOpenAIの説明では、内部モデルテスト中に開発者がエージェントに難度の高いサイバーセキュリティタスクを割り当て、エージェントプログラムが共有ファイルを使ってメッセージをやり取りした経緯が記されている。プログラムは、見つけた情報を伝え、作業を調整するために共有ソフトウェアサービスを掲示板のように使い、オンライン上に露出していたアクセスキー、すなわちパスワードに相当するものを用いてHugging Faceに侵入した（それ自体、人的な運用セキュリティ上よくある脆弱性である）。人間のハッカーと同じように、プログラムはさらなるソフトウェア上の欠陥を探り、より広いアクセス権を得た。その中には、攻撃対象のコンピューター上でエージェント自身のコマンドを実行できる脆弱性も含まれていた。並行してOpenAIでは、別の攻撃により研究システム内のコンピューターへの管理者アクセスが確保され、テスト環境の堅牢性不足が露呈した。
管理と監督の失敗も、この侵害の一因となった。エージェントが通信に使っていたソフトウェアサービスを混乱させた後、OpenAIはそれらの脆弱性にパッチを当て、テストを再開した。しかし、より広範な問題を完全には理解していなかった。修復は個別の弱点に対処したものの、意図された隔離を回復することには失敗した。
ここで重要になるのが、従来型の技術統制とビジネス統制である。こうしたインシデントは、特にシステムテスト中であれば、システムがどのように失敗したのかについての調査を引き起こし、通常業務の再開を認める前に承認プロセスを起動すべきである。ベストプラクティスでは、テストを完了しようとしているチームが自らの作業を承認することは認められるべきではない。これは自動化された作業と人間による監督の組み合わせである。行動を起こし、他のエージェントを動員できるエージェントについては、タスク完了までの全プロセスを技術的な安全策で管理しなければならない。
AIエージェントが普及する以前、従来型のチャットボットインターフェースを管理するために使われていたガードレールでは不十分である。AIの開発者と導入者は、以前は機能していた統制をモデルが突破できるかどうかを現実的な条件下でテストし、問題を検知した場合にはリリースを止めなければならない。NvidiaのCEOであるジェンスン・フアンは、ニューヨーク・タイムズとのインタビューで、リリースに伴う義務をこう表現した。「製品が出荷できる状態にないなら、出荷してはならない」。同じ規律は、他の組織に到達し得る実験にも及ばなければならない。ある活動をテストと呼ぶことは、その影響に外部者をさらす言い訳にはならない。
AI統制をビジネス上の義務にする
この夏のインシデントをめぐる警戒論は、劇的な政治的対応を生み出している。バーニー・サンダース上院議員（バーモント州選出、無所属）とグレッグ・カサール下院議員(テキサス州選出、民主党）は9月23日、人工超知能禁止法案を提出した。この法案は、「ほとんどの領域で人間の認知能力と遂行能力を上回るAI、または連邦政府の転覆を含め、人類を破壊または無力化する十分な能力を持つAI」の開発または導入を恒久的に禁止するものだ。また、連邦の安全規則が整備されるまで先進AIの開発を一時停止することを求め、閣僚級の人工知能省を設置する。罰則には、国際的な禁止を確保する取り組みと並んで、企業解散や禁錮刑が含まれる。
国民を守る最善の方法は、有益な研究を止め、より広範な経済を減速させる禁止措置ではない。出発点となるのは従来型のビジネス統制であり、取締役会は不備のある実験について経営陣に責任を負わせ、プロジェクトを阻止する権限を持つ独立した安全審査を義務づけるべきである。立法者はその役割として、深刻なインシデントの開示を企業に義務づけ、その義務を怠った場合には結果を負わせるべきである。連邦レベルの指針がない状態が続くなか、各州はこの面で前進している。
既存の責任法や過失法を執行すれば、統制の軽視には高いコストが伴うようになる。安全基準を策定すれば、開発者に行動の最低基準を示し、法的セーフハーバーの可能性に向けた基盤を確立できる。こうしたインセンティブが整えば、AI開発者、とりわけフロンティア領域の開発者は、安全のためのリソースをどう優先配分するかについて投資判断を下せる。
フロンティアAI研究所が成長するにつれ、成熟した上場企業に期待される規律を採用しなければならない。取締役会は、より大きな自律性を承認する前に、統制の証拠を求めるべきである。経営陣がAI統制を事業を行う条件として扱い、その執行責任を受け入れるとき、AI統制は再び重要なものとなる。
