Ringがスーパーボウルで迷子犬のストーリーを放映するために800万ドルから1000万ドルを費やしたとき、同社は監視の危機を生み出したわけではなかった。すでに存在していた危機を露わにしたのだ。その後に巻き起こった激しい反発——党派を超えた怒りと迅速な反応——は、新たな脅威への対応ではなかった。目に見えなかったインフラが可視化された瞬間だったのである。そして可視化こそ、テクノロジー業界の組織が最も生き残る準備ができていないものだと判明した。
何が間違っていたのか。その核心には3つの失敗がある。いずれも技術的な問題ではない。
第一は、システムの問題を製品機能として捉えたことだ。Ringは監視ネットワークを構築したのではない——すでに存在していたものにブランド名を付けたのだ。Search Party機能は米国の家庭にある約2000万台のデバイスでデフォルトで有効になっていた。それに名前を付け、広告を打ち、ミロという名のラブラドールを結びつけたことで、インフラとアイデンティティの間の距離が一気に縮まった。人々の怒りは犬に向けられたものではない。犬が人々に見せたものに対する怒りだったのだ。
第二は、規制への準拠と社会的正当性を混同したことだ。Robloxは顔認証による年齢確認システムを構築したが、これは1人の連邦判事の下に集約された115件の児童搾取訴訟に対応するためだった。1日1億5000万人のユーザーのうち42%が13歳未満である。自動車業界はこの問題をとうの昔に別の方法で解決している。エアバッグや衝突防止システムは構造的に義務付けられており、オプション設定ではない。Robloxのシステムは数日で突破され、年齢確認済みの子ども向けアカウントがeBayで4.49ドルで出品された。このポリシーは安全な大多数に負担を強いる一方、悪意ある者にはほとんど障壁にならなかった。
第三は、認識の問題をデザインの問題ではなくコミュニケーションの問題として扱ったことだ。医療分野では不正検知、画像診断、投薬推奨にAIが導入されており、一部のシステムには文書化された不正確さや既知の人種的バイアスが存在するが、同等の反発は起きていない。それは医療AIがより安全だからではない。そのインフラが見えないままだからだ。その一部でも広告を打たざるを得なくなった瞬間、同じ清算の時が訪れるだろう。
「Ringの迷子犬探し機能への怒りは、実際にはRingに向けられたものではなかった。ある企業が暗黙のものを明示的にした瞬間への怒りだったのだ」
あなたはすでに鍵を渡している
ここに、どちらの事例でも誰も率直に指摘しなかった皮肉がある。FTC（米連邦取引委員会）と司法省は2023年、Amazonが子どものAlexaの音声録音を無期限に保持し、保護者からの削除要求を拒否し、3万人の従業員にユーザーの音声ファイルへのアクセスを許可していたとして告発した。民事制裁金は2500万ドルだった。Echoデバイスは今も何百万もの子ども部屋に置かれている。
あなたはすでに監視されている。Alexaが夜中に子どもに話しかけていた事例は記録されている。Googleはあなた自身が認識する前に、あなたの政治的傾向を把握している。ChatGPTはあなたの最もプライベートな質問や悩みを保持している。Apple Watchは口論中のあなたの心拍数を記録している。Amazonはあなたが何を食べ、何を欲しがり、何を買うのをためらっているかを知っている。あなたのポケットの中のデバイスは、人類が築いた中で最も高度な監視ツールだ——そしてあなたは、それを解除するために自らの指紋を与えることを選んだのである。
RingとRobloxへの反発は、本質的に監視についてのものではなかった。同意、可読性、そして私たちのデジタルライフを支配する規約が、ほとんどの人が読んだことのない言語で書かれていたという不穏な認識についてのものだった。人々の信頼の閾値は一様ではない。ゲームプラットフォームに躊躇なく顔を差し出す者もいれば、抗議のためにドアベルの接続を切る者もいる。どちらの反応も合理的だ。合理的でないのは、そうした差異を反映したガバナンス構造なしに、大規模なシステムを構築することである。
ルールを作るか、習慣を作るか——できれば両方を
答えはプラグを抜くことではない。自動車業界が要求し、医療が徐々に求められるようになっているものを要求することだ。すなわち、あらゆる重要な判断ポイントでの人間による監視、公共に影響を与えるリスクを持つすべてのシステムの独立した監査、そして自主的な誓約やプレスリリースではなく真の執行力を持つ規制の枠組みである。
AIは組織が望むから安全になるのではない。安全性こそが唯一の経済的に実行可能な道となるガバナンス・アーキテクチャを私たちが構築するから、安全になるのだ。テクノロジーは変数ではない。その周りに私たちが構築する制度こそが変数なのである。
そうしたアーキテクチャが存在するまで、責任は個人に不均等にのしかかる。
今から身につけておくべき習慣がいくつかある。
- 家に持ち込むすべてのデバイスのデフォルト設定を確認し、意識的に共有することを選んでいないものはオフにする。
- オプトアウトは恩恵ではなく権利として扱う。
- ウェアラブル端末が生成するデータの所有者は誰か、顔を渡す前に認証ベンダーは誰か、子どもの声や画像を預けようとしているプラットフォームがそれを悪用して規制当局から処分を受けたことがあるかを確認する。
これらのいずれも政策の代わりにはならない。しかし、声に出して質問する情報を持った利用者は、いかなる訴訟よりも早く組織を動かす市場圧力を生み出す。消費者が送ることのできる最も強力なシグナルは、スーパーボウルの広告の後の怒りではない。同意する前に、何に同意するのかを知ろうとする、意図的で静かな決断である。
