カルビン・ヤダブ氏は、連続起業家であり、IREXの共同創業者兼CEOである。
都市の監視管理室を思い浮かべると、大型スクリーン、リアルタイムフィード、地域全体の活動や交通、公共スペースを監視する職員の姿が目に浮かぶだろう。おそらく印象的で洗練されている。まるで全てを管理しているかのように見える。
しかし、大型スクリーンには映らない問題がある。私は何度もこの問題を目にしてきた。監視がどのように活用されているのか、誰が情報を使って何をしているのかといった単純な質問をすると、すぐに沈黙が訪れる。
誰がそのカメラにアクセスしたのか？なぜその検索が実行されたのか？何がそのアラートを引き起こしたのか？ほとんどの場合、明確な答えは存在しない。
これこそが、誰も語らないリスクである。隠れた法的リスクとは、説明責任なのだ。
これらのシステムはあらゆる場所に導入されているが、実際にどのように使用されているかを誰かが尋ねたとき、特にAI時代においては、それを説明する方法がないことが多い。
説明責任の空白
都市がAI監視技術を購入する際、従来の技術購入と同じアプローチを取る。機能、精度、ダッシュボード、価格を重視する。印象的なデモを見て、チェックボックスにチェックを入れ、承認を得て、前に進む。
デモは常に素晴らしい成果を見せる。
問題が表面化するのは後になってからだ。市民が決定に異議を唱えたとき、記者が記録を要求したとき、あるいは法的訴訟が正確な経緯の追跡に依存するとき。そして驚くべきことに、記録が存在しない。誰がどのシステムにアクセスしたかの記録がない。なぜ検索が行われたかの文書がない。人間がそれを確認したかどうかの可視性がない。
システムは想定通りに機能したが、誰もそこに至った経緯を説明できないのだ。
特に、ますます多くのシステムがAIを統合する中で、私にとって繰り返し浮かぶ基本的な質問がある。これらのツールを使用する人々を誰が監視しているのか？
現時点では、一貫した答えは存在しない。
数千枚の画像に対して顔認識を実行できる。都市全体の移動パターンを追跡できる。複数のシステムから同時にデータを取得できる。
しかし、その活動を特定の人物、特定の理由、特定のケースまで遡ろうとすると、そこで全てが崩壊する。
ほとんどの導入において、検索を意味のある方法で記録する要件は存在しない。説明責任の基準もなく、事後的に何が起こったかを再構築する方法もない。
都市は自らのデータを管理していない
都市がAI監視技術を購入する際、監視データは都市に帰属すると想定する。結局のところ、都市は税金でカメラの費用を支払い、システムは公共の財産に設置されている。都市がデータを所有し管理すべきだろう？
しかし、答えは「ノー」であることが多い。
契約書の細かい文字を見ると、通常、技術ベンダーがデータの保存場所、処理方法、使用方法を管理していることがわかる。場合によっては、契約が終了した場合にそのデータを再利用したり、販売したりする権利を保持している。
これは長期的な問題を生み出す。ベンダーを切り替えると履歴を失う。住民のデータがどこに存在するかを完全には管理できない。そして、アクセスや使用に関する基本的な質問をされたとき、明確な答えを持っていない。
これはすでに起こっている。ナンバープレートシステムは移動パターンを構築する。そのデータはシステム間で照合され、共有される。データへのアクセスが悪用される。安全のために意図されたツールが、本来の目的とは異なる用途に使用される。
例を挙げよう。都市で働く不満を抱いた元恋人が、1枚のナンバープレート画像を通じて元恋人の居場所にアクセスする。彼はデジタル上で彼女の動きを追跡できる。彼女をストーキングでき、誰もそれを知らず、止める能力もない。何か恐ろしいことが起こった場合、誰が責任を負うのか？
だからこそ、私が都市とAI技術の導入に取り組む際、私のルールはシンプルだ。あなたの都市、あなたのデータ、あなたのインフラ、あなたの管理。それ以外は後で問題になる。
リーダーが今問うべきこと
都市が完全には理解していないシステムを展開する場合でも、そのシステムの結果として起こることに対する責任を負う。
それは法的異議申し立て、プライバシー問題、決定を説明または擁護できないケースに現れる。それ以上に、信頼に現れる。人々が誰も説明できない何かによって監視されていると感じると、その信頼関係は急速に崩壊する。
あなたが市長またはCIO（最高情報責任者）であれば、すべての技術的詳細を理解する必要はない。しかし、いくつかのことについて明確な答えが必要だ。技術ベンダーに尋ねるべき質問は以下の通りである。
1. 誰がいつ、なぜシステムを使用したかを正確に示すことができるか？
2. データはどこに存在し、契約が終了したときにどうなるのか？
3. 誰かがこのシステムを不適切な方法で使用することを何が防ぐのか？
これらの答えが明確で検証可能でない場合、あなたは自分が認識している以上のリスクを負っている。
公共の安全におけるAIは真の利益をもたらすことができる。私は行方不明の子供を見つけ、対応時間を短縮するのに役立つのを見てきた。しかし現時点では、使用方法に対する管理がほとんどない状態で強力なツールを導入している。
結局のところ、AI監視システムがどのように使用されているかを説明できないのであれば、それを使用すべきではない。
