生成AIは、デジタルファイルを確実に検証する人間の能力を上回ってしまった。写真、動画、音声記録、文書に基づいて意思決定を行うあらゆる企業は今、破綻した前提の上で業務を行っている。
カリフォルニア大学バークレー校情報学部教授でGetReal Securityの共同創業者であるハニー・ファリド氏を特集したBerkeley Talksポッドキャストの新エピソードは、この軌跡を明確に示した。ファリド氏は20年にわたり画像操作を研究してきた。同氏によれば、ディープフェイクについての議論は約10年前から行われてきたが、この2年間は本質的に異なるという。かつては生成に数分を要した静的なディープフェイクファイルは、リアルタイムで会話を続けられる完全にインタラクティブなディープフェイクへと進化した。同氏の研究によれば、AI生成コンテンツに対する人間の検出能力は、偶然よりわずかに優れている程度だという。かつては資金力のある国家機関に限定されていたツールが、今や数十億人の一般ユーザーが利用できるようになった。
これはソーシャルメディアの問題ではない。データで動くあらゆるシステムの問題だ。
問題はインターネットフィードより大きい
裁判所は動画を証拠として採用する。保険請求は写真、録音された陳述、遠隔医療の映像に基づいて進められる。人事調査は通話記録とチャットログに依存する。銀行の送金承認は音声確認で実行される。企業の不正調査は請求書、契約書、署名に基づいて行われる。ガバナンス紛争や合併完了は、会議の記録とデューデリジェンス文書によって左右される。
これらのプロセスはすべて、誰かがどこかで証拠を見てそれが本物かどうかを判断できるという前提に基づいて意思決定を行っている。ファリド氏の研究は、この基本的な前提が崩壊したことを示している。
検出、認証、証明は同じではない
ファリド氏は検出で名声を築いた。操作の痕跡を探すための画像と動画のピクセルレベル分析で、最も顕著なのはバラク・オバマ氏や他の公人の捏造された政治動画に関する研究だ。これがGetReal Securityが現在商業化している業務である。検出はファイル自体を合成の兆候について調べる。ピクセルパターン、圧縮アーティファクト、生成器のフィンガープリント、物理的な不整合。出力は確率スコアだ。スコアリングはトリアージ機能である。大規模プラットフォームや大量の保険請求パイプラインが量を管理するのに役立つ。このようなソリューションが必要なのは、量が多いからだ。
しかし、検出は認証ではない。認証とは、特定のファイルがそれが主張する通りのものであるかという問題だ。この作業は、ファイルをそれを生成したとされる情報源まで遡り、その過程で保管の連鎖をテストする。トレースが元のデバイスやシステムに近づくほど、認証は強固になる。認証は規制当局への提出書類、内部調査、初期の紛争に耐えうる。
しかし、認証は証明ではない。利害関係が高まり、ファイルが法廷で争われる場合、基準は再び上がる。資格を持つデジタルフォレンジック専門家は、ファイル自体を超えて、それを生成または保存したであろうデバイスとシステムまで調査する。電話。コンピューター。クラウドアカウント。病院システム。デバイスレベルの調査は、法的開示を通じて収集された記録と連携し、法廷で認められる証言を生み出す。デジタル証拠が争われる場合、判決はこれに基づくべきだ。
インタラクティブなリアルタイムディープフェイクに関するファリド氏の警告は、さらに利害関係を高める。Zoom通話上のライブの合成顔や電話回線上のライブの合成音声は、その瞬間に捕捉できないことが多い。数週間または数カ月後に紛争が発生した場合、証明への唯一の残された道は、記録されたものを作成または捕捉したデバイスとシステムを通じて進む。
検出、認証、証明という3つの言葉は、現在の議論で互換的に使用されている。これらは互換性がない。これらが互換性があると仮定して業務を行う企業は、裁判官の前でその違いを学ぶことになる。
実際の手続きはどのようなものか
デジタルファイルに基づいて何かを決定するあらゆる機関は、複数の防御層を含む手続きが必要だ。
受付時には、ファリド氏の研究が実現を支援したツールのクラスを含む、自動検出スコアリング。レビュー時には、信頼ではなく懐疑を適用する訓練された人間。紛争時には、ファイルを認証し、必要に応じて法廷で認められる証拠として提出できる資格を持つデジタルフォレンジック専門家へのエスカレーション経路。
この手続きがなければ、紛争はより自信を持って聞こえる側によって決定される。これがあれば、紛争は証拠が実際に示すものに基づいて決定される。今これらの手続きを構築するコストは、証拠が一度もテストされなかったために重要な案件を1件失うコストのほんの一部だ。
請求書は一度に届かない
デジタルファイルへの信頼は、単一の出来事で侵食されるのではない。それは事例ごと、請求ごと、和解ごとに侵食される。誰も捕捉しなかった偽造契約。送金を引き起こした合成ボイスメール。陪審員が信じたディープフェイク動画。それぞれは単独では小さい。積み重なると、それらは機関の決定が信頼されなくなる理由となる。
ファリド氏の研究は、何年も企業に向かって漂ってきた問題に日付を付けた。カリフォルニア州裁判所は最近、原告がディープフェイク動画を証拠として提出したことを発見した後、訴訟を却下した。問題はすでに法廷内にある。検出、認証、フォレンジックエスカレーションを今手続きに組み込む機関は、決定が異議を唱えられたときにまだ答えられる機関だ。そうしない機関は、四半期決算説明会への道ではなく、法廷への道でギャップを発見することになる。
