AI（人工知能）は、ほとんどの企業において実験段階から実行段階へと移行した。これらのAIツールは現在、コンテンツを生成し、データを分析し、ワークフローを自動化し、財務上の意思決定にますます影響を与えている。しかし、導入が加速するにつれて、信頼は崩壊している。
その崩壊が最も危険なのは、ディープフェイクとAI主導の偽情報の台頭においてである。
ディープフェイクの音声、動画、合成されたアイデンティティは、もはや周辺的なリスクではない。それらは詐欺グループにとっての実用的なツールとなっている。攻撃者は現在、わずか10秒から30秒の録音された音声があれば、経営幹部、ベンダー、従業員を説得力を持ってなりすますことができる。これらの攻撃はリアルタイムで展開され、従来のセキュリティトレーニングを完全に回避することが多い。
その結果は、単なる詐欺の増加ではない。それは、リーダーと従業員の間の信頼のギャップの拡大であり、企業がAIに多額の投資を行っているにもかかわらず、組織を危険にさらすものである。
AIへの不安は現実だが、責任が恐怖を形作る
筆者の会社であるProsper Insights & Analyticsの調査によると、AIに対する懸念は組織全体に広がっているが、その懸念の理由は役職によって大きく異なる。全体的な最大の懸念は、AIが不正確な情報やハルシネーション（幻覚）を提供することであり、この問題は偽情報がディープフェイクを通じて配信される場合、はるかに危険になる。
経営幹部と事業主の40%が、不正確なAI出力を最大のリスクとして挙げているのに対し、従業員は31%である。測定されたほぼすべてのリスクカテゴリーにおいて、経営幹部は一貫してチームよりも大きな懸念を表明している。
この格差は矛盾ではない。それは説明責任を反映している。リーダーは、財務上の損失、規制上のエクスポージャー、評判の損傷に対して責任を負っている。
対照的に、従業員はAIを主に生産性ツールとして経験している。AI生成の偽情報が不正な支払いやデータの侵害につながった場合、その結果は経営層レベルに降りかかる。
「ディープフェイクは、信頼とリスクの間の距離を崩壊させる」と、NetarxのCEO兼創業者であるサンディ・クローネンバーグ氏は述べた。「偽の情報が馴染みのある声から来ると、人々はそれを分析せず、それに基づいて行動する」
ディープフェイクは無知ではなく、自信を悪用する
従業員の懸念が低いことは安心できるように見えるかもしれないが、それは別の何か、つまり誤った自信の感覚を示している可能性もある。ディープフェイク攻撃が成功するのは、従業員が不注意だからではなく、欺瞞が正当に感じられるように設計されており、彼らに行動を疑う理由を与えないからである。攻撃者は権威、緊急性、親しみやすさを武器にする。これらの要求はしばしば日常的に見え、疑問を抱かせないほど時間的制約があるだけである。
「ほとんどのディープフェイク詐欺は疑わしく見えない」とクローネンバーグ氏は述べた。「それはたまたま緊急である、完全に正常な要求のように見える」
独立した研究がリスクを裏付けている。研究によると、ディープフェイクコンテンツを識別する自信は高いままであるが、実際の検出精度は極めて低い。合成メディアがより現実的でアクセスしやすくなるにつれて、認識は現実に遅れ続けている。
自信と能力の間のそのギャップこそが、偽情報が繁栄する場所である。
真のリスクは恐怖ではなく、誤った保証である
Prosperのデータは、より深い組織的課題を指し示している。それは、メンタルモデルの不一致である。リーダーはAIリスクを封じ込め、監視、説明責任のレンズを通して見る。従業員はAIを有用性、スピード、日常的な効率性を通して見る。
その乖離がエクスポージャーを生み出す。ポリシーは存在するかもしれないが、現実世界の意思決定はしばしばガイドラインを参照できるよりも速く起こる。従業員は、リーダーが彼らが持っていると想定している文脈なしに、判断を下すことを余儀なくされることが多い。
「ディープフェイクが方程式に入ると、人間の判断だけでは信頼できなくなる」とクローネンバーグ氏は述べた。「これらの攻撃は直感を打ち負かすように設計されている」
危険は、従業員がポリシーを無視することではない。それは、偽情報がそれを回避するように特別に設計されていることである。
ディープフェイク環境でトレーニングが機能しなくなる理由
従来のセキュリティトレーニングは、評価のための時間を前提としている。ディープフェイク攻撃はその時間を排除する。AI生成の音声と動画は、意思決定を瞬間に圧縮し、従業員にスピードと懐疑の間で選択を強いる。
トレーニングは依然として重要である。しかし、それはもはや主要な防御として機能することはできない。
「トレーニングは人々をパターンに備えさせる」とクローネンバーグ氏は述べた。「ディープフェイクは効果的である。それらは常に改善され進化しており、パターンを破り、人間がまだ知らない可能性が高い新しい侵入方法を作り出している」
AI生成コンテンツの量が増え続けるにつれて、従業員がかつて頼りにしていたシグナル、つまり親しみやすさや権威は、ますます操作されている。その結果は人間の失敗ではなく、脅威のスピードと対応能力の不一致である。
テクノロジーがより多くの負荷を担わなければならない
適応している組織は、単純な現実を認識している。防御は攻撃と同じスピードで、あるいはそれよりも速く動作しなければならない。ディープフェイクとAI主導の偽情報は、あまりにも迅速に動き、あまりにも本物に見えるため、意思決定の重要な瞬間に人間の判断だけに頼ることはできない。
最近のProsper Insights & Analyticsの調査によると、AIの導入は抵抗によって停滞しているのではない。それは不確実性によって停滞している。リーダーは、ディープフェイク主導の偽情報が、資金が移動する前、データが露出する前、またはブランドの信頼が影響を受ける前に、検出、検証、停止できるという確信を望んでいる。
SecurinのCEOであるスリニバス・ムッカマラ博士は、このシフトが加速していると見ている。
「組織が犯す間違いは、認識が脅威の洗練度に応じて拡大すると想定することである」とムッカマラ氏は述べた。「そうではない。攻撃が自動化されパーソナライズされるにつれて、人間の判断は信頼性が低くなる。人々が不注意だからではなく、欺瞞が彼らを圧倒するように設計されているからである」
その現実はセキュリティ戦略を再形成している。従業員を最終的なゲートキーパーとして位置づける代わりに、主要な組織は、ミスを予測し自動的に対応するシステムを設計している。
「現代の防御は、侵害が可能であると想定している」とムッカマラ氏は付け加えた。「目標は、すべてのエラーを防ぐことではなく、不可避的に発生したときの影響を制限することである」
保護が見えないとき、信頼は再構築される
最も効果的な防御は仕事を中断しない。それらはバックグラウンドで静かに動作し、アイデンティティを検証し、異常にフラグを立て、何かが一致しないときにのみ介入する。
「人々は、自分たちが捕らえられないものを捕らえるシステムが整っていることを知っているとき、より速く、より自信を持って動く」とクローネンバーグ氏は述べた。「それが信頼が回復される方法である」
AIは恐怖によって遅くなることはない。それは自信によって加速される。ディープフェイクと偽情報の時代において、自信は、信頼そのものが標的であることを認識し、それが悪用される前にそれを保護する防御を設計することから生まれる。
