AIモデルが極めて高度な能力を備え、その適用範囲や影響力を拡大させるなか、民間部門のリーダーたちの間では、強力なAIツールが不正な手段で利用可能になるまでにどれほどの時間がかかるのかという疑問が持ち上がっている。
今年、アンソロピック（Anthropic）が実施したClaude Mythosの紆余曲折を伴うロールアウト（有料記事）により、民間リーダーたちのこうした疑問はやや意味をなさないものとなった。自ら「高リスクモデル」と称する「Mythos Preview」は、一般向けに発表されたまさにその日に、権限のないユーザーの手に渡り（有料記事）、広く知られているアンソロピックの規制上の課題をさらに悪化させた（有料記事）。
現在、私たちはMythosのフル機能が広く利用可能になったときに何が起こり得るかを考慮する必要がある。すなわち、Mythosや、その一般消費者向けモデルである「Fable」のようなツールが、実際の企業やシステムを攻撃するために悪用された場合、具体的に何が崩壊するのか。そして、それに対して何ができるのだろうか。
AIがもたらす脅威の次なる章において、企業は2つの圧力に同時に直面せざるを得なくなる。第1の圧力は差し迫ったものだ。現在、攻撃側によるAIツールの配備スピードは防御側を上回っており、機密性の高いインフラが深刻な脆弱性にさらされている。
第2の圧力は、より戦略的かつ長期的なものだ。企業は、脅威に対応するためのエコシステムレベルの連携を促進し、AIによる脅威の進化に合わせて、これまでにないレベルの適応力を確保することにより、AIがもたらす脆弱性の二次的影響（ダウンストリーム効果）に備える必要がある。
早期警告システムの破綻
最初に破綻するのは、いわば「門番」の役割を果たすシステムだ。具体的には、サイバーセキュリティ、不正検出、本人確認（ID検証）、取引監視などが挙げられる。特に、極めて強力なAIツールへの早期アクセスが提供されていない中小企業（アンソロピックはMythosへのアクセスをUBSやJPモルガン・チェース、アマゾンといった多国籍企業に限定している）においては、攻撃を受けた際にサイバーセキュリティや不正検出システムが警告を発せられない可能性が高い。
新たな攻撃ツールは、サイバーセキュリティインフラの構造的欠陥を突き、パターン認識を用いて不審な活動を検知する不正検出システムを回避できるほど、既存ユーザーの行動を巧みに模倣する。結果として、防御策が起動するのは、ユーザーがカスタマーサポートに連絡し、誤った取引やアカウントのロックといった異常事態を報告した後になる。これは、企業が早期警告機能を実質的にエンドユーザーにアウトソーシングしている状態にほかならない。
AIを駆使したサイバー攻撃の巧妙化と頻度の増加は広く認識されている。しかし、これらの悪意あるシステムがより高度な詐欺行為を可能にし、最初の攻撃が始まりにすぎなくなるという懸念については、驚くほど議論が不足している。これらの新たな武器は、不正防止、制裁コンプライアンス、マネーロンダリング防止（AML）のエコシステム全体を危険にさらす。ひいては、消費者の利益や国家安全保障を犠牲にしながら、決済の流れが無法地帯と化し、犯罪者を肥え太らせる事態を招きかねない。
これらの新たなAIツールにより、悪意あるハッカー（ブラックハット）は機密データを収集してシンセティックID詐欺（実在する情報と架空の情報を組み合わせたなりすまし詐欺）を働き、本人確認システムをかいくぐることができる。また、ペーパーカンパニー（シェルカンパニー）の複雑なネットワークを構築し、地理的な位置情報を巧みに偽装することで、制裁コンプライアンスのインフラを回避する。さらに、世界中に広がる複雑な決済網を通じて資金を移動させ、決済監視プラットフォームで「検知漏れ（偽陰性）」を発生させることが可能になる。
はるかに大きな代償を伴う変化の引き金に
長期的な副作用は、攻撃者の種類やその目的によって異なる。反国家グループは、既存システムに対する社会的信頼を損なうことを主な目的として、これらのツールを利用する可能性がある。一方で、国家の支援を受けたサイバー犯罪者やテロ組織などは、機能不全に陥ったマネーロンダリング防止システムを悪用し、何十億ドルもの不法な利益を手にするかもしれない。これらの新たなモデルが開発者自身の恐れるほど強力であるならば、すでに発生している時期尚早なアクセスは、深刻な短期的被害をもたらすだけでなく、その後何年にもわたって大きな代償を伴う傷跡を残すことになる。
防御力の長期的な低下は、金融危機の連鎖（金融伝播）を引き起こすことさえあり得る。2023年、流動性懸念の噂が預金取り付け騒ぎを誘発し、3つの銀行破綻を招いた中堅銀行の混乱は、パニックが冷静な対応をいかに素早く追い越すかを証明している。「悪者が勝つ」というシナリオも、決して荒唐無稽な話ではない。
二重の防衛策
これらのモデルの時期尚早な拡散による潜在的な被害を軽減することは可能だ。
何よりもまず、最先端AIモデルの開発者は、主要な金融機関などと協力し、モデルの利用から得られた実用的な教訓を迅速に共有することができる。例えば、UBSがアンソロピックのMythosへのアクセスを通じてサイバーセキュリティの観点から得た知見は、地方銀行やオンライン取引プラットフォームなどの他の金融機関の防御能力向上に役立てることができる。今は、サイバーセキュリティを自社だけの競争優位性と捉えるべき時ではない。
サイバーセキュリティチームはまた、業界団体や決済ネットワークといった既存の協力枠組みを活用し、組織的な攻撃への対応を迅速に調整し、不正活動の特定と報告に用いる指標を標準化すべきである。1つの標的型攻撃が特定されたなら、他でも攻撃が進行している可能性が高く、別の場所でのサービスを予防的に停止する措置を講じるべきだ。これにより、短期的には金融・商業サービスが頻繁に中断され、不便が生じるかもしれない。しかし、もたらされる潜在的な影響の大きさを考えれば、手ぬるい対応を取るわけにはいかない。
民間部門の不正監視チームや制裁コンプライアンスチームも、ベストプラクティスを継続的に共有すべきだ。AIによって攻撃戦略がリアルタイムで一変するなか、これらのチームもまた「AIを用いてAIを制する」必要がある。進化のスピードは、人間が設計したシステムでは追いつけないほど速い。解決策は、常に一歩先を行くことに尽きる。
政府機関も同様に、一歩先を行く必要がある。サイバーセキュリティや金融の規制当局による現在の取り組みが示すように、それは経済の神経中枢である金融システムのレジリエンス（回復力）の強化から始まる。連邦預金保険公社（FDIC）は、システム全体に及ぶ攻撃が発生した際の介入方法やタイミングを評価するかもしれない。連邦準備制度（FRB）は、独自の防御態勢の強化を模索するだろう。そして、財務省は、デジタル決済インフラが全面的に停止した場合の資金配分方法の検討に迫られるかもしれない。備えるべき不測の事態のリストは極めて広範だ。
目の前にある脅威
AIの不正利用という脅威を、遠い未来の仮定ではなく「目の前にある現実」として捉え直すことで、コンプライアンス責任者は2つの危機に焦点を絞るべきだと気づくはずだ。それは、迫り来る高度なサイバー攻撃の脅威と、マネーロンダリング防止や不正検出の機能に対してこれらのツールがもたらす不吉な二次的影響である。医療、防衛、エネルギーなど、他の分野のリーダーたちも警戒を怠ってはならない。新たな武器はすでにここにあり、実戦投入の時を控えている。
