MEMRIのエグゼクティブディレクターであるスティーブン・スタリンスキー氏は、AIを含むテクノロジーを利用するテロ組織について広範な調査を行っている。
AI、暗号資産、暗号化技術などの革新により技術が急速に進化する中、従来型のソーシャルメディアとそのコンテンツモデレーションポリシーは流動的な状況にある。YouTube/Google、Facebook/Meta、Twitter/Xはいずれも、プラットフォーム上の過激主義者や悪質なアクター（テロリストを含む）に対処するための長期的なポリシーを持ち、これらの問題に対応する利用規約を策定するために真剣な努力を重ねてきた。しかし、そうした時代は過ぎ去った。
過去15年間、私はこの複雑な問題について各企業にブリーフィングを行ってきた。最初のブリーフィングは2010年12月に遡り、アルカイダなどのテロ組織が西側の若者を過激化させるためにYouTubeをどのように利用しているかという私の調査に焦点を当てたものだった。Googleの招待により、私はワシントンD.C.のGoogle本社で、広報・政策責任者、上級政策マネージャー、上級政策顧問、言論の自由を担当する弁護士など、Googleの上級代表者たちと会談した。Googleがこの招待を行った背景には、オンラインプラットフォームのテロリスト利用に関する広範な懸念や、議会からの圧力、そしてYouTube上のジハード主義コンテンツ、特にアルカイダのイエメン系アメリカ人指導者アンワル・アル・アウラキの動画とYouTubeがそれらの拡散をどのように助長しているかについての当社の調査を引用・引用するメディア報道があった。
9.11以降、これらのテロ組織はオンラインとソーシャルメディアの巧みな活用により、驚異的な成長と成功を遂げてきた。政府やその他からの圧力により、これらの組織をプラットフォームから排除することにある程度の成功を収めていたが、9.11後の進展は現在、「言論の自由」の名の下に逆行しているように見える。
この業界の逆行は2022年10月、イーロン・マスク氏がTwitterを買収した際に、従業員の80%以上を解雇し、その中には多くのコンテンツモデレーターが含まれ、「鳥は解放された」と宣言したことに遡ることができる。テロ組織のアカウントを含む、以前削除されていた多くのアカウントが復活し、新世代のアカウントも加わっている。Xの透明性レポートによれば、2024年前半に約530万のXアカウントが停止または削除されたとされているが、マスク氏は「民主主義の基盤は言論の自由である」と宣言し、X上のコンテンツモデレーションが不十分だという非難に対して憲法修正第1条を引用して反論している。
より最近では、Facebook、Instagram、WhatsAppの親会社であるMetaは、2025年1月に第三者によるファクトチェックプログラムを終了し、代わりにユーザーが投稿にノートを追加する方式に依存すると発表した。マーク・ザッカーバーグCEOは、同社が「悪質なコンテンツの検出が減少する」と認めている。テロ組織も現在、増加する数でプラットフォームに戻ってきている。
XとMetaに続き、2025年6月、YouTube は公には開示されていない変更により、コンテンツモデレーションルールを緩和した。3月のインタビューで、YouTubeのニール・モハンCEOは、ポリシー決定は時代とともに進化する必要があり、これらの決定はイデオロギーではなくビジネス要因に基づいていると強調した。YouTubeの動きによる意図しない結果として、YouTubeのコンテンツでトレーニングされているAIモデルが、現在プラットフォーム上で許可されている過激なコンテンツを使用してしまう可能性がある。
従来型のソーシャルメディアのコンテンツモデレーションが後退する中、X、YouTube、Facebook、Instagram、ゲームプラットフォームで過激化した若いアメリカ人の逮捕が急増している。事例は多すぎて全てを挙げることはできないが、一例としてシカゴのアシュラフ・アル・サフー氏が挙げられる。彼は2025年6月27日、有罪判決を受けた。ソーシャルメディアを使用してISISの敵に対する攻撃を奨励し、X、YouTube、Facebookというソーシャルメディア三大プラットフォームに投稿することで新メンバーを勧誘し、ISISに物質的支援を提供する共謀を行ったとされる。
テロ組織とそのオンラインサポーターは、勧誘におけるソーシャルメディアの重要性を十分に理解している。2025年7月11日に発行されたインスパイア誌の最新号で、アラビア半島のアルカイダ（AQAP）は、西側、特に米国での単独犯（ローンウルフ）攻撃のための13項目のガイドを読者に提供し、若い西洋人の重要な役割について論じている。このガイドは、支持者に対し、攻撃を実行する直前に最終的なビデオ声明を投稿したり、頭部装着カメラを使用して攻撃をリアルタイムでライブ配信したりするなど、メッセージの拡散を助けるためにソーシャルメディアを攻撃に利用するよう奨励している。
これらの活動は、現在増加しているように、言論の自由として特徴づけられ、オンラインで拡散することを許されるべきではない。従来型の企業が初期に学んだ教訓と、オンライン過激主義がこれほど多く存在することで何が起こり得るかという点が忘れられているようだ。コンテンツモデレーションから撤退する代わりに、テクノロジー企業は言論の自由が指定されたテロ組織には適用されるべきではないことを認識し、次世代の若者もオンラインで過激化される前に新たな戦略を考え出す必要がある。
コンテンツモデレーションを終了させる代わりに、それを改訂し欠陥を修正すべきだ。企業は、憲法修正第1条で保護されていないテロリストや過激派のコンテンツに対処するため、長らく待たれていた業界標準を設定し、それに従うべきである。まず、米国が「テロリスト」と指定した組織には、米国企業はプラットフォームを提供すべきではない。暴力の呼びかけは一切容認できない。可能な解決策の一つとして、アカウントの認証が考えられる：X、Google、Metaでアカウントを作成する人なら誰でも、本人確認のために通過しなければならないハードルに精通しているはずだ。
これはすべてのプラットフォームで標準となるべきだ。何年も前に、従来型のメディアは後に続く者たちが従うべきモデルを構築した。TikTok、Bluesky、Substack、ゲームプラットフォームのDiscordなど、大小を問わず新たなプレーヤーは皆、過激派をインターネットから排除するための過去のポリシーから学び、そのコンテンツモデレーションの原点に立ち返ることができる。
