MEMRIのエグゼクティブ・ディレクターであるスティーブン・スタリンスキー氏は、AI（人工知能）を含むテクノロジーを利用するテロリスト集団について広範な調査を行ってきた。
20年以上にわたり、私の組織はテクノロジー企業、ソーシャルメディアプラットフォーム、政府機関と協力し、オンライン上の過激化と脅威を理解し、マッピングし、予測する研究に携わってきた。最近、過激化に関する報告が大幅に増加しているにもかかわらず、業界がこれに積極的に対処していないことは憂慮すべき事態である。
アルゴリズムによる過激化
この急増は、アルゴリズムによる過激化として知られる現象の結果である。これは、研究者のベッカ・ルイス氏が2024年に考案した用語で、プラットフォームがユーザーのエンゲージメントと怒りを煽ることで、徐々により極端な見解へと誘導するプロセスを表している。これらのアルゴリズムによって他者にコンテンツが拡散される際に受け取る「いいね」、シェア、リポストが、オンライン上でのエスカレーションを促進し、現実感覚に影響を与える。アルゴリズムは、一般のユーザーを反ユダヤ主義やその他の形態の憎悪を含む極端主義へと押しやるのである。
私が調査の中でオンライン上の個人について直接観察してきたこのプロセスは、かつて著名だったジャーナリストやインフルエンサーの行動をも変容させている。多くの人々がこの環境の中で活動するために自らの仕事を適応させており、正確性は二の次となっている。
このようなエンゲージメント主導型アルゴリズムがもたらす危険性は、理論上のものではない。今年、大手ソーシャルメディア企業は、自社のプラットフォームが意図的に子どもたちを依存させ、精神的健康を損なっていると主張するいくつかの画期的な裁判に直面しており、その最初の裁判が今月開廷した。これらの訴訟の中心となっているのは、民事訴訟弁護士のマーク・ラニアー氏の言葉を借りれば、これらのプラットフォームが""依存を設計した""という主張である。しかし、同じアルゴリズムは、成人のソーシャルメディアユーザーにも広範な影響を及ぼしている。
過激化の製造
ソーシャルメディア企業に対する訴訟が進行する中、新世代の研究者たちはオンライン上の極端主義を再検証しており、個人の意図ではなく、プラットフォーム自体が大規模に過激化を製造する仕組みに焦点を当てている。彼らは、例えば査読済み研究として発表され、米国国立衛生研究所の国立医学図書館ウェブサイトに掲載されたPerspectives on Psychological Science誌の論文において、アルゴリズム主導型のソーシャルメディア環境が、注目を集める行動や感情的に強烈なコンテンツを継続的に報酬として与えることで、ユーザーの自己重要感を膨張させる可能性があることを発見している。心理学者のスコット・バリー・カウフマン氏などの学者も、アルゴリズムが人間の負の核心的傾向を前例のないレベルで加速させていると強調している。
エンゲージメントを何よりも優先することで、アルゴリズムは心理的脆弱性を悪用し、特に匿名または半匿名のオンライン環境において、危険で狂信的な行動さえも意図的に増幅させる。これらのシステムは実際に思考を再設計し、かつては理性的で知的だった個人を、誤認識と抑制力の低下を伴う状態で行動させることが多い。
テクノロジー批評家のジャロン・ラニアー氏は、""危険なのはAIが我々を破壊することではない。我々を狂気に駆り立てることだ""と警告している。彼は、ユーザーを強迫的で感情的に不安定なフィードバックループに閉じ込めるプラットフォームについて述べていた。この懸念は、スタンフォード人間中心AI研究所に所属する精神科医を含む臨床研究者によっても共有されており、同医師はアルゴリズムプラットフォームがどのように終わりのないスクロールと歪んだ認識を促進するかを説明している。これに政治的、イデオロギー的、またはアイデンティティに基づくコンテンツを組み合わせると、極端主義さらには暴力への道筋は明白である。
これらのアルゴリズムは、情報消費のほぼすべての側面をユーザーに合わせてカスタマイズすることで、偏見を強化するだけでなく、以前は存在しなかった偏見を生み出す。オハイオ州立大学の研究者であるギウォン・バーグ氏とブランドン・ターナー氏は、トピックに関する事前知識がなくても、アルゴリズムは即座に偏見の構築を開始できると警告している。さらに、作家でテクノロジストのファイサル・ホーク氏は、Psychology Today誌において、アルゴリズムはこれらの問題を発明するというよりも増幅させるものであり、""我々の最高の資質と最も暗い衝動の両方""を映し出す鏡を掲げていると指摘した。
インターネット荒らしとオンライン扇動者への餌やりを止める必要性
暴力的極端主義と憎悪へのアルゴリズムによる過激化は、もはや周縁的なものではない。それは今日の世界を定義する特徴である。ソーシャルメディアプラットフォーム上のアルゴリズムがユーザーを個別化されたエコーチェンバーへと誘導するにつれ、実際の生活やコミュニティを標的にすることが容易になる。現在の訴訟はソーシャルメディアを超えて、AI主導型プラットフォームを含む広範な説明責任への道を切り開く可能性があるが、被害を止める取り組みは障害に直面している。
障害の1つは、その濫用を含め、言論の自由を妨げることへの躊躇である。しかし、この主張をする多くの人々は、この暴力への扇動を見たことがないか、自らがそれに加担しているかのいずれかである。言論の自由を擁護するために極端主義を見過ごす傾向があるが、ソーシャルメディア企業による行動の必要性はそういうことではない。重要なのは、利益を得るために人々の思考方法を意図的に損なうことを許さないということである。
アルゴリズムによって継続的に供給されるコンテンツへの絶え間ない没入は、今や通常の人間の傾向を極端主義、憎悪、暴力へと武器化している。インターネット荒らしやオンライン扇動者が他者をオンラインで攻撃することで注目を渇望するにつれ、彼らは画面から現実世界へと波及し得る危険な行動の媒介者となる。テクノロジー企業には今すぐ行動する責任がある。
