デモと現実の兵器の間にある隔たり
Poison Fountainは、協力的なサイト運営者を通じて毒入りコンテンツを配布し、この原理を実戦的な手段に落とし込もうとしている。しかし、これが何十億ドル（何千億円）規模のAI投資を台無しにするという主張には、少なくとも3つの理由で慎重に臨むべきだ。
慎重に臨むべき3つの理由
第1に、学習パイプライン（データ収集から学習までの一連の工程）は、無防備に何でも吸い込む掃除機ではない。大手AI開発企業はすでに、重複排除、フィルタリング、品質評価、明らかなジャンクの除去といったデータクリーニングに多額の投資をしている。Poison Fountainの手法は、欠陥のあるコードや文章を大量に含むように見えるたるため、学術論文で使われるようなより慎重に構築された毒入れよりも検出しやすい可能性がある。
第2に、インターネットは広大である。多くのサイトがPoison Fountainのリンクを埋め込んだとしても、その毒入り素材は特定の学習実行でサンプルとして取り込まれ、フィルタリングを生き残り、学習ストリームに十分な頻度で現れて初めて影響を持つ。
第3に、防御側は対処できる。特定の毒入れ源が判明すれば、URL、ドメイン、パターンの各レベルでブラックリストに登録できる。
この一件が示す、AIの弱点
たとえPoison Fountainが不発に終わったとしても、それはLLMの構造的な脆弱性を浮き彫りにしている。モデルの訓練データは、オープンウェブからスクレイピング（自動収集）された何百万ものソースから寄せ集められた、雑然としたパッチワークであることが多い。AI企業が入力を信頼できなければ、出力も完全には信頼できない。
Poison Fountainは、実質的には抗議活動である。何よりもそれは、AIが日常生活にますます組み込まれるにつれて拡大し、より洗練されていくであろう、いたちごっこの幕開けを告げている。すべてを包み込む技術システムを地下抵抗組織が妨害しようとする映画『マトリックス』の響きを聞かずにはいられない。反乱者を応援するにせよ研究者を応援するにせよ、より深い論点は同じだ。私たちは、AIをめぐる論争が議論から技術そのものを標的にした行動へと移行する未来に、向かいつつあるのかもしれない。
