CDN（コンテンツ・デリバリー・ネットワーク）の米Cloudflare（クラウドフレア）は7月1日、人工知能（AI）関連の企業が、許可なくコンテンツにアクセスしたり正当な対価を支払わずにコンテンツにアクセスしたりなど、ウェブサイトから情報を収集（スクレイピング）するAIスクレイパーをデフォルトでブロックする措置を発表した。大手出版社やAI企業を支援するという。
AI企業は、自社のモデルの学習素材を集めるためにスクレイパーでネット上を巡回（クロール）し、あらゆる種類のコンテンツを収集している。
これに対してCloudflareは、サイトの運営者がこれらのツールのアクセスを許可するかどうか、またAI企業がそのコンテンツをどう使うかを選択できるようにした。たとえば、検索目的でサイトを巡回するクローラーには許可を出すが、それ以外はブロックするといった設定が可能になる。これによりAI企業は今後、スクレイピングの前にウェブサイトから明示的な許可を得る必要がある。
「オリジナルコンテンツこそが、インターネットを過去100年で最も偉大な発明のひとつにしたものであり、クリエイターがそれを作り続けられることが不可欠だ」と、Cloudflareの共同創業者兼CEOのマシュー・プリンスは述べている。
「AIクローラーはこれまで、際限なくコンテンツを収集してきた。当社の目標は、AI企業のイノベーションを支援しつつも、クリエイターに再び主導権を取り戻してもらうことだ。これは、誰にとっても機能する新たな仕組みによって、自由で活気あるインターネットの未来を守るための取り組みだ」。
またCloudflareは、サイトが1回のクロールごとに課金する仕組み「ペイ・パー・クロール（pay per crawl）」を導入する。現在はベータ版として提供されており、AIクローラーはコンテンツをリクエストするたびに、アクセスを成功させるためにリクエストヘッダー経由で支払いの意思を提示するか、対価の支払いを求められるものだ。対価の支払いについては、AIクローラーは、価格情報付きの「402 Payment Required（支払いが必要）」というレスポンスを受け取ることになる。
Cloudflareのユーザー側は、特定のクローラーに対して課金を免除する設定も可能だ。この機能は、特定のクローラーを無償で許可したり、コンテンツ提携の一環として許可するといった使い方が想定されている。
