「AIクローラー」とは、Webサイト上を巡回して体系的に情報を収集し、自らのAIモデルを構築・更新（学習）するために用いられる仕組みのこと。一方で「AIフェッチャー」は、AIアシスタントや進化を続けるエージェントが、ユーザーから与えられた特定の質問への回答、選択肢の比較、事実確認、タスク実行などをその場で行うために、リアルタイムで情報を取得するシステムを指す。
これら2つの最大の違いは、企業のWebサーバーにかける負荷の大きさと、アクセスの目的にある。通常の人間によるWebアクセスにおいて、サーバーの奥深くにあるデータに直接アクセスを要求する割合は9%未満にとどまるが、AIリクエストにおいては半数以上となる51%がこのデータアクセスを要求する。これにより、企業インフラにはこれまでにない負荷がかかる状況となっている。
この新たなインターネット環境において、企業はただ悪質なボットを一律に排除すればよいという単純なフェーズではなくなった。AIシステムに自社のコンテンツを適切に露出・参照してもらうことは、今後のデジタル配信や顧客獲得を大きく左右するビジネス戦略そのものであるからだ。
実際に企業の対応には明確な乖離が見られる。ある大手企業は、自社コンテンツの優位性を維持するためにAIフェッチャートラフィックを完全に遮断する措置をとった。これに対し、別の企業はAIエージェントをブロックしない選択をしてフェッチャーからのアクセスを受け入れ続けた結果、AIを活用した外部サービス内における自社の露出を大幅に高めることに成功している。
人間だけがデジタルエクスペリエンスの主たる利用者であった時代は終わりつつある。急増するAIトラフィックの意図を正確に見極め、セキュリティの保護とビジネスチャンスの獲得をいかに最適にバランスさせるか。それこそが、これからの企業に課せられた極めて重要な意思決定となる。
出典：Fastly「今年のAIトラフィックは人間のトラフィックの6.5倍の速さで増加した」調査結果より
