Cloudflare、2026年9月を期限にAIクローラーの分離を義務化

CloudflareはAI企業に対し、広告収益型ウェブサイトにおいて検索インデックス作成とモデルトレーニングの二者択一を迫る。この動きは、2,000億ドル規模のデジタルコンテンツへのアクセス方法と収益化のあり方を一変させる可能性がある。

Cloudflareは2026年9月15日より、広告収益型ページへの混在型ウェブクローラーをデフォルトでブロックする。これによりAI企業は、従来の検索、AIエージェント利用、モデルトレーニングを単一のボットに統合する手法を改め、検索インデックス作成とモデルトレーニングを分離するか、パブリッシャーにアクセス料を支払わなければならなくなる。

「大多数のお客様はAIに自社コンテンツを活用してほしいと考えています」とCloudflareの最高戦略責任者ステファニー・コーエン氏は述べる。「しかし広告やサブスクリプションに依存する企業にとって課題は明らかです。彼らは自社の作品を無料で提供することを強いられることなく、発見可能であり続けたいのです」

このデフォルト設定は、新規Cloudflare顧客、既存顧客による新規サイト、および既存の全無料ユーザーに適用され、ダッシュボードから設定変更が可能である。Cloudflareは同時に、実験的なPay Per Crawlをより広範なPay Per Useモデルへと拡充する。このモデルでは、パブリッシャーのコンテンツがAI検索結果に表示されたり、エージェントがプレミアム情報を購入したりした際に、対価が支払われる。Ceramic.aiとYou.comがこのプログラムの第一弾パートナーとなる。Cloudflareのデータによれば、AIクローラートラフィックの50%超が未更新ページの再取得であり、パブリッシャーとAI企業の双方にとって帯域幅の無駄となっている。

今回の措置は、ウェブの経済モデルにおける構造的崩壊に対処するものだ。AIアンサーエンジンは情報を抽出し、ユーザーを元のソースに送り届けることなく要約を提示する。Adexchangerのデータによれば、Anthropicは送信する紹介リンク1件につき11,122ページをクロールしている。一方、AIチャットボット経由の紹介トラフィックは従来の検索と比較して約96%少なく、ユーザーが引用元をクリックする確率はわずか1%程度である。パブリッシャーは過去1年間でトラフィックと収益の20%から90%を失っており、新たな報酬枠組みの緊急性が高まっている。

Cloudflareは特にGoogleについて、同社の他のAI企業と比較して約2倍の情報にアクセスできると指摘する。これは、検索大手であるGoogleが、顧客がAIトレーニングに利用されることなく発見可能であり続けることを困難にしているためだ。Googleはサイト運営者がAI利用をオプトアウトできる「Google-Extended」というボットを提供しているが、主力のGooglebotはAI OverviewsやAI ModeなどのAI機能を含む検索のためにクロールを行う。「現在インターネットトラフィックの大部分が人間以外のものとなった今、持続可能なエコシステムが出現するよう、より踏み込み、より迅速に行動しなければなりません」とCloudflareの共同創業者兼CEOマシュー・プリンス氏はこの方針の発表に際して述べた。

このインフラプロバイダーは、コンテンツライセンスの収益機会を狙う動きにおいて単独ではない。TollBit、ProRata、Microsoftはいずれもこの分野に参入しており、条件を誰が管理するかについてそれぞれ異なるアプローチを取っている。Really Simple Licensingは、特定の企業がルールを固定化する前にオープンな標準を推進している。Press Gazetteによると、パブリッシャーの約70%が今後3年間にAIライセンス取引から少なくともある程度の収益が生まれると予想しているが、現時点では大半がこれをわずかな収入源と見なしている。

Cloudflareは、AIボットがどのようにコンテンツにアクセスし、どこでそのコンテンツが引用され、各AIプラットフォームがどれだけの人間のトラフィックを返しているかを示す「Attribution Business Insights」ダッシュボードの提供を計画している。このツールにより、従来の検索エンジンだけでなくAIにも発見可能なコンテンツを目指す「アンサーエンジン最適化」が初めて測定可能になる。

Cloudflareのアプローチには重大なリスクも伴う。同社がエージェントの識別、許可レイヤー、利用測定、決済インフラを掌握することで、単一の仲介者への権力集中が生じる可能性がある。また、帰属表示の問題も未解決である。AI生成の回答は数十のソースを組み合わせたり、引用を表示せずにオリジナルのアイデアを言い換えたりすることがある。有料アクセスは、資金力のあるAIプラットフォームの既存の優位性を強化する一方で、スタートアップ、研究者、オープンソース開発者にとってウェブをより高価なものにする可能性もある。

Cloudflareの株価は予想利益の約45倍で取引されており、市場は同社のインフラポジションが新たな収益源に結びつくとの期待を反映している。Pay Per Useモデルが広く採用されれば、AIコンテンツ消費に連動した継続的収益源が加わることになる。これは、クラウドインフラプロバイダーとしてはいまだ誰も大規模に実証したことのないビジネスモデルである。

※本記事は情報提供のみを目的としており、投資助言を構成するものではありません。