Cloudflare 設定 2026 年 9 月期限，強制區分 AI 爬蟲與搜尋機器人

Cloudflare 正迫使 AI 公司在廣告支援的網站上，在搜尋索引與模型訓練之間做出選擇，此舉可能重塑價值 2000 億美元的數位內容存取與變現模式。

Cloudflare 將於 2026 年 9 月 15 日起，預設封鎖來自廣告支援頁面的混合用途網路爬蟲，迫使 AI 公司將搜尋索引與模型訓練分離，否則就必須向發行商付費以取得存取權限。該政策針對的是將傳統搜尋、AI 代理使用與模型訓練整合成單一機器人的爬蟲。

「絕大多數客戶都希望 AI 能與他們的內容互動，」Cloudflare 策略長 Stephanie Cohen 表示，「然而，對於依賴廣告與訂閱收入的客戶來說，挑戰截然不同：他們希望在維持能被發現的同時，不必被迫免費交出他們的作品。」

此預設設定適用於新的 Cloudflare 客戶、現有客戶建立的新網站，以及所有現有的免費方案用戶，用戶可透過儀表板調整設定。Cloudflare 同時將其「按次爬取」實驗擴展為更廣泛的「按使用付費」模式，當發行商的內容出現在 AI 搜尋結果中，或當代理購買付費資訊時，發行商將獲得補償。Ceramic.ai 與 You.com 是該計畫的首批合作夥伴。Cloudflare 的數據顯示，超過 50% 的 AI 爬蟲流量涉及重複抓取未變更的頁面，對發行商與 AI 公司而言皆浪費頻寬。

此舉旨在解決網路經濟模式的結構性崩壞。AI 答案引擎提取資訊並提供摘要，卻不將用戶引導至原始來源。根據 Adexchanger 數據，Anthropic 每爬取 11,122 個頁面，才產生一次推薦回訪；而 AI 聊天機器人帶來的流量比傳統搜尋少約 96%，用戶點擊引用來源的比例僅約 1%。過去一年，發行商流失了 20% 至 90% 的流量與收入，凸顯建立新的補償框架的迫切性。

Cloudflare 特別點名 Google，指出這家搜尋巨頭因讓客戶難以在保持可被發現的同時避免被用於 AI 訓練，因此獲取的資訊量約為其他 AI 公司的兩倍。Google 提供名為 Google Extended 的機器人，允許網站所有者選擇退出 AI 使用，但其旗艦產品 Googlebot 仍會為搜尋（包括 AI Overviews 與 AI Mode 等 AI 功能）進行爬取。「如今網際網路上的多數流量已非人類所為，我們必須更進一步、更快行動，才能讓一個可持續的生態系統得以浮現，」Cloudflare 共同創辦人兼執行長 Matthew Prince 在宣布該政策時表示。

這家基礎設施供應商並非唯一瞄準內容授權商機的業者。TollBit、ProRata 與微軟均已跨入此領域，各自採用不同的方式來掌控條款的制定權。Really Simple Licensing 則推動在單一公司鎖定規則之前，先建立一套開放的標準。根據 Press Gazette 的調查，近 70% 的發行商預期 AI 授權交易將在未來三年內帶來至少部分收入，不過多數人認為目前這仍只是次要的收入來源。

Cloudflare 計劃推出「歸屬商業洞察」儀表板，顯示 AI 機器人如何存取內容、內容在何處被引用，以及不同 AI 平台回傳多少人類流量。該工具將使「答案引擎優化」（讓內容能被 AI 而非僅被搜尋引擎發現的做法）首次成為可衡量的指標。

Cloudflare 的做法也存在重大風險。該公司可能掌握代理識別、權限層、使用量衡量與支付基礎設施的控制權，將權力集中在單一中介機構。歸屬問題也仍未解決：AI 生成的答案可能結合數十個來源，或改寫原始構想而未顯示引用。付費存取也可能鞏固資金充裕的 AI 平台的既有優勢，同時使新創公司、研究人員與開源開發者更難以負擔網路使用成本。

Cloudflare 目前交易價格約為預期盈餘的 45 倍，反映市場預期其基礎設施地位將轉化為新的收入來源。該公司的「按使用付費」模式若被廣泛採用，可能為其新增一項與 AI 內容消費掛鉤的經常性收入——這是目前尚未有任何雲端基礎設施供應商在大規模上驗證過的商業模式。

本文僅供資訊參考，不構成投資建議。