AI聊天機器人正在殺死網路？Cloudflare執行長：付費爬取才是唯一解方

記者鄧天心／綜合報導

過去30年來，網路經濟建立在「搜尋→流量→廣告變現」的循環上，但生成式AI的出現正在徹底改變這個遊戲規則，Cloudflare執行長Matthew Prince近期接受多家媒體專訪，直指AI聊天機器人正在「吃掉整個網路」，並提出創新的付費爬取解決方案。

根據Prince引用的Cloudflare內部數據，自Google推出AI概覽功能以來，全球網站流量出現驚人跌幅，數位市場分析公司Similarweb統計顯示，2025年截至6月，全球傳統搜尋流量已下降15%，其中健康類網站更是重災區，流量暴跌31%，「當網路從搜尋轉向AI時，越來越少人會去看原始內容，」Prince在接受TIME雜誌專訪時表示，Google平均每抓取6次網頁才帶來1次點擊，而Anthropic的Claude等AI模型比例更誇張，達6,000:1。

最受衝擊的是新聞媒體產業，數位媒體公司Dotdash Meredith執行長Neil Vogel直言：「Google毀約了，他們竊取我們的內容來和我們競爭。」該公司旗下有《Food & Wine》和《時人》雜誌，來自Google的流量已從3年前的60%驟降至目前的35%。

延伸閱讀：

OpenAI將打造亞洲首個AI超級資料中心 「星際之門」落點印度

問題在於「零點擊搜尋」（Zero-Click Searches），Similarweb數據顯示，自Google推出AI概覽後，新聞類別的零點擊搜尋比例已從56%飆升至69%，近七成用戶無需點擊網站，就能從AI摘要中獲得所需資訊。

面對這場生存危機，Cloudflare提出「Pay-Per-Crawl」付費爬取方案，今年7月起，該公司開始預設封鎖AI爬蟲機器人，影響範圍涵蓋全球約20%的網路流量。

這套解決方案的核心是讓網站擁有者自訂收費標準，AI公司必須為每次內容抓取付費，Prince解釋：「這不能讓你付錢授權內容，但競爭對手卻免費取得。」有趣的是，包括OpenAI在內的多家AI公司都歡迎這項措施，Prince認為，傳統「chase traffic」（追逐流量）的內容經濟已經走到盡頭，未來應該轉向「AI公司為高品質內容付費」的新模式。

Cloudflare也推出AI審計儀表板等監控工具，協助網站識別並管理AI爬蟲行為，該公司甚至公開點名AI搜尋引擎Perplexity違規抓取內容，不過，批評者質疑小型網站如何參與分潤機制，以及AI公司是否會普遍接受付費模式，Perplexity更直接反擊，稱Cloudflare的指控是「銷售話術」。

儘管面臨挑戰，Prince對未來抱持樂觀態度，他認為，如果新機制運作順利，將開啟「內容創作的黃金時代」，鼓勵創作者「追求並推進人類知識」，而非單純追逐點擊率，TIME雜誌這次也將Prince列入「2025年AI領域最具影響力100人」，肯定其在重塑網路經濟方面的貢獻。多家媒體公司，包括TIME在內，都歡迎Cloudflare的保護措施。

AI持續重塑網路生態，Cloudflare的付費爬取模式或許將成為決定未來30年網路經濟走向的關鍵實驗，這場關乎內容創作者生存、AI公司發展與網路開放性的三方角力，正在全球科技界掀起激烈討論。

資料來源：Time