Google無付費爬蟲訓練AI惹議？Cloudflare籲企業應競爭而非壟斷

記者孫敬／編譯

繼今年稍早推出一個允許網站向AI機器人收取內容抓取費用的平台後，網路基礎設施供應商Cloudflare正強力推動對AI產業實施更嚴格的監管。

Cloudflare執行長Matthew Prince在倫敦與英國公平競爭及市場管理局（CMA）會面，提案對Google在AI競賽中的施加更嚴格的限制，特別是考量到Google在搜尋市場的統治地位。CMA稍早因Google在搜尋和廣告市場中擁有實質且根深蒂固的地位，這使監管機構在AI摘要、AI模式、搜尋、熱門新聞及標籤等領域實施更嚴格的規定。

延伸閱讀：Check Point數據曝台灣硬體與半導體業 躍升亞太區網路攻擊對象

Google的爬蟲策略，恐導致媒體損失兩成營收

Prince在本週倫敦舉行的彭博科技大會上表示，Cloudflare處於提出建議的有利位置，因為他們本身並非AI公司，但卻與大量的AI企業保持聯繫。「我們在這場戰鬥中沒有直接的利害關係，我們既不是AI公司也不是媒體發行商，而是介於兩者之間的網路服務商，80%的AI公司都是我們的客戶。」

Prince認為，Google使用其現有的網路爬蟲抓取內容，不只用於搜尋引擎，同時也為AI產品和服務提供內容，這讓Google擁有不公平的優勢。「Google給人的感覺，是他們擁有取用世界上所有內容的絕對權利，過去27年就是這樣做的。他們可以利用與搜尋相同的爬蟲來驅動他們的AI系統。如果網站想要退出（AI內容抓取），就必須同時退出兩者（AI和搜尋）。」

對於大多數網站，尤其是媒體企業而言，Prince表示失去搜尋流量通常意味著損失約20%的收入。更甚者，若封鎖Google的爬蟲，也會同時阻擋廣告安全團隊，導致該網站上所有平台的廣告停止運作，這完全無法接受。

Cloudflare提出解決方案，應鼓勵市場競爭而非壟斷

由於Google採用這種爬蟲綑綁模式，使其能夠免費獲得內容，而其他AI競爭者如Anthropic、OpenAI和Perplexity則必須付費。Prince 擔憂，這最終會將整個AI內容的戰局拱手讓給Google。

Prince提出的解決方案是鼓勵市場競爭，讓數千家AI公司競爭購買數千家媒體企業和數百萬家小型企業的內容。他認為，英國CMA點名Google作為潛在監管目標是正確的決定，顯示監管機構意識到Google的優勢。Cloudflare也向CMA提供了數據，說明Google爬蟲的運作方式，以及為何其他業者難以複製Google的成功模式。

事實上，Cloudflare並非唯一持有此觀點的聲音。美國最大的數位和印刷發行商People Inc.執行長Neil Vogel上個月受訪時也表達相同的看法。People Inc.經營40多個媒體品牌，更指謫Google是個壞人，因為Google爬蟲的做法導致媒體公司別無選擇，只能讓Google爬取網站內容訓練AI。

People Inc.現已採用Cloudflare的解決方案來封鎖這些沒有付費的AI爬蟲，並聲稱該系統正在發揮作用，目前已與多家大型LLM供應商進行交易協商。

資料來源：TechCrunch