Cloudflare推「付費」機制 內容不再被AI爬蟲免費抓資料
記者鄧天心／綜合報導
AI迅速發展越來越多的AI系統靠爬蟲做大量數據訓練，然而，AI爬蟲可能在未經授權的情況下大量抓取網站內容，讓許多內容創作者流量、收益減少，近期，Cloudflare宣布推出新措施，幫助網站管理者控制AI爬蟲的存取權限。
延伸閱讀：
AI新創們搶攻瀏覽器市場 Google Chrome地位不保？
Cloudflare最近推出了一套「按次付費爬取（Pay-per-crawl）」的新系統，讓網站擁有者能夠管理AI爬蟲的存取權限，當新網站加入Cloudflare時，系統會預設自動阻擋AI爬蟲，網站管理者可以根據自己的需求，選擇要用哪種方式來處理AI爬蟲的存取。
第一種是網站可以選擇完全開放，讓AI爬蟲自由存取網站內容，這樣AI公司就能直接抓取資料進行訓練或生成回應；第二種是如果網站主希望從AI公司的資料抓取行為中獲得收益，也可以設定為「收費」模式，要求AI公司必須付費才能爬取內容；第三種，網站主也可以選擇完全封鎖AI爬蟲，禁止其任何形式的存取。
Cloudflare特別指出，目前Google的AI聊天機器人Gemini已經被預設封鎖，公司也正在與Google協商，希望能協助網站主區分「傳統搜尋引擎爬蟲」與「AI爬蟲」，並讓網站主能夠選擇性地阻擋AI相關功能（如AI摘要、AI問答框），而不影響一般搜尋引擎的正常運作。
這對網路生態有什麼影響？
過去，網站內容經由搜尋引擎索引後，使用者會點擊進入網站，帶來流量與廣告收益給內容創作者，但隨著AI技術的發展，越來越多AI服務直接在平台內產生答案，用戶不再需要點擊原始網站，導致網站流量大幅下降，創作者的收益也隨之減少。
此外，即使是像維基百科這樣的網站，也因為AI爬蟲的頻繁抓取而讓伺服器負載增加的問題，影響到一般用戶的使用體驗。
Cloudflare執行長Matthew Prince也坦言，要真正解決問題，還需要各大AI公司積極配合，如果AI公司拒絕合作，未來可能需要透過立法，強制區分AI爬蟲與傳統爬蟲。
瀏覽 108 次
