OpenAI升級兒童安全防護 ChatGPT新增警告與暫時停權機制

記者許若茵/編譯

隨著AI工具的使用引發愈來愈多安全疑慮,OpenAI今日宣布推出多項新工具,以打擊兒童性虐待材料(CSAM)。相關措施包括推出全新影像分類器,用於辨識兒童性虐待影像、在ChatGPT新增警告及暫時封鎖機制,防止用戶製作或存取將兒童性化的內容,同時發布開發者指引,並提供一系列工具協助執法機關調查。

隨著AI工具的使用引發愈來愈多安全疑慮,OpenAI今日宣布推出多項新工具,以打擊兒童性虐待材料(CSAM)。(圖/OpenAI)
隨著AI工具的使用引發愈來愈多安全疑慮,OpenAI今日宣布推出多項新工具,以打擊兒童性虐待材料(CSAM)。(圖/OpenAI)

OpenAI推出的新型影像分類器能夠辨識兒童性虐待影像,包括透過AI生成的內容。OpenAI將透過API免費向部分指定企業開放使用權限。這項工具會檢查過去未曾見過的影像中是否存在虐待的視覺跡象,並給予評分,協助審查人員判斷如何處理疑似兒童性虐待材料。

OpenAI表示,這款分類器是與美國失蹤與受剝削兒童中心(NCMEC)共同開發,並正與Tech Coalition及ROOST合作,分享工具使用權限。

在與合作夥伴進行初期測試時,OpenAI發現,這款AI工具在找出相同數量虐待影像的情況下,能減少48%的影像標記數量,降低審查人員的工作負擔。此外,經分類器標記的影像,包含虐待內容的可能性是其他影像的兩倍。

除此之外,OpenAI也將在ChatGPT新增警告畫面,防止用戶存取將兒童性化的材料。當用戶輸入相關提示詞時,ChatGPT會顯示警示訊息,引導用戶尋求專門協助,以停止有害行為,並暫時停用帳號24小時,作為警告。該應用程式原本就會封鎖兒童性虐待內容及相關請求,OpenAI表示,若用戶一再違規,帳號可能遭到永久停用。

OpenAI指出,相關警示訊息與行為指引,是與多個組織及研究人員共同制定,包括Protect Children、Lucy Faithfull Foundation,以及塔斯馬尼亞大學的Joel Scanlan。後者曾獨立評估一項防止違規行為的警示訊息測試。

OpenAI也將發布開發者指引,協助使用OpenAI工具的開發者預防、偵測兒童性虐待內容,並協助用戶通報相關材料。該公司表示,在初期測試中,這些指引已協助多家開發者採用兒童安全防護工具,並向NCMEC註冊兒童性虐待材料通報機制。

此外,OpenAI也為負責兒童安全工作的執法機關提供AI功能,包括專用外掛工具、調查工具及複雜資料分析功能,並由計畫管理人員管理使用權限。公司也將為調查人員提供培訓,以及一份說明如何運用AI的實務指南。

OpenAI過去曾面臨多起訴訟,指控其技術對用戶造成傷害,尤其涉及兒童。專注安全議題的非營利組織Common Sense Media更將OpenAI的技術評為青少年使用的「不可接受風險」。其他AI聊天機器人,尤其是Grok,也曾被用來製作未經當事人同意的性化影像,其中甚至涉及兒童。

過去12個月內,OpenAI已針對旗下技術進行多項調整,包括發布安全藍圖、更新內容規範以禁止不當內容、重新調整模型以防止生成有害內容,以及推出專為青少年設計的ChatGPT版本。

資料來源:techcrunch

Loading

發佈留言

Back to top button