Google成立紅隊　測試人工智慧系統的攻擊

編譯／Cynthia

近日，Google宣佈成立AI紅隊，專注於針對人工智慧系統進行複雜的技術攻擊。這支AI紅隊的出現，讓人們對人工智慧安全性的議題再度聚焦。該公司的AI紅隊除了與傳統紅隊密切合作外，更具備必要的AI專業知識，以模擬對人工智慧系統可能造成的真實威脅，並尋找解決方案。

在Google報告中，他們特別強調紅隊測試對於AI系統的重要性。報告提供了多個例子，展示AI系統可能面臨的攻擊，其中包括針對郵件偵測的攻擊，這種攻擊利用AI來自動檢測釣魚郵件，但駭客可以通過添加看不見的段落，欺騙AI將惡意郵件分類為合法。同時，報告還指出AI模型的訓練數據可能包含個人資訊，導致潛在的隱私風險。

更多新聞：欺詐信件　AI工具輕鬆生成「極具說服力」

AI紅隊還發現一種稱為提示工程的攻擊方法，這種攻擊操縱AI系統的提示，使其按照駭客期望的方式回應。報告中舉例，一名學生利用AI來評分論文的模型，進行巧妙的操作。即使該模型能夠防止提示注入，但由於訪問權限未加限制，該學生仍能夠訓練模型，讓包含特定單詞的論文得到最高評分。這些攻擊例子證明了AI系統的脆弱性，並顯示出AI安全性的迫切需求。

Google的報告向其他組織提供警示，他們鼓勵傳統紅隊與AI專家聯手合作，進行真實的對抗模擬。同時，報告指出解決紅隊發現的問題可能具有挑戰性，並可能需要綜合多個安全模型來應對不同的攻擊。傳統安全控制措施對於緩解許多風險非常有效，但AI系統的複雜性意味著需要更多全面的保護措施。AI紅隊的成立將有助於保護人工智慧系統免受日益增加的安全威脅，使這項技術能夠持續為社會帶來更多益處。

資料來源：SecurityWeek

瀏覽 7,947 次