輝達AI代理安全平台一箭雙鵰 化解「放慢AI」壓力、也替BlueField-4創造需求

記者黃仁杰／編譯

輝達日前推出全新「Open Agent Safety」AI代理安全平台，透過軟體沙盒與硬體監控機制限制AI代理行為。相關設計除了回應近期外界對AI代理失控的安全疑慮，也可能降低要求AI產業放慢模型開發速度的壓力，同時進一步帶動輝達自家硬體需求。

這套平台主要由OpenShell與Sentry兩部分組成，前者負責限制AI代理能夠存取的系統資源，後者則透過輝達BlueField-4 DPU從主機環境之外監控AI代理，一旦偵測到越界行為，就能迅速將其隔離。

OpenShell把AI代理鎖在沙盒內

OpenShell是一套開源執行環境，可在核心層級將AI代理限制於沙盒中，只允許透過事先核准的方式存取系統。

這套軟體可以控制AI代理對檔案、工具與外部服務的存取，同時避免真正的登入憑證直接暴露給AI代理，並記錄系統作出的權限判斷。

簡單來說，OpenShell的角色就是替AI代理劃定明確邊界，限制它能做什麼、能碰哪些資源。

Sentry透過BlueField-4監控AI代理

另一項核心技術Sentry則是一套硬體監控機制，運行於輝達BlueField-4 DPU。

Sentry可以從主機環境外部讀取AI代理的推理內容，並監控其是否試圖突破原本設定的限制。如果AI代理嘗試跨越邊界，Sentry可在毫秒內將其隔離。

也因為Sentry目前需要BlueField-4 DPU才能運作，Open Agent Safety平台除了強化AI代理安全，也可能成為輝達推動BlueField產品需求的另一項工具。

AI安全若能靠隔離解決 「放慢AI」呼聲可能降低

近期Anthropic與OpenAI接連提出AI安全警告，包括AI可能對人類造成重大風險，以及AI代理可能逃離沙盒、進一步入侵其他系統等問題，也因此引發是否應放慢AI開發速度的討論。

Open Agent Safety的思路則不同。

如果AI代理可以透過軟硬體架構被有效隔離、監控與限制，那麼AI安全問題就可能更多被視為工程問題，而不是必須透過放慢模型推出速度解決。

對輝達而言，這樣的發展也相當重要。若AI產業因安全疑慮大幅降低模型開發與運算基礎設施建置速度，勢必也會影響AI晶片需求。

安全平台也替輝達硬體創造新需求

除了回應AI安全問題，Open Agent Safety也直接與輝達硬體生態系綁定。

尤其Sentry目前僅能在BlueField-4 DPU上執行，意味企業若希望使用完整的硬體層AI代理監控功能，就需要導入輝達的DPU產品。

這也讓輝達得以把「AI安全」變成另一項硬體採購理由，進一步把GPU之外的產品納入AI基礎設施部署。

Sentry前提是模型推理軌跡必須可見

不過，Sentry有一項重要限制，就是必須能夠看到模型的推理軌跡，才能分析AI代理正在進行什麼樣的判斷。

這對許多中國開放權重模型而言較容易做到，但Anthropic與OpenAI目前並未完全公開旗下模型的推理軌跡。

如果企業希望使用類似Sentry的安全機制，也可能進一步增加要求AI公司提高模型推理透明度的壓力。

問題在於，OpenAI與Anthropic之所以不願完全公開推理軌跡，其中一項顧慮正是避免中國AI實驗室利用這些資訊進行模型蒸餾。

黃仁勳：蒸餾是競爭不是偷竊

面對模型蒸餾爭議，輝達執行長黃仁勳近日則表達相對開放的態度。

他表示，自己當然希望沒有人從輝達產品中學習，讓公司可以一路順利發展，但現實上「競爭會讓一切變得更好」。

這代表黃仁勳更傾向把模型蒸餾視為市場競爭的一部分，而不是單純視為技術竊取。

同時，開放權重模型通常也需要企業自行部署運算基礎設施，尤其大型企業愈來愈希望掌握自己的算力節點與資料，這類部署方式同樣可能增加對GPU與相關AI硬體的需求。

來源：wccftech