輝達GB300跑代理式AI效能飆20倍 Rubin平台接棒搶攻下一波AI運算

記者黃仁杰／編譯

隨著AI發展重心從大型模型訓練轉向能自主執行任務的代理式AI（Agentic AI），輝達新一代Blackwell Ultra GB300平台展現強勁運算實力。根據最新公布的AA-AgentPerf測試結果，GB300在代理式AI工作負載上的效能最高可達上一代Hopper架構H200平台的20倍，刷新目前相關基準測試紀錄。

AI分析機構Artificial Analysis近日推出全新AA-AgentPerf基準測試，主要評估AI推論系統在真實代理式AI情境下，能同時支援多少活躍AI代理工具（AI Agents）運作，藉此反映現代AI部署的實際效能。

這項測試主要涵蓋三大核心指標，包括從發送請求到產生第一個輸出結果的延遲時間（Time to First Token, TTFT）、每秒輸出的Token數量，以及多個AI代理人同時運作下，整體系統每秒可提供的總輸出量。

輝達此次以GB300 NVL72平台搭配DeepSeek V4 Pro模型進行測試。該模型被視為目前代理式AI應用的重要代表之一，廣泛用於各類AI代理工作流程。

「AI履歷健檢」看見自己優勢：https://campaign.1111.com.tw/resume-review/

更多科技工作請上科技專區：https://techplus.1111.com.tw/

測試結果顯示，GB300每兆瓦（MW）可支援多達6萬個同時運作的AI代理人，相較於採用Hopper架構的HGX H200平台，效能提升約20倍。

輝達表示，這項成績凸顯GB300 NVL72與Blackwell架構在大規模代理式AI程式開發工作負載上的優勢，能在多個AI代理人同時執行任務時，持續維持GPU高利用率。

隨著AI產業逐漸從模型訓練轉向推論運算，代理式AI被視為下一波重要發展方向，相關應用需要大量AI代理人同步協作，因此系統吞吐量、延遲與整體運算效率變得更加重要。

展望下一代產品，輝達也預告Rubin架構即將問世，預期將進一步擴大與競爭對手的差距。根據公司公布資訊，Rubin平台採用NVFP4技術，運算能力可達50 PFLOPs，並結合Vera CPU，提升大型語言模型工具呼叫（LLM Tool Calls）以及端到端AI工作流程的整體效能與能源效率。

來源：wccftech