AWS擴大採用輝達AI晶片 全球部署上看300萬顆GPU、較原計畫增兩倍

記者黃仁杰／編譯

輝達公布最新財報後，Amazon同步宣布擴大與輝達的合作，AWS全球基礎設施將部署最多300萬顆輝達AI GPU，用於代理式AI、自動化、實體AI等工作負載。

這項合作延續雙方今年3月在GTC公布的計畫。當時Amazon預計部署100萬顆輝達AI GPU，如今再追加200萬顆，將整體規模提高至最多300萬顆。

AWS也將導入Vera CPU

除了GPU之外，Amazon也表示，正與輝達合作將Vera CPU導入AWS平台。

隨著代理式AI工作負載增加，CPU在AI基礎設施中的角色也逐漸提升。Amazon表示，擴大採用輝達硬體，是為了讓AWS客戶能有更多AI運算選擇，同時與公司自研Trainium晶片互補。

AWS目前本身就提供Trainium系列AI晶片，而這次與輝達擴大合作，則是希望同時保留自研晶片與外部GPU平台，提供更完整的運算選項。

「AI履歷健檢」看見自己優勢：https://campaign.1111.com.tw/resume-review/

更多科技工作請上科技專區：https://techplus.1111.com.tw/

Trainium也將搭配輝達NVHBM技術

雙方另一項合作重點，是Amazon將透過輝達NVHBM技術，讓Trainium晶片取得更高效率的記憶體支援。

輝達稍早公布NVHBM，宣稱相較HBM4E可提供高出30%的頻寬，同時提升15%能源效率。

對AI晶片而言，記憶體頻寬與耗電都是關鍵瓶頸，因此Amazon也希望透過這項合作進一步強化Trainium平台。

10萬顆GPU將供美國政府AI工廠使用

在此次最多300萬顆GPU的部署計畫中，其中10萬顆將配置給專門為美國政府打造的「AI工廠」。

Amazon表示，相關系統將服務Impact Level 6等級的安全需求。

黃仁勳：AI需求持續超出預期

輝達執行長黃仁勳表示，輝達與AWS過去16年持續擴大雲端運算合作，而目前AI需求仍跑在原先預測前面。

他指出，雙方接下來將把合作範圍從GPU進一步擴展至CPU、網路、開放模型與軟體，希望加速代理式AI與實體AI落地。

來源：wccftech