能擊敗輝達嗎? AI 雲端新創公司下注AMD晶片

編譯/莊閔棻

隨著擅長運行GPU 和其他人工智慧(AI)基礎設施的專業雲端服務供應商興起,雖然其中一些參與者(如CoreWeave、Lambda 或Voltage Park)用了數萬個輝達(Nvidia)GPU 構建了自己的集群,但其中也有很多參與者正在轉向使用超微半導體(AMD)的晶片,包括AI雲端新創公司TensorWave。

AI雲端新創公司TensorWave 認為,AMD 最新 AI 晶片比輝達的 H100 晶片更快。示意圖。圖取自AMD

TensorWave使用AMD晶片

據報導,TensorWave早些時候開始部署由 AMD Instinct MI300X 驅動的系統,並計畫挪用在輝達費用上的一小部分,租借這些晶片。TensorWave 聯合創始人 Jeff Tatarchuk 認為 ,AMD 最新的晶片具有許多優良品質,指出 AMD 最新 AI 晶片比輝達的 H100 晶片更快,「僅就原始規格而言,MI300X 優於 H100。」

更多新聞:槓上輝達和英特爾   AMD 推新商用AI PC晶片

比輝達 H100 快 32%。

MI300X 於2023年在12月在 AMD 的 Advancing AI 活動中推出,這是該晶片設計公司至今為止最先進的加速器。 這款 750W 晶片採用先進封裝組合,將 12 個小晶片(若算上 HBM3 模組,則為 20 個)拼湊成一個 GPU,據稱比輝達的 H100 快 32%。

更好的頻寬

一般來說,在大型語言模型推理上,記憶體頻寬越高 AI 效能越好,而除更高的浮點運算性能外,該晶片還擁有更大的 192GB HBM3 記憶體、5.3TB/s 的頻寬,效能比 H100 聲稱的 80GB 和 3.35TB/s頻寬更好。

MI300X的挑戰

然而, AMD的晶片並非沒有挑戰,Tatarchuk 就表示,雖然人們對 AMD 的輝達的替代品抱有很大熱情,但客戶並不確定他們是否會擁有相同的性能,「我們不能 100%確定,它是否會如輝達的產品那樣出色。」

參考資料:The Register

瀏覽 170 次

覺得不錯的話就分享出去吧!

發佈留言

Back to top button