Intel新一代Gaudi 3 贏過Nvidia 預計Q2上市

記者/竹二

Intel在去年5月的ISC超級電腦大會後,預告併購Habana Labs所得到的AI加速器Gaudi系列將推出第三代產品,去年12月中首度公開展示Gaudi 3晶片,並預告2024年將依照原先的時程推出。新一代AI加速晶片Gaudi 3導入台積電5奈米製程,BF16矩陣乘法運算效能可望到上一代產品的4倍。

新一代AI加速晶片Gaudi 3導入台積電5奈米製程,BF16矩陣乘法運算效能可望到上一代產品的4倍。(圖/截取自Intel)

Gaudi 3預計Q2上市

Gaudi 3預計將在今年第二季上市,初期會透過Dell、HPE、聯想、Supermicro 這4家伺服器廠商供應。相較於既有的Gaudi 2,Gaudi 3在BF16矩陣乘法運算的表現暴增至4倍,FP8矩陣乘法運算的表現提升到2倍,記憶體頻寬增加至1.5到2倍。

更多新聞:AI PC定義市場大亂鬥 Intel聯手微軟提出3大要求

根據Intel預估,新一代AI加速器用於常見的大型語言模型的訓練,像是Llama2-7B、Llama2-13B、GPT3-175B等,平均耗費時間縮短50%,用於常見大型語言模型的推論,平均吞吐量可領先50%,能源效益超越的比例則是40%。此外,就網路存取效能而言,Gaudi 3的尖峰I/O吞吐量也比Nvidia H100高,差距比例為33%。

AI 運算效能贏過Nvidia

其實在此之前,市面上陸續出現多款加速運算產品,試圖挑戰Nvidia H100 GPU,像是Intel在2022年發表的Data Center GPU Max,多種工作負載平均可領先Nvidia H100 PCIe的幅度為30%;AMD在2023年12月發表的Instinct MI300X,也號稱在執行大型語言模型的推論,吞吐量可達到Nvidia H100的1.6倍。

不過,Nvidia即將推出的H100加強版H200,配備容量更大(達到141 GB),速度也更快的高頻寬記憶體(HBM3e),Gaudi 3的AI運算效能還能勝出嗎?Intel指出,Gaudi 3用於常見的大型語言模型的推論(Llama2-7B、Llama2-13B、Falcon-180B),速度上的領先幅度還是可達到30%。

瀏覽 364 次

覺得不錯的話就分享出去吧!

發佈留言

Back to top button