Intel新一代Gaudi 3 贏過Nvidia　預計Q2上市

記者／竹二

Intel在去年5月的ISC超級電腦大會後，預告併購Habana Labs所得到的AI加速器Gaudi系列將推出第三代產品，去年12月中首度公開展示Gaudi 3晶片，並預告2024年將依照原先的時程推出。新一代AI加速晶片Gaudi 3導入台積電5奈米製程，BF16矩陣乘法運算效能可望到上一代產品的4倍。

Gaudi 3預計Q2上市

Gaudi 3預計將在今年第二季上市，初期會透過Dell、HPE、聯想、Supermicro 這4家伺服器廠商供應。相較於既有的Gaudi 2，Gaudi 3在BF16矩陣乘法運算的表現暴增至4倍，FP8矩陣乘法運算的表現提升到2倍，記憶體頻寬增加至1.5到2倍。

更多新聞：AI PC定義市場大亂鬥　Intel聯手微軟提出3大要求

根據Intel預估，新一代AI加速器用於常見的大型語言模型的訓練，像是Llama2-7B、Llama2-13B、GPT3-175B等，平均耗費時間縮短50%，用於常見大型語言模型的推論，平均吞吐量可領先50%，能源效益超越的比例則是40%。此外，就網路存取效能而言，Gaudi 3的尖峰I/O吞吐量也比Nvidia H100高，差距比例為33%。

AI 運算效能贏過Nvidia

其實在此之前，市面上陸續出現多款加速運算產品，試圖挑戰Nvidia H100 GPU，像是Intel在2022年發表的Data Center GPU Max，多種工作負載平均可領先Nvidia H100 PCIe的幅度為30%；AMD在2023年12月發表的Instinct MI300X，也號稱在執行大型語言模型的推論，吞吐量可達到Nvidia H100的1.6倍。

不過，Nvidia即將推出的H100加強版H200，配備容量更大（達到141 GB），速度也更快的高頻寬記憶體（HBM3e），Gaudi 3的AI運算效能還能勝出嗎？Intel指出，Gaudi 3用於常見的大型語言模型的推論（Llama2-7B、Llama2-13B、Falcon-180B），速度上的領先幅度還是可達到30%。

瀏覽 124 次