微軟Azure推虛擬機器服務　首搭Nvidia H100雲端運算

記者／竹二

生成式AI的相關應用越來越廣泛，GPU成為重要且不可或缺的商用IT產品，尤其是輝達旗下的Nvidia H100，近期以來更是炙手可熱，有許多企業等不及伺服器廠商供貨，可以到公有雲服務申租搭配這款GPU的執行個體，目前已經有4大業者提供服務，其中就包含微軟Azure。

微軟Azure發表ND H100 v5

微軟Azure可以說是最早宣布推出搭配Nvidia H100雲端GPU運算服務的業者，在一年前Nvidia舉行GTC 2023大會前夕，就率先發表ND H100 v5，使用者可以使用8到數千台的Nvidia H100，GPU之間透過Nvidia Quantum-2 InfiniBand交換器互連，在2023年 8月正式上線。今年3月底開始，使用者若是想要在Azure網站入口，可以直接選取建立具有Nvidia H100的執行個體，就是NC H100 v5系列。

更多新聞：防止Azure AI產出有害內容　微軟推安全工具

據了解，微軟最新宣布正式上線營運的這一套GPU執行個體服務，是專門為了中階AI訓練需求所設計的解決方案，這款資料中心GPU是Nvidia在2023年3月發表的2款產品之一，當時Nvidia標榜可以如同H100支援Transformer Engine加速，而且配備94 GB容量的記憶體，在用於大型語言模型GPT-3的AI推論時，可以提供12倍的效能增長，預計今年下半年推出。

微軟NCC H100 v5兼顧效率與安全性

2023年11月微軟發表NC H100 v5系列，是呼應原本H100 NVL上市時程，更進一步基於組態而延伸，宣布將推出搭配Nvidia H100 GPU的機密運算虛擬機器服務，取名為NCC H100 v5系列，可用於開放原始碼AI模型與語言模型的訓練與微調，針對雲端服務環境執行的資料與應用程式工作負載，提供更多兼顧效率與安全性保護的彈性選項。

微軟表示，若是使用這套解決方案，虛擬機器的GPU會進入機密模式，記憶體與安全性關鍵組態暫存器會受到隔離，可以防止未經授權的存取，一旦機密虛擬機器載入GPU裝置驅動程式，就會與GPU之間建立安全通道，並執行CPU與GPU之間的資料傳輸作業，使用者還可以在發布敏感應用程式與釋出資料加密金鑰等祕密的內容之前，提出見證請求，能以透明且受保護的方式執行在虛擬機器上。

瀏覽 211 次