力挺開源AI後輝達推Nemotron 3.5 Lightning 單張GPU就能跑

記者黃仁杰／編譯

輝達執行長黃仁勳7月底首度在社群平台X發文，公開力挺開放式人工智慧模型，不到三週後，輝達便推出最新開源AI模型Nemotron 3.5 Lightning，進一步將公司對開放AI生態系的支持落實到產品布局。

Nemotron 3.5 Lightning主打輕量化設計，輝達表示，這款模型可以在個人電腦的單張GPU上執行，企業可免費下載、使用及修改，不需要另外取得輝達許可或支付模型授權費用。

輝達官方目前將Nemotron定位為真正的開源模型，不僅提供模型權重，也開放相關訓練資料與方法，讓開發者能自行修改、部署並建立衍生模型。輝達的開放模型授權也允許商業部署。

對以GPU為核心業務的輝達而言，開源AI模型的普及也有助擴大運算需求。無論企業使用的是自行下載部署的開放模型，或OpenAI、Anthropic等業者提供的封閉模型，最終仍需要晶片提供訓練及推論算力。

黃仁勳上月接受Axios訪問時直言，「免費AI應該對硬體有利，免費AI也應該對晶片有利」，點出輝達支持開放模型背後的商業邏輯。

黃仁勳正式加入開放AI政策辯論，則是在中國月之暗面（Moonshot AI）推出Kimi K3之後。Kimi K3是一款2.8兆參數的開放權重模型，能力快速逼近美國前沿AI模型，也讓美國政府開始重新檢視中國開放模型可能帶來的國安與智慧財產權問題。

美國官員隨後指控，月之暗面曾利用Anthropic的Fable模型進行蒸餾，以協助開發Kimi K3。不過，美方並未公開完整證據，月之暗面也沒有公開說明其訓練過程。

「AI履歷健檢」看見自己優勢：https://campaign.1111.com.tw/resume-review/

更多科技工作請上科技專區：https://techplus.1111.com.tw/

在相關爭議升溫之際，黃仁勳於7月24日在X發布自己的第一則貼文，分享由輝達、微軟、Meta、IBM等科技企業共同簽署的〈Open Weights and American AI Leadership〉公開信，呼籲美國政府避免過早限制開放模型，以免削弱競爭並將AI創新推往海外。

黃仁勳主張，開放模型可以強化安全及網路資安、加快技術創新與普及，同時讓企業及國家擁有更高程度的AI自主權。

數日後，輝達再與多家科技及資安業者成立Open Secure AI Alliance，推動利用開放模型、開源軟體及工具建立AI安全與網路防禦技術。輝達認為，開放模型能讓資安人員自行檢視、調整及部署防禦工具，降低對少數封閉系統的依賴。

最新推出的Nemotron 3.5 Lightning則特別針對AI代理應用設計，包括程式碼審查、資安監控及其他可以自主執行工作的AI任務。CrowdStrike、CodeRabbit與法律AI業者Harvey等企業，都已測試或客製化這款模型。

輝達同時推出NeMo Switchyard，這是一套開源模型路由工具，可根據不同AI任務的複雜程度、成本及效能需求，自動選擇更適合的模型。例如較簡單的工作可交由小型模型處理，複雜任務則切換至能力較強的大型模型，以降低整體AI推論成本。Reuters也確認，Nemotron 3.5 Lightning與NeMo Switchyard已成為輝達最新開放AI布局的一部分。

輝達表示，Nemotron 3.5 Lightning本身也運用了模型蒸餾技術，將較大型Nemotron模型的部分能力轉移至體積更小的模型，在降低運算資源需求的同時保留所需能力。

來源：CNBC