Nvidia推新的AI訓練法 在預訓練階段就引入「思考過程」

記者鄧天心／綜合報導

Nvidia的研究團隊近日提出一種全新的大型語言模型（Large Language Models, LLMs）訓練方法，能在模型的預訓練階段就培養出「推理思考」能力，顛覆了既有AI學習架構的設計思維，AI推理能力正從「後期微調」邁向「前期內建」，或將重塑下一代生成式AI的基礎。

延伸閱讀：

Meta Reels推出AI即時翻譯功能 能自動配音、同步口型

現有的大型語言模型，如ChatGPT或Claude，多數在訓練初期僅透過大量文本學習語言結構與關聯，並在完成語言建模後，額外透過微調（fine-tuning）或提示工程（prompt engineering）來提升推理與邏輯能力，這種流程導致模型「懂語言但不懂邏輯」，能回答語法正確的句子，卻無法真正模擬人類的思考過程。

Nvidia研究團隊提出的方法，則是在預訓練階段就引入「思考過程」的模擬。具體而言，模型不只是預測下一個字詞，而是同時生成內部的「思考軌跡」（internal reasoning traces），讓AI在理解內容時主動推演、驗證並調整其推理邏輯，這種作法可被視為為模型注入「內在對話機制」，讓AI不再只是被動輸出答案，而能在過程中學會思考。

初步實驗顯示，使用該訓練方法的語言模型，在數學推理、程式邏輯、甚至複雜文字理解等多項基準測試中，均顯示出顯著進步，特別是在需要多步推理（multi-step reasoning）的任務上表現最為突出。

資料來源：VentureBeat、NVIDIA