蘋果NLP研討會聚焦3大亮點：破解AI幻覺、訓練AI代理與推測串流

記者孟圓琦／編譯

蘋果於日前舉辦了一場為期兩天的自然語言處理（NLP）研討會，發表了多項關於該領域最新進展的演講與研究成果。活動主要聚焦於三大研究領域：口語互動系統、大型語言模型（LLM）訓練與校準以及語言代理。

本次研討會匯集了來自各頂尖學術機構的研究人員，包括艾倫人工智慧研究所、倫敦帝國理工學院、麻省理工學院、哈佛大學、史丹佛大學、普林斯頓大學等。這些學者部分同時任職於微軟、亞馬遜、索尼、谷歌、騰訊及 Cohere 等科技巨頭，當然也包括蘋果自身的研究團隊。

延伸閱讀：
蘋果Image Playground將擴大第三方模型整合 傳有望引進Gemini？
蘋果MacBook Pro傳將有5大亮點改版升級？新晶片M6、OLED 螢幕首登場
Google開源Vault Gemma！首款防洩密AI語言模型免費下載

以下為本次研討會的三大重點研究摘要：

1. AI 模型崩潰與幻覺偵測

牛津大學副教授暨英國AI安全研究所研究主任 Yarin Gal 發表了兩項引人注目的研究。首先是「AI 模型崩潰」，他指出，隨著 AI 模型生成內容的大量發布，網路作為 LLM 訓練數據來源的可用性將逐漸達到極限。如果持續以這類合成數據訓練 LLM，恐將影響其知識與推理能力，並造成模型崩潰的風險。不過，Gal 教授也提出解決方案，例如開發能區分 AI 與人類生成內容的新工具，並制定更完善的法規。

其次是「偵測 LLM 幻覺」。Gal 提出一種新方法，透過讓模型生成多個答案，再依語義將這些答案分群，藉此評估模型對答案各部分的信心與準確性。這種框架可望應用於更長的對話中，精準判斷模型的可靠度。

2. 強化學習助力長程互動型 LLM 代理

蘋果機器學習研究員 Kevin Chen 在演講中展示了一款由其團隊訓練的 AI 代理。該代理採用名為「Leave-one-out 近端策略優化」（LOOP）的方法，能執行多步驟的複雜任務，例如根據文字筆記自動完成 Venmo 的支付與請款。Chen 說明，LOOP 能從自身過去的行動中迭代學習並優化獎勵，這使得該代理在執行任務時，能大幅減少錯誤與不必要的假設。儘管目前模型僅在24個不同情境下進行訓練，但其潛力仍不容小覷。

3. 推測串流：無需輔助模型也能實現快速 LLM 推理

蘋果工程經理兼技術主管 Irina Belousova 的演講，則介紹了一種名為「推測解碼」（speculative decoding）的技術優勢。該技術讓小型模型也能以更低的運算成本，生成媲美大型模型的高品質答案。其核心概念是：由小型模型生成候選答案序列，再交由大型模型進行驗證。一旦大型模型接受答案，任務便告完成。這種方法不僅能減少記憶體用量、提升性能，還能簡化部署架構，因為它省去了管理與切換多個模型的複雜性。這項研究為 LLM 的部署與應用帶來了極具價值的啟發。

資料來源：9to5mac、machinelearning