科技浪｜ Meta重磅發表Llama 4！竟然能一次處理一千萬個Token？小聊川普解放日

在本集《科技浪》中，主持人討論川普徵稅引發股市暴跌及經濟擔憂，此舉導致股市暴跌並引發經濟大蕭條的擔憂，指出其與實際貿易逆差和關稅本質無關，強調此政策可能對經濟造成嚴重負面影響。接著，節目重點轉向科技主題，介紹Meta重磅發布的Llama 4 AI模型，包含已推出的Scout與Maverick，以及訓練中的Behemth和Reasoning模型。

Meta官方宣稱Llama 4在多數基準測試中表現領先，但初期使用者評價褒貶不一，特別是在寫程式和推理任務上。Meta也承認模型存在偏見問題，並致力於使其政治立場更趨中立，甚至以Grok作為衡量標準。主持人也提到未來的Llama 4 Reasoning模型細節未公開，以及多模態功能缺乏音訊部分，略感失望。

本集節目亮點整理：

• 川普政府徵收全球關稅，引發經濟衰退擔憂：
  川普宣布「解放日」對全球國家徵收高額「對等關稅」，主持人哈麗指出其關稅計算方式（貿易逆差/進口額）荒謬且與實際關稅無關
• Meta重磅發布Llama 4系列AI模型：
  Llama 4包含已推出的Scout、Maverick，以及訓練中的Behemth和Reasoning模型。Meta過去的Llama模型一直是開源社群的領導者，儘管近期曾被Deepseek等中國公司超越，這次發表被視為Meta力求扳回一城的努力
• Llama 4 Scout實現千萬Token上下文長度：
  Scout模型支援驚人的1000萬個token上下文長度。這項突破是透過IRO（interleaved Rotary positional Embedding）架構達成，該架構結合了傳統Rope（Rotary Positional Embedding）的相對位置理解能力與Noppe（No Positional Embedding）的彈性，讓模型能處理超長序列
• Llama 4 Maverick支援原生多模態輸入：
  Maverick模型是原生多模態的，意味著它在預訓練階段就同時學習了視覺和文字的token
• Llama 4 Behemth為最大開源模型並採用MOE架構：
  Behemth模型擁有兩兆（2 trillion）參數，是目前已知最大的開源大型語言模型

瀏覽 130 次