AI技術發展的瓶頸|專家論點【張瑞雄】
作者:張瑞雄 台北商業大學前校長/叡揚資訊顧問
在當前的人工智慧發展中,一個重要的話題是「擴展定律」是否仍然有效。在 GPT-4 於 2023 年推出後,這個規律得到了進一步驗證:更大的模型似乎能帶來更高的性能。儘管外界預期 OpenAI 會迅速推出更大、更強的 GPT-5,但距離 GPT-4 的發布已有 18 個月,OpenAI 仍未發布 GPT-5,且執行長Sam Altman 明確表示今年不會推出名為 GPT-5 的模型。反之,OpenAI 近來發布的幾個新模型,像是 GPT-4o 和 o1,性能雖然不俗,但未必比 GPT-4 大,甚至可能更小。
這一趨勢並非 OpenAI 獨有,谷歌和 Anthropic 等其他 AI 實驗室也選擇優化其小型和中型模型,例如谷歌的 Pro 1.5、Flash 1.5 以及 Anthropic 的 Sonnet 3.5、Haiku 3.5,而它們最大的模型更新則遲遲未見。這不禁讓許多專家開始懷疑擴展定律是否已失去效力。
根據《The Information》報導,OpenAI 內部對其下一代代號為 Orion 的模型性能並不滿意,雖然 Orion 的性能優於之前的模型,但與 GPT-3 到 GPT-4 之間的進步相比,增長幅度明顯縮小。彭博社的報導也指出,Google 的 Gemini 和 Anthropic 的 3.5 Opus 同樣未達到內部預期。在這些背景下,AI 實驗室面臨著技術上的瓶頸,擴展模型已無法帶來顯著的性能提升。
OpenAI 的聯合創辦人 Ilya Sutzkever 表示,過去是「擴展的時代」,而現在又回到「探索與發現的時代」。這段話揭示了一個關鍵點:單純通過擴展模型來提升性能的策略或已接近極限。隨著模型的規模增大,回報卻在逐漸遞減,AI 實驗室可能需要在架構上進行突破,而不只是依賴單純的規模擴展。
這樣的情況讓人回想到去年 Google 推出 Gemini Ultra 時,性能增長也只是相對有限,未能顯著超越 GPT-4。現在越來越多的證據顯示,這可能是一種結構性的問題。要突破目前的瓶頸,或許需要重新思考語言模型的設計,特別是如何讓它們更有效地處理長篇且複雜的輸入內容,以及如何更深層地理解抽象概念。
這種「擴展瓶頸」在各大實驗室的探索中逐漸浮現,使得原本的擴展策略顯得不再足夠。AI 實驗室如 OpenAI、Google 和 Anthropic 等在追求更大、更強模型的過程中已逐步走向極限,未來或將需要在基礎技術上進行創新,突破目前大語言模型在架構和訓練方式上的限制。例如,在記憶體管理和長序列處理方面進行突破,讓模型能夠更有效地應對長文本,或以嶄新的推理技術使模型更接近人類的抽象推理能力。
此外,AI 的發展不僅僅是技術上如何擴展,也涉及到資源和成本的平衡。過度擴展模型不僅需要更大的硬體資源投入,訓練過程所需的能量消耗和碳排放也令人擔憂。AI 面臨的挑戰是如何在不無限制增加成本的情況下,找到有效的成長方式。這意味著未來的發展可能更加注重效率,透過更精細的模型調整、優化訓練方法來達成理想的性能,從而減少對硬體和計算資源的依賴。
這一趨勢帶來的啟示是,技術創新不僅在於「更大」,也在於「更精巧」。我們可能會看到未來的 AI 研究重心轉向新型架構,例如與類神經網路不同的混合架構或神經圖譜系統,以在推理和計算的基本層面上取得突破。同時,也可能會出現更多多模態 AI 的創新,以拓展模型處理視覺、聲音和文本等不同輸入的能力,使得模型不僅能夠模擬人類的文字輸出,也能整合視覺或其他訊息進行更全面的理解。
總結來說,當前的 AI 技術發展正面臨著一個「瓶頸期」,而單純透過擴展模型的成長方法已經不再能解決當前面臨的挑戰。AI 需要回到創新和探索的核心,開發新的技術和架構來推動下一波的進展。這將不僅僅是技術的進化,也是思維方式的轉變。AI 技術的發展必須在效能、資源和社會責任之間取得平衡,以達到真正的永續發展。
瀏覽 1,101 次