「小型語言模型」來了！ 貼近生活化｜漫談【主筆室】
科技島主筆／蔡哲明
ChatGPT 2022年功能噴發以致風靡全球，肇因生成式AI推手「大型語言模型」受到業界重視，經過科技大廠一年急速發展，開始出現「小型語言模型」開發契機，也將逐漸貼近你我生活。
微軟也在2022年發表130億參數的「小型語言模型」Orca，此一研究貢獻在於證明改進訓練訊號和方法，去年年底更新釋出Orca 2，能夠強化「小型語言模型」，使其接近大型語言模型的推理能力。Orca-Mat「小型語言模型」負以解決數學問題，對於未來莘莘學子以及上班族群將成一大福音。
「小型語言模型」相較於大型語言模型仍有相對優勢，計算資源明顯降低，使得它們可以在設備上運行，不再需要依賴雲端服務，他們減少訓練和運行語言模型的碳足跡來展現節能，「小型語言模型」運行速度加快且更有效率。有鑑於此，未來除了數學計算，甚至可能還會說文解字。
OpenAI大型語言模型耗費龐大，各家科技大廠開始研發「小型語言模型」，例如微軟正在鎖定其相關方向，針對需要較少計算能力和財務資源的人工智慧（AI），目的也將逐步貼近用戶而非企業導向。
科技廠商依賴外部開發人工智慧勢必衍生成本，若是缺乏技術又往大型語言模型產品勢必勞民傷財，若能鎖定開發精緻實惠的相關技術，還有可能為公司提供解決方案另闢新的商業模式，也能減少對第三方的依賴。
「小型語言模型」使用導向將會走入民間，解決用戶端的日常問題，除了數學計算也將可能說文解字，不再為了企業端的運營收益，也替將來AI市場注入分眾市場的另一契機。
瀏覽 3,719 次
