隨著科技進步人工智能漸漸影響著人類社會，但與網際網路不一樣的是 AI 極度依賴更大的資料集上訓練更大的模型。為 …

隨著科技進步人工智能漸漸影響著人類社會，但與網際網路不一樣的是 AI 極度依賴更大的資料集上訓練更大的模型。為此，由全球1000多名志願者組成的“大科學”（BigScience）研究小組，與AI新創Hugging Face 主導，共同發布大型語言模型BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）。

這是一款擁有1,760億個參數大型語言模型，由法國超級電腦執行運算練 117 天，才在今年完成。包含了可理解的 46 種語言和 13 種程式語言，包含西班牙文、日文、德文、中文或多種印度及非洲語言，並且開放下載存取，目標是通過引入“世界上最大的開放多語言模型”，使人工智能更加民主化。

值得讚許的是，大型語言模型因為開發成本高，以往都是由谷歌或OpenAI (GPT-3)這樣的大公司生產的，並且它們基於各種商業和其他原因限制對其完整模型的訪問使用，在這樣的框架下，不管是學術界、非營利組織或者小公司就很難創建或研究，只有少數擁有資源的公司能完全獲取，而 BLOOM 就是打破這個限制。

但儘管擁有龐大的資料集，BLOOM仍存在著大型語言模型的缺點，因為語言模型並不是真正了解語言，只是透過大量的數據而生成的詞彙，可能會因此宣揚到錯誤的價值觀；例如敏感的種族歧視、宗教或性別歧視等；所以目前在使用BLOOM之前，還需要簽署一份會不斷更新的法律許可，目的是讓使用者能承諾一切使用範圍是正當且合法的。（記者／劉閔）

這篇文章 驚！全球最大的語言模型BLOOM 問世 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

目前機器學習新創公司Hugging Face，從2021年開始領導開發支持多語言的BLOOM(BigScien …

目前機器學習新創公司Hugging Face，從2021年開始領導開發支持多語言的BLOOM(BigScience Large Open-science Open-access Multilingual Language Model)，有助於長期以來人工智慧經常忽略的多語言領域的發展。其實BLOOM的架構類似於OpenAI的GPT-3大型語言模型(large language model)，但最大差異在於BLOOM是多語言的，而GPT-3是單語言的。

示意圖：123RF

BLOOM是由法國的Jean Zay超級計算機所建立和訓練而成的，而BLOOM從一開始就被設計為多語言的，透過Hugging Face工程師的描述，BLOOM還被納入了大量程式語言的數據，因此它目前不僅支持46種人類語言，還有13種程式語言。

Hugging Face運用了Nvidia Megatron和微軟DeepSpeed，為了讓數據科學家訓練大型語言模型所設計的開源項目，BLOOM需要這種以PyTorch機器學習框架為基礎的開源項目，如此一來才能讓BLOOM模型是多語言的。

雖然大型語言模型是自然語言處理的一小部分，但語言模型有其必要性，它用來建立人工智慧互動和應用的基礎，但目前世界上多數人工智慧語言模型基本上都只包含英文、中文，BLOOM則是特別針對法語、西班牙語和阿拉伯語領域近一步擴展這些過去沒有觸及的大型語言模型。

除此之外還有前述所提及的程式設計語言的包含，表示BLOOM也涉及使用人工智慧進行程式開發，如GitHub較早的領先者旗下 Copilot在6月底開始普遍運用，因此這是一個新興領域，程式開發已然進入新的時代，而BLOOM未來預計會成為優秀的編碼應用平台，也可能會有意想不到、富有新意的用法。（編譯／施毓萱）

資料來源：

https://venturebeat.com/2022/07/12/ai-goes-multilingual-with-hugging-faces-bloom-large-language-model/

這篇文章 程式設計語言  饒富新意的多面向開發 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。