課程筆記/回顧需會員方可瀏覽前往登入

本集將著重於FFM Application Turnkey Solution 介紹福爾摩沙大模型 (Formosa Foundation Model)

課程大綱：

FFM介紹
★ 台灣第一個專為企業提供的大語言模型
★ 表現接近 GPT3.5
★ 基於 768 GPU 及 AIHPC 超級電腦環境訓練高達 1,760 億參數
★ 提供 FFM 大語言模型 176B/ 7B 選項，適用各種企業場景需求
★ 強化繁中語料更貼近台灣用語與知識，同時支援多國語言

1. FFM Application Turnkey Solution 介紹：滿足企業客戶快速導入 LLM application 需求
2. 最佳實踐展示
• FFM Chat
• FFM Application
• FFM Code Assistant
3. Call-to-action

講師介紹：
Jay 葉傑倫 歷任華碩電腦、華碩雲端與台智雲等知名科技公司業務主管職位。對雲端運算、人工智慧及伺服主機市場趨勢了解極為透徹。曾親自策劃過多項智慧雲端及AI解決方案的銷售案例，深獲客戶信賴。

【製作團隊】
1111人力銀行 x 科技島
Tech Nice 主持 陳坤平
整理 段友儒
後製 黃本洋

這篇文章 企業AI幫手：FFM解決方案與操作指南 | Jay葉傑倫線上講座 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

目前市面上雖然有許多大型語言模型供我們選擇，但卻很少為台灣的繁體使用者設計的FFM。而由於FFM優化了其繁體中文能力，再加上像是Application Turnkey Solution的特點，讓它成為了企業導入AI時的優先選項。

講師：葉傑倫

Jay 葉傑倫
歷任華碩電腦、華碩雲端與台智雲等知名科技公司業務主管職位。對雲端運算、人工智慧及伺服主機市場趨勢了解極為透徹。曾親自策劃過多項智慧雲端及AI解決方案的銷售案例，深獲客戶信賴。

一、前言

自從ChatGPT推出後，許多個人企業也開始將生成式AI導入公司的運作中。目前企業所使用的AI可以概分為對外服務和內部使用兩類。對外服務包含利用AI機器人進行客服和行銷等工作，而由於這類的AI是將公司已完成的產品供客戶使用，因此較無資安的疑慮。而供內部使用的AI機器人，則是一個封閉式的AI。由於此種AI是部署於地端，像是公司的內部，並運用公司的內部資訊作為訓練此大型語言模型的資料，因此能夠擁有較高的機密性。然而，即便這些AI背後所使用的，是我們所熟知的ChatGPT或其他大型語言模型，但由於這些大型語言模型仍較無法理解台灣所使用的繁體中文，造成台灣企業導入AI時出現語言不順的問題。幸好隨著AI技術的發展，目前市面上已有支援台灣繁體中文的大型語言模型，其中也包含了國科會、聯發科與台灣大學所推出的大型語言模型。除此之外，台灣智慧雲端服務股份有限公司（台智雲）也提供了繁體中文的大型語言模型，並以商業授權的方式提供服務給各個企業。本次課程將介紹台智雲所推出的大型語言模型，為企業提供導入AI時的另一項選擇。

二、FFM 解決方案與應用

Formosa Foundation Model（FFM）為台灣首款專為企業打造的大型語言模型。FFM之所以可以成為企業導入AI時的最佳選擇，是因為它除了支援多國語言，也因為擁有豐富的繁體中文語料，讓它能夠在回應問題時，能更符合台灣的繁體中文語法。FFM的性能與ChatGPT-3.5相似，並提供7B、13B和70B三種模型作為選擇，而要使用何種模型，則需視任務是否需要AI具有高度邏輯性而定。除了前述這些特點，其實FFM解決方案最重要的核心為「Application Turnkey Solution」。它可以幫助企業快速導入語言模型，將FFM部署在內部網路，透過聊天或API與該語言模型互動，讓企業在使用AI時也同時保有隱私。

如果我們要讓語言模型可以在企業端使用，那麼就必須要將公司內部資料作為語言模型的訓練資料。當我們在建置企業專用的語言模型時，可概分為四個步驟。首先，企業必須先將自己的相關資料進行格式化整理。接著，我們必須將這些格式化後的資料提供給大型語言模型，做為其訓練用的資料。當餵完資料後，我們必須進行驗證，以確保AI回應內容的準確性。當驗證沒問題後，我們就可以將AI部署於公司外部或內部使用囉！

1. FFM Chat

FFM Chat是FFM提供的眾多功能的其中一個。我們可以透過如同與ChatGPT的對話方式，讓AI幫助我們完成許多任務。導入FFM的好處是，它可以針對我們面對的不同情境，提供「預設指令」（System Prompt），讓我們在使用時，不需要花費大量時間在修改指令上。以社群小編的工作為例，以往我們使用ChatGPT時，都會請它扮演文案專家撰寫社群貼文。但由於FFM中可以依據客戶的需求預設指令，包含扮演何種角色、撰寫多少字的貼文等，因此我們只需要輸入產品名稱，AI就可以很快地產生一篇文案。

另外，FFM也提供去識別化的功能。在醫療方面，假設我們想要分享醫療相關案例，卻又必須同時保護病人的醫療隱私時，就可以在建置FFM時，在預設指令中告訴AI遇到何種資訊時，必須將其以「OOO」或「XXX」取代。接著，我們只需要將病患資料餵給醫院的大型語言模型，它就會依照預設的指令幫助我們處理病患個資。而由於建置在醫院內的大型語言模型是連接地端，因此也無須擔心餵給AI的資料外洩的問題。除此之外，若醫院中有建置FFM大型語言模型，那麼我們也可以將病患的健檢資料提供給AI，讓它幫助我們分析並提供建議，幫助醫護人員加快報告分析過程，提升工作效率。

除此之外，FFM Chat也可以提升傳統的客戶服務。以往我們打電話詢問客服時，電話中的機器人會告訴我們，遇到何種狀況要按哪個數字鍵，但現在有了FFM系統後，我們只要先將公司客服常用的問題與回應餵給AI，客戶就可以用日常口語的方式詢問或描述遭遇的情況，AI就能夠幫助我們判斷有哪些解決方案。

2. FFM Application

除了前述與ChatGPT使用類似的服務，FFM也可以成為我們的第二個大腦，幫助我們進行知識管理。以往我們在整理銷售紀錄時，通常會將銷售報表依照年度放置於電腦上不同的資料夾中。不過，這樣的整理方式很容易會讓我們在要找某年度的銷售額時，需耗費大量的時間翻閱資料夾尋找資料。而有了FFM之後，我們只需要將公司每年的銷售報表上傳，AI就會幫我們將資料向量化並儲存起來。我們只需要在需要找尋特定年度的業績時，打開AI機器人詢問它該年度的業績，AI就能夠準確地告訴我們答案。

另外，FFM也可以用來建置網頁內容分析機器人。由於每個網頁設計者在設計網站時的邏輯可能與使用者不同，導致使用者在瀏覽網頁時難以找到想要的商品。此時，如果我們利用FFM在網頁設計時設計一個聊天機器人，並將網頁的商品資訊、文字檔、影音檔做為AI訓練的資料，並讓AI向量分析後存檔，那麼我們的機器人就可以在收到客戶的問題後，提供適當的回應。

3. FFM Code Assistant

FFM Code Assistant則是程式開發助手，它可以幫我們寫程式碼、除錯和註解等。另外，FFM程式開發助手支援中英文，因此我們不需要再耗費大量時間翻譯指令。在使用FFM程式開發助手時，我們只需要將想要寫出何種程式碼告訴它，AI就會自動幫我們生成程式碼。除此之外，我們也可以直接在頁面中透過對話的方式，請AI幫我們除錯，甚至還可以幫助我們寫註解，記錄下在撰寫某段程式碼時的設計理念，方便接手我們程式碼的人員了解我們的想法。最後，如果我們寫了一部份的程式碼，但又不知道該如何接下去，那麼也可以將已經撰寫好的程式碼上傳給FFM程式開發助手，請它幫我們完成程式設計。

三、結語

目前市面上雖然有許多大型語言模型供我們選擇，但卻很少為台灣的繁體使用者設計的FFM。而由於FFM優化了其繁體中文能力，再加上像是Application Turnkey Solution的特點，讓它成為了企業導入AI時的優先選項。除此之外，因為建置FFM時可以選擇部署於地端，並以企業內部資料訓練機器人，因此也能夠有效地保障了公司的機密。最後，從本次課程中FFM的應用中，我們也可以發現像程式設計師的工作，也面臨了被AI取代的風險。不過，目前AI仍然很難取代人類的創意和批判性思考能力。因此，在AI蓬勃發展的現在，我們更應該思考如何提升自己的價值與創造力，才能讓AI為我們所用。

【若想回顧完整版課程影音，請點選此連結；有任何問題或分享，也歡迎在本文底下留言。】

這篇文章 【課堂筆記】企業AI幫手：FFM解決方案與操作指南｜葉傑倫 (1/18) 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。