【課堂筆記】企業AI幫手:FFM解決方案與操作指南|葉傑倫 (1/18)

講師:葉傑倫

Jay 葉傑倫
歷任華碩電腦、華碩雲端與台智雲等知名科技公司業務主管職位。對雲端運算、人工智慧及伺服主機市場趨勢了解極為透徹。曾親自策劃過多項智慧雲端及AI解決方案的銷售案例,深獲客戶信賴。

一、前言

自從ChatGPT推出後,許多個人企業也開始將生成式AI導入公司的運作中。目前企業所使用的AI可以概分為對外服務和內部使用兩類。對外服務包含利用AI機器人進行客服和行銷等工作,而由於這類的AI是將公司已完成的產品供客戶使用,因此較無資安的疑慮。而供內部使用的AI機器人,則是一個封閉式的AI。由於此種AI是部署於地端,像是公司的內部,並運用公司的內部資訊作為訓練此大型語言模型的資料,因此能夠擁有較高的機密性。然而,即便這些AI背後所使用的,是我們所熟知的ChatGPT或其他大型語言模型,但由於這些大型語言模型仍較無法理解台灣所使用的繁體中文,造成台灣企業導入AI時出現語言不順的問題。幸好隨著AI技術的發展,目前市面上已有支援台灣繁體中文的大型語言模型,其中也包含了國科會、聯發科與台灣大學所推出的大型語言模型。除此之外,台灣智慧雲端服務股份有限公司(台智雲)也提供了繁體中文的大型語言模型,並以商業授權的方式提供服務給各個企業。本次課程將介紹台智雲所推出的大型語言模型,為企業提供導入AI時的另一項選擇。

二、FFM 解決方案與應用

Formosa Foundation Model(FFM)為台灣首款專為企業打造的大型語言模型。FFM之所以可以成為企業導入AI時的最佳選擇,是因為它除了支援多國語言,也因為擁有豐富的繁體中文語料,讓它能夠在回應問題時,能更符合台灣的繁體中文語法。FFM的性能與ChatGPT-3.5相似,並提供7B、13B和70B三種模型作為選擇,而要使用何種模型,則需視任務是否需要AI具有高度邏輯性而定。除了前述這些特點,其實FFM解決方案最重要的核心為「Application Turnkey Solution」。它可以幫助企業快速導入語言模型,將FFM部署在內部網路,透過聊天或API與該語言模型互動,讓企業在使用AI時也同時保有隱私。

如果我們要讓語言模型可以在企業端使用,那麼就必須要將公司內部資料作為語言模型的訓練資料。當我們在建置企業專用的語言模型時,可概分為四個步驟。首先,企業必須先將自己的相關資料進行格式化整理。接著,我們必須將這些格式化後的資料提供給大型語言模型,做為其訓練用的資料。當餵完資料後,我們必須進行驗證,以確保AI回應內容的準確性。當驗證沒問題後,我們就可以將AI部署於公司外部或內部使用囉!

  1. FFM Chat

FFM Chat是FFM提供的眾多功能的其中一個。我們可以透過如同與ChatGPT的對話方式,讓AI幫助我們完成許多任務。導入FFM的好處是,它可以針對我們面對的不同情境,提供「預設指令」(System Prompt),讓我們在使用時,不需要花費大量時間在修改指令上。以社群小編的工作為例,以往我們使用ChatGPT時,都會請它扮演文案專家撰寫社群貼文。但由於FFM中可以依據客戶的需求預設指令,包含扮演何種角色、撰寫多少字的貼文等,因此我們只需要輸入產品名稱,AI就可以很快地產生一篇文案。

另外,FFM也提供去識別化的功能。在醫療方面,假設我們想要分享醫療相關案例,卻又必須同時保護病人的醫療隱私時,就可以在建置FFM時,在預設指令中告訴AI遇到何種資訊時,必須將其以「OOO」或「XXX」取代。接著,我們只需要將病患資料餵給醫院的大型語言模型,它就會依照預設的指令幫助我們處理病患個資。而由於建置在醫院內的大型語言模型是連接地端,因此也無須擔心餵給AI的資料外洩的問題。除此之外,若醫院中有建置FFM大型語言模型,那麼我們也可以將病患的健檢資料提供給AI,讓它幫助我們分析並提供建議,幫助醫護人員加快報告分析過程,提升工作效率。

除此之外,FFM Chat也可以提升傳統的客戶服務。以往我們打電話詢問客服時,電話中的機器人會告訴我們,遇到何種狀況要按哪個數字鍵,但現在有了FFM系統後,我們只要先將公司客服常用的問題與回應餵給AI,客戶就可以用日常口語的方式詢問或描述遭遇的情況,AI就能夠幫助我們判斷有哪些解決方案。

  1. FFM Application

除了前述與ChatGPT使用類似的服務,FFM也可以成為我們的第二個大腦,幫助我們進行知識管理。以往我們在整理銷售紀錄時,通常會將銷售報表依照年度放置於電腦上不同的資料夾中。不過,這樣的整理方式很容易會讓我們在要找某年度的銷售額時,需耗費大量的時間翻閱資料夾尋找資料。而有了FFM之後,我們只需要將公司每年的銷售報表上傳,AI就會幫我們將資料向量化並儲存起來。我們只需要在需要找尋特定年度的業績時,打開AI機器人詢問它該年度的業績,AI就能夠準確地告訴我們答案。

另外,FFM也可以用來建置網頁內容分析機器人。由於每個網頁設計者在設計網站時的邏輯可能與使用者不同,導致使用者在瀏覽網頁時難以找到想要的商品。此時,如果我們利用FFM在網頁設計時設計一個聊天機器人,並將網頁的商品資訊、文字檔、影音檔做為AI訓練的資料,並讓AI向量分析後存檔,那麼我們的機器人就可以在收到客戶的問題後,提供適當的回應。

  1. FFM Code Assistant

FFM Code Assistant則是程式開發助手,它可以幫我們寫程式碼、除錯和註解等。另外,FFM程式開發助手支援中英文,因此我們不需要再耗費大量時間翻譯指令。在使用FFM程式開發助手時,我們只需要將想要寫出何種程式碼告訴它,AI就會自動幫我們生成程式碼。除此之外,我們也可以直接在頁面中透過對話的方式,請AI幫我們除錯,甚至還可以幫助我們寫註解,記錄下在撰寫某段程式碼時的設計理念,方便接手我們程式碼的人員了解我們的想法。最後,如果我們寫了一部份的程式碼,但又不知道該如何接下去,那麼也可以將已經撰寫好的程式碼上傳給FFM程式開發助手,請它幫我們完成程式設計。

三、結語

目前市面上雖然有許多大型語言模型供我們選擇,但卻很少為台灣的繁體使用者設計的FFM。而由於FFM優化了其繁體中文能力,再加上像是Application Turnkey Solution的特點,讓它成為了企業導入AI時的優先選項。除此之外,因為建置FFM時可以選擇部署於地端,並以企業內部資料訓練機器人,因此也能夠有效地保障了公司的機密。最後,從本次課程中FFM的應用中,我們也可以發現像程式設計師的工作,也面臨了被AI取代的風險。不過,目前AI仍然很難取代人類的創意和批判性思考能力。因此,在AI蓬勃發展的現在,我們更應該思考如何提升自己的價值與創造力,才能讓AI為我們所用。

【若想回顧完整版課程影音,請點選連結;有任何問題或分享,也歡迎在本文底下留言。】

瀏覽 530 次

覺得不錯的話就分享出去吧!

發佈留言

Back to top button