LLM 訓練救星 ? cacaFly 用 RAG 陪使用者精準「問問題」!

記者/孫敬 Archer Sun

台灣雲端服務代理商聖洋科技 cacaFly (7)日與 Google 台灣、台灣新創孵育品牌 Startup Island Taiwan,共同在 Google 台灣辦公室舉辦「Web3 & AI ! Elevate Your Financial Experience」活動,邀請含 AI、Web3、金融、法律等領域專業人士參與,期望在 AI 的崛起下能吸引更多產業投入開發 AI 解決方案。

就在 Google 近期推出新大型語言模型(LLM)「Gemini」,文字、圖片、聲音、影片,甚至是程式碼都能自行分析並交互生成,cacaFly 在改善、深化 LLM 的應用上,究竟做了哪些準備?

更多新聞:Bing、Bard和ChatGPT LLM如何改寫網路世界

cacaFly(7)日舉辦「Web3 & AI ! Elevate Your Financial Experience」活動。(圖:孫敬翻攝)

迎戰生成式 AI 戰場!cacaFly 讓使用者下指令變得更精準

隨著生成式 AI 的功能越趨多元,也讓許多企業積極投入開發、測試各種可能的機會,但 LLM 還是需要使用者花費大量的時間找出最精準的指令(Prompt),才能獲得最接近需求的建議。cacaFly 雲端智能中心技術副總吳振和指出, cacaFly 的 RAG(檢索增強生成)服務可以協助使用者,透過檢索找到最相近、最適合特定問題的參考資料,只要將該資料輸入進 LLM,使用者不再需要反覆修改輸入 AI 的指令,就能夠獲得更精準符合使用者專業領域的建議。

cacaFly 雲端智能中心技術副總吳振和分享 RAG 能幫助使用者更精準的「問問題」。(圖:孫敬翻攝)

然而在現今強調資料儲存安全、資安防護的時代,並不是所有的產業都能隨心所欲的投入 LLM,特別像是重視資安、資料隱密性的金融、半導體業者,這些業者同時也面臨大量地端資料無法上雲、活化運用的問題。
cacaFly 觀察到此現象後,便將資料庫上雲和 LLM 做整合,提出「雲地混合解決方案」,企業可將公司的內部專業文件,透過 API 來做 Embedding 模型(可以想像成一種幫助企業整理、篩選統整資料的工具)將企業、政府允許能上雲的資料,轉換成文字片段、向量資料去識別化,進一步上雲標記座標,再透過 RAG 將使用者的指令以座標的方式去呼叫企業的雲端資料庫,這麼做能讓企業在零開發基礎下持續訓練自家的 LLM 模型,實現資料雲地混合架構。

LLM 一直以來最難被投市場應用的原因,很大一部分來自於需要專業的開發人員,針對該產業的專業知識協助訓練。cacaFly 從企業既有的資料庫出發,搭配 RAG 精準的投入 LLM 所需要的資料,有望加速生成式 AI 在市場的影響力。

cacaFly 雲地混合解決方案能保障企業資安的同時訓練自家 LLM 模型。(圖:孫敬翻攝)

瀏覽 728 次

覺得不錯的話就分享出去吧!

發佈留言

Back to top button