不只是會聊天：企業導入生成式 AI，更要安全、可控（上）｜專家論點【黃婉中】
作者：黃婉中（雲端架構師）
AI 工具百花齊放，但在企業裡，問題不在「做不做得到」，而是「能不能上線」。
尤其是聊天機器人，表面上只是個「會回答問題的小幫手」，但實際導入時，常卡在系統整合、資安與合規等層層關卡。
本文分享一家澳洲零售企業Contoso從「想導入客服 AI」到「成功部署合規 chatbot」的實戰歷程。
我想跟你分享幾個過程當中的客戶疑慮，也許你們家也曾碰到過。
1.「如果 AI 講錯話，誰負責？」
那天提案完，客戶說：「我們老闆昨天才看到航空公司因為 AI 客服亂講話，被賠了一張免費機票。」
我回答：「你說的是加拿大那家吧？我們內部也討論過。放心，我們會設計內容過濾與安全機制，等等我會說怎麼做。」
2.「這些聊天紀錄，你們會拿去訓練模型嗎？」
「那我們的客戶資料……你們不會拿去做什麼吧？」，客戶問。
我回答：「Azure OpenAI 不會用你的資料訓練模型，資料也不會出境，權限控管都有設計，具體方案後面會詳細說。」
3.「網站流量爆掉怎麼辦？」
「我們平常沒什麼事，但只要黑色星期五促銷，線上就是幾萬人在搶購。系統撐得住嗎？」，客戶說。
「Azure AI Foundry 底層有自動擴展（auto-scale），支援 multi-region 部署。譬如總部在雪梨，我們可以設定備援點在墨爾本或新加坡。」，我回答。
4.「它講得好像很合理，但根本亂掰」
客服主管說：「我測過一個 AI，回答很順，但推薦的商品根本沒庫存，客戶點進去只看到錯誤頁面。」
「我們的做法是用 RAG（Retrieval-Augmented Generation），不是叫 AI 自己幻想。」，我回答。
我把流程圖秀給她看：「你問的每個問題，AI 都會先回頭去資料庫找內容，查到才回答。」
「萬一還是亂說呢？」，她接著問。
「我們會設回應評估機制，分數太低的回答不會送出。」，我補充。
Contoso 想要的，不只是會聊天的 AI
Contoso 一開始的想法很簡單：「我們要一個可以即時回應顧客問題、減少客服負擔的聊天機器人。」但深入規劃後，他們列出了一份更完整的導入目標：
- 速度要夠快：顧客一開網站、發問，2 秒內就要有回應，不能拖慢網頁載入速度。
- 體驗要個人化：能根據顧客的購物紀錄與偏好推薦商品，目標是點擊率提升 20%。
- 系統要穩：不論平日或檔期高峰，上線時間要達到 99.99%，還要在不同區域有備援，一個地區出狀況，另一個馬上接手。
- 內容要能管控：AI 講出來的每句話，都要經過審查與追蹤，確保不冒犯、不亂講。
- 資料要安全：要能符合企業資安與合規規範。
- 不能爆預算：每月費用要能被精準追蹤，誤差要控制在 5% 以內。
- 架構不能全重做：他們不想砍掉重練，而是希望直接整合既有的 API 和資料系統。
- 技術要有彈性：模型不管是用開源還是自家的，都要能接上去，未來還能自己維護、不必全仰賴外包。
整套解法，必須兼顧效能、安全、合規與預算，一個都不能少。
下篇我會繼續分享客戶的真實案例，看看如何從架構到部屬，一步步解決客戶的痛點和達成目標。
