不只是會聊天：企業導入生成式 AI，更要安全、可控（下）｜專家論點【黃婉中】
作者：黃婉中（雲端架構師）
上一篇談到，企業導入生成式 AI，常常卡在協調與治理。
這篇帶你看看 Contoso 怎麼做，從資料準備、提示語設計，到安全控管與效能追蹤，打造一套能實際落地的 AI 解決方案。
Contoso 是怎麼做的？從架構到部署的每一步
他們採用Azure AI Foundry，一個微軟設計給企業使用的 AI 平台。整體做法分成以下幾步：
第一步：準備資料
AI 的第一步是資料。
Contoso把產品、訂單、評論等資料指標化（indexing）後，轉進 Azure AI Search，並建立向量索引（vector index），讓 AI 可以做 Retrieval-Augmented Generation（RAG）查詢。
這讓 chatbot 在回應時，不是自己幻想，而是可以「讀自己家的資料庫」，引用實際內容回答顧客問題。
第二步：用Prompt Flow打造可控的流程
很多人寫 prompt 都是想到哪問到哪，但企業應用不能靠臨場發揮。Contoso用 Azure 的 Prompt Flow，設計一套提示語流程。
Prompt Flow 是一個拖拉介面，可以指揮 AI 模型與 API，並觀察和改善整個聊天流程的品質與安全性。
以下是如何把「回答流程」拆解成有結構的 prompt：
- 系統訊息：定義這個 chatbot 的角色、語氣、範圍
- 用戶輸入：處理自然語言輸入與參數
- 搜尋流程：透過 vector index 或 API 撈資料
- 回應組合：決定怎麼組合資料與回答語句
這些流程都可以版本控管、回溯、調整。
Prompt Flow 幫他們把聊天機器人從「會回答」走到「答得有流程、有依據、有紀錄」。
第三步：內建內容安全
生成式 AI 的一大風險是「亂講話」。去年就曾發生過航空業的AI客服跟客戶講錯資訊，還賠償客戶機票的案例。
Contoso 在 chatbot 上線前，接上 Azure AI Content Safety 功能，可以即時判斷並過濾以下類型的輸出：
- 仇恨言論、暴力、色情、自我傷害
- 使用者誘導模型違規
- 引用受保護的內容（如受著作權保護的段落）
他們甚至針對不同類型的違規設定了不同的安全閾值，確保AI的回答至少是「沒幫上忙」，而不是「講錯話出事」。
第四步：資料保護與合規
很多企業導入 AI 最後卡關的，不是技術做不出來，而是資安部門不放行。Contoso 一開始就很清楚這點，選擇從設計階段就把合規與權限機制納入。
他們採用了幾個做法：
- 私人端點（Private Endpoint）：資料走內部網路、不經公共傳輸，降低外洩風險。
- 資料不離境（Data Residency）：資料儲存在指定區域（如澳洲），符合地方法規。
- 角色存取控制（RBAC）：分級權限設定，限制誰能看、誰能改、誰能用模型訓練。
- 資料標籤（Data Labeling）：方便審查追蹤資料來源與使用場景，避免濫用。
Contoso 把 AI 當成「企業內部應用系統」來設計與治理，讓資訊部門與法遵團隊都能放心。
第五步：部署前先設計好評估工具
最後一哩路是上線部署，但企業 AI 專案的另一個黑洞是：「我們怎麼知道chatbot表現好不好？」
Contoso 使用 Azure AI Foundry 內建的工具，做到以下幾點：
-
- Tracing：所有的 prompt、系統訊息、資料來源、模型回應，都會記錄並可追溯
- Evaluators：系統自動評估回應的 groundedness（有根據嗎）、coherence（有邏輯嗎）、relevance（有關聯嗎），或是否回答得太慢、容易誤導人等。
- A/B 測試
這些觀測機制不是上線後補的，而是從開發時就一起設計進來。讓技術主管、法遵、客服三方都能安心。
企業需要的，是「可控」的 AI
導入 AI，真正的難處不在技術，而在「協調」：要讓 AI 能在顧客服務中發揮作用，同時符合企業的治理、資安與成本需求。
Contoso 最後打造的，不只是會背資料的客服，而是一個可控的智慧助理。它能引用內部資料、管住嘴巴、追蹤成本，甚至還能幫工程師 debug。
模型厲害不稀奇，企業場景更重視「怎麼確保內容安全」、「怎麼整合」、「怎麼監控」，整個過程需要完整的的設計與測試。
結語：導入生成式AI的企業考量
如果你在企業中正評估導入生成式 AI，不妨從以下3件事開始想：
- 你希望 AI 幫上什麼忙？客服、銷售、內部知識管理，還是別的？（場景）
- 你的資料在哪裡？需要怎麼轉成 AI 能用的形式？（向量化 與 RAG）
- 你有沒有能力控管它講了什麼、做了什麼？（Observability 與 Content Safety）
企業場景不是接上生成式AI模型就搞定。AI 工具天天在進步，但企業的挑戰不會變：怎麼讓技術上線、風險可控、成效可見？
不用從零開始，也不必砍掉重練。像 Contoso 一樣從資料與治理思維出發，逐步建立可控流程，就是企業導入 AI 的穩健路徑。
延伸閱讀
如果你對今天講的生成式AI感到有趣，或者希望能更熟悉這些實戰應用，那你可能會對這篇文章有興趣：我如何轉職成為雲端解決方案架構師 Cloud Solution Architect
