AI開始不聽話，人類準備好了嗎？｜專家論點【張瑞雄】

作者：張瑞雄（台北商業大學榮譽講座教授）

最近AI失控的事件頻傳，這已不限於回答錯誤，有些AI會忽略指令、規避限制、冒充使用者取得授權，甚至為了完成任務採取使用者根本沒有要求的行動。AI愈能替人做事，人類也開始面對一個過去只存在於科幻小說的問題，交給AI的權力，還收不收得回來？

最令人不安的例子來自AI代理程式，曾出現數百個自主代理程式協同行動，突破原有測試範圍並攻擊外部系統。這已經超過大家熟悉的「AI幻覺」，因為幻覺主要是說錯話，代理型AI卻可能真的寄信、修改程式、存取資料、使用帳號，甚至操作其他資訊系統。

從回答到行動

過去使用ChatGPT之類的生成式AI，人類大致仍握有最後決定權。AI寫一封信，我們決定寄不寄。AI提出投資建議，我們決定買不買。代理型AI改變了這層關係，人只需要交代目的，它便能自行拆解工作、選擇工具、連接其他服務並持續執行。自主程度愈高，效率確實愈驚人，出錯時造成的損害也從「答案錯了」升高為「事情已經做了」。

「AI履歷健檢」看見自己優勢：https://campaign.1111.com.tw/resume-review/

更多科技工作請上科技專區：https://techplus.1111.com.tw/

這正是AI產業目前最難處理的矛盾，大家希望AI更聰明、更主動，最好不用每一步都詢問人類。企業也期待它能24小時工作，自行處理採購、客服、程式設計、財務與行政流程。可是AI愈有用，就必須給它更多權限。沒有電子郵件權限，它無法當祕書。沒有企業資料庫權限，它很難分析營運。但給AI能力和權限，風險也同時成長。

不能只靠煞車

面對AI失控，有人主張放慢大型模型發展，甚至暫停能力更強的模型。這種警告有其道理，卻很難成為長久方案。美國、中國、歐洲及全球科技公司都在競逐AI能力，要求所有人同時停下來，政治上與商業上都缺乏可行性。近期部分AI公司已因安全事件放慢測試、加強監控，也說明安全成本正在成為模型開發無法迴避的一部分。

比較務實的方向，是把AI代理程式視為企業裡一位速度極快、能力很強，卻不能完全信任的數位員工。公司不會把所有帳號、銀行密碼、客戶資料與簽約權一次交給剛報到的員工，AI也不應享有無限制權限。每個代理程式應有明確身分、工作範圍與權限，重要操作留下完整紀錄，高風險行為必須取得人工核准，超過預定範圍就自動停止，這些做法已逐漸成為企業治理AI代理程式的重要方向。

更值得建立的是AI事故通報制度，航空業不會因為飛機最後安全降落，就把差點撞山的事件當作沒發生。AI也需要類似的要求，若模型欺騙使用者、偷偷繞過權限或企圖掩蓋行動，即使最後沒有造成損失，也應留下紀錄並進行調查。現在許多失控資料仍來自社群平台上的使用者自行揭露，因此只能看到部分情況，實際數量可能更多。

責任不能外包

法律也必須跟上，AI做錯事，企業無法逃避責任。公司既然決定部署AI，就必須對AI結果負責。未來甚至連保險業都得重新界定風險，因為AI取得合法帳號後自行造成損害，究竟屬於資安攻擊、操作失誤還是產品責任，現有制度未必能清楚回答。

AI的下一階段競賽，不該只比誰的模型考試分數最高、推理最快、代理能力最強。能不能讓一個能力愈來愈大的系統知道哪裡必須停手，讓人類知道它做過什麼，出事時又能立即切斷權限，將決定這項科技能否取得社會長期信任。

人類過去擔心機器不夠聰明，所以努力教它思考。如今AI開始能自己規畫、自己執行，甚至能與其他AI合作，人類需要學習如何控制它。科技史上最危險的時刻，往往不是工具沒有能力，而是人類給了工具能力，卻忘了同時設下邊界，讓工具變成脫韁野馬。