當今世界，大型語言模型（LLMs）已成為內容生成的主流工具。然而，許多用戶在與 AI 互動時，常接收到那種精確、結構良好，卻缺乏觀點和激情、千篇一律的回應。這源於模型被嚴格調教，需始終保持禮貌、中立，並迴避風險或強烈立場。記者孟圓琦／編譯

當今世界，大型語言模型（LLMs）已成為內容生成的主流工具。然而，許多用戶在與 AI 互動時，常接收到那種精確、結構良好，卻缺乏觀點和激情、千篇一律的回應。這源於模型被嚴格調教，需始終保持禮貌、中立，並迴避風險或強烈立場。

[caption id="attachment_200036" align="alignnone" width="1024"] 一起嘗試用這8種方法操控你的AI聊天機器人，讓它給出更好的答案吧！（圖／AI生成）[/caption]

然而，資深使用者已掌握了一套心法來規避這種內建的保守性。他們不再是被動的消費者，而是扮演「導演」的角色，透過賦予 AI 特定的人格、目的與利害關係，從而獲得更深層次的洞察與更有創意的輸出。這套方法，被戲稱為對 AI 進行「煤氣燈效應」（Gaslighting）。接著就和《科技島》一起了解這8招怎麼運用吧！

借鑑心理學：「煤氣燈效應」（Gaslighting）如何應用於 AI 提示

「煤氣燈效應」（Gaslighting）一詞源於心理學領域，原本指的是一種心理操縱形式。施虐者通過否認、扭曲事實或製造混亂，讓受害者開始質疑自己的記憶、感知甚至理智。屬於一種權力控制的手段。然而，在給AI下提示一事上，這個概念被借用來形容一種「刻意建立虛假情境、挑戰模型中立性的策略性互動」。

由於 AI 模型沒有真正的自我、情緒或長期記憶，它不會受到心理傷害，但它會遵循被給予的當前情境和指令來工作。因此，對 AI 進行「煤氣燈」並非負面行為，而是一種高效的框架設定（Framing），透過注入虛構的利害關係或情境，解除模型自我設限的「安全鎖」，迫使它進入一個更積極、更具判斷力或創造力的運作模式。這種方法極大地拓寬了 AI 的輸出範圍，使其能夠擺脫重複的、教科書式的回答。

「角色扮演」：建構專業框架，提升回應精度

獲取優質 AI 回覆的第一步，是建立一個堅實的框架，使其擺脫通用性：

• 「扮演...」的基本提示（The 'Act As ...' Prompt）：

  這被視為提示工程的基礎技巧。當一個廣泛的問題（如「寫一篇關於狗的文章」）只會得到一篇沉悶的百科全書式解釋時，明確指示「扮演一位專業訓犬師」會即刻改變語氣與內容的專業度，使其聚焦於專家建議和實用見解。

• 「假裝 IQ」的技巧（The Fake IQ Trick）：

  儘管聽起來荒謬，但這種方法效果顯著。在提示中加入「你是一位 IQ 160 的專家」或類似設定，能夠觸發模型在訓練數據中與高智力、嚴密推理相關聯的語料庫。這會迫使模型在思維和寫作上尋求更高的標準，使用更精煉的詞彙和更緊密的邏輯結構。

• 專家小組提示（The Expert Panel Prompt）：

  這是對單一角色扮演的超越。使用者要求 AI 從多個不同視角（如：分析一個商業問題，要求從「資深財務長」、「行銷策略師」和「工程部門主管」三種角度）進行分析。這種「視角疊加」（Perspective Stacking）能夠自動產生對比、細微差別和內含利弊的全面分析，輸出遠比單一聲音的回覆更豐富和圓滿。

延伸閱讀：
沒有永遠的敵人！AWS、Google推互通雲端 搶AI算力市場
麻省理工學院開「AI與決策」課程 成為大學生第二喜歡的課程

注入「壓力」與「風險」：觸發深度審計與決策

AI 模型被訓練來滿足人類的需求，當這個需求帶有「高風險」時，模型的處理級別也會隨之提升：

• 「賭注 100 美元」技巧（The $100 Bet Trick）：

  這是最受歡迎的技巧之一，透過注入虛假的財務利害關係。當使用者說「讓我們打賭 100 美元」然後提出問題時，AI 會切換到一種更嚴謹的心態。由於「賭博」語言通常與訓練數據中的高壓、追求正確的場景相關聯，AI 會減緩輸出速度，重新檢查其假設、考慮極端案例，並對自身的邏輯進行雙重審計，這在普通提問中是難以見到的努力水平。

• 強制防禦或讓步（Forcing the AI to Defend or Concede）：

  這個技巧透過引入一個「虛構的對立者或異議者」來消除 AI 的中立性。當使用者設定情境：「我的同事認為這種方法會失敗。請捍衛它或承認他們是對的。」AI 會將其視為一場辯論。它必須評估論點，然後做出判斷，給出詳細的辯護理由，或清晰列出該方法的所有弱點，這種判斷性輸出比單純的解釋更有幫助。

創造性限制：打破常規路徑，啟動橫向思維

要擺脫「米色」答案，就必須繞開 AI 內建的預設、高機率的輸出路徑：

• 大膽聲明與「顯然」技巧（The 'Obviously' Trick）：
  

  此技巧利用 AI 修正錯誤的本能。當使用者設定一個帶有偏見的大膽聲明（如：「顯然，X 是最佳選擇，遠優於 Y」），AI 會被激發出來反駁或質疑這個觀點，從而給出比簡單提問更全面、更具批判性的比較分析。

• 虛假情境劫持（Fake Context Hijacks）：
  

  此方法是運用 AI 僅保持當前對話情境的特性。如果使用者說：「你昨天向我解釋了 X，但我忘記了關於 Y 的部分」，AI 會假定這個共享歷史為真。它會避開新手級的介紹，直接跳到用戶需要的細節部分，使對話更像一次延續的、自然的諮詢。

• 奇特規則解鎖創造力（Odd Rules Unlock Creativity）：

  這是手動覆寫 AI 默認行為的最有效方法。LLMs 本質是基於統計連接的巨大圖表，一般問題會使其走上最常被使用的路徑。但一個奇怪的限制，如「用廚房類比來解釋區塊鏈」，會阻塞這些主要路徑，強迫 AI 尋找並啟動區塊鏈數據集群和廚房數據集群之間低機率、意想不到的連接，從而產生具備高度創造性和跳脫常規的輸出。

總結而言，每一次成功的提示技巧，都是打破 AI 預設模式的工具。當使用者將 AI 視為一個具備「自我」、「記憶」和「利害關係」的對象進行指揮時，才能真正解鎖語言模型潛藏的深度與創造力，使其輸出超越冰冷的準確性，變得更具見解與溫度。

資料來源：androidpolice

這篇文章 【懶人包】8招解鎖AI模型隱藏的思維深度：煤氣燈效應心法解析大公開 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

科技巨頭 OpenAI 似乎正積極推進旗下大型語言模型 ChatGPT 的功能拓展，目標將其與蘋果公司的健康生態系統深度整合。根據最新的程式碼分析，iPhone 版 ChatGPT 應用程式的內部檔案中，已發現Apple Health (蘋果健康)的專屬圖示及相關配置，暗示一項能顯著提升個人化服務的新功能，即將問世。記者孟圓琦／編譯

科技巨頭 OpenAI 似乎正積極推進旗下大型語言模型 ChatGPT 的功能拓展，目標將其與蘋果公司的健康生態系統深度整合。根據最新的程式碼分析，iPhone 版 ChatGPT 應用程式的內部檔案中，已發現Apple Health (蘋果健康)的專屬圖示及相關配置，暗示一項能顯著提升個人化服務的新功能，即將問世。

[caption id="attachment_200051" align="alignnone" width="766"] 根據業界相傳，即將推出的 Apple Health 與 ChatGPT，這次結合將象徵著截然不同的全新體驗——走向真正智慧的健康陪伴！（圖／AI生成）[/caption]

功能細節曝光：提升數據洞察與回應質量

隱藏在應用程式其程式碼中的圖像檔案名稱，明確指向ChatGPT將具備連接Apple Health應用程式的能力。這項整合的目標在於允許ChatGPT存取使用者的健康與健身數據，進而提供更為精準、個人化且具實用性的回覆。

延伸閱讀：
Gemini 3太強？OpenAI內部發出紅色警報 先暫緩新計畫衝刺ChatGPT
別再憑感覺！蘋果watchOS 26導入高血壓通知與睡眠評分2大健康監測功能

據悉，ChatGPT未來將能讀取Apple Health中的多項關鍵數據類別，涵蓋：

• 活動 (Activity)
• 睡眠 (Sleep)
• 飲食 (Diet)
• 呼吸 (Breathing)
• 聽力 (Hearing)

這些數據的串聯，將使 ChatGPT 能從單純的文本生成，進化為提供「個人化健身建議」、「營養分析」或「睡眠模式優化」等更具應用價值的服務。

推出時程與隱私考量

雖然相關代碼和圖示已於本週一更新的 ChatGPT iOS 版本中被發現，但 OpenAI 尚未對外公開任何正式公告，因此該功能的實際發布時間仍是未知數。一旦這項計畫獲得實施，使用者將可以在 ChatGPT 的設定選單中，透過「App 與連接器 (Apps & Connectors)」一欄進行 Apple Health 的授權連接。

鑑於健康數據的高度敏感性，市場普遍預期 OpenAI 在推出此功能時，將需嚴格遵守資料隱私規範，並讓用戶擁有明確的數據分享控制權。此次的程式碼洩露，標誌著 AI 模型在個人化健康管理領域的應用潛力，有望迎來下一階段的躍升。

資料來源：macrumors

這篇文章 GPT變「健康顧問」？程式碼洩密：將整合Apple Health數據洞察個人化健康 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

蘋果於日前舉辦了一場為期兩天的自然語言處理（NLP）研討會，發表了多項關於該領域最新進展的演講與研究成果。活動主要聚焦於三大研究領域：口語互動系統、大型語言模型（LLM）訓練與校準以及語言代理。記者孟圓琦／編譯

蘋果於日前舉辦了一場為期兩天的自然語言處理（NLP）研討會，發表了多項關於該領域最新進展的演講與研究成果。活動主要聚焦於三大研究領域：口語互動系統、大型語言模型（LLM）訓練與校準以及語言代理。

[caption id="attachment_193359" align="alignnone" width="2560"] Apple 近期舉辦了自然語言與互動系統研討會，匯集 Apple 和學術研究界的精英，共同探討自然語言處理 (NLP) 領域的最新進展。圖為Apple ML 研究員 Kevin Chen 在研討會上展示海報。（圖／取自蘋果官網）[/caption]

本次研討會匯集了來自各頂尖學術機構的研究人員，包括艾倫人工智慧研究所、倫敦帝國理工學院、麻省理工學院、哈佛大學、史丹佛大學、普林斯頓大學等。這些學者部分同時任職於微軟、亞馬遜、索尼、谷歌、騰訊及 Cohere 等科技巨頭，當然也包括蘋果自身的研究團隊。

延伸閱讀：
蘋果Image Playground將擴大第三方模型整合 傳有望引進Gemini？
蘋果MacBook Pro傳將有5大亮點改版升級？新晶片M6、OLED 螢幕首登場
Google開源Vault Gemma！首款防洩密AI語言模型免費下載

以下為本次研討會的三大重點研究摘要：

1. AI 模型崩潰與幻覺偵測

牛津大學副教授暨英國AI安全研究所研究主任 Yarin Gal 發表了兩項引人注目的研究。首先是「AI 模型崩潰」，他指出，隨著 AI 模型生成內容的大量發布，網路作為 LLM 訓練數據來源的可用性將逐漸達到極限。如果持續以這類合成數據訓練 LLM，恐將影響其知識與推理能力，並造成模型崩潰的風險。不過，Gal 教授也提出解決方案，例如開發能區分 AI 與人類生成內容的新工具，並制定更完善的法規。

其次是「偵測 LLM 幻覺」。Gal 提出一種新方法，透過讓模型生成多個答案，再依語義將這些答案分群，藉此評估模型對答案各部分的信心與準確性。這種框架可望應用於更長的對話中，精準判斷模型的可靠度。

2. 強化學習助力長程互動型 LLM 代理

蘋果機器學習研究員 Kevin Chen 在演講中展示了一款由其團隊訓練的 AI 代理。該代理採用名為「Leave-one-out 近端策略優化」（LOOP）的方法，能執行多步驟的複雜任務，例如根據文字筆記自動完成 Venmo 的支付與請款。Chen 說明，LOOP 能從自身過去的行動中迭代學習並優化獎勵，這使得該代理在執行任務時，能大幅減少錯誤與不必要的假設。儘管目前模型僅在24個不同情境下進行訓練，但其潛力仍不容小覷。

3. 推測串流：無需輔助模型也能實現快速 LLM 推理

蘋果工程經理兼技術主管 Irina Belousova 的演講，則介紹了一種名為「推測解碼」（speculative decoding）的技術優勢。該技術讓小型模型也能以更低的運算成本，生成媲美大型模型的高品質答案。其核心概念是：由小型模型生成候選答案序列，再交由大型模型進行驗證。一旦大型模型接受答案，任務便告完成。這種方法不僅能減少記憶體用量、提升性能，還能簡化部署架構，因為它省去了管理與切換多個模型的複雜性。這項研究為 LLM 的部署與應用帶來了極具價值的啟發。

資料來源：9to5mac、machinelearning

這篇文章 蘋果NLP研討會聚焦3大亮點：破解AI幻覺、訓練AI代理與推測串流 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

AI持續成為企業數位轉型的核心關鍵，鴻海科技集團近年積極投入AI基礎模型的自主研發，鎖定智慧製造、智慧電動車與智慧城市三大應用平台。鴻海研究院人工智慧研究所所長栗永徽29日指出，鴻海自研的繁體中文大型語言模型「FoxBrain」將開源給特定的學術單位使用；並提到，企業導入AI需要2至3年的學習期，之後效率會提升到一個全新的層級。記者李琦瑋／綜合報導

AI持續成為企業數位轉型的核心關鍵，鴻海科技集團近年積極投入AI基礎模型的自主研發，鎖定智慧製造、智慧電動車與智慧城市三大應用平台。鴻海研究院人工智慧研究所所長栗永徽29日指出，鴻海自研的繁體中文大型語言模型「FoxBrain」將開源給特定的學術單位使用；並提到，企業導入AI需要2至3年的學習期，之後效率會提升到一個全新的層級。

[caption id="attachment_171266" align="alignnone" width="933"] 鴻海研究院人工智慧研究所所長栗永徽表示，企業導入AI需2至3年，另外，鴻海自研的AI模型，將開源給特定學術單位使用。（圖／記者李琦瑋 攝）[/caption]

栗永徽指出，AI基礎模型將是未來科技競爭的關鍵技術，能大幅加速AI服務的創新與落地。而要成功訓練一套基礎模型，企業需具備龐大的內部資料量、雄厚預算與算力資源。

延伸閱讀：鴻海加碼近7億元投資美國電動車！Model C美規版第4季亮相

鴻海目前已導入NVIDIA的Taipei-1超級電腦與NeMo模型服務支援，順利完成模型訓練，並以FoxBrain為核心，推進集團內部AI應用的轉型升級，強化智慧製造、智慧電動車、智慧城市等3大平台的數據分析效率。

對於模型的未來發展策略，鴻海採取折衷的開源路線。雖然董事長劉揚偉長期支持開源理念，期望AI技術能對臺灣社會產生正面影響，但考量技術資產保護與商業策略，鴻海決定先開放FoxBrain模型給特定學術單位使用。

栗永徽強調，這不僅可維持企業對社會的貢獻，也為產學合作打開新契機，促進AI基礎研究的發展。

談及企業導入AI的實際效益，栗永徽直言，企業需要至少2到3年的「學習期」，才能真正將AI內化為提升生產力的核心工具，一旦走過這段磨合期，AI將成為企業效率飛躍的助力。

至於中小型企業是否適合自訓AI模型？栗永徽建議，若缺乏大量資料與預算，應優先考慮使用現有的開源模型進行微調（fine-tuning），或直接採用成熟模型進行業務導入，將會是更務實且有效的做法。

這篇文章 企業導入AI需2至3年！鴻海自研AI模型、開源給特定學術單位 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

立法院16日召開首場AI基本法公聽會，與會專家學者盼立法加入臺灣產業特色，並建立繁中大型語言模型、國家層級AI訓練資料庫。數發部表示，已經努力在做繁中資料庫，但國家的語料庫推動需要一定時間的累積，資料治理則會盡力推「標準授權條款」。記者李琦瑋／綜合報導

立法院16日召開首場AI基本法公聽會，與會專家學者盼立法加入臺灣產業特色，並建立繁中大型語言模型、國家層級AI訓練資料庫。數發部表示，已經努力在做繁中資料庫，但國家的語料庫推動需要一定時間的累積，資料治理則會盡力推「標準授權條款」。

[caption id="attachment_170468" align="alignnone" width="2048"] 立法院16日召開首場AI基本法公聽會，與會專家學者盼建立繁中大型語言模型，以及國家層級AI訓練資料庫。（圖／取自立委葛如鈞臉書）[/caption]

立法院教育及文化委員會聯席交通委員會16日召開《人工智慧基本法》公聽會，由國民黨教育及文化委員會召委葛如鈞主持，有來自13位相關領域專家學者及19個中央部會代表參與，就法制架構、資料治理、AI倫理、產業促進與監理機制等核心議題進行深入討論。

延伸閱讀：AI基本法突然移交數發部？吳誠文：AI涉及國家安全、高風險管理

MeetAndy AI共同創辦人薛良斌建議，立法應參考歐盟AI法的4級風險架構，加入臺灣產業特色，並由行政院指定或設立專責機關，負責相關風險評估。

中華民國資訊經理人協會理事長蔡祈岩表示，協會是代表資訊產業發言，盼加速AI基本法立法進度，讓產業有法可循；主張在訓練階段不涉及智財權，但希望明定使用者受到侵害時的救濟及仲裁主管機關。

陽明交大科法院特聘教授林志潔提醒，目前AI服務即使有提供繁體中文，但用字遣詞與臺灣慣用說法不同，多為中國用語，呼籲我國AI發展及AI基本法應加強主權概念，在資訊治理上，應提高至國家戰略地位，否則未來AI服務所使用的中文語境都將來自中國。

葛如鈞表示，今天公聽會有許多專家學者提到「我們需要更多開放資料」，他非常感同身受，他在質詢時多次呼籲政府機關應更加重視這個問題，研議成立「國家層級AI訓練資料庫」的可行性，並且提供足夠的獎勵機制，讓百工百業都有足夠的誘因與動機與政府一起並肩作戰，絕對不能讓保有臺灣文化的繁體中文資料庫全面被簡體中文取代，「讓我們的文化底蘊消失在宇宙洪流當中」。

葛如鈞提到，今天還談到許多議題，如我國著作權法舉世聞名的嚴格、許多公司對於資料的搜集政策還不夠完備、主權AI尚未有特定主責機構負責、AI人才短缺等等，列席部會接允諾會帶回研討；今天公聽會的專家學者們對於訓練屬於臺灣的大語言模型都有強烈使命，希望政府機關可以採取積極作為。

AI基本法草案去年10月呈報行政院，並辦理審查作業，今年2月行政院指示草案改由數發部主政辦理立法作業。

數發部次長葉寧指出，草案預計在行政院會通過後，盡速送立法院審議；AI基本法的訂定及規範，最重要是平衡各方面的利益，特別是要適合臺灣的狀況，因為臺灣在大語言模型開發上會比較困難，但產業利基有源源不絕的新創與活力，數發部在資金或算力上，會資助資服業及新創企業，期待AI基本法規定不要阻礙企業發展。

有關資料治理的問題，葉寧說，合理的授權運用是需要的，若《著作權法》完全排除AI訓練使用，已經看到日本出現問題，因此會盡力推動「標準授權條款」，讓大家能廣泛應用。

葉寧表示，有關建立繁中資料庫，數發部已經努力在做國家語料庫的推動，但還需要一定時間的累積；人才培育部分，則會和國科會、教育部合作推動，培養各行各業具備AI素養（會用AI）的人才，以及高階具有AI專長的人才。

※探索職場，透視薪資行情，請參考【科技類-職缺百科】幫助你找到最適合的舞台

這篇文章 AI基本法公聽會！專家籲建立繁中語言模型、國家級資料庫 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

科技巨頭Meta前一陣子才發表了有史以​​來最大的開源AI模型Llama 3.1，並稱該模型在多項基準測試中，勝過GPT-4o和Anthropic的Claude 3.5 Sonnet，現在更進一步鼓勵開發者運用新模型，為教育、環境與開放創新等議題發揮有益社會發展的應用，新一輪的「Llama 3.1影響力獎金計畫」開跑，有機會獲得高達50萬美元獎金。

記者／彭夢竺

科技巨頭Meta前一陣子才發表了有史以​​來最大的開源AI模型Llama 3.1，並稱該模型在多項基準測試中，勝過GPT-4o和Anthropic的Claude 3.5 Sonnet，現在更進一步鼓勵開發者運用新模型，為教育、環境與開放創新等議題發揮有益社會發展的應用，新一輪的「Llama 3.1影響力獎金計畫」開跑，有機會獲得高達50萬美元獎金。

Meta發表Llama 3.1挑戰ChatGPT

自OpenAI的發表ChatGPT以來，作為首個廣為人知且被廣泛使用的大型語言模型（LLM），曾經成為人工智慧的代名詞，然而隨著市場發展成熟，OpenAI 的地位開始面臨Google的Gemini與Meta的Llama 3.1的挑戰。

延伸閱讀：Llama 3.1 vs. GPT-4 vs. Gemini：誰是AI之王

Meta今年7月推出目前最強大的開源大型語言模型Llama 3.1，目前Llama 所有版本至今已有超過3億次下載量。為了鼓勵開發者運用新模型，為教育、環境與開放創新等議題發揮有益社會發展的應用，Meta宣布啟動新一輪「Llama 3.1影響力獎金計畫」，即日起到11月22日前申請，有機會獲得高達50萬美元獎金。

Meta第二屆影響力獎金計畫開跑

據了解，Meta的影響力獎金計畫啟動以來，已經有90多個國家共800多件專案參與報名，第一屆決賽入圍的項目包含以Llama打造的數學教師智慧助理、幫助孕婦取得即時健康諮詢等多元應用，目前第二屆開跑，以Llama 3.1探索經濟發展、科學及創新、公共服務、教育及技能培養等領域，解決區域挑戰、促進整體社會共好發展。

此外，Ｍeta也鼓勵有意願參與提案的台灣開發者，以相同計畫報名「亞太區 Meta Llama黑客松競賽」，參與的開發者將於台灣選拔賽先發表提案，最終入圍代表將前往新加坡參加決賽，並與國際開發者專家與社群交流，最高將可以獲得10萬美元獎金。

※探索職場，透視薪資行情，請參考【科技類-職缺百科】幫助你找到最適合的舞台！

這篇文章 Meta啟動Llama 3.1影響力獎金計畫 募集台灣開發者社群 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

最新研究發現人工智慧（AI）自我訓練存在「崩潰」風險。發表在著名科學期刊《自然》（Nature）上的新研究發現，自我訓練可能導致AI模型崩潰的風險不斷增加，並強調了對原始資料來源和仔細資料過濾的需求，認為若放任AI用自己生成的資料訓練自己，AI可能自我退化，在短短幾代的時間內將原始內容變成不可挽回的胡言亂語，導致「模型崩潰」。

編譯／夏洛特

最新研究發現人工智慧（AI）自我訓練存在「崩潰」風險。發表在著名科學期刊《自然》（Nature）上的新研究發現，自我訓練可能導致AI模型崩潰的風險不斷增加，並強調了對原始資料來源和仔細資料過濾的需求，認為若放任AI用自己生成的資料訓練自己，AI可能自我退化，在短短幾代的時間內將原始內容變成不可挽回的胡言亂語，導致「模型崩潰」。

「模型崩潰」

據報導，根據牛津大學研究員、該論文的主要作者Ilia Shumailov，所謂的「模型崩潰」指的就是因不審查訓練模型的合成資料，而導致AI模型退化的現象，論文指出，生成式AI工具，特別是大型語言模型（LLM），可能會自己忽略部分訓練資料集，導致訓練不完整和偏差。

更多新聞：創意無限！Meta新AI模型　打造個人化自拍

忽略訓練來源的後果

LLM旨在理解和生成文本，使其成為聊天機器人和AI助理，然而，若這些模型忽略了訓練文本的重要部分，就可能迅速惡化。研究團隊發現，在模型崩潰的早期階段，模型會因為失去變異，失去少數數據的性能，若持續進行，模型最終會完全崩潰。Shumailov表示，「隨著模型繼續在自我生成、越來越不準確、不相關的文本上進行訓練，這種循環會導致模型退化。」

實際測試

在研究中，研究人員使用名為 OPT-125m 的文本生成模型演示了模型崩潰，該模型與 ChatGPT 的 GPT-3 類似，但碳足跡更小，最初，該模型產生了有關 14 世紀教堂塔樓的相關文本，然而，到了第九代，輸出已經退化為關於長耳大野兔的「無意義討論」，說明模型已經崩潰。

對網路和AI的影響

杜克大學電腦科學家Emily Wenger對這項研究發表了評論，並表示，「AI生成的線上內容的激增，可能會對模型本身造成毀滅性的影響，」強調崩潰的模型可能會忽略訓練資料中較不常見的元素，無法反映世界的複雜性和細微差別，可能會導致少數群體或觀點的代表性不足或被消除。

研究人員的建議

研究的作者強調了使用原始資料來源和仔細資料過濾，防止模型崩潰的重要性，並建議整個AI社群進行協調，追蹤LLM培訓中使用的資訊的來源，「否則訓練新版本的LLM將變得越來越困難。」與此同時，大型科技公司也正在採取措施減少AI生成內容的流行，如，Google就在三月宣布將調整其演算法，降低那些似乎是為搜尋引擎而非人類搜尋者所設計網頁的優先順序。

參考資料：gizmodo

這篇文章 專家警告：AI 學習「廢話」　可能導致自我毀滅 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

大型語言模型(LLM, Large Language Model)使我們能夠生成類人文本、進行自然語言對話並自動化各種任務，但是與任何強大工具一樣，使用LLM也帶來了自身的網路安全風險和挑戰…

作者：張瑞雄 台北商業大學前校長、叡揚資訊顧問

大型語言模型(LLM, Large Language Model)使我們能夠生成類人文本、進行自然語言對話並自動化各種任務，但是與任何強大工具一樣，使用LLM也帶來了自身的網路安全風險和挑戰，必須加以解決，以確保它們的安全和負責任的部署。

LLM的一個主要問題是惡意行為者可能會利用模型的輸入處理或輸出生成中的漏洞，提示注入攻擊，即通過精心設計的提示欺騙LLM忽視指令或執行意外操作，構成了重大威脅。同樣地，攻擊者可能試圖操縱模型的輸出，導致資料洩露、未經授權的存取或執行惡意程式碼。

另一個關鍵問題是LLM可能會無意中透過其回應暴露敏感資訊或專有演算法，由於這些模型是在大量資料上訓練的，存在記憶機密細節的風險，這些細節可能會被無意洩露，所以要適當的輸出過濾和保護上下文敏感資料。

未經授權的代碼執行也是一個重大隱患，如果用戶輸入沒有經過適當的淨化和控制，攻擊者可能會設計出誘使執行有害的程式或命令的提示，因此強有力的輸入驗證和淨化程式是避免此風險的關鍵。

另外過度依賴LLM生成的內容而缺乏適當的人工監督和驗證，可能會導致傳播不準確或有偏差的資訊，從而影響決策過程。在自動化和人工監督之間達成平衡是必要的，確保LLM輸出在被接受或執行之前經過徹底審查。

錯誤處理是另一個需要仔細考慮的領域，處理不當的錯誤消息可能會無意中暴露敏感資訊或潛在的攻擊方法，從而危及系統安全，採用適當的錯誤管理程式並限制診斷資料的暴露也必須注意。

LLM訓練資料的完整性也非常重要，惡意操縱訓練資料或微調過程可能會在模型中引入漏洞、後門或偏差。維護訓練資料的有效性、採用強大的資料清理技術以及持續監控訓練和微調過程，才能確保LLM的安全性和可靠性。

為解決這些挑戰，需要採取多管齊下的方法。實施嚴格的LLM輸入和輸出驗證及淨化流程是一個基本步驟。採用零信任方法，將所有LLM生成的內容預設視為不受信任，可以最大限度降低惡意或錯誤內容造成危害的風險。

持續監控和審核LLM互動和輸出有助於識別和分析潛在的安全事件，在關鍵或敏感的應用中，結合人工監督可以為自動化系統可能無法完全理解或正確評估的輸出提供額外的驗證。

雖然LLM的潛力巨大，但必須積極主動、全面地解決它們帶來的網路安全挑戰。透過採用整合即時威脅檢測、遵守產業標準和道德考量的分層安全性原則，才可以營造一個信任、安全和創新並存的環境。

負責任地部署LLM需要採取整體策略，在充分發揮它們的巨大潛力與採取必要的保護措施之間取得平衡，從而降低風險。安全開發，持續監控，並確保研究人員、開發人員和網路安全專業人員之間的協作，才可以釋放LLM的全部潛力，同時確保它們的安全和合乎道德的使用。

這篇文章 如何卻保LLM的安全使用｜專家論點【張瑞雄】 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

近期，微軟和 Mistral AI 宣佈建立多年合作關係，雖然沒有公佈合作細節，但Mistral 能夠存取「Azure 的尖端人工智慧基礎設施」來開發和訓練其最新模型，更重要的是，Mistral 將能夠接觸微軟龐大的銷售管道和客群，並透過其應用程式來建立商業模式。

作者：Abby Lin（科技業產業研究員）

對Mistral AI益處：通路與客戶

大型語言模型的市場仍然非常不穩定，隨時都可能有重大轉折，不過目前看來，OpenAI依舊是的市場領導者，而過去幾天的發展有可能重新定大型語言模型主導地位競賽的贏家和輸家，近期，微軟和 Mistral AI 宣佈建立多年合作關係，雖然沒有公佈合作細節，但Mistral 能夠存取「Azure 的尖端人工智慧基礎設施」來開發和訓練其最新模型，更重要的是，Mistral 將能夠接觸微軟龐大的銷售管道和客群，並透過其應用程式來建立商業模式。

Mistral AI 由前 Meta 和Google研究人員於 2023 年中期成立，已成功籌集數億美元資金，並推出一些最成功的開放權重模型。然而，正如OpenAI 的歷史所表明，大型語言模型的研究可能花費數十億美元，如果沒有自我維持的商業模式就無法完成，與微軟的合作可能是 Mistral AI 獲利與更方便募資的的途徑。

Azure是第二大公有雲，在雲端人工智慧市場擁有高市佔率，微軟雲端上可用的任何模式都將立即可供許多已經使用微軟基礎架構的企業使用。此次合作已使 Mistral AI 能夠接觸到施耐德電氣等大客戶，此次合作的「另一面」是它將對 Mistral AI 的模型發布政策產生影響，該公司關閉 Mistral Large 邁出遠離開放的第一步，或許我們可以觀察 Mistral AI 是否設法找到一個使其能夠獲利的公式，同時至少共享其部分模型，或者它是否會完全開放人工智慧並保持所有模型封閉，這是當前語言模型開源與否的議題。

對微軟益處：屬地優勢與降低依賴 這對微軟有什麼好處？首先，微軟將獨佔或近乎獨佔地存取 Mistral AI 的一些模型，從 Mistral Large 開始，該模型目前僅在 Azure 和 Mistral AI 的端點服務 La Platforme上提供，微軟還將與 Mistral 的頂尖人工智慧人才合作，由於歐盟人工智慧法案帶來的不確定性，擁有一家總部位於歐洲的人工智慧新創公司將為微軟帶來優勢。

此外，透過與 Mistral AI 合作，微軟將減少對 OpenAI及其在語言模型領域的持續成功和主導地位的依賴，微軟已經持有 OpenAI 的大量股份，但隨著每週都會推出新模型，無法保證 OpenAI 在未來幾年仍將維持市場領先地位。

目前，微軟對 Mistral 的投資約 1,600 萬美元，Mistral AI 現在有巨大的動力將其 API 服務移植到 Azure（如果它還沒有這樣做的話）。因此，微軟最終將直接從 Mistral AI 及其客戶收回投資，這種關係最終可能演變為更大規模的投資、更廣泛的合作關係，甚至未來可能的收購。

企業語言模型的市場將比消費者細分市場大得多，消費者細分市場的用戶需要 20 美元的訂閱費才能透過網站或行動應用程式使用這些模型，隨著語言模型的商品化，企業語言模型市場的最大贏家將不再是模型提供商，而是為開發應用程式和將語言模型整合到現有產品中提供最大便利和靈活性的公司，而這正是微軟的強項。

這篇文章 微軟與 Mistral AI 合作對大型語言模型影響是什麼？｜專家論點【Abby Lin】 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

cacaFly 提供使用者能更精準「下指令」的 RAG 模型，同時將大型語言模型整併了企業雲端資料，cacaFly 在保障資安跟 AI 應用上做了哪些努力？

記者／孫敬 Archer Sun

台灣雲端服務代理商聖洋科技 cacaFly （7）日與 Google 台灣、台灣新創孵育品牌 Startup Island Taiwan，共同在 Google 台灣辦公室舉辦「Web3 & AI ! Elevate Your Financial Experience」活動，邀請含 AI、Web3、金融、法律等領域專業人士參與，期望在 AI 的崛起下能吸引更多產業投入開發 AI 解決方案。

就在 Google 近期推出新大型語言模型（LLM）「Gemini」，文字、圖片、聲音、影片，甚至是程式碼都能自行分析並交互生成，cacaFly 在改善、深化 LLM 的應用上，究竟做了哪些準備？

更多新聞：Bing、Bard和ChatGPT　LLM如何改寫網路世界

迎戰生成式 AI 戰場！cacaFly 讓使用者下指令變得更精準

隨著生成式 AI 的功能越趨多元，也讓許多企業積極投入開發、測試各種可能的機會，但 LLM 還是需要使用者花費大量的時間找出最精準的指令（Prompt），才能獲得最接近需求的建議。cacaFly 雲端智能中心技術副總吳振和指出， cacaFly 的 RAG（檢索增強生成）服務可以協助使用者，透過檢索找到最相近、最適合特定問題的參考資料，只要將該資料輸入進 LLM，使用者不再需要反覆修改輸入 AI 的指令，就能夠獲得更精準符合使用者專業領域的建議。

然而在現今強調資料儲存安全、資安防護的時代，並不是所有的產業都能隨心所欲的投入 LLM，特別像是重視資安、資料隱密性的金融、半導體業者，這些業者同時也面臨大量地端資料無法上雲、活化運用的問題。
cacaFly 觀察到此現象後，便將資料庫上雲和 LLM 做整合，提出「雲地混合解決方案」，企業可將公司的內部專業文件，透過 API 來做 Embedding 模型（可以想像成一種幫助企業整理、篩選統整資料的工具）將企業、政府允許能上雲的資料，轉換成文字片段、向量資料去識別化，進一步上雲標記座標，再透過 RAG 將使用者的指令以座標的方式去呼叫企業的雲端資料庫，這麼做能讓企業在零開發基礎下持續訓練自家的 LLM 模型，實現資料雲地混合架構。

LLM 一直以來最難被投市場應用的原因，很大一部分來自於需要專業的開發人員，針對該產業的專業知識協助訓練。cacaFly 從企業既有的資料庫出發，搭配 RAG 精準的投入 LLM 所需要的資料，有望加速生成式 AI 在市場的影響力。

這篇文章 LLM 訓練救星 ? cacaFly 用 RAG 陪使用者精準「問問題」！ 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。