聊天機器人會回答錯誤資訊已不是新聞，但唯有會進到人們記憶中的錯誤資訊才會影響人們的決策。

文章來源：台灣科技媒體中心

議題背景：

台灣大學心理系黃從仁教授研究團隊今年11月20日在《美國心理學家》（American Psychologist）期刊發表最新的聊天機器人研究。研究發現，對話機器人的訊息中有77％的錯誤詞彙（misinformed word）成為參與者的記憶。研究也發現一次性的警語無法減少錯誤的記憶。即使相對頻繁、針對特定項目的預先警告參與者，也無法阻止特定項目錯誤資訊被參與者記憶。

這項研究使用人工可編輯程式的人形機器人RoBoHoN（夏普公司所研發）與台灣大學生對話，檢查機器人提供情感和價值中立但內容錯誤的訊息中，是否有預告的警語（例如，警告參與者要對錯誤資訊持保留的態度），以及檢查這些訊息中有多少比例會在之後的認知測驗中，變成一個人記憶的錯誤資訊。

台灣科技媒體中心邀請研究假訊息影響記憶與推理，以及研究對話式人工智慧的專家，依據自身研究經驗發表看法。專家認為，研究結果提醒了我們可以對社群媒體保持一份懷疑，或許就可以增加一些對假消息的免疫力，保持懷疑的態度是指不要盲目的什麼都接受，而非每件大小事都疑神疑鬼。專家說，最起碼在聽到某個新聞或消息時，不要立刻接受，而是在選擇相信之前多看看其它人對同一消息的評論和看法。

• 研究原文：

Huang, T.-R., Cheng, Y.-L., & Rajaram, S. (2023). Unavoidable social contagion of false memory from robots to humans. American Psychologist.

專家怎麼說？

【研究作者：黃從仁】【楊立行】【陳縕儂】

2023年10月04日
台灣大學心理系副教授 黃從仁 （本篇研究作者之一）

1. 這份研究為什麼重要？

聊天機器人會回答錯誤資訊已不是新聞，但唯有會進到人們記憶中的錯誤資訊才會影響人們的決策。此研究透過兩組實驗，在文獻中首次證實：(1)機器人提供的錯誤資訊中，有七、八成會變成人們的記憶；(2)即便機器人在提供錯誤資訊前已抱持自我懷疑並提出警告，但這些警告只能增加人們的戒心，並無法真正避免錯誤資訊成為記憶。

2. 研究有哪些推論上的限制？

我們雖然以RoBoHoN人型機器人進行此研究，但任何我們信任的聊天機器人應都會導致類似的情況。當初我們沒有使用ChatGPT進行研究，一來是它不具有精密行為實驗所需要的可控制性，二來是此研究完成在ChatGPT誕生之前。

3. 若要避免或減少錯誤資訊仍被記憶的問題，能夠發展出加強的技術讓聊天機器人提供來源更可信的資訊，以及減少提供錯誤內容的資訊嗎？

根據此研究的結果，無論有無形體的聊天機器人應儘量不要輸出錯誤的資訊。要達成此目標，技術上有幾種不同的實作方式，例如透過人工檢核的方式剔除學習資料中的錯誤資訊，或是讓聊天機器人透過網路搜尋，先對答案進行事實查核。若機器人無法確認自己答案的真確性，應該直接回答不知道。

4. 根據這篇研究結果，您建議我們如何看待對話機器人的科技進展，以及它提供的資訊？使用對話機器人、聊天機器人時需要注意什麼？

在ChatGPT聊天介面中出現的小字「ChatGPT may produce inaccurate information about people, places, or facts.」實為脫責但無效的警語。我們應對聊天機器人的輸出內容保持適度懷疑，不要照單全收。

2023年09月09日
政治大學心理學系暨心理研究所副教授 楊立行

1. 這份研究為什麼重要？

這份研究的規模並不大，只有兩個實驗，而且實驗的程序與手法也不算複雜，卻觸及許多心理學、資訊科學、傳播學等領域中重要的議題。心理學家很早就發現人們除了會遺忘之外，還可能會有錯誤記憶（false memory），即是學習階段明明沒學過的項目，卻誤將它們認為是之前學習過的。

這篇研究使用的是心理學中常見的「再認記憶作業」測驗，開始時第一階段會請受試者先記下一串詞彙，而後再請受試者逐一判斷在第三階段中出現的詞彙（通常一半是之前出現過的一半是新的），是不是之前學習過的。此研究特別的是，作者很有創意安插第二階段的合作回憶作業（collaborative recall task）方式，讓真正的參與者相信另一位參與者（其實是主試者的同夥）要跟他一起完成回憶作業，並安排同夥在回憶時回報出未曾學習過的項目，誘使參與者將這些項目當作是曾經學習過的，於是生成錯誤記憶。

作者同時發現儘管事先警告參與者，或者警告參與者某個特定項目可能不是剛才出現過的，都無法阻止參與者形成錯誤的記憶。甚至，就算同夥換成了對話機器人，上述現象依舊存在。這種錯誤的記憶因為人與人社交互動而互相影響的情況，也重現了人們在社群媒體上受到假消息影響自身記憶的現象。作者發現，愈不信任同夥的參與者愈少出現錯誤記憶，這個結果提醒了我們可以對社群媒體保持一份懷疑，或許就可以增加一些對假消息的免疫力。保持懷疑的態度是指不要盲目的什麼都接受，而非每件大小事都疑神疑鬼。最起碼，在聽到某個新聞或消息時，不要立刻接受，而是在選擇相信之前多看看其它人對同一消息的評論和看法。

2. 研究有哪些推論上的限制？

參與者在實驗室中很清楚知道自己要記下學習的項目，但在日常生活中，卻未必有此心理準備，而未必會出現如研究一般清晰的錯誤記憶。

3. 我們要怎麼知道跟對話機器人聊天的參與者，是記得對話的資訊但不知道是錯的？還是記得它是錯誤的資訊？

在第三階段測驗中，參與者被要求判斷眼前的詞彙是否為第一階段中曾經學過的，所以，當參與者將錯誤訊息判斷為曾經學過的項目，就表示他認為這是曾經學過的，即他不知道這是錯的。

4. 根據這篇研究結果，您建議我們如何看待對話機器人的科技進展，以及它提供的資訊？使用對話機器人、聊天機器人時需要注意什麼？

對話機器人一如Chat GPT都是在學習人類創造出的資訊，可以當它是部百科全書，只是裏面的知識並未都經過科學機構的驗證。事實上，不論是對真人還是機器人，當我們在接收他（它）們提供的訊息時，我們都應該像一個科學家一樣保持一定程度的懷疑精神，儘量參考多個不同來源，交叉比對才能作出比較正確的判斷。

2023年09月26日
台灣大學資訊工程學系副教授 陳縕儂

1. 這份研究為什麼重要？

現今生成式AI越來越普遍，而生成式AI系統在與使用者互動時，不可避免的會產生錯誤的腦補資訊來回答使用者。
這種機器生成帶有錯誤資訊的內容，是否會在人機互動中潛移默化的影響使用者，是規範當代AI產品非常重要的考量。此研究探討了人類不可避免的會受到機器產生的錯誤資訊影響，即使透過預先警示，也無法完全避免此狀況。這份研究發現可以提供未來AI技術產品發展的指引，也可以讓法規透過此結論制定合適的規範策略。

2. 研究有哪些推論上的限制？

此研究中，使用者被要求記憶資訊，而後回憶相關內容。在錯誤資訊之引導下，可能就會將錯誤訊息記在腦中。然而，現今許多資訊皆可以較容易的在當下被記錄起來（透過影片、聲音、筆記等不同方式），現在有些人較依賴被存取下來的資訊來回憶內容，而非依靠腦中的記憶，故此研究可能無法推論較為實務的場景。

另外，在生成式AI技術越來越熱門時，使用者們開始發現AI常常會生成錯誤內容，故可能會較過去更加小心內容的正確性，而成為錯誤記憶的機會就漸漸變低了。

3. 若要避免或減少錯誤資訊仍被記憶的問題，能夠發展出加強的技術讓聊天機器人提供來源更可信的資訊，以及減少提供錯誤內容的資訊嗎？

在學術研究領域，確實有很多相關的研究致力於提升內容的可信度。舉例來說，在提供回答時，同時也提供相關的佐證以支持其內容。然而，這情況很難完全避免，因為不同應用情境可能會對創造力有不同的需求，該如何在創造力與資訊正確性拿捏得當，是目前研究者們努力的方向。

4. 根據這篇研究結果，您建議我們如何看待對話機器人的科技進展，以及它提供的資訊？使用對話機器人、聊天機器人時需要注意什麼？

在現在這個AI時代，我們同時享受AI系統帶來的便利性（資訊取得、資訊統整變得更加容易），也要同時小心這些技術帶來的隱憂。在此研究中，只探討了「錯誤資訊」造成的影響，然而「偏頗資訊」的影響力可能更大，因為偏頗之訊息可能並非錯誤，故使用者更難經由事實查核，驗證資訊正確性。我們在使用這些對話機器人時，需要對機器提供的資訊抱持懷疑，也需要具備自己的思辨能力與查核力，做出自我的最終判斷，才能夠避免AI機器影響人類想法言論，最終變成一言堂。

這篇文章 你會不會記住AI機器人的錯誤訊息？聽聽專家怎麼說｜專家論點【台灣科技媒體中心】 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。