承認GPT「變笨」　OpenAI：模型更新方式不夠完美

編譯／夏洛特

史丹佛大學和加州大學柏克萊分校的研究人員發現，OpenAI 的 ChatGPT 大語言模型 （LLM）的「性能和行為」在 2023 年 3 月至 6 月期間發生變化，導致「某些任務的性能大幅惡化」。對此，OpenAI則也承認說，其模型更新方法並不完美，當一些性能被提高，一些地方就可能會表現更差。

OpenAI解釋說，在決定對現有模型進行更改之前，他們會權衡幾個指標，但這些方法不是非常全面。該公司表示：「當發布新版本時，我們的首要任務是讓模型變得更智慧。我們會考慮大量的評估指標，以確定是否應該發布新模型。 雖然大多數指標都會被改善，但某些任務的性能仍可能會變得更差。」

研究人員發現 ，OpenAI 的 ChatGPT 回應的準確性在今年 3 月至 6 月期間發生巨大變化。一份根據一系列不同要求檢測GPT-3.5 和 GPT-4報告就指出，比起GPT-3.5 ，GPT-4 OpenAI 的LLM 在解決數學問題和按步驟思考的過程方面變得更差，輸出的程式碼也有更多錯誤；但與 GPT-3.5相比，GPT-4 則更能抵抗人們對其進行「越獄」，或透過特定提示使機器人「失控」的行為；而在視覺推理方面，兩個LLM則都取得微小的進步。

對此，OpenAI 則表示，他們將把對 GPT-3.5 和 GPT-4 的API支持延長至 2024 年 6 月 13 日，讓用戶能更理解公司發布模型的狀況。OpenAI 研究員 Logan Kilpatrick 就在推特上說：「我們將為開發者提供更多的穩定性和可見度，讓他們了解我們如何發布和棄用模型。」

該公司還建議使用其模型的外部開發人員，選擇一個固定的 GPT 模型，以確保在有新模型可用時保持穩定的輸出。OpenAI 表示：「我們將努力確保新版本能夠為各種任務都帶來改進。」

參考資料：The Messenger、Venture Beat

※更多ChatGPT相關訊息，請參考【生成式AI創新學院】。

瀏覽 401 次