OpenAI新模型採遞迴推理 專家直言「在玩火」憂監控難度升高

記者許若茵／編譯

OpenAI的新Astra模型將採用一種稱為「遞迴深度」的推理技術，讓模型能夠跳脫多數推理模型所採用的循序思考方式。《The Information》週二報導，這項技術也被稱為「不透明遞迴」，可能讓模型的思考鏈更難監控，也因此引發AI安全專家的高度警戒，儘管目前Astra採用這項技術的程度據報有限，但它的出現仍讓AI安全專家產生重大疑慮。

Redwood執行長Buck Shlegeris在消息曝光後發文表示，他對Astra採用不透明遞迴「極度擔憂」。他表示，目前不知道Astra的思考鏈是否比過去的模型更難監控，但如果OpenAI進一步推動這項技術，就可能大幅增加遞迴程度，並「徹底摧毀思考鏈的可監控性」。

長期倡議AI安全的Zvi Mowshowitz也對此發表看法，並表示可能需要法律來防止AI實驗室之間出現「向下競爭」。Mowshowitz表示，這項技術是在玩火，可能打破OpenAI與Anthropic一直努力建立並維持的底線，也就是盡可能確保思考鏈具備忠實性與可監控性。他認為，更廣泛地使用這類技術可能損害監控能力。

在正常情況下，推理模型的思考鏈會提供模型嘗試解決問題時所採取的循序步驟。儘管這種呈現方式並不完美，但仍是監控模型不當行為或與預期目標不一致的重要工具。在近期OpenAI出現的代理人失控活動中，思考鏈紀錄就是協助釐清代理人為何出現相關行為的重要工具。

在不透明遞迴中，模型會採取較不線性的方式，透過迴圈多次處理相同問題。這樣的結果會留下較少可讀取的痕跡，實際上繞過傳統的思考鏈紀錄。

「AI履歷健檢」看見自己優勢：https://campaign.1111.com.tw/resume-review/
更多科技工作請上科技專區：https://techplus.1111.com.tw/

值得注意的是，目前Astra採用這項技術的程度似乎有限。模型的思考鏈仍預期能夠被理解，而OpenAI也反駁任何認為公司將轉向「神經語言」的說法。OpenAI先前已宣布，未來安全計畫將包含廣泛的思考鏈監控系統。

OpenAI首席科學家Jakub Pachocki在X發文強調，公司仍致力於維持可讀取的思考鏈。他表示，OpenAI從最初的推理模型開始，就一直努力保留並利用思考鏈監控，而這也是目前研究計畫的核心目標。

所有AI模型都會進行一定程度的不透明推理，很少有研究人員會把思考鏈紀錄視為模型實際推理過程的直接呈現。不過，這些限制仍無法消除外界對不透明遞迴的疑慮，尤其是當這項技術在不同模型中的使用程度持續增加時，可能讓AI推理更加難以監控。

《The Information》週三上午的後續報導指出，Anthropic與GoogleDeepMind也已經在討論這項技術。

Redwood Research首席科學家Ryan Greenblatt在回應相關消息時表示，不透明推理很容易比傳統思考鏈推理擴展得更快，最終可能讓所有推理都從可見的管道中消失。

Greenblatt表示，他最大的擔憂是，這項技術自然發展下去可能會進一步擴大不透明推理，直到模型完全或幾乎完全在潛在空間中進行推理。他希望現在還來得及避免最令人擔憂的架構，也希望OpenAI能在此停下腳步。

資料來源：techcrunch