記者／陳士勳 微軟新的AI模型「VALL-E」帶來新革命，用戶僅提供3秒鐘的音訊，該模型便能模擬本人說話的聲音 …

記者／陳士勳

微軟新的AI模型「VALL-E」帶來新革命，用戶僅提供3秒鐘的音訊，該模型便能模擬本人說話的聲音、語調及說話時的情緒，甚至連音訊背景的「聲音環境」，也能如法炮製，不過如此功能可能被詐騙人士利用，微軟也開發檢測模型，區分該音訊是否經由VALL-E合成，且制定相關AI原則，避免惡意濫用。

微軟研究人員表示，VALL-E基於Meta在2022年10月發表的EnCodec技術，所打造而成的「神經編碼解碼器語言模型」，不同於一般透過操控波形合成語音的常見文字轉語音法，而是從文字與聲音提示，產生個別音訊編碼解碼器程式碼，並透過EnCodec，將資訊分解成可稱為「標記」（Token）的個別元件，進而分析人類發音。

微軟指出，VALL-E能對比訓練資料與「學會」的聲音，只要上傳3秒鐘的音檔，即可複製該語調來說話，為了建構VALL-E的語音合成能力，微軟採用內含7千多人、約 6 萬小時說話內容的LibriLight音訊庫訓練，以提供用戶數十個的AI模型執行範例音訊。

微軟強調，由於VALL-E還可模擬音訊背景的「聲音環境」，簡單來說，如果音訊來自不同場合，像講電話、搭乘交通工具、開車等背景，接聽者會感覺音訊是經該背景所傳遞而來，因此，微軟準備應對的檢測模型，辨別真假音訊，預防VALL-E成為詐騙和網路攻擊的武器。

這篇文章 微軟VALL-E只需3秒模擬真實聲音 恐成詐騙利器 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。

編譯／莊閔棻 微軟的新語言人工智慧模型 Vall-E 只需要三秒的錄音樣本，就能模仿任何聲音。 根據《福克斯新 …

編譯／莊閔棻

微軟的新語言人工智慧模型 Vall-E 只需要三秒的錄音樣本，就能模仿任何聲音。

根據《福克斯新聞》的報導，Vall-E 在6萬小時的英語語音數據上進行了測試。在康乃爾大學的一篇論文中，研究人員表示，它可以複製說話者的情緒和語氣，而且即使是錄音中的說話者從未說過的話也可以。

Vall-E的創建者們表示，Vall-E 擁有上下文學習能力。其只需要透過3秒錄製的聲音，就可以合成高質量的個性化語音。實驗結果表明，就說話的自然度和與說話人的相似度來說，Vall-E明顯優於最先進的文字轉語音人工智慧。Vall-E的創建者還表示，他們發現Vall-E可以在說話時保留說話者的情緒和語調。據報導，雖然技術還不夠成熟，但Vall-E的語調及聲音和錄音中的說話者非常相似。

而像其他人工智慧一樣，這款文字轉語音 AI 也伴隨著研究人員的警告提示。在網頁上，研究人員寫道：「由於 Vall-E 可以模仿他人的聲音，因此可能會有被濫用的風險，如欺騙語音識別或冒充他人等。因此，當模型開放給公眾使用時，使用任何人的聲音前，應該要先取得說話者的同意」。

目前，微軟稱之為「神經編解碼器語言模型」的 Vall-E 尚未向公眾開放。

參考資料：Fox News

這篇文章 錄音3秒！微軟Vall-E    能完美模仿你聲音 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。