管風琴演奏會結合生成式AI　工研院打造音樂展演新潮流

記者鄧君／新竹報導

工研院於1日宣布與知名福爾摩沙管風琴演奏家余曉怡合作，運用生成式AI技術（Generative AI；GAI）讓演奏家化身虛擬人像，在11月1日登場的「2023 福爾摩沙國際管風琴藝術節閉幕音樂會」，管風琴演奏家余曉怡的虛擬偶像造型首度亮相外，在亞洲最大管風琴音樂廳衛武營的舞台上，透過GAI隨樂曲變換生成不同動畫，打造與古典音樂高度融合的影像體驗，帶來視覺與聽覺的雙重享受，跳脫傳統音樂會的模式與框架。

工研院產業科技國際策略發展所所長林昭憲表示，隨著AI人工智慧的普及以及Covid-19疫情期間的催化，消費者在虛擬世界花費時間愈來愈長、數位原生虛擬作品愈來愈受大眾歡迎，虛擬世界的創作已不再只是文化產業的陪襯。

林昭憲說，如何透過AI化繁為簡，讓數位藝術家專心創作，這是一個不可忽略的產業趨勢，甚至刺激文化及創新科技發展。以虛擬偶像為例，不僅數位原生的虛擬偶像受歡迎，真人偶像如足球明星Neymar、NBA明星球員Luka Dončić、美國歌手小賈斯汀和Ariana Grande、韓國女團aespa都打造虛擬化身，在MV、虛擬演唱會、社群網站、時裝展和NFT中亮相，在虛擬世界替代本身，擴大與粉絲的互動。

隨著虛擬產製生態更為成熟，虛擬世界服務體驗平台將大幅擴展。根據自主移動機器人全球市場研究報告（AMR）顯示，預期虛擬人的市值規模將從2022年的113億美元成長到2030年的2,951億美元，年複合成長率（CAGR）超過四成，虛擬人可作為虛擬偶像、虛擬助手、虛擬教師、虛擬客服等場景，主要應用在遊戲、零售、教育和汽車產業。

工研院服務系統科技中心執行長鄭仁傑表示，這次工研院與福爾摩沙管風琴演奏家余曉怡合作，將 GAI文生圖（Text to Image）實際應用到音樂表演現場，主要可分為兩個部分，一是在前台設置透明投影螢幕，讓演奏家余曉怡虛擬分身，透過大量照片訓練後，由AI生成專屬於余曉怡且像她的虛擬模型，搭配GAI語音轉動畫自動生成與工研院前瞻計畫的語音風格轉化技術，只要提供文稿或一段語音，虛擬偶像便會以各種不同的造型及聲音，呈現多樣的風貌，提供觀眾更豐富的視覺享受。

另一亮點在舞台上，過去演奏家表演時，舞台背景顯示的音景通常是與畫家配合，針對演奏曲目去挑選或創作合適意境的畫，而這次工研院針對古典樂特性，去對GAI下指令（prompt）生成相對應的景象，並顯示在管風琴的後上方，讓觀眾享受樂曲的同時，可以看到更具意象的畫面，進而提升沈浸感。

瀏覽 760 次