【課堂筆記】AI工具與音樂生成 ｜紀柏豪 (2/26)

講師：紀柏豪

融聲創意工作室負責人。台大經濟系畢業後取得倫敦大學金匠學院音樂碩士與麻省理工學院理學碩士。曾任教於國立清華大學及中國文化大學。於荷蘭V2動態媒體中心 (2014)、西班牙Laboral藝術與創意產業中心 (2016)、英國FACT藝術與創意科技基金會 (2018)、西班牙普拉多媒體藝術中心 (2021) 等科技藝術機構駐村，並於許多國際館舍及研討會發表作品。近年擔任2022文策院TCCF跨域展演計畫主持人、2023台灣科技與社會年會《重置世界的尺度》策展人，推動跨領域對話交流。

一、前言

生成式AI近幾年來快速發展，已經可以幫助我們生成文案、圖片和影片。而除了這些常見的應用外，有些音樂創作者也開始嘗試將AI應用於音樂創作中。在譜曲的過程中，如果我們對於音樂的風格有好的想法，或者手邊已經有一段副歌的旋律，我們都可以利用市面上各式各樣的AI音樂生成軟體，幫助我們譜出一首完整的樂曲。本次課程將簡單介紹音樂生成AI工具，並告訴大家如何運用AI創作音樂。

二、音樂如何被計算出來？

雖然像是音樂這樣的藝術創作聽起來難以用數學計算，但其實音樂還是可以被計算出來的！音樂的主要構成要素為節奏（rhythm）、旋律（melody）、合聲（harmony）和音色（timbre），這四個基本元素的共同作用就是為了創造出豐富且多樣的音樂體驗，而這四個元素都能夠被計算和模擬。舉例來說，節奏其實就是音樂的骨架，它決定了音樂的流動性和動態。我們常常聽到6/8拍或3/4拍，又或者BPM120（即一分鐘120個拍子），所以不難想像，AI可以透過了解拍子的概念演算出音樂。例如，數位音樂製作工具Sequencer，便能夠依據我們所輸入的音樂，產生各式各樣的節奏。在旋律與合聲方面則可以12序列音樂為例。12序列指的是，一個八度裡會有12個音，而每個音都要用到一次，所以想當然的，AI可以計算出各種不同的序列組合，創造出不同的音樂。最後，音色之所以也能夠被計算出來，是因為音色會帶有不同的波長。我們只要告訴AI波型和一秒中要震盪幾次，AI就能根據我們的指令生成不同的音色。

簡而言之，音樂雖然看似抽象，但音樂中的節拍和序列都是可以被計算出來的。也正因為如此，AI才能夠幫助我們從原始的音樂檔中延伸創作，甚至從指令中就能夠產生出一段完整的音樂。

三、AI音樂工具簡介

了解了音樂為甚麼也可以被計算後，我們就來看看目前有哪些常見的AI音樂創作工具吧！目前市面上的AI音樂工具可以大致分為八大類：

1. 文字轉音樂（text-to-music）：顧名思義，我們只需要簡單輸入文字，描述我們想要的音樂風格、樂器、節奏等，AI就能夠將我們的文本敘述轉化為音樂，生成一首曲子。由Meta所開發的MusicGen和Output公司開發的Pack Generator就是這類AI音樂工具的代表。
2. 後製輔助：此類的AI音樂工具可以幫助我們去除音樂中不喜歡的段落。舉例來說，一個鼓組由大鼓、中音鼓和小鼓等構成，如果一段鼓組中，我們想要替換小鼓的部分，則可以利用AI幫我們拉出並替換小鼓的音樂片段。
3. AI歌手：隨著AI科技的發展，AI歌手也開始出現在許多網路平台上。有些AI歌手甚至還能夠模仿知名歌手的唱腔演唱。製作AI歌手的工具是讓AI透過學習特定歌手大量的演唱、採訪或直播等內容，進而得到仿真模型，最後完成聲音替換，產生出與該歌手相似的音色。
4. 符號基礎的音樂生成：此類的AI音樂工具可以利用不帶音訊的資料，僅以符號就能夠生成音樂，Google的Magenta Studio即為代表之一。
5. 音色轉換與音樂生成：這類AI工具可以幫助我們替換音檔中的聲音，像是把人聲替換成鳥叫聲，近幾年流行的DDSP和RAVE模型就屬於此類的AI音樂工具。
6. 音樂分析：音樂分析類的AI音樂工具可以用來幫助我們分析一首歌的歌詞和旋律，幫助我們進行音樂分析。
7. 互動音樂工具：使用者可以在此類的AI音樂工具中，透過與AI互動，創造或修改音樂。像是Google Magenta的AI Duet可以計算我們輸入的音樂，利用馬可列夫模型算出條件機率，再自動產生音樂。
8. 自動採譜與跟譜：以往我們如果要跟譜，和預錄好的音樂一起演奏，通常會需要聽節拍器。現在AI則可以跟著我們的現場演奏，即時採譜與跟譜進行演奏，並在螢幕上呈現出虛擬音樂家的演奏畫面，讓AI生成的音樂更帶有人味。

除了上述的AI音樂工具以外，有些AI音樂工具也可以透過不同的方式生成音樂。例如，SoundsRide就可以依據我們影片中的場景變化，像是開車進入隧道與離開隧道，生成出不同的音樂。

四、AI工具與音樂製作

利用AI結合音樂創作其實不難，接下來我們將著重於文字轉音樂，介紹如何利用ChatGPT結合AI音樂工具Pack Generator、Stable Audio和雅婷Studio進行音樂創作。

「Pack Generator」是由Output公司所開發的軟體，而「Stable Audio」則與Pack Generator一樣為文生音樂的AI音樂工具。兩者都只需要使用者在prompt中輸入心情、曲風，或是音樂類型，就能夠讓AI做為參考生成音樂。「雅婷Studio」則為我國中研院所研發的AI音樂工具，它提供了包含「AI音樂生成」、「AI翻唱」、「AI主唱」與「AI單曲生成」四種功能。

然而，不管是使用上述何種AI音樂工具，我們都可以先利用ChatGPT，讓它幫我們用英文寫一段文字轉音樂的prompt。我們可以將想要的音樂曲風、使用何種樂器、節奏，甚至是想要適用於何種情境告訴ChatGPT。接著，與利用生成式AI以文字生成圖片一樣，我們只要將prompt輸入AI音樂工具，AI就能夠生成不同的音樂供我們選擇（圖1）。

當我們從這些AI音樂工具中找到喜歡的音檔後，就可以將它下載下來，放到我們常用的音樂編輯器中進行編輯。在編輯時，我們可以利用Google的Magenta Studio協助我們編輯音樂。我們可以在音樂編輯器中選擇想要編輯的音軌，並在Magenta Studio中選擇不同的編輯功能。例如，如果想要讓AI自行進行創作生成音樂，那麼可以選擇「generate」；如果我們想要讓AI以我們現有的音樂延伸創作，則可以選擇「continue」，讓AI接力完成音樂製作。

五、結語

AI工具在音樂創作中可以扮演許多不同的角色，在我們靈感枯竭時，幫助我們依照現有的片段提供創作靈感。而當我們在使用這些文生音樂的AI工具時，也必須不斷地調整指令，甚至也可以嘗試不同的工具，找到我們最滿意的音樂。最後，與許多文生文或文生圖的AI工具一樣，目前利用AI所製作的音樂或AI歌手時常會有是否侵犯他人著作權的疑慮。因此，當我們在使用這些AI工具時，還是應該自己進行編輯，以免給自己帶來意料之外的麻煩。

【若想回顧完整版課程影音，請點選此連結；有任何問題或分享，也歡迎在本文底下留言。】

瀏覽 851 次