“AI 孫燕姿”爆火，技術(shù)如何復(fù)刻聲音？

顏媛媛

“AI孫燕姿”橫空出世

2023 年最火爆的華語歌手是誰？不是周杰倫，也不是孫燕姿，而是“AI 孫燕姿”。

近期，在各大視頻平臺(tái)上，“冷門歌手孫燕姿”靠著各種各樣的AI“分身”翻唱不同曲風(fēng)的歌曲，營業(yè)時(shí)長感人，作品出圈火爆。從流行到搖滾、再到“魔性”，沒有AI孫燕姿駕馭不了的曲風(fēng)。

“這歌太上頭了，我能循環(huán)聽一個(gè)晚上?！边@兩天，經(jīng)常逛B 站的“姿迷”（孫燕姿的歌迷）會(huì)常常發(fā)出這樣的感慨，有人一晚上搜羅了“孫燕姿”翻唱的各種經(jīng)典曲目。尤其是周杰倫的《發(fā)如雪》播放量高達(dá)106 萬，《半島鐵盒》《愛在西元前》等播放量也超過了60萬……

本人未曾開口，輕而易舉地占據(jù)華語樂壇半壁江山，連資深歌迷都不太能聽出差異。孫燕姿悄無聲息“攻占”華語歌壇的背后，靠的還是人工智能。

音樂圈的科技與狠活兒

除了“AI 孫燕姿”，還有“AI 周杰倫”、“AI 王心凌”……據(jù)悉，這些翻唱歌曲，是由多位UP 主通過開源項(xiàng)目自制后上傳。

“他們”的翻唱歌曲，由創(chuàng)作者通過開源項(xiàng)目“so-vits-svc”自制后上傳。

按照目前的技術(shù)，歌手的唱腔、技巧和風(fēng)格還很難完全模仿，但音色已經(jīng)基本能1：1 復(fù)制了。而我們也發(fā)現(xiàn)，AI 孫燕姿用的核心技術(shù)主要來自一個(gè)叫作so-vits的開源項(xiàng)目。

隨著AI 歌手的火爆，“教你打造屬于自己的AI 孫燕姿”“讓喜歡的歌手為你唱歌”等AI 訓(xùn)練教程也火速上線，制作此類歌曲的門檻越來越低。

在《下雨天》的AI 翻唱視頻下，B 站網(wǎng)友評論，“那以后，能聽見黃家駒、張國榮他們唱新歌了?！?p>

目前，這個(gè)項(xiàng)目已經(jīng)迭代到了4.0 版本。相較于以往VITS、soft-vc、VISinger2 等項(xiàng)目，so-vits 的使用大大簡化，僅憑數(shù)段音頻，就可用一個(gè)生成式模型來合成目標(biāo)音色的音頻，訓(xùn)練出用戶想要的聲學(xué)模型。這個(gè)模型可以保留音高和音調(diào)，也可以用不同的語言來翻唱。

制作一首AI 歌手演唱的歌曲需要4 個(gè)步驟：下載一鍵啟動(dòng)包、輸入合適的干聲（無音樂的純?nèi)寺暎⒂?xùn)練聲學(xué)模型（訓(xùn)練時(shí)間越長效果越好）、進(jìn)入音頻編輯軟件進(jìn)行合成和后期。目前，網(wǎng)上已經(jīng)隨處可見教學(xué)視頻，博主僅需3 分鐘就可教學(xué)AI 音頻制作的全流程。

實(shí)際操作起來其實(shí)并沒有這么簡單，目前，有兩個(gè)比較火的開源項(xiàng)目，分別是so-vits-svc 和RVC，它們都使用了一種叫作vits 的模型，原本是用于文本生成語音的，但是經(jīng)過改造，可以直接將音色特征作為輸入，不需要轉(zhuǎn)換成文本。這樣就可以實(shí)現(xiàn)任意歌曲的音色轉(zhuǎn)換，而不僅僅是歌詞。

AI 孫燕姿就是利用這些技術(shù)，將孫燕姿的音色特征提取出來，然后用它來翻唱其他歌手的歌曲。這個(gè)過程并不簡單，需要一定的算法相關(guān)經(jīng)驗(yàn)和成果，也需要大量的數(shù)據(jù)采集和實(shí)驗(yàn)。

據(jù)悉，AI 孫燕姿的創(chuàng)作者之一Rcell 表示，他和他的團(tuán)隊(duì)經(jīng)過半年時(shí)間做了上百組實(shí)驗(yàn)，才得出了當(dāng)前的最優(yōu)解。他們采集了孫燕姿的四張專輯《孫燕姿 同名專輯》《克卜勒》《逆光》《是時(shí)候》，共計(jì)約100首歌曲作為訓(xùn)練數(shù)據(jù)。他們還嘗試了其他歌手的音色轉(zhuǎn)換，比如周杰倫、林俊杰、王菲等等，但是效果都不如孫燕姿的好。

而此前為了紀(jì)念鄧麗君逝世22 周年，日本節(jié)目《金SMA》利用全息投影技術(shù)，令一代歌后“復(fù)活”。粉絲們自行訓(xùn)練張國榮、姚貝娜等故去歌手的模型，讓故人以“數(shù)字生命”的形式重現(xiàn)，透過這些久違的聲音，讓聽眾在互聯(lián)網(wǎng)的一片喧囂之中，感受到獨(dú)有的人文主義溫暖。

今年3 月，歌手陳珊妮發(fā)布新歌《教我如何做你的愛人》，粉絲聽完新歌后幾乎都在稱贊這首歌的演唱水準(zhǔn)一如以往。但一周后，陳珊妮發(fā)表長文表示，她的新歌其實(shí)是由“AI 模型”演唱，就連單曲封面也是AIGC 生成。在歌曲制作過程中，她為調(diào)教AI 演唱做了充足的工作，這些工作量不低于甚至遠(yuǎn)高于親自演唱。

而陳珊妮也表示，期望透過這首歌，促動(dòng)所有關(guān)心藝術(shù)創(chuàng)作的人思考——如果 AI的時(shí)代必將到來，身為創(chuàng)作人該在意的或許不是“我們是否會(huì)被取代”，而是“我們還可以做些什么”。

繞不開的版權(quán)問題

AI 翻唱涉及的版權(quán)問題主要包括：AI翻唱是否侵犯了歌手的聲音版權(quán)？ AI 翻唱是否侵犯了其他歌手的音樂版權(quán)？ AI 翻唱的歌曲是否享有自己的版權(quán)？

這些問題在我國目前還沒有明確的法律規(guī)定和司法判例，存在很多爭議和困難。

國外，AI“入侵”音樂界早有案例。如一名TikTok 用戶利用AI 蕾哈娜翻唱碧昂斯熱門單曲《Cuff It》的案例，引起了該曲版權(quán)方環(huán)球音樂的注意，并引發(fā)了侵權(quán)訴訟； 美國搖滾樂隊(duì)Nirvana 起訴歌曲《Drowned in the Sun》的制作團(tuán)隊(duì)，稱該團(tuán)隊(duì)利用AI 技術(shù)模仿了他們的風(fēng)格；美國說唱歌手Jay-Z 起訴網(wǎng)站VocalSynthesis，稱該網(wǎng)站用他的聲音朗讀《哈姆雷特》等文學(xué)作品，侵犯了他的聲音版權(quán)和肖像權(quán)。

以大模型為橋梁，非編程人員便可打造專屬AI 工具，無疑是向通用人工智能邁進(jìn)的重要一步，但當(dāng)AI 在音樂、繪畫等領(lǐng)域的應(yīng)用門檻逐步放低，相應(yīng)的版權(quán)問題勢必紛至沓來。

有意思的是，so-vits-svc 模型的開發(fā)者已經(jīng)從源代碼托管服務(wù)平臺(tái)Github 上刪庫，并表示，刪庫主要是因?yàn)轫?xiàng)目已經(jīng)停止維護(hù)和更新，并且聲明了項(xiàng)目的免責(zé)條款，強(qiáng)調(diào)項(xiàng)目是一個(gè)開源、離線的項(xiàng)目，所有成員和貢獻(xiàn)者對項(xiàng)目沒有任何控制權(quán)，也不知道用戶使用項(xiàng)目的目的和方式，因此所有基于項(xiàng)目訓(xùn)練的AI 模型和合成的音頻與項(xiàng)目的成員和貢獻(xiàn)者無關(guān)。

5 月9 日，抖音也發(fā)布了關(guān)于人工智能生成內(nèi)容的平臺(tái)規(guī)范暨行業(yè)倡議。其中提到，創(chuàng)作者、主播、用戶、商家、廣告主等平臺(tái)生態(tài)參與者，在抖音應(yīng)用生成式人工智能技術(shù)時(shí)，發(fā)布者應(yīng)對人工智能生成內(nèi)容進(jìn)行顯著標(biāo)識(shí)，幫助其他用戶區(qū)分虛擬與現(xiàn)實(shí)，特別是易混淆場景；發(fā)布者需對人工智能生成內(nèi)容產(chǎn)生的相應(yīng)后果負(fù)責(zé)，無論內(nèi)容是如何生成的；虛擬人需在平臺(tái)進(jìn)行注冊，虛擬人技術(shù)使用者需實(shí)名認(rèn)證；禁止利用生成式人工智能技術(shù)創(chuàng)作、發(fā)布侵權(quán)內(nèi)容，包括但不限于肖像權(quán)、知識(shí)產(chǎn)權(quán)等。一經(jīng)發(fā)現(xiàn)，平臺(tái)將嚴(yán)格處罰。

AI 技術(shù)生產(chǎn)的聲音，可能會(huì)讓你感到新奇，但也可能會(huì)讓你感到迷惑，在聽這樣的歌曲時(shí)，最好不要忘記了真正的歌手、真正的歌曲、真正的音樂。