基于WGAN和擴(kuò)張卷積的符號(hào)音樂(lè)生成算法

孫鳳霄 ,孫仁誠(chéng)

(1.泰山科技學(xué)院 大數(shù)據(jù)學(xué)院,山東 泰安 271000;2.青島大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山東 青島 266000)

1 研究背景

傳統(tǒng)的音樂(lè)創(chuàng)作方式需要投入大量的精力,且耗時(shí)較長(zhǎng)、創(chuàng)作性能低下,由于人才稀缺和創(chuàng)作成本的提高,音樂(lè)創(chuàng)作的需求無(wú)法被滿(mǎn)足。人工智能技術(shù)的出現(xiàn)給人類(lèi)音樂(lè)創(chuàng)作的發(fā)展帶來(lái)了動(dòng)力,人們開(kāi)始借助計(jì)算機(jī)輔助進(jìn)行藝術(shù)創(chuàng)作[1-3]。深度學(xué)習(xí)(Deep Learning)作為人工智能的重要實(shí)現(xiàn)方法,在音樂(lè)領(lǐng)域,諸如音樂(lè)推薦、音樂(lè)識(shí)別、虛擬歌手等方向的應(yīng)用已經(jīng)展現(xiàn)了不俗的效果。使用深度學(xué)習(xí)建模進(jìn)行音樂(lè)生成,能夠滿(mǎn)足公眾聆聽(tīng)樂(lè)曲的需求,降低音樂(lè)創(chuàng)作的成本,豐富藝術(shù)創(chuàng)作,有著廣闊的發(fā)展前景。

使用深度學(xué)習(xí)進(jìn)行音樂(lè)創(chuàng)作主要有兩類(lèi)音樂(lè)生成方法: 符號(hào)音樂(lè)生成和音頻音樂(lè)生成[4]。但由于在計(jì)算機(jī)中音頻音樂(lè)的數(shù)字表示在某種程度上是有損的,無(wú)法完整地保存樂(lè)器樂(lè)曲的全部信息,并且對(duì)于音符的表示不具有標(biāo)準(zhǔn)性,因此,本文主要研究符號(hào)音樂(lè)生成。符號(hào)音樂(lè)作為序列數(shù)據(jù),循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)在這一領(lǐng)域的應(yīng)用最為廣泛,研究人員使用RNN進(jìn)行建模以生成音樂(lè)的序列結(jié)構(gòu)。Wu等[5]提出了一種分層循環(huán)神經(jīng)網(wǎng)絡(luò)(Hierarchical Recurrent Neural Network,HRNN),使用不同粒度的長(zhǎng)短時(shí)記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)來(lái)增加模型對(duì)長(zhǎng)時(shí)間結(jié)構(gòu)序列的學(xué)習(xí)。盡管RNN在生成序列數(shù)據(jù)時(shí)有優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的效果,但單純的RNN模型在訓(xùn)練時(shí)容易出現(xiàn)梯度消失(Vanishing gradient)和梯度爆炸(Exploding gradient)的問(wèn)題,使得訓(xùn)練穩(wěn)定性變差,收斂困難。因此RNN近年來(lái)一般和生成模型相結(jié)合以獲得更好的效果,如變分自編碼器(Variational Auto Encoder,VAE)[6-8]和生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)[9-11]。Mogren[12]第一個(gè)提出了將GAN應(yīng)用到音樂(lè)生成領(lǐng)域的模型,它的生成器和判別器均使用LSTM網(wǎng)絡(luò),訓(xùn)練生成器使其能夠從隨機(jī)噪聲生成一段旋律。作為對(duì)抗思想最早期在音樂(lè)領(lǐng)域的一次嘗試,該模型的生成效果還不夠出色。Yang等[10]提出的MIDINet嘗試將GAN與深度卷積神經(jīng)網(wǎng)絡(luò)(Deep C onvolutional Neural Network,DCNN)相結(jié)合以生成音樂(lè)。Oord等[13]提出的WaveNet模型成功地將擴(kuò)張卷積(Dilated convolution)應(yīng)用于音頻生成領(lǐng)域,解決了卷積感受野受限的問(wèn)題,為利用卷積完成序列數(shù)據(jù)任務(wù)帶來(lái)了新的思路。與基于RNN的音樂(lè)生成模型相比,CNN具有更好的并行性,基于并行結(jié)構(gòu)的CNN模型的訓(xùn)練速度和并行處理速度明顯優(yōu)于基于遞歸結(jié)構(gòu)的RNN[14],且2維CNN在進(jìn)行特征提取時(shí)能更好地考慮音樂(lè)數(shù)據(jù)的空間相關(guān)性。

本文為了解決現(xiàn)有的生成對(duì)抗網(wǎng)絡(luò)模型在應(yīng)用于音樂(lè)生成時(shí)訓(xùn)練不穩(wěn)定以及RNN訓(xùn)練時(shí)容易出現(xiàn)的梯度消失問(wèn)題,提出了一種基于Wasserstein距離生成對(duì)抗網(wǎng)絡(luò)(Wasserstein Generative Adversarial Network,WGAN)[15]和擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)[16]相結(jié)合的無(wú)監(jiān)督符號(hào)音樂(lè)生成模型。主要?jiǎng)?chuàng)新點(diǎn)為:(1) 將Wasserstein距離生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)并應(yīng)用到音樂(lè)生成領(lǐng)域,使用梯度懲罰(Gradient penalty)實(shí)現(xiàn)Lipschitz約束穩(wěn)定網(wǎng)絡(luò)的收斂速度,優(yōu)化了GAN在訓(xùn)練時(shí)容易出現(xiàn)的問(wèn)題;(2) 引入擴(kuò)張卷積改進(jìn)模型算法,在判別器中使用擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)提高卷積核的寬度來(lái)獲取更多的全局特征,并通過(guò)多擴(kuò)張率的擴(kuò)張卷積獲取多尺度特征,生成器則使用反卷積神經(jīng)網(wǎng)絡(luò)生成音樂(lè)。

本文使用Nottingham音樂(lè)數(shù)據(jù)集[17]作為訓(xùn)練數(shù)據(jù),通過(guò)在該數(shù)據(jù)集訓(xùn)練模型進(jìn)行對(duì)比實(shí)驗(yàn),收集樣本數(shù)據(jù)進(jìn)行綜合評(píng)估生成能力和樣本質(zhì)量。實(shí)驗(yàn)結(jié)果表示該模型相對(duì)RNN網(wǎng)絡(luò)或GAN網(wǎng)絡(luò),能夠以更快的速度在訓(xùn)練過(guò)程中收斂,且生成數(shù)據(jù)更符合自然音樂(lè)分布規(guī)律,借助專(zhuān)業(yè)音樂(lè)人評(píng)估實(shí)驗(yàn)表明,生成的音樂(lè)樣本具有更高的質(zhì)量、悅耳性和流暢度,證明該模型基本能夠代替人工作曲進(jìn)行音樂(lè)創(chuàng)作。

2 生成對(duì)抗網(wǎng)絡(luò)

GAN是由Goodfellow等[18]在2014年提出的一種深度學(xué)習(xí)模型,它由生成器(Generator,G)和判別器(Discriminator,D)兩部分組成,GAN的結(jié)構(gòu)如圖1所示。其中,G和D分別表示生成器和判別器網(wǎng)絡(luò)。訓(xùn)練時(shí),輸入固定維度的隨機(jī)噪聲z到生成器網(wǎng)絡(luò)G中,使網(wǎng)絡(luò)輸出的生成樣本G(z)的分布最大化擬合真實(shí)樣本的分布;將生成器G輸出的生成樣本G(z)和真實(shí)樣本x分別輸入到判別器網(wǎng)絡(luò)D中,使網(wǎng)絡(luò)盡可能正確地分辨真實(shí)樣本和假樣本。

圖1 生成對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu)Fig.1 Structure of generated adversarial network

GAN模型的損失函數(shù)為

式中:x表示從真實(shí)樣本的數(shù)據(jù)分布P(data)采樣得到的數(shù)據(jù);z表示從先驗(yàn)分布Pz(z)中采樣的隨機(jī)噪聲數(shù)據(jù),通常服從高斯分布;G(z)表示生成器從隨機(jī)噪聲生成的假樣本;D(x)和D(G(z))分別為將生成樣本和假樣本輸入到判別器中得到的判別結(jié)果,表示判定為真實(shí)樣本的概率;log表示對(duì)數(shù)運(yùn)算,底數(shù)根據(jù)不同深度學(xué)習(xí)框架交叉熵?fù)p失函數(shù)實(shí)際使用情況而定。本文后面實(shí)驗(yàn)中的Tensorflow框架以自然數(shù)e為底進(jìn)行訓(xùn)練。訓(xùn)練判別器以最大化該損失函數(shù)為目標(biāo),最大化logD(x)使得判定真實(shí)樣本為真的概率更大,最大化log(1-D(G(z)))使得判別生成樣本為真的概率更小。對(duì)于生成器,其目標(biāo)為最小化該損失函數(shù),也就是最小化log(1-D(G(z)))使得判別器判定生成樣本為真的概率更大,來(lái)優(yōu)化生成器網(wǎng)絡(luò)生成更為真實(shí)的假樣本。

由于原始的GAN存在難以訓(xùn)練,容易陷入模式崩潰(Collapse mode)等問(wèn)題,Arjovsky等[15]在2017年提出了Wasserstein GAN,指出原始GAN使用JS散度(Jensen-Shannon divergence)來(lái)衡量真實(shí)樣本分布和生成樣本分布的距離容易導(dǎo)致生成器梯度消失從而無(wú)法訓(xùn)練,使用Wasserstein距離代替JS散度,同時(shí)解決了GAN訓(xùn)練不穩(wěn)定以及生成樣本缺乏多樣性的問(wèn)題。

Wasserstein距離:

式中:Pr和Pg分別表示真實(shí)樣本分布和生成樣本分布;λ～∏(Pr,Pg)是Pr和Pg組合后的所有可能的聯(lián)合分布的集合,從中采樣(x,y)～λ得到一個(gè)真實(shí)樣本和一個(gè)生成樣本并計(jì)算它們的距離,計(jì)算樣本對(duì)距離的期望值,能夠在所有可能的聯(lián)合分布中對(duì)這個(gè)期望值取得的下界即為Wasserstein距離。應(yīng)用到WGAN后得到距離公式:

式中: 函數(shù)f w表示包含參數(shù)w的鑒別器;gθ表示包含參數(shù)θ的生成器。該公式要求在參數(shù)范圍w∈W內(nèi),限制函數(shù)f w的所有參數(shù)不超過(guò)某個(gè)常數(shù)范圍的條件下,最大化通過(guò)新的損失函數(shù)以及對(duì)鑒別器參數(shù)的限制,WGAN相對(duì)于原始GAN在訓(xùn)練時(shí)更為穩(wěn)定,生成效果更好。

3 模型介紹

符號(hào)音樂(lè)數(shù)據(jù)具有多樣性豐富、變化復(fù)雜的特點(diǎn),本文針對(duì)音樂(lè)生成的具體應(yīng)用改進(jìn)生成器、判別器結(jié)構(gòu),結(jié)合Wasserstein距離生成對(duì)抗網(wǎng)絡(luò)和深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn),提出本模型。當(dāng)MIDI音樂(lè)數(shù)據(jù)轉(zhuǎn)換為鋼琴卷表示即2維空間域時(shí),雖然通常每一個(gè)時(shí)刻都有音符處于彈奏狀態(tài),但大多數(shù)只有一個(gè)或多個(gè)音符在同一時(shí)刻被彈奏,時(shí)間維度較音高維度跨度更大,所存儲(chǔ)的信息量更大。如果能夠獲得更長(zhǎng)時(shí)間維度上的特征則可以更好地幫助提取旋律特征。為了使模型提取更多的旋律特征,本文將擴(kuò)張卷積引入到模型的判別器中。

擴(kuò)張卷積又被稱(chēng)為空洞卷積,由Yu等[16]在2016年首先提出并應(yīng)用到語(yǔ)義分割的任務(wù)上。與標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)相比,擴(kuò)張卷積具有能夠擴(kuò)大卷積核感受野,提取多尺度上下文信息的優(yōu)點(diǎn)。擴(kuò)張卷積的擴(kuò)張范圍由擴(kuò)張率(r)控制,卷積核的感受野提升并不會(huì)造成卷積覆蓋范圍的損失,如圖2所示為擴(kuò)張率分別為1,2,3的擴(kuò)張卷積操作。經(jīng)Wang等[19]的實(shí)驗(yàn)證明,擴(kuò)張卷積在處理長(zhǎng)范圍數(shù)據(jù)時(shí)擁有出色的表現(xiàn)。Oord等[13]將其應(yīng)用到音頻生成領(lǐng)域取得了不錯(cuò)的效果。本文則將擴(kuò)張卷積改進(jìn)并應(yīng)用到符號(hào)音樂(lè)生成領(lǐng)域。由于單一地使用相同擴(kuò)張率的擴(kuò)張卷積,其輸入信號(hào)具有稀疏性,有可能造成局部信息丟失問(wèn)題,本文將擴(kuò)張率分別為1,2,3的擴(kuò)張卷積組合,并進(jìn)行殘差連接,從而避免了這一問(wèn)題的發(fā)生,在實(shí)驗(yàn)中驗(yàn)證了其性能高于只使用傳統(tǒng)卷積的生成模型。

圖2 擴(kuò)張率分別為1,2,3的擴(kuò)張卷積覆蓋范圍Fig.2 Coverage of dilated convolution with dilated rate of 1,2 and 3

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

模型的判別器網(wǎng)絡(luò)采用了5層CNN以及1層全連接層,結(jié)構(gòu)如圖3所示。向網(wǎng)絡(luò)中輸入一段音樂(lè)數(shù)據(jù)后,首先通過(guò)CNN提取局部特征,然后借助擴(kuò)張卷積擴(kuò)大卷積核感受野,提取長(zhǎng)距離旋律特征,最后通過(guò)殘差連接融合多尺度特征圖并輸入到全連接層得到判別結(jié)果。判別器由2個(gè)CNN和3個(gè)擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)組成,所有的卷積網(wǎng)絡(luò)卷積核大小均為3×3,填充為0,其中前2個(gè)卷積網(wǎng)絡(luò)的濾波器個(gè)數(shù)分別為1,16,步長(zhǎng)依次為2,2,后3個(gè)擴(kuò)張卷積網(wǎng)絡(luò)的濾波器個(gè)數(shù)為64,卷積擴(kuò)張率依次為1,2,3。由于使用梯度懲罰,完成卷積后不進(jìn)行批規(guī)范化處理,每次卷積后使用Leaky ReLU(Rectified Linear Unit,修正線(xiàn)性單元)進(jìn)行激活,使用Leaky Re LU激活函數(shù)可以避免在訓(xùn)練時(shí)出現(xiàn)梯度消失,加快模型的收斂速度。由于使用了Wasserstein距離衡量分布差異,最后一層全連接層直接輸出結(jié)果,不進(jìn)行激活處理。

圖3 判別器網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure of discriminator network

生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。輸入一段固定維度為128維的隨機(jī)噪聲,為了能夠更好地從低維潛空間變量映射到高維數(shù)據(jù),經(jīng)過(guò)一個(gè)全連接層輸出大小為2 304×1的神經(jīng)元,隨后進(jìn)行Reshape操作得到一個(gè)3×3×256的3維張量,輸入到5個(gè)反卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行反卷積操作,最后輸出與真實(shí)音樂(lè)數(shù)據(jù)大小一樣的音樂(lè)數(shù)據(jù)。反卷積神經(jīng)網(wǎng)絡(luò)的濾波器個(gè)數(shù)依次為128,64,32,16,1,均采用3×3卷積核大小,步長(zhǎng)為2,填充為0,經(jīng)過(guò)這5次反卷積網(wǎng)絡(luò)后的輸出shape分別為(6,5,128),(11,10,64),(22,20,32),(44,40,16),(88,80,1)。同時(shí),每個(gè)反卷積網(wǎng)絡(luò)輸出后接批規(guī)范化(Batch Normalization,BN)來(lái)加快訓(xùn)練速度,增強(qiáng)網(wǎng)絡(luò)的泛化性,網(wǎng)絡(luò)除最后一層使用tanh激活函數(shù),其余層皆使用ReLU函數(shù)進(jìn)行激活。

圖4 生成器網(wǎng)絡(luò)的結(jié)構(gòu)Fig.4 Structure of generator network

3.2 損失函數(shù)

原始GAN使用JS散度作為損失函數(shù),存在訓(xùn)練不穩(wěn)定、難以收斂、生成多樣性差的問(wèn)題。本文采用Wasserstein距離替代原始生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù),但由于使用參數(shù)截取容易使得判別器的參數(shù)集中在最大值或最小值的范圍,從而出現(xiàn)梯度消失和梯度爆炸的問(wèn)題,因此,在損失函數(shù)中加入梯度懲罰[20]代替參數(shù)截取實(shí)現(xiàn)Lipschitz連續(xù)條件:

只需要在真假樣本的集中區(qū)域及其過(guò)渡地帶施加梯度懲罰,假設(shè)這個(gè)范圍為P^x,表示在真實(shí)樣本分布Pr和生成樣本分布Pg得到的樣本對(duì)之間沿直線(xiàn)隨機(jī)插值采樣得到的樣本所滿(mǎn)足的分布,λ表示懲罰項(xiàng)系數(shù),并將K設(shè)置為1,限制判別器的梯度,就得到了模型的總損失函數(shù):

3.3 訓(xùn)練過(guò)程

訓(xùn)練時(shí),首先向生成器輸入一段固定維度的隨機(jī)噪聲,通過(guò)反卷積神經(jīng)網(wǎng)絡(luò),生成一段音樂(lè)數(shù)據(jù),將生成的音樂(lè)數(shù)據(jù)和真實(shí)的音樂(lè)數(shù)據(jù)輸入到判別器中進(jìn)行打分,用得到的結(jié)果分別更新判別器和生成器參數(shù)。算法1所示為本文模型的訓(xùn)練過(guò)程:

算法1 模型訓(xùn)練算法

輸入: 訓(xùn)練輪次epoch,批次大小bs,真實(shí)數(shù)據(jù)V,學(xué)習(xí)率α,懲罰次數(shù)ncritics,生成器每訓(xùn)練1次時(shí)判別器的訓(xùn)練次數(shù)N,梯度懲罰系數(shù)λ。

輸出: 生成器參數(shù)θG,判別器參數(shù)θD。

假設(shè)生成器網(wǎng)絡(luò)的參數(shù)集合為θG,保持判別器的參數(shù)不變,生成器希望能夠生成更加真實(shí)的樣本,來(lái)騙過(guò)判別器從而輸出更高的分?jǐn)?shù),則生成器的優(yōu)化目標(biāo)為最大化該損失函數(shù):

對(duì)于判別器,首先在真實(shí)分布和偽樣本分布中采集一對(duì)樣本,然后在它們之間沿直線(xiàn)進(jìn)行隨機(jī)插值采樣:

如此便得到^x的分布P^x,在訓(xùn)練判別器時(shí)對(duì)該分布上的樣本施加梯度懲罰。假設(shè)判別器網(wǎng)絡(luò)的參數(shù)集合為θD,判別器希望能夠最大化真假樣本的分?jǐn)?shù)差,與模型損失函數(shù)相同,判別器的優(yōu)化目標(biāo)為最小化該損失函數(shù):

實(shí)驗(yàn)中,為了能夠提高訓(xùn)練速度和判別器的訓(xùn)練效果,每訓(xùn)練5次判別器,訓(xùn)練1次生成器。使用Adam優(yōu)化算法[21]更新網(wǎng)絡(luò)參數(shù),總迭代次數(shù)為500輪,學(xué)習(xí)率大小為0.000 1,beta1為0.5,batch size為64,懲罰項(xiàng)系數(shù)λ=10。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集介紹

本次實(shí)驗(yàn)在Windows10系統(tǒng)運(yùn)行,CPU 3.60 GHz,RAM 16.0 GB,GPU為NVIDIA 1080Ti,Python版本為3.6,使用Tensorflow深度學(xué)習(xí)框架。實(shí)驗(yàn)所使用的數(shù)據(jù)集為Nottingham鋼琴數(shù)據(jù)集[17],其中包含1 046首MIDI文件格式的民間鋼琴音樂(lè),需要對(duì)MIDI數(shù)據(jù)進(jìn)行規(guī)范化處理后輸入到神經(jīng)網(wǎng)絡(luò)中,設(shè)定每次輸入到判別器和生成器生成的為5個(gè)小節(jié)的音樂(lè),用如下方法將所有音樂(lè)分割為5小節(jié)的音樂(lè):將節(jié)拍統(tǒng)一為4/4拍,最小音符單位為十六分音符,音符采樣速度為0.125 s,也就是每秒采樣8個(gè)最小單位的十六分音符。用高度表示MIDI音符/音高,寬度表示時(shí)長(zhǎng),則所有MIDI文件被轉(zhuǎn)化為[88,80]的2維實(shí)值向量,向量值的大小表示音符的音量(彈奏力度)。最終得到7 000個(gè)獨(dú)立的音樂(lè)樣本用作訓(xùn)練。

4.2 生成效果分析

本文模型在訓(xùn)練大約100輪后收斂速度變慢,開(kāi)始能夠生成有規(guī)則的音樂(lè),在訓(xùn)練300輪后完全收斂,生成效果達(dá)到最佳。圖5為使用訓(xùn)練好的生成器通過(guò)隨機(jī)噪聲生成的一段5小節(jié)的音樂(lè)實(shí)例。

圖5 使用生成器隨機(jī)生成的5小節(jié)音符音樂(lè)Fig.5 5-bars music randomly generated by generator

為了能對(duì)比分析模型生成數(shù)據(jù)與真實(shí)數(shù)據(jù),本文使用十二平均律對(duì)生成樣本和真實(shí)音樂(lè)數(shù)據(jù)的音符分布進(jìn)行了統(tǒng)計(jì)。十二平均律是一種通用的音樂(lè)定律方法,將一個(gè)純八度的音程按波長(zhǎng)比例平均分為12等份。在生成數(shù)據(jù)和真實(shí)音樂(lè)數(shù)據(jù)中隨機(jī)抽取300首并統(tǒng)計(jì)其十二平均律音符分布,結(jié)果如圖6所示。

圖6 300首音樂(lè)的十二平均律音符分布Fig.6 Distribution of equal temperament notes in 300 pieces of music

由圖6可以看出,本文模型生成的音樂(lè)數(shù)據(jù)與Nottingham音樂(lè)數(shù)據(jù)集的音符分布相似,D,A,B音符出現(xiàn)的次數(shù)最多,而F#,G#,C#音符出現(xiàn)頻率都較低,說(shuō)明模型很好地學(xué)習(xí)到了該數(shù)據(jù)集的數(shù)據(jù)分布,生成數(shù)據(jù)的分布基本吻合。這說(shuō)明本文模型成功地學(xué)習(xí)到了Nottingham數(shù)據(jù)集中英國(guó)民間鋼琴音樂(lè)的數(shù)據(jù)分布,所生成的旋律具有獨(dú)特的民間鋼琴音樂(lè)風(fēng)格。

4.3 對(duì)比試驗(yàn)

4.3.1 訓(xùn)練效果對(duì)比

本文模型在訓(xùn)練速度上與其他模型相比有較為顯著的提升,另外,在生成的音樂(lè)質(zhì)量上也有不錯(cuò)的進(jìn)步。本文在網(wǎng)絡(luò)上找到了兩個(gè)具有代表性并且較為先進(jìn)的音樂(lè)生成模型的開(kāi)源代碼,它們分別是Music VAE[8]和SR-CNN-VAEGAN[7]模型,用相同的數(shù)據(jù)集訓(xùn)練后與本文模型進(jìn)行比較,每個(gè)模型進(jìn)行5次實(shí)驗(yàn)并對(duì)實(shí)驗(yàn)結(jié)果取平均值,表1所示為各個(gè)模型訓(xùn)練時(shí)間以及收斂輪次的對(duì)比。從表1可以看出,本文提出的模型無(wú)論是從收斂輪數(shù)還是訓(xùn)練所需時(shí)間上都優(yōu)于其他模型。訓(xùn)練完成后,本文還對(duì)訓(xùn)練收斂后的模型進(jìn)行采樣對(duì)比,并將生成的音樂(lè)轉(zhuǎn)換成鋼琴卷(Piano roll)形式進(jìn)行可視化。

表1 模型試驗(yàn)對(duì)比結(jié)果Tab.1 Comparison results of model test

本文進(jìn)行了大量的采樣,圖7為隨機(jī)選取了SR-CNN-VAEGAN、Music VAE、本文模型以及真實(shí)音樂(lè)的piano roll圖片展示,觀(guān)察本文模型生成的樣本發(fā)現(xiàn),同為CNN模型的SR-CNN-VAEGAN模型所遞歸生成的音樂(lè)出現(xiàn)了許多超出正常范圍的噪聲,由RNN與VAE結(jié)合而來(lái)的Music VAE模型所生成的音樂(lè)大多音調(diào)單一,無(wú)法在長(zhǎng)期結(jié)構(gòu)里保持音調(diào)內(nèi)容的多變性,而本文模型生成音樂(lè)與真實(shí)音樂(lè)更為接近,音符的數(shù)量以及音調(diào)的變化都更為豐富。

圖7 各個(gè)模型訓(xùn)練完成后所生成音樂(lè)以及真實(shí)音樂(lè)的鋼琴卷展示Fig.7 The piano rools of real music and music generated by each trained model

4.3.2 客觀(guān)評(píng)估指標(biāo)

為了能夠更加客觀(guān)地評(píng)估本文模型生成的音樂(lè)樣本的真實(shí)性,本文使用了如下幾個(gè)評(píng)估指標(biāo)[12]對(duì)本文模型所生成的音樂(lè)樣本進(jìn)行了評(píng)估:

1) 音階一致性(Scale consistency),樣本中能夠最佳匹配音階的音符所占的百分比;

2) 獨(dú)特性(Uniqueness),樣本中只使用一次的音調(diào)所占的百分比;

3) 音調(diào)跨度(Tone span),樣本中最低音和最高音之間的半音步數(shù)。

基于上述3個(gè)評(píng)價(jià)指標(biāo),統(tǒng)計(jì)了模型訓(xùn)練完成后生成的300個(gè)樣本的實(shí)驗(yàn)結(jié)果,如圖8所示,樣本指標(biāo)的大范圍波動(dòng)說(shuō)明了本文模型生成音樂(lè)的多樣性。圖8中,縱軸在音階一致性和獨(dú)特性指標(biāo)下表示音符的統(tǒng)計(jì)百分比,在音調(diào)跨度指標(biāo)下表示半音步數(shù)。此外,本文還分別選取了SR-CNN-VAEGAN模型和Music VAE模型進(jìn)行對(duì)比,生成300首音樂(lè)后統(tǒng)計(jì)評(píng)價(jià)得分的平均值,并進(jìn)行消融實(shí)驗(yàn),結(jié)果如表2所示。其中Ours-A和Ours-B分別表示判別器使用傳統(tǒng)卷積和擴(kuò)張卷積的生成模型,Ours表示本文模型。從結(jié)果中看到,Ours-B模型生成音樂(lè)的音階一致性接近于計(jì)算真實(shí)音樂(lè)的音階一致性平均值,高于其他模型的以及Ours-A模型的。在音符獨(dú)特性上,Ours-B模型的結(jié)果過(guò)高,Ours-A模型的則過(guò)低,Ours模型的63.5則與真實(shí)音樂(lè)的指標(biāo)64.2更為接近,說(shuō)明本文的多尺度特征提取策略提高了模型生成音符分布上的真實(shí)性,音調(diào)跨度方面與真實(shí)音樂(lè)也更為相似。

圖8 本文模型在訓(xùn)練300輪時(shí)生成的300個(gè)樣本的實(shí)驗(yàn)結(jié)果Fig.8 The experimental results of 300 samples generated by our model during 300 rounds of training

表2 評(píng)價(jià)得分的結(jié)果Tab.2 The results of evaluation score

4.3.3 主觀(guān)對(duì)比評(píng)測(cè)

由于在聆聽(tīng)音樂(lè)中以主觀(guān)感受為主,每個(gè)人的評(píng)價(jià)標(biāo)準(zhǔn)不一,為了能夠更好地評(píng)估本文模型所生成音樂(lè)的藝術(shù)性以及美學(xué)質(zhì)量,本文還設(shè)計(jì)了一項(xiàng)關(guān)于人類(lèi)聽(tīng)覺(jué)的評(píng)價(jià)實(shí)驗(yàn),共有30人參與了這項(xiàng)實(shí)驗(yàn),其中15人是來(lái)自音樂(lè)學(xué)院掌握基本音樂(lè)理論的專(zhuān)業(yè)人員,其余人員為音樂(lè)愛(ài)好者。

本文選取了Melody-RNN和SR-CNN-VAEGAN作為對(duì)比模型,在各模型的生成樣本集以及真實(shí)音樂(lè)樣本集中隨機(jī)取樣各30首音樂(lè),打亂并匿名交給評(píng)分人員,從自然度、悅耳度、流暢度3個(gè)角度進(jìn)行評(píng)分,分值為0～9分,共10個(gè)等級(jí)。圖9所示為用戶(hù)評(píng)分的結(jié)果,所有人員評(píng)分的平均值如表3所示。

圖9 用戶(hù)評(píng)分結(jié)果的箱型圖Fig.9 Box chart of user scoring results

表3 用戶(hù)評(píng)分的結(jié)果Tab.3 The results of users score

從聽(tīng)覺(jué)評(píng)價(jià)結(jié)果可以看出,本文模型所生成的音樂(lè)在悅耳度上最高時(shí)能達(dá)到9分,媲美真實(shí)音樂(lè),在自然度的評(píng)分也更接近于真實(shí)音樂(lè),兩項(xiàng)評(píng)測(cè)平均分均高于Melody-RNN和SR-CNN-VAEGAN模型的平均分,說(shuō)明本文模型所生成的音樂(lè)在悅耳度上更占優(yōu)勢(shì),旋律更為優(yōu)美。但是,流暢度略遜于Melody-RNN模型,說(shuō)明生成音樂(lè)在整體連貫性方面還需提高?？傮w上,本文模型相較于其他模型具有一定優(yōu)勢(shì),生成音樂(lè)的聽(tīng)覺(jué)感受接近于真實(shí)音樂(lè)的。

5 結(jié)語(yǔ)

本文提出了基于WGAN的音樂(lè)生成模型,該模型由兩部分組成,分別是判別器和生成器。不同于以往音樂(lè)生成模型大多使用RNN遞歸生成音樂(lè),本模型使用CNN并行地提取音符特征并完整生成一段音樂(lè),可更好地考慮數(shù)據(jù)的空間相關(guān)性。對(duì)比試驗(yàn)以及人耳聽(tīng)覺(jué)實(shí)驗(yàn)證明本模型與現(xiàn)有模型相比在訓(xùn)練速度上有較大的提升,并且與同類(lèi)型的CNN模型相比所生成的音樂(lè)具有更好的效果和質(zhì)量。本模型還可應(yīng)用到其他數(shù)據(jù)集上,生成更有特色的音符音樂(lè)。在未來(lái)階段,本模型計(jì)劃在已有的研究基礎(chǔ)上,在潛空間變量中加入旋律特征標(biāo)簽,讓模型生成具有指定風(fēng)格的旋律。