基于擠壓和激勵(lì)殘差網(wǎng)絡(luò)的歌聲檢測(cè)

桂文明,呂家偉，梁穎紅，敖志強(qiáng)

(1.金陵科技學(xué)院 軟件工程學(xué)院，江蘇 南京 211169；2.南京郵電大學(xué) 寬帶無(wú)線通信與傳感網(wǎng)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003；3.南昌航空大學(xué) 軟件學(xué)院，江西 南昌 330063)

歌聲檢測(cè)(Singing Voice Detection,SVD)是判斷存在于數(shù)字音頻形式的音樂(lè)中的每一小段音頻是否含有人的歌聲的過(guò)程，其檢測(cè)精度一般在50～200 ms之間.在每一小段音樂(lè)中，除了歌聲，一般還含有演奏樂(lè)器的聲音，要在混合樂(lè)器和人聲的音樂(lè)片段中判斷是否含有歌聲，雖然對(duì)人來(lái)說(shuō)是輕而易舉的，但對(duì)機(jī)器來(lái)說(shuō)卻是頗具挑戰(zhàn)性的工作.歌聲檢測(cè)是音樂(lè)信息檢索(Music Information Retrieval,MIR)領(lǐng)域重要的基礎(chǔ)性工作，很多其他研究比如歌手識(shí)別、歌聲分離、歌詞對(duì)齊等都把歌聲檢測(cè)作為事前必備技術(shù)或者增強(qiáng)技術(shù).例如，在歌手識(shí)別過(guò)程中，首先對(duì)音樂(lè)進(jìn)行歌聲檢測(cè)就是事前必備技術(shù)，只有檢測(cè)到歌聲后才能通過(guò)歌手鑒別過(guò)程進(jìn)行歌手識(shí)別；在歌詞對(duì)齊過(guò)程中，如果能準(zhǔn)確地檢測(cè)出歌聲的位置，那么必然增強(qiáng)歌詞對(duì)齊的準(zhǔn)確性.

歌聲檢測(cè)的過(guò)程一般包括預(yù)處理、特征提取、分類(lèi)和后處理等幾部分，其中特征提取和分類(lèi)是最重要的兩大步驟.輸入的音頻文件一般是物理樣本級(jí)的，例如wav，mp3等文件.特征提取是從音頻信號(hào)中提取能表達(dá)含有歌聲和不含歌聲的音頻之間區(qū)別的鑒別信息.較簡(jiǎn)單的鑒別信息是短時(shí)傅里葉變換后的時(shí)頻圖，常用的特征還包括線性預(yù)測(cè)系數(shù)(Linear Predictive Coefficient,LPC)、感知線性預(yù)測(cè)系數(shù)(Perceptual Linear Predictive Coefficient,PLPC)、過(guò)零率(Zero Cross Rate,ZCR)、Mel頻率倒譜系數(shù)(Mel Frequency Cepstral Coefficient,MFCC)、動(dòng)譜特征(Fluctogram)、譜平坦因子(Spectral flatness)、譜收縮因子(Spectral contraction)等.這里的大多數(shù)特征都是在時(shí)頻圖基礎(chǔ)上提取的.分類(lèi)過(guò)程是采取機(jī)器學(xué)習(xí)等方法對(duì)特征信息進(jìn)行分類(lèi)，并根據(jù)特征分類(lèi)來(lái)檢測(cè)歌聲.主要的分類(lèi)方法包括基于傳統(tǒng)分類(lèi)器的方法和基于深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)的方法，前者包括支持向量機(jī)(Support Vector Machine,SVM)、隱馬爾可夫模型(Hidden Markov Model,HMM)、隨機(jī)森林(Random Forest,RF)等；后者包括采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[1]和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)[2]的方法.

在現(xiàn)有的歌聲檢測(cè)算法中，研究者們總是試圖通過(guò)精心設(shè)計(jì)某種特征，然后選擇某種分類(lèi)器進(jìn)行分類(lèi).當(dāng)單一特征不能滿(mǎn)足要求時(shí)，則采用組合多種特征[3-4]的方法，可以說(shuō)歌聲檢測(cè)的發(fā)展歷史就是研究者們尋找和設(shè)計(jì)特征的歷史.這種特征工程(Feature engineering)存在的弊端是人工設(shè)計(jì)特征周期長(zhǎng)，以及設(shè)計(jì)的特征適應(yīng)性不可靠.事實(shí)上，DNN不僅可以充當(dāng)歌聲檢測(cè)框架的分類(lèi)器作用，還可以通過(guò)多層次的學(xué)習(xí)，對(duì)歌聲進(jìn)行多層次的特征提取[5].因此，一方面，采用適當(dāng)?shù)腄NN框架，可以學(xué)習(xí)到歌聲的特征，不需要進(jìn)行復(fù)雜的特征工程；另一方面，DNN框架既可充當(dāng)特征提取器又可充當(dāng)分類(lèi)器，可減少環(huán)節(jié)，使算法框架更簡(jiǎn)單.在歌聲檢測(cè)的現(xiàn)有算法框架中，DNN既作為特征提取器又作為分類(lèi)器的框架并不多，大部分基于DNN框架的處理過(guò)程是先進(jìn)行復(fù)雜的特征工程，然后再把特征輸入DNN分類(lèi)器.據(jù)我們所知，僅輸入簡(jiǎn)單樸素的特征如對(duì)數(shù)Mel時(shí)頻圖的工作，只有Schlüter等的CNN方案[1,6].然而在該方案中，CNN的深度有限，僅有14層，我們稱(chēng)之為淺層CNN(Shallower Convolutional Neural Network,SCNN).受限于淺層深度，網(wǎng)絡(luò)的學(xué)習(xí)能力有限，從而導(dǎo)致學(xué)習(xí)到的歌聲特征有限.如果在Schlüter等的淺層方案中想進(jìn)一步通過(guò)簡(jiǎn)單堆疊卷積層來(lái)達(dá)到提高深度的目的則是無(wú)法實(shí)現(xiàn)的，因?yàn)檫@會(huì)導(dǎo)致梯度問(wèn)題，使得堆疊的網(wǎng)絡(luò)無(wú)法訓(xùn)練或退化.本文提出一種基于擠壓和激勵(lì)殘差網(wǎng)絡(luò)的歌聲檢測(cè)算法，一方面，殘差網(wǎng)絡(luò)使得網(wǎng)絡(luò)深度在可以避免梯度問(wèn)題和退化問(wèn)題的情況下對(duì)深度進(jìn)行擴(kuò)展；另一方面，擠壓和激勵(lì)網(wǎng)絡(luò)可通過(guò)學(xué)習(xí)調(diào)整各層特征的重要性，并自動(dòng)融合這些特征，送入到網(wǎng)絡(luò)的下一層.

1 相關(guān)工作

1.1 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)(Residual Network,ResNet)來(lái)源于圖像分類(lèi)領(lǐng)域，其在很大程度上解決了梯度爆炸和網(wǎng)絡(luò)退化問(wèn)題，使得網(wǎng)絡(luò)可以構(gòu)建得很深[7].殘差網(wǎng)絡(luò)由殘差結(jié)構(gòu)疊加組成，殘差結(jié)構(gòu)的一般構(gòu)造如圖1(a)所示.殘差網(wǎng)絡(luò)在原有網(wǎng)絡(luò)上堆疊身份映射(Identity)，且能保持網(wǎng)絡(luò)的性能不變.它不是直接學(xué)習(xí)堆疊網(wǎng)絡(luò)的潛在映射H(x),而是通過(guò)增加身份映射后擬合一個(gè)殘差映射(Residual mapping)F(x)=H(x)-x.殘差映射相比潛在映射更容易優(yōu)化，從而解決了深度增加后導(dǎo)致的梯度問(wèn)題和網(wǎng)絡(luò)退化問(wèn)題.此外，殘差結(jié)構(gòu)是無(wú)侵入式結(jié)構(gòu)，可以疊加到其他網(wǎng)絡(luò)中，用以提升網(wǎng)絡(luò)的深度和性能.

圖1(a)中的F(x)可根據(jù)需要采取不同的結(jié)構(gòu).圖1(b)和圖1(c)是用于構(gòu)建深度殘差卷積神經(jīng)網(wǎng)絡(luò)的兩種典型的F(x)的結(jié)構(gòu)：基本塊(Basic block)和瓶頸塊(Bottleneck block)的結(jié)構(gòu).圖1(b)和圖1(c)中，n,m分別表示經(jīng)過(guò)1×1或3×3卷積后的特征圖數(shù)量，也就是通道數(shù)量.圖1(b)與圖1(c)的不同在于后者具有3個(gè)卷積層，且中間特征圖數(shù)量也發(fā)生了變化，但二者的輸出特征圖數(shù)量都是相同的.

圖1 殘差結(jié)構(gòu)和兩種典型的F(x)塊結(jié)構(gòu)Fig.1 Residual structure and the two typical block for F(x)

1.2 擠壓和激勵(lì)操作

圖2 SENet模塊圖Fig.2 SENet module

擠壓和激勵(lì)網(wǎng)絡(luò)(Squeeze-and-Excitation Network,SENet)來(lái)源于圖像分類(lèi)，在LSVRC 2017(ImageNet Large Scale Visual Recognition Challenge)圖像分類(lèi)競(jìng)賽中，基于該技術(shù)的網(wǎng)絡(luò)獲得了最好的成績(jī).SENet的核心是利用擠壓和激勵(lì)操作挖掘卷積神經(jīng)網(wǎng)絡(luò)中通道間的關(guān)系，并調(diào)整通道的權(quán)重.SENet模塊的結(jié)構(gòu)見(jiàn)圖2(見(jiàn) 第362頁(yè)).假定上一層卷積輸出F是高和寬為h和w的圖片，通道數(shù)量為c，擠壓操作是一個(gè)全局平局池化層，將c個(gè)通道壓縮成c個(gè)描述符；激勵(lì)操作的第1步是一個(gè)門(mén)機(jī)制，具體包括第1個(gè)全連接層將c個(gè)描述符以r倍降維，然后利用ReLU函數(shù)進(jìn)行非線性化，接著是第2個(gè)全連接層以r倍增維；激勵(lì)操作第2步首先利用Sigmoid激活函數(shù)對(duì)通道進(jìn)行權(quán)重估值，然后通過(guò)Scale操作對(duì)各通道按權(quán)重估值進(jìn)行調(diào)整，最后調(diào)整后的通道F′進(jìn)入下一層網(wǎng)絡(luò).擠壓和激勵(lì)操作使得各通道對(duì)下一層網(wǎng)絡(luò)的作用發(fā)生變化，權(quán)重不再是相等的，而是通過(guò)學(xué)習(xí)得到的.本算法中，將F看成是學(xué)習(xí)到的特征，該特征先經(jīng)過(guò)權(quán)重重估和調(diào)整，再送入下一層網(wǎng)絡(luò).特征權(quán)重重估和調(diào)整的過(guò)程就是特征自動(dòng)融合的過(guò)程.

2 算法思路

本文基于擠壓和激勵(lì)殘差網(wǎng)絡(luò)的歌聲檢測(cè)算法是通過(guò)殘差網(wǎng)絡(luò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)，深度可到200甚至更深，從而增強(qiáng)對(duì)歌聲特征的學(xué)習(xí)能力，產(chǎn)生不同層次的特征；而對(duì)于卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的不同層次的歌聲特征，本算法通過(guò)擠壓和激勵(lì)模塊來(lái)重估其對(duì)歌聲分類(lèi)的重要性.本文算法較淺層CNN的方法有兩個(gè)方面的改進(jìn)：一方面是在網(wǎng)絡(luò)深度方面能避免出現(xiàn)退化現(xiàn)象的情況下得到擴(kuò)展；另一方面是各層次的特征權(quán)重得到重估，使得分類(lèi)效果得到提升.

2.1 網(wǎng)絡(luò)輸入

本算法的網(wǎng)絡(luò)輸入不是經(jīng)過(guò)復(fù)雜特征工程處理后的特征，而是歌聲檢測(cè)最常用的、最簡(jiǎn)單樸素的對(duì)數(shù)Mel時(shí)頻圖(Log Mel-spectrogram).計(jì)算過(guò)程中采樣率取為22 050 Hz，幀長(zhǎng)為1 024，幀移為315，Mel頻率數(shù)量取80個(gè)，頻率區(qū)間為[27.5,8 000.0](單位Hz).每個(gè)音頻文件可得到一個(gè)行數(shù)為80的對(duì)數(shù)Mel時(shí)頻圖矩陣，我們從該矩陣的起始列位置開(kāi)始逐個(gè)提取大小為80×115的圖像，讀取圖像時(shí)每跳為5列，然后將圖像輸入到網(wǎng)絡(luò).

2.2 網(wǎng)絡(luò)模塊

結(jié)合擠壓和激勵(lì)操作的深度殘差卷積模塊(SEResNet)如圖3所示.SEResNet模塊由SENet模塊結(jié)合ResNet的基本塊和瓶頸塊構(gòu)成.兩種模塊中，輸入通道數(shù)量和輸出通道數(shù)量都是一致的.我們根據(jù)網(wǎng)絡(luò)的深度選擇不同模塊來(lái)構(gòu)造全棧網(wǎng)絡(luò).其中SRB模塊用于構(gòu)造深度為18和34的網(wǎng)絡(luò)，而SRT模塊用來(lái)構(gòu)造更深的網(wǎng)絡(luò)，包括深度為50,101,152和200的網(wǎng)絡(luò).

圖3 SEResNet模塊Fig.3 SEResNet module

2.3 全棧網(wǎng)絡(luò)

表1 深度為200的SEResNet的全棧網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 The network structure of the SEResNet with the depth 200

如前所述，全棧網(wǎng)絡(luò)是根據(jù)不同的SEResNet模塊來(lái)構(gòu)建的.本文算法設(shè)計(jì)的SEResNet深度包括18,34,50,101,152和200共6種深度，下面以SEResNet200(深度為200的SEResNet)為例來(lái)說(shuō)明全棧網(wǎng)絡(luò)的結(jié)構(gòu)，如表1所示.大小為80×115的圖像在進(jìn)入殘差網(wǎng)絡(luò)前，先經(jīng)過(guò)大小為7×7，步數(shù)(Stride)為2的卷積層conv1，此時(shí)，conv1的輸出將縮小為40×58.隨后，輸出的特征圖進(jìn)入擠壓和激勵(lì)殘差結(jié)構(gòu)中.在conv2，先經(jīng)過(guò)大小為3×3，步數(shù)為2的最大值池化層，特征圖大小再次縮小至20×29，隨后，進(jìn)入擠壓和激勵(lì)殘差網(wǎng)絡(luò)層，經(jīng)過(guò)1個(gè)SRT殘差塊，再經(jīng)過(guò)擠壓和激勵(lì)模塊進(jìn)行特征權(quán)重重估，圖中fc,[16,256]表示擠壓和激勵(lì)網(wǎng)絡(luò)結(jié)構(gòu)中第1個(gè)和第2個(gè)全連接卷積層FC(圖2)的輸出維數(shù)，降維和增維倍數(shù)均為16.中括號(hào)外的×3表示中括號(hào)內(nèi)擠壓和激勵(lì)殘差網(wǎng)絡(luò)棧的深度為3，即網(wǎng)絡(luò)堆疊的深度.對(duì)應(yīng)conv3,conv4,conv5的堆疊深度分別為12,48和3，我們稱(chēng)這4個(gè)堆疊深度序列為規(guī)模參數(shù).在conv3,conv4,conv5中，沒(méi)有最大值池化層，但是由于它們的結(jié)構(gòu)中存在步數(shù)為2的卷積層，因此，圖像大小仍然和conv2層一樣縮減為一半.在最后的FC層，先經(jīng)過(guò)一個(gè)2維的自適應(yīng)平均池化層，其輸出通道數(shù)為1，再進(jìn)入一個(gè)全連接卷積層，最終網(wǎng)絡(luò)輸出為1維向量o，含2個(gè)值o0,o1，可以用來(lái)判斷是否含有歌聲.

對(duì)于深度分別為18,34,50,101和152的網(wǎng)絡(luò)，其規(guī)模參數(shù)分別為[2,2,2,2],[3,4,6,3],[3,4,6,3],[3,4,23,3]和[3,8,36,3].輸出圖片大小和SEResNet200保持一致.值得注意的是，規(guī)模參數(shù)并不是必須如上所述.事實(shí)上，我們通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)規(guī)模參數(shù)呈遞增形，即形如[3,8,16,23]的SEResNet152效果要更好，但是本文的重點(diǎn)在于“深度”和“特征的權(quán)重重估”，因此對(duì)于SERenet中各深度網(wǎng)絡(luò)的具體組織形式?jīng)]有進(jìn)行研究.

2.4 加權(quán)交叉熵?fù)p失函數(shù)

由于歌聲檢測(cè)是二分類(lèi)，所以本算法采用的是二分類(lèi)交叉熵?fù)p失函數(shù).歌聲檢測(cè)的數(shù)據(jù)集中歌聲和非歌聲的樣本數(shù)一般是不平衡的，通常是歌聲樣本數(shù)要多于非歌聲樣本數(shù)，因此，我們?cè)趽p失函數(shù)中加入了權(quán)重，權(quán)重設(shè)為數(shù)據(jù)集中的樣本數(shù)量比例.上述擠壓和激勵(lì)殘差網(wǎng)絡(luò)的輸出是2個(gè)值o0,o1，先用sigmoid函數(shù)轉(zhuǎn)換成概率值，再加入到下述損失函數(shù)中進(jìn)行計(jì)算.設(shè)N個(gè)樣本預(yù)測(cè)為歌聲的概率為xi，樣本的標(biāo)簽為yi，權(quán)重為wi,其中i∈[1,N],則加權(quán)交叉熵?fù)p失函數(shù)為

(1)

這里的對(duì)數(shù)函數(shù)的底可以為2，e，10.

3 實(shí)驗(yàn)和結(jié)果

3.1 數(shù)據(jù)集和基線系統(tǒng)

我們選擇公開(kāi)音樂(lè)數(shù)據(jù)集RWC(Real Word Computing)中的流行歌曲[8]和公開(kāi)數(shù)據(jù)集Jamendo[9](簡(jiǎn)稱(chēng)JMD)作為實(shí)驗(yàn)數(shù)據(jù)集.RWC包含100首流行歌曲，時(shí)長(zhǎng)共407 min.我們把RWC分成訓(xùn)練、驗(yàn)證和測(cè)試3個(gè)數(shù)據(jù)集，劃分方式是將數(shù)據(jù)集文件結(jié)尾為0—4的文件劃為訓(xùn)練集，將結(jié)尾為5和6的文件劃為驗(yàn)證集，將結(jié)尾為7—9的文件劃為測(cè)試集，這種劃分是準(zhǔn)隨機(jī)的方法，以保證實(shí)驗(yàn)結(jié)果的公正性.JMD包含93首歌曲，時(shí)長(zhǎng)共371 min.我們保持JMD的訓(xùn)練、驗(yàn)證和測(cè)試集不變[10].RWC和JMD的歌聲和非歌聲的樣本數(shù)量比分別為1.12和1.55.

我們選擇文獻(xiàn)[10]中的系統(tǒng)作為比較的基線系統(tǒng)，該文獻(xiàn)實(shí)現(xiàn)了目前國(guó)際上最先進(jìn)的歌聲檢測(cè)算法，包括基于SCNN的模型，并公開(kāi)了代碼，可以認(rèn)為是一個(gè)第三方的評(píng)估系統(tǒng).該SCNN包含4個(gè)卷積層和3個(gè)全連接層，是目前獲得檢測(cè)準(zhǔn)確率最高的框架之一，網(wǎng)絡(luò)輸入正是對(duì)數(shù)Mel時(shí)頻圖.我們將直接引用并比較該文獻(xiàn)提供的JMD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.對(duì)于RWC，我們運(yùn)行該系統(tǒng)的代碼產(chǎn)生實(shí)驗(yàn)結(jié)果.本算法采用Pytorch，并借助Homura包(https:∥github.com/moskomule/homura.)進(jìn)行開(kāi)發(fā)和實(shí)現(xiàn).對(duì)于JMD數(shù)據(jù)集，SCNN有最高準(zhǔn)確率為93.2%的報(bào)告[4]，但因該系統(tǒng)實(shí)施了特征工程和數(shù)據(jù)增強(qiáng)，且沒(méi)有提供實(shí)現(xiàn)細(xì)節(jié)，故沒(méi)有作為基線系統(tǒng).

3.2 結(jié)果比較

為了公正比較，在實(shí)驗(yàn)中我們沒(méi)有通過(guò)調(diào)參選取最好的結(jié)果來(lái)進(jìn)行比較，而是保持除深度之外所有的參數(shù)不變.我們這里選取不同深度的擠壓和激勵(lì)殘差網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)是為了研究深度對(duì)檢測(cè)結(jié)果的影響.由于在歌聲檢測(cè)中，我們推薦深度在50以上的網(wǎng)絡(luò)，因此，我們?nèi)∩疃葹?0,101,152和200的統(tǒng)計(jì)數(shù)據(jù)作為比較的數(shù)據(jù)，結(jié)果見(jiàn)表2.

表2 本文算法和SCNN在JMD和RWC下的結(jié)果比較Tab.2 Comparison between the proposed algorithm and the SCNN on JMD and RWC

從表2中可看出，本算法所有指標(biāo)均有不同程度的提升，這說(shuō)明相對(duì)于SCNN，本文算法的“深度”和“特征權(quán)重重估”的有效性.在JMD和RWC上，本文算法的準(zhǔn)確率(Accuracy)λA均值分別較SCNN的有所提升.F值(F-measure)是精確率(Precision)λP和召回率(Recall)λR的綜合，本文算法的F值也較SCNN的有所提升.假負(fù)例(FN)數(shù)量kFN在JMD和RWC上都降低最多，這帶來(lái)了召回率提升最多的效果.

圖4 不同深度的SEResNet檢測(cè)準(zhǔn)確率的變化情況Fig.4 The accuracies of SEResNets change at the different depths

3.3 不同深度對(duì)結(jié)果的影響

由于數(shù)據(jù)集的特征分布和數(shù)據(jù)集大小不一樣，不同深度的SEResnet表現(xiàn)也不一樣.圖4是在JMD和RWC上不同深度的準(zhǔn)確率的變化情況.RWC上的準(zhǔn)確率隨著深度的增加有一個(gè)顯著的上升趨勢(shì)，而JMD上的則曲折上升，二者的最高準(zhǔn)確率均落在深度較大的網(wǎng)絡(luò)上，這告訴我們?cè)趹?yīng)用SEResNet時(shí)應(yīng)首先考慮深度較大的網(wǎng)絡(luò).需要說(shuō)明的是為全面評(píng)估深度的影響，圖中增加了深度為18和34的數(shù)據(jù).

4 結(jié) 語(yǔ)

本文提出了一種基于擠壓和激勵(lì)殘差網(wǎng)絡(luò)的歌聲檢測(cè)算法，殘差結(jié)構(gòu)使得網(wǎng)絡(luò)的深度可以擴(kuò)張至200層甚至更多，擠壓和激勵(lì)嵌入在殘差結(jié)構(gòu)中，可對(duì)網(wǎng)絡(luò)各層次學(xué)習(xí)到的特征進(jìn)行權(quán)重重估，從而弱化對(duì)歌聲檢測(cè)權(quán)重小的特征，而強(qiáng)化權(quán)重大的特征.通過(guò)實(shí)驗(yàn)證實(shí)，本算法的準(zhǔn)確率等指標(biāo)相對(duì)SCNN均有提升.進(jìn)一步地，通過(guò)對(duì)深度為18,34,50,101,152,200的擠壓和激勵(lì)殘差網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，檢測(cè)算法的最佳性能均體現(xiàn)在較大的深度上，這說(shuō)明在實(shí)際中應(yīng)用本算法時(shí)，應(yīng)該重視較大深度的網(wǎng)絡(luò).值得注意的是，本算法和其他基于深度學(xué)習(xí)的算法一樣，在一定程度上依賴(lài)于訓(xùn)練數(shù)據(jù)集的構(gòu)造，其泛化效果有待驗(yàn)證.比如本算法的訓(xùn)練數(shù)據(jù)主要是含有歌聲和樂(lè)器的混合音樂(lè)，而其模型是否適用于說(shuō)唱類(lèi)型的音樂(lè)尚需進(jìn)一步研究.提升模型泛化性能的一種解決方案是在訓(xùn)練數(shù)據(jù)集中加入目標(biāo)檢測(cè)類(lèi)型的音樂(lè)，使得模型能學(xué)習(xí)到該類(lèi)型音樂(lè)中歌聲的特征.

致謝：感謝南京郵電大學(xué)寬帶無(wú)線通信與傳感網(wǎng)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室開(kāi)放研究基金資助；感謝金陵科技學(xué)院和澳大利亞昆士蘭科技大學(xué)中外合作辦學(xué)高水平示范性建設(shè)工程資助；感謝江蘇省教育廳高校優(yōu)秀中青年教師和校長(zhǎng)境外研修項(xiàng)目資助.