卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的研究

胡 濤 張 超 程 炳 吳小培

(安徽大學(xué)計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室,安徽合肥 230039)

1 引言

近年來(lái),伴隨著社會(huì)經(jīng)濟(jì)的快速增長(zhǎng)以及信號(hào)處理的不斷發(fā)展,監(jiān)控系統(tǒng)被廣泛的應(yīng)用在日常生活中,同時(shí)社會(huì)對(duì)監(jiān)控系統(tǒng)的性能和要求也在不斷地提高。過(guò)去常見(jiàn)的視頻監(jiān)控系統(tǒng)已經(jīng)顯露出局限性和諸多缺點(diǎn),因此音頻監(jiān)控逐漸受到人們的關(guān)注。通過(guò)音頻監(jiān)控系統(tǒng)輔助傳統(tǒng)的基于視頻圖像的監(jiān)控系統(tǒng),能夠發(fā)揮更好的監(jiān)控效果,提高檢測(cè)到危險(xiǎn)事件的成功率。由于聲音信號(hào)的采集過(guò)程相對(duì)簡(jiǎn)單、存儲(chǔ)需求較小,因此系統(tǒng)的計(jì)算復(fù)雜度相對(duì)較低,運(yùn)行效率能夠得到有效的提高,同時(shí)也尊重了他人的隱私權(quán),適用于私密性高的環(huán)境。

音頻事件檢測(cè)是音頻監(jiān)控的核心和關(guān)鍵。音頻事件檢測(cè)包括音頻事件定位和音頻事件識(shí)別兩大部分[1-2]。異常聲音識(shí)別是音頻事件識(shí)別領(lǐng)域的一個(gè)重點(diǎn)研究方向,實(shí)際上就是識(shí)別生活中的異常聲音,例如槍聲、警報(bào)聲等。隨著異常聲音識(shí)別技術(shù)的不斷發(fā)展,已經(jīng)能夠在監(jiān)控場(chǎng)合下從聲音信號(hào)的角度上有效檢測(cè)出是否發(fā)生異常事件,從而改善了僅依賴(lài)視頻監(jiān)控所存在的缺陷,因此引起了公共安全領(lǐng)域極大的興趣。傳統(tǒng)的聲音識(shí)別算法一般有動(dòng)態(tài)時(shí)間規(guī)整技術(shù)(Dynamic Time Warping, DTW)、支持向量機(jī)(Support Vector Machine, SVM)、高斯混合模型(Gaussian Mixture Model, GMM)以及隱馬爾可夫模型(Hidden Markov Model, HMM)[3]等,它們都在各種不同的實(shí)驗(yàn)環(huán)境下得到了應(yīng)用。如Francesco Aurino等人提出基于1-SVM分類(lèi)器對(duì)多種突發(fā)的異常聲音(如槍聲、玻璃破碎聲和尖叫聲)進(jìn)行識(shí)別[4]。G.Valenzise等人提出了一個(gè)應(yīng)用在公共廣場(chǎng)上基于音頻的監(jiān)控系統(tǒng),該系統(tǒng)采用兩個(gè)平行的高斯混合模型分別從噪聲環(huán)境中識(shí)別出槍聲和尖叫聲,使識(shí)別性能獲得了大幅度提升[5]。但是這些識(shí)別模型都只是一種符號(hào)化系統(tǒng),降低了建模的能力,因此在實(shí)際環(huán)境中對(duì)不同質(zhì)量的聲音信號(hào)的識(shí)別性能將會(huì)大幅下降。近年來(lái),聲音識(shí)別技術(shù)逐漸發(fā)展為信號(hào)處理領(lǐng)域研究的熱點(diǎn),Xia X等人提出了一種利用隨機(jī)森林模型進(jìn)行分類(lèi)的方法,該方法顯著提高了聲音事件檢測(cè)的準(zhǔn)確性[6]。針對(duì)疊加音頻片段的特征空間極為復(fù)雜的問(wèn)題,Mesaros A等人提出基于非監(jiān)督學(xué)習(xí)的非負(fù)矩陣分解的方法對(duì)重疊音頻事件進(jìn)行檢測(cè),在識(shí)別率上相對(duì)于基線系統(tǒng)提高了10%[7]。在音頻特征參數(shù)的研究方面,Dennis J等人提出了一種基于子帶能量分布的音頻事件圖像特征,它由光譜圖的視覺(jué)感知所激發(fā),為聲音分類(lèi)提供一種魯棒性更強(qiáng)的特征,與傳統(tǒng)的聲音特征相比,該特征在抗噪能力方面有了很大提高[8]。隨著機(jī)器學(xué)習(xí)的興起,人們對(duì)神經(jīng)網(wǎng)絡(luò)在聲音識(shí)別中的應(yīng)用開(kāi)始了更深入的研究。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)是一種對(duì)人類(lèi)神經(jīng)系統(tǒng)處理復(fù)雜信息的機(jī)制進(jìn)行抽象的數(shù)學(xué)模型,它在聲音信號(hào)處理過(guò)程中,能夠?qū)崿F(xiàn)復(fù)雜的邏輯操作和高度的非線性關(guān)系,與包含大量復(fù)雜信息的聲音信號(hào)的時(shí)變性和非平穩(wěn)特性相適應(yīng),在解決聲音識(shí)別問(wèn)題的過(guò)程中表現(xiàn)出良好的性能[9]。在1986年,Rumelhant和Mcllelland在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學(xué)習(xí)算法(Back Propagation, BP),解決了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題,具有良好的泛化能力,它強(qiáng)有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展[10]。目前,人工神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成功運(yùn)用在語(yǔ)音分析[11]、語(yǔ)音壓縮[12]和語(yǔ)音識(shí)別[13]等聲音信號(hào)處理的相關(guān)領(lǐng)域。此外,隨著神經(jīng)網(wǎng)絡(luò)的研究不斷發(fā)展和延伸,多種神經(jīng)網(wǎng)絡(luò)形式相繼被提出,并且普遍應(yīng)用在不同領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNNs)是近些年發(fā)展起來(lái)并相當(dāng)具有實(shí)用價(jià)值的一種高性能、高效率的模型,特別是在模式分類(lèi)領(lǐng)域[14-15]。2012年,Abdel-Hamid O等人將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在語(yǔ)音識(shí)別過(guò)程中,識(shí)別性能在之前的基礎(chǔ)上獲得了顯著提高[16]。2015年,Zhang H在卷積神經(jīng)網(wǎng)絡(luò)的聲音事件識(shí)別過(guò)程中使用了基于頻譜的圖像特征,在有噪聲干擾下表現(xiàn)出優(yōu)異的性能[17]。

本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別進(jìn)行研究,與幾種常見(jiàn)的識(shí)別模型,如高斯混合模型、BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較,分析了卷積神經(jīng)網(wǎng)絡(luò)抗噪識(shí)別性能和異常聲音識(shí)別的適用性問(wèn)題,從多方面驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的優(yōu)勢(shì)。重點(diǎn)在于分析聲音信號(hào)特征維度對(duì)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能和噪聲魯棒性的影響。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)可以視為標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的一種變形,其特別之處在于由一對(duì)或多對(duì)卷積層和采樣層代替全連接的隱含層。除此之外,卷積神經(jīng)網(wǎng)絡(luò)的頂層會(huì)添加一個(gè)或多個(gè)全連接層,目的是在到達(dá)輸出層之前,將所有頻帶的特征連接起來(lái)整合成一維的特征信息,更加有利于直接分類(lèi)。輸出層則根據(jù)輸入的特征信息,計(jì)算出各個(gè)狀態(tài)的后驗(yàn)概率,最終達(dá)到識(shí)別的目的。卷積網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

卷積層選用一組卷積核遍歷整個(gè)輸入特征圖,對(duì)其局部區(qū)域進(jìn)行相關(guān)性信息的提取。卷積核的選取需要權(quán)衡特征的局部相關(guān)性和所包含的細(xì)節(jié)信息量,它直接影響了特征提取的質(zhì)量[18]。采樣層通過(guò)指定的窗口大小使用某種采樣方法對(duì)卷積層特征圖中的不同區(qū)域進(jìn)行聚合,進(jìn)一步減少了網(wǎng)絡(luò)中的參數(shù)。一對(duì)連續(xù)的卷積層和采樣層的運(yùn)算流程如圖2[15]所示。

由圖2可知,假設(shè)J是輸入特征圖,它通過(guò)和I個(gè)卷積核進(jìn)行卷積操作,與卷積層中卷積特征圖Ki(i=1,…,I)相互映射。通過(guò)公式(1)計(jì)算得出卷積層的輸出：

(1)

公式(1)中Ki表示輸入特征圖J和第i個(gè)卷積核Wi進(jìn)行卷積操作之后的卷積特征圖,卷積核Wi是權(quán)重矩陣,ai是網(wǎng)絡(luò)偏置,非線性的激活函數(shù)σ通常選擇sigmoid函數(shù)或者反正切函數(shù)。

從圖2能夠看出采樣特征圖是對(duì)卷積特征圖中信息的提煉,目的是減少卷積特征圖的參數(shù)數(shù)量,從而降低運(yùn)算的復(fù)雜度。采樣方法一般選用最大值采樣或均值采樣。在聲音識(shí)別領(lǐng)域中,通常認(rèn)定最大值采樣方法的性能優(yōu)于均值采樣方法。最大值采樣方法的計(jì)算公式如下：

(2)

式中R是采樣大小,o是采樣位移,它決定相鄰采樣窗口的重疊程度。采樣大小和采樣位移對(duì)提供給更高的網(wǎng)絡(luò)層的特征信息量具有一定的影響。均值采樣方法的計(jì)算公式如下：

(3)

式中ρ是縮放因子,能夠通過(guò)學(xué)習(xí)得到。在聲音識(shí)別過(guò)程中,通常將R=o作為前提條件,這樣能夠保證任何采樣窗口之間沒(méi)有重疊部分,并且特征圖被采樣窗口完全覆蓋。

圖1 卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖

圖2 卷積神經(jīng)網(wǎng)絡(luò)中一對(duì)連續(xù)的卷積層和采樣層的運(yùn)算流程,從輸入層或者采樣層到卷積層的計(jì)算基于公式(1),從卷積層到采樣層的計(jì)算基于公式(2)和公式(3)

3 本文方法

3.1 聲音信號(hào)的排列方式

選用卷積神經(jīng)網(wǎng)絡(luò)作為異常聲音識(shí)別模型,需要將提取的異常聲音特征排列組合成一系列的特征圖作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖都被排列成二維結(jié)構(gòu),例如卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在圖像處理中,將圖像的特征通常按照像素在圖像中所對(duì)應(yīng)的位置排列成二維矩陣作為一個(gè)輸入特征圖。但是將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在異常聲音識(shí)別中,需要提取的是聲音信號(hào)的特征。和二維圖像相比,聲音信號(hào)是一維的,因此適用于卷積神經(jīng)網(wǎng)絡(luò)的聲音特征圖的排列組合可以有多種形式[19],目前常見(jiàn)的應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)中的聲音信號(hào)特征圖是按照在時(shí)間和頻域兩個(gè)維度上排列的二維特征圖。本文將分析研究聲音信號(hào)的特征采用不同方式進(jìn)行排列對(duì)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能的影響。如圖3所示,分別采用兩種不同方式排列聲音信號(hào)的特征,最后組合成二維特征圖和一維特征圖。圖3(a)中排列方式是傳統(tǒng)的二維排布方式,將一段聲音信號(hào)分幀加窗,每一幀提取36個(gè)頻帶的特征參數(shù),時(shí)間規(guī)整為20幀,二維特征圖中每一幀的特征向量構(gòu)成一列,依次按照時(shí)間先后順序排列,最后組成36×20的二維特征圖。圖3(b)中將聲音信號(hào)的特征信息排列成一維特征圖,同樣將一段聲音信號(hào)分幀加窗,每一幀提取36個(gè)頻帶的特征參數(shù),時(shí)間規(guī)整為20幀,按照時(shí)間先后順序,把后面一幀的特征參數(shù)連接在相鄰的前一幀特征參數(shù)后面,這樣依次將所有幀的特征串聯(lián)在一起,構(gòu)成該段聲音信號(hào)的長(zhǎng)時(shí)特征,最后組成720×1的一維特征圖。

3.2 適用于一維特征的卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖均為二維排布,而適用于一維聲音特征的卷積神經(jīng)網(wǎng)絡(luò)與其不同之處在于網(wǎng)絡(luò)中卷積核以及卷積特征圖和采樣特征圖都是一維結(jié)構(gòu)。圖4中展示了兩種大小為4的卷積核對(duì)二維特征圖和一維特征圖進(jìn)行卷積操作的過(guò)程。圖4(a)所示是一個(gè)2×2的卷積核對(duì)二維特征圖進(jìn)行卷積運(yùn)算的過(guò)程,2×2的卷積核從特征圖左上端開(kāi)始卷積,每次操作完成后,依次向右或者向下移動(dòng)一列或者一行再開(kāi)始卷積操作,直至遍歷整個(gè)特征圖,最后得到一個(gè)二維的卷積特征圖；圖4(b)所示是一個(gè)4×1的卷積核對(duì)一維特征圖進(jìn)行卷積運(yùn)算的過(guò)程,4×1的卷積核從特征圖最頂端開(kāi)始卷積,每次操作完成后,依次向下端移動(dòng)一行再開(kāi)始卷積操作,直至遍歷整個(gè)特征圖,產(chǎn)生一維的卷積特征圖。

圖3 兩種不同的聲音信號(hào)特征排列方式組成的卷積神經(jīng)網(wǎng)絡(luò)輸入特征圖

圖4 兩種大小相同的卷積核分別對(duì)二維特征圖和一維特征圖進(jìn)行卷積操作,紅色指針表示卷積核移動(dòng)的方向

(4)

采樣層只需要對(duì)一維卷積特征圖進(jìn)行下采樣,同樣獲得采樣特征圖是一維的。由于特征圖都是一維的,全連接層不需要將特征圖從二維拉伸成一維的,只需要將所有特征圖簡(jiǎn)單連接在一起。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單明了。

3.3 數(shù)據(jù)增強(qiáng)

卷積神經(jīng)網(wǎng)絡(luò)是一種包含大量權(quán)值參數(shù)的模型,需要依賴(lài)龐大的訓(xùn)練數(shù)據(jù)以得到良好的性能。由于帶標(biāo)簽的異常聲音樣本極為稀缺,這在一定程度上限制了卷積神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展,也阻礙了卷積神經(jīng)網(wǎng)絡(luò)性能的提升。數(shù)據(jù)增強(qiáng)技術(shù)的目的就是為了改善訓(xùn)練數(shù)據(jù)資源匱乏的現(xiàn)狀,實(shí)質(zhì)上是通過(guò)對(duì)已有的訓(xùn)練樣本進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換產(chǎn)生新的數(shù)據(jù),其核心是保證樣本標(biāo)簽轉(zhuǎn)換前后的實(shí)際含義一致。將數(shù)據(jù)增強(qiáng)之后的訓(xùn)練樣本用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,能夠使網(wǎng)絡(luò)對(duì)這些類(lèi)型的變形保持高度不變性,因此能夠更好的推廣在各類(lèi)具體的應(yīng)用場(chǎng)景中[20-21]。

接下來(lái)介紹本文應(yīng)用的幾種轉(zhuǎn)換方式：(1)提高或者降低原始聲音樣本的音調(diào)；(2)壓縮或者擴(kuò)張?jiān)悸曇魳颖镜臅r(shí)間軸；(3)針對(duì)真實(shí)條件下聲音的空間感,對(duì)原始聲音樣本添加混響效果；(4)隨機(jī)選取同一類(lèi)型的兩個(gè)聲音樣本進(jìn)行混合。對(duì)于每種轉(zhuǎn)化方式,重點(diǎn)均在于保持前后樣本標(biāo)簽的一致性,增強(qiáng)的幅度則取決于已有的訓(xùn)練數(shù)據(jù)量以及研究任務(wù)的規(guī)模。數(shù)據(jù)增強(qiáng)之后的訓(xùn)練樣本不僅能很大程度上減小過(guò)擬合的可能,還能夠使卷積神經(jīng)網(wǎng)絡(luò)充分發(fā)揮自身的優(yōu)勢(shì)。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)采集

實(shí)驗(yàn)共采集6種異常聲音,分別是爆炸聲、玻璃破碎聲、槍聲、警報(bào)聲、開(kāi)關(guān)門(mén)聲和哭聲。異常聲音庫(kù)中包含五種不同信噪比(0 dB、5 dB、10 dB、15 dB和無(wú)噪聲)的子庫(kù),各個(gè)子庫(kù)中每種異常聲音有1500個(gè)樣本,總共包含了9000個(gè)樣本,其中帶噪樣本是通過(guò)加入babble噪聲進(jìn)行仿真獲取的,加噪公式如下：

f(t)=h1*s(t)+h2*n(t)

(5)

式中f(t)表示帶噪聲音信號(hào),s(t)表示純凈聲音信號(hào),n(t)表示babble噪聲,h1,h2為混合矩陣,由信噪比大小決定,*為線性卷積。

樣本采樣頻率為11025 Hz,比特率為8 bit；訓(xùn)練集包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子訓(xùn)練集,分別從五種不同信噪比的子庫(kù)中隨機(jī)抽取70%的異常聲音樣本組成,每個(gè)子訓(xùn)練集包含6300個(gè)樣本。測(cè)試集包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子測(cè)試集,分別從五種不同信噪比子庫(kù)中剩余部分隨機(jī)抽取50%的異常聲音樣本組成,每個(gè)子測(cè)試集包含1350個(gè)樣本。驗(yàn)證集也包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子驗(yàn)證集,分別由五種不同信噪比的子庫(kù)中最后剩余的樣本組成,每個(gè)子驗(yàn)證集包含1350個(gè)樣本。為了比較和驗(yàn)證識(shí)別模型的抗噪識(shí)別性能,先選擇無(wú)噪聲的子訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練,再使用不同信噪比的測(cè)試集進(jìn)行測(cè)試。每組實(shí)驗(yàn)共做10次,統(tǒng)計(jì)每次實(shí)驗(yàn)的識(shí)別率,然后求取平均識(shí)別率,最后對(duì)識(shí)別性能進(jìn)行研究分析。實(shí)驗(yàn)的具體流程如圖5所示。

4.2 特征參數(shù)提取及排列

實(shí)驗(yàn)選用的語(yǔ)音特征是傳統(tǒng)的MEL頻率倒譜系數(shù)(MFCC),MEL標(biāo)度體現(xiàn)了人耳頻率的非線性特征。MFCC基于人耳聽(tīng)覺(jué)系統(tǒng)與人腦處理外界聲音過(guò)程原理進(jìn)行分析,因而具有很好的魯棒性,尤其當(dāng)加入MFCC一階差分系數(shù)(△MFCC),MFCC二階差分系數(shù)(△△MFCC)后能夠更好的反映人耳對(duì)聲音動(dòng)態(tài)特性的靈敏程度。在特征參數(shù)提取階段,選用幀長(zhǎng)為256個(gè)采樣點(diǎn),幀移為128個(gè)采樣點(diǎn)以及漢明窗進(jìn)行分幀加窗操作,每一幀提取36維MFCC特征參數(shù),其中包括MFCC系數(shù)、△MFCC和△△MFCC。神經(jīng)網(wǎng)絡(luò)模型輸入層和輸出層的大小和維度都是固定的,但由于聲音信號(hào)具有很大的隨機(jī)性,每個(gè)異常聲音樣本的時(shí)間長(zhǎng)度不統(tǒng)一,所以每個(gè)樣本的幀數(shù)不盡相同。如果采用壓縮或者擴(kuò)張時(shí)間軸的方法保證每個(gè)樣本的時(shí)長(zhǎng)相同,難以有效精準(zhǔn)對(duì)正。因此本文采用動(dòng)態(tài)時(shí)間規(guī)整的方法將所有的異常聲音樣本規(guī)整成相同的幀數(shù)以保證每個(gè)異常聲音樣本的特征參數(shù)可以排列成相同尺寸的特征圖輸入到卷積神經(jīng)網(wǎng)絡(luò)中。

本文為了比較一維特征圖和二維特征圖對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響,將所有異常聲音樣本的特征分別規(guī)整到20幀、30幀和40幀,然后按照?qǐng)D3中兩種排列方式組合成二維特征圖和一維特征圖,排列完成后二維特征圖分別為36×20、36×30、36×40三種二維矩陣,一維特征圖分別為720×1、1080×1、1440×1三種一維向量。

4.3 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)異常聲音進(jìn)行識(shí)別。網(wǎng)絡(luò)模型的結(jié)構(gòu)簡(jiǎn)化為1層卷積層、1層采樣層和1層全連接層,其中卷積層的卷積核數(shù)目為10,以及采樣層的采樣方法選用最大值采樣。網(wǎng)絡(luò)采用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行學(xué)習(xí),使用交叉熵作為代價(jià)函數(shù),輸出層采用softmax分類(lèi)器。

圖5 基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別流程圖

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.1卷積神經(jīng)網(wǎng)絡(luò)和高斯混合模型(GMM)識(shí)別性能對(duì)比

高斯混合模型是一種傳統(tǒng)聲音識(shí)別模型,它可以將一類(lèi)事物通過(guò)多個(gè)高斯概率密度公式加權(quán)和的形式進(jìn)行描述,能夠較好的描述聲音信號(hào)這種時(shí)變、非平穩(wěn)信號(hào),并表現(xiàn)出不錯(cuò)的識(shí)別性能。n階高斯混合模型的異常聲音識(shí)別技術(shù)實(shí)質(zhì)上是使用了n個(gè)單高斯分布的線性組合為每一類(lèi)異常聲音進(jìn)行建模。本節(jié)將卷積神經(jīng)網(wǎng)絡(luò)和高斯混合模型從異常聲音識(shí)別性能以及抗噪能力這兩方面進(jìn)行比較。實(shí)驗(yàn)選用這兩種識(shí)別模型分別對(duì)五種不同信噪比(0 dB、5 dB、10 dB、15 dB和無(wú)噪聲)條件下的異常聲音進(jìn)行識(shí)別,結(jié)果如表1所示。

表1 不同信噪比下高斯混合模型和卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果

表1中給出五種階數(shù)的高斯混合模型的識(shí)別結(jié)果,隨著階數(shù)的增加,高斯混合模型的識(shí)別性能不斷提升,當(dāng)階數(shù)超過(guò)16之后,逐漸趨于平穩(wěn)。在每種信噪比下,卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果都優(yōu)于高斯混合模型,當(dāng)階數(shù)為32時(shí),高斯混合模型的平均識(shí)別率為55.88%,而卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率能達(dá)到63.19%,相對(duì)提升了13.08%,由此可以分析出卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)β曇粜盘?hào)的局部進(jìn)行觀察,提煉出相關(guān)性信息,并且在采樣層的特征聚合過(guò)程中(尤其是采取最大值采樣方法時(shí))將頻帶上的位移差異最小化,進(jìn)而大大降低頻帶位移對(duì)識(shí)別結(jié)果造成的影響。而高斯混合模型對(duì)聲音信號(hào)的處理是全局性的,尤其當(dāng)噪聲干擾造成聲音信號(hào)被掩蔽的情況下,無(wú)法區(qū)分出頻帶上細(xì)微的位移[16],導(dǎo)致建模能力有限。通過(guò)對(duì)比看出,卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別能力和對(duì)噪聲的魯棒性明顯優(yōu)于高斯混合模型。

4.4.2卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)識(shí)別性能對(duì)比

BP神經(jīng)網(wǎng)絡(luò)是一種典型的多層前向神經(jīng)網(wǎng)絡(luò),含有多個(gè)隱含層,并且相鄰層的神經(jīng)元全連接,同層之間的神經(jīng)元不連接,它通過(guò)誤差反向傳播算法對(duì)有標(biāo)簽的數(shù)據(jù)進(jìn)行學(xué)習(xí)。BP神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性映射能力,因此被普遍應(yīng)用在聲音識(shí)別領(lǐng)域中,并且表現(xiàn)出不錯(cuò)的識(shí)別性能[22]。與卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖(矩陣)不同,BP神經(jīng)網(wǎng)絡(luò)的輸入層輸入的必須是特征向量。本節(jié)將在識(shí)別性能和抗噪能力方面對(duì)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)這兩種識(shí)別模型進(jìn)行比較,所采用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化為一層輸入層、一個(gè)隱含層和一個(gè)輸出層。

實(shí)驗(yàn)在保證卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)中權(quán)值參數(shù)數(shù)量相同的前提下,分別對(duì)三種不同規(guī)整幀數(shù)下的異常聲音進(jìn)行識(shí)別,比較兩者的識(shí)別性能,實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 三種規(guī)整幀數(shù)條件下,BP神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能對(duì)比

由圖6可看出當(dāng)規(guī)整幀數(shù)為20時(shí),卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率比BP神經(jīng)網(wǎng)絡(luò)明顯提高了44.41%,識(shí)別性能遠(yuǎn)遠(yuǎn)高于BP神經(jīng)網(wǎng)絡(luò)。這是因?yàn)锽P神經(jīng)網(wǎng)絡(luò)的全連接結(jié)構(gòu)需要大量的權(quán)值參數(shù),若保證其與卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)數(shù)量相同,會(huì)使其隱含層中神經(jīng)元個(gè)數(shù)過(guò)少。當(dāng)規(guī)整幀數(shù)逐漸提高到30幀和40幀時(shí),隨著B(niǎo)P神經(jīng)網(wǎng)絡(luò)隱含層的神經(jīng)元個(gè)數(shù)不斷增加,其識(shí)別性能得到顯著提高,但是卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率相比于BP神經(jīng)網(wǎng)絡(luò)仍然高出了9.66%和9.36%。實(shí)驗(yàn)結(jié)果表明,一方面,BP神經(jīng)網(wǎng)絡(luò)的隱含層中神經(jīng)元個(gè)數(shù)過(guò)少時(shí),會(huì)對(duì)其識(shí)別性能產(chǎn)生巨大的影響；另一方面,即使BP神經(jīng)網(wǎng)絡(luò)的隱含層包含足夠數(shù)量的神經(jīng)元,卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能仍明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)都采用誤差反向傳播算法進(jìn)行學(xué)習(xí)。這種學(xué)習(xí)方式是根據(jù)網(wǎng)絡(luò)的實(shí)際輸出和目標(biāo)輸出計(jì)算誤差,再依據(jù)誤差從后往前逐層對(duì)網(wǎng)絡(luò)中權(quán)值參數(shù)進(jìn)行修正。隨著學(xué)習(xí)的次數(shù)不斷增多,網(wǎng)絡(luò)中的誤差越來(lái)越小,直至誤差收斂,網(wǎng)絡(luò)才真正的完成訓(xùn)練。但是有時(shí)候網(wǎng)絡(luò)訓(xùn)練迭代的次數(shù)過(guò)多,擬合了訓(xùn)練數(shù)據(jù)中包含的噪聲或者無(wú)意義的特征,造成訓(xùn)練數(shù)據(jù)誤差越來(lái)越小,而測(cè)試數(shù)據(jù)誤差越來(lái)越大,導(dǎo)致網(wǎng)絡(luò)的泛化能力變?nèi)?。于是在?xùn)練集以外提供驗(yàn)證集,在每次迭代后對(duì)網(wǎng)絡(luò)進(jìn)行驗(yàn)證,防止網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象。當(dāng)連續(xù)3次迭代驗(yàn)證集的誤差不再減小時(shí),將會(huì)對(duì)網(wǎng)絡(luò)停止訓(xùn)練。本節(jié)將通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的誤差收斂以及validation checks進(jìn)行比較分析,進(jìn)一步說(shuō)明卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的優(yōu)勢(shì)。

圖7 卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)誤差收斂曲線

從圖7中的誤差收斂曲線可知,卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練初期的誤差明顯小于BP神經(jīng)網(wǎng)絡(luò),收斂速度比BP神經(jīng)網(wǎng)絡(luò)更快,并且收斂后的誤差比BP神經(jīng)網(wǎng)絡(luò)收斂后的誤差更小。從圖8可以看出卷積神經(jīng)網(wǎng)絡(luò)在第40次迭代時(shí),測(cè)試集的誤差就已經(jīng)連續(xù)3次不再減小,網(wǎng)絡(luò)訓(xùn)練完成；BP神經(jīng)網(wǎng)絡(luò)則在第92次迭代時(shí),測(cè)試集的誤差才連續(xù)3次不再減小,網(wǎng)絡(luò)訓(xùn)練完成。因此,通過(guò)對(duì)網(wǎng)絡(luò)的學(xué)習(xí)速率、訓(xùn)練迭代次數(shù)以及最終收斂后的網(wǎng)絡(luò)誤差等方面進(jìn)行比較,可以判斷卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別方面比BP神經(jīng)網(wǎng)絡(luò)明顯更好。

圖8 卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的驗(yàn)證過(guò)程

本節(jié)選用四種不同信噪比(0 dB、5 dB、10 dB和15 dB)的異常聲音對(duì)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的噪聲魯棒性進(jìn)行比較,實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 不同信噪比下卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的平均識(shí)別結(jié)果

通過(guò)圖9能夠清晰看出,在四種不同信噪比條件下,卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率都明顯高于BP神經(jīng)網(wǎng)絡(luò)。這是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)利用卷積核的局部感知能力能夠從頻帶上較為純凈的部分過(guò)濾出性能良好的特征,每個(gè)頻帶上只有少量被用來(lái)訓(xùn)練的特征受到了噪聲的干擾,這種處理方式比BP神經(jīng)網(wǎng)絡(luò)直接在底層簡(jiǎn)單地處理所有的輸入特征更好,使卷積神經(jīng)網(wǎng)絡(luò)對(duì)噪聲具有良好的魯棒性并且減少了過(guò)擬合的可能。通過(guò)實(shí)驗(yàn)結(jié)果比較可以看到,卷積神經(jīng)網(wǎng)絡(luò)比BP神經(jīng)網(wǎng)絡(luò)具有更好的泛化能力,在噪聲環(huán)境下具有更強(qiáng)的魯棒性。

4.4.3卷積神經(jīng)網(wǎng)絡(luò)中聲音信號(hào)的特征維度對(duì)識(shí)別性能影響的比較

為了驗(yàn)證和比較聲音信號(hào)的一維特征和二維特征對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響。本節(jié)將從6類(lèi)異常聲音提取出來(lái)的特征分別按照?qǐng)D3中兩種聲音信號(hào)的特征排布方式進(jìn)行組合,最后得到卷積神經(jīng)網(wǎng)絡(luò)的二維輸入特征圖和一維輸入特征圖。

表2 三種規(guī)整幀數(shù)下一維特征和二維特征的排布形式

實(shí)驗(yàn)將異常聲音的特征分別規(guī)整到20幀、30幀以及40幀,一維特征和二維特征排布形式如表2所示。本節(jié)在一維特征上選用卷積核大小為20、30和40的一維卷積核,在二維特征上選用了性能較好的大小為20(4×5)、30(5×6)和40(5×8)的二維卷積核進(jìn)行實(shí)驗(yàn),無(wú)噪聲條件下的識(shí)別結(jié)果如表3所示。

表3 無(wú)噪聲條件下一維特征和二維特征識(shí)別結(jié)果

由表3可知,當(dāng)規(guī)整幀數(shù)大小分別為20、30、40時(shí),一維特征在3種卷積核大小下的平均識(shí)別率分別比二維特征提升了3.69%、2.35%、1.60%,實(shí)驗(yàn)說(shuō)明在通過(guò)卷積層進(jìn)行卷積操作后,一維特征比二維特征能夠更多的保留聲音信號(hào)的非平穩(wěn)特性和頻帶上的局部相關(guān)性信息,有益于識(shí)別過(guò)程中的后續(xù)處理,進(jìn)一步提升了卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能。因此,在無(wú)噪聲干擾條件下,一維特征的識(shí)別結(jié)果都好于二維特征。

對(duì)噪聲的魯棒性是衡量卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能是否優(yōu)良的重要標(biāo)準(zhǔn),本節(jié)還將四種不同信噪比(0 dB、5 dB、10 dB和15 dB)條件下的異常聲音特征規(guī)整到40幀,然后分別排列成二維特征和一維特征進(jìn)行識(shí)別,一維特征和二維特征上選用的卷積核大小都是20,實(shí)驗(yàn)結(jié)果如圖10所示。

圖10 不同信噪比下,一維特征和二維特征的識(shí)別結(jié)果

根據(jù)圖10可知當(dāng)信噪比分別為0 dB、5 dB、10 dB和15 dB時(shí),二維特征的識(shí)別結(jié)果比一維特征分別提升了4.15%、2.35%、0.41%和0.47%。這是因?yàn)閎abble噪聲主要分布在中低頻率區(qū)域,采用二維特征的排布形式能夠使卷積核同時(shí)沿著時(shí)間和頻域兩個(gè)維度對(duì)多個(gè)頻帶進(jìn)行局部相關(guān)性信息的提取,有利于卷積神經(jīng)網(wǎng)絡(luò)區(qū)分出異常聲音和噪聲,所以二維特征比一維特征對(duì)噪聲具有更好的魯棒性。結(jié)合實(shí)驗(yàn)結(jié)果可以得出,使用二維特征進(jìn)行訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)的抗噪性能優(yōu)于一維特征訓(xùn)練的網(wǎng)絡(luò)。

通過(guò)特征訓(xùn)練網(wǎng)絡(luò)模型是為了降低實(shí)際輸出和目標(biāo)輸出之間的誤差,在訓(xùn)練階段選取不同類(lèi)型的特征,能夠直接影響網(wǎng)絡(luò)的訓(xùn)練迭代次數(shù)、誤差收斂速度以及最終收斂的結(jié)果。本節(jié)通過(guò)實(shí)驗(yàn)對(duì)五種不同信噪比的異常聲音的一維特征和二維特征的誤差收斂曲線進(jìn)行比較,結(jié)果如圖11所示。

圖11 不同信噪比下,一維特征和二維特征的誤差收斂曲線

根據(jù)圖11的實(shí)驗(yàn)結(jié)果,可以清楚看出,在五種信噪比條件下,一維特征和二維特征收斂后的誤差大小相近,但一維特征的誤差收斂速度均快于二維特征。這說(shuō)明一維特征既能夠降低卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算復(fù)雜度,也可以很好的保留聲音信號(hào)頻帶間的局部相關(guān)性信息,有利于提升卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率。這一結(jié)論表明相較于傳統(tǒng)的二維特征,聲音信號(hào)的一維特征也能夠有效的應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)中。

5 結(jié)論

本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別進(jìn)行了研究,將卷積神經(jīng)網(wǎng)絡(luò)分別與高斯混合模型、BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較,從抗噪性、誤差收斂速度等多方面對(duì)比分析了這三種識(shí)別模型實(shí)際性能的差異。實(shí)驗(yàn)結(jié)果說(shuō)明,卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別性能和對(duì)噪聲的魯棒性上均有著較大的優(yōu)勢(shì)。同時(shí),針對(duì)聲音信號(hào)特征的維度對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響進(jìn)行了討論,所得結(jié)論是在誤差收斂速度方面,一維特征優(yōu)于二維特征；在識(shí)別性能方面,噪聲干擾強(qiáng)度大的環(huán)境下,二維特征性能好于一維特征,但是噪聲干擾強(qiáng)度小的環(huán)境下,一維特征性能好于二維特征。我們認(rèn)為,根據(jù)實(shí)際環(huán)境的信噪比條件來(lái)選取聲音信號(hào)特征的維度,能夠得到更好的識(shí)別效果。

需要說(shuō)明的是,聲音信號(hào)的特征排布方式并不局限于本文所述的兩種方式,還有很多依據(jù)聲音信號(hào)的特性將其特征按照不同形式進(jìn)行組合的方法。找到更適合聲音信號(hào)的特征排布方式以提升卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能值得今后進(jìn)一步研究。

[1] Stowell D, Giannoulis D, Benetos E, et al. Detection and classification of acoustic scenes and events[J]. IEEE Transactions on Multimedia, 2015, 17(10): 1733-1746.

[2] Zhuang X, Zhou X, Hasegawa-Johnson M A, et al. Real-world acoustic event detection[J]. Pattern Recognition Letters, 2010, 31(12): 1543-1551.

[3] Schr?der J, Anemüller J, Goetze S. Performance comparison of GMM, HMM and DNN based approaches for acoustic event detection within Task 3 of the DCASE 2016 challenge[C]∥Proc. Workshop Detect. Classification Acoust. Scenes Events, 2016: 80- 84.

[4] Aurino F, Folla M, Gargiulo F, et al. One-class svm based approach for detecting anomalous audio events[C]∥Intelligent Networking and Collaborative Systems (INCoS), 2014 International Conference on. IEEE, 2014: 145-151.

[5] Valenzise G, Gerosa L, Tagliasacchi M, et al. Scream and gunshot detection and localization for audio-surveillance systems[C]∥Advanced Video and Signal Based Surveillance, 2007. AVSS 2007. IEEE Conference on. IEEE, 2007: 21-26.

[6] Xia X, Togneri R, Sohel F, et al. RANDOM FOREST CLASSIFICATION BASED ACOUSTIC EVENT DETECTION[C]∥IEEE International Conference on Multimedia and Expo. IEEE, 2017.

[7] Mesaros A, Heittola T, Dikmen O, et al. Sound event detection in real life recordings using coupled matrix factorization of spectral representations and class activity annotations[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2015:151-155.

[8] Dennis J, Tran H D, Chng E S. Image Feature Representation of the Subband Power Distribution for Robust Sound Event Classification[J]. IEEE Transactions on Audio Speech & Language Processing, 2013, 21(2):367-377.

[9] Kons Z, Toledo-Ronen O. Audio event classification using deep neural networks[C]∥INTERSPEECH, 2013:1482-1486.

[10] Cai H, Liu L, Cao Q. A novel BP algorithm based on self-adaptive parameters and performance analysis[C]∥Innovative Computing, Information and Control, 2006. ICICIC'06. First International Conference on. IEEE, 2006, 2: 383-387.

[11] Tuckova J, Sramka M. Emotional speech analysis using artificial neural networks[C]∥Computer Science and Information Technology (IMCSIT), Proceedings of the 2010 International Multiconference on. IEEE, 2010: 141-147.

[12] Srinonchat J. Enhancement Artificial Neural Networks for Low-Bit Rate Speech Compression system[C]∥Communications and Information Technologies, 2006. ISCIT'06. International Symposium on. IEEE, 2006: 118-121.

[13] Gupta S, Bhurchandi K M, Keskar A G. An efficient noise-robust automatic speech recognition system using artificial neural networks[C]∥Communication and Signal Processing (ICCSP), 2016 International Conference on. IEEE, 2016: 1873-1877.

[15] Piczak K J. Environmental sound classification with convolutional neural networks[C]∥Machine Learning for Signal Processing (MLSP), 2015 IEEE 25th International Workshop on. IEEE, 2015: 1- 6.

[16] Abdel-Hamid O, Mohamed A, Jiang H, et al. Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition[C]∥Acoustics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on. IEEE, 2012: 4277- 4280.

[17] Zhang H, Mcloughlin I, Song Y. Robust sound event recognition using convolutional neural networks[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2015:559-563.

[18] 張晴晴, 劉勇, 潘接林,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的連續(xù)語(yǔ)音識(shí)別[J]. 工程科學(xué)學(xué)報(bào), 2015,37(9):1212-1217.

Zhang Qingqing, Liu Yong, Pan Jielin, et al. Continuous speech recognition by convolutional neural networks[J].Chinese Journal of Engineering, 2015, 37(9): 1212-1217.(in Chinese)

[19] Abdel-Hamid O, Mohamed A R, Jiang H, et al. Convolutional Neural Networks for Speech Recognition[J]. IEEE/ACM Transactions on Audio Speech & Language Processing, 2014, 22(10):1533-1545.

[20] Schlüter J, Grill T. Exploring Data Augmentation for Improved Singing Voice Detection with Neural Networks[C]∥ISMIR, 2015: 121-126.

[21] McFee B, Humphrey E J, Bello J P. A Software Framework for Musical Data Augmentation[C]∥ISMIR, 2015: 248-254.

[22] Rajput N, Verma S K. Back propagation feed forward neural network approach for speech recognition[C]∥Reliability, Infocom Technologies and Optimization (ICRITO)(Trends and Future Directions), 2014 3rd International Conference on. IEEE, 2014: 1- 6.