• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的研究

    2018-08-20 06:16:52吳小培
    信號(hào)處理 2018年3期
    關(guān)鍵詞:信噪比卷積噪聲

    胡 濤 張 超 程 炳 吳小培

    (安徽大學(xué)計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室,安徽合肥 230039)

    1 引言

    近年來(lái),伴隨著社會(huì)經(jīng)濟(jì)的快速增長(zhǎng)以及信號(hào)處理的不斷發(fā)展,監(jiān)控系統(tǒng)被廣泛的應(yīng)用在日常生活中,同時(shí)社會(huì)對(duì)監(jiān)控系統(tǒng)的性能和要求也在不斷地提高。過(guò)去常見(jiàn)的視頻監(jiān)控系統(tǒng)已經(jīng)顯露出局限性和諸多缺點(diǎn),因此音頻監(jiān)控逐漸受到人們的關(guān)注。通過(guò)音頻監(jiān)控系統(tǒng)輔助傳統(tǒng)的基于視頻圖像的監(jiān)控系統(tǒng),能夠發(fā)揮更好的監(jiān)控效果,提高檢測(cè)到危險(xiǎn)事件的成功率。由于聲音信號(hào)的采集過(guò)程相對(duì)簡(jiǎn)單、存儲(chǔ)需求較小,因此系統(tǒng)的計(jì)算復(fù)雜度相對(duì)較低,運(yùn)行效率能夠得到有效的提高,同時(shí)也尊重了他人的隱私權(quán),適用于私密性高的環(huán)境。

    音頻事件檢測(cè)是音頻監(jiān)控的核心和關(guān)鍵。音頻事件檢測(cè)包括音頻事件定位和音頻事件識(shí)別兩大部分[1-2]。異常聲音識(shí)別是音頻事件識(shí)別領(lǐng)域的一個(gè)重點(diǎn)研究方向,實(shí)際上就是識(shí)別生活中的異常聲音,例如槍聲、警報(bào)聲等。隨著異常聲音識(shí)別技術(shù)的不斷發(fā)展,已經(jīng)能夠在監(jiān)控場(chǎng)合下從聲音信號(hào)的角度上有效檢測(cè)出是否發(fā)生異常事件,從而改善了僅依賴(lài)視頻監(jiān)控所存在的缺陷,因此引起了公共安全領(lǐng)域極大的興趣。傳統(tǒng)的聲音識(shí)別算法一般有動(dòng)態(tài)時(shí)間規(guī)整技術(shù)(Dynamic Time Warping, DTW)、支持向量機(jī)(Support Vector Machine, SVM)、高斯混合模型(Gaussian Mixture Model, GMM)以及隱馬爾可夫模型(Hidden Markov Model, HMM)[3]等,它們都在各種不同的實(shí)驗(yàn)環(huán)境下得到了應(yīng)用。如Francesco Aurino等人提出基于1-SVM分類(lèi)器對(duì)多種突發(fā)的異常聲音(如槍聲、玻璃破碎聲和尖叫聲)進(jìn)行識(shí)別[4]。G.Valenzise等人提出了一個(gè)應(yīng)用在公共廣場(chǎng)上基于音頻的監(jiān)控系統(tǒng),該系統(tǒng)采用兩個(gè)平行的高斯混合模型分別從噪聲環(huán)境中識(shí)別出槍聲和尖叫聲,使識(shí)別性能獲得了大幅度提升[5]。但是這些識(shí)別模型都只是一種符號(hào)化系統(tǒng),降低了建模的能力,因此在實(shí)際環(huán)境中對(duì)不同質(zhì)量的聲音信號(hào)的識(shí)別性能將會(huì)大幅下降。近年來(lái),聲音識(shí)別技術(shù)逐漸發(fā)展為信號(hào)處理領(lǐng)域研究的熱點(diǎn),Xia X等人提出了一種利用隨機(jī)森林模型進(jìn)行分類(lèi)的方法,該方法顯著提高了聲音事件檢測(cè)的準(zhǔn)確性[6]。針對(duì)疊加音頻片段的特征空間極為復(fù)雜的問(wèn)題,Mesaros A等人提出基于非監(jiān)督學(xué)習(xí)的非負(fù)矩陣分解的方法對(duì)重疊音頻事件進(jìn)行檢測(cè),在識(shí)別率上相對(duì)于基線系統(tǒng)提高了10%[7]。在音頻特征參數(shù)的研究方面,Dennis J等人提出了一種基于子帶能量分布的音頻事件圖像特征,它由光譜圖的視覺(jué)感知所激發(fā),為聲音分類(lèi)提供一種魯棒性更強(qiáng)的特征,與傳統(tǒng)的聲音特征相比,該特征在抗噪能力方面有了很大提高[8]。隨著機(jī)器學(xué)習(xí)的興起,人們對(duì)神經(jīng)網(wǎng)絡(luò)在聲音識(shí)別中的應(yīng)用開(kāi)始了更深入的研究。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)是一種對(duì)人類(lèi)神經(jīng)系統(tǒng)處理復(fù)雜信息的機(jī)制進(jìn)行抽象的數(shù)學(xué)模型,它在聲音信號(hào)處理過(guò)程中,能夠?qū)崿F(xiàn)復(fù)雜的邏輯操作和高度的非線性關(guān)系,與包含大量復(fù)雜信息的聲音信號(hào)的時(shí)變性和非平穩(wěn)特性相適應(yīng),在解決聲音識(shí)別問(wèn)題的過(guò)程中表現(xiàn)出良好的性能[9]。在1986年,Rumelhant和Mcllelland在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學(xué)習(xí)算法(Back Propagation, BP),解決了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題,具有良好的泛化能力,它強(qiáng)有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展[10]。目前,人工神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成功運(yùn)用在語(yǔ)音分析[11]、語(yǔ)音壓縮[12]和語(yǔ)音識(shí)別[13]等聲音信號(hào)處理的相關(guān)領(lǐng)域。此外,隨著神經(jīng)網(wǎng)絡(luò)的研究不斷發(fā)展和延伸,多種神經(jīng)網(wǎng)絡(luò)形式相繼被提出,并且普遍應(yīng)用在不同領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNNs)是近些年發(fā)展起來(lái)并相當(dāng)具有實(shí)用價(jià)值的一種高性能、高效率的模型,特別是在模式分類(lèi)領(lǐng)域[14-15]。2012年,Abdel-Hamid O等人將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在語(yǔ)音識(shí)別過(guò)程中,識(shí)別性能在之前的基礎(chǔ)上獲得了顯著提高[16]。2015年,Zhang H在卷積神經(jīng)網(wǎng)絡(luò)的聲音事件識(shí)別過(guò)程中使用了基于頻譜的圖像特征,在有噪聲干擾下表現(xiàn)出優(yōu)異的性能[17]。

    本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別進(jìn)行研究,與幾種常見(jiàn)的識(shí)別模型,如高斯混合模型、BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較,分析了卷積神經(jīng)網(wǎng)絡(luò)抗噪識(shí)別性能和異常聲音識(shí)別的適用性問(wèn)題,從多方面驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的優(yōu)勢(shì)。重點(diǎn)在于分析聲音信號(hào)特征維度對(duì)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能和噪聲魯棒性的影響。

    2 卷積神經(jīng)網(wǎng)絡(luò)

    卷積神經(jīng)網(wǎng)絡(luò)可以視為標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的一種變形,其特別之處在于由一對(duì)或多對(duì)卷積層和采樣層代替全連接的隱含層。除此之外,卷積神經(jīng)網(wǎng)絡(luò)的頂層會(huì)添加一個(gè)或多個(gè)全連接層,目的是在到達(dá)輸出層之前,將所有頻帶的特征連接起來(lái)整合成一維的特征信息,更加有利于直接分類(lèi)。輸出層則根據(jù)輸入的特征信息,計(jì)算出各個(gè)狀態(tài)的后驗(yàn)概率,最終達(dá)到識(shí)別的目的。卷積網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

    卷積層選用一組卷積核遍歷整個(gè)輸入特征圖,對(duì)其局部區(qū)域進(jìn)行相關(guān)性信息的提取。卷積核的選取需要權(quán)衡特征的局部相關(guān)性和所包含的細(xì)節(jié)信息量,它直接影響了特征提取的質(zhì)量[18]。采樣層通過(guò)指定的窗口大小使用某種采樣方法對(duì)卷積層特征圖中的不同區(qū)域進(jìn)行聚合,進(jìn)一步減少了網(wǎng)絡(luò)中的參數(shù)。一對(duì)連續(xù)的卷積層和采樣層的運(yùn)算流程如圖2[15]所示。

    由圖2可知,假設(shè)J是輸入特征圖,它通過(guò)和I個(gè)卷積核進(jìn)行卷積操作,與卷積層中卷積特征圖Ki(i=1,…,I)相互映射。通過(guò)公式(1)計(jì)算得出卷積層的輸出:

    (1)

    公式(1)中Ki表示輸入特征圖J和第i個(gè)卷積核Wi進(jìn)行卷積操作之后的卷積特征圖,卷積核Wi是權(quán)重矩陣,ai是網(wǎng)絡(luò)偏置,非線性的激活函數(shù)σ通常選擇sigmoid函數(shù)或者反正切函數(shù)。

    從圖2能夠看出采樣特征圖是對(duì)卷積特征圖中信息的提煉,目的是減少卷積特征圖的參數(shù)數(shù)量,從而降低運(yùn)算的復(fù)雜度。采樣方法一般選用最大值采樣或均值采樣。在聲音識(shí)別領(lǐng)域中,通常認(rèn)定最大值采樣方法的性能優(yōu)于均值采樣方法。最大值采樣方法的計(jì)算公式如下:

    (2)

    式中R是采樣大小,o是采樣位移,它決定相鄰采樣窗口的重疊程度。采樣大小和采樣位移對(duì)提供給更高的網(wǎng)絡(luò)層的特征信息量具有一定的影響。均值采樣方法的計(jì)算公式如下:

    (3)

    式中ρ是縮放因子,能夠通過(guò)學(xué)習(xí)得到。在聲音識(shí)別過(guò)程中,通常將R=o作為前提條件,這樣能夠保證任何采樣窗口之間沒(méi)有重疊部分,并且特征圖被采樣窗口完全覆蓋。

    圖1 卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖

    圖2 卷積神經(jīng)網(wǎng)絡(luò)中一對(duì)連續(xù)的卷積層和采樣層的運(yùn)算流程,從輸入層或者采樣層到卷積層的計(jì)算基于公式(1),從卷積層到采樣層的計(jì)算基于公式(2)和公式(3)

    3 本文方法

    3.1 聲音信號(hào)的排列方式

    選用卷積神經(jīng)網(wǎng)絡(luò)作為異常聲音識(shí)別模型,需要將提取的異常聲音特征排列組合成一系列的特征圖作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖都被排列成二維結(jié)構(gòu),例如卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在圖像處理中,將圖像的特征通常按照像素在圖像中所對(duì)應(yīng)的位置排列成二維矩陣作為一個(gè)輸入特征圖。但是將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在異常聲音識(shí)別中,需要提取的是聲音信號(hào)的特征。和二維圖像相比,聲音信號(hào)是一維的,因此適用于卷積神經(jīng)網(wǎng)絡(luò)的聲音特征圖的排列組合可以有多種形式[19],目前常見(jiàn)的應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)中的聲音信號(hào)特征圖是按照在時(shí)間和頻域兩個(gè)維度上排列的二維特征圖。本文將分析研究聲音信號(hào)的特征采用不同方式進(jìn)行排列對(duì)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能的影響。如圖3所示,分別采用兩種不同方式排列聲音信號(hào)的特征,最后組合成二維特征圖和一維特征圖。圖3(a)中排列方式是傳統(tǒng)的二維排布方式,將一段聲音信號(hào)分幀加窗,每一幀提取36個(gè)頻帶的特征參數(shù),時(shí)間規(guī)整為20幀,二維特征圖中每一幀的特征向量構(gòu)成一列,依次按照時(shí)間先后順序排列,最后組成36×20的二維特征圖。圖3(b)中將聲音信號(hào)的特征信息排列成一維特征圖,同樣將一段聲音信號(hào)分幀加窗,每一幀提取36個(gè)頻帶的特征參數(shù),時(shí)間規(guī)整為20幀,按照時(shí)間先后順序,把后面一幀的特征參數(shù)連接在相鄰的前一幀特征參數(shù)后面,這樣依次將所有幀的特征串聯(lián)在一起,構(gòu)成該段聲音信號(hào)的長(zhǎng)時(shí)特征,最后組成720×1的一維特征圖。

    3.2 適用于一維特征的卷積神經(jīng)網(wǎng)絡(luò)

    傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖均為二維排布,而適用于一維聲音特征的卷積神經(jīng)網(wǎng)絡(luò)與其不同之處在于網(wǎng)絡(luò)中卷積核以及卷積特征圖和采樣特征圖都是一維結(jié)構(gòu)。圖4中展示了兩種大小為4的卷積核對(duì)二維特征圖和一維特征圖進(jìn)行卷積操作的過(guò)程。圖4(a)所示是一個(gè)2×2的卷積核對(duì)二維特征圖進(jìn)行卷積運(yùn)算的過(guò)程,2×2的卷積核從特征圖左上端開(kāi)始卷積,每次操作完成后,依次向右或者向下移動(dòng)一列或者一行再開(kāi)始卷積操作,直至遍歷整個(gè)特征圖,最后得到一個(gè)二維的卷積特征圖;圖4(b)所示是一個(gè)4×1的卷積核對(duì)一維特征圖進(jìn)行卷積運(yùn)算的過(guò)程,4×1的卷積核從特征圖最頂端開(kāi)始卷積,每次操作完成后,依次向下端移動(dòng)一行再開(kāi)始卷積操作,直至遍歷整個(gè)特征圖,產(chǎn)生一維的卷積特征圖。

    圖3 兩種不同的聲音信號(hào)特征排列方式組成的卷積神經(jīng)網(wǎng)絡(luò)輸入特征圖

    圖4 兩種大小相同的卷積核分別對(duì)二維特征圖和一維特征圖進(jìn)行卷積操作,紅色指針表示卷積核移動(dòng)的方向

    (4)

    采樣層只需要對(duì)一維卷積特征圖進(jìn)行下采樣,同樣獲得采樣特征圖是一維的。由于特征圖都是一維的,全連接層不需要將特征圖從二維拉伸成一維的,只需要將所有特征圖簡(jiǎn)單連接在一起。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單明了。

    3.3 數(shù)據(jù)增強(qiáng)

    卷積神經(jīng)網(wǎng)絡(luò)是一種包含大量權(quán)值參數(shù)的模型,需要依賴(lài)龐大的訓(xùn)練數(shù)據(jù)以得到良好的性能。由于帶標(biāo)簽的異常聲音樣本極為稀缺,這在一定程度上限制了卷積神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展,也阻礙了卷積神經(jīng)網(wǎng)絡(luò)性能的提升。數(shù)據(jù)增強(qiáng)技術(shù)的目的就是為了改善訓(xùn)練數(shù)據(jù)資源匱乏的現(xiàn)狀,實(shí)質(zhì)上是通過(guò)對(duì)已有的訓(xùn)練樣本進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換產(chǎn)生新的數(shù)據(jù),其核心是保證樣本標(biāo)簽轉(zhuǎn)換前后的實(shí)際含義一致。將數(shù)據(jù)增強(qiáng)之后的訓(xùn)練樣本用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,能夠使網(wǎng)絡(luò)對(duì)這些類(lèi)型的變形保持高度不變性,因此能夠更好的推廣在各類(lèi)具體的應(yīng)用場(chǎng)景中[20-21]。

    接下來(lái)介紹本文應(yīng)用的幾種轉(zhuǎn)換方式:(1)提高或者降低原始聲音樣本的音調(diào);(2)壓縮或者擴(kuò)張?jiān)悸曇魳颖镜臅r(shí)間軸;(3)針對(duì)真實(shí)條件下聲音的空間感,對(duì)原始聲音樣本添加混響效果;(4)隨機(jī)選取同一類(lèi)型的兩個(gè)聲音樣本進(jìn)行混合。對(duì)于每種轉(zhuǎn)化方式,重點(diǎn)均在于保持前后樣本標(biāo)簽的一致性,增強(qiáng)的幅度則取決于已有的訓(xùn)練數(shù)據(jù)量以及研究任務(wù)的規(guī)模。數(shù)據(jù)增強(qiáng)之后的訓(xùn)練樣本不僅能很大程度上減小過(guò)擬合的可能,還能夠使卷積神經(jīng)網(wǎng)絡(luò)充分發(fā)揮自身的優(yōu)勢(shì)。

    4 實(shí)驗(yàn)結(jié)果及分析

    4.1 實(shí)驗(yàn)數(shù)據(jù)采集

    實(shí)驗(yàn)共采集6種異常聲音,分別是爆炸聲、玻璃破碎聲、槍聲、警報(bào)聲、開(kāi)關(guān)門(mén)聲和哭聲。異常聲音庫(kù)中包含五種不同信噪比(0 dB、5 dB、10 dB、15 dB和無(wú)噪聲)的子庫(kù),各個(gè)子庫(kù)中每種異常聲音有1500個(gè)樣本,總共包含了9000個(gè)樣本,其中帶噪樣本是通過(guò)加入babble噪聲進(jìn)行仿真獲取的,加噪公式如下:

    f(t)=h1*s(t)+h2*n(t)

    (5)

    式中f(t)表示帶噪聲音信號(hào),s(t)表示純凈聲音信號(hào),n(t)表示babble噪聲,h1,h2為混合矩陣,由信噪比大小決定,*為線性卷積。

    樣本采樣頻率為11025 Hz,比特率為8 bit;訓(xùn)練集包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子訓(xùn)練集,分別從五種不同信噪比的子庫(kù)中隨機(jī)抽取70%的異常聲音樣本組成,每個(gè)子訓(xùn)練集包含6300個(gè)樣本。測(cè)試集包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子測(cè)試集,分別從五種不同信噪比子庫(kù)中剩余部分隨機(jī)抽取50%的異常聲音樣本組成,每個(gè)子測(cè)試集包含1350個(gè)樣本。驗(yàn)證集也包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子驗(yàn)證集,分別由五種不同信噪比的子庫(kù)中最后剩余的樣本組成,每個(gè)子驗(yàn)證集包含1350個(gè)樣本。為了比較和驗(yàn)證識(shí)別模型的抗噪識(shí)別性能,先選擇無(wú)噪聲的子訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練,再使用不同信噪比的測(cè)試集進(jìn)行測(cè)試。每組實(shí)驗(yàn)共做10次,統(tǒng)計(jì)每次實(shí)驗(yàn)的識(shí)別率,然后求取平均識(shí)別率,最后對(duì)識(shí)別性能進(jìn)行研究分析。實(shí)驗(yàn)的具體流程如圖5所示。

    4.2 特征參數(shù)提取及排列

    實(shí)驗(yàn)選用的語(yǔ)音特征是傳統(tǒng)的MEL頻率倒譜系數(shù)(MFCC),MEL標(biāo)度體現(xiàn)了人耳頻率的非線性特征。MFCC基于人耳聽(tīng)覺(jué)系統(tǒng)與人腦處理外界聲音過(guò)程原理進(jìn)行分析,因而具有很好的魯棒性,尤其當(dāng)加入MFCC一階差分系數(shù)(△MFCC),MFCC二階差分系數(shù)(△△MFCC)后能夠更好的反映人耳對(duì)聲音動(dòng)態(tài)特性的靈敏程度。在特征參數(shù)提取階段,選用幀長(zhǎng)為256個(gè)采樣點(diǎn),幀移為128個(gè)采樣點(diǎn)以及漢明窗進(jìn)行分幀加窗操作,每一幀提取36維MFCC特征參數(shù),其中包括MFCC系數(shù)、△MFCC和△△MFCC。神經(jīng)網(wǎng)絡(luò)模型輸入層和輸出層的大小和維度都是固定的,但由于聲音信號(hào)具有很大的隨機(jī)性,每個(gè)異常聲音樣本的時(shí)間長(zhǎng)度不統(tǒng)一,所以每個(gè)樣本的幀數(shù)不盡相同。如果采用壓縮或者擴(kuò)張時(shí)間軸的方法保證每個(gè)樣本的時(shí)長(zhǎng)相同,難以有效精準(zhǔn)對(duì)正。因此本文采用動(dòng)態(tài)時(shí)間規(guī)整的方法將所有的異常聲音樣本規(guī)整成相同的幀數(shù)以保證每個(gè)異常聲音樣本的特征參數(shù)可以排列成相同尺寸的特征圖輸入到卷積神經(jīng)網(wǎng)絡(luò)中。

    本文為了比較一維特征圖和二維特征圖對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響,將所有異常聲音樣本的特征分別規(guī)整到20幀、30幀和40幀,然后按照?qǐng)D3中兩種排列方式組合成二維特征圖和一維特征圖,排列完成后二維特征圖分別為36×20、36×30、36×40三種二維矩陣,一維特征圖分別為720×1、1080×1、1440×1三種一維向量。

    4.3 實(shí)驗(yàn)參數(shù)設(shè)置

    實(shí)驗(yàn)采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)異常聲音進(jìn)行識(shí)別。網(wǎng)絡(luò)模型的結(jié)構(gòu)簡(jiǎn)化為1層卷積層、1層采樣層和1層全連接層,其中卷積層的卷積核數(shù)目為10,以及采樣層的采樣方法選用最大值采樣。網(wǎng)絡(luò)采用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行學(xué)習(xí),使用交叉熵作為代價(jià)函數(shù),輸出層采用softmax分類(lèi)器。

    圖5 基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別流程圖

    4.4 實(shí)驗(yàn)結(jié)果與分析

    4.4.1卷積神經(jīng)網(wǎng)絡(luò)和高斯混合模型(GMM)識(shí)別性能對(duì)比

    高斯混合模型是一種傳統(tǒng)聲音識(shí)別模型,它可以將一類(lèi)事物通過(guò)多個(gè)高斯概率密度公式加權(quán)和的形式進(jìn)行描述,能夠較好的描述聲音信號(hào)這種時(shí)變、非平穩(wěn)信號(hào),并表現(xiàn)出不錯(cuò)的識(shí)別性能。n階高斯混合模型的異常聲音識(shí)別技術(shù)實(shí)質(zhì)上是使用了n個(gè)單高斯分布的線性組合為每一類(lèi)異常聲音進(jìn)行建模。本節(jié)將卷積神經(jīng)網(wǎng)絡(luò)和高斯混合模型從異常聲音識(shí)別性能以及抗噪能力這兩方面進(jìn)行比較。實(shí)驗(yàn)選用這兩種識(shí)別模型分別對(duì)五種不同信噪比(0 dB、5 dB、10 dB、15 dB和無(wú)噪聲)條件下的異常聲音進(jìn)行識(shí)別,結(jié)果如表1所示。

    表1 不同信噪比下高斯混合模型和卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果

    表1中給出五種階數(shù)的高斯混合模型的識(shí)別結(jié)果,隨著階數(shù)的增加,高斯混合模型的識(shí)別性能不斷提升,當(dāng)階數(shù)超過(guò)16之后,逐漸趨于平穩(wěn)。在每種信噪比下,卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果都優(yōu)于高斯混合模型,當(dāng)階數(shù)為32時(shí),高斯混合模型的平均識(shí)別率為55.88%,而卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率能達(dá)到63.19%,相對(duì)提升了13.08%,由此可以分析出卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)β曇粜盘?hào)的局部進(jìn)行觀察,提煉出相關(guān)性信息,并且在采樣層的特征聚合過(guò)程中(尤其是采取最大值采樣方法時(shí))將頻帶上的位移差異最小化,進(jìn)而大大降低頻帶位移對(duì)識(shí)別結(jié)果造成的影響。而高斯混合模型對(duì)聲音信號(hào)的處理是全局性的,尤其當(dāng)噪聲干擾造成聲音信號(hào)被掩蔽的情況下,無(wú)法區(qū)分出頻帶上細(xì)微的位移[16],導(dǎo)致建模能力有限。通過(guò)對(duì)比看出,卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別能力和對(duì)噪聲的魯棒性明顯優(yōu)于高斯混合模型。

    4.4.2卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)識(shí)別性能對(duì)比

    BP神經(jīng)網(wǎng)絡(luò)是一種典型的多層前向神經(jīng)網(wǎng)絡(luò),含有多個(gè)隱含層,并且相鄰層的神經(jīng)元全連接,同層之間的神經(jīng)元不連接,它通過(guò)誤差反向傳播算法對(duì)有標(biāo)簽的數(shù)據(jù)進(jìn)行學(xué)習(xí)。BP神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性映射能力,因此被普遍應(yīng)用在聲音識(shí)別領(lǐng)域中,并且表現(xiàn)出不錯(cuò)的識(shí)別性能[22]。與卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖(矩陣)不同,BP神經(jīng)網(wǎng)絡(luò)的輸入層輸入的必須是特征向量。本節(jié)將在識(shí)別性能和抗噪能力方面對(duì)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)這兩種識(shí)別模型進(jìn)行比較,所采用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化為一層輸入層、一個(gè)隱含層和一個(gè)輸出層。

    實(shí)驗(yàn)在保證卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)中權(quán)值參數(shù)數(shù)量相同的前提下,分別對(duì)三種不同規(guī)整幀數(shù)下的異常聲音進(jìn)行識(shí)別,比較兩者的識(shí)別性能,實(shí)驗(yàn)結(jié)果如圖6所示。

    圖6 三種規(guī)整幀數(shù)條件下,BP神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能對(duì)比

    由圖6可看出當(dāng)規(guī)整幀數(shù)為20時(shí),卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率比BP神經(jīng)網(wǎng)絡(luò)明顯提高了44.41%,識(shí)別性能遠(yuǎn)遠(yuǎn)高于BP神經(jīng)網(wǎng)絡(luò)。這是因?yàn)锽P神經(jīng)網(wǎng)絡(luò)的全連接結(jié)構(gòu)需要大量的權(quán)值參數(shù),若保證其與卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)數(shù)量相同,會(huì)使其隱含層中神經(jīng)元個(gè)數(shù)過(guò)少。當(dāng)規(guī)整幀數(shù)逐漸提高到30幀和40幀時(shí),隨著B(niǎo)P神經(jīng)網(wǎng)絡(luò)隱含層的神經(jīng)元個(gè)數(shù)不斷增加,其識(shí)別性能得到顯著提高,但是卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率相比于BP神經(jīng)網(wǎng)絡(luò)仍然高出了9.66%和9.36%。實(shí)驗(yàn)結(jié)果表明,一方面,BP神經(jīng)網(wǎng)絡(luò)的隱含層中神經(jīng)元個(gè)數(shù)過(guò)少時(shí),會(huì)對(duì)其識(shí)別性能產(chǎn)生巨大的影響;另一方面,即使BP神經(jīng)網(wǎng)絡(luò)的隱含層包含足夠數(shù)量的神經(jīng)元,卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能仍明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。

    卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)都采用誤差反向傳播算法進(jìn)行學(xué)習(xí)。這種學(xué)習(xí)方式是根據(jù)網(wǎng)絡(luò)的實(shí)際輸出和目標(biāo)輸出計(jì)算誤差,再依據(jù)誤差從后往前逐層對(duì)網(wǎng)絡(luò)中權(quán)值參數(shù)進(jìn)行修正。隨著學(xué)習(xí)的次數(shù)不斷增多,網(wǎng)絡(luò)中的誤差越來(lái)越小,直至誤差收斂,網(wǎng)絡(luò)才真正的完成訓(xùn)練。但是有時(shí)候網(wǎng)絡(luò)訓(xùn)練迭代的次數(shù)過(guò)多,擬合了訓(xùn)練數(shù)據(jù)中包含的噪聲或者無(wú)意義的特征,造成訓(xùn)練數(shù)據(jù)誤差越來(lái)越小,而測(cè)試數(shù)據(jù)誤差越來(lái)越大,導(dǎo)致網(wǎng)絡(luò)的泛化能力變?nèi)?。于是在?xùn)練集以外提供驗(yàn)證集,在每次迭代后對(duì)網(wǎng)絡(luò)進(jìn)行驗(yàn)證,防止網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象。當(dāng)連續(xù)3次迭代驗(yàn)證集的誤差不再減小時(shí),將會(huì)對(duì)網(wǎng)絡(luò)停止訓(xùn)練。本節(jié)將通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的誤差收斂以及validation checks進(jìn)行比較分析,進(jìn)一步說(shuō)明卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的優(yōu)勢(shì)。

    圖7 卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)誤差收斂曲線

    從圖7中的誤差收斂曲線可知,卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練初期的誤差明顯小于BP神經(jīng)網(wǎng)絡(luò),收斂速度比BP神經(jīng)網(wǎng)絡(luò)更快,并且收斂后的誤差比BP神經(jīng)網(wǎng)絡(luò)收斂后的誤差更小。從圖8可以看出卷積神經(jīng)網(wǎng)絡(luò)在第40次迭代時(shí),測(cè)試集的誤差就已經(jīng)連續(xù)3次不再減小,網(wǎng)絡(luò)訓(xùn)練完成;BP神經(jīng)網(wǎng)絡(luò)則在第92次迭代時(shí),測(cè)試集的誤差才連續(xù)3次不再減小,網(wǎng)絡(luò)訓(xùn)練完成。因此,通過(guò)對(duì)網(wǎng)絡(luò)的學(xué)習(xí)速率、訓(xùn)練迭代次數(shù)以及最終收斂后的網(wǎng)絡(luò)誤差等方面進(jìn)行比較,可以判斷卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別方面比BP神經(jīng)網(wǎng)絡(luò)明顯更好。

    圖8 卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的驗(yàn)證過(guò)程

    本節(jié)選用四種不同信噪比(0 dB、5 dB、10 dB和15 dB)的異常聲音對(duì)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的噪聲魯棒性進(jìn)行比較,實(shí)驗(yàn)結(jié)果如圖9所示。

    圖9 不同信噪比下卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的平均識(shí)別結(jié)果

    通過(guò)圖9能夠清晰看出,在四種不同信噪比條件下,卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率都明顯高于BP神經(jīng)網(wǎng)絡(luò)。這是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)利用卷積核的局部感知能力能夠從頻帶上較為純凈的部分過(guò)濾出性能良好的特征,每個(gè)頻帶上只有少量被用來(lái)訓(xùn)練的特征受到了噪聲的干擾,這種處理方式比BP神經(jīng)網(wǎng)絡(luò)直接在底層簡(jiǎn)單地處理所有的輸入特征更好,使卷積神經(jīng)網(wǎng)絡(luò)對(duì)噪聲具有良好的魯棒性并且減少了過(guò)擬合的可能。通過(guò)實(shí)驗(yàn)結(jié)果比較可以看到,卷積神經(jīng)網(wǎng)絡(luò)比BP神經(jīng)網(wǎng)絡(luò)具有更好的泛化能力,在噪聲環(huán)境下具有更強(qiáng)的魯棒性。

    4.4.3卷積神經(jīng)網(wǎng)絡(luò)中聲音信號(hào)的特征維度對(duì)識(shí)別性能影響的比較

    為了驗(yàn)證和比較聲音信號(hào)的一維特征和二維特征對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響。本節(jié)將從6類(lèi)異常聲音提取出來(lái)的特征分別按照?qǐng)D3中兩種聲音信號(hào)的特征排布方式進(jìn)行組合,最后得到卷積神經(jīng)網(wǎng)絡(luò)的二維輸入特征圖和一維輸入特征圖。

    表2 三種規(guī)整幀數(shù)下一維特征和二維特征的排布形式

    實(shí)驗(yàn)將異常聲音的特征分別規(guī)整到20幀、30幀以及40幀,一維特征和二維特征排布形式如表2所示。本節(jié)在一維特征上選用卷積核大小為20、30和40的一維卷積核,在二維特征上選用了性能較好的大小為20(4×5)、30(5×6)和40(5×8)的二維卷積核進(jìn)行實(shí)驗(yàn),無(wú)噪聲條件下的識(shí)別結(jié)果如表3所示。

    表3 無(wú)噪聲條件下一維特征和二維特征識(shí)別結(jié)果

    由表3可知,當(dāng)規(guī)整幀數(shù)大小分別為20、30、40時(shí),一維特征在3種卷積核大小下的平均識(shí)別率分別比二維特征提升了3.69%、2.35%、1.60%,實(shí)驗(yàn)說(shuō)明在通過(guò)卷積層進(jìn)行卷積操作后,一維特征比二維特征能夠更多的保留聲音信號(hào)的非平穩(wěn)特性和頻帶上的局部相關(guān)性信息,有益于識(shí)別過(guò)程中的后續(xù)處理,進(jìn)一步提升了卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能。因此,在無(wú)噪聲干擾條件下,一維特征的識(shí)別結(jié)果都好于二維特征。

    對(duì)噪聲的魯棒性是衡量卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能是否優(yōu)良的重要標(biāo)準(zhǔn),本節(jié)還將四種不同信噪比(0 dB、5 dB、10 dB和15 dB)條件下的異常聲音特征規(guī)整到40幀,然后分別排列成二維特征和一維特征進(jìn)行識(shí)別,一維特征和二維特征上選用的卷積核大小都是20,實(shí)驗(yàn)結(jié)果如圖10所示。

    圖10 不同信噪比下,一維特征和二維特征的識(shí)別結(jié)果

    根據(jù)圖10可知當(dāng)信噪比分別為0 dB、5 dB、10 dB和15 dB時(shí),二維特征的識(shí)別結(jié)果比一維特征分別提升了4.15%、2.35%、0.41%和0.47%。這是因?yàn)閎abble噪聲主要分布在中低頻率區(qū)域,采用二維特征的排布形式能夠使卷積核同時(shí)沿著時(shí)間和頻域兩個(gè)維度對(duì)多個(gè)頻帶進(jìn)行局部相關(guān)性信息的提取,有利于卷積神經(jīng)網(wǎng)絡(luò)區(qū)分出異常聲音和噪聲,所以二維特征比一維特征對(duì)噪聲具有更好的魯棒性。結(jié)合實(shí)驗(yàn)結(jié)果可以得出,使用二維特征進(jìn)行訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)的抗噪性能優(yōu)于一維特征訓(xùn)練的網(wǎng)絡(luò)。

    通過(guò)特征訓(xùn)練網(wǎng)絡(luò)模型是為了降低實(shí)際輸出和目標(biāo)輸出之間的誤差,在訓(xùn)練階段選取不同類(lèi)型的特征,能夠直接影響網(wǎng)絡(luò)的訓(xùn)練迭代次數(shù)、誤差收斂速度以及最終收斂的結(jié)果。本節(jié)通過(guò)實(shí)驗(yàn)對(duì)五種不同信噪比的異常聲音的一維特征和二維特征的誤差收斂曲線進(jìn)行比較,結(jié)果如圖11所示。

    圖11 不同信噪比下,一維特征和二維特征的誤差收斂曲線

    根據(jù)圖11的實(shí)驗(yàn)結(jié)果,可以清楚看出,在五種信噪比條件下,一維特征和二維特征收斂后的誤差大小相近,但一維特征的誤差收斂速度均快于二維特征。這說(shuō)明一維特征既能夠降低卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算復(fù)雜度,也可以很好的保留聲音信號(hào)頻帶間的局部相關(guān)性信息,有利于提升卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率。這一結(jié)論表明相較于傳統(tǒng)的二維特征,聲音信號(hào)的一維特征也能夠有效的應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)中。

    5 結(jié)論

    本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別進(jìn)行了研究,將卷積神經(jīng)網(wǎng)絡(luò)分別與高斯混合模型、BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較,從抗噪性、誤差收斂速度等多方面對(duì)比分析了這三種識(shí)別模型實(shí)際性能的差異。實(shí)驗(yàn)結(jié)果說(shuō)明,卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別性能和對(duì)噪聲的魯棒性上均有著較大的優(yōu)勢(shì)。同時(shí),針對(duì)聲音信號(hào)特征的維度對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響進(jìn)行了討論,所得結(jié)論是在誤差收斂速度方面,一維特征優(yōu)于二維特征;在識(shí)別性能方面,噪聲干擾強(qiáng)度大的環(huán)境下,二維特征性能好于一維特征,但是噪聲干擾強(qiáng)度小的環(huán)境下,一維特征性能好于二維特征。我們認(rèn)為,根據(jù)實(shí)際環(huán)境的信噪比條件來(lái)選取聲音信號(hào)特征的維度,能夠得到更好的識(shí)別效果。

    需要說(shuō)明的是,聲音信號(hào)的特征排布方式并不局限于本文所述的兩種方式,還有很多依據(jù)聲音信號(hào)的特性將其特征按照不同形式進(jìn)行組合的方法。找到更適合聲音信號(hào)的特征排布方式以提升卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能值得今后進(jìn)一步研究。

    [1] Stowell D, Giannoulis D, Benetos E, et al. Detection and classification of acoustic scenes and events[J]. IEEE Transactions on Multimedia, 2015, 17(10): 1733-1746.

    [2] Zhuang X, Zhou X, Hasegawa-Johnson M A, et al. Real-world acoustic event detection[J]. Pattern Recognition Letters, 2010, 31(12): 1543-1551.

    [3] Schr?der J, Anemüller J, Goetze S. Performance comparison of GMM, HMM and DNN based approaches for acoustic event detection within Task 3 of the DCASE 2016 challenge[C]∥Proc. Workshop Detect. Classification Acoust. Scenes Events, 2016: 80- 84.

    [4] Aurino F, Folla M, Gargiulo F, et al. One-class svm based approach for detecting anomalous audio events[C]∥Intelligent Networking and Collaborative Systems (INCoS), 2014 International Conference on. IEEE, 2014: 145-151.

    [5] Valenzise G, Gerosa L, Tagliasacchi M, et al. Scream and gunshot detection and localization for audio-surveillance systems[C]∥Advanced Video and Signal Based Surveillance, 2007. AVSS 2007. IEEE Conference on. IEEE, 2007: 21-26.

    [6] Xia X, Togneri R, Sohel F, et al. RANDOM FOREST CLASSIFICATION BASED ACOUSTIC EVENT DETECTION[C]∥IEEE International Conference on Multimedia and Expo. IEEE, 2017.

    [7] Mesaros A, Heittola T, Dikmen O, et al. Sound event detection in real life recordings using coupled matrix factorization of spectral representations and class activity annotations[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2015:151-155.

    [8] Dennis J, Tran H D, Chng E S. Image Feature Representation of the Subband Power Distribution for Robust Sound Event Classification[J]. IEEE Transactions on Audio Speech & Language Processing, 2013, 21(2):367-377.

    [9] Kons Z, Toledo-Ronen O. Audio event classification using deep neural networks[C]∥INTERSPEECH, 2013:1482-1486.

    [10] Cai H, Liu L, Cao Q. A novel BP algorithm based on self-adaptive parameters and performance analysis[C]∥Innovative Computing, Information and Control, 2006. ICICIC'06. First International Conference on. IEEE, 2006, 2: 383-387.

    [11] Tuckova J, Sramka M. Emotional speech analysis using artificial neural networks[C]∥Computer Science and Information Technology (IMCSIT), Proceedings of the 2010 International Multiconference on. IEEE, 2010: 141-147.

    [12] Srinonchat J. Enhancement Artificial Neural Networks for Low-Bit Rate Speech Compression system[C]∥Communications and Information Technologies, 2006. ISCIT'06. International Symposium on. IEEE, 2006: 118-121.

    [13] Gupta S, Bhurchandi K M, Keskar A G. An efficient noise-robust automatic speech recognition system using artificial neural networks[C]∥Communication and Signal Processing (ICCSP), 2016 International Conference on. IEEE, 2016: 1873-1877.

    [15] Piczak K J. Environmental sound classification with convolutional neural networks[C]∥Machine Learning for Signal Processing (MLSP), 2015 IEEE 25th International Workshop on. IEEE, 2015: 1- 6.

    [16] Abdel-Hamid O, Mohamed A, Jiang H, et al. Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition[C]∥Acoustics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on. IEEE, 2012: 4277- 4280.

    [17] Zhang H, Mcloughlin I, Song Y. Robust sound event recognition using convolutional neural networks[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2015:559-563.

    [18] 張晴晴, 劉勇, 潘接林,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的連續(xù)語(yǔ)音識(shí)別[J]. 工程科學(xué)學(xué)報(bào), 2015,37(9):1212-1217.

    Zhang Qingqing, Liu Yong, Pan Jielin, et al. Continuous speech recognition by convolutional neural networks[J].Chinese Journal of Engineering, 2015, 37(9): 1212-1217.(in Chinese)

    [19] Abdel-Hamid O, Mohamed A R, Jiang H, et al. Convolutional Neural Networks for Speech Recognition[J]. IEEE/ACM Transactions on Audio Speech & Language Processing, 2014, 22(10):1533-1545.

    [20] Schlüter J, Grill T. Exploring Data Augmentation for Improved Singing Voice Detection with Neural Networks[C]∥ISMIR, 2015: 121-126.

    [21] McFee B, Humphrey E J, Bello J P. A Software Framework for Musical Data Augmentation[C]∥ISMIR, 2015: 248-254.

    [22] Rajput N, Verma S K. Back propagation feed forward neural network approach for speech recognition[C]∥Reliability, Infocom Technologies and Optimization (ICRITO)(Trends and Future Directions), 2014 3rd International Conference on. IEEE, 2014: 1- 6.

    猜你喜歡
    信噪比卷積噪聲
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    噪聲可退化且依賴(lài)于狀態(tài)和分布的平均場(chǎng)博弈
    基于深度學(xué)習(xí)的無(wú)人機(jī)數(shù)據(jù)鏈信噪比估計(jì)算法
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    低信噪比下LFMCW信號(hào)調(diào)頻參數(shù)估計(jì)
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    低信噪比下基于Hough變換的前視陣列SAR稀疏三維成像
    控制噪聲有妙法
    保持信噪比的相位分解反褶積方法研究
    一種基于白噪聲響應(yīng)的隨機(jī)載荷譜識(shí)別方法
    国产精品人妻久久久影院| 韩国av在线不卡| 久久久色成人| 久热久热在线精品观看| 精品亚洲成国产av| 欧美区成人在线视频| 看非洲黑人一级黄片| 国产精品爽爽va在线观看网站| 亚洲四区av| 直男gayav资源| 国产在线一区二区三区精| 日韩视频在线欧美| 我的老师免费观看完整版| 日日撸夜夜添| 亚洲高清免费不卡视频| 丝瓜视频免费看黄片| 熟女av电影| 在线看a的网站| 精品一区二区免费观看| 卡戴珊不雅视频在线播放| 亚洲成人一二三区av| 久久久欧美国产精品| 永久免费av网站大全| 亚洲精品视频女| av播播在线观看一区| 亚洲精品乱久久久久久| 最近手机中文字幕大全| 黄色欧美视频在线观看| 男的添女的下面高潮视频| 亚洲精品色激情综合| 丰满少妇做爰视频| 国产亚洲av片在线观看秒播厂| 国产黄片美女视频| 国产精品av视频在线免费观看| 久久青草综合色| 日本黄色片子视频| 中文资源天堂在线| 美女主播在线视频| 亚洲国产精品一区三区| 女人十人毛片免费观看3o分钟| 能在线免费看毛片的网站| 亚洲国产精品成人久久小说| 大又大粗又爽又黄少妇毛片口| 精品熟女少妇av免费看| 黑人高潮一二区| 97热精品久久久久久| 欧美成人午夜免费资源| 老司机影院毛片| 一区二区av电影网| 18禁在线无遮挡免费观看视频| 久久国内精品自在自线图片| av女优亚洲男人天堂| 一级毛片我不卡| 一本久久精品| 亚洲精品日本国产第一区| 午夜精品国产一区二区电影| 男人添女人高潮全过程视频| 久久女婷五月综合色啪小说| 肉色欧美久久久久久久蜜桃| 成人毛片60女人毛片免费| 在线观看免费日韩欧美大片 | 国产av码专区亚洲av| 亚洲美女视频黄频| 一本久久精品| 国产成人a区在线观看| 亚洲国产高清在线一区二区三| 色婷婷av一区二区三区视频| 女性被躁到高潮视频| 成人美女网站在线观看视频| 天天躁夜夜躁狠狠久久av| 日本猛色少妇xxxxx猛交久久| 久久久久网色| 国产毛片在线视频| 成人国产麻豆网| av国产精品久久久久影院| 亚洲国产精品成人久久小说| 啦啦啦啦在线视频资源| 国产精品.久久久| 一区二区av电影网| av不卡在线播放| 国产av码专区亚洲av| 免费不卡的大黄色大毛片视频在线观看| 一级毛片我不卡| 亚洲人成网站高清观看| 日韩av在线免费看完整版不卡| 少妇的逼好多水| 亚洲国产精品成人久久小说| av线在线观看网站| 18+在线观看网站| 亚洲欧美一区二区三区黑人 | 夜夜骑夜夜射夜夜干| 丝袜喷水一区| 久久精品人妻少妇| 久久青草综合色| 熟妇人妻不卡中文字幕| 国产淫语在线视频| 我的老师免费观看完整版| 视频区图区小说| 99九九线精品视频在线观看视频| 熟妇人妻不卡中文字幕| 精品国产一区二区三区久久久樱花 | xxx大片免费视频| 国产精品嫩草影院av在线观看| 男女无遮挡免费网站观看| 亚洲av欧美aⅴ国产| 黑人猛操日本美女一级片| 在线免费观看不下载黄p国产| 蜜桃在线观看..| 街头女战士在线观看网站| 国产精品欧美亚洲77777| 久久精品久久精品一区二区三区| 久久久久国产精品人妻一区二区| 亚洲在久久综合| 婷婷色综合大香蕉| 老司机影院成人| 日韩一区二区视频免费看| 91午夜精品亚洲一区二区三区| 国产视频首页在线观看| 99热这里只有精品一区| 身体一侧抽搐| 一级毛片电影观看| 亚洲人成网站在线播| 国产男女超爽视频在线观看| 国产亚洲午夜精品一区二区久久| 少妇人妻精品综合一区二区| 乱码一卡2卡4卡精品| 精品少妇黑人巨大在线播放| 我的女老师完整版在线观看| 在现免费观看毛片| 麻豆成人av视频| 黄片wwwwww| 一区二区三区免费毛片| 国产亚洲av片在线观看秒播厂| 国产女主播在线喷水免费视频网站| 男女国产视频网站| 亚洲美女搞黄在线观看| av网站免费在线观看视频| 噜噜噜噜噜久久久久久91| 色视频www国产| 国产成人精品福利久久| 午夜激情久久久久久久| 蜜桃亚洲精品一区二区三区| 人妻夜夜爽99麻豆av| 男女国产视频网站| 精品人妻一区二区三区麻豆| 亚洲一区二区三区欧美精品| 最后的刺客免费高清国语| 成人综合一区亚洲| 精品国产乱码久久久久久小说| 日韩欧美精品免费久久| 亚洲国产精品999| 日韩伦理黄色片| 一本久久精品| 日韩国内少妇激情av| 亚洲国产av新网站| 亚洲精品第二区| 免费看光身美女| 色婷婷av一区二区三区视频| 国产精品国产三级国产专区5o| 性高湖久久久久久久久免费观看| 精品一区在线观看国产| 中文字幕免费在线视频6| 你懂的网址亚洲精品在线观看| 国产男女内射视频| 热re99久久精品国产66热6| 女人久久www免费人成看片| 亚洲自偷自拍三级| 国产91av在线免费观看| 在线观看av片永久免费下载| 欧美成人a在线观看| 免费少妇av软件| 一区二区三区精品91| 美女福利国产在线 | 日韩精品有码人妻一区| 精品人妻熟女av久视频| 99精国产麻豆久久婷婷| 偷拍熟女少妇极品色| 欧美成人午夜免费资源| 免费高清在线观看视频在线观看| 午夜福利影视在线免费观看| 免费看光身美女| 各种免费的搞黄视频| 亚洲精品第二区| 国产黄片美女视频| 欧美另类一区| 极品少妇高潮喷水抽搐| 91aial.com中文字幕在线观看| 18禁在线无遮挡免费观看视频| 久久婷婷青草| 99热网站在线观看| 免费看av在线观看网站| 亚洲国产高清在线一区二区三| 在线观看国产h片| 国产爽快片一区二区三区| 色综合色国产| 午夜福利在线观看免费完整高清在| 少妇被粗大猛烈的视频| 五月玫瑰六月丁香| 免费观看的影片在线观看| 男人狂女人下面高潮的视频| 国产在线男女| 亚洲成人av在线免费| 国产真实伦视频高清在线观看| 26uuu在线亚洲综合色| 精品久久久久久久久av| 毛片一级片免费看久久久久| 精品一区在线观看国产| 精品久久久精品久久久| 99九九线精品视频在线观看视频| 大香蕉97超碰在线| 如何舔出高潮| 中文在线观看免费www的网站| 精品酒店卫生间| av免费观看日本| 美女cb高潮喷水在线观看| 午夜视频国产福利| 亚洲图色成人| 久久久久久九九精品二区国产| 国产黄片视频在线免费观看| 在线观看一区二区三区激情| 精品国产乱码久久久久久小说| 男人爽女人下面视频在线观看| 91狼人影院| 18禁裸乳无遮挡动漫免费视频| 三级国产精品片| 久久久久久久久久人人人人人人| 少妇裸体淫交视频免费看高清| 亚洲第一av免费看| 国产伦精品一区二区三区视频9| 国产成人aa在线观看| 成人亚洲精品一区在线观看 | 中文在线观看免费www的网站| 自拍偷自拍亚洲精品老妇| 嫩草影院新地址| 亚洲av成人精品一区久久| 久久99精品国语久久久| 日韩 亚洲 欧美在线| 亚洲色图av天堂| 亚洲精品国产成人久久av| 国产日韩欧美亚洲二区| 最黄视频免费看| 久久久久国产精品人妻一区二区| 三级国产精品欧美在线观看| 午夜老司机福利剧场| 麻豆成人av视频| 国产亚洲91精品色在线| 又爽又黄a免费视频| 免费人妻精品一区二区三区视频| 国产美女午夜福利| 天堂中文最新版在线下载| 一区二区三区四区激情视频| 久久av网站| 国产男人的电影天堂91| 亚洲图色成人| 久久精品久久久久久噜噜老黄| 最近的中文字幕免费完整| av福利片在线观看| 午夜免费鲁丝| 精品一区二区三卡| 国产永久视频网站| 激情 狠狠 欧美| 尤物成人国产欧美一区二区三区| 五月伊人婷婷丁香| 成人二区视频| 国产黄频视频在线观看| 秋霞在线观看毛片| 亚洲av欧美aⅴ国产| 丰满少妇做爰视频| 五月开心婷婷网| 99九九线精品视频在线观看视频| 在线观看免费视频网站a站| 美女国产视频在线观看| 国产欧美日韩一区二区三区在线 | 亚洲欧美精品自产自拍| 久久精品久久精品一区二区三区| 丝瓜视频免费看黄片| 你懂的网址亚洲精品在线观看| 丰满乱子伦码专区| 欧美97在线视频| 99久久精品热视频| 在线亚洲精品国产二区图片欧美 | 亚洲欧美一区二区三区黑人 | 亚洲精品乱码久久久久久按摩| av在线老鸭窝| 边亲边吃奶的免费视频| 激情五月婷婷亚洲| 如何舔出高潮| 欧美xxⅹ黑人| 天堂8中文在线网| 国产色爽女视频免费观看| av网站免费在线观看视频| 久久精品久久精品一区二区三区| 涩涩av久久男人的天堂| 亚洲av国产av综合av卡| 国产高清有码在线观看视频| 国产成人a区在线观看| 街头女战士在线观看网站| 国产在视频线精品| 色5月婷婷丁香| av又黄又爽大尺度在线免费看| 日韩一区二区三区影片| 精品酒店卫生间| 亚洲自偷自拍三级| 欧美3d第一页| 夜夜看夜夜爽夜夜摸| 久久久久人妻精品一区果冻| 免费黄频网站在线观看国产| 蜜臀久久99精品久久宅男| 久久韩国三级中文字幕| 精品一区二区三卡| 搡女人真爽免费视频火全软件| av女优亚洲男人天堂| 人妻制服诱惑在线中文字幕| 五月玫瑰六月丁香| 亚洲美女搞黄在线观看| 交换朋友夫妻互换小说| 成人漫画全彩无遮挡| 久久久久久久久久久丰满| 日日啪夜夜撸| 一级毛片我不卡| 人妻一区二区av| 国产精品av视频在线免费观看| 日韩亚洲欧美综合| 免费看不卡的av| 亚洲美女视频黄频| 一本一本综合久久| 精品久久久噜噜| 日日啪夜夜撸| 91精品伊人久久大香线蕉| 联通29元200g的流量卡| 七月丁香在线播放| 极品少妇高潮喷水抽搐| 日韩大片免费观看网站| 老女人水多毛片| 日日撸夜夜添| 中文字幕免费在线视频6| 国产女主播在线喷水免费视频网站| 校园人妻丝袜中文字幕| 国产深夜福利视频在线观看| 男女边摸边吃奶| 最近中文字幕高清免费大全6| 老女人水多毛片| av网站免费在线观看视频| 欧美成人a在线观看| 欧美一级a爱片免费观看看| 久久久亚洲精品成人影院| 国产亚洲午夜精品一区二区久久| 99热6这里只有精品| 蜜桃在线观看..| 五月伊人婷婷丁香| 日韩免费高清中文字幕av| 亚洲国产毛片av蜜桃av| 久久久久久九九精品二区国产| 一级毛片电影观看| 女的被弄到高潮叫床怎么办| 黑丝袜美女国产一区| 精品午夜福利在线看| 欧美xxxx性猛交bbbb| 国产成人freesex在线| 少妇人妻久久综合中文| 一本一本综合久久| 欧美老熟妇乱子伦牲交| 日日撸夜夜添| 麻豆精品久久久久久蜜桃| 九草在线视频观看| 亚洲欧洲日产国产| 欧美成人精品欧美一级黄| 久久国产精品大桥未久av | 1000部很黄的大片| 成人漫画全彩无遮挡| 精品人妻一区二区三区麻豆| 免费高清在线观看视频在线观看| 精品久久久久久久末码| 男女无遮挡免费网站观看| 精华霜和精华液先用哪个| 热99国产精品久久久久久7| 国产白丝娇喘喷水9色精品| 亚洲av.av天堂| 水蜜桃什么品种好| 久久人妻熟女aⅴ| 久久人人爽av亚洲精品天堂 | 美女国产视频在线观看| 妹子高潮喷水视频| 男女免费视频国产| 久久午夜福利片| 欧美变态另类bdsm刘玥| 色婷婷av一区二区三区视频| 亚洲成人一二三区av| 国产成人精品久久久久久| 美女福利国产在线 | 亚洲美女黄色视频免费看| 中文字幕精品免费在线观看视频 | 麻豆成人午夜福利视频| 黄色配什么色好看| 精品一区在线观看国产| 国产精品蜜桃在线观看| 交换朋友夫妻互换小说| 亚洲国产精品一区三区| 亚洲三级黄色毛片| 欧美日韩在线观看h| av女优亚洲男人天堂| 性高湖久久久久久久久免费观看| 国产高清国产精品国产三级 | 久久99热这里只有精品18| 国产亚洲一区二区精品| 亚洲第一区二区三区不卡| 日日摸夜夜添夜夜爱| 亚洲三级黄色毛片| 九九久久精品国产亚洲av麻豆| 人妻少妇偷人精品九色| 三级经典国产精品| 狂野欧美激情性xxxx在线观看| 新久久久久国产一级毛片| 中文欧美无线码| 狂野欧美激情性bbbbbb| 亚洲第一区二区三区不卡| 六月丁香七月| 久热这里只有精品99| 亚洲欧美成人综合另类久久久| 国产精品嫩草影院av在线观看| 伦精品一区二区三区| 国产男人的电影天堂91| 在线亚洲精品国产二区图片欧美 | 新久久久久国产一级毛片| 免费人妻精品一区二区三区视频| 免费观看的影片在线观看| 久久久久国产网址| 国产男女内射视频| 亚洲美女搞黄在线观看| 久久精品人妻少妇| 一本久久精品| 久久鲁丝午夜福利片| 国产精品一区二区在线不卡| 成人一区二区视频在线观看| 国产伦精品一区二区三区视频9| 狂野欧美白嫩少妇大欣赏| 国产精品一区二区三区四区免费观看| 亚洲精品国产色婷婷电影| 成人美女网站在线观看视频| 少妇被粗大猛烈的视频| 色视频www国产| 午夜日本视频在线| 一级爰片在线观看| 国产精品秋霞免费鲁丝片| 亚洲成人一二三区av| freevideosex欧美| 国产人妻一区二区三区在| 波野结衣二区三区在线| 激情 狠狠 欧美| av在线app专区| 少妇被粗大猛烈的视频| 亚洲精品成人av观看孕妇| 国产女主播在线喷水免费视频网站| 高清欧美精品videossex| 大陆偷拍与自拍| 亚洲色图综合在线观看| 干丝袜人妻中文字幕| 成人毛片60女人毛片免费| 午夜老司机福利剧场| 成人亚洲精品一区在线观看 | 99热6这里只有精品| 国产精品一区二区性色av| 亚洲综合精品二区| 国产精品一区二区三区四区免费观看| 观看美女的网站| 国产伦理片在线播放av一区| 精品一区在线观看国产| 久久精品熟女亚洲av麻豆精品| 一本—道久久a久久精品蜜桃钙片| 国产v大片淫在线免费观看| 亚洲一区二区三区欧美精品| 乱系列少妇在线播放| 永久免费av网站大全| 国产精品一二三区在线看| 亚洲精品日韩av片在线观看| 少妇熟女欧美另类| 交换朋友夫妻互换小说| 精品人妻熟女av久视频| 国产永久视频网站| 熟女人妻精品中文字幕| 国产黄色免费在线视频| 九九爱精品视频在线观看| 日韩精品有码人妻一区| 午夜精品国产一区二区电影| 精品久久久久久电影网| 久久婷婷青草| 免费观看无遮挡的男女| 永久免费av网站大全| 亚洲成人一二三区av| 一级毛片 在线播放| 另类亚洲欧美激情| av卡一久久| 男女免费视频国产| 国产一级毛片在线| 十分钟在线观看高清视频www | 欧美激情国产日韩精品一区| 亚洲va在线va天堂va国产| 日韩人妻高清精品专区| 熟妇人妻不卡中文字幕| 国产国拍精品亚洲av在线观看| 在线精品无人区一区二区三 | 亚洲精品乱码久久久久久按摩| 亚洲av不卡在线观看| 一本—道久久a久久精品蜜桃钙片| 国产精品人妻久久久久久| av卡一久久| av网站免费在线观看视频| 国产精品蜜桃在线观看| 大片电影免费在线观看免费| 内射极品少妇av片p| 午夜老司机福利剧场| 国产黄色免费在线视频| 久久精品国产鲁丝片午夜精品| 一边亲一边摸免费视频| 岛国毛片在线播放| 在线 av 中文字幕| 国产 一区精品| 免费黄频网站在线观看国产| 国产精品女同一区二区软件| 亚洲av二区三区四区| 水蜜桃什么品种好| 国产精品av视频在线免费观看| h视频一区二区三区| 久久6这里有精品| 你懂的网址亚洲精品在线观看| 亚洲精品国产av成人精品| 日本-黄色视频高清免费观看| 大片免费播放器 马上看| 国产永久视频网站| 亚洲图色成人| 激情 狠狠 欧美| 精品国产一区二区三区久久久樱花 | 亚洲av成人精品一区久久| 久久人人爽av亚洲精品天堂 | 国产精品一二三区在线看| 久久久久久久久大av| 欧美老熟妇乱子伦牲交| 亚洲综合精品二区| 国产真实伦视频高清在线观看| 亚洲人成网站高清观看| 久久青草综合色| 午夜福利网站1000一区二区三区| 狠狠精品人妻久久久久久综合| 有码 亚洲区| h日本视频在线播放| 欧美精品亚洲一区二区| 精品久久久久久电影网| 久久亚洲国产成人精品v| 国产在视频线精品| 国产 一区精品| 大又大粗又爽又黄少妇毛片口| 欧美zozozo另类| 国产永久视频网站| 精品亚洲乱码少妇综合久久| 成人影院久久| 肉色欧美久久久久久久蜜桃| 欧美3d第一页| 国产伦精品一区二区三区视频9| 免费黄频网站在线观看国产| 多毛熟女@视频| av不卡在线播放| 国产日韩欧美在线精品| 黑人猛操日本美女一级片| 99国产精品免费福利视频| 亚洲aⅴ乱码一区二区在线播放| 九草在线视频观看| 国产在视频线精品| 亚洲精品亚洲一区二区| 男人狂女人下面高潮的视频| 美女国产视频在线观看| 亚洲丝袜综合中文字幕| 国国产精品蜜臀av免费| 国产伦理片在线播放av一区| 热99国产精品久久久久久7| 日韩伦理黄色片| 人人妻人人看人人澡| 中文字幕精品免费在线观看视频 | 2018国产大陆天天弄谢| 久久这里有精品视频免费| 亚洲精品国产成人久久av| 99re6热这里在线精品视频| 美女福利国产在线 | 一边亲一边摸免费视频| 九草在线视频观看| 秋霞在线观看毛片| 精品午夜福利在线看| 成人高潮视频无遮挡免费网站| 最近2019中文字幕mv第一页| 十分钟在线观看高清视频www | 亚洲欧美日韩东京热| 亚洲高清免费不卡视频| 男女免费视频国产| 99热这里只有是精品在线观看| 久久精品久久久久久噜噜老黄| 日韩视频在线欧美| 亚洲高清免费不卡视频| 欧美精品一区二区免费开放| 日韩视频在线欧美| 久久午夜福利片| 深夜a级毛片| 亚洲av中文字字幕乱码综合| 日韩免费高清中文字幕av| 最黄视频免费看| 亚洲精华国产精华液的使用体验| 热99国产精品久久久久久7| 少妇人妻 视频| 亚洲性久久影院| 精品人妻熟女av久视频| 最近最新中文字幕免费大全7| 免费大片黄手机在线观看| 久久精品国产亚洲网站| 亚洲自偷自拍三级| 人人妻人人澡人人爽人人夜夜| 国产无遮挡羞羞视频在线观看| 欧美国产精品一级二级三级 |