• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的研究

    2018-08-20 06:16:52吳小培
    信號(hào)處理 2018年3期
    關(guān)鍵詞:信噪比卷積噪聲

    胡 濤 張 超 程 炳 吳小培

    (安徽大學(xué)計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室,安徽合肥 230039)

    1 引言

    近年來(lái),伴隨著社會(huì)經(jīng)濟(jì)的快速增長(zhǎng)以及信號(hào)處理的不斷發(fā)展,監(jiān)控系統(tǒng)被廣泛的應(yīng)用在日常生活中,同時(shí)社會(huì)對(duì)監(jiān)控系統(tǒng)的性能和要求也在不斷地提高。過(guò)去常見(jiàn)的視頻監(jiān)控系統(tǒng)已經(jīng)顯露出局限性和諸多缺點(diǎn),因此音頻監(jiān)控逐漸受到人們的關(guān)注。通過(guò)音頻監(jiān)控系統(tǒng)輔助傳統(tǒng)的基于視頻圖像的監(jiān)控系統(tǒng),能夠發(fā)揮更好的監(jiān)控效果,提高檢測(cè)到危險(xiǎn)事件的成功率。由于聲音信號(hào)的采集過(guò)程相對(duì)簡(jiǎn)單、存儲(chǔ)需求較小,因此系統(tǒng)的計(jì)算復(fù)雜度相對(duì)較低,運(yùn)行效率能夠得到有效的提高,同時(shí)也尊重了他人的隱私權(quán),適用于私密性高的環(huán)境。

    音頻事件檢測(cè)是音頻監(jiān)控的核心和關(guān)鍵。音頻事件檢測(cè)包括音頻事件定位和音頻事件識(shí)別兩大部分[1-2]。異常聲音識(shí)別是音頻事件識(shí)別領(lǐng)域的一個(gè)重點(diǎn)研究方向,實(shí)際上就是識(shí)別生活中的異常聲音,例如槍聲、警報(bào)聲等。隨著異常聲音識(shí)別技術(shù)的不斷發(fā)展,已經(jīng)能夠在監(jiān)控場(chǎng)合下從聲音信號(hào)的角度上有效檢測(cè)出是否發(fā)生異常事件,從而改善了僅依賴(lài)視頻監(jiān)控所存在的缺陷,因此引起了公共安全領(lǐng)域極大的興趣。傳統(tǒng)的聲音識(shí)別算法一般有動(dòng)態(tài)時(shí)間規(guī)整技術(shù)(Dynamic Time Warping, DTW)、支持向量機(jī)(Support Vector Machine, SVM)、高斯混合模型(Gaussian Mixture Model, GMM)以及隱馬爾可夫模型(Hidden Markov Model, HMM)[3]等,它們都在各種不同的實(shí)驗(yàn)環(huán)境下得到了應(yīng)用。如Francesco Aurino等人提出基于1-SVM分類(lèi)器對(duì)多種突發(fā)的異常聲音(如槍聲、玻璃破碎聲和尖叫聲)進(jìn)行識(shí)別[4]。G.Valenzise等人提出了一個(gè)應(yīng)用在公共廣場(chǎng)上基于音頻的監(jiān)控系統(tǒng),該系統(tǒng)采用兩個(gè)平行的高斯混合模型分別從噪聲環(huán)境中識(shí)別出槍聲和尖叫聲,使識(shí)別性能獲得了大幅度提升[5]。但是這些識(shí)別模型都只是一種符號(hào)化系統(tǒng),降低了建模的能力,因此在實(shí)際環(huán)境中對(duì)不同質(zhì)量的聲音信號(hào)的識(shí)別性能將會(huì)大幅下降。近年來(lái),聲音識(shí)別技術(shù)逐漸發(fā)展為信號(hào)處理領(lǐng)域研究的熱點(diǎn),Xia X等人提出了一種利用隨機(jī)森林模型進(jìn)行分類(lèi)的方法,該方法顯著提高了聲音事件檢測(cè)的準(zhǔn)確性[6]。針對(duì)疊加音頻片段的特征空間極為復(fù)雜的問(wèn)題,Mesaros A等人提出基于非監(jiān)督學(xué)習(xí)的非負(fù)矩陣分解的方法對(duì)重疊音頻事件進(jìn)行檢測(cè),在識(shí)別率上相對(duì)于基線系統(tǒng)提高了10%[7]。在音頻特征參數(shù)的研究方面,Dennis J等人提出了一種基于子帶能量分布的音頻事件圖像特征,它由光譜圖的視覺(jué)感知所激發(fā),為聲音分類(lèi)提供一種魯棒性更強(qiáng)的特征,與傳統(tǒng)的聲音特征相比,該特征在抗噪能力方面有了很大提高[8]。隨著機(jī)器學(xué)習(xí)的興起,人們對(duì)神經(jīng)網(wǎng)絡(luò)在聲音識(shí)別中的應(yīng)用開(kāi)始了更深入的研究。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)是一種對(duì)人類(lèi)神經(jīng)系統(tǒng)處理復(fù)雜信息的機(jī)制進(jìn)行抽象的數(shù)學(xué)模型,它在聲音信號(hào)處理過(guò)程中,能夠?qū)崿F(xiàn)復(fù)雜的邏輯操作和高度的非線性關(guān)系,與包含大量復(fù)雜信息的聲音信號(hào)的時(shí)變性和非平穩(wěn)特性相適應(yīng),在解決聲音識(shí)別問(wèn)題的過(guò)程中表現(xiàn)出良好的性能[9]。在1986年,Rumelhant和Mcllelland在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上,提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學(xué)習(xí)算法(Back Propagation, BP),解決了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題,具有良好的泛化能力,它強(qiáng)有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的發(fā)展[10]。目前,人工神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成功運(yùn)用在語(yǔ)音分析[11]、語(yǔ)音壓縮[12]和語(yǔ)音識(shí)別[13]等聲音信號(hào)處理的相關(guān)領(lǐng)域。此外,隨著神經(jīng)網(wǎng)絡(luò)的研究不斷發(fā)展和延伸,多種神經(jīng)網(wǎng)絡(luò)形式相繼被提出,并且普遍應(yīng)用在不同領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNNs)是近些年發(fā)展起來(lái)并相當(dāng)具有實(shí)用價(jià)值的一種高性能、高效率的模型,特別是在模式分類(lèi)領(lǐng)域[14-15]。2012年,Abdel-Hamid O等人將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在語(yǔ)音識(shí)別過(guò)程中,識(shí)別性能在之前的基礎(chǔ)上獲得了顯著提高[16]。2015年,Zhang H在卷積神經(jīng)網(wǎng)絡(luò)的聲音事件識(shí)別過(guò)程中使用了基于頻譜的圖像特征,在有噪聲干擾下表現(xiàn)出優(yōu)異的性能[17]。

    本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別進(jìn)行研究,與幾種常見(jiàn)的識(shí)別模型,如高斯混合模型、BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較,分析了卷積神經(jīng)網(wǎng)絡(luò)抗噪識(shí)別性能和異常聲音識(shí)別的適用性問(wèn)題,從多方面驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的優(yōu)勢(shì)。重點(diǎn)在于分析聲音信號(hào)特征維度對(duì)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能和噪聲魯棒性的影響。

    2 卷積神經(jīng)網(wǎng)絡(luò)

    卷積神經(jīng)網(wǎng)絡(luò)可以視為標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的一種變形,其特別之處在于由一對(duì)或多對(duì)卷積層和采樣層代替全連接的隱含層。除此之外,卷積神經(jīng)網(wǎng)絡(luò)的頂層會(huì)添加一個(gè)或多個(gè)全連接層,目的是在到達(dá)輸出層之前,將所有頻帶的特征連接起來(lái)整合成一維的特征信息,更加有利于直接分類(lèi)。輸出層則根據(jù)輸入的特征信息,計(jì)算出各個(gè)狀態(tài)的后驗(yàn)概率,最終達(dá)到識(shí)別的目的。卷積網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

    卷積層選用一組卷積核遍歷整個(gè)輸入特征圖,對(duì)其局部區(qū)域進(jìn)行相關(guān)性信息的提取。卷積核的選取需要權(quán)衡特征的局部相關(guān)性和所包含的細(xì)節(jié)信息量,它直接影響了特征提取的質(zhì)量[18]。采樣層通過(guò)指定的窗口大小使用某種采樣方法對(duì)卷積層特征圖中的不同區(qū)域進(jìn)行聚合,進(jìn)一步減少了網(wǎng)絡(luò)中的參數(shù)。一對(duì)連續(xù)的卷積層和采樣層的運(yùn)算流程如圖2[15]所示。

    由圖2可知,假設(shè)J是輸入特征圖,它通過(guò)和I個(gè)卷積核進(jìn)行卷積操作,與卷積層中卷積特征圖Ki(i=1,…,I)相互映射。通過(guò)公式(1)計(jì)算得出卷積層的輸出:

    (1)

    公式(1)中Ki表示輸入特征圖J和第i個(gè)卷積核Wi進(jìn)行卷積操作之后的卷積特征圖,卷積核Wi是權(quán)重矩陣,ai是網(wǎng)絡(luò)偏置,非線性的激活函數(shù)σ通常選擇sigmoid函數(shù)或者反正切函數(shù)。

    從圖2能夠看出采樣特征圖是對(duì)卷積特征圖中信息的提煉,目的是減少卷積特征圖的參數(shù)數(shù)量,從而降低運(yùn)算的復(fù)雜度。采樣方法一般選用最大值采樣或均值采樣。在聲音識(shí)別領(lǐng)域中,通常認(rèn)定最大值采樣方法的性能優(yōu)于均值采樣方法。最大值采樣方法的計(jì)算公式如下:

    (2)

    式中R是采樣大小,o是采樣位移,它決定相鄰采樣窗口的重疊程度。采樣大小和采樣位移對(duì)提供給更高的網(wǎng)絡(luò)層的特征信息量具有一定的影響。均值采樣方法的計(jì)算公式如下:

    (3)

    式中ρ是縮放因子,能夠通過(guò)學(xué)習(xí)得到。在聲音識(shí)別過(guò)程中,通常將R=o作為前提條件,這樣能夠保證任何采樣窗口之間沒(méi)有重疊部分,并且特征圖被采樣窗口完全覆蓋。

    圖1 卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖

    圖2 卷積神經(jīng)網(wǎng)絡(luò)中一對(duì)連續(xù)的卷積層和采樣層的運(yùn)算流程,從輸入層或者采樣層到卷積層的計(jì)算基于公式(1),從卷積層到采樣層的計(jì)算基于公式(2)和公式(3)

    3 本文方法

    3.1 聲音信號(hào)的排列方式

    選用卷積神經(jīng)網(wǎng)絡(luò)作為異常聲音識(shí)別模型,需要將提取的異常聲音特征排列組合成一系列的特征圖作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖都被排列成二維結(jié)構(gòu),例如卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在圖像處理中,將圖像的特征通常按照像素在圖像中所對(duì)應(yīng)的位置排列成二維矩陣作為一個(gè)輸入特征圖。但是將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在異常聲音識(shí)別中,需要提取的是聲音信號(hào)的特征。和二維圖像相比,聲音信號(hào)是一維的,因此適用于卷積神經(jīng)網(wǎng)絡(luò)的聲音特征圖的排列組合可以有多種形式[19],目前常見(jiàn)的應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)中的聲音信號(hào)特征圖是按照在時(shí)間和頻域兩個(gè)維度上排列的二維特征圖。本文將分析研究聲音信號(hào)的特征采用不同方式進(jìn)行排列對(duì)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能的影響。如圖3所示,分別采用兩種不同方式排列聲音信號(hào)的特征,最后組合成二維特征圖和一維特征圖。圖3(a)中排列方式是傳統(tǒng)的二維排布方式,將一段聲音信號(hào)分幀加窗,每一幀提取36個(gè)頻帶的特征參數(shù),時(shí)間規(guī)整為20幀,二維特征圖中每一幀的特征向量構(gòu)成一列,依次按照時(shí)間先后順序排列,最后組成36×20的二維特征圖。圖3(b)中將聲音信號(hào)的特征信息排列成一維特征圖,同樣將一段聲音信號(hào)分幀加窗,每一幀提取36個(gè)頻帶的特征參數(shù),時(shí)間規(guī)整為20幀,按照時(shí)間先后順序,把后面一幀的特征參數(shù)連接在相鄰的前一幀特征參數(shù)后面,這樣依次將所有幀的特征串聯(lián)在一起,構(gòu)成該段聲音信號(hào)的長(zhǎng)時(shí)特征,最后組成720×1的一維特征圖。

    3.2 適用于一維特征的卷積神經(jīng)網(wǎng)絡(luò)

    傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖均為二維排布,而適用于一維聲音特征的卷積神經(jīng)網(wǎng)絡(luò)與其不同之處在于網(wǎng)絡(luò)中卷積核以及卷積特征圖和采樣特征圖都是一維結(jié)構(gòu)。圖4中展示了兩種大小為4的卷積核對(duì)二維特征圖和一維特征圖進(jìn)行卷積操作的過(guò)程。圖4(a)所示是一個(gè)2×2的卷積核對(duì)二維特征圖進(jìn)行卷積運(yùn)算的過(guò)程,2×2的卷積核從特征圖左上端開(kāi)始卷積,每次操作完成后,依次向右或者向下移動(dòng)一列或者一行再開(kāi)始卷積操作,直至遍歷整個(gè)特征圖,最后得到一個(gè)二維的卷積特征圖;圖4(b)所示是一個(gè)4×1的卷積核對(duì)一維特征圖進(jìn)行卷積運(yùn)算的過(guò)程,4×1的卷積核從特征圖最頂端開(kāi)始卷積,每次操作完成后,依次向下端移動(dòng)一行再開(kāi)始卷積操作,直至遍歷整個(gè)特征圖,產(chǎn)生一維的卷積特征圖。

    圖3 兩種不同的聲音信號(hào)特征排列方式組成的卷積神經(jīng)網(wǎng)絡(luò)輸入特征圖

    圖4 兩種大小相同的卷積核分別對(duì)二維特征圖和一維特征圖進(jìn)行卷積操作,紅色指針表示卷積核移動(dòng)的方向

    (4)

    采樣層只需要對(duì)一維卷積特征圖進(jìn)行下采樣,同樣獲得采樣特征圖是一維的。由于特征圖都是一維的,全連接層不需要將特征圖從二維拉伸成一維的,只需要將所有特征圖簡(jiǎn)單連接在一起。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單明了。

    3.3 數(shù)據(jù)增強(qiáng)

    卷積神經(jīng)網(wǎng)絡(luò)是一種包含大量權(quán)值參數(shù)的模型,需要依賴(lài)龐大的訓(xùn)練數(shù)據(jù)以得到良好的性能。由于帶標(biāo)簽的異常聲音樣本極為稀缺,這在一定程度上限制了卷積神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展,也阻礙了卷積神經(jīng)網(wǎng)絡(luò)性能的提升。數(shù)據(jù)增強(qiáng)技術(shù)的目的就是為了改善訓(xùn)練數(shù)據(jù)資源匱乏的現(xiàn)狀,實(shí)質(zhì)上是通過(guò)對(duì)已有的訓(xùn)練樣本進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換產(chǎn)生新的數(shù)據(jù),其核心是保證樣本標(biāo)簽轉(zhuǎn)換前后的實(shí)際含義一致。將數(shù)據(jù)增強(qiáng)之后的訓(xùn)練樣本用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,能夠使網(wǎng)絡(luò)對(duì)這些類(lèi)型的變形保持高度不變性,因此能夠更好的推廣在各類(lèi)具體的應(yīng)用場(chǎng)景中[20-21]。

    接下來(lái)介紹本文應(yīng)用的幾種轉(zhuǎn)換方式:(1)提高或者降低原始聲音樣本的音調(diào);(2)壓縮或者擴(kuò)張?jiān)悸曇魳颖镜臅r(shí)間軸;(3)針對(duì)真實(shí)條件下聲音的空間感,對(duì)原始聲音樣本添加混響效果;(4)隨機(jī)選取同一類(lèi)型的兩個(gè)聲音樣本進(jìn)行混合。對(duì)于每種轉(zhuǎn)化方式,重點(diǎn)均在于保持前后樣本標(biāo)簽的一致性,增強(qiáng)的幅度則取決于已有的訓(xùn)練數(shù)據(jù)量以及研究任務(wù)的規(guī)模。數(shù)據(jù)增強(qiáng)之后的訓(xùn)練樣本不僅能很大程度上減小過(guò)擬合的可能,還能夠使卷積神經(jīng)網(wǎng)絡(luò)充分發(fā)揮自身的優(yōu)勢(shì)。

    4 實(shí)驗(yàn)結(jié)果及分析

    4.1 實(shí)驗(yàn)數(shù)據(jù)采集

    實(shí)驗(yàn)共采集6種異常聲音,分別是爆炸聲、玻璃破碎聲、槍聲、警報(bào)聲、開(kāi)關(guān)門(mén)聲和哭聲。異常聲音庫(kù)中包含五種不同信噪比(0 dB、5 dB、10 dB、15 dB和無(wú)噪聲)的子庫(kù),各個(gè)子庫(kù)中每種異常聲音有1500個(gè)樣本,總共包含了9000個(gè)樣本,其中帶噪樣本是通過(guò)加入babble噪聲進(jìn)行仿真獲取的,加噪公式如下:

    f(t)=h1*s(t)+h2*n(t)

    (5)

    式中f(t)表示帶噪聲音信號(hào),s(t)表示純凈聲音信號(hào),n(t)表示babble噪聲,h1,h2為混合矩陣,由信噪比大小決定,*為線性卷積。

    樣本采樣頻率為11025 Hz,比特率為8 bit;訓(xùn)練集包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子訓(xùn)練集,分別從五種不同信噪比的子庫(kù)中隨機(jī)抽取70%的異常聲音樣本組成,每個(gè)子訓(xùn)練集包含6300個(gè)樣本。測(cè)試集包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子測(cè)試集,分別從五種不同信噪比子庫(kù)中剩余部分隨機(jī)抽取50%的異常聲音樣本組成,每個(gè)子測(cè)試集包含1350個(gè)樣本。驗(yàn)證集也包含五種不同信噪比(無(wú)噪聲、0 dB、5 dB、10 dB和15 dB)子驗(yàn)證集,分別由五種不同信噪比的子庫(kù)中最后剩余的樣本組成,每個(gè)子驗(yàn)證集包含1350個(gè)樣本。為了比較和驗(yàn)證識(shí)別模型的抗噪識(shí)別性能,先選擇無(wú)噪聲的子訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練,再使用不同信噪比的測(cè)試集進(jìn)行測(cè)試。每組實(shí)驗(yàn)共做10次,統(tǒng)計(jì)每次實(shí)驗(yàn)的識(shí)別率,然后求取平均識(shí)別率,最后對(duì)識(shí)別性能進(jìn)行研究分析。實(shí)驗(yàn)的具體流程如圖5所示。

    4.2 特征參數(shù)提取及排列

    實(shí)驗(yàn)選用的語(yǔ)音特征是傳統(tǒng)的MEL頻率倒譜系數(shù)(MFCC),MEL標(biāo)度體現(xiàn)了人耳頻率的非線性特征。MFCC基于人耳聽(tīng)覺(jué)系統(tǒng)與人腦處理外界聲音過(guò)程原理進(jìn)行分析,因而具有很好的魯棒性,尤其當(dāng)加入MFCC一階差分系數(shù)(△MFCC),MFCC二階差分系數(shù)(△△MFCC)后能夠更好的反映人耳對(duì)聲音動(dòng)態(tài)特性的靈敏程度。在特征參數(shù)提取階段,選用幀長(zhǎng)為256個(gè)采樣點(diǎn),幀移為128個(gè)采樣點(diǎn)以及漢明窗進(jìn)行分幀加窗操作,每一幀提取36維MFCC特征參數(shù),其中包括MFCC系數(shù)、△MFCC和△△MFCC。神經(jīng)網(wǎng)絡(luò)模型輸入層和輸出層的大小和維度都是固定的,但由于聲音信號(hào)具有很大的隨機(jī)性,每個(gè)異常聲音樣本的時(shí)間長(zhǎng)度不統(tǒng)一,所以每個(gè)樣本的幀數(shù)不盡相同。如果采用壓縮或者擴(kuò)張時(shí)間軸的方法保證每個(gè)樣本的時(shí)長(zhǎng)相同,難以有效精準(zhǔn)對(duì)正。因此本文采用動(dòng)態(tài)時(shí)間規(guī)整的方法將所有的異常聲音樣本規(guī)整成相同的幀數(shù)以保證每個(gè)異常聲音樣本的特征參數(shù)可以排列成相同尺寸的特征圖輸入到卷積神經(jīng)網(wǎng)絡(luò)中。

    本文為了比較一維特征圖和二維特征圖對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響,將所有異常聲音樣本的特征分別規(guī)整到20幀、30幀和40幀,然后按照?qǐng)D3中兩種排列方式組合成二維特征圖和一維特征圖,排列完成后二維特征圖分別為36×20、36×30、36×40三種二維矩陣,一維特征圖分別為720×1、1080×1、1440×1三種一維向量。

    4.3 實(shí)驗(yàn)參數(shù)設(shè)置

    實(shí)驗(yàn)采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)異常聲音進(jìn)行識(shí)別。網(wǎng)絡(luò)模型的結(jié)構(gòu)簡(jiǎn)化為1層卷積層、1層采樣層和1層全連接層,其中卷積層的卷積核數(shù)目為10,以及采樣層的采樣方法選用最大值采樣。網(wǎng)絡(luò)采用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行學(xué)習(xí),使用交叉熵作為代價(jià)函數(shù),輸出層采用softmax分類(lèi)器。

    圖5 基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別流程圖

    4.4 實(shí)驗(yàn)結(jié)果與分析

    4.4.1卷積神經(jīng)網(wǎng)絡(luò)和高斯混合模型(GMM)識(shí)別性能對(duì)比

    高斯混合模型是一種傳統(tǒng)聲音識(shí)別模型,它可以將一類(lèi)事物通過(guò)多個(gè)高斯概率密度公式加權(quán)和的形式進(jìn)行描述,能夠較好的描述聲音信號(hào)這種時(shí)變、非平穩(wěn)信號(hào),并表現(xiàn)出不錯(cuò)的識(shí)別性能。n階高斯混合模型的異常聲音識(shí)別技術(shù)實(shí)質(zhì)上是使用了n個(gè)單高斯分布的線性組合為每一類(lèi)異常聲音進(jìn)行建模。本節(jié)將卷積神經(jīng)網(wǎng)絡(luò)和高斯混合模型從異常聲音識(shí)別性能以及抗噪能力這兩方面進(jìn)行比較。實(shí)驗(yàn)選用這兩種識(shí)別模型分別對(duì)五種不同信噪比(0 dB、5 dB、10 dB、15 dB和無(wú)噪聲)條件下的異常聲音進(jìn)行識(shí)別,結(jié)果如表1所示。

    表1 不同信噪比下高斯混合模型和卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果

    表1中給出五種階數(shù)的高斯混合模型的識(shí)別結(jié)果,隨著階數(shù)的增加,高斯混合模型的識(shí)別性能不斷提升,當(dāng)階數(shù)超過(guò)16之后,逐漸趨于平穩(wěn)。在每種信噪比下,卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果都優(yōu)于高斯混合模型,當(dāng)階數(shù)為32時(shí),高斯混合模型的平均識(shí)別率為55.88%,而卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率能達(dá)到63.19%,相對(duì)提升了13.08%,由此可以分析出卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)β曇粜盘?hào)的局部進(jìn)行觀察,提煉出相關(guān)性信息,并且在采樣層的特征聚合過(guò)程中(尤其是采取最大值采樣方法時(shí))將頻帶上的位移差異最小化,進(jìn)而大大降低頻帶位移對(duì)識(shí)別結(jié)果造成的影響。而高斯混合模型對(duì)聲音信號(hào)的處理是全局性的,尤其當(dāng)噪聲干擾造成聲音信號(hào)被掩蔽的情況下,無(wú)法區(qū)分出頻帶上細(xì)微的位移[16],導(dǎo)致建模能力有限。通過(guò)對(duì)比看出,卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別能力和對(duì)噪聲的魯棒性明顯優(yōu)于高斯混合模型。

    4.4.2卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)識(shí)別性能對(duì)比

    BP神經(jīng)網(wǎng)絡(luò)是一種典型的多層前向神經(jīng)網(wǎng)絡(luò),含有多個(gè)隱含層,并且相鄰層的神經(jīng)元全連接,同層之間的神經(jīng)元不連接,它通過(guò)誤差反向傳播算法對(duì)有標(biāo)簽的數(shù)據(jù)進(jìn)行學(xué)習(xí)。BP神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性映射能力,因此被普遍應(yīng)用在聲音識(shí)別領(lǐng)域中,并且表現(xiàn)出不錯(cuò)的識(shí)別性能[22]。與卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖(矩陣)不同,BP神經(jīng)網(wǎng)絡(luò)的輸入層輸入的必須是特征向量。本節(jié)將在識(shí)別性能和抗噪能力方面對(duì)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)這兩種識(shí)別模型進(jìn)行比較,所采用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化為一層輸入層、一個(gè)隱含層和一個(gè)輸出層。

    實(shí)驗(yàn)在保證卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)中權(quán)值參數(shù)數(shù)量相同的前提下,分別對(duì)三種不同規(guī)整幀數(shù)下的異常聲音進(jìn)行識(shí)別,比較兩者的識(shí)別性能,實(shí)驗(yàn)結(jié)果如圖6所示。

    圖6 三種規(guī)整幀數(shù)條件下,BP神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能對(duì)比

    由圖6可看出當(dāng)規(guī)整幀數(shù)為20時(shí),卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率比BP神經(jīng)網(wǎng)絡(luò)明顯提高了44.41%,識(shí)別性能遠(yuǎn)遠(yuǎn)高于BP神經(jīng)網(wǎng)絡(luò)。這是因?yàn)锽P神經(jīng)網(wǎng)絡(luò)的全連接結(jié)構(gòu)需要大量的權(quán)值參數(shù),若保證其與卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)數(shù)量相同,會(huì)使其隱含層中神經(jīng)元個(gè)數(shù)過(guò)少。當(dāng)規(guī)整幀數(shù)逐漸提高到30幀和40幀時(shí),隨著B(niǎo)P神經(jīng)網(wǎng)絡(luò)隱含層的神經(jīng)元個(gè)數(shù)不斷增加,其識(shí)別性能得到顯著提高,但是卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率相比于BP神經(jīng)網(wǎng)絡(luò)仍然高出了9.66%和9.36%。實(shí)驗(yàn)結(jié)果表明,一方面,BP神經(jīng)網(wǎng)絡(luò)的隱含層中神經(jīng)元個(gè)數(shù)過(guò)少時(shí),會(huì)對(duì)其識(shí)別性能產(chǎn)生巨大的影響;另一方面,即使BP神經(jīng)網(wǎng)絡(luò)的隱含層包含足夠數(shù)量的神經(jīng)元,卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能仍明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò)。

    卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)都采用誤差反向傳播算法進(jìn)行學(xué)習(xí)。這種學(xué)習(xí)方式是根據(jù)網(wǎng)絡(luò)的實(shí)際輸出和目標(biāo)輸出計(jì)算誤差,再依據(jù)誤差從后往前逐層對(duì)網(wǎng)絡(luò)中權(quán)值參數(shù)進(jìn)行修正。隨著學(xué)習(xí)的次數(shù)不斷增多,網(wǎng)絡(luò)中的誤差越來(lái)越小,直至誤差收斂,網(wǎng)絡(luò)才真正的完成訓(xùn)練。但是有時(shí)候網(wǎng)絡(luò)訓(xùn)練迭代的次數(shù)過(guò)多,擬合了訓(xùn)練數(shù)據(jù)中包含的噪聲或者無(wú)意義的特征,造成訓(xùn)練數(shù)據(jù)誤差越來(lái)越小,而測(cè)試數(shù)據(jù)誤差越來(lái)越大,導(dǎo)致網(wǎng)絡(luò)的泛化能力變?nèi)?。于是在?xùn)練集以外提供驗(yàn)證集,在每次迭代后對(duì)網(wǎng)絡(luò)進(jìn)行驗(yàn)證,防止網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象。當(dāng)連續(xù)3次迭代驗(yàn)證集的誤差不再減小時(shí),將會(huì)對(duì)網(wǎng)絡(luò)停止訓(xùn)練。本節(jié)將通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的誤差收斂以及validation checks進(jìn)行比較分析,進(jìn)一步說(shuō)明卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別中的優(yōu)勢(shì)。

    圖7 卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)誤差收斂曲線

    從圖7中的誤差收斂曲線可知,卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練初期的誤差明顯小于BP神經(jīng)網(wǎng)絡(luò),收斂速度比BP神經(jīng)網(wǎng)絡(luò)更快,并且收斂后的誤差比BP神經(jīng)網(wǎng)絡(luò)收斂后的誤差更小。從圖8可以看出卷積神經(jīng)網(wǎng)絡(luò)在第40次迭代時(shí),測(cè)試集的誤差就已經(jīng)連續(xù)3次不再減小,網(wǎng)絡(luò)訓(xùn)練完成;BP神經(jīng)網(wǎng)絡(luò)則在第92次迭代時(shí),測(cè)試集的誤差才連續(xù)3次不再減小,網(wǎng)絡(luò)訓(xùn)練完成。因此,通過(guò)對(duì)網(wǎng)絡(luò)的學(xué)習(xí)速率、訓(xùn)練迭代次數(shù)以及最終收斂后的網(wǎng)絡(luò)誤差等方面進(jìn)行比較,可以判斷卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別方面比BP神經(jīng)網(wǎng)絡(luò)明顯更好。

    圖8 卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的驗(yàn)證過(guò)程

    本節(jié)選用四種不同信噪比(0 dB、5 dB、10 dB和15 dB)的異常聲音對(duì)卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的噪聲魯棒性進(jìn)行比較,實(shí)驗(yàn)結(jié)果如圖9所示。

    圖9 不同信噪比下卷積神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)的平均識(shí)別結(jié)果

    通過(guò)圖9能夠清晰看出,在四種不同信噪比條件下,卷積神經(jīng)網(wǎng)絡(luò)的平均識(shí)別率都明顯高于BP神經(jīng)網(wǎng)絡(luò)。這是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)利用卷積核的局部感知能力能夠從頻帶上較為純凈的部分過(guò)濾出性能良好的特征,每個(gè)頻帶上只有少量被用來(lái)訓(xùn)練的特征受到了噪聲的干擾,這種處理方式比BP神經(jīng)網(wǎng)絡(luò)直接在底層簡(jiǎn)單地處理所有的輸入特征更好,使卷積神經(jīng)網(wǎng)絡(luò)對(duì)噪聲具有良好的魯棒性并且減少了過(guò)擬合的可能。通過(guò)實(shí)驗(yàn)結(jié)果比較可以看到,卷積神經(jīng)網(wǎng)絡(luò)比BP神經(jīng)網(wǎng)絡(luò)具有更好的泛化能力,在噪聲環(huán)境下具有更強(qiáng)的魯棒性。

    4.4.3卷積神經(jīng)網(wǎng)絡(luò)中聲音信號(hào)的特征維度對(duì)識(shí)別性能影響的比較

    為了驗(yàn)證和比較聲音信號(hào)的一維特征和二維特征對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響。本節(jié)將從6類(lèi)異常聲音提取出來(lái)的特征分別按照?qǐng)D3中兩種聲音信號(hào)的特征排布方式進(jìn)行組合,最后得到卷積神經(jīng)網(wǎng)絡(luò)的二維輸入特征圖和一維輸入特征圖。

    表2 三種規(guī)整幀數(shù)下一維特征和二維特征的排布形式

    實(shí)驗(yàn)將異常聲音的特征分別規(guī)整到20幀、30幀以及40幀,一維特征和二維特征排布形式如表2所示。本節(jié)在一維特征上選用卷積核大小為20、30和40的一維卷積核,在二維特征上選用了性能較好的大小為20(4×5)、30(5×6)和40(5×8)的二維卷積核進(jìn)行實(shí)驗(yàn),無(wú)噪聲條件下的識(shí)別結(jié)果如表3所示。

    表3 無(wú)噪聲條件下一維特征和二維特征識(shí)別結(jié)果

    由表3可知,當(dāng)規(guī)整幀數(shù)大小分別為20、30、40時(shí),一維特征在3種卷積核大小下的平均識(shí)別率分別比二維特征提升了3.69%、2.35%、1.60%,實(shí)驗(yàn)說(shuō)明在通過(guò)卷積層進(jìn)行卷積操作后,一維特征比二維特征能夠更多的保留聲音信號(hào)的非平穩(wěn)特性和頻帶上的局部相關(guān)性信息,有益于識(shí)別過(guò)程中的后續(xù)處理,進(jìn)一步提升了卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能。因此,在無(wú)噪聲干擾條件下,一維特征的識(shí)別結(jié)果都好于二維特征。

    對(duì)噪聲的魯棒性是衡量卷積神經(jīng)網(wǎng)絡(luò)識(shí)別性能是否優(yōu)良的重要標(biāo)準(zhǔn),本節(jié)還將四種不同信噪比(0 dB、5 dB、10 dB和15 dB)條件下的異常聲音特征規(guī)整到40幀,然后分別排列成二維特征和一維特征進(jìn)行識(shí)別,一維特征和二維特征上選用的卷積核大小都是20,實(shí)驗(yàn)結(jié)果如圖10所示。

    圖10 不同信噪比下,一維特征和二維特征的識(shí)別結(jié)果

    根據(jù)圖10可知當(dāng)信噪比分別為0 dB、5 dB、10 dB和15 dB時(shí),二維特征的識(shí)別結(jié)果比一維特征分別提升了4.15%、2.35%、0.41%和0.47%。這是因?yàn)閎abble噪聲主要分布在中低頻率區(qū)域,采用二維特征的排布形式能夠使卷積核同時(shí)沿著時(shí)間和頻域兩個(gè)維度對(duì)多個(gè)頻帶進(jìn)行局部相關(guān)性信息的提取,有利于卷積神經(jīng)網(wǎng)絡(luò)區(qū)分出異常聲音和噪聲,所以二維特征比一維特征對(duì)噪聲具有更好的魯棒性。結(jié)合實(shí)驗(yàn)結(jié)果可以得出,使用二維特征進(jìn)行訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)的抗噪性能優(yōu)于一維特征訓(xùn)練的網(wǎng)絡(luò)。

    通過(guò)特征訓(xùn)練網(wǎng)絡(luò)模型是為了降低實(shí)際輸出和目標(biāo)輸出之間的誤差,在訓(xùn)練階段選取不同類(lèi)型的特征,能夠直接影響網(wǎng)絡(luò)的訓(xùn)練迭代次數(shù)、誤差收斂速度以及最終收斂的結(jié)果。本節(jié)通過(guò)實(shí)驗(yàn)對(duì)五種不同信噪比的異常聲音的一維特征和二維特征的誤差收斂曲線進(jìn)行比較,結(jié)果如圖11所示。

    圖11 不同信噪比下,一維特征和二維特征的誤差收斂曲線

    根據(jù)圖11的實(shí)驗(yàn)結(jié)果,可以清楚看出,在五種信噪比條件下,一維特征和二維特征收斂后的誤差大小相近,但一維特征的誤差收斂速度均快于二維特征。這說(shuō)明一維特征既能夠降低卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算復(fù)雜度,也可以很好的保留聲音信號(hào)頻帶間的局部相關(guān)性信息,有利于提升卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率。這一結(jié)論表明相較于傳統(tǒng)的二維特征,聲音信號(hào)的一維特征也能夠有效的應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)中。

    5 結(jié)論

    本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的異常聲音識(shí)別進(jìn)行了研究,將卷積神經(jīng)網(wǎng)絡(luò)分別與高斯混合模型、BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較,從抗噪性、誤差收斂速度等多方面對(duì)比分析了這三種識(shí)別模型實(shí)際性能的差異。實(shí)驗(yàn)結(jié)果說(shuō)明,卷積神經(jīng)網(wǎng)絡(luò)在異常聲音識(shí)別性能和對(duì)噪聲的魯棒性上均有著較大的優(yōu)勢(shì)。同時(shí),針對(duì)聲音信號(hào)特征的維度對(duì)卷積神經(jīng)網(wǎng)絡(luò)異常聲音識(shí)別性能的影響進(jìn)行了討論,所得結(jié)論是在誤差收斂速度方面,一維特征優(yōu)于二維特征;在識(shí)別性能方面,噪聲干擾強(qiáng)度大的環(huán)境下,二維特征性能好于一維特征,但是噪聲干擾強(qiáng)度小的環(huán)境下,一維特征性能好于二維特征。我們認(rèn)為,根據(jù)實(shí)際環(huán)境的信噪比條件來(lái)選取聲音信號(hào)特征的維度,能夠得到更好的識(shí)別效果。

    需要說(shuō)明的是,聲音信號(hào)的特征排布方式并不局限于本文所述的兩種方式,還有很多依據(jù)聲音信號(hào)的特性將其特征按照不同形式進(jìn)行組合的方法。找到更適合聲音信號(hào)的特征排布方式以提升卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能值得今后進(jìn)一步研究。

    [1] Stowell D, Giannoulis D, Benetos E, et al. Detection and classification of acoustic scenes and events[J]. IEEE Transactions on Multimedia, 2015, 17(10): 1733-1746.

    [2] Zhuang X, Zhou X, Hasegawa-Johnson M A, et al. Real-world acoustic event detection[J]. Pattern Recognition Letters, 2010, 31(12): 1543-1551.

    [3] Schr?der J, Anemüller J, Goetze S. Performance comparison of GMM, HMM and DNN based approaches for acoustic event detection within Task 3 of the DCASE 2016 challenge[C]∥Proc. Workshop Detect. Classification Acoust. Scenes Events, 2016: 80- 84.

    [4] Aurino F, Folla M, Gargiulo F, et al. One-class svm based approach for detecting anomalous audio events[C]∥Intelligent Networking and Collaborative Systems (INCoS), 2014 International Conference on. IEEE, 2014: 145-151.

    [5] Valenzise G, Gerosa L, Tagliasacchi M, et al. Scream and gunshot detection and localization for audio-surveillance systems[C]∥Advanced Video and Signal Based Surveillance, 2007. AVSS 2007. IEEE Conference on. IEEE, 2007: 21-26.

    [6] Xia X, Togneri R, Sohel F, et al. RANDOM FOREST CLASSIFICATION BASED ACOUSTIC EVENT DETECTION[C]∥IEEE International Conference on Multimedia and Expo. IEEE, 2017.

    [7] Mesaros A, Heittola T, Dikmen O, et al. Sound event detection in real life recordings using coupled matrix factorization of spectral representations and class activity annotations[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2015:151-155.

    [8] Dennis J, Tran H D, Chng E S. Image Feature Representation of the Subband Power Distribution for Robust Sound Event Classification[J]. IEEE Transactions on Audio Speech & Language Processing, 2013, 21(2):367-377.

    [9] Kons Z, Toledo-Ronen O. Audio event classification using deep neural networks[C]∥INTERSPEECH, 2013:1482-1486.

    [10] Cai H, Liu L, Cao Q. A novel BP algorithm based on self-adaptive parameters and performance analysis[C]∥Innovative Computing, Information and Control, 2006. ICICIC'06. First International Conference on. IEEE, 2006, 2: 383-387.

    [11] Tuckova J, Sramka M. Emotional speech analysis using artificial neural networks[C]∥Computer Science and Information Technology (IMCSIT), Proceedings of the 2010 International Multiconference on. IEEE, 2010: 141-147.

    [12] Srinonchat J. Enhancement Artificial Neural Networks for Low-Bit Rate Speech Compression system[C]∥Communications and Information Technologies, 2006. ISCIT'06. International Symposium on. IEEE, 2006: 118-121.

    [13] Gupta S, Bhurchandi K M, Keskar A G. An efficient noise-robust automatic speech recognition system using artificial neural networks[C]∥Communication and Signal Processing (ICCSP), 2016 International Conference on. IEEE, 2016: 1873-1877.

    [15] Piczak K J. Environmental sound classification with convolutional neural networks[C]∥Machine Learning for Signal Processing (MLSP), 2015 IEEE 25th International Workshop on. IEEE, 2015: 1- 6.

    [16] Abdel-Hamid O, Mohamed A, Jiang H, et al. Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition[C]∥Acoustics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on. IEEE, 2012: 4277- 4280.

    [17] Zhang H, Mcloughlin I, Song Y. Robust sound event recognition using convolutional neural networks[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2015:559-563.

    [18] 張晴晴, 劉勇, 潘接林,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的連續(xù)語(yǔ)音識(shí)別[J]. 工程科學(xué)學(xué)報(bào), 2015,37(9):1212-1217.

    Zhang Qingqing, Liu Yong, Pan Jielin, et al. Continuous speech recognition by convolutional neural networks[J].Chinese Journal of Engineering, 2015, 37(9): 1212-1217.(in Chinese)

    [19] Abdel-Hamid O, Mohamed A R, Jiang H, et al. Convolutional Neural Networks for Speech Recognition[J]. IEEE/ACM Transactions on Audio Speech & Language Processing, 2014, 22(10):1533-1545.

    [20] Schlüter J, Grill T. Exploring Data Augmentation for Improved Singing Voice Detection with Neural Networks[C]∥ISMIR, 2015: 121-126.

    [21] McFee B, Humphrey E J, Bello J P. A Software Framework for Musical Data Augmentation[C]∥ISMIR, 2015: 248-254.

    [22] Rajput N, Verma S K. Back propagation feed forward neural network approach for speech recognition[C]∥Reliability, Infocom Technologies and Optimization (ICRITO)(Trends and Future Directions), 2014 3rd International Conference on. IEEE, 2014: 1- 6.

    猜你喜歡
    信噪比卷積噪聲
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    噪聲可退化且依賴(lài)于狀態(tài)和分布的平均場(chǎng)博弈
    基于深度學(xué)習(xí)的無(wú)人機(jī)數(shù)據(jù)鏈信噪比估計(jì)算法
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    低信噪比下LFMCW信號(hào)調(diào)頻參數(shù)估計(jì)
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    低信噪比下基于Hough變換的前視陣列SAR稀疏三維成像
    控制噪聲有妙法
    保持信噪比的相位分解反褶積方法研究
    一種基于白噪聲響應(yīng)的隨機(jī)載荷譜識(shí)別方法
    色视频www国产| 欧美少妇被猛烈插入视频| 多毛熟女@视频| 国精品久久久久久国模美| 久久久久久久精品精品| 大片电影免费在线观看免费| 日韩伦理黄色片| 亚洲精品亚洲一区二区| 亚洲欧美精品自产自拍| 亚洲成色77777| 熟女av电影| 国产在线一区二区三区精| 97精品久久久久久久久久精品| 免费观看性生交大片5| 日韩三级伦理在线观看| 草草在线视频免费看| 肉色欧美久久久久久久蜜桃| 午夜影院在线不卡| 在现免费观看毛片| 9色porny在线观看| 久久久国产一区二区| 一区二区三区精品91| 国产高清不卡午夜福利| 国产在线男女| 国产在线一区二区三区精| 我要看黄色一级片免费的| 国产精品人妻久久久影院| 欧美xxⅹ黑人| 久久亚洲国产成人精品v| 九九爱精品视频在线观看| 一本一本综合久久| 日本爱情动作片www.在线观看| av免费在线看不卡| 日韩av在线免费看完整版不卡| 免费人妻精品一区二区三区视频| 岛国毛片在线播放| 极品少妇高潮喷水抽搐| 青春草国产在线视频| 美女内射精品一级片tv| 国产亚洲91精品色在线| 亚洲真实伦在线观看| 亚洲欧美精品自产自拍| 伦精品一区二区三区| 高清在线视频一区二区三区| 韩国av在线不卡| 一区二区三区免费毛片| 久久午夜综合久久蜜桃| 国产精品人妻久久久影院| 亚洲精品日韩av片在线观看| 国产成人精品久久久久久| 国产在线免费精品| 少妇的逼水好多| 又黄又爽又刺激的免费视频.| 亚洲精品国产av蜜桃| 97精品久久久久久久久久精品| 最后的刺客免费高清国语| 99精国产麻豆久久婷婷| 我要看黄色一级片免费的| av播播在线观看一区| 九草在线视频观看| 亚洲丝袜综合中文字幕| 久久精品国产a三级三级三级| 韩国av在线不卡| 国产在视频线精品| 国国产精品蜜臀av免费| 精品久久久久久电影网| freevideosex欧美| 性高湖久久久久久久久免费观看| tube8黄色片| 丝袜在线中文字幕| 春色校园在线视频观看| 久久青草综合色| 国国产精品蜜臀av免费| 久久精品久久久久久噜噜老黄| 女人久久www免费人成看片| 99久久精品一区二区三区| 三上悠亚av全集在线观看 | 国产高清三级在线| 中文字幕制服av| 如何舔出高潮| 久久久久久久久久久丰满| 麻豆精品久久久久久蜜桃| 国内精品宾馆在线| 国产免费视频播放在线视频| 日本猛色少妇xxxxx猛交久久| 日本av免费视频播放| 日本-黄色视频高清免费观看| 国产精品.久久久| 亚洲,欧美,日韩| 国产在线男女| 成年女人在线观看亚洲视频| 十八禁高潮呻吟视频 | 日本免费在线观看一区| 欧美日本中文国产一区发布| 亚洲国产精品999| 国产在线男女| 精品一区二区三卡| 日本欧美视频一区| 欧美最新免费一区二区三区| 欧美激情国产日韩精品一区| 午夜福利,免费看| 天天躁夜夜躁狠狠久久av| 国产精品福利在线免费观看| 黑人猛操日本美女一级片| 亚洲国产最新在线播放| 少妇人妻精品综合一区二区| 久久人人爽人人片av| 一级爰片在线观看| 久久国产精品男人的天堂亚洲 | 嫩草影院入口| 另类精品久久| 国产欧美日韩精品一区二区| 黑丝袜美女国产一区| av福利片在线观看| 精品少妇黑人巨大在线播放| 午夜福利,免费看| 日本黄色日本黄色录像| 99视频精品全部免费 在线| 亚洲精品乱码久久久久久按摩| 亚洲成色77777| 99视频精品全部免费 在线| 久久国产精品男人的天堂亚洲 | 国产精品蜜桃在线观看| 国产淫片久久久久久久久| 亚洲精品日本国产第一区| 一区二区三区乱码不卡18| 国产免费视频播放在线视频| 久久韩国三级中文字幕| 久久青草综合色| 91在线精品国自产拍蜜月| 天堂8中文在线网| 免费久久久久久久精品成人欧美视频 | 夜夜爽夜夜爽视频| 在线观看人妻少妇| 蜜桃久久精品国产亚洲av| 日本黄色片子视频| 韩国av在线不卡| 99热全是精品| 天堂俺去俺来也www色官网| 水蜜桃什么品种好| 色婷婷久久久亚洲欧美| 国产精品熟女久久久久浪| 大香蕉97超碰在线| 久久青草综合色| 成人漫画全彩无遮挡| 观看av在线不卡| 99国产精品免费福利视频| 国产毛片在线视频| 日日摸夜夜添夜夜添av毛片| 国产成人午夜福利电影在线观看| 久热这里只有精品99| 一个人免费看片子| 十八禁高潮呻吟视频 | 80岁老熟妇乱子伦牲交| 香蕉精品网在线| 日本欧美国产在线视频| 一级毛片我不卡| 中文字幕av电影在线播放| 青青草视频在线视频观看| 精品一区在线观看国产| 黑人猛操日本美女一级片| 日韩强制内射视频| 国产av国产精品国产| 久久人人爽av亚洲精品天堂| 日韩强制内射视频| 大片电影免费在线观看免费| 伦理电影免费视频| 一级毛片久久久久久久久女| 91在线精品国自产拍蜜月| 99久久综合免费| 久久国内精品自在自线图片| 精品一区二区三区视频在线| av在线老鸭窝| 久久久国产精品麻豆| 国产高清不卡午夜福利| 两个人的视频大全免费| 这个男人来自地球电影免费观看 | 最近2019中文字幕mv第一页| 久久精品夜色国产| 国产精品久久久久久久久免| 在线观看一区二区三区激情| 欧美精品高潮呻吟av久久| 国产在线男女| 99国产精品免费福利视频| 色94色欧美一区二区| 永久免费av网站大全| 自拍偷自拍亚洲精品老妇| 日本午夜av视频| 又大又黄又爽视频免费| 国产精品国产三级国产av玫瑰| 国产男人的电影天堂91| 日韩av免费高清视频| 美女xxoo啪啪120秒动态图| 免费观看无遮挡的男女| 最近手机中文字幕大全| 国产精品一区www在线观看| 欧美成人精品欧美一级黄| 极品少妇高潮喷水抽搐| 中文字幕久久专区| 亚洲精品一二三| 欧美激情极品国产一区二区三区 | 丰满少妇做爰视频| 99热6这里只有精品| 纯流量卡能插随身wifi吗| 国产色婷婷99| 伦精品一区二区三区| 大陆偷拍与自拍| 中文天堂在线官网| 国产极品天堂在线| 视频区图区小说| 丰满乱子伦码专区| 热re99久久国产66热| 老司机影院成人| 麻豆乱淫一区二区| 91精品国产九色| 又黄又爽又刺激的免费视频.| 欧美变态另类bdsm刘玥| 色5月婷婷丁香| 久久久亚洲精品成人影院| 亚洲av成人精品一二三区| 欧美精品国产亚洲| 国产亚洲最大av| 国产综合精华液| videossex国产| 国内精品宾馆在线| 韩国av在线不卡| 乱人伦中国视频| 乱码一卡2卡4卡精品| 欧美日本中文国产一区发布| 男的添女的下面高潮视频| 久久人人爽人人爽人人片va| a 毛片基地| 大又大粗又爽又黄少妇毛片口| 国产精品一区二区在线观看99| 国产真实伦视频高清在线观看| 国产精品欧美亚洲77777| 国产在视频线精品| 亚洲精品乱码久久久v下载方式| 国产成人精品福利久久| 这个男人来自地球电影免费观看 | 99热这里只有是精品在线观看| tube8黄色片| 人妻制服诱惑在线中文字幕| 只有这里有精品99| 亚洲精品国产色婷婷电影| 欧美 亚洲 国产 日韩一| 国产69精品久久久久777片| 如何舔出高潮| 欧美+日韩+精品| 亚洲真实伦在线观看| 久久午夜综合久久蜜桃| 好男人视频免费观看在线| 五月天丁香电影| 精品久久久噜噜| 国产成人精品福利久久| 精华霜和精华液先用哪个| 国产成人精品婷婷| 高清欧美精品videossex| 国产精品伦人一区二区| h视频一区二区三区| 亚洲av日韩在线播放| 中国三级夫妇交换| 99久久精品国产国产毛片| 97在线人人人人妻| 老司机影院毛片| 一级av片app| 少妇人妻一区二区三区视频| 国产极品天堂在线| 亚洲欧洲国产日韩| 狂野欧美激情性xxxx在线观看| 99久久综合免费| 人妻系列 视频| 中文在线观看免费www的网站| 18+在线观看网站| av福利片在线观看| 亚洲av中文av极速乱| xxx大片免费视频| 国产精品一区二区在线不卡| 另类精品久久| 久久久欧美国产精品| 欧美xxⅹ黑人| 欧美日韩视频精品一区| 一级a做视频免费观看| 久久 成人 亚洲| 免费在线观看成人毛片| tube8黄色片| 国产白丝娇喘喷水9色精品| 汤姆久久久久久久影院中文字幕| 99久久中文字幕三级久久日本| 午夜福利视频精品| 狂野欧美激情性bbbbbb| 免费少妇av软件| 免费看光身美女| 天天躁夜夜躁狠狠久久av| 国产成人免费观看mmmm| 91精品伊人久久大香线蕉| 一级av片app| 国产色婷婷99| 在线天堂最新版资源| 国产一区二区在线观看av| 黑人猛操日本美女一级片| 一区二区三区免费毛片| 99久久人妻综合| 精品一品国产午夜福利视频| 老司机影院毛片| 亚洲欧美精品专区久久| 又粗又硬又长又爽又黄的视频| 久久国产亚洲av麻豆专区| 久久久久国产精品人妻一区二区| 国产免费又黄又爽又色| 色94色欧美一区二区| 亚洲美女黄色视频免费看| 少妇猛男粗大的猛烈进出视频| 建设人人有责人人尽责人人享有的| 久久久国产欧美日韩av| 人人妻人人澡人人爽人人夜夜| 久久免费观看电影| xxx大片免费视频| 99九九线精品视频在线观看视频| 国产精品久久久久成人av| 亚洲精品中文字幕在线视频 | 赤兔流量卡办理| 久久久久久久久久久免费av| 少妇人妻一区二区三区视频| 成人18禁高潮啪啪吃奶动态图 | 日日撸夜夜添| av卡一久久| 特大巨黑吊av在线直播| 日韩欧美一区视频在线观看 | 久久人人爽av亚洲精品天堂| 曰老女人黄片| 国产色爽女视频免费观看| 伦理电影大哥的女人| 亚洲精品日韩av片在线观看| 日本猛色少妇xxxxx猛交久久| 美女cb高潮喷水在线观看| 三上悠亚av全集在线观看 | 我的女老师完整版在线观看| 精品卡一卡二卡四卡免费| 国产在线一区二区三区精| 国产精品99久久久久久久久| 亚洲欧美一区二区三区黑人 | 如日韩欧美国产精品一区二区三区 | 久久久久网色| av线在线观看网站| 欧美日本中文国产一区发布| 寂寞人妻少妇视频99o| 亚洲怡红院男人天堂| 嫩草影院新地址| 少妇熟女欧美另类| 午夜视频国产福利| a级毛片在线看网站| 美女国产视频在线观看| 国精品久久久久久国模美| 国产一级毛片在线| 91精品一卡2卡3卡4卡| 男女免费视频国产| 成人国产麻豆网| 黄色欧美视频在线观看| 中文天堂在线官网| 女人精品久久久久毛片| 亚洲婷婷狠狠爱综合网| 中文字幕制服av| 黄色配什么色好看| 日韩中字成人| 一区二区三区四区激情视频| 丰满饥渴人妻一区二区三| 91精品一卡2卡3卡4卡| av网站免费在线观看视频| 少妇的逼好多水| 午夜福利视频精品| 国产亚洲一区二区精品| 日本91视频免费播放| 另类亚洲欧美激情| 三级国产精品欧美在线观看| 各种免费的搞黄视频| 国精品久久久久久国模美| 国产精品伦人一区二区| 亚洲久久久国产精品| 中文欧美无线码| 啦啦啦中文免费视频观看日本| 中文字幕制服av| 国产精品一区二区三区四区免费观看| 亚洲欧美成人综合另类久久久| av国产久精品久网站免费入址| 青春草视频在线免费观看| 亚洲精品亚洲一区二区| 久久人人爽av亚洲精品天堂| 亚洲国产精品国产精品| 一级毛片黄色毛片免费观看视频| 在线观看三级黄色| 欧美xxxx性猛交bbbb| 成人午夜精彩视频在线观看| a级毛片在线看网站| 在线观看美女被高潮喷水网站| 国产精品一二三区在线看| 女性生殖器流出的白浆| 久久人人爽人人爽人人片va| 亚洲欧美一区二区三区国产| 国产精品国产av在线观看| 久久久午夜欧美精品| 国产日韩一区二区三区精品不卡 | av又黄又爽大尺度在线免费看| 国产亚洲精品久久久com| 国产免费又黄又爽又色| 久久免费观看电影| 色视频在线一区二区三区| 91成人精品电影| 久久久亚洲精品成人影院| 天堂8中文在线网| 久久久久久久亚洲中文字幕| 国产永久视频网站| 色视频在线一区二区三区| 久久精品国产亚洲av天美| 一级毛片黄色毛片免费观看视频| 精品久久国产蜜桃| 男人狂女人下面高潮的视频| 亚洲中文av在线| 久久久久久伊人网av| 国产老妇伦熟女老妇高清| 欧美人与善性xxx| 久久久久久伊人网av| 亚洲欧美中文字幕日韩二区| 欧美人与善性xxx| 亚洲欧美成人综合另类久久久| av不卡在线播放| 人妻一区二区av| 一区在线观看完整版| 一区二区三区免费毛片| 美女中出高潮动态图| av播播在线观看一区| 久久午夜福利片| 青春草视频在线免费观看| 黄片无遮挡物在线观看| 嫩草影院新地址| 少妇精品久久久久久久| av在线观看视频网站免费| 精品久久久精品久久久| 欧美变态另类bdsm刘玥| 久久久久精品久久久久真实原创| 在线 av 中文字幕| 国产精品99久久久久久久久| av免费在线看不卡| 韩国高清视频一区二区三区| 精品酒店卫生间| 男女国产视频网站| 狠狠精品人妻久久久久久综合| 午夜福利在线观看免费完整高清在| 国产精品一区二区在线不卡| 国产欧美日韩一区二区三区在线 | 亚洲国产精品一区二区三区在线| 久久ye,这里只有精品| 国产精品伦人一区二区| 国产熟女欧美一区二区| 视频中文字幕在线观看| 国产色爽女视频免费观看| 这个男人来自地球电影免费观看 | 美女脱内裤让男人舔精品视频| a级毛片免费高清观看在线播放| 国产精品久久久久久久久免| 天堂中文最新版在线下载| 国产精品女同一区二区软件| 熟妇人妻不卡中文字幕| 两个人的视频大全免费| 综合色丁香网| 国产免费又黄又爽又色| 男女免费视频国产| 亚洲精品日韩在线中文字幕| 青青草视频在线视频观看| 又爽又黄a免费视频| 国产精品成人在线| 亚洲精品国产av成人精品| 亚洲性久久影院| 色吧在线观看| 男人狂女人下面高潮的视频| 寂寞人妻少妇视频99o| 久久精品久久精品一区二区三区| 精品久久久噜噜| 最新中文字幕久久久久| 少妇 在线观看| 亚洲欧美精品自产自拍| 午夜91福利影院| 女性生殖器流出的白浆| 激情五月婷婷亚洲| 亚洲国产精品国产精品| 免费播放大片免费观看视频在线观看| 另类精品久久| 中文欧美无线码| 青春草国产在线视频| 日韩av不卡免费在线播放| 黄色视频在线播放观看不卡| 在线看a的网站| 2021少妇久久久久久久久久久| 国产精品.久久久| 伦理电影免费视频| 久久久国产欧美日韩av| 欧美日韩在线观看h| 国产老妇伦熟女老妇高清| 国产黄片美女视频| 男男h啪啪无遮挡| 五月开心婷婷网| 我要看日韩黄色一级片| 日本欧美视频一区| 视频区图区小说| 麻豆乱淫一区二区| 日本-黄色视频高清免费观看| 久久精品久久精品一区二区三区| 久久精品熟女亚洲av麻豆精品| 精品国产乱码久久久久久小说| 乱系列少妇在线播放| 色网站视频免费| 丰满迷人的少妇在线观看| 久久久久久久亚洲中文字幕| 少妇人妻一区二区三区视频| 简卡轻食公司| 99视频精品全部免费 在线| 最近中文字幕高清免费大全6| av专区在线播放| 女人精品久久久久毛片| 久热久热在线精品观看| 国内少妇人妻偷人精品xxx网站| videossex国产| 日本黄色日本黄色录像| a级毛片免费高清观看在线播放| 老女人水多毛片| 国产极品粉嫩免费观看在线 | 少妇人妻一区二区三区视频| 亚洲欧美中文字幕日韩二区| 久久久久久久久久人人人人人人| 亚洲成人手机| 女性生殖器流出的白浆| 免费观看无遮挡的男女| 午夜影院在线不卡| 亚洲av二区三区四区| 99九九线精品视频在线观看视频| 97超碰精品成人国产| 精品久久久久久久久av| 国产乱人偷精品视频| 国产黄频视频在线观看| 狂野欧美激情性bbbbbb| 99视频精品全部免费 在线| 国产精品女同一区二区软件| 日韩电影二区| 亚洲欧洲国产日韩| 建设人人有责人人尽责人人享有的| 男的添女的下面高潮视频| 亚洲婷婷狠狠爱综合网| 国产成人一区二区在线| 日本猛色少妇xxxxx猛交久久| 少妇被粗大的猛进出69影院 | 在线 av 中文字幕| 男的添女的下面高潮视频| 午夜激情福利司机影院| 欧美亚洲 丝袜 人妻 在线| 国产精品久久久久久久久免| 少妇丰满av| 国产亚洲av片在线观看秒播厂| 成人国产av品久久久| 91成人精品电影| 亚洲国产av新网站| 国产深夜福利视频在线观看| 亚洲美女视频黄频| 亚洲人成网站在线播| 久久久久精品久久久久真实原创| 18禁动态无遮挡网站| 国产欧美日韩综合在线一区二区 | 国产成人一区二区在线| 9色porny在线观看| 亚洲无线观看免费| 亚洲精品久久午夜乱码| 女性生殖器流出的白浆| 天美传媒精品一区二区| 人妻制服诱惑在线中文字幕| 高清不卡的av网站| 欧美最新免费一区二区三区| 我要看黄色一级片免费的| 一级,二级,三级黄色视频| 免费看av在线观看网站| 国产极品粉嫩免费观看在线 | 水蜜桃什么品种好| 国产精品成人在线| 18禁动态无遮挡网站| 免费播放大片免费观看视频在线观看| 亚洲人成网站在线播| 美女国产视频在线观看| 成人美女网站在线观看视频| 亚洲内射少妇av| 国产毛片在线视频| 卡戴珊不雅视频在线播放| 人人妻人人爽人人添夜夜欢视频 | 韩国高清视频一区二区三区| 免费人妻精品一区二区三区视频| a级毛色黄片| 中文欧美无线码| 免费看日本二区| 欧美日韩精品成人综合77777| 晚上一个人看的免费电影| 少妇丰满av| 久久久久久久久久久丰满| 七月丁香在线播放| 午夜影院在线不卡| 高清av免费在线| 另类亚洲欧美激情| 国产免费视频播放在线视频| 你懂的网址亚洲精品在线观看| 最近2019中文字幕mv第一页| 欧美亚洲 丝袜 人妻 在线| 国产无遮挡羞羞视频在线观看| 搡女人真爽免费视频火全软件| 在线观看人妻少妇| 精品久久久久久久久av| 亚洲欧美成人精品一区二区| 少妇裸体淫交视频免费看高清| 亚洲成色77777| 亚洲av免费高清在线观看|