• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)

    2022-10-11 08:52:38王錦陽(yáng)華光黃雙
    信號(hào)處理 2022年9期
    關(guān)鍵詞:機(jī)制特征檢測(cè)

    王錦陽(yáng) 華光 黃雙

    (1.武漢大學(xué)電子信息學(xué)院,湖北武漢 430072;2.武漢第二船舶設(shè)計(jì)研究所,湖北武漢 430064)

    1 引言

    語(yǔ)音偽造技術(shù)主要包括語(yǔ)音合成(Text to Speech,TTS)、語(yǔ)音轉(zhuǎn)換(Voice Conversion,VC)、語(yǔ)音模仿(Impersonation)、重放攻擊(Replay Attack,RA)和對(duì)抗攻擊(Adversarial Attack)[1-2]。語(yǔ)音合成技術(shù),即文本轉(zhuǎn)語(yǔ)音,是一種能夠?qū)⑷我廨斎胛谋巨D(zhuǎn)換為目標(biāo)說(shuō)話人合成語(yǔ)音的技術(shù)。傳統(tǒng)的語(yǔ)音合成主要有波形拼接和參數(shù)合成兩條技術(shù)路線,近年來(lái),深度學(xué)習(xí)技術(shù)的迅速發(fā)展給語(yǔ)音合成開(kāi)辟了新的方向,許多研究團(tuán)隊(duì)提出了基于神經(jīng)網(wǎng)絡(luò)的端到端語(yǔ)音合成系統(tǒng),例如Tacotron 2[3]、Deep Voice 3[4]、Transformer TTS[5]和FastSpeech 2[6]等。隨著深度偽造技術(shù)的迅猛發(fā)展,合成語(yǔ)音的自然度越來(lái)越高,而且具有與真實(shí)語(yǔ)音相似的聲學(xué)特征,生成語(yǔ)音的速度也在不斷提升。語(yǔ)音合成技術(shù)可以提高語(yǔ)音交互的用戶體驗(yàn),在語(yǔ)音導(dǎo)航、閱讀聽(tīng)書(shū)等應(yīng)用中得以廣泛使用,還可以用于教育、醫(yī)療、泛娛樂(lè)等領(lǐng)域,然而合成語(yǔ)音也帶來(lái)了嚴(yán)重的安全隱患,一旦被不法分子利用,將會(huì)給全球的政治、經(jīng)濟(jì)、民生和社會(huì)造成威脅,這對(duì)合成語(yǔ)音檢測(cè)的研究提出了挑戰(zhàn)[7]。語(yǔ)音轉(zhuǎn)換技術(shù)則是將源說(shuō)話人的語(yǔ)音轉(zhuǎn)換成目標(biāo)說(shuō)話人的語(yǔ)音。本文主要研究語(yǔ)音合成和語(yǔ)音轉(zhuǎn)換的檢測(cè)問(wèn)題。

    合成語(yǔ)音檢測(cè)技術(shù)的本質(zhì)是尋找合成語(yǔ)音和真實(shí)語(yǔ)音之間的特征差異來(lái)判斷真?zhèn)?,這種特征與語(yǔ)音表達(dá)的內(nèi)容無(wú)關(guān)。合成語(yǔ)音檢測(cè)系統(tǒng)一般由前端特征提取器和后端二值分類器組成。傳統(tǒng)檢測(cè)系統(tǒng)前端的區(qū)分性特征通常采用精心設(shè)計(jì)的手工特征,包括聲紋特征、頻譜特征等。Xiao等人[8]研究了高維幅頻特征的表現(xiàn),使用對(duì)數(shù)幅度譜(Log Magnitude Spectrum,LMS)與殘差對(duì)數(shù)幅度譜(Residual Log Magnitude Spectrum,RLMS)構(gòu)建的檢測(cè)系統(tǒng)得到了理想的效果。相位特征,例如群延遲(Group Delay,GD)、修正的群延遲(Modified Group Delay,MGD)、相對(duì)相移(Relative Phase Shift,RPS)、基帶相位差(Baseband Phase Difference,BPD)等也適用于合成語(yǔ)音檢測(cè)任務(wù)[9-11]。倒譜系數(shù)特征是檢測(cè)合成語(yǔ)音的有效特征之一,包括線性頻率倒譜系數(shù)(Linear Frequency Cepstral Coefficients,LFCC)、梅爾頻率倒譜系數(shù)(Mel-Frequency Cepstral Coefficients,MFCC)、線性預(yù)測(cè)倒譜系數(shù)(Linear Prediction Cepstral Coefficients,LPCC)等[12-14]。由于合成語(yǔ)音不能很好地模擬時(shí)間特征,頻譜特征的一階、二階動(dòng)態(tài)差分也有助于合成語(yǔ)音的檢測(cè)。Massimiliano 等人[15]設(shè)計(jì)的基于常數(shù)Q 變換的倒譜特征(Constant-Q Cepstral Coefficients,CQCC)常被用作競(jìng)賽中的基線特征。與全帶變換相比,子帶變換能更有效地捕獲合成語(yǔ)音中的偽影,Yang等人[16]提出了基于子帶變換的特征,并通過(guò)特征組合顯著提升了合成語(yǔ)音檢測(cè)的效果。近年來(lái)基于深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)的特征提取算法逐漸被應(yīng)用于語(yǔ)音特征提取任務(wù)中[17],Nanxin 等人[18]使用深度神經(jīng)網(wǎng)絡(luò)瓶頸(DNN-BN)特征構(gòu)建了一種語(yǔ)句級(jí)的s-vector 特征。常用的后端分類器有基于高斯混合模型(Gaussian Mixture Model,GMM)的分類器、支持向量機(jī)(Support Vector Machine,SVM)分類器以及基于深度神經(jīng)網(wǎng)絡(luò)模型的分類器。Alzantot 等人[19]構(gòu)建了基于深度殘差網(wǎng)絡(luò)(Deep Residual Network,ResNet)[20]的合成語(yǔ)音檢測(cè)模型,使用MFCC、CQCC、頻譜圖三種前端特征并進(jìn)行分?jǐn)?shù)融合。Wu 等人[21]提出了引入最大特征圖激活函數(shù)的輕量卷積神經(jīng)網(wǎng)絡(luò)(Light Convolutional Neural Network,LCNN),該網(wǎng)絡(luò)提煉度高、空間占用小,在后續(xù)提出的模型中被廣泛應(yīng)用[22-24]。Luo 等人[25]提出了基于膠囊網(wǎng)絡(luò)(Capsule Network,CapsNet)的檢測(cè)系統(tǒng),對(duì)動(dòng)態(tài)路由算法進(jìn)行改進(jìn),使模型更關(guān)注偽造語(yǔ)音中的偽影,提升網(wǎng)絡(luò)的泛化能力。

    研究表明,網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)和訓(xùn)練方法的設(shè)計(jì)可以提高合成語(yǔ)音檢測(cè)模型的性能,但是模型的潛力根本上取決于初始特征中捕獲的信息。手工特征的制作會(huì)丟失部分信息,很大程度上影響了對(duì)于未知攻擊的檢測(cè),因此,我們需要更高效、更通用的表征來(lái)提升模型的魯棒性。手工特征對(duì)基于DNN 的合成語(yǔ)音檢測(cè)并不是必須的,已有許多文獻(xiàn)提出了端到端合成語(yǔ)音檢測(cè)方案[26]。Tak等人[27]將改進(jìn)的RawNet2 網(wǎng)絡(luò)應(yīng)用到合成語(yǔ)音檢測(cè)領(lǐng)域,使用一組Sinc 濾波器通過(guò)時(shí)域卷積直接對(duì)原始波形進(jìn)行操作,然后通過(guò)殘差模塊和GRU 學(xué)習(xí)深層次的區(qū)分性信息并聚合話語(yǔ)級(jí)表征。Tak等人[28]又提出了RawGAT-ST模型,使用頻譜—時(shí)間圖形注意力網(wǎng)絡(luò)(Spectro-Temporal Graph Attention Network)來(lái)對(duì)跨越不同子帶和時(shí)間段的關(guān)系進(jìn)行建模。Hua 等人[29]基于ResNet 的跳層連接和Inception[30]的并行卷積結(jié)構(gòu)設(shè)計(jì)了兩種輕量級(jí)端到端時(shí)域合成語(yǔ)音檢測(cè)網(wǎng)絡(luò)(Time-domain Synthetic Speech Detection Net,TSSDNet),其中Inc-TSSDNet更加輕量級(jí),在沒(méi)有使用Mixup[31]訓(xùn)練技巧的情況下泛化性更好。

    CNN 中常用的注意力機(jī)制有通道注意力(Channel Attention)和空間注意力(Spatial Attention)等。近年來(lái),基于通道注意力、空間注意力以及將二者結(jié)合的輕量級(jí)嵌入型模塊在計(jì)算機(jī)視覺(jué)(Computer Vision,CV)領(lǐng)域中的應(yīng)用越來(lái)越受到關(guān)注,將SE 模塊(Squeeze-and-Excitation Module)[32]、CBAM(Convolutional Block Attention Module)[33]等嵌入到ResNet、Inception、ResNext[34]等原始網(wǎng)絡(luò)中能夠顯著提升網(wǎng)絡(luò)在圖像分類、圖像分割、目標(biāo)檢測(cè)等任務(wù)上的表現(xiàn)??紤]到模型復(fù)雜度和泛化性,我們選擇Inc-TSSDNet 作為基線模型,由于模型在ASVspoof2019 測(cè)試集上的表現(xiàn)不夠理想,為了降低等錯(cuò)誤率(Equal Error Rate,EER),本文提出一種基于通道和空間注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)模型,將現(xiàn)有先進(jìn)輕量級(jí)模塊中的注意力機(jī)制改進(jìn)為適用于語(yǔ)音序列的通道注意力和一維空間注意力(One-dimensional Spatial Attention),然后將模塊分別嵌入到Inc-TSSDNet 中,使網(wǎng)絡(luò)能夠重點(diǎn)關(guān)注某些對(duì)于檢測(cè)真?zhèn)胃P(guān)鍵的通道或區(qū)域。改進(jìn)網(wǎng)絡(luò)在參數(shù)量增加較少的前提下,測(cè)試集等錯(cuò)誤率和最小串聯(lián)檢測(cè)代價(jià)函數(shù)(Minimum Tandem Detection Cost Function,min t-DCF)[35]有明顯的降低。下文將詳細(xì)介紹本文提出的基于注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)系統(tǒng)。

    2 基于注意力機(jī)制的Inc-TSSDNet

    2.1 注意力機(jī)制

    注意力機(jī)制和人類對(duì)外界事物的觀察機(jī)制類似,即在眾多信息中人們會(huì)傾向于把注意力集中在某些重要的局部信息上,選擇對(duì)當(dāng)前事物更關(guān)鍵的信息,來(lái)形成對(duì)事物的整體印象。近年來(lái),注意力機(jī)制廣泛應(yīng)用于自然語(yǔ)言處理(Natural Language Processing,NLP)和CV等領(lǐng)域。注意力機(jī)制可分為軟注意力和強(qiáng)注意力,其中軟注意力更加關(guān)注通道或區(qū)域,是可微的。在神經(jīng)網(wǎng)絡(luò)模型中,注意力機(jī)制的表現(xiàn)形式通常是一個(gè)額外的神經(jīng)網(wǎng)絡(luò),能夠幫助模型硬性選擇輸入的某些部分,或給輸入的不同部分賦予不同的權(quán)重。注意力機(jī)制的基本思想是利用特征圖來(lái)學(xué)習(xí)權(quán)重分布,再將學(xué)習(xí)得到的權(quán)重施加到原始特征圖上進(jìn)行加權(quán)求和。

    2.1.1 通道注意力和一維空間注意力

    對(duì)于二維圖像,CNN 的每一層會(huì)輸出一個(gè)尺寸為C×H×W的特征圖,其中C表示通道數(shù),也是卷積核的數(shù)量,W和H表示原始圖片經(jīng)過(guò)壓縮后的寬度和高度。而對(duì)于一維語(yǔ)音序列,輸出特征圖的尺寸為C×L,L表示原始序列經(jīng)過(guò)壓縮后時(shí)間維度的長(zhǎng)度。

    按照注意力權(quán)重施加的方式和維度不同,軟注意力的關(guān)注域主要有通道域、空間域和混合域。通道注意力機(jī)制是在通道維度上,通過(guò)自動(dòng)學(xué)習(xí)的方式獲取每個(gè)特征通道的重要程度來(lái)組成一個(gè)權(quán)重矩陣,權(quán)重?cái)?shù)值越大,對(duì)應(yīng)的通道越重要,該通道與關(guān)鍵信息的相關(guān)度越高,而空間維度上的權(quán)重相同,這樣可以讓神經(jīng)網(wǎng)絡(luò)重點(diǎn)關(guān)注某些特征通道??臻g注意力機(jī)制作用于空間維度,在二維平面上,對(duì)每個(gè)像素點(diǎn)學(xué)習(xí)到一個(gè)權(quán)重,對(duì)H×W的特征圖得到一個(gè)權(quán)重矩陣,而對(duì)于一維序列,在每個(gè)時(shí)間點(diǎn)學(xué)習(xí)到一個(gè)權(quán)重,對(duì)長(zhǎng)度為L(zhǎng)的特征圖得到一個(gè)權(quán)重矩陣,在C個(gè)通道維度上權(quán)重相同。本文提出的模型使用了通道注意力和一維空間注意力。

    2.1.2 適用于一維序列的注意力模塊

    現(xiàn)有的輕量級(jí)注意力模塊大多是針對(duì)二維圖像相關(guān)任務(wù)設(shè)計(jì)的,本文對(duì)SENet[32]、CBAM[33]、scSE[36]、ECA-Net[37]和SA-Net[38]五篇文獻(xiàn)中提出的注意力模塊進(jìn)行調(diào)整,使他們適用于一維語(yǔ)音序列,能夠應(yīng)用在端到端合成語(yǔ)音檢測(cè)任務(wù)中。

    SE模塊引入了通道注意力機(jī)制,顯式地建模特征通道間的相互依賴關(guān)系,其結(jié)構(gòu)如圖1 所示。首先是Squeeze 操作,對(duì)輸入的C×L特征圖U=[u1,u2,…,uC]進(jìn)行空間的全局平均池化(Global Average Pooling),將每個(gè)通道長(zhǎng)度為L(zhǎng)的一維特征壓縮成一個(gè)實(shí)數(shù),得到尺寸為C×1的全局特征z,其中z的第c個(gè)元素可以表示為:

    圖1 SE模塊結(jié)構(gòu)Fig.1 The structure of SE module

    然后是Excitation 操作,通過(guò)兩個(gè)全連接層組成瓶頸(Bottleneck)結(jié)構(gòu)來(lái)建模通道間的相關(guān)性生成權(quán)重s:

    CBAM 結(jié)合通道注意力和一維空間注意力機(jī)制,沿通道和空間兩個(gè)維度依次計(jì)算注意力權(quán)重并對(duì)原始特征圖進(jìn)行加權(quán),其結(jié)構(gòu)如圖2 所示。在通道注意力模塊中,首先對(duì)輸入的C×L特征圖U分別進(jìn)行空間維度的全局最大池化(Global max pooling)和平均池化得到兩個(gè)C×1 的特征描述,然后分別送入一個(gè)共享的兩層神經(jīng)網(wǎng)絡(luò),兩層神經(jīng)元個(gè)數(shù)分別為C/r和C,實(shí)現(xiàn)方法與SE 模塊類似,再對(duì)兩個(gè)輸出向量進(jìn)行對(duì)應(yīng)元素相加(Element-wise Summation)后經(jīng)過(guò)Sigmoid 激活函數(shù)得到通道注意力權(quán)重Mc,最后用Mc和U對(duì)應(yīng)元素相乘(Element-wise Multiplication)得到通道加權(quán)后的特征圖U':

    圖2 CBAM結(jié)構(gòu)Fig.2 The structure of CBAM

    在一維空間注意力模塊中,將通道注意力模塊輸出的特征圖作為輸入,在通道維度上使用最大池化和平均池化得到兩個(gè)1×L的特征描述,再對(duì)兩個(gè)特征進(jìn)行基于通道的連接(concat)得到2×L的特征,然后經(jīng)過(guò)一個(gè)一維卷積降維成1 個(gè)通道,再經(jīng)過(guò)Sigmoid 激活函數(shù)得到空間注意力權(quán)重Ms,最后用Ms和U'對(duì)應(yīng)元素相乘得到加權(quán)特征圖U'':

    其中σ為Sigmoid 激活函數(shù),f7表示卷積核大小為7的1D卷積,?表示對(duì)應(yīng)元素相乘。

    scSE(Spatial-Channel Sequeeze &Excitation)模塊是基于SE 模塊改進(jìn)的一種變體,將通道注意力cSE 模塊和一維空間注意力sSE 模塊并行結(jié)合,其結(jié)構(gòu)如圖3 所示。cSE 模塊與SE 模塊結(jié)構(gòu)相同,核心操作是全局池化和兩個(gè)全連接層,最終得到通道加權(quán)的特征圖,由公式(1)、(2)、(3)可推導(dǎo)出如下公式:

    圖3 scSE模塊結(jié)構(gòu)Fig.3 The structure of scSE module

    其中sc為歸一化權(quán)重,U=[u1,u2,…,uC]表示輸入特征圖,uc∈R1×L。

    在sSE模塊中,對(duì)于輸入特征圖U=[u1,u2,…,uL],ui∈RC×1,先通過(guò)一個(gè)卷積核大小為1 的一維卷積降維得到1×L的特征圖q,再經(jīng)過(guò)Sigmoid 激活函數(shù)歸一化到0 至1 之間并與原始特征圖對(duì)應(yīng)相乘得到空間加權(quán)的特征圖,公式如下:

    其中σ(qi)表示特征圖中一維序列位置坐標(biāo)i的重要性。將上述兩個(gè)結(jié)果相加得到scSE 模塊的最終結(jié)果:

    ECA(Efficient Channel Attention)模塊是一種極輕量級(jí)的通道注意力模塊,它通過(guò)一維卷積實(shí)現(xiàn)不降維的跨通道信息交互,在兼顧復(fù)雜度的情況下提升模型性能,其結(jié)構(gòu)如圖4所示。文獻(xiàn)[37]的作者認(rèn)為SE模塊中的降維操作對(duì)捕獲所有通道之間的依賴關(guān)系是低效且不必要的,而適當(dāng)?shù)目缤ǖ澜换ビ兄趯W(xué)習(xí)高效率和高性能的通道注意力。對(duì)輸入特征圖U進(jìn)行空間維度的全局平均池化后通過(guò)一個(gè)卷積核大小為k的一維卷積,其中k還表示局部跨通道交互的覆蓋率,根據(jù)k與通道維數(shù)C成正比提出一種自適應(yīng)確定k的方法:

    圖4 ECA模塊結(jié)構(gòu)Fig.4 The structure of ECA module

    其中γ=2,b=1,|x|odd為選擇最近的奇數(shù)。最后經(jīng)過(guò)Sigmoid 激活函數(shù)得到通道注意力權(quán)重,再與原始特征圖對(duì)應(yīng)相乘得到加權(quán)特征圖U'。

    SA(Shuffle Attention)模塊采用特征分組和通道置換將通道注意力和一維空間注意力有效地結(jié)合起來(lái),是一種超輕量的注意力模塊,其結(jié)構(gòu)如圖5所示。對(duì)于輸入的特征圖U∈RC×L,首先沿通道維度劃分成G組,即U=[U1,…,UG],Uk∈,每組特征再沿通道分成兩個(gè)分支,即Uk1,Uk2∈,分別計(jì)算通道注意力和一維空間注意力。在通道注意力中,先進(jìn)行空間的全局平均池化,得到×1 的全局特征z,然后通過(guò)Sigmoid 激活的簡(jiǎn)單門(mén)控機(jī)制,與Uk1對(duì)應(yīng)相乘得到輸出:

    圖5 SA模塊結(jié)構(gòu)Fig.5 The structure of SA module

    在一維空間注意力中,先對(duì)Uk2進(jìn)行組歸一化(Group Norm,GN)[39]得到空間域的統(tǒng)計(jì)信息,然后采用Fc(·)進(jìn)行增強(qiáng),與Uk2對(duì)應(yīng)相乘輸出:

    其中參數(shù)W1,W2,b1,b2∈。將兩個(gè)分支的結(jié)果連接起來(lái)得到。最后將所有子特征聚合起來(lái),通過(guò)與ShuffleNet v2[40]類似的通道混洗(Channel Shuffle)操作實(shí)現(xiàn)沿通道維度的跨組信息交互,得到最終的加權(quán)特征圖U'。

    2.2 基于Inc-TSSDNet的改進(jìn)網(wǎng)絡(luò)

    Inc-TSSDNet 網(wǎng)絡(luò)由第一層1×7 卷積層、堆疊的M個(gè)類似Inception 結(jié)構(gòu)的模塊、全局池化層和三個(gè)全連接層組成,每個(gè)類似Inception 的模塊之后都使用了最大池化層,每個(gè)卷積層之后都跟隨有批標(biāo)準(zhǔn)化(Batch Normalization,BN)層和ReLU 激活函數(shù),除了最后一層外每個(gè)全連接層后都使用了ReLU 激活函數(shù)。為了增大感受野并控制模型的復(fù)雜度,文獻(xiàn)[29]在原始Inception的基礎(chǔ)上進(jìn)行改進(jìn),類似Inception 的模塊中使用擴(kuò)張卷積(Dilated Convolution),所有卷積層使用1×3的內(nèi)核、填充與擴(kuò)張率相同且步長(zhǎng)為1,池化層的步長(zhǎng)等于對(duì)應(yīng)內(nèi)核大小。為了兼顧檢測(cè)表現(xiàn)和模型復(fù)雜度,本文選取M=4、4分支的Inc-TSSDNet 作為基線模型,在每個(gè)類似Inception 的模塊之后分別引入上文所述的五種注意力模塊,將模塊分別嵌入最大池化層前后進(jìn)行實(shí)驗(yàn),改進(jìn)網(wǎng)絡(luò)的結(jié)構(gòu)如圖6所示。

    圖6 中網(wǎng)絡(luò)參數(shù)M=4,CI={8,16,32,32},CA={32,64,128,128},CL={64,32},圖6(a)中LA={24000,6000,1500,375},圖6(b)中LA={6000,1500,375,1}。

    圖6 基于注意力機(jī)制的Inc-TSSDNet結(jié)構(gòu)Fig.6 The structure of Inc-TSSDNet based on attention mechanism

    3 網(wǎng)絡(luò)訓(xùn)練及實(shí)驗(yàn)結(jié)果

    3.1 數(shù)據(jù)集及預(yù)處理

    本文使用了ASVspoof2019數(shù)據(jù)集和ASVspoof 2015 數(shù)據(jù)集。ASVspoof2019數(shù)據(jù)集包含LA和PA兩個(gè)子集,我們使用LA子集來(lái)研究語(yǔ)音合成和語(yǔ)音轉(zhuǎn)換攻擊,LA的訓(xùn)練集有20個(gè)說(shuō)話人(8名男性、12名女性),包括2580 段真實(shí)語(yǔ)音和22800 段偽造語(yǔ)音,驗(yàn)證集有20 個(gè)說(shuō)話人(8 名男性、12 名女性),包括2548 段真實(shí)語(yǔ)音和22296 段偽造語(yǔ)音,測(cè)試集有67 個(gè)說(shuō)話人(30 名男性、37 名女性),包括7355 段真實(shí)語(yǔ)音和63882 段偽造語(yǔ)音。ASVspoof2015 數(shù)據(jù)集的驗(yàn)證集有35 個(gè)說(shuō)話人(15 名男性、20 名女性),包括3497 段真實(shí)語(yǔ)音和49875 段偽造語(yǔ)音,測(cè)試集有46 個(gè)說(shuō)話人(20 名男性、26 名女性),包括9404 段真實(shí)語(yǔ)音和184000 段偽造語(yǔ)音。同一數(shù)據(jù)集的訓(xùn)練集、驗(yàn)證集、測(cè)試集中說(shuō)話人互不重疊。

    進(jìn)行數(shù)據(jù)預(yù)處理,從數(shù)據(jù)集提供的語(yǔ)音片段中截取6 秒,不足6 秒的片段先復(fù)制再截取,音頻采樣率為16 kHz。將截取的6秒語(yǔ)音片段直接輸入網(wǎng)絡(luò)進(jìn)行端到端訓(xùn)練,即輸入特征圖的長(zhǎng)度L=9.6×104。

    3.2 網(wǎng)絡(luò)訓(xùn)練

    實(shí)驗(yàn)中端到端合成語(yǔ)音檢測(cè)系統(tǒng)基于Pytorch進(jìn)行訓(xùn)練和測(cè)試。由于真實(shí)語(yǔ)音片段的數(shù)量遠(yuǎn)小于偽造語(yǔ)音片段,本文在訓(xùn)練階段采用加權(quán)交叉熵(Weighted Cross-entropy,WCE)損失來(lái)處理樣本不平衡的問(wèn)題:

    其中yi表示標(biāo)簽,?i,yi∈{0,1},z=[z0,z1]是經(jīng)過(guò)Softmax后兩個(gè)類別的概率,權(quán)重與訓(xùn)練集中標(biāo)簽yi的數(shù)量成反比。在訓(xùn)練過(guò)程中,批量大?。╞atch size)設(shè)置為32,使用Adam優(yōu)化器和默認(rèn)設(shè)置,按指數(shù)衰減調(diào)整學(xué)習(xí)率,系數(shù)設(shè)置為0.95,選擇100個(gè)階段內(nèi)模型在驗(yàn)證集上產(chǎn)生最低EER的階段進(jìn)行測(cè)試。

    本文采用等錯(cuò)誤率(EER)和串聯(lián)檢測(cè)代價(jià)函數(shù)(Tandem Detection Cost Function,t-DCF)來(lái)評(píng)估基于注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)系統(tǒng)性能優(yōu)劣。偽造語(yǔ)音檢測(cè)是一種二分類任務(wù),錯(cuò)誤接受率(False Accept Rate,F(xiàn)AR)是偽造語(yǔ)音中被錯(cuò)誤分類為真實(shí)語(yǔ)音的比例,而錯(cuò)誤拒絕率(False Rejection Rate,F(xiàn)RR)是真實(shí)語(yǔ)音中被錯(cuò)誤分類為偽造語(yǔ)音的比例,給定系統(tǒng)檢測(cè)得分和閾值θ,錯(cuò)誤接受率Pfa(θ)和錯(cuò)誤拒絕率Pfr(θ)的計(jì)算公式如下:

    閾值為θ時(shí)EER 對(duì)應(yīng)FAR 和FRR 相等時(shí)的值,即EER=Pfa(θ)=Pfr(θ),EER 越小,合成語(yǔ)音檢測(cè)系統(tǒng)的效果越好。

    t-DCF 是一種綜合評(píng)估指標(biāo),通過(guò)最小風(fēng)險(xiǎn)貝葉斯決策來(lái)評(píng)估ASV 系統(tǒng)的可靠性,能夠反映在現(xiàn)實(shí)場(chǎng)景中合成語(yǔ)音和檢測(cè)系統(tǒng)對(duì)ASV 系統(tǒng)性能共同產(chǎn)生的影響,其計(jì)算過(guò)程可簡(jiǎn)化為:

    其中系數(shù)β由誤判成本、偽造攻擊優(yōu)先級(jí)和ASV 系統(tǒng)檢測(cè)性能決定。t-DCF 越小,合成語(yǔ)音檢測(cè)系統(tǒng)的泛化性越好。

    3.3 實(shí)驗(yàn)結(jié)果及分析

    本文基于上述參數(shù)設(shè)置和數(shù)據(jù)集,針對(duì)五種注意力模塊、兩種注意力模塊嵌入位置得到的十種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn),對(duì)比分析基于注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)系統(tǒng)的網(wǎng)絡(luò)復(fù)雜程度、EER、min t-DCF、統(tǒng)計(jì)性能和跨庫(kù)性能。

    不同模型在ASVspoof2019數(shù)據(jù)集的驗(yàn)證集和測(cè)試集下的EER和min t-DCF如表1所示。表中的降維系數(shù)(ratio)是SE 模塊、CBAM 和scSE 模塊中的超參數(shù),組數(shù)(group)是SA 模塊中的超參數(shù),均通過(guò)多次實(shí)驗(yàn)確定最佳取值。由于所提模型的實(shí)驗(yàn)結(jié)果具有波動(dòng)性,表中的結(jié)果為在最佳降維系數(shù)或組數(shù)的情況下重復(fù)訓(xùn)練30次得到的最低測(cè)試集EER。兩種注意力模塊嵌入位置的模型參數(shù)量相等,而將注意力模塊嵌入池化層之前的計(jì)算量會(huì)高于嵌入池化層之后。表中數(shù)據(jù)顯示,在增加參數(shù)量較少的前提下,嵌入注意力模塊的Inc-TSSDNet在ASVspoof2019測(cè)試集下的EER 和min t-DCF 都比基線模型有一定程度的降低,這表明引入通道注意力機(jī)制和一維空間注意力機(jī)制能使檢測(cè)系統(tǒng)更加關(guān)注某些對(duì)于檢測(cè)真?zhèn)侮P(guān)鍵的信息來(lái)提升系統(tǒng)表現(xiàn),增強(qiáng)系統(tǒng)的泛化能力,其中在池化層之前嵌入CBAM 的模型在測(cè)試集下EER最低,嵌入ECA模塊的模型測(cè)試集min t-DCF最低。

    表1 不同模型在驗(yàn)證集和測(cè)試集下的EER(%)和min t-DCFTab.1 EER(%)and min t-DCF of different models in development set and evaluation set

    對(duì)于五種注意力模塊,SE模塊和ECA模塊只引入了通道注意力機(jī)制,其余三種模塊結(jié)合了通道注意力和一維空間注意力。文獻(xiàn)[32]列出的實(shí)驗(yàn)結(jié)果表明在原始網(wǎng)絡(luò)中嵌入SE 模塊可以提升模型在圖像分類(ImageNet 2012、CIFAR-10、CIFAR-100 數(shù)據(jù)集、ILSVRC 2017)、場(chǎng)景分類(Places365-Challenge數(shù)據(jù)集)、目標(biāo)檢測(cè)(Microsoft COCO 數(shù)據(jù)集)任務(wù)中的表現(xiàn),文獻(xiàn)[33]的實(shí)驗(yàn)結(jié)果顯示嵌入CBAM 能夠提升模型在圖像分類(ImageNet-1K數(shù)據(jù)集)、目標(biāo)檢測(cè)(Microsoft COCO、PASCAL VOC 2007 數(shù)據(jù)集)任務(wù)中的表現(xiàn),文獻(xiàn)[36]的實(shí)驗(yàn)僅證明了嵌入scSE 模塊對(duì)于圖像分割任務(wù)(醫(yī)學(xué)數(shù)據(jù)集MALC 和Visceral)是有效的,文獻(xiàn)[37]和[38]表明嵌入ECA模塊和SA 模塊可以提升模型在圖像分類(ImageNet-1K數(shù)據(jù)集)、目標(biāo)檢測(cè)(Microsoft COCO 數(shù)據(jù)集)、實(shí)例分割(Microsoft COCO 數(shù)據(jù)集)任務(wù)中的表現(xiàn)。SE模塊、CBAM、ECA 模塊和SA 模塊在一些分類、分割、目標(biāo)檢測(cè)任務(wù)和數(shù)據(jù)集上具有普適性,適用于合成語(yǔ)音檢測(cè)任務(wù)的可能性更大,文獻(xiàn)中的實(shí)驗(yàn)大多是將這四種注意力模塊嵌入ResNet 網(wǎng)絡(luò),而本文的基線模型是由類似Inception的并行卷積結(jié)構(gòu)堆疊而成的。此外,圖像分類等任務(wù)需要關(guān)注圖片的內(nèi)容,雖然合成語(yǔ)音檢測(cè)也是一種分類任務(wù),但我們并不關(guān)注語(yǔ)音中講述的內(nèi)容,只關(guān)注能區(qū)分真假的特征,這與上述其他任務(wù)不同。綜上所述,注意力模塊在其他任務(wù)中的表現(xiàn)與本文實(shí)驗(yàn)結(jié)果無(wú)直接關(guān)聯(lián),我們可以根據(jù)實(shí)驗(yàn)結(jié)果推測(cè)得出:使用兩個(gè)全連接層和自適應(yīng)一維卷積來(lái)捕獲通道間相關(guān)性的設(shè)計(jì)對(duì)于合成語(yǔ)音檢測(cè)都是有效的,同時(shí)使用最大池化層和平均池化層能夠使檢測(cè)系統(tǒng)獲得更豐富的信息,而將通道注意力模塊和一維空間注意力模塊并行連接和特征分組的設(shè)計(jì)對(duì)合成語(yǔ)音檢測(cè)任務(wù)的作用不大。

    不同模型在ASVspoof2019 測(cè)試集每種攻擊(A07-A19)下的EER 如表2 所示??梢悦黠@看到攻擊A08 和A17 嚴(yán)重影響了合成語(yǔ)音檢測(cè)系統(tǒng)的性能,而引入通道注意力機(jī)制和一維空間注意力機(jī)制能夠使系統(tǒng)更好的應(yīng)對(duì)A08,將SE 模塊、CBAM、scSE 模塊嵌入池化層前的三個(gè)模型在A08 下的EER 顯著降低,但引入注意力機(jī)制并沒(méi)有提升系統(tǒng)檢測(cè)A17 的表現(xiàn)。A08 是一種語(yǔ)音合成攻擊,使用了基于神經(jīng)源濾波器(Neural Source-filter,NSF)的非自回歸波形生成模型[41],這與訓(xùn)練集中合成語(yǔ)音使用WORLD、WaveNet等聲碼器的波形生成機(jī)制有一定差異,可能對(duì)合成語(yǔ)音檢測(cè)造成了干擾,引入注意力機(jī)制能使網(wǎng)絡(luò)更關(guān)注神經(jīng)網(wǎng)絡(luò)聲碼器時(shí)域波形建模方法的特性來(lái)改善系統(tǒng)性能。A17是一種語(yǔ)音轉(zhuǎn)換攻擊,使用直接波形修正(Direct Waveform Modification)的方法[42]來(lái)生成波形。A17 的欺騙性極強(qiáng),許多現(xiàn)有先進(jìn)合成語(yǔ)音檢測(cè)系統(tǒng)在A17攻擊下的表現(xiàn)最差,文獻(xiàn)[27]的作者根據(jù)A17 的偽造特征能夠被RawNet2檢測(cè)系統(tǒng)中的固定Sinc濾波器捕獲,推斷認(rèn)為這種特征與相位相關(guān),而本文提出的網(wǎng)絡(luò)結(jié)構(gòu)不包含線性相位濾波器,引入注意力機(jī)制也不能提升系統(tǒng)檢測(cè)A17的能力。

    表2 不同模型在測(cè)試集每種攻擊(A07-A19)下的EER(%)Tab.2 EER(%)of different models for each attack in the evaluation set(A07-A19)

    下面將本文所提系統(tǒng)與領(lǐng)域最前沿方法進(jìn)行對(duì)比,各種方法在ASVspoof2019測(cè)試集下的EER和min t-DCF 如表3 所示。比較表明,在權(quán)衡測(cè)試集下表現(xiàn)和模型復(fù)雜度的情況下,本文提出的基于注意力機(jī)制的Inc-TSSDNet 具有一定優(yōu)勢(shì),所提系統(tǒng)在測(cè)試集下的表現(xiàn)優(yōu)于Spec+CQCC+ResNet+SE[43]、LFCC+LCNN-4CBAM[44]等使用類似注意力機(jī)制的方法和端到端檢測(cè)系統(tǒng)RawNet2[27]。雖然所提系統(tǒng)的測(cè)試集EER 和min t-DCF 略高于CQT+Res2Net+SE方法[45],但其網(wǎng)絡(luò)復(fù)雜度和計(jì)算復(fù)雜度遠(yuǎn)小于后者,其參數(shù)量是后者的十分之一左右,且所提系統(tǒng)是端到端的,不需要計(jì)算手工特征,更加方便快捷。

    表3 所提系統(tǒng)和最前沿方法在測(cè)試集下的EER(%)和min t-DCFTab.3 EER(%)and min t-DCF of the proposed and state-of-the-art methods in the evaluation set

    下面分析系統(tǒng)的統(tǒng)計(jì)性能,固定所有超參數(shù)后,使用ASVspoof2019 訓(xùn)練集分別對(duì)十個(gè)模型進(jìn)行30次從頭開(kāi)始的訓(xùn)練,在驗(yàn)證集和測(cè)試集下的EER如圖7所示,其中基線模型Inc-TSSDNet的數(shù)據(jù)來(lái)源于文獻(xiàn)[29]。由圖可見(jiàn),將ECA 模塊嵌入池化層前的模型在統(tǒng)計(jì)性能方面表現(xiàn)最好,訓(xùn)練30次的結(jié)果波動(dòng)范圍最小,測(cè)試集EER 都落在3.76%到5.03%之間且有3次低于3.8%的結(jié)果,比基線模型的統(tǒng)計(jì)性能有較大提升。其余模型雖然最好一次或幾次結(jié)果的測(cè)試集EER 比基線模型最好結(jié)果有所降低,但測(cè)試集EER的波動(dòng)范圍也會(huì)變大。

    圖7 不同模型的統(tǒng)計(jì)性能圖Fig.7 Statistical performance diagram of different models

    為了檢測(cè)系統(tǒng)的泛化能力,本文使用在ASVspoof2019 數(shù)據(jù)集上訓(xùn)練得到的網(wǎng)絡(luò)模型在ASVspoof2015 數(shù)據(jù)集的驗(yàn)證集和測(cè)試集上進(jìn)行測(cè)試,結(jié)果如表4 所示。從結(jié)果上看,除了將scSE 模塊和ECA 模塊嵌入池化層之后的兩個(gè)模型,其余模型的跨數(shù)據(jù)集EER 都有所降低,在池化層之前嵌入CBAM 的Inc-TSSDNet 模型最好結(jié)果在ASVspoof2015的驗(yàn)證集和測(cè)試集下的EER 最低,表明在Inc-TSSDNet的合適位置引入通道注意力機(jī)制和一維空間注意力機(jī)制可以增強(qiáng)網(wǎng)絡(luò)的泛化性。

    表4 不同模型的跨庫(kù)EER(%)Tab.4 Cross-dataset EER(%)of different models

    4 結(jié)論

    本文在端到端合成語(yǔ)音檢測(cè)系統(tǒng)Inc-TSSDNet網(wǎng)絡(luò)的基礎(chǔ)上,引入通道注意力機(jī)制和一維空間注意力機(jī)制,使網(wǎng)絡(luò)重點(diǎn)關(guān)注某些對(duì)于檢測(cè)真?zhèn)胃P(guān)鍵的通道或區(qū)域。實(shí)驗(yàn)結(jié)果顯示,在Inc-TSSDNet的合適位置嵌入注意力模塊可以提升檢測(cè)系統(tǒng)的性能,在池化層之前嵌入CBAM 的Inc-TSSDNet 模型最好結(jié)果在ASVspoof2019測(cè)試集下的EER為3.28%,較基線模型降低了18.8%,且模型參數(shù)量增加較少,該模型還具有優(yōu)秀的跨庫(kù)性能,其最好結(jié)果在ASVspoof2015的驗(yàn)證集和測(cè)試集下的EER 較基線模型分別降低了67.3%和36.8%,在池化層之前嵌入ECA模塊的Inc-TSSDNet 模型最好結(jié)果在ASVspoof2019 測(cè)試集下的min t-DCF 為0.0861,較基線模型降低了11.8%。本文僅調(diào)整并使用了五種注意力模塊中的算法,后續(xù)工作將進(jìn)行消融研究,分別關(guān)注通道注意力機(jī)制、一維空間注意力機(jī)制、特定網(wǎng)絡(luò)層等在系統(tǒng)性能中起到的作用,設(shè)計(jì)更適合合成語(yǔ)音檢測(cè)任務(wù)的注意力模塊以進(jìn)一步提升檢測(cè)系統(tǒng)性能。

    猜你喜歡
    機(jī)制特征檢測(cè)
    “不等式”檢測(cè)題
    “一元一次不等式”檢測(cè)題
    “一元一次不等式組”檢測(cè)題
    如何表達(dá)“特征”
    不忠誠(chéng)的四個(gè)特征
    自制力是一種很好的篩選機(jī)制
    文苑(2018年21期)2018-11-09 01:23:06
    抓住特征巧觀察
    小波變換在PCB缺陷檢測(cè)中的應(yīng)用
    破除舊機(jī)制要分步推進(jìn)
    注重機(jī)制的相互配合
    国产日韩欧美在线精品| 一级毛片电影观看 | 久久久久久久久中文| 国产精品国产高清国产av| 亚洲精品久久久久久婷婷小说 | 国产在线一区二区三区精 | 一级毛片电影观看 | 国产老妇女一区| 成人三级黄色视频| 偷拍熟女少妇极品色| 熟女人妻精品中文字幕| 久久久久久久久中文| 纵有疾风起免费观看全集完整版 | 免费av毛片视频| 日本av手机在线免费观看| 在线免费十八禁| 精品久久久久久久久久久久久| 中文资源天堂在线| 久久99精品国语久久久| 色噜噜av男人的天堂激情| 99在线人妻在线中文字幕| av在线亚洲专区| 成人欧美大片| 麻豆一二三区av精品| 欧美高清成人免费视频www| 看片在线看免费视频| 国产成人午夜福利电影在线观看| 中国美白少妇内射xxxbb| 在线播放无遮挡| 熟妇人妻久久中文字幕3abv| 国产免费男女视频| 麻豆成人av视频| av福利片在线观看| 久久久亚洲精品成人影院| 亚洲精品久久久久久婷婷小说 | 免费不卡的大黄色大毛片视频在线观看 | 一级黄色大片毛片| 国产精品福利在线免费观看| 亚洲精品日韩av片在线观看| 国产国拍精品亚洲av在线观看| 日本av手机在线免费观看| av国产久精品久网站免费入址| 亚洲成人久久爱视频| 内地一区二区视频在线| 最近最新中文字幕大全电影3| 久久久欧美国产精品| 看十八女毛片水多多多| 午夜福利在线在线| 亚洲精品成人久久久久久| 国产一区亚洲一区在线观看| 中国国产av一级| 嫩草影院入口| 日韩 亚洲 欧美在线| 99久久成人亚洲精品观看| 日韩在线高清观看一区二区三区| 日韩,欧美,国产一区二区三区 | 久久久久久久午夜电影| 嫩草影院新地址| 欧美成人一区二区免费高清观看| 精品一区二区三区视频在线| 亚洲国产色片| 亚洲一区高清亚洲精品| 又爽又黄a免费视频| 久久这里有精品视频免费| 伦理电影大哥的女人| .国产精品久久| 久久久久久九九精品二区国产| 亚洲成人精品中文字幕电影| 久久精品久久久久久噜噜老黄 | 国产精品久久电影中文字幕| 国产乱人偷精品视频| 18禁动态无遮挡网站| 精品99又大又爽又粗少妇毛片| 精品久久久噜噜| 人人妻人人看人人澡| 国产精品人妻久久久久久| 特级一级黄色大片| 精品国产一区二区三区久久久樱花 | 岛国在线免费视频观看| 超碰av人人做人人爽久久| 春色校园在线视频观看| 国内精品宾馆在线| 成人鲁丝片一二三区免费| 国产久久久一区二区三区| 十八禁国产超污无遮挡网站| 国产午夜精品一二区理论片| 亚洲在久久综合| 中文亚洲av片在线观看爽| 三级国产精品欧美在线观看| 久久99蜜桃精品久久| eeuss影院久久| 最新中文字幕久久久久| 我要看日韩黄色一级片| 日本欧美国产在线视频| 丰满少妇做爰视频| 99久久人妻综合| 国产高清不卡午夜福利| 色吧在线观看| 午夜爱爱视频在线播放| 亚洲在久久综合| 26uuu在线亚洲综合色| 亚洲欧美日韩卡通动漫| 国产日韩欧美在线精品| 久久99精品国语久久久| 欧美xxxx黑人xx丫x性爽| 精品人妻一区二区三区麻豆| 成人毛片60女人毛片免费| 少妇的逼好多水| 精品人妻熟女av久视频| www.av在线官网国产| 午夜a级毛片| 国模一区二区三区四区视频| 亚洲丝袜综合中文字幕| 人人妻人人澡欧美一区二区| 18禁在线无遮挡免费观看视频| 日韩欧美国产在线观看| 亚洲精品乱码久久久久久按摩| 18禁在线播放成人免费| 天堂影院成人在线观看| 婷婷色麻豆天堂久久 | h日本视频在线播放| 久久久久久伊人网av| 禁无遮挡网站| av在线亚洲专区| 黄片wwwwww| videossex国产| 国产色爽女视频免费观看| 亚洲av日韩在线播放| 亚洲av成人av| 男人狂女人下面高潮的视频| 欧美日韩一区二区视频在线观看视频在线 | 国产色婷婷99| 男人舔奶头视频| 搡老妇女老女人老熟妇| 真实男女啪啪啪动态图| 只有这里有精品99| 一区二区三区免费毛片| 精品国内亚洲2022精品成人| 欧美日韩精品成人综合77777| 国产成人a∨麻豆精品| 久久久a久久爽久久v久久| 两个人的视频大全免费| 一级二级三级毛片免费看| 午夜精品国产一区二区电影 | 级片在线观看| 国产av在哪里看| 卡戴珊不雅视频在线播放| 午夜久久久久精精品| 两个人的视频大全免费| 丝袜美腿在线中文| 秋霞伦理黄片| 精品国产三级普通话版| 在线免费观看不下载黄p国产| 麻豆成人av视频| 搡女人真爽免费视频火全软件| 最近手机中文字幕大全| 日日摸夜夜添夜夜添av毛片| 免费电影在线观看免费观看| 国产黄色视频一区二区在线观看 | 欧美成人一区二区免费高清观看| 97超碰精品成人国产| 五月伊人婷婷丁香| 美女cb高潮喷水在线观看| 精品久久久久久久人妻蜜臀av| 三级男女做爰猛烈吃奶摸视频| 日韩制服骚丝袜av| 99在线视频只有这里精品首页| 国产91av在线免费观看| 精品熟女少妇av免费看| 久久精品久久精品一区二区三区| 欧美潮喷喷水| 男女下面进入的视频免费午夜| 99久久精品国产国产毛片| 小蜜桃在线观看免费完整版高清| 菩萨蛮人人尽说江南好唐韦庄 | 在线a可以看的网站| 国产成人精品婷婷| 91精品国产九色| 欧美区成人在线视频| 久久久久久国产a免费观看| 久久久国产成人精品二区| 在线观看66精品国产| 麻豆国产97在线/欧美| 国产精品伦人一区二区| 国产爱豆传媒在线观看| 日韩欧美精品免费久久| 国产免费男女视频| 亚洲一级一片aⅴ在线观看| 午夜激情福利司机影院| 日本免费在线观看一区| 两个人视频免费观看高清| 国产成人精品一,二区| 久久久午夜欧美精品| 卡戴珊不雅视频在线播放| 欧美97在线视频| 国产一区二区三区av在线| 午夜老司机福利剧场| 人人妻人人看人人澡| 亚洲欧洲国产日韩| 日韩一区二区三区影片| 欧美日韩一区二区视频在线观看视频在线 | 伊人久久精品亚洲午夜| 亚洲国产欧美人成| 精品人妻一区二区三区麻豆| 97人妻精品一区二区三区麻豆| 日韩高清综合在线| 久久久欧美国产精品| 久久婷婷人人爽人人干人人爱| 能在线免费观看的黄片| 99视频精品全部免费 在线| 嫩草影院精品99| 又爽又黄a免费视频| 午夜福利在线在线| 欧美色视频一区免费| 搞女人的毛片| 亚洲国产欧美人成| 男女那种视频在线观看| 精品人妻视频免费看| 亚洲精品国产av成人精品| kizo精华| 在线免费观看的www视频| 久久精品国产亚洲网站| 亚洲中文字幕一区二区三区有码在线看| 18禁在线播放成人免费| 精品久久久噜噜| 精华霜和精华液先用哪个| 亚洲最大成人手机在线| 色综合色国产| 欧美性猛交黑人性爽| 尤物成人国产欧美一区二区三区| 国产三级在线视频| 日韩 亚洲 欧美在线| 波野结衣二区三区在线| 免费观看人在逋| 国产免费又黄又爽又色| 亚洲av男天堂| 免费看日本二区| 18禁在线播放成人免费| 国产 一区 欧美 日韩| 国产亚洲5aaaaa淫片| videossex国产| 尾随美女入室| 色哟哟·www| 内地一区二区视频在线| 亚洲国产精品sss在线观看| 大香蕉97超碰在线| h日本视频在线播放| 噜噜噜噜噜久久久久久91| 中文在线观看免费www的网站| 自拍偷自拍亚洲精品老妇| 国内精品宾馆在线| 色网站视频免费| 中国国产av一级| 99热这里只有是精品50| 精品人妻视频免费看| 国产淫片久久久久久久久| 精品酒店卫生间| 淫秽高清视频在线观看| 美女被艹到高潮喷水动态| 成人国产麻豆网| 人妻系列 视频| 欧美日韩一区二区视频在线观看视频在线 | 伦理电影大哥的女人| 综合色av麻豆| 亚洲在线自拍视频| 亚洲怡红院男人天堂| 99热全是精品| 久久热精品热| 在现免费观看毛片| 久久精品91蜜桃| 69人妻影院| 国产激情偷乱视频一区二区| 免费不卡的大黄色大毛片视频在线观看 | 国产在线一区二区三区精 | 水蜜桃什么品种好| 欧美三级亚洲精品| 午夜福利在线观看吧| 国产探花极品一区二区| or卡值多少钱| 国产午夜精品一二区理论片| 精品久久久久久久久av| 亚洲av成人精品一区久久| 午夜a级毛片| 桃色一区二区三区在线观看| 久久久亚洲精品成人影院| 亚洲精品国产av成人精品| 岛国毛片在线播放| 成人漫画全彩无遮挡| 久久精品熟女亚洲av麻豆精品 | 久久久久久国产a免费观看| 中文字幕人妻熟人妻熟丝袜美| 亚洲精品成人久久久久久| 国产中年淑女户外野战色| 夜夜看夜夜爽夜夜摸| 国产免费视频播放在线视频 | 亚洲欧美日韩无卡精品| 秋霞在线观看毛片| 日韩人妻高清精品专区| 久99久视频精品免费| 最近中文字幕2019免费版| 狠狠狠狠99中文字幕| 亚洲精华国产精华液的使用体验| 国产精品三级大全| 国产成人精品一,二区| 久久婷婷人人爽人人干人人爱| 亚洲精品456在线播放app| 亚洲激情五月婷婷啪啪| 禁无遮挡网站| 欧美三级亚洲精品| 99久久精品国产国产毛片| 亚洲色图av天堂| 日本av手机在线免费观看| 国产又色又爽无遮挡免| 亚洲国产欧洲综合997久久,| 国产日韩欧美在线精品| av又黄又爽大尺度在线免费看 | 日本午夜av视频| 三级毛片av免费| 1000部很黄的大片| 亚洲国产色片| 边亲边吃奶的免费视频| 精品一区二区三区视频在线| 1000部很黄的大片| 简卡轻食公司| 国产爱豆传媒在线观看| 精品人妻熟女av久视频| 国产高潮美女av| 亚洲精品国产av成人精品| 波野结衣二区三区在线| 国产精品久久视频播放| 人人妻人人澡人人爽人人夜夜 | 国产亚洲av嫩草精品影院| av天堂中文字幕网| 能在线免费看毛片的网站| 成年版毛片免费区| 亚洲五月天丁香| 国产成人freesex在线| 中国国产av一级| 少妇的逼水好多| 九色成人免费人妻av| 国产成人精品一,二区| 久久久久久久久大av| 亚洲人成网站在线播| 国产 一区精品| 韩国av在线不卡| 久久久亚洲精品成人影院| 精品一区二区三区视频在线| 欧美一区二区精品小视频在线| 一本一本综合久久| 午夜福利网站1000一区二区三区| 亚洲国产色片| 在线观看av片永久免费下载| 国产片特级美女逼逼视频| 国产极品精品免费视频能看的| 最近手机中文字幕大全| 亚洲中文字幕一区二区三区有码在线看| 插阴视频在线观看视频| 亚洲电影在线观看av| 亚洲综合精品二区| 免费观看在线日韩| 麻豆成人午夜福利视频| 国产精品综合久久久久久久免费| 51国产日韩欧美| 精品人妻偷拍中文字幕| 国产精华一区二区三区| 一个人看视频在线观看www免费| 亚洲怡红院男人天堂| 69av精品久久久久久| 最近最新中文字幕大全电影3| 亚洲精品自拍成人| 亚洲av熟女| 国产成人精品一,二区| 欧美日韩精品成人综合77777| 2021少妇久久久久久久久久久| 天堂网av新在线| 亚洲成人中文字幕在线播放| 亚洲国产精品成人综合色| 精品久久久久久成人av| 插逼视频在线观看| av在线天堂中文字幕| 直男gayav资源| 1000部很黄的大片| 日本爱情动作片www.在线观看| 午夜精品一区二区三区免费看| 男女啪啪激烈高潮av片| 久久韩国三级中文字幕| 国产精品野战在线观看| 欧美bdsm另类| 水蜜桃什么品种好| 国产精品1区2区在线观看.| 国产精品日韩av在线免费观看| 国产单亲对白刺激| 亚洲电影在线观看av| 一区二区三区乱码不卡18| 精品国产露脸久久av麻豆 | 国产麻豆成人av免费视频| 亚洲精品日韩在线中文字幕| 欧美丝袜亚洲另类| 亚洲自拍偷在线| 超碰97精品在线观看| av免费观看日本| 午夜精品国产一区二区电影 | 欧美日韩综合久久久久久| 韩国高清视频一区二区三区| 精品人妻视频免费看| 如何舔出高潮| 亚洲国产精品专区欧美| 十八禁国产超污无遮挡网站| 麻豆国产97在线/欧美| 小蜜桃在线观看免费完整版高清| 免费大片18禁| 九草在线视频观看| 18禁在线无遮挡免费观看视频| 欧美区成人在线视频| 大香蕉97超碰在线| 日韩av不卡免费在线播放| 国产精品嫩草影院av在线观看| 白带黄色成豆腐渣| 91久久精品国产一区二区三区| 中文字幕人妻熟人妻熟丝袜美| 色噜噜av男人的天堂激情| 欧美成人a在线观看| 搞女人的毛片| 国产精品日韩av在线免费观看| 亚洲精品一区蜜桃| 中文欧美无线码| 国产人妻一区二区三区在| 尾随美女入室| 亚洲伊人久久精品综合 | 免费av观看视频| 欧美bdsm另类| 国产精品久久久久久精品电影小说 | av专区在线播放| 久久久久久伊人网av| 国产单亲对白刺激| 边亲边吃奶的免费视频| 日韩av在线大香蕉| 少妇的逼水好多| 亚洲熟妇中文字幕五十中出| 久久精品国产鲁丝片午夜精品| www日本黄色视频网| 菩萨蛮人人尽说江南好唐韦庄 | 麻豆av噜噜一区二区三区| 亚洲电影在线观看av| 亚洲国产精品成人综合色| 午夜免费激情av| 少妇熟女aⅴ在线视频| 一个人观看的视频www高清免费观看| .国产精品久久| 2021少妇久久久久久久久久久| 成人毛片60女人毛片免费| 久久人人爽人人片av| 日本色播在线视频| 国产乱人偷精品视频| 国产欧美另类精品又又久久亚洲欧美| 国产午夜精品一二区理论片| 成人午夜高清在线视频| 亚洲第一区二区三区不卡| av女优亚洲男人天堂| av在线观看视频网站免费| 欧美极品一区二区三区四区| 日韩大片免费观看网站 | 美女国产视频在线观看| 秋霞伦理黄片| 69人妻影院| 欧美区成人在线视频| 午夜爱爱视频在线播放| 美女大奶头视频| 亚洲图色成人| 有码 亚洲区| 欧美激情国产日韩精品一区| 最后的刺客免费高清国语| 成人亚洲欧美一区二区av| 99国产精品一区二区蜜桃av| 一级爰片在线观看| 国产伦精品一区二区三区四那| 高清日韩中文字幕在线| 午夜精品国产一区二区电影 | 噜噜噜噜噜久久久久久91| 亚洲三级黄色毛片| 国产一区亚洲一区在线观看| 国产在视频线在精品| 婷婷六月久久综合丁香| 婷婷色av中文字幕| av播播在线观看一区| 非洲黑人性xxxx精品又粗又长| 久久热精品热| 亚洲成人久久爱视频| 一区二区三区高清视频在线| 男人的好看免费观看在线视频| 免费av不卡在线播放| av卡一久久| 成年版毛片免费区| 少妇猛男粗大的猛烈进出视频 | 女人被狂操c到高潮| 日本wwww免费看| 一级毛片aaaaaa免费看小| 午夜亚洲福利在线播放| 日本黄色视频三级网站网址| 精品无人区乱码1区二区| 男女下面进入的视频免费午夜| 成人美女网站在线观看视频| 免费观看人在逋| 最近中文字幕2019免费版| 国产麻豆成人av免费视频| 久久精品国产自在天天线| 欧美一级a爱片免费观看看| 免费大片18禁| 日本免费在线观看一区| 99热这里只有是精品在线观看| 久久婷婷人人爽人人干人人爱| a级一级毛片免费在线观看| 嫩草影院新地址| 亚洲第一区二区三区不卡| 桃色一区二区三区在线观看| 我的女老师完整版在线观看| 国产亚洲精品av在线| 欧美xxxx黑人xx丫x性爽| 91午夜精品亚洲一区二区三区| 欧美另类亚洲清纯唯美| 国产一区二区在线av高清观看| 黄色配什么色好看| 成人av在线播放网站| 日本午夜av视频| 国产成人精品一,二区| 亚洲av一区综合| 黄色日韩在线| 午夜老司机福利剧场| 免费观看在线日韩| 亚洲四区av| 熟女电影av网| 午夜免费激情av| 国产av码专区亚洲av| 欧美成人a在线观看| 波野结衣二区三区在线| 久99久视频精品免费| 久久精品久久久久久噜噜老黄 | 我要搜黄色片| 国产午夜福利久久久久久| 久久精品国产99精品国产亚洲性色| 亚洲av免费在线观看| 久久久久久久久久成人| 免费观看的影片在线观看| 欧美日韩在线观看h| 国产高清三级在线| 免费看美女性在线毛片视频| 午夜福利在线观看免费完整高清在| 简卡轻食公司| 蜜臀久久99精品久久宅男| 欧美丝袜亚洲另类| 国产精品福利在线免费观看| 如何舔出高潮| 精品久久久久久电影网 | 欧美精品国产亚洲| 99久久精品一区二区三区| 有码 亚洲区| 亚洲无线观看免费| 亚洲aⅴ乱码一区二区在线播放| 欧美日韩综合久久久久久| 能在线免费看毛片的网站| 国产免费一级a男人的天堂| 久久久色成人| 纵有疾风起免费观看全集完整版 | 我要看日韩黄色一级片| 欧美激情国产日韩精品一区| 亚洲欧美日韩卡通动漫| .国产精品久久| 国产精品熟女久久久久浪| 亚洲精品aⅴ在线观看| 秋霞在线观看毛片| 亚洲欧美日韩无卡精品| 免费黄色在线免费观看| 亚洲精品,欧美精品| 国产精品蜜桃在线观看| 亚洲av成人精品一二三区| 十八禁国产超污无遮挡网站| 日本猛色少妇xxxxx猛交久久| 在线播放无遮挡| 久久6这里有精品| 美女脱内裤让男人舔精品视频| 亚州av有码| 亚洲在线自拍视频| 国产精品三级大全| 成人午夜精彩视频在线观看| 一级毛片久久久久久久久女| 国产精品.久久久| 国语对白做爰xxxⅹ性视频网站| 久久精品91蜜桃| 国产69精品久久久久777片| 国产男人的电影天堂91| 看十八女毛片水多多多| 国产视频内射| 国产成人精品婷婷| 黄色日韩在线| 啦啦啦啦在线视频资源| АⅤ资源中文在线天堂| 国产精品1区2区在线观看.| 桃色一区二区三区在线观看| 亚洲熟妇中文字幕五十中出| 亚洲av二区三区四区| 成年免费大片在线观看| 国产国拍精品亚洲av在线观看| .国产精品久久| 免费看av在线观看网站| 国产精品,欧美在线| 国产欧美日韩精品一区二区| 青青草视频在线视频观看| 欧美不卡视频在线免费观看| 18禁裸乳无遮挡免费网站照片| 三级国产精品欧美在线观看| 亚洲人与动物交配视频| 99久久精品热视频| 国产精品99久久久久久久久| 熟女人妻精品中文字幕| 美女黄网站色视频|