基于注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)

王錦陽(yáng) 華光 黃雙

（1.武漢大學(xué)電子信息學(xué)院，湖北武漢 430072；2.武漢第二船舶設(shè)計(jì)研究所，湖北武漢 430064）

1 引言

語(yǔ)音偽造技術(shù)主要包括語(yǔ)音合成（Text to Speech，TTS）、語(yǔ)音轉(zhuǎn)換（Voice Conversion，VC）、語(yǔ)音模仿（Impersonation）、重放攻擊（Replay Attack，RA）和對(duì)抗攻擊（Adversarial Attack）［1-2］。語(yǔ)音合成技術(shù)，即文本轉(zhuǎn)語(yǔ)音，是一種能夠?qū)⑷我廨斎胛谋巨D(zhuǎn)換為目標(biāo)說(shuō)話人合成語(yǔ)音的技術(shù)。傳統(tǒng)的語(yǔ)音合成主要有波形拼接和參數(shù)合成兩條技術(shù)路線，近年來(lái)，深度學(xué)習(xí)技術(shù)的迅速發(fā)展給語(yǔ)音合成開(kāi)辟了新的方向，許多研究團(tuán)隊(duì)提出了基于神經(jīng)網(wǎng)絡(luò)的端到端語(yǔ)音合成系統(tǒng)，例如Tacotron 2［3］、Deep Voice 3［4］、Transformer TTS［5］和FastSpeech 2［6］等。隨著深度偽造技術(shù)的迅猛發(fā)展，合成語(yǔ)音的自然度越來(lái)越高，而且具有與真實(shí)語(yǔ)音相似的聲學(xué)特征，生成語(yǔ)音的速度也在不斷提升。語(yǔ)音合成技術(shù)可以提高語(yǔ)音交互的用戶(hù)體驗(yàn)，在語(yǔ)音導(dǎo)航、閱讀聽(tīng)書(shū)等應(yīng)用中得以廣泛使用，還可以用于教育、醫(yī)療、泛娛樂(lè)等領(lǐng)域，然而合成語(yǔ)音也帶來(lái)了嚴(yán)重的安全隱患，一旦被不法分子利用，將會(huì)給全球的政治、經(jīng)濟(jì)、民生和社會(huì)造成威脅，這對(duì)合成語(yǔ)音檢測(cè)的研究提出了挑戰(zhàn)［7］。語(yǔ)音轉(zhuǎn)換技術(shù)則是將源說(shuō)話人的語(yǔ)音轉(zhuǎn)換成目標(biāo)說(shuō)話人的語(yǔ)音。本文主要研究語(yǔ)音合成和語(yǔ)音轉(zhuǎn)換的檢測(cè)問(wèn)題。

合成語(yǔ)音檢測(cè)技術(shù)的本質(zhì)是尋找合成語(yǔ)音和真實(shí)語(yǔ)音之間的特征差異來(lái)判斷真?zhèn)?，這種特征與語(yǔ)音表達(dá)的內(nèi)容無(wú)關(guān)。合成語(yǔ)音檢測(cè)系統(tǒng)一般由前端特征提取器和后端二值分類(lèi)器組成。傳統(tǒng)檢測(cè)系統(tǒng)前端的區(qū)分性特征通常采用精心設(shè)計(jì)的手工特征，包括聲紋特征、頻譜特征等。Xiao等人［8］研究了高維幅頻特征的表現(xiàn)，使用對(duì)數(shù)幅度譜（Log Magnitude Spectrum，LMS）與殘差對(duì)數(shù)幅度譜（Residual Log Magnitude Spectrum，RLMS）構(gòu)建的檢測(cè)系統(tǒng)得到了理想的效果。相位特征，例如群延遲（Group Delay，GD）、修正的群延遲（Modified Group Delay，MGD）、相對(duì)相移（Relative Phase Shift，RPS）、基帶相位差（Baseband Phase Difference，BPD）等也適用于合成語(yǔ)音檢測(cè)任務(wù)［9-11］。倒譜系數(shù)特征是檢測(cè)合成語(yǔ)音的有效特征之一，包括線性頻率倒譜系數(shù)（Linear Frequency Cepstral Coefficients，LFCC）、梅爾頻率倒譜系數(shù)（Mel-Frequency Cepstral Coefficients，MFCC）、線性預(yù)測(cè)倒譜系數(shù)（Linear Prediction Cepstral Coefficients，LPCC）等［12-14］。由于合成語(yǔ)音不能很好地模擬時(shí)間特征，頻譜特征的一階、二階動(dòng)態(tài)差分也有助于合成語(yǔ)音的檢測(cè)。Massimiliano 等人［15］設(shè)計(jì)的基于常數(shù)Q 變換的倒譜特征（Constant-Q Cepstral Coefficients，CQCC）常被用作競(jìng)賽中的基線特征。與全帶變換相比，子帶變換能更有效地捕獲合成語(yǔ)音中的偽影，Yang等人［16］提出了基于子帶變換的特征，并通過(guò)特征組合顯著提升了合成語(yǔ)音檢測(cè)的效果。近年來(lái)基于深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）的特征提取算法逐漸被應(yīng)用于語(yǔ)音特征提取任務(wù)中［17］，Nanxin 等人［18］使用深度神經(jīng)網(wǎng)絡(luò)瓶頸（DNN-BN）特征構(gòu)建了一種語(yǔ)句級(jí)的s-vector 特征。常用的后端分類(lèi)器有基于高斯混合模型（Gaussian Mixture Model，GMM）的分類(lèi)器、支持向量機(jī)（Support Vector Machine，SVM）分類(lèi)器以及基于深度神經(jīng)網(wǎng)絡(luò)模型的分類(lèi)器。Alzantot 等人［19］構(gòu)建了基于深度殘差網(wǎng)絡(luò)（Deep Residual Network，ResNet）［20］的合成語(yǔ)音檢測(cè)模型，使用MFCC、CQCC、頻譜圖三種前端特征并進(jìn)行分?jǐn)?shù)融合。Wu 等人［21］提出了引入最大特征圖激活函數(shù)的輕量卷積神經(jīng)網(wǎng)絡(luò)（Light Convolutional Neural Network，LCNN），該網(wǎng)絡(luò)提煉度高、空間占用小，在后續(xù)提出的模型中被廣泛應(yīng)用［22-24］。Luo 等人［25］提出了基于膠囊網(wǎng)絡(luò)（Capsule Network，CapsNet）的檢測(cè)系統(tǒng)，對(duì)動(dòng)態(tài)路由算法進(jìn)行改進(jìn)，使模型更關(guān)注偽造語(yǔ)音中的偽影，提升網(wǎng)絡(luò)的泛化能力。

研究表明，網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)和訓(xùn)練方法的設(shè)計(jì)可以提高合成語(yǔ)音檢測(cè)模型的性能，但是模型的潛力根本上取決于初始特征中捕獲的信息。手工特征的制作會(huì)丟失部分信息，很大程度上影響了對(duì)于未知攻擊的檢測(cè)，因此，我們需要更高效、更通用的表征來(lái)提升模型的魯棒性。手工特征對(duì)基于DNN 的合成語(yǔ)音檢測(cè)并不是必須的，已有許多文獻(xiàn)提出了端到端合成語(yǔ)音檢測(cè)方案［26］。Tak等人［27］將改進(jìn)的RawNet2 網(wǎng)絡(luò)應(yīng)用到合成語(yǔ)音檢測(cè)領(lǐng)域，使用一組Sinc 濾波器通過(guò)時(shí)域卷積直接對(duì)原始波形進(jìn)行操作，然后通過(guò)殘差模塊和GRU 學(xué)習(xí)深層次的區(qū)分性信息并聚合話語(yǔ)級(jí)表征。Tak等人［28］又提出了RawGAT-ST模型，使用頻譜—時(shí)間圖形注意力網(wǎng)絡(luò)（Spectro-Temporal Graph Attention Network）來(lái)對(duì)跨越不同子帶和時(shí)間段的關(guān)系進(jìn)行建模。Hua 等人［29］基于ResNet 的跳層連接和Inception［30］的并行卷積結(jié)構(gòu)設(shè)計(jì)了兩種輕量級(jí)端到端時(shí)域合成語(yǔ)音檢測(cè)網(wǎng)絡(luò)（Time-domain Synthetic Speech Detection Net，TSSDNet），其中Inc-TSSDNet更加輕量級(jí)，在沒(méi)有使用Mixup［31］訓(xùn)練技巧的情況下泛化性更好。

CNN 中常用的注意力機(jī)制有通道注意力（Channel Attention）和空間注意力（Spatial Attention）等。近年來(lái)，基于通道注意力、空間注意力以及將二者結(jié)合的輕量級(jí)嵌入型模塊在計(jì)算機(jī)視覺(jué)（Computer Vision，CV）領(lǐng)域中的應(yīng)用越來(lái)越受到關(guān)注，將SE 模塊（Squeeze-and-Excitation Module）［32］、CBAM（Convolutional Block Attention Module）［33］等嵌入到ResNet、Inception、ResNext［34］等原始網(wǎng)絡(luò)中能夠顯著提升網(wǎng)絡(luò)在圖像分類(lèi)、圖像分割、目標(biāo)檢測(cè)等任務(wù)上的表現(xiàn)?？紤]到模型復(fù)雜度和泛化性，我們選擇Inc-TSSDNet 作為基線模型，由于模型在ASVspoof2019 測(cè)試集上的表現(xiàn)不夠理想，為了降低等錯(cuò)誤率（Equal Error Rate，EER），本文提出一種基于通道和空間注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)模型，將現(xiàn)有先進(jìn)輕量級(jí)模塊中的注意力機(jī)制改進(jìn)為適用于語(yǔ)音序列的通道注意力和一維空間注意力（One-dimensional Spatial Attention），然后將模塊分別嵌入到Inc-TSSDNet 中，使網(wǎng)絡(luò)能夠重點(diǎn)關(guān)注某些對(duì)于檢測(cè)真?zhèn)胃P(guān)鍵的通道或區(qū)域。改進(jìn)網(wǎng)絡(luò)在參數(shù)量增加較少的前提下，測(cè)試集等錯(cuò)誤率和最小串聯(lián)檢測(cè)代價(jià)函數(shù)（Minimum Tandem Detection Cost Function，min t-DCF）［35］有明顯的降低。下文將詳細(xì)介紹本文提出的基于注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)系統(tǒng)。

2 基于注意力機(jī)制的Inc-TSSDNet

2.1 注意力機(jī)制

注意力機(jī)制和人類(lèi)對(duì)外界事物的觀察機(jī)制類(lèi)似，即在眾多信息中人們會(huì)傾向于把注意力集中在某些重要的局部信息上，選擇對(duì)當(dāng)前事物更關(guān)鍵的信息，來(lái)形成對(duì)事物的整體印象。近年來(lái)，注意力機(jī)制廣泛應(yīng)用于自然語(yǔ)言處理（Natural Language Processing，NLP）和CV等領(lǐng)域。注意力機(jī)制可分為軟注意力和強(qiáng)注意力，其中軟注意力更加關(guān)注通道或區(qū)域，是可微的。在神經(jīng)網(wǎng)絡(luò)模型中，注意力機(jī)制的表現(xiàn)形式通常是一個(gè)額外的神經(jīng)網(wǎng)絡(luò)，能夠幫助模型硬性選擇輸入的某些部分，或給輸入的不同部分賦予不同的權(quán)重。注意力機(jī)制的基本思想是利用特征圖來(lái)學(xué)習(xí)權(quán)重分布，再將學(xué)習(xí)得到的權(quán)重施加到原始特征圖上進(jìn)行加權(quán)求和。

2.1.1 通道注意力和一維空間注意力

對(duì)于二維圖像，CNN 的每一層會(huì)輸出一個(gè)尺寸為C×H×W的特征圖，其中C表示通道數(shù)，也是卷積核的數(shù)量，W和H表示原始圖片經(jīng)過(guò)壓縮后的寬度和高度。而對(duì)于一維語(yǔ)音序列，輸出特征圖的尺寸為C×L，L表示原始序列經(jīng)過(guò)壓縮后時(shí)間維度的長(zhǎng)度。

按照注意力權(quán)重施加的方式和維度不同，軟注意力的關(guān)注域主要有通道域、空間域和混合域。通道注意力機(jī)制是在通道維度上，通過(guò)自動(dòng)學(xué)習(xí)的方式獲取每個(gè)特征通道的重要程度來(lái)組成一個(gè)權(quán)重矩陣，權(quán)重?cái)?shù)值越大，對(duì)應(yīng)的通道越重要，該通道與關(guān)鍵信息的相關(guān)度越高，而空間維度上的權(quán)重相同，這樣可以讓神經(jīng)網(wǎng)絡(luò)重點(diǎn)關(guān)注某些特征通道?？臻g注意力機(jī)制作用于空間維度，在二維平面上，對(duì)每個(gè)像素點(diǎn)學(xué)習(xí)到一個(gè)權(quán)重，對(duì)H×W的特征圖得到一個(gè)權(quán)重矩陣，而對(duì)于一維序列，在每個(gè)時(shí)間點(diǎn)學(xué)習(xí)到一個(gè)權(quán)重，對(duì)長(zhǎng)度為L(zhǎng)的特征圖得到一個(gè)權(quán)重矩陣，在C個(gè)通道維度上權(quán)重相同。本文提出的模型使用了通道注意力和一維空間注意力。

2.1.2 適用于一維序列的注意力模塊

現(xiàn)有的輕量級(jí)注意力模塊大多是針對(duì)二維圖像相關(guān)任務(wù)設(shè)計(jì)的，本文對(duì)SENet［32］、CBAM［33］、scSE［36］、ECA-Net［37］和SA-Net［38］五篇文獻(xiàn)中提出的注意力模塊進(jìn)行調(diào)整，使他們適用于一維語(yǔ)音序列，能夠應(yīng)用在端到端合成語(yǔ)音檢測(cè)任務(wù)中。

SE模塊引入了通道注意力機(jī)制，顯式地建模特征通道間的相互依賴(lài)關(guān)系，其結(jié)構(gòu)如圖1 所示。首先是Squeeze 操作，對(duì)輸入的C×L特征圖U=[u1，u2，…，uC]進(jìn)行空間的全局平均池化（Global Average Pooling），將每個(gè)通道長(zhǎng)度為L(zhǎng)的一維特征壓縮成一個(gè)實(shí)數(shù)，得到尺寸為C×1的全局特征z，其中z的第c個(gè)元素可以表示為：

圖1 SE模塊結(jié)構(gòu)Fig.1 The structure of SE module

然后是Excitation 操作，通過(guò)兩個(gè)全連接層組成瓶頸（Bottleneck）結(jié)構(gòu)來(lái)建模通道間的相關(guān)性生成權(quán)重s：

CBAM 結(jié)合通道注意力和一維空間注意力機(jī)制，沿通道和空間兩個(gè)維度依次計(jì)算注意力權(quán)重并對(duì)原始特征圖進(jìn)行加權(quán)，其結(jié)構(gòu)如圖2 所示。在通道注意力模塊中，首先對(duì)輸入的C×L特征圖U分別進(jìn)行空間維度的全局最大池化（Global max pooling）和平均池化得到兩個(gè)C×1 的特征描述，然后分別送入一個(gè)共享的兩層神經(jīng)網(wǎng)絡(luò)，兩層神經(jīng)元個(gè)數(shù)分別為C/r和C，實(shí)現(xiàn)方法與SE 模塊類(lèi)似，再對(duì)兩個(gè)輸出向量進(jìn)行對(duì)應(yīng)元素相加（Element-wise Summation）后經(jīng)過(guò)Sigmoid 激活函數(shù)得到通道注意力權(quán)重Mc，最后用Mc和U對(duì)應(yīng)元素相乘（Element-wise Multiplication）得到通道加權(quán)后的特征圖U'：

圖2 CBAM結(jié)構(gòu)Fig.2 The structure of CBAM

在一維空間注意力模塊中，將通道注意力模塊輸出的特征圖作為輸入，在通道維度上使用最大池化和平均池化得到兩個(gè)1×L的特征描述，再對(duì)兩個(gè)特征進(jìn)行基于通道的連接（concat）得到2×L的特征，然后經(jīng)過(guò)一個(gè)一維卷積降維成1 個(gè)通道，再經(jīng)過(guò)Sigmoid 激活函數(shù)得到空間注意力權(quán)重Ms，最后用Ms和U'對(duì)應(yīng)元素相乘得到加權(quán)特征圖U''：

其中σ為Sigmoid 激活函數(shù)，f7表示卷積核大小為7的1D卷積，?表示對(duì)應(yīng)元素相乘。

scSE（Spatial-Channel Sequeeze &Excitation）模塊是基于SE 模塊改進(jìn)的一種變體，將通道注意力cSE 模塊和一維空間注意力sSE 模塊并行結(jié)合，其結(jié)構(gòu)如圖3 所示。cSE 模塊與SE 模塊結(jié)構(gòu)相同，核心操作是全局池化和兩個(gè)全連接層，最終得到通道加權(quán)的特征圖，由公式（1）、（2）、（3）可推導(dǎo)出如下公式：

圖3 scSE模塊結(jié)構(gòu)Fig.3 The structure of scSE module

其中sc為歸一化權(quán)重，U=[u1，u2，…，uC]表示輸入特征圖，uc∈R1×L。

在sSE模塊中，對(duì)于輸入特征圖U=[u1，u2，…，uL]，ui∈RC×1，先通過(guò)一個(gè)卷積核大小為1 的一維卷積降維得到1×L的特征圖q，再經(jīng)過(guò)Sigmoid 激活函數(shù)歸一化到0 至1 之間并與原始特征圖對(duì)應(yīng)相乘得到空間加權(quán)的特征圖，公式如下：

其中σ(qi)表示特征圖中一維序列位置坐標(biāo)i的重要性。將上述兩個(gè)結(jié)果相加得到scSE 模塊的最終結(jié)果：

ECA（Efficient Channel Attention）模塊是一種極輕量級(jí)的通道注意力模塊，它通過(guò)一維卷積實(shí)現(xiàn)不降維的跨通道信息交互，在兼顧復(fù)雜度的情況下提升模型性能，其結(jié)構(gòu)如圖4所示。文獻(xiàn)［37］的作者認(rèn)為SE模塊中的降維操作對(duì)捕獲所有通道之間的依賴(lài)關(guān)系是低效且不必要的，而適當(dāng)?shù)目缤ǖ澜换ビ兄趯W(xué)習(xí)高效率和高性能的通道注意力。對(duì)輸入特征圖U進(jìn)行空間維度的全局平均池化后通過(guò)一個(gè)卷積核大小為k的一維卷積，其中k還表示局部跨通道交互的覆蓋率，根據(jù)k與通道維數(shù)C成正比提出一種自適應(yīng)確定k的方法：

圖4 ECA模塊結(jié)構(gòu)Fig.4 The structure of ECA module

其中γ=2，b=1，|x|odd為選擇最近的奇數(shù)。最后經(jīng)過(guò)Sigmoid 激活函數(shù)得到通道注意力權(quán)重，再與原始特征圖對(duì)應(yīng)相乘得到加權(quán)特征圖U'。

SA（Shuffle Attention）模塊采用特征分組和通道置換將通道注意力和一維空間注意力有效地結(jié)合起來(lái)，是一種超輕量的注意力模塊，其結(jié)構(gòu)如圖5所示。對(duì)于輸入的特征圖U∈RC×L，首先沿通道維度劃分成G組，即U=[U1，…，UG]，Uk∈，每組特征再沿通道分成兩個(gè)分支，即Uk1，Uk2∈，分別計(jì)算通道注意力和一維空間注意力。在通道注意力中，先進(jìn)行空間的全局平均池化，得到×1 的全局特征z，然后通過(guò)Sigmoid 激活的簡(jiǎn)單門(mén)控機(jī)制，與Uk1對(duì)應(yīng)相乘得到輸出：

圖5 SA模塊結(jié)構(gòu)Fig.5 The structure of SA module

在一維空間注意力中，先對(duì)Uk2進(jìn)行組歸一化（Group Norm，GN）［39］得到空間域的統(tǒng)計(jì)信息，然后采用Fc(·)進(jìn)行增強(qiáng)，與Uk2對(duì)應(yīng)相乘輸出：

其中參數(shù)W1，W2，b1，b2∈。將兩個(gè)分支的結(jié)果連接起來(lái)得到。最后將所有子特征聚合起來(lái)，通過(guò)與ShuffleNet v2［40］類(lèi)似的通道混洗（Channel Shuffle）操作實(shí)現(xiàn)沿通道維度的跨組信息交互，得到最終的加權(quán)特征圖U'。

2.2 基于Inc-TSSDNet的改進(jìn)網(wǎng)絡(luò)

Inc-TSSDNet 網(wǎng)絡(luò)由第一層1×7 卷積層、堆疊的M個(gè)類(lèi)似Inception 結(jié)構(gòu)的模塊、全局池化層和三個(gè)全連接層組成，每個(gè)類(lèi)似Inception 的模塊之后都使用了最大池化層，每個(gè)卷積層之后都跟隨有批標(biāo)準(zhǔn)化（Batch Normalization，BN）層和ReLU 激活函數(shù)，除了最后一層外每個(gè)全連接層后都使用了ReLU 激活函數(shù)。為了增大感受野并控制模型的復(fù)雜度，文獻(xiàn)［29］在原始Inception的基礎(chǔ)上進(jìn)行改進(jìn)，類(lèi)似Inception 的模塊中使用擴(kuò)張卷積（Dilated Convolution），所有卷積層使用1×3的內(nèi)核、填充與擴(kuò)張率相同且步長(zhǎng)為1，池化層的步長(zhǎng)等于對(duì)應(yīng)內(nèi)核大小。為了兼顧檢測(cè)表現(xiàn)和模型復(fù)雜度，本文選取M=4、4分支的Inc-TSSDNet 作為基線模型，在每個(gè)類(lèi)似Inception 的模塊之后分別引入上文所述的五種注意力模塊，將模塊分別嵌入最大池化層前后進(jìn)行實(shí)驗(yàn)，改進(jìn)網(wǎng)絡(luò)的結(jié)構(gòu)如圖6所示。

圖6 中網(wǎng)絡(luò)參數(shù)M=4，CI={8，16，32，32}，CA={32，64，128，128}，CL={64，32}，圖6（a）中LA={24000，6000，1500，375}，圖6（b）中LA={6000，1500，375，1}。

圖6 基于注意力機(jī)制的Inc-TSSDNet結(jié)構(gòu)Fig.6 The structure of Inc-TSSDNet based on attention mechanism

3 網(wǎng)絡(luò)訓(xùn)練及實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集及預(yù)處理

本文使用了ASVspoof2019數(shù)據(jù)集和ASVspoof 2015 數(shù)據(jù)集。ASVspoof2019數(shù)據(jù)集包含LA和PA兩個(gè)子集，我們使用LA子集來(lái)研究語(yǔ)音合成和語(yǔ)音轉(zhuǎn)換攻擊，LA的訓(xùn)練集有20個(gè)說(shuō)話人（8名男性、12名女性），包括2580 段真實(shí)語(yǔ)音和22800 段偽造語(yǔ)音，驗(yàn)證集有20 個(gè)說(shuō)話人（8 名男性、12 名女性），包括2548 段真實(shí)語(yǔ)音和22296 段偽造語(yǔ)音，測(cè)試集有67 個(gè)說(shuō)話人（30 名男性、37 名女性），包括7355 段真實(shí)語(yǔ)音和63882 段偽造語(yǔ)音。ASVspoof2015 數(shù)據(jù)集的驗(yàn)證集有35 個(gè)說(shuō)話人（15 名男性、20 名女性），包括3497 段真實(shí)語(yǔ)音和49875 段偽造語(yǔ)音，測(cè)試集有46 個(gè)說(shuō)話人（20 名男性、26 名女性），包括9404 段真實(shí)語(yǔ)音和184000 段偽造語(yǔ)音。同一數(shù)據(jù)集的訓(xùn)練集、驗(yàn)證集、測(cè)試集中說(shuō)話人互不重疊。

進(jìn)行數(shù)據(jù)預(yù)處理，從數(shù)據(jù)集提供的語(yǔ)音片段中截取6 秒，不足6 秒的片段先復(fù)制再截取，音頻采樣率為16 kHz。將截取的6秒語(yǔ)音片段直接輸入網(wǎng)絡(luò)進(jìn)行端到端訓(xùn)練，即輸入特征圖的長(zhǎng)度L=9.6×104。

3.2 網(wǎng)絡(luò)訓(xùn)練

實(shí)驗(yàn)中端到端合成語(yǔ)音檢測(cè)系統(tǒng)基于Pytorch進(jìn)行訓(xùn)練和測(cè)試。由于真實(shí)語(yǔ)音片段的數(shù)量遠(yuǎn)小于偽造語(yǔ)音片段，本文在訓(xùn)練階段采用加權(quán)交叉熵（Weighted Cross-entropy，WCE）損失來(lái)處理樣本不平衡的問(wèn)題：

其中yi表示標(biāo)簽，?i，yi∈{0，1}，z=[z0，z1]是經(jīng)過(guò)Softmax后兩個(gè)類(lèi)別的概率，權(quán)重與訓(xùn)練集中標(biāo)簽yi的數(shù)量成反比。在訓(xùn)練過(guò)程中，批量大?。╞atch size）設(shè)置為32，使用Adam優(yōu)化器和默認(rèn)設(shè)置，按指數(shù)衰減調(diào)整學(xué)習(xí)率，系數(shù)設(shè)置為0.95，選擇100個(gè)階段內(nèi)模型在驗(yàn)證集上產(chǎn)生最低EER的階段進(jìn)行測(cè)試。

本文采用等錯(cuò)誤率（EER）和串聯(lián)檢測(cè)代價(jià)函數(shù)（Tandem Detection Cost Function，t-DCF）來(lái)評(píng)估基于注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)系統(tǒng)性能優(yōu)劣。偽造語(yǔ)音檢測(cè)是一種二分類(lèi)任務(wù)，錯(cuò)誤接受率（False Accept Rate，F(xiàn)AR）是偽造語(yǔ)音中被錯(cuò)誤分類(lèi)為真實(shí)語(yǔ)音的比例，而錯(cuò)誤拒絕率（False Rejection Rate，F(xiàn)RR）是真實(shí)語(yǔ)音中被錯(cuò)誤分類(lèi)為偽造語(yǔ)音的比例，給定系統(tǒng)檢測(cè)得分和閾值θ，錯(cuò)誤接受率Pfa(θ)和錯(cuò)誤拒絕率Pfr(θ)的計(jì)算公式如下：

閾值為θ時(shí)EER 對(duì)應(yīng)FAR 和FRR 相等時(shí)的值，即EER=Pfa(θ)=Pfr(θ)，EER 越小，合成語(yǔ)音檢測(cè)系統(tǒng)的效果越好。

t-DCF 是一種綜合評(píng)估指標(biāo)，通過(guò)最小風(fēng)險(xiǎn)貝葉斯決策來(lái)評(píng)估ASV 系統(tǒng)的可靠性，能夠反映在現(xiàn)實(shí)場(chǎng)景中合成語(yǔ)音和檢測(cè)系統(tǒng)對(duì)ASV 系統(tǒng)性能共同產(chǎn)生的影響，其計(jì)算過(guò)程可簡(jiǎn)化為：

其中系數(shù)β由誤判成本、偽造攻擊優(yōu)先級(jí)和ASV 系統(tǒng)檢測(cè)性能決定。t-DCF 越小，合成語(yǔ)音檢測(cè)系統(tǒng)的泛化性越好。

3.3 實(shí)驗(yàn)結(jié)果及分析

本文基于上述參數(shù)設(shè)置和數(shù)據(jù)集，針對(duì)五種注意力模塊、兩種注意力模塊嵌入位置得到的十種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)，對(duì)比分析基于注意力機(jī)制的端到端合成語(yǔ)音檢測(cè)系統(tǒng)的網(wǎng)絡(luò)復(fù)雜程度、EER、min t-DCF、統(tǒng)計(jì)性能和跨庫(kù)性能。

不同模型在ASVspoof2019數(shù)據(jù)集的驗(yàn)證集和測(cè)試集下的EER和min t-DCF如表1所示。表中的降維系數(shù)（ratio）是SE 模塊、CBAM 和scSE 模塊中的超參數(shù)，組數(shù)（group）是SA 模塊中的超參數(shù)，均通過(guò)多次實(shí)驗(yàn)確定最佳取值。由于所提模型的實(shí)驗(yàn)結(jié)果具有波動(dòng)性，表中的結(jié)果為在最佳降維系數(shù)或組數(shù)的情況下重復(fù)訓(xùn)練30次得到的最低測(cè)試集EER。兩種注意力模塊嵌入位置的模型參數(shù)量相等，而將注意力模塊嵌入池化層之前的計(jì)算量會(huì)高于嵌入池化層之后。表中數(shù)據(jù)顯示，在增加參數(shù)量較少的前提下，嵌入注意力模塊的Inc-TSSDNet在ASVspoof2019測(cè)試集下的EER 和min t-DCF 都比基線模型有一定程度的降低，這表明引入通道注意力機(jī)制和一維空間注意力機(jī)制能使檢測(cè)系統(tǒng)更加關(guān)注某些對(duì)于檢測(cè)真?zhèn)侮P(guān)鍵的信息來(lái)提升系統(tǒng)表現(xiàn)，增強(qiáng)系統(tǒng)的泛化能力，其中在池化層之前嵌入CBAM 的模型在測(cè)試集下EER最低，嵌入ECA模塊的模型測(cè)試集min t-DCF最低。

表1 不同模型在驗(yàn)證集和測(cè)試集下的EER（%）和min t-DCFTab.1 EER（%）and min t-DCF of different models in development set and evaluation set

對(duì)于五種注意力模塊，SE模塊和ECA模塊只引入了通道注意力機(jī)制，其余三種模塊結(jié)合了通道注意力和一維空間注意力。文獻(xiàn)［32］列出的實(shí)驗(yàn)結(jié)果表明在原始網(wǎng)絡(luò)中嵌入SE 模塊可以提升模型在圖像分類(lèi)（ImageNet 2012、CIFAR-10、CIFAR-100 數(shù)據(jù)集、ILSVRC 2017）、場(chǎng)景分類(lèi)（Places365-Challenge數(shù)據(jù)集）、目標(biāo)檢測(cè)（Microsoft COCO 數(shù)據(jù)集）任務(wù)中的表現(xiàn)，文獻(xiàn)［33］的實(shí)驗(yàn)結(jié)果顯示嵌入CBAM 能夠提升模型在圖像分類(lèi)（ImageNet-1K數(shù)據(jù)集）、目標(biāo)檢測(cè)（Microsoft COCO、PASCAL VOC 2007 數(shù)據(jù)集）任務(wù)中的表現(xiàn)，文獻(xiàn)［36］的實(shí)驗(yàn)僅證明了嵌入scSE 模塊對(duì)于圖像分割任務(wù)（醫(yī)學(xué)數(shù)據(jù)集MALC 和Visceral）是有效的，文獻(xiàn)［37］和［38］表明嵌入ECA模塊和SA 模塊可以提升模型在圖像分類(lèi)（ImageNet-1K數(shù)據(jù)集）、目標(biāo)檢測(cè)（Microsoft COCO 數(shù)據(jù)集）、實(shí)例分割（Microsoft COCO 數(shù)據(jù)集）任務(wù)中的表現(xiàn)。SE模塊、CBAM、ECA 模塊和SA 模塊在一些分類(lèi)、分割、目標(biāo)檢測(cè)任務(wù)和數(shù)據(jù)集上具有普適性，適用于合成語(yǔ)音檢測(cè)任務(wù)的可能性更大，文獻(xiàn)中的實(shí)驗(yàn)大多是將這四種注意力模塊嵌入ResNet 網(wǎng)絡(luò)，而本文的基線模型是由類(lèi)似Inception的并行卷積結(jié)構(gòu)堆疊而成的。此外，圖像分類(lèi)等任務(wù)需要關(guān)注圖片的內(nèi)容，雖然合成語(yǔ)音檢測(cè)也是一種分類(lèi)任務(wù)，但我們并不關(guān)注語(yǔ)音中講述的內(nèi)容，只關(guān)注能區(qū)分真假的特征，這與上述其他任務(wù)不同。綜上所述，注意力模塊在其他任務(wù)中的表現(xiàn)與本文實(shí)驗(yàn)結(jié)果無(wú)直接關(guān)聯(lián)，我們可以根據(jù)實(shí)驗(yàn)結(jié)果推測(cè)得出：使用兩個(gè)全連接層和自適應(yīng)一維卷積來(lái)捕獲通道間相關(guān)性的設(shè)計(jì)對(duì)于合成語(yǔ)音檢測(cè)都是有效的，同時(shí)使用最大池化層和平均池化層能夠使檢測(cè)系統(tǒng)獲得更豐富的信息，而將通道注意力模塊和一維空間注意力模塊并行連接和特征分組的設(shè)計(jì)對(duì)合成語(yǔ)音檢測(cè)任務(wù)的作用不大。

不同模型在ASVspoof2019 測(cè)試集每種攻擊（A07-A19）下的EER 如表2 所示?？梢悦黠@看到攻擊A08 和A17 嚴(yán)重影響了合成語(yǔ)音檢測(cè)系統(tǒng)的性能，而引入通道注意力機(jī)制和一維空間注意力機(jī)制能夠使系統(tǒng)更好的應(yīng)對(duì)A08，將SE 模塊、CBAM、scSE 模塊嵌入池化層前的三個(gè)模型在A08 下的EER 顯著降低，但引入注意力機(jī)制并沒(méi)有提升系統(tǒng)檢測(cè)A17 的表現(xiàn)。A08 是一種語(yǔ)音合成攻擊，使用了基于神經(jīng)源濾波器（Neural Source-filter，NSF）的非自回歸波形生成模型［41］，這與訓(xùn)練集中合成語(yǔ)音使用WORLD、WaveNet等聲碼器的波形生成機(jī)制有一定差異，可能對(duì)合成語(yǔ)音檢測(cè)造成了干擾，引入注意力機(jī)制能使網(wǎng)絡(luò)更關(guān)注神經(jīng)網(wǎng)絡(luò)聲碼器時(shí)域波形建模方法的特性來(lái)改善系統(tǒng)性能。A17是一種語(yǔ)音轉(zhuǎn)換攻擊，使用直接波形修正（Direct Waveform Modification）的方法［42］來(lái)生成波形。A17 的欺騙性極強(qiáng)，許多現(xiàn)有先進(jìn)合成語(yǔ)音檢測(cè)系統(tǒng)在A17攻擊下的表現(xiàn)最差，文獻(xiàn)［27］的作者根據(jù)A17 的偽造特征能夠被RawNet2檢測(cè)系統(tǒng)中的固定Sinc濾波器捕獲，推斷認(rèn)為這種特征與相位相關(guān)，而本文提出的網(wǎng)絡(luò)結(jié)構(gòu)不包含線性相位濾波器，引入注意力機(jī)制也不能提升系統(tǒng)檢測(cè)A17的能力。

表2 不同模型在測(cè)試集每種攻擊（A07-A19）下的EER（%）Tab.2 EER（%）of different models for each attack in the evaluation set（A07-A19）

下面將本文所提系統(tǒng)與領(lǐng)域最前沿方法進(jìn)行對(duì)比，各種方法在ASVspoof2019測(cè)試集下的EER和min t-DCF 如表3 所示。比較表明，在權(quán)衡測(cè)試集下表現(xiàn)和模型復(fù)雜度的情況下，本文提出的基于注意力機(jī)制的Inc-TSSDNet 具有一定優(yōu)勢(shì)，所提系統(tǒng)在測(cè)試集下的表現(xiàn)優(yōu)于Spec+CQCC+ResNet+SE［43］、LFCC+LCNN-4CBAM［44］等使用類(lèi)似注意力機(jī)制的方法和端到端檢測(cè)系統(tǒng)RawNet2［27］。雖然所提系統(tǒng)的測(cè)試集EER 和min t-DCF 略高于CQT+Res2Net+SE方法［45］，但其網(wǎng)絡(luò)復(fù)雜度和計(jì)算復(fù)雜度遠(yuǎn)小于后者，其參數(shù)量是后者的十分之一左右，且所提系統(tǒng)是端到端的，不需要計(jì)算手工特征，更加方便快捷。

表3 所提系統(tǒng)和最前沿方法在測(cè)試集下的EER（%）和min t-DCFTab.3 EER（%）and min t-DCF of the proposed and state-of-the-art methods in the evaluation set

下面分析系統(tǒng)的統(tǒng)計(jì)性能，固定所有超參數(shù)后，使用ASVspoof2019 訓(xùn)練集分別對(duì)十個(gè)模型進(jìn)行30次從頭開(kāi)始的訓(xùn)練，在驗(yàn)證集和測(cè)試集下的EER如圖7所示，其中基線模型Inc-TSSDNet的數(shù)據(jù)來(lái)源于文獻(xiàn)［29］。由圖可見(jiàn)，將ECA 模塊嵌入池化層前的模型在統(tǒng)計(jì)性能方面表現(xiàn)最好，訓(xùn)練30次的結(jié)果波動(dòng)范圍最小，測(cè)試集EER 都落在3.76%到5.03%之間且有3次低于3.8%的結(jié)果，比基線模型的統(tǒng)計(jì)性能有較大提升。其余模型雖然最好一次或幾次結(jié)果的測(cè)試集EER 比基線模型最好結(jié)果有所降低，但測(cè)試集EER的波動(dòng)范圍也會(huì)變大。

圖7 不同模型的統(tǒng)計(jì)性能圖Fig.7 Statistical performance diagram of different models

為了檢測(cè)系統(tǒng)的泛化能力，本文使用在ASVspoof2019 數(shù)據(jù)集上訓(xùn)練得到的網(wǎng)絡(luò)模型在ASVspoof2015 數(shù)據(jù)集的驗(yàn)證集和測(cè)試集上進(jìn)行測(cè)試，結(jié)果如表4 所示。從結(jié)果上看，除了將scSE 模塊和ECA 模塊嵌入池化層之后的兩個(gè)模型，其余模型的跨數(shù)據(jù)集EER 都有所降低，在池化層之前嵌入CBAM 的Inc-TSSDNet 模型最好結(jié)果在ASVspoof2015的驗(yàn)證集和測(cè)試集下的EER 最低，表明在Inc-TSSDNet的合適位置引入通道注意力機(jī)制和一維空間注意力機(jī)制可以增強(qiáng)網(wǎng)絡(luò)的泛化性。

表4 不同模型的跨庫(kù)EER（%）Tab.4 Cross-dataset EER（%）of different models

4 結(jié)論

本文在端到端合成語(yǔ)音檢測(cè)系統(tǒng)Inc-TSSDNet網(wǎng)絡(luò)的基礎(chǔ)上，引入通道注意力機(jī)制和一維空間注意力機(jī)制，使網(wǎng)絡(luò)重點(diǎn)關(guān)注某些對(duì)于檢測(cè)真?zhèn)胃P(guān)鍵的通道或區(qū)域。實(shí)驗(yàn)結(jié)果顯示，在Inc-TSSDNet的合適位置嵌入注意力模塊可以提升檢測(cè)系統(tǒng)的性能，在池化層之前嵌入CBAM 的Inc-TSSDNet 模型最好結(jié)果在ASVspoof2019測(cè)試集下的EER為3.28%，較基線模型降低了18.8%，且模型參數(shù)量增加較少，該模型還具有優(yōu)秀的跨庫(kù)性能，其最好結(jié)果在ASVspoof2015的驗(yàn)證集和測(cè)試集下的EER 較基線模型分別降低了67.3%和36.8%，在池化層之前嵌入ECA模塊的Inc-TSSDNet 模型最好結(jié)果在ASVspoof2019 測(cè)試集下的min t-DCF 為0.0861，較基線模型降低了11.8%。本文僅調(diào)整并使用了五種注意力模塊中的算法，后續(xù)工作將進(jìn)行消融研究，分別關(guān)注通道注意力機(jī)制、一維空間注意力機(jī)制、特定網(wǎng)絡(luò)層等在系統(tǒng)性能中起到的作用，設(shè)計(jì)更適合合成語(yǔ)音檢測(cè)任務(wù)的注意力模塊以進(jìn)一步提升檢測(cè)系統(tǒng)性能。