一種利用SE-Res2Net的合成語音檢測系統(tǒng)

梁 超，高 勇

(四川大學(xué) 電子信息學(xué)院，四川 成都 610065)

0 引言

說話人識別(Automatic Speaker Verfication,ASV)技術(shù)目前在公共服務(wù)、司法鑒定和貨幣交易等領(lǐng)域的應(yīng)用十分廣泛，但與此同時也受到合成語音的頻繁攻擊，特別是面對諸如重放攻擊[1]、語音轉(zhuǎn)換[2]和語音合成[3]等攻擊語音時，傳統(tǒng)的ASV系統(tǒng)難以招架。目前常用的方法是在ASV系統(tǒng)前串聯(lián)一個獨(dú)立的、互不干擾的合成語音檢測系統(tǒng)，首先將待檢測語音輸入到合成語音檢測系統(tǒng)進(jìn)行安全性驗(yàn)證，若該語音通過合成語音檢測系統(tǒng)，則被判為真實(shí)語音，然后再輸入到ASV系統(tǒng)中進(jìn)行說話人匹配。

為了促進(jìn)抗欺騙檢測的研究，國際上每兩年就會舉辦欺騙語音檢測的ASVspoof挑戰(zhàn)賽。ASVspoof2015[4]重點(diǎn)研究了語音合成和語音轉(zhuǎn)換攻擊的對策。ASVspoof2017主要研究了重放語音攻擊的對策。ASVspoof2019[5]是第一個同時考慮研究3種欺騙攻擊的挑戰(zhàn)賽，評價指標(biāo)除之前的等錯誤概率(Equal Error Rate,EER)外，還引入了最小串聯(lián)成本檢測函數(shù)(tandem Detection Cost Function,t-DCF)來表征整個系統(tǒng)的性能。本文使用的數(shù)據(jù)庫是ASVspoof2019的邏輯訪問數(shù)據(jù)庫(Logical Access,LA)。

常見的合成語音檢測系統(tǒng)可分為前端特征提取和后端分類器。文獻(xiàn)[6]提出了一種新的信號分析方法——經(jīng)驗(yàn)?zāi)Ｊ椒纸?(Empirical Mode Decomposition,EMD) 法，該方法依據(jù)信號的時間尺度特征進(jìn)行信號分解，無需預(yù)先設(shè)置基函數(shù),與傳統(tǒng)的分析工具有著本質(zhì)的區(qū)別。本文所用的語音特征先對信號進(jìn)行EMD，然后分別計(jì)算基函數(shù)與信號的皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient)，再將皮爾遜相關(guān)系數(shù)處理后作為權(quán)值與基函數(shù)相乘疊加成新信號，達(dá)到優(yōu)化的目的，接著對優(yōu)化后的語音信號提取梅爾倒譜系數(shù)(Mel Frequency Cepstral Coefficients，MFCC)以及逆梅爾倒譜系數(shù)(Inverse Mel Frequency Cepstral Coefficients，IMFCC),并拼接為雙通道特征以此增加特征多樣性，便于神經(jīng)網(wǎng)絡(luò)提取到更加高級的特征和進(jìn)行泛化學(xué)習(xí)。

后端分類器主要使用了SE-Res2Net[7]網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)通過堆疊卷積塊的分層方式獲取多尺度特征，具有著巨大優(yōu)勢。與CNN不同，Res2Net通過將殘差網(wǎng)絡(luò)[8]中的主卷積替換成多層的殘差結(jié)構(gòu)連接的卷積核組以此來提取多尺度特征，具有更少的參數(shù)量,Squeeze-and-Excitation Networks (SENet)[9]注意力機(jī)制通過給每個特征通道分配權(quán)值建立起通道之間的相關(guān)性，使得模型更加關(guān)注權(quán)值較大的特征通道，同時抑制權(quán)值較小的特征通道。將Res2Net與SENet組合成SE-Res2Net模塊，該模塊可以任意地添加到現(xiàn)有模型之中。實(shí)驗(yàn)表明，SE-Res2Net網(wǎng)絡(luò)適合作為合成語音檢測后端分類器。

1 相關(guān)工作

文獻(xiàn)[10]提出了常數(shù)Q倒譜系數(shù)(Constant Q Cepstral Coefficient,CQCC)，CQCC是基于常數(shù)Q變換(Constannt Q Transform,CQT)得到的倒譜系數(shù)。與傳統(tǒng)的MFCC相比，CQCC是一種時頻分析方法，可以提供時間分辨率和頻率分辨率，其在低頻段的頻率分辨率高，在高頻段的時間分辨高，可以有效檢測合成語言。線性頻率倒譜系數(shù)(Linear Frequency Cepstral Coefficient,LFCC)[11]首先通過計(jì)算信號短時傅里葉變換(Short Time Fourier Transform,STFT)的幅度譜，然后取對數(shù)并使用線性間隔的三角濾波器，最后進(jìn)行倒譜變換得到，該系數(shù)由于出色的性能，常作為合成語音檢測的前端特征。

高斯混合模型 (Gaussian Mixture Models,GMM)[12]由于訓(xùn)練速度快、使用廣泛，被用作ASVspoof2019的基線系統(tǒng)，在合成語音檢測任務(wù)中，利用GMM分別擬合真實(shí)語音和合成語音2個模型。ConvLSTM[13]提出的目的是為了解決降水臨近預(yù)報問題，將長短期記憶(Long Short-Term Memory，LSTM)公式中的Hadamard乘法改為卷積，不僅可以像LSTM一樣建立時序關(guān)系，而且也可以像卷積網(wǎng)絡(luò)一樣刻畫局部特征，其在獲取時空關(guān)系上比LSTM有更好的效果。LSTM[14]網(wǎng)絡(luò)通過在記憶單元中引入細(xì)胞狀態(tài)保存長期的記憶信息，并利用門結(jié)構(gòu)自適應(yīng)地保留與遺忘細(xì)胞中有用和無用的狀態(tài)信息，解決了循環(huán)神經(jīng)網(wǎng)絡(luò)長期依賴的問題。CNN[15]作為目前主流的神經(jīng)網(wǎng)絡(luò)，在圖像識別和語音識別領(lǐng)域有著廣泛應(yīng)用。一般，隨著網(wǎng)絡(luò)層級的加深，模型的精度會不斷提升，但與此同時梯度消失或梯度爆炸的問題愈加明顯，網(wǎng)絡(luò)甚至出現(xiàn)了退化。殘差網(wǎng)絡(luò)[8]的出現(xiàn)使得這種問題得到了有效解決，在訓(xùn)練較深的網(wǎng)絡(luò)同時，可以保持良好的性能。注意力機(jī)制[9]參考了人腦的信號處理機(jī)制，可以快速從全局信息中篩選出當(dāng)前任務(wù)中重要的、關(guān)鍵的局部信息，深度學(xué)習(xí)中的注意力機(jī)制是通過分配權(quán)值來實(shí)現(xiàn)放大關(guān)鍵信息和抑制低價值信息，可以任意地插入到模型中以提升實(shí)驗(yàn)表現(xiàn)。

2 實(shí)驗(yàn)原理

2.1 特征設(shè)計(jì)

特征提取流程如圖1所示。

首先,對語音信號S進(jìn)行EMD分解，得到若干個基本模式分量：

[s0,s1,…,sn]=EMD(S)。

(1)

然后,計(jì)算每個基本模式分量與原語音信號的皮爾遜相關(guān)系數(shù)：

[r0,r1,…,rn]=corrcoef[(s0,S),(s1,S),…,(sn,S)],

(2)

式中，r0,r1,…,rn分別是各模式分量與原信號的相關(guān)系數(shù)。計(jì)算加權(quán)系數(shù)：

R=|r0|+|r1|+…+|rn|，

(3)

(4)

式中，α0,α1,…,αn分別是各模式分量的權(quán)值，基本模式分量加權(quán)組合成新信號X′：

X′=α0×s0+α1×s1+…+αn×sn。

(5)

預(yù)處理包括預(yù)加重、分幀和加窗。預(yù)加重的目的是補(bǔ)償高頻分量的損失，提高高頻分量。新信號X′經(jīng)預(yù)處理后為xi(m),下標(biāo)i表示分幀后的第i幀，通過快速傅里葉變換將時域數(shù)據(jù)轉(zhuǎn)變?yōu)轭l域數(shù)據(jù)：

X(i,k)=FFT[xi(m)],

(6)

式中，k為頻域中第k條譜線。對每一幀F(xiàn)FT后的數(shù)據(jù)計(jì)算譜線能量：

E(i,k)=|X(i,k)|2。

(7)

把每幀譜線能量譜通過梅爾濾波器，并計(jì)算在Mel濾波器中的能量：

(8)

式中，Hm(k)表示梅爾濾波器的頻率響應(yīng)。最后把Mel濾波器的能量取對數(shù)后計(jì)算倒譜系數(shù)：

(9)

式中，m為第m個梅爾濾波器(共M個)；i為第i幀；n為DCT后的譜線。其中，傅里葉變換的點(diǎn)數(shù)為2 048，梅爾濾波器與逆梅爾濾波器的濾波器個數(shù)都為100，提取倒譜系數(shù)一階、二階差分系數(shù)共60維；最后將2種特征拼接起來構(gòu)成三維特征，該特征為雙通道特征作為后端分類器的輸入，這樣的特征相比于單個MFCC或IMFCC特征具有多樣性，有利于神經(jīng)網(wǎng)絡(luò)提取到更高級的特征。

2.2 SE-Res2Net

殘差塊與Res2Net塊的對比如圖2所示。

圖2(b)中，Res2Net網(wǎng)絡(luò)通過增加多個感受野的方式來提取多尺度特征。具體來說，通過使用更小的濾波器組來代替圖2(a)中的3×3濾波器，并且這些濾波器以殘差分層的結(jié)構(gòu)連接，以捕獲全局以及局部特征。主卷積塊部分在通過1×1卷積后，將特征沿通道方向均勻的分割成特征子集xi(i=1,2,…,m)，其中m是總的分割子集數(shù)，特征子集和原特征具有相同的空間大小，除了特征子集x1，其余子集都會經(jīng)過一個3×3卷積；除了特征子集x1和x2，其余特征子集xi都會先加上上一個經(jīng)過3×3卷積后的yi-1后再進(jìn)行3×3卷積，Ki表示第i個卷積核，上述過程可以表述為：

(10)

將yi拼接后通過1×1卷積來融合不同尺度的特征信息，最終得到具有不同感受野組合的特征信息。

在網(wǎng)絡(luò)的參數(shù)量方面，假設(shè)輸入輸出特征的通道數(shù)分別是I_C和O_C,對于圖2(a)，其參數(shù)量為3×3×I_C×O_C,即9×I_C×O_C；對于圖2(b)，其參數(shù)量為(I_C/s)×(O_C/s)×9×(s-1)，顯然Res2Net具有更少的參數(shù)量。

2.3 后端分類器

將Res2Net和SENet組合后如圖3所示，本文將該SE-Res2Net模塊堆疊組成后端分類器，后端分類器網(wǎng)絡(luò)圖如圖4所示。

SENet采用了特征重標(biāo)定的策略，通過學(xué)習(xí)的方式自動獲取每個特征通道的重要程度。相比于單獨(dú)使用Res2Net,嵌入SENet使網(wǎng)絡(luò)具有更多的非線性，可以更好地擬合特征通道間的相關(guān)性。目前主流的網(wǎng)絡(luò)結(jié)構(gòu)都是基于圖3的方式疊加構(gòu)造產(chǎn)生的，例如SE-BN-Inception，SE-ResNet以及本文中的SE-Res2Net等。

文獻(xiàn)[16]證實(shí)了SENet模塊的確可以給網(wǎng)絡(luò)帶來性能上的增益。

圖4 后端分類器Fig.4 Back-end classifier

3 實(shí)驗(yàn)與結(jié)果分析

3.1 模型評價指標(biāo)

在合成語音檢測系統(tǒng)中，錯誤接受率(False Acceptance Rate,FAR)和錯誤拒絕率(False Rejection Rate,FRR)是2個重要的指標(biāo)，其中FAR表示模型錯誤接受合成語音的概率，F(xiàn)RR表示模型錯誤拒絕真實(shí)語音的概率。EER是FAR與FRR相等時對應(yīng)的錯誤概率，即：

EER=FAR(θ)=FRR(θ),

(11)

式中，θ為FAR與FRR相等時模型的閾值。ASVspoof2019大賽還使用了最小t-DCF衡量整個模型的性能,t-DCF的計(jì)算如下：

(12)

3.2 基于EMD分解的雙通道特征驗(yàn)證

實(shí)驗(yàn)采用的數(shù)據(jù)集是ASVspoof2019大賽的邏輯訪問數(shù)據(jù)集，具體如表1所示。

表1 ASVspoof2019 LA數(shù)據(jù)集

Train，Dev.，Eval.分別表示訓(xùn)練集、開發(fā)集和評估集。

前期搭建了Conv+ConvLSTM+FC(CCLSTM)和Conv+LSTM+FC(CRNN)兩個小型網(wǎng)絡(luò)結(jié)構(gòu)來驗(yàn)證基于EMD分解的MFCC+IMFCC雙通道特征的有效性，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

(a) CCLSTM

(b) CRNN

學(xué)習(xí)率為0.001，批次為32，共訓(xùn)練100個周期，訓(xùn)練完畢后分別在開發(fā)集和測試集上獲得2項(xiàng)指標(biāo)。實(shí)驗(yàn)結(jié)果如表2和表3所示。

表2 不同特征在CCLSTM模型上開發(fā)集與評估集的EER與t-DCF

表3 不同特征在CRNN模型上開發(fā)集與評估集的EER與t-DCF

使用相同的網(wǎng)絡(luò)模型，基于EMD分解的MFCC+IMFCC雙通道特征效果相比于其他6種有一定的提升。與MFCC特征的結(jié)果相比，CCLSTM模型和CRNN模型在評估集上的EER指標(biāo)分別降低了27%和32%，t-DCF指標(biāo)分別降低了24%和6%。與IMFCC特征的結(jié)果相比，CCLSTM模型和CRNN模型在評估集上的EER指標(biāo)分別降低了37%和37%，t-DCF指標(biāo)分別降低了49%和23%。(EMD)MFCC+IMFCC特征是將信號進(jìn)行EMD分解后將模態(tài)分量直接疊加后產(chǎn)生的特征，(EMD)MFCC+IMFCC(P)和(EMD)MFCC+IMFCC相比，在2個模型的評估集上的2個指標(biāo)都有一定的提升，證明了對模態(tài)分量計(jì)算皮爾遜相關(guān)系數(shù)再進(jìn)行權(quán)值相加產(chǎn)生的特征更適合合成語音檢測任務(wù)?？梢娫撾p通道特征是具有實(shí)用價值的。

3.3 融合實(shí)驗(yàn)與結(jié)果分析

倒譜處理在壓縮數(shù)據(jù)量的同時，也造成了數(shù)據(jù)丟失，導(dǎo)致雙通道特征難以繼續(xù)提升。從實(shí)驗(yàn)結(jié)果來看，基于EMD的雙通道特征對實(shí)驗(yàn)的2個指標(biāo)的提升趨近于極限，要想進(jìn)一步提升實(shí)驗(yàn)效果，進(jìn)行多特征融合[17]是一個方向。

除了雙通道特征外，本文還引入了LFCC，CQCC和梅爾頻譜(Mel Frequency Analysis,FBank)進(jìn)行融合，4種特征的維度如表4所示。

表4 不同特征與維度

使用如圖4所示的后端分類器，單個模型結(jié)果如表5所示?？梢钥闯觯琇FCC提升最大，直接驗(yàn)證了LFCC適合合成語音檢測任務(wù)。與基線系統(tǒng)相比，LFCC在評估集上的EER和t-DCF分別降低了41%和59%?；贓MD分解的雙通道特征與基線系統(tǒng)相比，在評估集上的EER和t-DCF分別降低了29%和41%。接下來選擇表5中的結(jié)果融合，首先歸一化各個模型的打分結(jié)果再進(jìn)行等均值融合，最終的融合結(jié)果與其他文獻(xiàn)提出的Model1[8]，Model2[18]，Model3[19]以及ASVspoof 2019基線系統(tǒng)的CQCC++GMM和LFCC+6MM進(jìn)行對比，結(jié)果如表6所示。

表5 不同特征在SE-Res2Net上的EER與t-DCF

表6 融合模型的EER與t-DCF

Model1使用MFCC，CQCC和對數(shù)短時頻譜特征，后端分類器使用了殘差網(wǎng)絡(luò)；Model2使用了CQCC，MFCC和短時傅里葉變換對數(shù)譜特征，后端分類器使用了SENet和擴(kuò)張殘差網(wǎng)絡(luò)；Model3則使用了MFCC，IMFCC和LFCC特征，后端分類器使用了殘差網(wǎng)絡(luò)和GMM模型。相比于這3種模型，本文使用的模型效果更好。由表6可以看出，與表5中單個特征在評估集上的結(jié)果相比，融合后模型的EER與t-DCF兩項(xiàng)指標(biāo)都有著較明顯提升，與基線系統(tǒng)CQCC+GMM相比，融合結(jié)果的評估集上的EER與t-DCF分別降低了約49%和64%。與基線系統(tǒng)LFCC+GMM相比，融合結(jié)果的評估集上的EER與t-DCF分別降低了約39%和61%。

4 結(jié)論

在前端特征提取上，本文設(shè)計(jì)了基于EMD分解的MFCC+IMFCC的雙通道特征，實(shí)驗(yàn)表明，該雙通道特征模型效果比MFCC和IMFCC好；在后端分類器上，采用了SE-Res2Net網(wǎng)絡(luò)；最后將不同模型的打分結(jié)果進(jìn)行了等均值融合來權(quán)衡不同模型的優(yōu)缺點(diǎn)，進(jìn)一步提升模型性能。本文選取的前端特征和后端分類器單一，并且沒有驗(yàn)證模型對重放語音的有效性，后續(xù)工作會選取更多的特征和分類器進(jìn)行實(shí)驗(yàn)，進(jìn)一步提升合成語音檢測系統(tǒng)的泛化性能。