基于修正倒譜特征的回放語音檢測(cè)算法

林 朗，王讓定，嚴(yán)迪群，李 璨

(寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江寧波315211)

(*通信作者電子郵箱wangrangding@nbu.edu.cn)

0 引言

在生物識(shí)別技術(shù)［1］領(lǐng)域，聲紋識(shí)別系統(tǒng)因安全性較高，獲取較為方便，在生活領(lǐng)域、金融領(lǐng)域以及司法領(lǐng)域得到了廣泛應(yīng)用。聲紋識(shí)別技術(shù)不斷發(fā)展的同時(shí)，各種仿冒語音對(duì)聲紋系統(tǒng)的攻擊也日趨嚴(yán)峻。在過去的幾年中，研究人員對(duì)仿冒語音的檢測(cè)主要集中在合成語音和轉(zhuǎn)換語音的上［2－3］，一定程度上忽視了回放語音對(duì)聲紋識(shí)別系統(tǒng)的攻擊。事實(shí)上，由于回放語音是通過真實(shí)聲音直接錄音得到的，因此比合成語音和轉(zhuǎn)換語音更具有威脅性。其次，回放語音相較于其他仿冒語音獲取更為方便，僅僅需要一部錄音設(shè)備就可以完成回放語音的獲取，并且不需要偽造者有較高的專業(yè)技能，更為仿冒者提供了便利。同時(shí)近些年高保真設(shè)備的普及化和便攜化，更是極大地提升了回放語音對(duì)聲紋識(shí)別系統(tǒng)的威脅。

對(duì)于回放語音攻擊的檢測(cè)目前國內(nèi)外的研究相對(duì)較少。張利鵬等［4］通過對(duì)語音靜音段建模提出了一種基于語音靜音段的回放語音檢測(cè)算法。該模型雖然對(duì)說話人識(shí)別系統(tǒng)抗回放攻擊性能有所提高，但由于靜音段幅度較小，且容易受到噪聲污染，因此有一定的局限性。王志峰等［5］通過探究回放語音產(chǎn)生過程中由不同設(shè)備引入的信道噪聲，提出了一種基于信道模式噪聲的錄音回放檢測(cè)算法。該算法雖然取得了較好的結(jié)果，但實(shí)驗(yàn)只采用了一種錄音設(shè)備和回放設(shè)備，因此模型的魯棒性有待考究。此外，國外的研究如Shang等［6］利用語音產(chǎn)生的隨機(jī)性提出一種檢測(cè)待測(cè)語音和合法語音在峰值圖上的相似度的算法，但此方法只能夠應(yīng)用于文本相關(guān)的聲紋認(rèn)證系統(tǒng)。在此基礎(chǔ)上，Ga ka等［7］在峰值圖特性上加入了各頻率點(diǎn)的位置關(guān)系，進(jìn)一步提升了聲紋認(rèn)證系統(tǒng)抗回放語音的性能，但該算法依舊局限于文本相關(guān)的聲紋系統(tǒng)。Todisco等［8］在2016年提出一種基于常Q變換的常Q倒譜系數(shù)(Constant Q Cepstral Coefficients，CQCC)特征。CQCC使用常Q變換代替?zhèn)鹘y(tǒng)的傅里葉變換，彌補(bǔ)了傳統(tǒng)傅里葉變換在低頻缺乏頻率分辨率，在高頻缺乏時(shí)間分辨率的缺陷，對(duì)回放語音的檢測(cè)具有很高的精確度，然而所帶來的問題是算法的時(shí)間復(fù)雜度較大。

本文通過使用變異系數(shù)(Coefficient of Variation，CV)來分析原始語音和回放語音在頻域中的差異，發(fā)現(xiàn)原始語音和回放語音的差異主要集中在高頻區(qū)域，而在低頻區(qū)域，雖然兩種語音也具有一定的差異性，但這種差異性受設(shè)備影響較大?；诖?，提出了一種使用新組合的濾波器組提取的倒譜系數(shù)。實(shí)驗(yàn)表明，本文所使用的方法對(duì)回放語音的檢測(cè)有較好的檢測(cè)結(jié)果。

1 原始語音和回放語音差異性分析

回放語音和原始語音由于相似度極高，給研究工作帶來了巨大的挑戰(zhàn)?；胤耪Z音的產(chǎn)生如圖1所示。

圖1 回放語音產(chǎn)生過程Fig.1 Process of playback speech generation

由圖1可知，回放語音是直接來源于合法說話人的真實(shí)語音。相較于合成語音和轉(zhuǎn)換語音來說，對(duì)說話人識(shí)別系統(tǒng)有更大的威脅性。其次，與原始語音相比，回放語音多經(jīng)歷了偷錄設(shè)備的錄制和回放設(shè)備的播放的過程，因此會(huì)不可避免地帶來音頻信號(hào)的失真以及其他噪聲的引入等，從而使得回放語音和原始語音產(chǎn)生了細(xì)微的差異。

考慮到語音時(shí)域信號(hào)自身的局限性，本文從語音信號(hào)頻域出發(fā)，通過變異系數(shù)等相關(guān)統(tǒng)計(jì)特征分析原始語音和回放語音在頻域上的差異，計(jì)算過程如下。

首先對(duì)語音信號(hào)x(n)行預(yù)處理，然后對(duì)每幀語音信號(hào)xi(n)進(jìn)行離散傅里葉變換，即:

其中:i=1，2，…，T(T表示總幀數(shù));N表示傅里葉變換的點(diǎn)數(shù)，這里N取256。然后對(duì)于第i幀第j個(gè)頻率點(diǎn)的頻率值求其幅值:

得到幅值后，求出第j個(gè)頻率點(diǎn)幅值的平均值Mj(k)和標(biāo)準(zhǔn)差Sj(k)，即:

由于語音信號(hào)的幅值相對(duì)較小，為更直觀地展示原始語音和回放語音的在頻域上的差異，將得到的均值和標(biāo)準(zhǔn)差取對(duì)數(shù)，得到對(duì)數(shù)域下的均值Log_Mj(k)和標(biāo)準(zhǔn)差Log_Sj(k)，即:

同時(shí)為了使求得的統(tǒng)計(jì)特征能夠真實(shí)地反映原始語音和回放語音的差異，對(duì)每種偷錄設(shè)備選擇多個(gè)實(shí)驗(yàn)樣本，用多個(gè)樣本的均值代表每種類別的統(tǒng)計(jì)特征，實(shí)驗(yàn)樣本設(shè)置如表1所示。

表1 實(shí)驗(yàn)樣本詳情Tab.1 Details of experimental samples

圖2表示原始語音和三種回放語音經(jīng)由傅里葉變換后各個(gè)頻率點(diǎn)幅值在對(duì)數(shù)域下按幀求取的均值和標(biāo)準(zhǔn)差的差異分布。圖2(a)是均值分布差異，圖2(b)是標(biāo)準(zhǔn)差分布差異。其中黑色實(shí)線表示原始語音各個(gè)頻率點(diǎn)幅值的均值和標(biāo)準(zhǔn)差分布，其他三種線型代表三種不同回放設(shè)置的回放語音各個(gè)頻率點(diǎn)幅值的均值和標(biāo)準(zhǔn)差分布。由圖2可知，原始語音和回放語音在頻域上的差異主要集中在高頻區(qū)域，且在低頻的部分區(qū)域也有較小的差異。

圖2 原始語音和回放語音的均值及標(biāo)準(zhǔn)差差異Fig.2 Differences on mean and standard deviation between original speech and playback speeches

為進(jìn)一步探究原始語音和回放語音在低頻和中頻的差異，引入變異系數(shù)作進(jìn)一步的探究。變異系數(shù)又稱離散系數(shù)，是概率論和統(tǒng)計(jì)學(xué)中衡量離散程度的歸一化度量，其定義為標(biāo)準(zhǔn)差和均值之比，即:

式中:Mj(k)和Sj(k)分別為均值和標(biāo)準(zhǔn)差;CV表示變異系數(shù)。

圖3表示的是原始語音和三種回放語音的變異系數(shù)分布差異。其中圖3(a)圖是原始語音和三種偷錄設(shè)備的頻域的變異系數(shù)分布，黑色實(shí)線表示原始語音的變異系數(shù)分布，其他三種線型是來自不同偷錄設(shè)備的回放語音的變異系數(shù)分布，而圖3(b)是三種回放語音和原始語音的頻率點(diǎn)差值分布。

圖3 原始語音和回放語音的變異系數(shù)差異Fig.3 Difference of variation coefficient between original speech and playback speeches

由圖3(a)可以看出，原始語音和回放語音在高頻區(qū)域有明顯差異。而在中低頻部分區(qū)域，從圖3(b)可以看出，低頻的差異幅度相較于高頻的差異幅度較小，并且低頻區(qū)域的差異受設(shè)備影響較大。如Samsung設(shè)備產(chǎn)生的回放語音與原始語音在低頻的幅度差值明顯大于0.4，而其他兩種設(shè)備產(chǎn)生的回放語音與原始語音的差值均在0.4以下。因此若使用低頻區(qū)域差異對(duì)回放語音檢測(cè)建模，則模型的可推廣性有一定的局限性，因此將檢測(cè)原始語音和回放語音的工作重心集中在高頻區(qū)域，低頻差異作為優(yōu)化算法時(shí)的輔助檢測(cè)特征。

2 基于修正的倒譜特征回放語音檢測(cè)

2.1 非線性頻率尺度變換及其濾波器設(shè)計(jì)

根據(jù)第1章的分析可知，原始語音和回放語音的差異主要集中在高頻區(qū)域，因此對(duì)高頻區(qū)域的語音信號(hào)特征的精確提取是檢測(cè)回放語音的關(guān)鍵。受說話人識(shí)別系統(tǒng)應(yīng)用最廣泛的梅爾倒譜系數(shù)(Mel-Frequency Cepstral Coefficients，MFCC)特征啟發(fā)，使用一種由Mel頻率尺度變換的逆變換得到的逆Mel尺度變換［9－10］來提取高頻區(qū)域特征，兩種非線性尺度變換的轉(zhuǎn)換公式如下:

式中:f表示真實(shí)頻率;fmel表示Mel刻度下的頻率;fi-mel表示逆Mel頻率;fmax表示語音信號(hào)最大頻率。逆Mel、Mel與真實(shí)頻率的對(duì)應(yīng)關(guān)系及其相應(yīng)的濾波器設(shè)計(jì)如圖4所示。

由圖4可知，線性濾波器的設(shè)計(jì)是在真實(shí)頻率上等帶寬設(shè)計(jì)，整個(gè)頻域內(nèi)的頻率分辨率相等。而Mel濾波器則是在低頻區(qū)頻譜分辨率相對(duì)較高，高頻區(qū)的頻率分辨率相對(duì)較低。這雖然一定程度上提升了低頻區(qū)原始語音和回放語音的差異，但同時(shí)也弱化了高頻區(qū)原始語音和回放語音的主要的差異性。與Mel濾波器設(shè)計(jì)相反的逆梅爾(Inverse-Mel，I-Mel)濾波器則在高頻區(qū)有著較高域頻率分辨率，能夠有效地放大高頻區(qū)的差異，然而I-Mel濾波器組所帶來問題是弱化了低頻區(qū)域差異。

圖4 尺度變換及其濾波器設(shè)計(jì)Fig.4 Scale transformation and its filter design

為了彌補(bǔ)I-Mel濾波器在低頻區(qū)頻率分辨率較低的不足，使用組合濾波器組來進(jìn)行修正。新的組合濾波器的設(shè)計(jì)在低頻區(qū)使用Linear濾波器組，在中高頻區(qū)使用I-Mel濾波器組。這里在低頻區(qū)不使用Mel濾波器組的主要原因在于:原始語音和回放語音的在低頻區(qū)的差異并非在低頻區(qū)的極低頻處。由圖3可以看出，原始語音和回放語音的差異性在低頻區(qū)的差異集中在頻率點(diǎn)20～50處。因此為避免對(duì)極低頻區(qū)域特征影響最終的檢測(cè)結(jié)果，同時(shí)又能夠有效地提取低頻區(qū)的差異，這里使用Linear濾波器提取低頻的特征。

新組合的濾波器組定義為L-I濾波器組，L-I濾波器組的設(shè)計(jì)如圖5所示:前0～N－1個(gè)濾波器是由Linear濾波器構(gòu)成，后N～27個(gè)濾波器采用的是I-Mel濾波器。

圖5 新修正的L-I濾波器組設(shè)計(jì)Fig.5 Design of newly modified L-I filter bank

2.2 特征提取

依據(jù)上述分析，本文將快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)后經(jīng)由不同的濾波器組得到的倒譜特征分別定義為梅爾倒譜系數(shù)(MFCC)、線性倒譜系數(shù)(Linear Frequency Cepstral Coefficients，LFCC)、逆梅爾倒譜系數(shù)(Inverse MFCC，I-MFCC)以及由兩種濾波器組合得到的修正倒譜系數(shù)(Linear I-MFCC，L-I-MFCC)，特征提取的過程如圖6所示。

圖6 特征提取過程Fig.6 Feature extraction process

將式(1)得到的線性頻譜經(jīng)由不同的濾波器進(jìn)行濾波后，對(duì)其計(jì)算對(duì)數(shù)能量得到對(duì)數(shù)頻譜，即:

其中:m=1，2，…，M，M 表示濾波器個(gè)數(shù)，這里M 取為27。最后經(jīng)離散余弦變換(Discrete Cosine Transform，DCT)得到L階的倒譜系數(shù):

其中C(n)即為要求的倒譜系數(shù)，n=1，2，…，L，這里L(fēng)取13。

2.3 回放語音檢測(cè)算法

在訓(xùn)練階段，首先提取訓(xùn)練集語音的特征，然后訓(xùn)練兩個(gè)GMM模型。一個(gè)是原始語音的GMM模型(記作λt)，另一個(gè)是回放語音的GMM模型(記作λf)。在測(cè)試階段，將提取語音的特征向量X在兩個(gè)GMM模型下計(jì)算似然比σ，似然比定義如下:

用得到的似然比作為得分來判決待測(cè)的語音和哪個(gè)模型更匹配。最后通過設(shè)定一個(gè)閾值θ進(jìn)行最后的分類判斷，具體流程如圖7所示。

總體的判決結(jié)果以等錯(cuò)誤率(Equal Error Rate，EER)形式給出，其中EER的計(jì)算公式如下:

其中:P(fa)(θ)表示在閾值θ處的虛警率，反映被判定為原始語音的樣本中，有多少個(gè)是回放語音;P(miss)(θ)表示在閾值θ處的漏警率，反映的是有多少個(gè)原始語音被判定為回放語音。P(fa)(θ)和P(miss)(θ)分別是關(guān)于θ單調(diào)減和單調(diào)遞增的函數(shù)。通過調(diào)節(jié)閾值θ的取值可以調(diào)節(jié)虛警率P(fa)(θ)和漏警率P(miss)(θ)，若使得虛警率降低，則漏警率就會(huì)變大;反之若降低漏警率，則虛警率就會(huì)相應(yīng)地提升。對(duì)于閾值的選擇，可根據(jù)實(shí)際情況進(jìn)行調(diào)節(jié):如果在高安全性領(lǐng)域，則可以通過調(diào)節(jié)閾值使得虛警率最小，以提高安全性;若用于諸如考勤等低安全性領(lǐng)域，則可以適當(dāng)降低閾值以提高漏警率，以兼顧易用性。同時(shí)為了顯示檢測(cè)算法的時(shí)間復(fù)雜度，給出訓(xùn)練和測(cè)試所用的時(shí)間(Time)也作為衡量算法的好壞的評(píng)判標(biāo)準(zhǔn)。

圖7 回放語音檢測(cè)流程Fig.7 Detection process of playback speeches

3 實(shí)驗(yàn)與仿真分析

3.1 數(shù)據(jù)庫

為了說明本文算法的有效性和適用性，本文采用了ASVspoof 2017大賽［11］提供的數(shù)據(jù)集。2017年的 ASVspoof挑戰(zhàn)賽是在2013［12］和2015［2］舉辦的關(guān)于自動(dòng)說話人識(shí)別的特別會(huì)議上提出的，會(huì)議的主辦方分別是芬蘭的東芬蘭大學(xué)和英國的愛丁堡大學(xué)。此次的挑戰(zhàn)賽的主題是回放語音攻擊檢測(cè)。

ASVspoof 2017數(shù)據(jù)庫包含數(shù)據(jù)集和開發(fā)集。數(shù)據(jù)集的語料使用的是RedDots語料庫中最常用的10個(gè)短語［13］。開發(fā)集和訓(xùn)練集分別包含多個(gè)設(shè)備的偷錄樣本［14］，并且所使用的偷錄設(shè)備采樣率均為16 kHz。數(shù)據(jù)庫的具體設(shè)置及樣本詳情如表2和表3所示。

表2 數(shù)據(jù)庫樣本詳情Tab.2 Details of database samples

實(shí)驗(yàn)的訓(xùn)練集選擇的是ASVspoof 2017大賽提供的Train數(shù)據(jù)集，測(cè)試集選擇的是比賽提供的Dev數(shù)據(jù)集。

3.2 實(shí)驗(yàn)結(jié)果及其分析

3.2.1 不同特征下的檢測(cè)結(jié)果

由圖6的回放語音檢測(cè)的流程可知，在檢測(cè)回放語音的訓(xùn)練階段，需要訓(xùn)練兩個(gè)GMM模型時(shí)，考慮到GMM模型訓(xùn)練時(shí)的參數(shù)會(huì)對(duì)檢測(cè)結(jié)果有一定的影響，因此實(shí)驗(yàn)過程中，將訓(xùn)練GMM模型所使用的高斯函數(shù)個(gè)數(shù)作為變量用于探究不同的高斯函數(shù)個(gè)數(shù)對(duì)回放語音檢測(cè)的影響。

此外將文獻(xiàn)［4］和文獻(xiàn)［8］提出的算法加入到本文的實(shí)驗(yàn)中作為對(duì)比實(shí)驗(yàn)。將文獻(xiàn)［4］的特征名稱定義為NS-MFCC(Non-Speech I-MFCC)，該特征是張利鵬等［4］通過對(duì)語音的靜音段進(jìn)行建模，將語音提取靜音段后，提取語音信號(hào)的MFCC特征，并使用譜減法進(jìn)行去噪得到最后的特征參數(shù)。而CQCC特征則是文獻(xiàn)［8］提出的一種基于常Q變換的倒譜特征，通過將語音信號(hào)經(jīng)過常Q變換后，對(duì)其得到的頻譜求其功率譜并進(jìn)行對(duì)數(shù)運(yùn)算，然后再對(duì)其重采樣并進(jìn)行離散余弦變換變換得到的倒譜特征。將本文提出的四種倒譜特征(13維特征及其一階差分特征共26維)以及文獻(xiàn)［4，8］提到的特征用上述的數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)，具體實(shí)驗(yàn)結(jié)果如表4所示。

由表4可知，相較于文獻(xiàn)［4］提出的NS-MFCC特征和文獻(xiàn)［8］提出的 CQCC特征以及 MFCC特征，LFCC、I-MFCC以及L-I-MFCC都表現(xiàn)出了極好的檢測(cè)性能，并且在檢測(cè)時(shí)間上都優(yōu)于文獻(xiàn)［8］提出的CQCC特征。表4中最好的檢測(cè)結(jié)果是L-I-MFCC特征，所使用的濾波器組是7個(gè)Linear濾波器和20個(gè)I-MFCC濾波器。

表3 設(shè)備及偷錄環(huán)境詳情Tab.3 Details of equipment and recorded environment

表4 不同的高斯函數(shù)下不同特征檢測(cè)結(jié)果Tab.4 Different feature detection results under different Gauss functions

此外，通過使用不同的高斯函數(shù)個(gè)數(shù)來探究檢測(cè)結(jié)果發(fā)現(xiàn)，使用不同的高斯函數(shù)個(gè)數(shù)對(duì)檢測(cè)結(jié)果有很大影響，不可否認(rèn)的是隨著高斯函數(shù)個(gè)數(shù)的增加，檢測(cè)的時(shí)間也在增加。因此，在權(quán)衡檢測(cè)結(jié)果和檢測(cè)時(shí)間的基礎(chǔ)上，本文選擇128個(gè)高斯函數(shù)去訓(xùn)練高斯混合模型。

3.2.2 不同的L-I濾波器組的檢測(cè)結(jié)果

為進(jìn)一步探究Linear濾波器組I-Mel濾波器的最優(yōu)組合，通過控制兩種濾波器的組合方式作進(jìn)一步探究。實(shí)驗(yàn)中分別選擇3、5、7、9 個(gè) Linear濾波器和24、22、20、18 個(gè) I-MFCC濾波器進(jìn)行組合。將通過不同組合濾波器得到的修正的倒譜特征進(jìn)行回放語音檢測(cè)，檢測(cè)的結(jié)果如表5所示。

從表5可以看出，相較于單獨(dú)使用Linear濾波器組和I-Mel濾波器組，兩種濾波器組合得到的濾波器組展現(xiàn)了更好的檢測(cè)效果。通過控制Linear濾波器和I-Mel濾波器組合方式可以看出，使用5個(gè)Linear濾波器和22個(gè)I-Mel濾波器得到的L-I-MFCC特征對(duì)回放語音的檢測(cè)性能最好，EER為3.45%。盡管幾種不同的濾波器組合在檢測(cè)時(shí)間上相差不大，但在檢測(cè)結(jié)果上5+22的組合表現(xiàn)了更好的檢測(cè)性能。為了更直觀地對(duì)比幾種特征的差異，通過圖8的EER曲線進(jìn)一步展現(xiàn)5+22的組合的良好性能。

基于上述分析，最后本文使用的L-I-MFCC特征使用濾波器組為5個(gè)Linear濾波器+22個(gè)I-Mel濾波器組合的新濾波器組。在訓(xùn)練GMM模型時(shí)，使用128個(gè)高斯函數(shù)。由實(shí)驗(yàn)的結(jié)果分析可知，本文提出的方法對(duì)回放語音的檢測(cè)具有較好的性能。

表5 不同的濾波器組合的檢測(cè)結(jié)果Tab.5 Detection results of different filter combinations

圖8 L-I濾波器組的檢測(cè)結(jié)果Fig.8 Detection results of L-I filter banks

4 結(jié)語

本文利用原始語音在回放語音在高頻區(qū)以及低頻區(qū)的差異，通過使用Linear濾波器和I-Mel濾波器組合得到的新濾波器組相較于單獨(dú)的濾波器組對(duì)回放語音的檢測(cè)性能上有較高的提升。但哪種因素導(dǎo)致原始語音和回放語音在高頻區(qū)有較高的差異以及如何更有效地提取低頻區(qū)的特征將是以后研究的重點(diǎn)，此外由于現(xiàn)實(shí)場(chǎng)景中的偷錄設(shè)備和回放設(shè)備層出不窮，聲紋識(shí)別系統(tǒng)的應(yīng)用場(chǎng)景也不盡相同，因此后續(xù)的工作重點(diǎn)也將會(huì)著力研究設(shè)備和偷錄環(huán)境對(duì)回放語音檢測(cè)帶來的影響。