基于逆梅爾對數(shù)頻譜系數(shù)的回放語音檢測算法

林朗，王讓定，嚴(yán)迪群，李璨

（寧波大學(xué)，浙江 寧波 315211）

1 引言

說話人識別技術(shù)[1]以其自身獨(dú)特的優(yōu)勢，諸如語音獲取方便、使用者接受度高、說話人系統(tǒng)算法復(fù)雜度低等優(yōu)點(diǎn)，在司法、金融、生活等領(lǐng)域得到了廣泛應(yīng)用。同時，說話人識別技術(shù)的安全性也成為亟待解決的問題。如何防止仿冒語音的攻擊已成為研究的重點(diǎn)。

根據(jù)攻擊手段的不同，仿冒語音主要分為兩類：一是模仿特定說話人的聲音進(jìn)行攻擊，稱為說話人仿冒攻擊；二是通過專業(yè)的設(shè)備和技術(shù)仿冒說話人的聲音[2,3]（如合成語音、拼接語音、回放語音等）。對于第一種攻擊方式，現(xiàn)有的說話人識別技術(shù)已經(jīng)能夠有效地檢測。而對于第二種攻擊方式，目前還沒有比較成熟有效的手段能夠完全檢測出來。在實際場景中，由于合成、拼接語音需要比較專業(yè)的技術(shù)支持，而回放語音相對來說操作簡單，便于仿冒，已經(jīng)成為不法分子最善用的攻擊手段[4]。回放語音的產(chǎn)生過程如圖1所示。

圖1 回放語音產(chǎn)生過程

由圖1可知，回放語音是真實地來源于說話人本人的聲音，相較于其他仿冒語音來說，對說話人識別系統(tǒng)威脅更大。與原始語音相比，回放語音多經(jīng)歷了偷錄設(shè)備的錄制和回放設(shè)備的播放等過程，因此會不可避免地引入設(shè)備噪聲和設(shè)備編碼、解碼的失真以及環(huán)境噪聲等，使得回放語音和原始語音產(chǎn)生了細(xì)微的差異。目前，針對回放語音檢測問題，主要分為以下兩類：一種是基于語音隨機(jī)性的檢測算法，如 Shang等人[5,6]利用語音產(chǎn)生的隨機(jī)性，提出了一種檢測待測語音和合法語音在峰值圖上的相似度的算法，此方法只能夠應(yīng)用于文本相關(guān)的聲紋認(rèn)證系統(tǒng)；另一種是基于語音信道的檢測算法，如張利鵬等人[7]通過探究回放語音產(chǎn)生的機(jī)理，對語音的靜音段信道進(jìn)行建模，提出了一種基于語音靜音段信道差異的回放語音檢測算法，該算法由于靜音段幅度很小，容易受到噪聲的污染，因此很難建立精確的信道模型。王志峰等人[8]分析了回放語音產(chǎn)生過程中由不同設(shè)備引入的信道噪聲，提出了一種基于信道模式噪聲的錄音回放檢測算法。該方法解決了文本相關(guān)問題，但實驗過程中只涉及一種錄音設(shè)備和回放設(shè)備，存在實驗設(shè)備單一的問題。

通過分析原始語音和回放語音的語譜圖發(fā)現(xiàn)，在高頻區(qū)域原始語音和回放語音有顯著的差異。而傳統(tǒng)的 MFCC（Mel-frequency cepstral coefficient，Mel倒譜系數(shù)）特征提取使用的 Mel濾波器由于低頻分辨率高、高頻分辨率低的特點(diǎn)，使得原始語音和回放語音在高頻區(qū)的差異性削弱，從而不利于人們對回放語音的檢測。其次在分析 MFCC特征參數(shù)時，經(jīng)過實驗發(fā)現(xiàn)，使用MFCC提取過程中去離散余弦變換（discrete cosine transform，DCT）前的梅爾對數(shù)頻譜系數(shù)（log Mel-frequency spectral coefficient，MFSC）在回放語音的檢測上有更好的檢測效果。

基于上述分析，本文提出了一種基于逆Mel濾波器的梅爾對數(shù)頻譜（log inverse Mel-frequency spectral coefficient，I-MFSC）的算法，逆Mel濾波器的設(shè)計是由Mel濾波器逆置得到的，表現(xiàn)為高頻區(qū)域頻譜分辨率高、低頻區(qū)域分辨率低的特點(diǎn)，這樣使得高頻區(qū)回放語音和原始語音的差異性會更加顯著地顯示出來。實驗結(jié)果表明，在回放語音的檢測上I-MFSC有較好的檢測效果。將本文提出的回放語音檢測方法加載到目前主流的 GMM-UBM 說話人識別系統(tǒng)中后，系統(tǒng)安全性能有了顯著的提高。

2 高頻區(qū)回放語音和原始語音差異分析

盡管現(xiàn)有的偷錄和回放設(shè)備都有著良好性能，能夠做到較小的失真錄制和高保真的回放。但原始語音和回放語音仍會存在一定的差別。本文從語譜圖[9]著手，考究了原始語音和回放語音在頻譜上的差異性，如圖2和圖3所示，實驗語音是由Aigo R6620采集的一段4 s的語音，語音內(nèi)容為“芝麻開門，我是土豪，千里共嬋娟”。其中圖（a）代表原始語音的語譜圖。圖（b）、圖（c）、圖（d）分別對應(yīng)偷錄設(shè)備為iPhone6、Mi4以及Sony PX440的語譜圖。圖2使用的回放設(shè)備為Huawei AM08，而圖3對應(yīng)的回放設(shè)備為Philips DTM3115。

圖2 原始錄制和回放語音的語譜圖（回放設(shè)備：Huawei AM08）

圖3 原始錄制和回放語音的語譜圖（回放設(shè)備：Philips DTM3115）

從圖2和圖3中可以看出，與圖（a）的原始語音語譜圖相比，3種偷錄設(shè)備高頻區(qū)域（6～8 kHz）的頻率值均小于原始語音，其中圖（c）、圖（d）顯示出了更大的差異性。這表明 Mi4以及 Sony PX440兩種設(shè)備失真度更高。此外在4 kHz左右，原始語音和iPhone6以及Sony PX440語譜圖頻譜過渡相對平滑，而Mi4分界線較為明顯，產(chǎn)生了跳變現(xiàn)象，探究后發(fā)現(xiàn)這和Mi4設(shè)備自身固有的設(shè)備性能有關(guān)。

3 基于I-MFSC回放語音檢測算法

3.1 MFCC特征提取過程

在說話人識別中，MFCC因能夠較好地模擬人耳聽覺系統(tǒng)的感知能力被廣泛應(yīng)用。圖 4為MFCC特征的提取過程。

圖4 MFCC特征的提取過程

首先對語音信號x(n)進(jìn)行預(yù)處理，包括預(yù)加重、分幀和加窗，得到分幀后的語音信號

xi(n)，其中下標(biāo)i表示分幀后的第i幀。然后對每幀語音信號xi(n)進(jìn)行FFT得到各幀的線性頻譜Xi(k)，即：

其中，N表示傅里葉變換的點(diǎn)數(shù)；將得到的線性頻譜Xi(k)經(jīng)由Mel濾波器進(jìn)行濾波生成Mel頻譜，然后再對 Mel頻譜計算對數(shù)能量得到對數(shù)頻譜Si(m)，即：

其中，M表示濾波器個數(shù)，m=1,2,…,M，這里M通常取 27～40。最后經(jīng)離散余弦變換（DCT）得到L階的MFCC：

其中，C(n)為L階的MFCC，L通常取12～16。

3.2 基于逆Mel濾波器組的MFSC

傳統(tǒng)的Mel濾波器組，在低頻段帶寬較窄，頻譜分辨率相對較高。而高頻段帶寬較寬，頻譜分辨率相對較低。因此在高頻區(qū)域較寬的濾波器平滑了高頻信息，削弱了不同頻率帶之間的差異，使得高頻區(qū)域的部分信息丟失。而由第2.1節(jié)的分析可知，回放語音和原始語音在高頻區(qū)域存在明顯的差異，因此為了利用兩種語音在高頻區(qū)域的差異性，本文采用一種逆Mel濾波器組[10-12]的設(shè)計來提取本文特征參數(shù)。逆Mel濾波器組的設(shè)計如圖5所示。

圖5 逆Mel濾波器組的設(shè)計

逆Mel濾波器組是基于逆Mel刻度變換得到的，逆Mel刻度變換的物理頻率和Mel頻率的對應(yīng)關(guān)系為：

其中，fI-Mel表示逆 Mel頻率，fmax表示語音信號最大頻率，f表示語音信號的物理頻率。逆 Mel和Mel變換關(guān)系如圖6所示。

圖6 逆Mel和Mel變換關(guān)系

此外，在 MFCC特征提取時，會將得到的Mel頻譜取對數(shù)后再進(jìn)行 DCT，得到最后的MFCC特征參數(shù)。這里的DCT有兩種作用[13]：一是利用DCT后較強(qiáng)的能量集中特性，能夠?qū)?shù)據(jù)進(jìn)行壓縮；二是由于 MFCC提取過程中使用的Mel濾波器之間是有重疊的，因此能量值之間具有很強(qiáng)的相關(guān)性，使用DCT可以達(dá)到去相關(guān)的目的。而 Mohamed等人[14]的研究表明，相較于MFCC特征，MFSC具有更高的相關(guān)性和維度，更適合于機(jī)器學(xué)習(xí)的建模方式。因此將DCT前的MFSC作為參數(shù)特征，在濾波器的設(shè)計上，采用逆Mel濾波器組，新得到的參數(shù)定義為I-MFSC。

3.3 特征構(gòu)造與選擇

I-MFSC的特征提取過程和MFCC相似，在第3.1節(jié)MFCC提取的基礎(chǔ)上，將Mel濾波器組換成逆 Mel濾波器組，然后將去 DCT前的對數(shù)Mel頻譜Si(m)作為本文算法的最后特征參數(shù)，最終得到本文的特征參數(shù)I-MFSC。

為了更好地說明 I-MFSC特征的性能，分別對 Mel倒譜系數(shù)（MFCC）、Mel對數(shù)頻譜系數(shù)（MFSC）、逆Mel倒譜系數(shù)（I-MFCC）和逆Mel對數(shù)頻譜系數(shù)（I-MFSC）在均值上做了對比分析，圖7分別為這4種特征系數(shù)在均值上的差異。

由圖7可以看出，雖然MFCC和I-MFCC在某些特征維度上也體現(xiàn)了差異性，可以作為檢測回放語音的特征，但相較于MFSC與I-MFSC兩種，后者在原始語音和回放語音的檢測上體現(xiàn)出了更好的性能。而盡管MFSC特征與I-MFSC特征都具有很好的檢測性能，但是第4節(jié)后續(xù)的實驗表明，本文提出的 I-MFSC特征參數(shù)略優(yōu)于MFSC特征參數(shù)。

圖7 4種特征均值分布

3.4 回放語音檢測算法

實驗分類器的選擇是LibSVM[15]，它是一種有監(jiān)督的機(jī)器學(xué)習(xí)方法。在分類訓(xùn)練和測試時需要為每一條數(shù)據(jù)設(shè)置標(biāo)簽，這里將原始語音設(shè)置為正樣本，標(biāo)簽設(shè)置為“Y”，回放語音設(shè)置為負(fù)樣本，標(biāo)簽設(shè)置為“N”，LibSVM分類器其他參數(shù)均使用默認(rèn)參數(shù)。

將提取的矩陣特征（MFCC、MFSC、I-MFCC、I-MFSC）按幀求取均值，得到每一條語音的均值特征，并將每一條語音特征設(shè)置標(biāo)簽。在訓(xùn)練階段，使用訓(xùn)練集訓(xùn)練模型參數(shù)。在測試時，根據(jù)訓(xùn)練階段得到的模型參數(shù)對測試數(shù)據(jù)進(jìn)行判別歸類，然后根據(jù)分類結(jié)果和測試數(shù)據(jù)的已知標(biāo)簽比較，得出回放語音檢測的準(zhǔn)確率，具體流程如圖8所示。

圖8 回放語音檢測流程

4 實驗仿真及分析

4.1 實驗設(shè)置

為了說明本文算法的有效性和適用性，分別構(gòu)建了原始語音庫和回放語音庫。數(shù)據(jù)庫的具體設(shè)置如下：語料庫來源于863語料庫[16]；人員分布為10男6女；考慮到現(xiàn)實場景中說話人驗證系統(tǒng)中的語音采集模塊通常采用16 kHz的采樣率，所以在實驗中使用了與其采樣率相同的設(shè)備Aigo R6620；而偷錄和回放設(shè)備則選擇了多款常見的高保真設(shè)備，設(shè)備的具體詳情見表1。

實驗庫的構(gòu)建環(huán)境為安靜辦公室，具體錄音流程為：說話人按照語料庫語料錄音，并使用采集設(shè)備進(jìn)行語音采集，通常將采集設(shè)備采集到的語音稱為原始語音。與此同時，使用3種偷錄設(shè)備同時錄制說話人語音，并在同樣的環(huán)境下，將偷錄設(shè)備錄制的語音經(jīng)音響回放，并使用采集設(shè)備錄制該回放的語音，將此種條件下采集的語音稱為回放語音。數(shù)據(jù)集共有實驗樣本15 000個，其中原始語音樣本2 400個，兩種回放設(shè)備對應(yīng)3種偷錄設(shè)備共計有12 600個回放語音樣本，所有樣本詳情見表2。

表1 設(shè)備的具體詳情

4.2 實驗結(jié)果與分析

4.2.1 不同特征的實驗結(jié)果與分析

本節(jié)主要檢測MFCC、I-MFCC、MFSC以及I-MFSC這4種特征對回放語音檢測性能影響。實驗所用樣本詳情見表2。表3為不同特征的檢測結(jié)果，TPR為真陽性率（true positive rate），F(xiàn)PR為假陽性率（false positive rate），ACC為正確檢測率。

由表3可知，兩種Mel對數(shù)頻譜系數(shù)MFSC和I-MFSC的性能顯著優(yōu)于MFCC和I-MFCC。盡管MFSC對回放語音的檢測率也有很優(yōu)越的性能，但最好的檢測結(jié)果仍然是I-MFSC，因此本文后續(xù)實驗所使用的特征選擇I-MFSC作為最后的特征參數(shù)。

4.2.2 不同設(shè)備之間的交叉實驗對檢測率的影響

現(xiàn)實場景中由于偷錄設(shè)備的多種多樣，回放語音檢測算法能否對多種偷錄設(shè)備和回放設(shè)備都有較好的檢測結(jié)果是衡量算法有效性的關(guān)鍵所在。本節(jié)實驗?zāi)康氖菣z測本文提出的算法在不同設(shè)備之間交叉是否依然有較好結(jié)果。實驗采用的樣本見表 2，實驗采用的特征是本文提出的I-MFSC特征，具體檢測結(jié)果見表4。

由實驗結(jié)果可知，在不涉及交叉設(shè)備時，每種設(shè)備的檢測率均達(dá)到了 100%。當(dāng) iPhone6和Sony PX440作為訓(xùn)練樣本時，雖然檢測效果有所下降，但檢測效果依舊可觀；當(dāng)Mi4作為訓(xùn)練集樣本時，檢測效果不甚理想。由第2.1節(jié)的語譜圖分析結(jié)論可知，這是因為受到Mi4設(shè)備本身特性的影響，對高頻區(qū)有些許的抑制作用；但綜合來看，本文提出的 I-MFSC特征在設(shè)備交叉的實驗檢測中具有良好的檢測性能。

表2 原始語音和回放語音樣本詳情

表3 不同特征的檢測結(jié)果

表4 不同設(shè)備之間的交叉實驗檢測結(jié)果

表5 噪聲環(huán)境下實驗檢測結(jié)果

4.2.3 噪聲環(huán)境下幾種特征的檢測效果

現(xiàn)實場景中偷錄環(huán)境的多樣性和復(fù)雜性也是影響回放語音檢測性能的重要因素?？紤]到聲紋識別系統(tǒng)的實際應(yīng)用場景，過高的噪聲環(huán)境在聲紋認(rèn)證領(lǐng)域意義不大，且噪聲環(huán)境特別大時，聲紋系統(tǒng)會直接拒絕待測語音進(jìn)入系統(tǒng)，因此本實驗將回放語音和原始語音加上15～30 dB的高斯白噪聲以檢測本算法的頑健性。檢測結(jié)果見表5。

由表5可以看出，噪聲的引入對回放語音檢測有一定的影響，當(dāng)信噪比從30 dB降到15 dB時，回放語音的檢測率總體呈下降趨勢。但相對而言，本文提出的算法I-MFSC相較于其他3種特征，在噪音環(huán)境下表現(xiàn)出更好的性能。

4.2.4 對比試驗

為檢驗本算法的有效性和適用性，將本文的算法以單獨(dú)的模塊形式加載到 GMM-UBM 說話人識別系統(tǒng)[17]中，加載回放語音檢測模塊的說話人識別系統(tǒng)如圖9所示。

圖9 加載回放語音檢測模塊的說話人識別系統(tǒng)

語音進(jìn)入說話人識別系統(tǒng)后，說話人識別系統(tǒng)對語音進(jìn)行第一次判別，當(dāng)說話人識別系統(tǒng)判決為非法用戶時，系統(tǒng)會直接拒絕該語音，不再進(jìn)入回放語音檢測模塊。只有當(dāng)說話人識別系統(tǒng)判決該語音來自于合法用戶后，才會進(jìn)行回放語音檢測模塊；如果回放語音檢測模塊判決為原始語音，則系統(tǒng)接受該用戶請求，否則拒絕該用戶請求。

此外，將本文算法同參考文獻(xiàn)[4]和參考文獻(xiàn)[5]提出的算法進(jìn)行比較。參考文獻(xiàn)[4]的算法采用短時能量法提取靜音，并用譜減法進(jìn)行去噪。采用12維MFCC和一階差分ΔMFCC作為特征參數(shù)。而參考文獻(xiàn)[5]的算法則采用高通濾波器進(jìn)行去噪，提取6個統(tǒng)計特征及6階Legendre多項式系數(shù)（共12維）作為信道模式噪聲的特征參數(shù)。檢測檢測結(jié)果見表6，其中ACC表示檢測的正確率，EER表示將檢測模塊加載到 GMM-UBM系統(tǒng)的等錯誤概率。

表6 對比實驗檢測結(jié)果

由表6可知，本文提出的算法相較于參考文獻(xiàn)[4]和參考文獻(xiàn)[5]在性能上有很大的提升。最后將幾種方法以單獨(dú)的模塊加載到說話人識別系統(tǒng)，加載回放語音檢測模塊前后的等錯誤概率如圖 10所示。由圖10可以看出，加載到GMM-UBM系統(tǒng)后，本文提出的算法更能有效地提高說話人識別系統(tǒng)對回放語音的抵抗能力。

圖10 加載回放語音檢測模塊前后的等錯誤概率

5 結(jié)束語

本文利用原始語音在回放語音在高頻區(qū)的差異，通過逆Mel濾波器和提取去DCT前的MFSC特征，提出了一種基于高頻區(qū) I-MFSC特征的回放語音檢測算法。該算法能夠有效地彌補(bǔ)現(xiàn)有算法中設(shè)備單一的問題。通過實驗表明，本文算法能夠有效地檢測回放語音和原始語音，將本文算法加載到GMM-UBM說話人識別系統(tǒng)時，對說話人識別的性能有了很大的提高。現(xiàn)實場景中，偷錄設(shè)備和回放設(shè)備種類繁多，高保真的設(shè)備層出不窮，因此今后的工作將進(jìn)一步探索回放語音產(chǎn)生的機(jī)理以及回放語音和原始語音產(chǎn)生差異性的具體因素。

參考文獻(xiàn)：

[1]ZHU D, MA B, LI H.Speaker verification with feature-space MAPLR parameters[J].IEEE Transactions on Audio Speech &Language Processing, 2011, 19(3)： 505-515.

[2]易克初, 胡征.一種應(yīng)用矢量量化的語音合成新方法[J].電信科學(xué), 1987(11)： 1-6.YI K C, HU Z.A new speech synthesis method using vector quantization[J].Telecommunications Science, 1987(11)： 1-6.

[3]郭弘.錄音證據(jù)的真實性檢驗與研究[J].電信科學(xué), 2010,26(Z2)： 56-60.GUO H.Authenticity verification and research of recording evidence[J].Telecommunications Science, 2010, 26(Z2)： 56-60.

[4]李璨, 王讓定, 嚴(yán)迪群, 等.基于相位譜的翻錄語音攻擊檢測算法[J].電信科學(xué), 2017, 33(8)： 145-154.LI C, WANG R D, YAN D Q, et al.Detection algorithm of riprap voice attack based on phase spectrum[J].Telecommunications Science, 2017, 33(8)： 145-154.

[5]SHANG W, STEVENSON M.A playback attack detector for speaker verification systems[C]//IEEE International Symposium on Communications Control and Signal Processing (ISCCSP),March 12-14, 2008, St Julians, Malta.Piscataway： IEEE Press,2008： 1144-1149.

[6]SHANG W, STEVENSON M.Score normalization in playback attack detection[C]//IEEE International Conference on Acoustics Speech and Signal Processing (ICASSP), March 14-19, 2010, Dallas, USA.Piscataway： IEEE Press, 2010： 1678-1681.

[7]張利鵬, 曹犟, 徐明星.防止假冒者闖入說話人識別系統(tǒng)[J].清華大學(xué)學(xué)報(自然科學(xué)版), 2008, 48(S1)： 699-703.ZHANG L P, CAO J, XU M X.Prevention of impostors entering speaker recognition systems[J].Journal of Tsinghua University (Science and Technology), 2008, 48(S1)： 699-703.

[8]王志峰, 賀前華, 張雪源, 等.基于模式噪聲的錄音回放攻擊檢測[J].華南理工大學(xué)學(xué)報, 2011, 39(10)： 7-12.WANG Z F, HE Q H, ZHANG X Y, et al.Channel pattern noise based playback detection algorithm speaker recognition[J].Journal of South China University of Technology (Natural Science Edition), 2011, 39(10)： 7-12.

[9]李富強(qiáng), 萬紅, 黃俊杰.基于MATLAB的語譜圖顯示與分析[J].微計算機(jī)信息, 2005(20)： 172-174.LI F Q, WAN H, HUANG J J.The display and analysis of sonogram based on MATLAB[J].Control & Automation,2005(20)： 172-174.

[10]BURILLO P, BUSTINCE H.Entropy on intuitionistic fuzzy sets and on interval-valued fuzzy sets[J].Fuzzy Sets & Systems,1996, 78(3)： 305-316.

[11]項要杰, 楊俊安, 李晉徽, 等.一種適用于說話人識別的改進(jìn)Mel濾波器[J].計算機(jī)工程, 2013(11)： 214-217.XIANG Y J, YANG J A, LI J H, et al.An improved Mel-frequency filter for speaker recognition[J].Computer Engineering, 2013(11)： 214-217.

[12]陶佰睿, 郭琴, 苗鳳娟, 等.基于改進(jìn) Mel濾波器組的聲紋特征提取SoC設(shè)計[J].微電子學(xué), 2015(6)： 785-788.TAO B R, GUO Q, MIAO F J, et al.SoC design of voiceprint features extraction based on improved Mel filter banks[J].Microelectronics, 2015(6)： 785-788.

[13]胡永剛, 吳翊, 王洪志, 等.高維數(shù)據(jù)降維的 DCT變換[J].計算機(jī)工程與應(yīng)用, 2006(32)： 21-23.HU Y G, WU Y, WANG H Z, et al.Discrete cosine transform in data dimensionality reduction[J].Computer Engineering and Applications, 2006(32)： 21-23.

[14]MOHAMED A.Deep neural network acoustic models for ASR[J].Doctoral, 2014.

[15]CHANG C C, LIN C J.LIBSVM： a library for support vector machines[J].ACM Transactions on Intelligent Systems &Technology, 2012, 2(3)： 1-27.

[16]王天慶, 李愛軍.連續(xù)漢語語音識別語料庫的設(shè)計[C]//第六屆全國現(xiàn)代語音學(xué)學(xué)術(shù)會議論文集, 2003年10月1日, 天津,中國.[出版地不詳： 出版者不詳], 2003： 1-4.WANG T Q, LI A J.The design of the continuous Chinese speech recognition corpus[C]//The Sixth National Conference on Modern Phonetics Learning, Oct 1, 2003, Tianjin, China.[S.l.：s.n.], 2003： 1-4.

[17]CHAKROBORTY S, ROY A, SAHA G.Improved closed set ttext-independent speaker identification by combining MFCC with evidence from flipped filter banks[J].International Journal of Signal Processing, 2007, 4(2)： 114-122.