復(fù)雜噪聲中基于MFCC距離的語音端點(diǎn)檢測(cè)算法

韓云霄,邵 清,符玉襄,郭 慶

(1.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093; 2.中國(guó)電子科技集團(tuán)公司第三十六研究所,浙江 嘉興 314000)

0 概述

端點(diǎn)檢測(cè)也稱話音活動(dòng)檢測(cè),主要目標(biāo)是檢測(cè)輸入信號(hào)中語音的起止點(diǎn),完成語音與非語音的分離。在語音識(shí)別中,背景的復(fù)雜噪聲會(huì)嚴(yán)重影響語音信號(hào)的可懂度和識(shí)別性能,而提升復(fù)雜噪聲中端點(diǎn)檢測(cè)的準(zhǔn)確率可以減少語音識(shí)別工作的計(jì)算量,并且提高識(shí)別結(jié)果的準(zhǔn)確率。同時(shí),對(duì)于某些需要不間斷、長(zhǎng)時(shí)間人工值守的通信偵察、無線電監(jiān)聽等特殊應(yīng)用場(chǎng)景,端點(diǎn)檢測(cè)可以顯著減少人工復(fù)聽或監(jiān)聽的工作量。

目前語音端點(diǎn)檢測(cè)可分為兩類:一類是以機(jī)器學(xué)習(xí)[1-3]、深度學(xué)習(xí)[4-6]、建模[7-9]等為基礎(chǔ)的模式識(shí)別方法,另一類是基于語音特征[10-11]直接進(jìn)行分類的規(guī)則性語音端點(diǎn)檢測(cè)方法。在復(fù)雜噪聲環(huán)境下,第1類方法相比于第2類方法具有更高的準(zhǔn)確率,但是它需要對(duì)海量數(shù)據(jù)樣本進(jìn)行訓(xùn)練,且抽取的特征需要具備全面、精準(zhǔn)的特性,算法相對(duì)繁瑣,計(jì)算量較大。因此,該方法不適用于實(shí)時(shí)應(yīng)用。基于語音特征的方法計(jì)算復(fù)雜度相對(duì)較低,且具有響應(yīng)速度快、實(shí)時(shí)性高的優(yōu)點(diǎn),更符合實(shí)際應(yīng)用的需求。

語音噪聲可分為加性噪聲和卷積噪聲。針對(duì)加性噪聲,文獻(xiàn)[12]在語音的端點(diǎn)檢測(cè)過程中,先對(duì)含噪語音使用最小均方(Least Mean Square,LMS)誤差自適應(yīng)濾波減噪,再利用雙參數(shù)雙門限進(jìn)行平滑處理,提高了在低信噪比環(huán)境下檢測(cè)結(jié)果的準(zhǔn)確率與穩(wěn)健性。文獻(xiàn)[13] 采用分類和回歸樹(Classification and Regression Tree,CART)利用多個(gè)特征進(jìn)行語音端點(diǎn)檢測(cè),并在語音撥號(hào)手機(jī)的隔離語音識(shí)別算法中進(jìn)行驗(yàn)證,結(jié)果表明,在低信噪比環(huán)境中采用多種特征的方法比使用單一特征的方法效果更好。針對(duì)卷積噪聲,文獻(xiàn)[14]使用卷積傳遞函數(shù)估計(jì)語音和房間脈沖響應(yīng)幅度譜圖,通過學(xué)習(xí)模型進(jìn)行2個(gè)階段的迭代,其處理的數(shù)據(jù)在算法中能獲得更優(yōu)的去噪效果。

實(shí)用的語音識(shí)別系統(tǒng)需要在復(fù)雜噪聲環(huán)境中具有較強(qiáng)的魯棒性和較快的計(jì)算響應(yīng)速度,但因?yàn)槎虝r(shí)能量特征極易將復(fù)雜多變環(huán)境中的非平穩(wěn)噪聲誤判為語音,而計(jì)算復(fù)雜度低、實(shí)時(shí)性高的過零率特征對(duì)噪聲魯棒性較差,所以只利用單一的語音特征很難處理復(fù)雜的噪聲情況,目前研究者一般都采用雙門限算法。本文采用多個(gè)特征進(jìn)行算法判定修正,以MFCC距離特征作為主要判斷依據(jù),同時(shí)結(jié)合其他特征的優(yōu)勢(shì),建立組合規(guī)則,通過自適應(yīng)噪聲模型匹配方法實(shí)現(xiàn)復(fù)雜噪聲中語音信號(hào)端點(diǎn)的準(zhǔn)確檢測(cè)。

1 多維語音信號(hào)特征參數(shù)計(jì)算

1.1 語音信號(hào)的預(yù)處理

由于實(shí)際的語音信號(hào)是模擬信號(hào),因此在對(duì)語音信號(hào)進(jìn)行數(shù)字處理之前,首先要將模擬語音信號(hào)s(t)以采樣周期T采樣,將其離散化為s(n),采樣周期的選取應(yīng)根據(jù)模擬語音信號(hào)的帶寬(奈奎斯特采樣定理)來確定,以避免信號(hào)的頻域混疊失真。

對(duì)離散后的語音信號(hào)進(jìn)行量化處理的過程會(huì)帶來一定的量化噪聲和失真。語音信號(hào)的頻率范圍通常是300 Hz～3 400 Hz,一般情況下取采樣率為8 kHz。本文對(duì)語音信號(hào)的預(yù)處理過程包括重采樣、加窗以及分幀。

重采樣的目的是將輸入語音信號(hào)的采樣率統(tǒng)一為8 kHz,以方便后續(xù)處理。設(shè)語音波形時(shí)域信號(hào)為x(n),加窗函數(shù)為w(n),分幀處理后得到的第i幀語音信號(hào)為yi(n),則yi(n)滿足:

yi(n)=w(n)×x((i-1)×Linc+n)

1≤n≤L,1≤i≤fn

(1)

其中:w(n)為窗函數(shù),一般為矩形窗或漢明窗;yi(n)是一幀的數(shù)值,n=1,2,…,L,i=1,2,…,fn;L為幀長(zhǎng);Linc為幀移長(zhǎng)度;fn為分幀后的總幀數(shù)。

對(duì)yi(n)進(jìn)行傅里葉變換,計(jì)算MFCC距離,使用濾波器和歸一化處理數(shù)據(jù)使得其能更好地匹配建立的模型,并以短時(shí)過零率、短時(shí)能量和MFCC距離差分累加和這3個(gè)特征作為判定條件,對(duì)語音信號(hào)和非語音信號(hào)進(jìn)行數(shù)值判斷并標(biāo)識(shí)。

1.2 短時(shí)過零率

語音信號(hào)的短時(shí)過零率是指單位時(shí)間內(nèi)信號(hào)波形穿過橫軸(零電平)從而改變符號(hào)的次數(shù)。當(dāng)窗起點(diǎn)為i=0時(shí),信號(hào)的短時(shí)過零率用Z0表示,它對(duì)相鄰2個(gè)取樣點(diǎn)改變符號(hào)的次數(shù)進(jìn)行求和,計(jì)算如下:

(2)

其中,sgn[x]為符號(hào)函數(shù),其含義為:

(3)

在復(fù)雜噪聲環(huán)境中,單一過零率特征不具備良好的辨別特征,尤其是在強(qiáng)噪聲環(huán)境中,過零率數(shù)值的持續(xù)增加,在一定程度上增加了語音與噪聲的判別難度。

1.3 短時(shí)能量

短時(shí)能量是短時(shí)平均能量的簡(jiǎn)稱,語音信號(hào)進(jìn)行分幀等預(yù)處理后,每一幀的短時(shí)能量值等于該幀內(nèi)樣點(diǎn)值的平方和。計(jì)算第i幀語音信號(hào)yi(n)的短時(shí)能量公式為:

(4)

短時(shí)能量特征參數(shù)在以下幾方面具有較好表現(xiàn):1)可以作為區(qū)分清音和濁音的特征參數(shù);2)在信噪比較高的情況下,短時(shí)能量可以作為區(qū)分有聲和無聲的依據(jù);3)在復(fù)雜噪聲環(huán)境下,可以作為輔助的特征參數(shù)與其他特征參數(shù)相結(jié)合用于語音識(shí)別。

1.4 MFCC距離差分累加和

由于環(huán)境復(fù)雜多變,因此在語音信號(hào)中可能同時(shí)存在加性和卷積兩類噪聲。為了把卷積噪聲轉(zhuǎn)換為加性噪聲,本文采取倒譜分析方式,等同于求取語音倒譜特征參數(shù)。通過對(duì)時(shí)域語音信號(hào)做傅里葉變換,取對(duì)數(shù),然后再進(jìn)行反傅里葉變換,最后得到加性時(shí)域信號(hào)。倒譜分析可以分為復(fù)倒譜、實(shí)倒譜和功率倒譜,由于在語音信號(hào)領(lǐng)域功率譜特征性明顯,因此本文采用功率倒譜進(jìn)行倒譜分析。

1.4.1 MFCC特征

MFCC與普通實(shí)際頻率倒譜分析不同,其著眼于人耳的聽覺特性,Mel頻率與實(shí)際頻率的具體關(guān)系公式計(jì)算為:

Mel(f)=2 595lg(1+f/700)

(5)

其中,f為實(shí)際頻率,單位是Hz。

為了將卷積信號(hào)轉(zhuǎn)換成加性信號(hào),需要把預(yù)處理后的信號(hào)yi(n)進(jìn)行從時(shí)域到頻域的轉(zhuǎn)換。首先計(jì)算其幅度譜Yi(k),計(jì)算公式為:

(6)

其中,L是幀長(zhǎng),K是DFT長(zhǎng)度。

然后計(jì)算其功率譜Pi(k),公式如下:

(7)

由此得到頻域特征值Pi(k)。本文通過Mel濾波器組對(duì)頻域的幅值進(jìn)行精簡(jiǎn),去除冗余的頻域信號(hào),使得每一個(gè)頻段用一個(gè)值來表示。

由于人耳對(duì)聲音的感知與信號(hào)幅度大致呈對(duì)數(shù)關(guān)系,通過取對(duì)數(shù)運(yùn)算,可以使語音信號(hào)呈現(xiàn)線性關(guān)聯(lián)。

本文取Mel濾波器系數(shù)為Xmel,與功率譜相乘可得濾波后的信號(hào)頻域值MelValue,然后對(duì)其進(jìn)行l(wèi)og運(yùn)算使得MellogValue更符合人耳對(duì)聲音的辨識(shí)關(guān)系。

MelValue=Xmel×Pi(k)

(8)

MellogValue=lg(MelValue+eps)

(9)

式(9)中使用eps函數(shù)增加取對(duì)數(shù)后頻域信號(hào)精度。

1.4.2 MFCC距離特征累加和

為了保存數(shù)據(jù)原始特征,加快計(jì)算速度,本文未采用常規(guī)MFCC方法。常規(guī)MFCC方法通過離散余弦變換(Discrete Cosine Transform,DCT)來獲取頻率譜的低頻信息,并且對(duì)數(shù)據(jù)進(jìn)行降維壓縮,獲得最后的特征參數(shù),本文采取對(duì)濾波后取對(duì)數(shù)的數(shù)據(jù)MellogValue進(jìn)行中值濾波和平滑濾波的措施,從而得到Ci,直接對(duì)相鄰幀的特征參數(shù)進(jìn)行差分運(yùn)算,公式如下:

dt=Ci-Ci-1

(10)

通過條件判定計(jì)算MFCC累加和并作為語音端點(diǎn)判定條件之一,其偽代碼如下所示:

算法1Sum of MFCC Distance

輸入對(duì)數(shù)運(yùn)算結(jié)果MellogValue;

輸出差分累加和distanceFinal

1:function Valuefiltering(MellogValue)

2: CiMellogValue

3:return Ci

4:function sumDifferencing(Ci,Mi)

//Mi(n)是模型值

6:dtCi

7:while dt>0 do

9:return distance&sum

10:function Ranging(oldDistance,distance,sum,mZ,mE)

11:while distance>oldDistance||distance

13:else

15:return distanceFinal

2 自適應(yīng)噪聲模型的建立

自適應(yīng)噪聲模型在普通噪聲模型的基礎(chǔ)上,對(duì)模型參數(shù)進(jìn)行閾值判定并更新,使其能更靈活地應(yīng)用于各類噪聲模型。假設(shè)在某段連續(xù)的短時(shí)間內(nèi),復(fù)雜噪聲MFCC距離值Mp(i)的概率密度函數(shù)符合如下公式:

(11)

(12)

λ值越小,說明MFCC距離分布越集中,即MFCC距離波動(dòng)越平穩(wěn)。

Mp(i)占信號(hào)主導(dǎo)地位的時(shí)間極短,所以,本文將在短時(shí)內(nèi)的值作為噪聲特征。根據(jù)大量實(shí)驗(yàn)數(shù)據(jù)分析,本文假定噪聲特征在500 ms ～700 ms(設(shè)其包含l幀)內(nèi)保持分布的同一性,并根據(jù)其中前80 ms～400 ms信號(hào)(設(shè)其包含r幀)MFCC距離值對(duì)均值μ和均方差σ進(jìn)行估計(jì)。μ和σ計(jì)算如下:

(13)

(14)

其中,n-1為前r幀的總采樣點(diǎn)數(shù)。

滑動(dòng)分析窗長(zhǎng)度為l幀,由前r幀信號(hào)預(yù)估噪聲模型參數(shù),并確定閾值θ。

(15)

其中,α(0<α<1)表示靈敏度系數(shù),可根據(jù)不同情況適當(dāng)修改。根據(jù)閾值θ,檢驗(yàn)后l-r幀信號(hào)的MFCC距離特征符合噪聲還是語音。每新輸入一幀信號(hào),分析窗滑動(dòng)至下一幀,并校正分布模型,重新計(jì)算μ、λ和θ,自適應(yīng)噪聲模型如圖1所示。

圖1 自適應(yīng)噪聲模型示意圖

3 基于MFCC距離匹配的檢測(cè)算法

在語音信號(hào)端點(diǎn)檢測(cè)領(lǐng)域,特征提取極為重要,可以從時(shí)域進(jìn)行特征提取,例如短時(shí)能量、熵等,也可以從頻域提取特征,例如Mel譜系數(shù)、差分熵等。為了最大程度地優(yōu)化規(guī)則,本文對(duì)語音特征的選擇原則是:被選特征應(yīng)盡可能從多個(gè)方面反映語音信號(hào)和噪聲信號(hào)之間的差異。雖然每個(gè)特征都能在其特定環(huán)境中作為最優(yōu)端點(diǎn)檢測(cè)手段,但是在其他環(huán)境下并不能保證總是有效。本文采用的短時(shí)能量特征、短時(shí)過零率特征和MFCC距離,相互間冗余性小,增強(qiáng)了端點(diǎn)檢測(cè)的魯棒性,且這3個(gè)特征計(jì)算復(fù)雜度為O(n),計(jì)算響應(yīng)速度較快,對(duì)于實(shí)時(shí)應(yīng)用更好。

基于MFCC距離匹配的算法具體步驟如下:

步驟1對(duì)語音信號(hào)進(jìn)行降低采樣率、預(yù)加重和分幀操作,幀長(zhǎng)0.5 s,幀移50%,完成預(yù)處理過程。

步驟2對(duì)第m幀信號(hào)加窗并進(jìn)行N點(diǎn)(N≥4 096)離散傅里葉變換,獲得離散變量,便于其他變量計(jì)算使用。

步驟3計(jì)算各頻譜分量的短時(shí)過零率Zm,作為特征之一。

步驟4計(jì)算各頻譜分量的能量Pm(k)(0≤k

步驟5通過在Mel刻度上均勻分布的三角帶通濾波器組與Pm(k)相乘,并求其對(duì)數(shù),得到本文MFCC特征。

步驟6對(duì)MFCC進(jìn)行中值濾波和平滑濾波,使得數(shù)據(jù)能具備良好的分離性能。

步驟7計(jì)算MFCC差分累加和。

步驟8計(jì)算閾值。

步驟9計(jì)算MFCC距離Lm并根據(jù)距離閾值θ和θ+η修正,得到Ln。

步驟10若Ln>θ,則該點(diǎn)為語音,否則標(biāo)注成噪聲。

步驟11輸出結(jié)果。

由于數(shù)據(jù)形式非單一性,存在多種復(fù)雜環(huán)境,因此本文通過多次濾波與歸一化處理后,使得差分MFCC距離值與所建噪聲模型能進(jìn)行相似度匹配與分離。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文數(shù)據(jù)集來自實(shí)際樣本和TIMIT標(biāo)準(zhǔn)語音庫,每組信號(hào)長(zhǎng)度不等,采樣率不同。標(biāo)準(zhǔn)語音庫語音樣本所含背景白噪聲來源于NOISE92標(biāo)準(zhǔn)噪聲數(shù)據(jù)庫。為了使得數(shù)據(jù)具有可比性,本實(shí)驗(yàn)將采樣率調(diào)整至相同頻率(8 kHz)并截取等長(zhǎng)數(shù)據(jù)段(3.84 s)進(jìn)行數(shù)據(jù)分析。

4.2 噪聲模型校驗(yàn)

取N=4 096的實(shí)際噪聲樣本和同樣長(zhǎng)度TIMIT標(biāo)準(zhǔn)人聲語音樣本,頻率降采樣至8 kHz,在基于MFCC距離匹配的算法中計(jì)算歸一化平滑MFCC,結(jié)果如圖2所示。

圖2 噪聲、標(biāo)準(zhǔn)噪聲和人聲對(duì)比曲線

通過大量實(shí)驗(yàn),對(duì)噪聲建立模型函數(shù)如下:

4.3 多樣性實(shí)驗(yàn)

圖3為一個(gè)端點(diǎn)檢測(cè)實(shí)例,輸入信號(hào)截取自45 s語音中的5 s,內(nèi)容為一段信息播報(bào),整段錄音全部存在強(qiáng)噪聲,主要為實(shí)錄的強(qiáng)電磁流噪聲。在區(qū)間10.00 s～12.29 s和12.54 s～15.00 s中,有語音(男聲)且語音能量較弱,基本被強(qiáng)背景噪聲所掩蓋;在區(qū)間12.29 s～12.54 s中,無話音,為說話停頓間隔。在實(shí)際應(yīng)用中,為了避免因漏檢語音段而造成無法挽回的損失,本文適當(dāng)放寬語音判定閾值。

圖3 端點(diǎn)檢測(cè)實(shí)例

圖4為TIMIT庫中SA類型測(cè)試庫中2種女生純聲語音實(shí)例。在圖4(a)中,flag為人工標(biāo)注,flag=0為噪聲,flag=1為語音。SA類型針對(duì)同一音素在不同方言中的發(fā)音進(jìn)行測(cè)試,語音內(nèi)容為“She had your dark suit and ingressive wash water all year.”。從實(shí)驗(yàn)數(shù)據(jù)可以看出,發(fā)音方法也是影響語音檢測(cè)的因素。本文方法針對(duì)輕音也能準(zhǔn)確檢測(cè)出語音端點(diǎn)。

圖4 TIMIT語音庫2種純清音方言語音檢測(cè)結(jié)果

Fig.4 Detection results of two pure voiceless dialects in TIMIT speech database

4.4 對(duì)比實(shí)驗(yàn)

為比較本文算法與雙門限能量檢測(cè)[15]和倒譜距離[16]這2種經(jīng)典算法的性能差異,在多種環(huán)境條件下進(jìn)行大量實(shí)驗(yàn),算法準(zhǔn)確率以標(biāo)注出語音信號(hào)幀數(shù)為評(píng)判標(biāo)準(zhǔn),即準(zhǔn)確率為正確標(biāo)記語音信號(hào)幀數(shù)占人工標(biāo)定有效語音總幀數(shù)的比例。

如表1所示,傳統(tǒng)的雙門限算法在較低信噪比情況下已經(jīng)無法正常工作,雖然倒譜距離算法在某些情況下性能優(yōu)于雙門限算法,但依舊無法滿足實(shí)際應(yīng)用需求。

表1 多種噪聲環(huán)境語音信號(hào)截取準(zhǔn)確率比較

Table 1 Comparison of speech signal interception accuracy in various noise environments

噪聲準(zhǔn)確率/%類型SNR/dB雙門限算法倒譜距離算法本文算法White-568.276.587.8083.185.389.4587.790.793.91092.195.198.0Pink-563.277.283.9075.681.688.8583.488.894.51089.392.495.4F16-565.274.383.6078.680.587.4586.489.894.11090.193.797.5平均80.285.491.2

本文算法相比于對(duì)比算法在性能上有以下改善:

1)在3類噪聲環(huán)境下信噪比越高識(shí)別準(zhǔn)確率越高。這是因?yàn)楸疚牟捎米赃m應(yīng)閾值來浮動(dòng)定義噪聲閾值,以防檢測(cè)過程中噪聲能量驟變影響判斷結(jié)果,這也是語音在較小信噪比下其準(zhǔn)確率依然超過80%的原因之一。并且本文判斷算法采用改進(jìn)的MFCC距離差分累加和算法,具有不壓縮數(shù)據(jù)維度的優(yōu)點(diǎn),兩者結(jié)合更有利于辨別能量近似的噪聲和語音。

2)本文算法在白噪聲環(huán)境下識(shí)別準(zhǔn)確率效果最好[17],這是由于白噪聲具有平坦功率譜的性質(zhì),可以當(dāng)作常數(shù)進(jìn)行處理,特征極其明顯。

3)在粉紅噪聲環(huán)境下本文算法準(zhǔn)確率提升了9.213%,提升程度最高,這歸因于粉紅噪聲是一種集中在中低頻頻率的噪聲,在一定范圍內(nèi)音頻數(shù)據(jù)波形具有相同或類似的能量,而本文算法結(jié)合了短時(shí)能量與短時(shí)過零率的優(yōu)勢(shì)能更好地辨別能量相似的噪聲。

在實(shí)驗(yàn)過程中仍然會(huì)出現(xiàn)一些輕聲誤判現(xiàn)象,因此可以考慮在閾值更新階段加入清輔音[18-19]檢測(cè)來進(jìn)一步提高識(shí)別的準(zhǔn)確率。

5 結(jié)束語

在實(shí)際應(yīng)用環(huán)境中噪聲變化多樣,采用單一特征無法滿足語音端點(diǎn)檢測(cè)準(zhǔn)確率需求。本文通過觀察大量信號(hào),分析各個(gè)特征的特點(diǎn),結(jié)合MFCC、短時(shí)能量和短時(shí)過零率對(duì)傳統(tǒng)算法進(jìn)行改進(jìn),設(shè)計(jì)一種新的算法實(shí)現(xiàn)語音端點(diǎn)檢測(cè)。實(shí)驗(yàn)結(jié)果表明,該算法在復(fù)雜噪聲環(huán)境中能夠有效避免如瀑布、下雨、機(jī)艙運(yùn)轉(zhuǎn)等環(huán)境影響,在信噪比較低的情況下,大幅提升準(zhǔn)確率,并且在信噪比較高的諸如辦公室電話錄音、訪談等環(huán)境下均能精準(zhǔn)地識(shí)別結(jié)果。但在本文實(shí)驗(yàn)中,一些有規(guī)律的響聲也可能被判斷為語音。下一步將針對(duì)該問題,使用模式識(shí)別方法對(duì)規(guī)律進(jìn)行提取,判斷其是否包含特定信息信號(hào),若為無用信號(hào)則可根據(jù)小波變換進(jìn)行濾波處理。