基于Hilbert－Huang算法的缺時(shí)檢測問題的研究

張 華，李忠海，王文龍，趙 義

（1.沈陽師范大學(xué) 教師專業(yè)發(fā)展學(xué)院，沈陽 110034；2.沈陽航空航天大學(xué) 自動(dòng)化學(xué)院，沈陽 110136；3.遼寧省語言文字應(yīng)用中心，沈陽 110136）

0 引 言

普通話水平測試的第四項(xiàng)測試內(nèi)容為命題說話，在命題說話評分中有一重要評分項(xiàng)是缺時(shí)，這里的缺時(shí)是指應(yīng)試人說話時(shí)間不足3分鐘。對測試中應(yīng)試人說話不足3分鐘的，國家普通話水平測試大綱有明確、嚴(yán)格的規(guī)定：“說話不足3分鐘，酌情扣分。缺時(shí)1分鐘以內(nèi)（含1分鐘），扣1分、2分、3分；缺時(shí)1分鐘以上，扣4分、5分、6分；說話不滿30秒（含30秒），本項(xiàng)測試成績?yōu)?分?！痹谄胀ㄔ捤綔y試中應(yīng)試人說話出現(xiàn)的語音空白間隔5秒以上就被認(rèn)定是缺時(shí)，測試中應(yīng)試人說話出現(xiàn)的語音空白間隔在5秒鐘以內(nèi)（含5秒），歸自然流暢程度扣分。缺時(shí)是對這一部分評分的重要依據(jù)。目前雖然計(jì)算機(jī)評測系統(tǒng)有自動(dòng)統(tǒng)計(jì)缺時(shí)時(shí)長的功能，但由于一些應(yīng)試人在普通話水平測試中充分利用無效語料“嗯”“啊”等一些技術(shù)手段來混淆視聽，從而使計(jì)算機(jī)在自動(dòng)統(tǒng)計(jì)缺時(shí)時(shí)長時(shí)出現(xiàn)了誤差，影響了測試信度。另一種情況是，采用測試員用秒表評判應(yīng)試人的缺時(shí)數(shù)據(jù)以避免計(jì)算機(jī)評測誤差，但有些測試員對缺時(shí)評判不認(rèn)真，而出現(xiàn)錯(cuò)判和誤判現(xiàn)象。因此對應(yīng)試人語音信號進(jìn)行端點(diǎn)檢測來判定缺時(shí)信息的研究很有必要。

為了能準(zhǔn)確快速的判定應(yīng)試者的缺時(shí)信息，直接方法是在時(shí)域或頻域上進(jìn)行語音信號的端點(diǎn)檢測。李金寶等［1］人提出了一種自適應(yīng)子帶譜熵（adaptive subband power spectral entropy，ASPSE）它能成功地在不同的背景噪聲下檢測語音端點(diǎn)。韓志艷等［2］人提出了一種利用短時(shí)能零積法和鑒別信息的互補(bǔ)優(yōu)勢，一邊降噪一邊端點(diǎn)檢測，利用子帶能量鑒別信息方法對噪聲幀來進(jìn)行二次復(fù)檢，根據(jù)鑒別信息來更新噪聲能量門限的端點(diǎn)檢測方法。劉紅星等［3］人提出了一種在窄帶語譜圖上通過sobel算子計(jì)算窄帶語譜圖的方向場，通過Gabor濾波增強(qiáng)諧波區(qū)域，求取諧波分布區(qū)域內(nèi)的能量，以此作為門限判決的特征。李晉等［4］人提出用一種改進(jìn)的基于譜減法和自適應(yīng)子帶譜熵的語音端點(diǎn)檢測方法來提高低信噪比下語音端點(diǎn)檢測的性能。王秀坤等［5］人提出一種引入自適應(yīng)門限的基于基音頻率的檢測算法。顧亞強(qiáng)等［6］人提出了一種新的利用對短時(shí)能零和過零率進(jìn)行差分的方法來求取語音的起始點(diǎn)，達(dá)到了語音端點(diǎn)檢測的目的。談雪丹等［7］人提出了一種基于Hilbert－Huang變換瞬時(shí)能頻值的耳語音端點(diǎn)檢測的算法。龔英姬等［8］人提出用HHT（Hilbert－Huang）變換提取的瞬時(shí)能量（A）和瞬時(shí)頻率（f）的標(biāo)準(zhǔn)差參數(shù)描述病態(tài)噪音，實(shí)驗(yàn)結(jié)果表明此方法能有效區(qū)分病態(tài)噪音和正常噪音。

本文從另外一個(gè)角度來考慮語音信號缺時(shí)的檢測，將語音信號劃分成若干小段，對每一段進(jìn)行Hilbert－Huang變換，求出每個(gè)IMF分量的瞬時(shí)幅值和瞬時(shí)頻率，利用瞬時(shí)幅值和瞬時(shí)頻率求取該IMF分量的能頻值，利用該段的所有IMF分量的能頻值構(gòu)造其能頻值特征向量。將待測信號與靜音樣本的能頻值特征向量相比較求取歐氏距離，根據(jù)歐氏距離與閾值的大小來判定該段是否為靜音段。根據(jù)相鄰靜音段的拼接最大時(shí)間長度是否大于5s來判定是否缺時(shí)，通過語音段的前后段的屬性來判定該段是否為噪聲段，消除噪聲段，最后得到完整的缺時(shí)信息。

1 基于Hilbert－Huang變換語音信號缺時(shí)的分析方法

目前理論研究和實(shí)驗(yàn)都支持語音信號是一個(gè)復(fù)雜非線性過程的觀點(diǎn)，因此，引入非線性方法適宜對具有非線性特征的語音信號進(jìn)行分析。Hilbert－Huang變換因其具有良好的時(shí)頻聚集性和極高的時(shí)頻分辨率而非常適于處理非線性、非平穩(wěn)信號，該方法首先采用EMD（empirical mode decomposition，經(jīng)驗(yàn)?zāi)Ｊ椒纸猓┓椒▽⑿盘柗纸鉃槿舾蒊MF（intrinsic mode function，固有模態(tài)函數(shù)）分量之和，然后對每個(gè)IMF分量進(jìn)行Hilbert變換得到瞬時(shí)頻率和瞬時(shí)幅值。

1.1 基于Hilbert－Huang變換語音信號特征提取步驟

1）對于語音信號x（t）進(jìn)行EMD分解

對于信號x（t）EMD分解按如下步驟進(jìn)行：

使用三次樣條線將原始信號x（t）的所有局部極大值點(diǎn)連接起來形成上包絡(luò)線，再以相同方法求出信號的下包絡(luò)線，上、下包絡(luò)線應(yīng)該包絡(luò)所有的數(shù)據(jù)點(diǎn)。將上、下包絡(luò)線的平均值記為m1，求出h1。

判斷h1是否滿足IMF條件，如果滿足則將h1作為EMD分解的第1個(gè)IMF分量，否則將h1作為原始信號按式（1）重復(fù)計(jì)算，直至得到滿足條件的IMF分量。并將此第1個(gè)IMF分量記為c1。將c1從x（t）中分離，得到

將r1作為原始數(shù)據(jù)重復(fù)式（1）、（2）得出信號的第2個(gè)IMF分量c2。循環(huán)EMD分解步驟，有

當(dāng)殘余函數(shù)rn成為單調(diào)函數(shù)無法繼續(xù)提取滿足條件的IMF分量時(shí)，循環(huán)結(jié)束，得到

2）求IMF分量的瞬時(shí)幅值和瞬時(shí)頻率

為求IMF分量的瞬時(shí)頻率，對式（3）中的每個(gè)內(nèi)稟模態(tài)函數(shù)ci（t）作Hilbert變換得到

構(gòu)造解析信號

其中ai（t）為瞬時(shí)幅值，由式（4）能得到相位函數(shù)

進(jìn)一步求得IMF分量的瞬時(shí)頻率

3）求取能頻值及能頻值特征向量

由于語音在不同頻段上所占能量不同，將語音分解得到的IMF分量大致可以分為兩個(gè)頻段，一個(gè)是含有語音大部分信息的中高頻段，一個(gè)以低頻噪聲能量為主的低頻段。因此可以利用這一特性構(gòu)造語音的特征向量，有聲音的語音信號的特征向量和靜音信號的特征向量會有很大的區(qū)別。定義某一IMF分量的Hilbert變換后的所有瞬時(shí)幅值的平方和相應(yīng)頻率之積稱為該IMF分量的能頻值。定義第i個(gè)IMF分量的能頻值為

其中N為采樣頻率，將某一段語音信號經(jīng)Hilbert－Huang變換得到的所有m個(gè)IMF的能頻值組成的向量T＝（EF1，EF2，…，EFm）稱為該語音段的能頻特征向量。

1.2 缺時(shí)檢測步驟

基于上面構(gòu)造的語音信號的能頻值及能頻值特征向量，設(shè)計(jì)基于Hilbert－Huang變換的普通話缺時(shí)檢測步驟如下。

1）提取靜音特征

截取一段靜音數(shù)據(jù)，利用Hilbert－Huang變換將靜音信號分解得到IMF分量，然后計(jì)算每個(gè)IMF分量的平均能頻值，并將這些平均能頻值組成特征向量，作為普通話水平測試語音信號缺時(shí)檢測的對比樣本特征向量。

2）計(jì)算每個(gè)窗的能頻值

將待檢測的語音信號分割成以1秒為長度的小段語音信號幀，即對語音信號加窗。然后對每段語音信號幀進(jìn)行EMD分解，得到IMF分量，并利用Hilbert－Huang變換得到每個(gè)IMF分量的平均能頻值，并將這段語音的所有IMF分量的平均能頻值組成該段的平均能頻值特征向量。

3）對比特征向量

根據(jù)步驟2）求得的每段的能頻值特征向量，并將該特征向量與步驟1）中的樣本特征向量相比較，求二者之間的歐氏距離，并將歐氏距離與設(shè)定的閾值相比較，若所得的歐氏距離大于閾值，則認(rèn)為該段語音為非靜音幀，將該幀的真值記為1，否則將該幀的真值記為0，將每幀的真值按時(shí)間順序組成能頻真值序列。

4）查找缺時(shí)序列

在真值序列上，查找真值連續(xù)為0的個(gè)數(shù)大于等于5（由于每段長1秒，因此大于等于5就可以判定為缺時(shí)）的序列段，稱這樣的序列段為缺時(shí)段，并記錄缺時(shí)序列段在真值序列上的起止位置。

5）消除噪聲窗

在真值序列上，查找真值單獨(dú)為1的段，即該段前后段的真值均為0，稱這樣的段稱為疑似噪聲段，并記錄該段在能頻真值序列上的位置。

判定疑似噪聲段的前后是否是為缺時(shí)序列段，若噪聲段前后均為缺時(shí)段或其中之一為缺時(shí)段時(shí)，則疑似噪聲段為真實(shí)噪聲段，并消除該段，連接前后的靜音段組成新的缺時(shí)段。

2 實(shí)驗(yàn)分析

為了驗(yàn)證本文算法，首先對一個(gè)樣本靜音信號進(jìn)行EMD分解得到得到13個(gè)IMF分量，然后對每個(gè)IMF分量進(jìn)行Hilbert變換，最后利用本文構(gòu)造特征向量的方法構(gòu)造靜音樣本特征向量。如圖1所示為靜音樣本的原始信號和其每個(gè)IMF分量的能頻值。為了和靜音樣本信號對比，本文選取了一段語音信號，按照和靜音信號同樣的處理方法得到如圖2所示的結(jié)果。從圖1和圖2所示的結(jié)果可知，靜音信號的所有IMF分量的能頻值都比較小，而語音信號的低級IMF分量的能頻值較大，因此二者的能頻值特征向量之間的歐氏距離會比較大。

圖1 靜音信號的能頻值

圖2 語音信號的能頻值

本文采用長度為3分鐘的實(shí)際的普通話測試錄音，在Matlab環(huán)境下以采樣頻率16 000對其采樣讀取，以1秒為長度分割該信號，然后利用Hilbert－Huang變換對每一段進(jìn)行EMD分解得到IMF分量，然后對每個(gè)IMF分量進(jìn)行Hilbert變換求取瞬時(shí)幅值和頻率，再利用本文構(gòu)造特征向量的方法構(gòu)造每個(gè)1秒語音信號的特征向量，并將這些特征向量分別與靜音樣本特征向量相比較。確定每1秒長的信號是靜音信號還是語音信號，最后利用算法的4、5步確定缺時(shí)序列。最后的檢測結(jié)果如圖3所示，這個(gè)檢測結(jié)果不但與實(shí)時(shí)相符，而且很好的消除了部分強(qiáng)噪音的影響，如在檢測結(jié)果的第三段缺時(shí)中就把強(qiáng)噪音濾去了。

圖3 缺時(shí)檢測結(jié)果

為了體現(xiàn)本文算法在普通話測試缺時(shí)檢測中的優(yōu)點(diǎn)，本文選擇100個(gè)普通話測試者的錄音作為樣本，樣本經(jīng)人工檢測出的缺時(shí)數(shù)目為348個(gè)。分別用本文的算法和端點(diǎn)檢測算法對這100個(gè)樣本進(jìn)行缺時(shí)檢測，得出如表1的統(tǒng)計(jì)結(jié)果。其中的檢出率為檢測出的缺時(shí)個(gè)數(shù)與真實(shí)的缺時(shí)個(gè)數(shù)之比，正確率為該算法正確檢測出的缺時(shí)個(gè)數(shù)與檢測出的缺時(shí)個(gè)數(shù)之比。由表1中的數(shù)據(jù)可知，本文算法在正確檢出缺時(shí)數(shù)據(jù)上有一定的優(yōu)勢。

表1 樣本統(tǒng)計(jì)結(jié)果

3 結(jié) 語

本文以普通話測試中說話部分的缺時(shí)檢測為背景，以Hilbert－Huang變換為基本方法，構(gòu)造語音段的能頻特征作為靜音識別手段，將普通話測試錄音分成有很多靜音段和語音段的組成，然后通過對缺時(shí)段和噪聲段的識別，消除噪聲段，最后留下完整的缺時(shí)段。該方法新穎獨(dú)特，能夠有效識別普通話測試中的缺時(shí)信息，并且能消除一些短時(shí)噪音的干擾。但由于Hilbert－Huang變換計(jì)算的復(fù)雜性，因此該方法比較消耗時(shí)間。

［1］李金寶，屈百達(dá)，徐寶國，等.基于自適應(yīng)子帶功率譜熵的語音端點(diǎn)檢測算法［J］.計(jì)算機(jī)工程與應(yīng)用，2007，43（12）：57－58.

［2］韓志艷，王旭，王健.基于短時(shí)能零積和鑒別信息的語音端點(diǎn)檢測［J］.東北大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，30（12）：1690－1693.

［3］劉紅星，戴蓓，陸偉.基于共振峰諧波能量的語音端點(diǎn)檢測［J］.清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，48（增刊1）：754－759.

［4］李晉，劉甫，王玲，等.改進(jìn)的語音端點(diǎn)檢測技術(shù)［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45（24）：133－135.

［5］王秀坤，李寧，魏燚濰，等.一種基于基音頻率的實(shí)時(shí)性端點(diǎn)檢測方法［J］.微計(jì)算機(jī)信息，2009，25（2－1）：250－251.

［6］顧亞強(qiáng)，趙暉，吳波.一種語音信號端點(diǎn)檢測的改進(jìn)方法［J］.計(jì)算機(jī)仿真，2010，27（5）：340－343.

［7］談雪丹，顧濟(jì)華，趙鶴鳴，等.基于HHT瞬時(shí)能頻值的耳語音端點(diǎn)檢測［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46（29）：147－150.

［8］龔英姬，胡維平.基于 HHT變換的病態(tài)嗓音特征提取及識別研究［J］.計(jì)算機(jī)工程與應(yīng)，2007，43（34）：217－219.

［9］鐘佑明，秦樹人，湯寶平.一種振動(dòng)信號新變換法的研究［J］.振動(dòng)工程學(xué)報(bào)，2002（6）：233－238.

［10］羅進(jìn)文，胡正偉，蔣占軍，等.窄帶音頻信號時(shí)差估計(jì)算法［J］.計(jì)算機(jī)應(yīng)用，2011，31（3）：23－30.

［11］顏彪，楊娟.關(guān)于希爾伯特變換的分析和研究［J］.電氣電子教學(xué)學(xué)報(bào)，2004（5）：10－15.

［12］胡正偉，王喆.射頻窄帶信號時(shí)差估計(jì)算法研究［J］.數(shù)據(jù)通信，2010（4）：21－24.

［13］宋牟平，趙斌.希爾伯特變換處理的布里淵散射DOFS的研究［J］.光子學(xué)報(bào)，2005，34（9）：1328－1331.

［14］王珂，肖鵬峰.基于二維希爾伯特變換的相位一致模型圖像特征檢測方法［J］.測繪學(xué)報(bào)，2010，39（6）：605－609.

［15］王鳳鵬，鄒萬芳，尹真，等.希爾伯特變換實(shí)時(shí)全息干涉條紋相位提取［J］.光電工程，2009（4）：92－96.