一種低信噪比條件下的高可懂度的語音增強(qiáng)算法

孟　欣　馬建芬　張雪英

(太原理工大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院　山西 太原 030024)

?

一種低信噪比條件下的高可懂度的語音增強(qiáng)算法

孟欣馬建芬*張雪英

(太原理工大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院山西 太原 030024)

研究表明，增強(qiáng)后的語音與純凈語音相比，會存在兩種不同類型的畸變：放大畸變和衰減畸變，而放大畸變對語音可懂度的影響較大。傳統(tǒng)的語音增強(qiáng)算法大多不能有效提高語音增強(qiáng)后的可懂度，因為這些算法僅使用最小均方誤差的方法來限制這兩種畸變，從而抑制噪聲，提高語音的質(zhì)量，但忽略了不同的畸變類型對可懂度的影響不同。提出一種基于子空間的提高可懂度的語音增強(qiáng)算法，使用先驗信噪比及增益矩陣來判斷語音畸變的類型。同時注意到，在估計先驗信噪比時會存在估計誤差：高估和低估，而高估會產(chǎn)生放大畸變，對可懂度造成較大的影響。先對高估先驗信噪比(小于-10dB)的增益矩陣進(jìn)行修正，然后再對幅度譜畸變大于0dB及6.02dB的語音進(jìn)行不同的限制。實驗表明，所提出的算法能夠有效增強(qiáng)語音的可懂度。

子空間語音可懂度語音畸變先驗信噪比增益矩陣

0　引　言

語音增強(qiáng)所關(guān)心的問題是改善加噪語音的感性性能，目的是提高加噪語音的質(zhì)量和可懂度。在長時間聽一段語音時，聽者的疲勞度會增加，提高語音質(zhì)量可以降低聽者的疲勞度。所以到目前為止，很多算法(包括譜減法、維納濾波算法、統(tǒng)計模型算法及子空間法)都致力于提高語音的質(zhì)量，且它們都能在一定程度上提高語音的質(zhì)量。但它們都不能有效地提高語音的可懂度[1],因為它們都是使用最小均方誤差的方法來抑制噪聲。實際上，增強(qiáng)后的語音與純凈語音相比存在兩種畸變：放大畸變和衰減畸變。放大畸變指的是語音增強(qiáng)后的幅度譜大于相對應(yīng)的純凈語音的幅度譜;衰減畸變正相反，指的是語音增強(qiáng)后的幅度譜小于相對應(yīng)的純凈語音的幅度譜。研究表明[2]，不同的畸變類型對可懂度的影響不同。最小均方誤差的方法把放大畸變和衰減畸變混在一起計算平均誤差，忽略了不同的畸變類型給可懂度帶來的影響。

近年來，很多研究都致力于通過減少語音畸變來提高語音增強(qiáng)的性能，包括改進(jìn)的子空間法[3]、改進(jìn)的譜減法[4]、改進(jìn)的維納濾波算法[5]、基于統(tǒng)計的方法(包括使用壓縮感知[6]和非負(fù)矩陣分解[7]等)以及深度神經(jīng)網(wǎng)絡(luò)(DNN)的方法[8]。文獻(xiàn)[3-5]是基于傳統(tǒng)子空間法、譜減法和維納濾波方法的改進(jìn)，這些方法能在一定程度上提高語音的可懂度，但均只考慮了放大畸變大于6.02dB時對可懂度的影響。經(jīng)實驗驗證，這些方法只有在實驗數(shù)據(jù)量較少時能夠提高少量加噪語音的平均可懂度，在實驗數(shù)據(jù)較多時并沒有明顯提高語音的平均可懂度。而文獻(xiàn)[6-8]中的方法雖然采用了先進(jìn)的技術(shù)，但復(fù)雜度明顯提高且可懂度并沒有很大程度提高。

本文利用“直接判決”法[10,11]估計先驗信噪比，在估計先驗信噪比時會存在兩種不同類型的誤差[9,12]:高估和低估。高估指的是使用增強(qiáng)算法時估計的先驗信噪比高于理想條件下的先驗信噪比，低估指使用增強(qiáng)算法估計時先驗信噪比低于理想條件下的先驗信噪比。在文獻(xiàn)[9]中采用聚類的方法減少“直接判決”法引入的高估和低估，但復(fù)雜度也明顯提高。在文獻(xiàn)[12]中通過限制先驗信噪比小于-10db區(qū)域的高估同樣能有效提高語音的可懂度。

為了減少復(fù)雜度，本文提出了一種改進(jìn)的基于子空間的方法。但不同于文獻(xiàn)[3-5]中的方法，本文討論了所有放大畸變對可懂度的影響，并采用文獻(xiàn)[12]中的方法，對先驗估計信噪比進(jìn)行修正，從而獲得更高可懂度的語音增強(qiáng)算法。在實驗中使用大量的實驗數(shù)據(jù)證明本文提出的算法能夠更有效提高可懂度。

1　子空間語音增強(qiáng)算法

假設(shè)噪音信號為x，純凈語音信號為s，噪聲信號為n，且s與n互不相關(guān)，即：

x=s+n

(1)

其中x、s、n都是K維的信號矢量。

定義：

(2)

其中R·表示相應(yīng)的信號矢量的協(xié)方差矩陣。對Σ進(jìn)行特征分解：

ΣV=VΛΣ

(3)

式中V和ΛΣ分別代表Σ的特征向量和特征值。此處假設(shè)Σ的特征值按照λΣ(1)≥λΣ(2)≥…≥λΣ(k)排序，估計語音信號子空間的維度定義為：

(4)

(5)

條件：

(6)

通過特征值分解以及代換處理[13,14],可以得到第m幀的增益矩陣的第k個對角線元素為：

(7)

其中μ可以通過如下公式計算得到[15]：

(8)

其中μ0=4.2,s0=6.25。SNRdB(k,m)為第m幀第k個譜分量的信噪比，記相應(yīng)的后驗信噪比為γ(k,m)，則SNRdB(k,m)=10lgγ(k,m)，其中：

(9)

記先驗信噪比為ξ(k,m)，可以由“直接判決”法[10,11]計算：

(10)

其中：a表示平滑系數(shù)，一般為0.8～1，此處取0.98。

2　修　正

在估計先驗信噪比時，存在高估和低估，文獻(xiàn)[9,12]中對高估和低估產(chǎn)生的區(qū)域及其對可懂度產(chǎn)生的影響進(jìn)行了實驗說明。通過對比真實信噪比和先驗信噪比的值，得出在小于-10dB時，高估的情況較多。并通過試聽測試，對比說明了高估時對可懂度的影響較大。

本文充分利用該技術(shù)，先對本算法的增益矩陣進(jìn)行修正，即通過文獻(xiàn)[12]的人工引入偏差方法對先驗信噪比小于-10dB區(qū)域的增益矩陣進(jìn)行修正，來提高可懂度：

gw(k,m)=(1-B)·g(k,m)+B20lg(ξ(k,j))<-10dB

(11)

其中，B為引進(jìn)的修正系數(shù)。在本文中，分別對B取0.1、0.2、0.3、0.5、0.6、0.7、0.9，結(jié)果顯示B取0.2時得到的效果最好。

3　高可懂度算法

設(shè)第m幀第k個譜分量的純凈信號與增強(qiáng)信號比為：

(12)

將式(12)進(jìn)行推導(dǎo)：

(13)

根據(jù)不同的放大區(qū)域?qū)Ψ茸V進(jìn)行限制：

(14)

實驗中，根據(jù)不同放大倍數(shù)對ρ(k,m)進(jìn)行了從0.5～1的以0.05為增幅的遞增取值，共進(jìn)行了10×10，即100組實驗。根據(jù)實驗顯示，當(dāng)0.5

(15)

(16)

根據(jù)本文所述的思路，可以通過如下步驟得到增強(qiáng)后的語音信號：

(1) 計算出后驗信噪比γ(k,m)，見式(9)；

(2) 計算出系數(shù)μ,見式(8)；

(3) 計算出修正高估后增益矩陣的第m幀第k個對角元素gw(k,m),見式(7)和式(11)；

(4) 估計先驗信噪比ξ(k,m),見式(10)；

(5) 估計純凈信號與噪音信號比SNRs/e,見式(13)；

4　實驗結(jié)果及分析

本文使用Matlab仿真驗證語音可懂度算法的增強(qiáng)效果。噪聲信號來源于Noisex-92噪聲庫中的4種噪音，分別為babble、car、street、train。純凈句子語音信號來自IEEE句子語音庫的全部720組句子，純凈輔音信號來自IEEE輔音庫的全部30組輔音。純凈語音及噪音的采樣率均為8KHz，量化精度為16bit。

研究表明，經(jīng)過增強(qiáng)算法增強(qiáng)過的語音與加噪未增強(qiáng)的語音相比，可懂度會降低，最好的情況就是持平，且子空間法是所有增強(qiáng)算法中效果最好的一種增強(qiáng)算法[1]。所以本文選用子空間法和加噪未增強(qiáng)與本文的增強(qiáng)算法進(jìn)行對比。

本文對720組純凈句子語料分別在信噪比為-5dB,0dB及5dB的情況下進(jìn)行加噪。在同一組信噪比條件下，分別使用加噪未增強(qiáng)、子空間算法和本文算法對加噪語音進(jìn)行處理。同一種信噪比下的同一種類型噪聲經(jīng)過同一種降噪處理可以得到1種測試條件，再將這種測試條件下的720組句子的客觀可懂度的平均值作為最終的可懂度值。這樣的測試條件共有3×4×3，即36種。本文對30組純凈輔音語料分別在-15、-10、-5及5dB的情況下進(jìn)行加噪。與句子相同，在同一組信噪比條件下，分別使用加噪未增強(qiáng)、子空間算法和本文算法對加噪語音進(jìn)行處理。這樣，測試條件共有4×4×3，即48種。

〗本文的可懂度測試采用NCM(歸一化協(xié)方差法)[17]。該方法對于句子來說，與主觀可懂度評價的相關(guān)度系數(shù)值r=0.89，標(biāo)準(zhǔn)偏差σe=0.07。相關(guān)系數(shù)值越大，說明與主觀可懂度評價越相近，評價越精確。對于輔音來說，與主觀可懂度評價的相關(guān)系數(shù)值r=0.77，標(biāo)準(zhǔn)差σe=0.08。相對于PESQ來說，對于句子而言，該方法整體優(yōu)于PESQ，對于輔音而言，該方法與PESQ持平，所以最終選擇NCM方法。

句子和輔音的客觀評價結(jié)果分別如表1、表2所示。

表1　句子NCM值

表2　輔音NCM值

NCM值越大，可懂度越高。由表1和表2可以看出，對高估先驗信噪比進(jìn)行修正，對不同放大區(qū)域進(jìn)行分段限制對于信噪比較低，尤其是信噪比為負(fù)值的加噪語音影響較大，這也進(jìn)一步驗證了猜想。與傳統(tǒng)的子空間方法相比，本文提出的算法能夠在負(fù)信噪比時較大程度提高語音的可懂度，且與加噪未增強(qiáng)的噪音相比，可懂度也明顯提高。

5　結(jié)　語

本文首先論述了現(xiàn)今很多算法都是利用最小均方誤差的方法進(jìn)行語音增強(qiáng)，忽略了不同語音畸變區(qū)域?qū)啥鹊挠绊?，繼而闡述了不同畸變區(qū)域?qū)啥鹊挠绊懖煌?。在估計先驗信噪比時，會存在高估和低估，所以首先對小于-10 dB區(qū)域內(nèi)的增益矩陣高估進(jìn)行修正。為了驗證猜想，在頻域上約束子空間的特征分解法的基礎(chǔ)上，使用先驗信噪比和增益矩陣對不同的語音畸變區(qū)域(大于0 dB和大于6.02 dB)分段進(jìn)行了限制。經(jīng)過Matlab實驗仿真結(jié)果可知，本文提出的算法確實能夠有效地減小先驗信噪比高估，降低畸變對語音的影響，提高了語音的可懂度。

[1] Hu Y,Loizou P C.A comparative intelligibility study of single-microphone noise reduction algorithms[J].Journal of the Acoustical Society of America,2007,122(3):1777-1786.

[2] Loizou P C,Kim G.Reasons why current speech-enhancement algorithms do not improve speech intelligibility and suggested solutions[J].IEEE Transactions on.Audio,Speech and Language Processing,2011,19(1):47-56.

[3] 劉鵬,馬建芬.具有較高可懂度的子空間語音增強(qiáng)算法[J].計算機(jī)工程與設(shè)計,2013,34(7):2619-2622.

[4] Yang Y X,Ma J F.Speech Intelligibility Enhancement Using Distortion Control[J].Advanced Materials Research,2014,912-914:1391-1394.

[5] 郭利華,馬建芬.具有高可懂度的改進(jìn)的維納濾波的語音增強(qiáng)算法[J].計算機(jī)應(yīng)用與軟件,2014,31(11):155-157.

[6] Sharma P,Abrol V,Sao A K.Supervised speech enhancement using compressed sensing[C]//Communications (NCC),2015 Twenty First National Conference on.IEEE,2015:1-5.

[7] Kwon K,Shin J W,Sonowat S,et al.Speech enhancement combining statistical models and NMF with update of speech and noise bases[C]//Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on. IEEE,2014:7053-7057.

[8] Xu Y,Du J,Dai L R,et al.A Regression Approach to Speech Enhancement Based on Deep Neural Networks[J].Audio,Speech and Language Processing,IEEE/ACM Transactions on,2015,23(1):7-19.

[9] Djendi M,Scalart P.Reducing over- and under-estimation of the a priori SNR in speech enhancement techniques[J].Digital Signal Processing,2014,32:124-136.

[10] 張亮,龔衛(wèi)國.一種改進(jìn)的維納濾波語音增強(qiáng)算法[J].計算機(jī)工程與應(yīng)用,2010,46(26):129-131.

[11] Lu Y,Loizou P C.Speech enhancement by combining statistical estimators of speech and noise[C]//Proceedings of IEEE International Conference on Acoustics,Speech and Signal Processing,2010:4754-4757.

[12] Chen F,Loizou P C.Impact of SNR and gain-function over- and under-estimation on speech intelligibility[J].Speech Communication,2012,54(2):272-281.

[13] 武奕峰,賈海蓉,郭欣.用子空間提高有色噪聲背景下的語音質(zhì)量[J].太原理工大學(xué)學(xué)報,2015,46(2):192-195.

[14] 陳國明,趙力,鄒采榮.窄帶噪聲下的子空間語音增強(qiáng)算法[J].應(yīng)用科學(xué)學(xué)報,2007,25(3):243-246.

[15] Hu Y,Loizou P C.A generalized subspace approach for enhancing speech corrupted by colored noise[J].Speech and Audio Processing,IEEE Transactions on,2003,11(4):334-341.

[16] Loizou P C,Ma J.Extending the articulation index to account for non-linear distortions introduced by noise-suppression algorithms[J].Journal of the Acoustical Society of America,2011,130(2):986-995.

[17] Ma J,Hu Y,Loizou P C.Objective measures for predicting speech intelligibility in noisy conditions based on new band-importance functions[J].Journal of the Acoustical Society of America,2009,125(5):3387-3405.

ASPEECHENHANCEMENTALGORITHMWITHHIGHINTELLIGIBILITYUNDERLOWSNRCONDITION

MengXinMaJianfen*ZhangXueying

(CollegeofComputerScienceandTechnology,TaiyuanUniversityofTechnology,Taiyuan030024,Shanxi,China)

Researchshowsthatcomparedwithpurespeech,therewillbetwotypesofdistortioninenhancedspeech:theamplifierdistortionandtheattenuationdistortion,andtheamplifierdistortionhasabiggerinfluenceonthespeechintelligibility.Mostoftraditionalspeechenhancementalgorithmscannoteffectivelyimprovetheintelligibilityafterthespeechbeingenhanced,becausetheyonlyusetheminimummeansquareerrormethodtolimitthesetwokindsofdistortionsforsuppressingnoiseandimprovingthequalityofthespeech,butneglectthedifferentdistortionshavingdifferenteffectsonintelligibility.Thispaperproposesasubspace-basedspeechenhancementalgorithmwhichcanimprovetheintelligibility,itusespriorisignal-to-noiseratio(SNR)andgainmatrixtojudgethetypeofspeechdistortion.Atthesametime,itisnoticedthatwhenestimatingtheprioriSNR,thereistheestimationerror:overestimationandunderestimation.Theoverestimationwillproduceamplifierdistortion,andhasabiginfluenceontheintelligibility.WefirstcorrectthegainmatrixoftheoverestimatedprioriSNR(lessthan-10dB),andthenmakedifferentrestrictionsonthespeecheswithamplitudespectrumdistortiongreaterthan0dBand6.02dBseparately.Experimentalresultsshowthattheproposedalgorithmcaneffectivelyenhancetheintelligibilityofthespeech.

SubspaceSpeechintelligibilitySpeechdistortionPrioriSNRGainmatrix

2015-06-23。國家自然科學(xué)基金項目(61371193)。孟欣，碩士生，主研領(lǐng)域：語音信號處理。馬建芬，教授。張雪英，教授。

TP

ADOI:10.3969/j.issn.1000-386x.2016.10.032