基于矢量泰勒級數(shù)的魯棒語音識別

呂 勇，吳鎮(zhèn)揚

(東南大學信息科學與工程學院，南京 210096)

基于矢量泰勒級數(shù)的魯棒語音識別

呂 勇，吳鎮(zhèn)揚

(東南大學信息科學與工程學院，南京 210096)

矢量泰勒級數(shù)是一種有效的抗噪聲魯棒語音識別算法.然而在對數(shù)譜域，美爾濾波器組的不同通道之間有較強的相關性，因而難以從含噪語音中準確估計噪聲的方差.提出了一種基于矢量泰勒級數(shù)的倒譜域特征補償算法.該算法在倒譜域，用一個高斯混合模型描述語音倒譜特征的分布，通過矢量泰勒級數(shù)從含噪語音中估計噪聲的均值和方差.實驗結果表明，此算法能明顯提高語音識別系統(tǒng)的性能，優(yōu)于基于矢量泰勒級數(shù)的對數(shù)譜域特征補償算法.

特征補償；矢量泰勒級數(shù)；噪聲估計；魯棒語音識別

在實際應用中，由于訓練環(huán)境和測試環(huán)境的失配，語音識別系統(tǒng)的性能可能會急劇惡化.通?？梢詮奶卣饔騕1-6]和模型域[7-8]2個方面減小環(huán)境失配對語音識別系統(tǒng)的影響.特征域方法對語音特征進行歸整，提取抗噪能力強的特征參數(shù)[1]或對噪聲環(huán)境下提取的特征向量進行補償，盡可能將其恢復成純凈語音特征向量[2-6].模型域方法根據(jù)測試環(huán)境下的少量自適應數(shù)據(jù)[7]或靜音段得到的噪聲信息[8]，調整聲學模型的參數(shù)，使之與測試環(huán)境下的特征向量相匹配.

相對于模型域方法，特征補償具有計算量小，處理時變噪聲能力強的優(yōu)點，因此在噪聲補償中得到了廣泛應用.基于模型的特征補償算法最初由Erell等[2]和 Acero[3]提出，在訓練階段，用一個高斯混合模型(Gaussian mixture model，GMM)描述純凈語音特征的分布；在識別階段，首先根據(jù)噪聲參數(shù)調整 GMM的均值和方差，使之與測試環(huán)境匹配，然后根據(jù)含噪特征向量的后驗概率，用最小均方誤差(minimum mean squared error，MMSE)方法估計純凈語音的特征參數(shù).為了從含噪語音中獲得噪聲參數(shù)的閉式解，Moreno等[9-10]在對數(shù)譜域用矢量泰勒級數(shù)(vector Taylor series，VTS)逼近純凈語音與含噪語音之間的非線性關系.然而，在對數(shù)譜域，美爾濾波器組的不同通道之間有較強的相關性，因而噪聲協(xié)方差矩陣的非對角元素較大，難以忽略.而且，盡管已經(jīng)用一階VTS近似非線性失配函數(shù)，輔助函數(shù)關于噪聲方差的導數(shù)仍然是非線性的，沒有閉式解.因此，Moreno[10]僅估計噪聲的均值，在估計含噪語音GMM的方差時忽略噪聲的方差.這不僅會帶來誤差，而且有可能導致矩陣奇異.Kim 等[11]提出了一種基于逐幀(frameby-frame)噪聲估計的 VTS方法，對 GMM 的每個高斯單元分別估計噪聲的均值和方差，再加權平均，得到最終的噪聲參數(shù).逐幀噪聲估計的計算量非常大，大約是批處理(Batch)噪聲估計[10]的 N倍(N為當前單詞發(fā)音的幀數(shù))[12].且逐幀噪聲估計的結果不如批處理噪聲估計準確[12].因此在 VTS算法中噪聲一般都用批處理方式估計[13-14]，即對每個單詞發(fā)音，合并所有高斯單元的全部數(shù)據(jù)，估計同一組噪聲參數(shù)(均值和方差).在文獻[13-14]中，噪聲的方差通過牛頓法估計，即在每次迭代中將輔助函數(shù)的導數(shù)近似為線性函數(shù).牛頓法不僅需要較多的迭代次數(shù)(相對于閉式解)，而且因為要計算輔助函數(shù)的二階偏導數(shù)，計算量很大，不利于系統(tǒng)的實時實現(xiàn).

筆者提出了一種基于矢量泰勒級數(shù)的倒譜域特征補償算法.該算法在倒譜域，用一個高斯混合模型描述語音倒譜特征的分布，通過矢量泰勒級數(shù)方法從含噪語音中估計噪聲的均值和方差.該算法不僅調整GMM的均值向量，而且從含噪語音中估計加性噪聲的方差，從而更新GMM的協(xié)方差矩陣.在倒譜域，特征向量不同維數(shù)之間的相關性較小，因而可以將語音模型和噪聲模型的方差近似為對角矩陣.根據(jù)這一假設，本文采用基于期望最大(expectation-maximization，EM)算法[15]的噪聲方差估計方法.該算法可以看成是對數(shù)譜域VTS特征補償算法[10]的一種推廣.

1 倒譜域矢量泰勒級數(shù)關系

式中：ux,m和 Sx,m分別表示純凈語音GMM第m個高斯單元的均值向量和協(xié)方差矩陣；un和 Sn分別表示加性噪聲的均值和方差；un0是 un上一次迭代得到的初值；I表示單位矩陣；diag( )表示以括號中的向量為對角元素，生成對角矩陣.文獻[10]只考慮噪聲的均值 un，忽略了方差 Sn.因而，含噪語音協(xié)方差矩陣 Sy,m僅僅通過式(3)右邊第 1項估計.當接近單位矩陣I時，忽略第 2項，有可能導致矩陣奇異.

直接在倒譜域估計純凈語音特征參數(shù)，用一個GMM描述純凈語音倒譜特征x的分布

式中：cm、μx,m和Σx,m分別表示第m個高斯單元的混合系數(shù)、均值向量和協(xié)方差矩陣；d表示倒譜特征的維數(shù)；M表示混合數(shù).

通過離散余弦變換(discrete cosine transform，DCT)，將式(1)變換到倒譜域，即

在式(3)兩邊同時左乘DCT矩陣C，右乘C的轉置矩陣TC ，可得

通常假設噪聲只影響GMM的均值和方差，不影響混合系數(shù).在用式(7)和式(10)更新 GMM 的均值和方差前，必須先估計未知參數(shù)μn和Σn.

2 噪聲參數(shù)估計

噪聲參數(shù)μn和Σn通過EM算法[15]和最大似然準則，從含噪語音中估計.EM算法的輔助函數(shù)定義為

式(19)表示對當前幀的前K幀和后K幀進行差分，K為常數(shù)，本文設置為4.

3 實驗結果及分析

用 TIMIT語音庫評估所提算法的性能.該語音庫中的兩句對話被拆分為21個單詞，用于孤立詞語音識別.訓練集包括144個說話人，共3,024個單詞樣本；測試集包括71個說話人，共1,491個單詞樣本.測試樣本在不同信噪比下與噪聲混合產(chǎn)生測試數(shù)據(jù)..3種噪聲，White、Pink與Factory，來自NOISEX-92 噪聲庫.

TIMIT的 16,kHz語音，通過低通濾波器降采樣到 8,kHz.在美爾頻域，將位于 64,Hz～4,kHz的有效頻帶分為 20個等寬通道.每幀數(shù)據(jù)長 16,ms，幀移為8,ms.每幀的特征向量包括13個倒譜系數(shù)(包括0階系數(shù))及其一階差分系數(shù).每個單詞用一個 6狀態(tài)左右結構隱馬爾可夫模型(hidden Markov model，HMM)建模，每個狀態(tài)有 4個高斯單元.用于特征補償?shù)牡棺V域GMM和對數(shù)譜域GMM均包括400個高斯單元.HMM和GMM高斯單元的方差均設為對角矩陣.在 EM 算法的第 1次迭代中，噪聲的初始均值μ0n和初始方差Σ0n(對應σ0n)分別設置為零向量和單位矩陣.

表 1是 3種噪聲(White、Pink和 Factory)環(huán)境下，不同信噪比時原 VTS算法[5]和本文算法的誤識率.本文算法包括算法 1和算法 2，算法 1只更新GMM 的均值；算法 2同時更新均值和方差.從表 1可以看出，本文算法 1優(yōu)于原 VTS算法.這是因為，倒譜域 GMM 和對數(shù)譜域 GMM 均用對角協(xié)方差矩陣，以減小計算量；而倒譜系數(shù)之間的相關性比對數(shù)譜系數(shù)小得多，因此在倒譜域，用對角協(xié)方差矩陣代替滿矩陣描述語音特征的分布，導致的誤差更小.

表1 3種噪聲環(huán)境下不同信噪比時的誤識率Tab.1 Word error rates with different signal-to-noise ratios for three types of testing noise %

表 1同時表明，相對于本文算法 1，本文算法 2有更低的單詞誤識率，尤其在低信噪比時，性能提高更為明顯.這充分說明了本文提出的方差自適應算法的有效性.比如，0,dB時，White、Pink和 Factory噪聲環(huán)境下，本文算法 2相對于本文算法 1，識別率分別提高了 7.8%、10.1%和 6.3%.式(8)表明，信噪比越低，含噪語音協(xié)方差矩陣與純凈語音協(xié)方差矩陣之間的偏差就越大.因此，低信噪比時，有必要調整GMM的協(xié)方差矩陣.

圖 1為不同信噪比時，原 VTS算法和本文算法在3種噪聲(White，Pink和 Factory)環(huán)境下的平均誤識率.由圖1可知，在各種信噪比環(huán)境下，本文算法2的平均誤識率最低.在 0,dB、5,dB、10,dB、15,dB 和20,dB信噪比環(huán)境下，本文算法 2相對于原 VTS算法，絕對誤識率分別下降了12.1%、9.9%、4.0%、1.1%和0.8%，相對誤識率分別下降了25.1%、34.8%、26.5%、12.9%和12.0%.

圖 1 原 VTS算法和本文算法在 3種測試噪聲環(huán)境下的平均誤識率Fig.1 Averaged word error rates of original VTS algo-Fig. 1 rithm and proposed algorithms for three types Fig. 1 of testing noise

在計算復雜度方面，本文算法相對于對數(shù)譜域VTS特征補償算法[10]，計算量有所增加.因為通過式(9)得到的Um不再是對角矩陣，且本文算法增加了噪聲方差估計過程.但本文算法的噪聲方差估計是閉式解，其計算量比牛頓法要小得多.相對于目前數(shù)字信號處理器件(digital signal processor，DSP)的性能，本文算法增加的計算量是可以接受的.

4 結 語

本文提出了一種基于矢量泰勒級數(shù)的倒譜域特征補償算法.該算法在訓練階段，用一個高斯混合模型描述語音倒譜特征的分布；在識別階段，首先根據(jù)噪聲參數(shù)調整GMM的均值和方差，使之與測試環(huán)境匹配，然后根據(jù)含噪特征向量的后驗概率，用 MMSE方法估計純凈語音特征參數(shù).含噪語音和純凈語音模型參數(shù)之間的非線性關系用一階矢量泰勒級數(shù)近似，噪聲參數(shù)通過 EM 算法和最大似然準則從含噪語音中估計.該算法可以看成是原對數(shù)譜域 VTS特征補償算法的一種推廣.實驗結果表明，本文算法對提高語音識別系統(tǒng)的噪聲魯棒性非常有效，能明顯提高語音識別系統(tǒng)的識別性能，優(yōu)于原VTS算法.

［1］Atal B. Effectiveness of linear prediction characteristics of the speech wave for automatic speaker identification and verification[J].Journal of the Acoustical Society of America，1974，55(6)：1304-1312.

［2］Erell A，Weintraub M. Filterbank-energy estimation using mixture and Markov models for recognition of noisy speech[J].IEEE Trans on Speech and Audio Processing，1993，1(1)：68-76.

［3］Acero A.Acoustical and Environmental Robustness in Automatic Speech Recognition[M]. Norwell：Kluwer Academic Publisher，1993.

［4］Sasou A，Asano F，Nakamura S，et al. HMM-based noiserobust feature compensation[J].Speech Communication，2006，48(9)：1100-1111.

［5］Kim W，Hansen J H L. Feature compensation in the cepstral domain employing model combination[J].Speech Communication，2009，51(2)：83-96.

［6］呂 勇，吳鎮(zhèn)揚. 基于隱馬爾可夫模型與并行模型組合的特征補償算法[J]. 東南大學學報：自然科學版，2009，39(5)：889-893.

Lü Yong，Wu Zhenyang. Feature compensation algorithm based on hidden Markov model and parallel model combination[J].Journal of Southeast University：Natural Science Edition，2009，39(5)：889-893(in Chinese).

［7］Lü Yong，Wu Zhenyang. Maximum likelihood model adaptation using piecewise linear transformation for robust speech recognition[C]//IEEE International Sympo-sium on Consumer Electronics.Kyoto，Japan，2009：608-610.

［8］Gales M J F. Model-Based Techniques for Noise Robust Speech Recognition[D]. Cambridge: Cambridge University，1995.

［9］Moreno P J，Raj B，Stern R M. A vector Taylor series approach for environment-independent speech recognition[C]//IEEE Int Conf on Acoustics，Speech，and Signal Processing. Atlanta，USA，1996：733-736.

［10］Moreno P J. Speech Recognition in Noisy Environments[D]. Pittsburgh: Carnegie Mellon University, 1996.

［11］Kim D Y，Un C K，Kim N S. Speech recognition in noisy environments using first-order vector Taylor series[J].Speech Communication，1998，24(1)：39-49.

［12］Li J，Deng L，Yu D，et al. High-performance HMM adaptation with joint compensation of additive and convolutive distortions via vector Taylor series [C]//IEEE Workshop on Automatic Speech Recognition and Understanding. Antwerp，Belgium，2007：65-70.

［13］Liao H，Gales M J F. Adaptive training with joint uncertainty decoding for robust recognition of noisy data[C]//IEEE International Conference on Acoustics，Speech，and Signal Processing. Honolulu，USA，2007，4：389-392.

［14］Li J，Deng L，Yu D，et al. A unified framework of HMM adaptation with joint compensation of additive and convolutive distortions[J].Computer Speech and Language，2009，23(3)：389-405.

［15］Dempster A，Laird N，Rubin D. Maximum likelihood from incomplete data via the EM algorithm[J].Journal of the Royal Statistical Society，1977，39(1)：1-38.

Robust Speech Recognition Based on Vector Taylor Series

Lü Yong，WU Zhen-yang
(School of Information Science and Engineering，Southeast University，Nanjing 210096，China)

The vector Taylor series(VTS)expansion is an effective approach to noise robust speech recognition. However，in the log-spectral domain，there exist the strong correlations among the different channels of Mel filter bank and thus it is difficult to estimate the noise variance from noisy speech proposes. A feature compensation algorithm in the cepstral domain based on vector Taylor series was proposed. In this algorithm，the distribution of speech cepstral features was represented by a Gaussian mixture model(GMM)，and the mean and variance of noise were estimated from noisy speech by the VTS approximation. The experimental results show that the proposed algorithm can significantly improve the performance of speech recognition system，and outperforms the VTS-based feature compensation method in the log-spectral domain.

feature compensation；vector Taylor series；noise estimation；robust speech recognition

TN912.34

A

0493-2137(2011)03-0261-05

2009-11-27；

2010-04-08.

國家自然科學基金資助項目（60971098）.

呂 勇（1979— ），男，博士研究生，lynetwork@gmail.com.

吳鎮(zhèn)揚，zhenyang@seu.edu.cn.