基于自適應(yīng)MMSE-LSA與NMF的語(yǔ)音增強(qiáng)算法

董 胡，劉 剛,2，馬振中

(1.長(zhǎng)沙師范學(xué)院信息科學(xué)與工程學(xué)院,湖南 長(zhǎng)沙 410100； 2.中南大學(xué)物理與電子學(xué)院,湖南 長(zhǎng)沙 410012)

0 引言

語(yǔ)音增強(qiáng)是提高含噪語(yǔ)音信號(hào)質(zhì)量和清晰度的重要步驟，為了更好地理解含噪語(yǔ)音信號(hào)，需要一種語(yǔ)音增強(qiáng)技術(shù)來(lái)去除環(huán)境中的噪聲。在以往的文獻(xiàn)中，各種各樣的語(yǔ)音增強(qiáng)技術(shù)都被用于降噪。雖然抑制背景噪聲和改善語(yǔ)音質(zhì)量的語(yǔ)音增強(qiáng)算法的開(kāi)發(fā)已經(jīng)取得了一定的進(jìn)展，但在提高語(yǔ)音清晰度和可懂度的算法方面仍需進(jìn)一步改善。

近年來(lái)，相關(guān)研究者提出了一些低信噪比[1-2](<6 dB)環(huán)境下的語(yǔ)音增強(qiáng)算法。文獻(xiàn)[3]提出基于單麥克風(fēng)信道的語(yǔ)音增強(qiáng)算法，與傳統(tǒng)的單通道語(yǔ)音增強(qiáng)方法相比，該算法具有較好的語(yǔ)音增強(qiáng)性能，但它不適用于快速變化的非平穩(wěn)噪聲。文獻(xiàn)[4]和文獻(xiàn)[5]分別提出基于波形網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)算法，這兩種算法能較好地將目標(biāo)語(yǔ)音與混合語(yǔ)音分離，但這兩種算法的計(jì)算復(fù)雜度較高，對(duì)內(nèi)存資源的要求較高。目前常用的譜減法、維納濾波法、最小均方差估計(jì)法在去除背景噪聲方面有一定的效果，但有時(shí)會(huì)造成語(yǔ)音失真或產(chǎn)生音樂(lè)噪聲[6-8]。其中，幅度譜估計(jì)算法中的對(duì)數(shù)譜最小均方誤差估計(jì)算法(minimum mean square error of log-spectral amplitude estimator, MMSE-LSA)[9-11]具有較好的語(yǔ)音保真度，因此得到廣泛的關(guān)注；然而，傳統(tǒng)MMSE-LSA算法無(wú)法依據(jù)輸入信號(hào)的信噪比對(duì)增益因子作自適應(yīng)調(diào)整，在輸入信號(hào)的信噪比變化的條件下，該算法性能不穩(wěn)定。非負(fù)矩陣分解(nonnegative matrix factorization, NMF) 算法對(duì)語(yǔ)音與噪聲作非負(fù)矩陣分解獲得相應(yīng)字典矩陣，測(cè)試階段將混合信號(hào)幅度譜分解為字典矩陣與權(quán)重矩陣的乘積；最后通過(guò)語(yǔ)音字典及權(quán)重矩陣乘積重構(gòu)增強(qiáng)后語(yǔ)音[12-14]。本文針對(duì)上述問(wèn)題，提出了基于自適應(yīng)MMSE-LSA與NMF的語(yǔ)音增強(qiáng)算法。

1 自適應(yīng)MMSE-LSA算法

MMSE-LSA算法對(duì)語(yǔ)音增強(qiáng)涉及先驗(yàn)信噪比與后驗(yàn)信噪比的估算問(wèn)題[15]。伴隨著對(duì)噪聲估計(jì)結(jié)果的變化，需對(duì)信噪比作適時(shí)更新，由于在先驗(yàn)信噪比的估算過(guò)程中引入了調(diào)節(jié)因子α′，通常對(duì)其設(shè)定一個(gè)范圍，再依據(jù)多次實(shí)驗(yàn)結(jié)果來(lái)確定一個(gè)經(jīng)驗(yàn)值。然而，這種通過(guò)實(shí)驗(yàn)來(lái)確定經(jīng)驗(yàn)值的方法，對(duì)于不同信噪比的情況可能會(huì)造成語(yǔ)音失真或產(chǎn)生音樂(lè)噪聲問(wèn)題，因此需對(duì)α′值作及時(shí)更新[8]。自適應(yīng)MMSE-LSA算法則采用先驗(yàn)信噪比的最小均方差，依據(jù)噪聲變化獲得α′在不同信噪比情況下的自適應(yīng)最優(yōu)值。

x(n)，d(n)和y(n)分別代表純凈語(yǔ)音、噪聲及含噪語(yǔ)音，有：

y(n)=x(n)+d(n)

(1)

式(1)經(jīng)FFT變換后可得下式：

|Y(n,k)|2=|X(n,k)|2+|D(n,k)|2

(2)

式(2)中，|Y(n,k)|2，|X(n,k)|2，|D(n,k)|2分別為含噪語(yǔ)音、純凈語(yǔ)音及噪聲短時(shí)譜幅度。

Y(n,k)=|Y(n,k)|∠θy

(3)

X(n,k)=|X(n,k)|∠θx

(4)

式(3)、式(4)中，∠θx和∠θy代表相位。

(5)

|X(n,k)|=G(n,k)|Y(n,k)

(6)

(7)

式(7)中，ξ(n,k)為語(yǔ)音信號(hào)第n幀的第k個(gè)頻率點(diǎn)先驗(yàn)信噪比，其定義如下：

(8)

(9)

從式(7)可知，計(jì)算增益函數(shù)須獲得先驗(yàn)信噪比，進(jìn)而才能估計(jì)出純凈語(yǔ)音，能否準(zhǔn)確估計(jì)出先驗(yàn)信噪比對(duì)語(yǔ)音增強(qiáng)效果有重要影響。傳統(tǒng)MMSE-LSA算法對(duì)先驗(yàn)信噪比的估計(jì)使用直接判決法。

(10)

式(10)中，α依據(jù)經(jīng)驗(yàn)其取值范圍[0.8,1]，ε為一個(gè)無(wú)限接近于0的正實(shí)數(shù)，γ(n,k)是后驗(yàn)信噪比(SNRpost(n,k))，定義如下：

(11)

由文獻(xiàn)[16]可知，先驗(yàn)信噪比估計(jì)的另一種表示式為：

(12)

(13)

(14)

由式(12)和式(14)可得下式：

(15)

對(duì)M進(jìn)行求導(dǎo)，并假定?M/?α[n,k]=0，則可求α的最優(yōu)解：

(16)

2 NMF語(yǔ)音增強(qiáng)算法

X≈WH

(17)

式(17)中，W為字典矩陣，K為W的維度，H為權(quán)重矩陣。W的列向量是描述X頻譜結(jié)構(gòu)的基向量，H中的值為W中基向量對(duì)應(yīng)的激活值。式(17)可通過(guò)解決下面最優(yōu)化問(wèn)題獲得W和H：

(18)

dKL(·|·)為廣義Kullback-Leiber散度(KL divergence)，定義為：

(19)

可通過(guò)下述乘法迭代準(zhǔn)則得到最小化KL散度：

W=W.*((X./(WH))HT)./(lHT)

(20)

H=H.*(WT(X./(WH)))./(WTl)

(21)

其中，l為值全為1的矩陣，維度與X相同，.*和./表示矩陣逐點(diǎn)相乘和逐點(diǎn)相除。通過(guò)將W和H初始化為非負(fù)值，然后通過(guò)式(20)、式(21)迭代并更新W和H進(jìn)而獲得最終的W和H?；贜MF的語(yǔ)音增強(qiáng)算法主要由以下四個(gè)部分組成：

1) 計(jì)算訓(xùn)練數(shù)據(jù)中語(yǔ)音和噪聲信號(hào)的幅度譜XS和XN、測(cè)試信號(hào)的幅度譜X；

2) 對(duì)XS和XN通過(guò)式(17)作非負(fù)矩陣分解，得到WS和WN，令W=[WS,WN]；

3) 對(duì)X作非負(fù)矩陣分解，即X≈WH，固定W，由式(21)迭代獲得權(quán)重矩陣H；

圖1 NMF語(yǔ)音增強(qiáng)框架Fig.1 NMF speech enhancement framework

3 仿真實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)用的純凈語(yǔ)音來(lái)自于IEEE語(yǔ)音數(shù)據(jù)庫(kù)，噪聲選用Noisex-92噪聲數(shù)據(jù)庫(kù)。通過(guò)人工加噪方式，將純凈語(yǔ)音信號(hào)與噪聲信號(hào)按一定信噪比進(jìn)行混合(SNR=-5～10 dB)，進(jìn)而獲得一定量的含噪語(yǔ)音信號(hào),分別使用譜減算法、維納濾波算法及本文提出的自適應(yīng)MMSE-LSA與NMF算法進(jìn)行語(yǔ)音增強(qiáng)，并將純凈語(yǔ)音信號(hào)作為評(píng)價(jià)增強(qiáng)效果的標(biāo)準(zhǔn)信號(hào)。選擇語(yǔ)音質(zhì)量感知評(píng)價(jià)(perceptual evaluation of speech quality, PESQ)[17]和對(duì)數(shù)譜距離(log-spectral distance, LSD)[18]作為語(yǔ)音增強(qiáng)效果的客觀評(píng)價(jià)指標(biāo)。

為了說(shuō)明本文所提自適應(yīng)MMSE-LSA與NMF語(yǔ)音增強(qiáng)算法的有效性，圖2—圖5分別給出white噪聲、factory噪聲、m109噪聲及volvo噪聲環(huán)境下SNR=-5 dB的含噪語(yǔ)音信號(hào)經(jīng)譜減算法、維納濾波算法及本文算法進(jìn)行語(yǔ)音增強(qiáng)結(jié)果。從圖2—圖5可知，在-5 dB的white噪聲、factory噪聲、m109噪聲及volvo噪聲環(huán)境下，譜減算法的去噪效果相對(duì)于維納濾波及本文提出的算法較差，對(duì)于語(yǔ)音中的清音部分幾乎被噪聲所掩蓋；在低信噪比的factory噪聲、m109噪聲及volvo噪聲環(huán)境下，譜減算法不僅無(wú)法有效提取語(yǔ)音中的清音部分，而且會(huì)產(chǎn)生語(yǔ)音失真及音樂(lè)噪聲現(xiàn)象。在-5 dB的white噪聲、factory噪聲、m109噪聲及volvo噪聲環(huán)境下，維納濾波算法相對(duì)譜減算法雖能較好地去除背景噪聲，但維納濾波算法無(wú)法提取出含噪語(yǔ)音中的清音部分，甚至將部分清音信號(hào)濾除掉，且會(huì)產(chǎn)生音樂(lè)噪聲現(xiàn)象。本文算法與譜減算法、維納濾波算法相比，不僅能準(zhǔn)確有效地提取含噪語(yǔ)音中的清音部分，而且降低了音樂(lè)噪聲，在可懂度和清晰度方面均具有較明顯的優(yōu)勢(shì)。

實(shí)驗(yàn)對(duì)比分析了譜減算法、維納濾波算法和本文提出的自適應(yīng)MMSE-LSA與NMF語(yǔ)音增強(qiáng)算法在不同噪聲環(huán)境下的語(yǔ)音增強(qiáng)效果，實(shí)驗(yàn)所得結(jié)果見(jiàn)表1與表2。表1給出了不同噪聲環(huán)境下三種增強(qiáng)算法進(jìn)行增強(qiáng)語(yǔ)音后的PESQ值，表2給出了對(duì)應(yīng)的LSD值。

圖2 含white噪聲SNR=-5 dB譜減、維納及本文算法增強(qiáng)結(jié)果Fig.2 Spectral subtraction, Wiener and enhancement results of our algorithm with SNR =-5 dB white noise

圖3 含factory噪聲SNR=-5 dB譜減、維納及本文算法增強(qiáng)結(jié)果Fig.3 Spectral subtraction, Wiener and enhancement results of our algorithm with SNR =-5 dB factory noise

圖4 含m109噪聲SNR=-5 dB譜減、維納及本文算法增強(qiáng)結(jié)果Fig.4 Spectral subtraction, Wiener and enhancement results of our algorithm with SNR =-5 dB m109 noise

圖5 含volvo噪聲SNR=-5 dB譜減、維納及本文算法增強(qiáng)結(jié)果Fig.5 Spectral subtraction, Wiener and enhancement results of our algorithm with SNR =-5 dB volvo noise

表1 不同噪聲環(huán)境下的PESQ

由表1可知，在white、factory、m109和volvo背景噪聲環(huán)境下，當(dāng)SNR分別為5、0和-5 dB時(shí)，本文提出算法的PESQ值要比譜減算法及維納濾波算法高。

在SNR=-5 dB的white噪聲及m109噪聲環(huán)境下，本文所提算法的PESQ值最高比譜減算法分別高出0.503及0.403；在SNR=0 dB的white噪聲及SNR=-5 dB的volvo噪聲環(huán)境下，本文所提算法的PESQ值最高比維納濾波算法分別高出0.174及0.147。

表2 不同噪聲環(huán)境下的LSD

表2為在white、factory、m109及volvo噪聲背景下，三種不同語(yǔ)音增強(qiáng)算法的LSD值。由表2可知，本文算法的LSD值均要小于譜減算法及維納濾波算法，這主要是因?yàn)樽V減算法及維納濾波算法語(yǔ)音增強(qiáng)后存在“音樂(lè)噪聲”，導(dǎo)致它們的LSD值相對(duì)較高。在給出的四種不同信噪比的噪聲環(huán)境下，本文的語(yǔ)音增強(qiáng)算法的語(yǔ)音失真度都較小。在處于-5 dB的white噪聲下，本文算法的LSD值相對(duì)于另外兩種語(yǔ)音增強(qiáng)算法平均下降9.15%；在factory噪聲下，LSD值平均下降 9.56%；在m109噪聲下LSD值平均下降10.83%；volvo噪聲下，LSD值平均下降12.12%。由此可見(jiàn)，低信噪的噪聲環(huán)境下，本文提出的語(yǔ)音增強(qiáng)算法相對(duì)于譜減算法及維納濾波算法，其LSD性能表現(xiàn)為最優(yōu)。

4 結(jié)論

本文提出了基于自適應(yīng)MMSE-LSA與NMF的語(yǔ)音增強(qiáng)算法。該算法結(jié)合了自適應(yīng)對(duì)數(shù)譜幅度最小均方誤差和非負(fù)矩陣分解兩種語(yǔ)音增強(qiáng)算法的優(yōu)點(diǎn)，利用MMSE估計(jì)器對(duì)含噪語(yǔ)音信號(hào)進(jìn)行增強(qiáng)，提高輸入信號(hào)的信噪比，然后利用NMF算法對(duì)增強(qiáng)后產(chǎn)生的語(yǔ)音失真和殘留噪聲進(jìn)行補(bǔ)償，既能有效地降低背景噪聲又減少了語(yǔ)音失真。仿真實(shí)驗(yàn)結(jié)果表明，綜合PESQ及LSD兩種語(yǔ)音增強(qiáng)標(biāo)準(zhǔn)，本文提出的自適應(yīng)MMSE-LSA與NMF語(yǔ)音增強(qiáng)算法要優(yōu)于譜減算法及維納濾波算法。此外，在不同的低信噪比環(huán)境下，語(yǔ)音增強(qiáng)算法具有良好的增強(qiáng)效果，表明本文提出的算法具有較強(qiáng)的適應(yīng)能力。