基于反冪法和卡爾曼濾波的自適應(yīng)語音去混響方法

梅鐵民

(沈陽理工大學(xué)自動化與電氣工程學(xué)院，遼寧沈陽 110159)

1 引言

人對房間混響效應(yīng)的感受效果與聲源信號本身密切相關(guān)。眾所周知，在報告廳、教室等場所，混響效應(yīng)使聲音聽起來有一種遙遠(yuǎn)感，降低了語音可懂度，是影響語音感知質(zhì)量的重要因素之一。如何有效地消除或抑制語音信號中的混響效應(yīng)，對提高語音信號感知質(zhì)量或語音識別率均有著重要意義，去混響也是高性能免提電話、電視電話會議系統(tǒng)、助聽器、人機(jī)對話系統(tǒng)、音頻監(jiān)聽監(jiān)錄系統(tǒng)、立體聲影院、立體聲汽車音響系統(tǒng)、多媒體等應(yīng)用中的關(guān)鍵技術(shù)，具有廣泛的應(yīng)用前景[1-3]。

在房間內(nèi)，混響效應(yīng)由房間內(nèi)聲音反射面對說話人語音的多次反復(fù)反射引起。麥克風(fēng)或人耳接收到的信號是聲源(說話人)信號與房間內(nèi)各個方向反射回來的信號的疊加，數(shù)學(xué)上表現(xiàn)為聲源信號與房間內(nèi)沖激響應(yīng)的卷積。因此，語音信號去混響過程本質(zhì)上是信號的解卷積過程。由于語音信號功率譜的非白性，適用于通信信道自適應(yīng)均衡的一些傳統(tǒng)方法如Bussgang算法等并不適用于語音信號的去混響[4]。

最早用于語音信號去混響的方法是基于單麥克風(fēng)系統(tǒng)(Single input single output, SISO)的復(fù)倒譜解卷積[5]。在復(fù)倒譜域內(nèi)，上述卷積關(guān)系轉(zhuǎn)化為線性疊加關(guān)系，并且聲源信號集中于復(fù)倒譜的低時部分，而沖激響應(yīng)則集中于高時部分，故可以用低時窗濾波來消除混響。但是，由于聲源信號和房間沖激響應(yīng)在復(fù)倒譜域內(nèi)有一定重疊，因此這種方法去混響效果并不理想。

通常情況下，為了提高去混響性能，常采用麥克風(fēng)陣列，即所謂單輸入多輸出(Single Input Multiple Output, SIMO)系統(tǒng)。一方面可借助于波束形成技術(shù)實現(xiàn)部分語音去混響，如延時-疊加技術(shù)。這種方法可部分地消除混響，同時抑制白噪聲，從而使語音信號得到增強(qiáng)；另一方面，可以借助于信道間的交叉關(guān)聯(lián)(Cross Relation, CR)關(guān)系[7]實現(xiàn)房間沖激響應(yīng)(Room Impulse Response, RIR)的盲辨識，在盲辨識基礎(chǔ)上對混響信號實施逆濾波處理，從而實現(xiàn)聲源信號恢復(fù)，即去混響目的。

如果已知房間沖激響應(yīng)，則可以直接對混響信號進(jìn)行逆濾波以便實現(xiàn)去混響[9]。但在很多情況下，房間沖激響應(yīng)是未知的，且不可獨立測量，那么只能根據(jù)麥克風(fēng)輸出信號在某種準(zhǔn)則下對它們?nèi)セ祉懀@類算法稱之為盲去混響算法。語音獲取過程的去混響算法(或稱之為后補(bǔ)償)基本上都屬于盲去混響算法。

盲去混響算法還可以細(xì)分為倒譜分析去混響算法[5- 6]、多級線性預(yù)測分析去混響算法(Multi-Step Linear Prediction, MSLP)[10]、最大似然估計去混響算法等[12]、譜減去混響算法(Spectral Subtraction, SS)[13]等, 這些算法均為建立在SISO系統(tǒng)上的去混響算法，它們通過消除或抑制晚期混響以實現(xiàn)聽覺去混響，達(dá)到語音增強(qiáng)的目的。而基于房間沖激響應(yīng)盲辨識的逆濾波算法[15-17]、自適應(yīng)逆濾波算法(不需辨識RIR，直接估計去混響系統(tǒng))[18]、波束形成去混響算法(Beamforming, BF)[19]等則是建立在SIMO (或MIMO)系統(tǒng)上的盲去混響算法，它們通過完全恢復(fù)聲源信號以實現(xiàn)去混響的目的。除此之外，尚有很多出于不同應(yīng)用目標(biāo)、利用混響語音信號不同特性的去混響方法，如在[21]中提出的語音特征參數(shù)域去混響方法可直接應(yīng)用在自動語音識別(Automatic Speech Recognition, ASR)中；利用混響語音相對于聲源語音在時間、頻率域內(nèi)的稀疏性改變，通過時頻域內(nèi)稀疏性最大化實現(xiàn)去混響[22]。已有的這些去混響方法抗噪聲性能弱，在有噪聲環(huán)境中很難達(dá)到理想效果。此外，目前流行的深度神經(jīng)網(wǎng)絡(luò)方法也廣泛應(yīng)用于語音去混響，并獲得不錯的去混響效果，其缺點是需要較長的訓(xùn)練學(xué)習(xí)過程[25]。

在短時傅里葉變換(STFT)域內(nèi)，文獻(xiàn)[29]提出卡爾曼濾波和EM算法相結(jié)合的去混響算法，即在E步用卡爾曼濾波進(jìn)行聲源信號估計，而在M步對噪聲強(qiáng)度和房間沖激響應(yīng)進(jìn)行最大似然估計；而文獻(xiàn)[30]提出對混響信號采用自回歸模型并建立卡爾曼濾波問題，在該模型中聲源信號看成是過程噪聲，并且需要對其自相關(guān)矩陣進(jìn)行最大似然估計。在[31]中不僅考慮混響信號的自回歸模型，同時考慮聲源信號的隱馬爾可夫模型。文獻(xiàn)[29]所提方法給出不錯的結(jié)果，但美中不足的是它未充分利用SIMO系統(tǒng)輸出信號之間的交叉關(guān)聯(lián)關(guān)系進(jìn)一步提高去混響效果。

2 混響效應(yīng)數(shù)學(xué)模型與去混響系統(tǒng)

對于SIMO系統(tǒng)，設(shè)房間中有N個麥克風(fēng)，第i個麥克風(fēng)接收到的數(shù)字化混響語音信號(即觀測信號)為xi(n) (i=1, 2, …,N;n為時間)，則觀測信號與聲源信號s(n)之間的關(guān)系為:

(1)

(2)

為(L+Lg-1)×Lg的卷積矩陣，則去混響濾波器組矢量g滿足如下方程：

(3)

MINT定理說明了去混響濾波器與造成混響效應(yīng)的房間沖激響應(yīng)之間的關(guān)系。只要能把房間沖激響應(yīng)估計出來，就可以根據(jù)MINT定理來確定去混響濾波器。但是實踐表明，MINT定理給出的去混響濾波器對房間沖激響應(yīng)的估計誤差很敏感，這種方法實踐中并不可行。

3 基于交叉關(guān)聯(lián)關(guān)系的反冪法SIMO系統(tǒng)盲辨識

在本節(jié)中將給出基于信道間交叉關(guān)聯(lián)關(guān)系和反冪法的房間沖激響應(yīng)估計新算法。基于二階統(tǒng)計量的多信道盲辨識是建立在如下的信道間交叉關(guān)聯(lián)關(guān)系基礎(chǔ)上的[7]，即，

[xi(n)-νi(n)]*hj(n)=[xj(n)-νj(n)]*hi(n)

(4)

其中,i,j=1,2,…,N;i≠j;“*”為卷積算符。

(5)

和

(6)

其中，在式(5)和式(6)中，(1×L)維行矢量xi(n)=[xi(n),xi(n-1),…,xi(n-L+1)]和vi(n)=[νi(n),νi(n-1),…,νi(n-L+1)]，則式(4)中的交叉關(guān)聯(lián)關(guān)系公式可以寫成如下的矩陣形式：

[C(n)-V(n)]h=0

(7)

對式(7)兩邊同時左乘[C(n)-V(n)]T并取統(tǒng)計平均，同時令R(n)=E[CT(n)C(n)](其中, E[·]表示進(jìn)行統(tǒng)計平均操作)，則有：

(8)

(9)

對于(NL×NL)維矩陣R(n)，其最小特征矢量可以采用反冪法(Inverse Power Method)迭代求解以便降低計算復(fù)雜度。令h0為h的初值，則反冪法最小特征矢量的迭代過程為在hk已知的前提下求解hk+1(迭代次數(shù)k=0,1,2,…)：

(10)

式(10)即為建立在交叉關(guān)聯(lián)關(guān)系基礎(chǔ)上的反冪法SIMO系統(tǒng)盲辨識算法。如果考慮到房間沖激響應(yīng)的時變性，那么n時刻房間沖激響應(yīng)矢量由反冪法給出的迭代過程可以表示如下：

(11)

其中，式(11)中的n代表時間，而上標(biāo)k代表n時刻h(n)的迭代次數(shù)。在上式中，每一時刻的反冪法迭代初值是前一時刻的迭代結(jié)果。無論是時變系統(tǒng)還是非時變系統(tǒng)，相鄰時刻的房間沖激響應(yīng)總是高度相關(guān)的，因此在每一時刻對反冪法甚至可以只做一次迭代，從而得到如下的基于反冪法的系統(tǒng)自適應(yīng)盲辨識算法(在前一時刻h(n-1)已知的前提下求解h(n))：

(12)

4 基于卡爾曼濾波的多路信號解卷積算法

在已知房間沖激響應(yīng)的情況下，利用卡爾曼濾波進(jìn)行解卷積(去混響)不需要利用MINT定理進(jìn)行逆系統(tǒng)估計，而是直接估計出解卷積信號，有利于提高系統(tǒng)的噪聲穩(wěn)定性。

利用卡爾曼濾波進(jìn)行解卷積的關(guān)鍵是建立卡爾曼濾波模型，包括過程方程和測量方程。

令X(n)=[x1(n),x2(n),…,xN(n)]T為n時刻觀測信號矢量；n時刻狀態(tài)矢量為聲源信號s(n)構(gòu)成的矢量S(n)=[s(n),s(n-1),…,s(n-L+1)]T；n時刻測量矩陣H(n)=[h1,h2,…,hN]T由反冪法估計得到的房間沖激響應(yīng)構(gòu)成(反冪法(11)或(12)中得到的h(n)矢量重新排列得到！)，則多路信號解卷積的卡爾曼濾波問題描述如下：

過程方程:

S(n+1)=W(n+1,n)S(n)+u1(n)

(13)

測量方程：

X(n)=H(n)S(n)+u2(n)

(14)

(15)

此外，W(n,n+1)=WT(n+1,n)。

狀態(tài)矢量的實際更迭過程應(yīng)該是S(n+1)=W(n+1,n)S(n)+[1,0,…,0]Ts(n+1)+噪聲項，而在過程方程中，直接把[1,0,…,0]Ts(n+1)和噪聲項看成是過程噪聲u1(n)(但其第一個分量的方差要遠(yuǎn)大于其他分量的方差，見表1)，實踐表明，這樣做是可行的。

由卡爾曼濾波器輸出的n時刻聲源信號：

s(n)=S(n+1)的第L個分量

(16)

5 SIMO系統(tǒng)自適應(yīng)去混響新算法

當(dāng)把式(12)中給出的自適應(yīng)盲辨識算法與基于卡爾曼濾波的多路信號解卷積算法相結(jié)合后，就得到了一種SIMO系統(tǒng)自適應(yīng)去混響新算法。新算法的迭代步驟列于表1中，對應(yīng)的系統(tǒng)框圖如圖1所示。

在新算法的系統(tǒng)辨識階段，反冪法需要進(jìn)行線性方程組的求解：R(n)h(n)=h(n-1)。由于R(n)是對稱正定矩陣，因此可以采用喬萊斯基分解法求解，可以顯著減少計算量。當(dāng)然也可以采用LU分解或QR分解來求解。

圖1 基于反冪法和卡爾曼濾波的SIMO系統(tǒng)自適應(yīng)去混響算法的系統(tǒng)框圖Fig.1 The system diagram of the adaptive dereverberation algorithm based on inverse power method and Kalman filter

6 實驗與討論

為了評估新算法的性能，進(jìn)行了仿真實驗和真實實驗。在仿真實驗中，采用實測房間沖激響應(yīng)與無噪聲語音進(jìn)行卷積而得到仿真的混響信號，并且在混響信號中增加不同強(qiáng)度的噪聲來模擬不同信噪比下的實測混響語音信號。仿真實驗中所需的房間沖激響應(yīng)與真實實驗中所用到的實測混響信號是在同一個實驗過程中獲得的。具體實施過程如下。

在一個相對封閉且安靜的會議室(約10 m×6 m×3 m)中用揚(yáng)聲器播放一段語音(該語音已知，這里稱之為聲源信號，聲源信號時長3.98 s，連續(xù)重復(fù)播放8次)，用四個與揚(yáng)聲器距離分別為1 m、2 m、3 m、4 m的麥克風(fēng)進(jìn)行錄音，得到四路實測的混響語音信號(分別對應(yīng)聲道1～4)，錄音時間長度31.9 s，初始采樣率為64 kHz。由于房間沖激響應(yīng)持續(xù)時間比較長，為了降低數(shù)據(jù)量和計算量，對獲得的數(shù)據(jù)通過降采樣算法降低采樣率，在房間沖激響應(yīng)辨識和去混響階段所用采樣率為8 kHz。

大量的計算表明，無論是用仿真數(shù)據(jù)對新算法進(jìn)行性能測試，還是利用新算法對實測信號進(jìn)行處理時，下面兩種數(shù)據(jù)預(yù)處理措施和后濾波處理是必要的，可以顯著改善新算法的去混響性能。

預(yù)處理措施：首先，通過時延估計對四路混響信號進(jìn)行時延補(bǔ)償處理，使得時延補(bǔ)償后的四路麥克風(fēng)信號(或仿真信號)中的直達(dá)信號分量對齊。這樣估計得到的房間沖激響應(yīng)的主脈沖是對齊的。其次，對混響語音信號進(jìn)行預(yù)白化處理。其過程如下：先計算其中一路混響信號的50階線性預(yù)測系數(shù)，然后利用該線性預(yù)測系數(shù)對四路混響語音信號分別進(jìn)行預(yù)白化濾波，得到預(yù)白化混響信號。預(yù)白化信號仍然滿足交叉關(guān)聯(lián)關(guān)系。

后濾波處理：仿真實驗發(fā)現(xiàn)，卡爾曼濾波會使去混響信號的極低頻和極高頻分量過份放大，對卡爾曼濾波器輸出的解卷積信號的后帶通濾波處理可以很好地解決這個問題。

6.1 仿真實驗

首先，利用LMS算法由四路實測混響信號和已知的聲源信號得到四路實測房間沖激響應(yīng)，用hLMS表示，用于本文所提出算法的仿真實驗。

在利用LMS算法進(jìn)行房間沖激響應(yīng)辨識時，只追求辨識精度而不要求收斂速度，因此盡量降低LMS算法中的學(xué)習(xí)步長參數(shù)。最后采用聲源信號平均功率與LMS算法輸出的誤差信號的平均功率之比(暫稱之為信號干擾比)來衡量算法是否收斂。在算法收斂后該值也大體上反映了實測信號的噪聲水平，用分貝數(shù)表示，即

SIR=-10log10(P聲源功率/P誤差功率)(dB)

(17)

在本實驗中，房間沖激響應(yīng)的長度為L=1300點(采樣率為8 kHz)，公式(17)給出的四路實測信號相應(yīng)的信號干擾比分別為(29.24 dB，26.23 dB，24.98 dB，24.08 dB)。說明麥克風(fēng)離聲源越近，信號干擾比越高，房間沖激響應(yīng)估計的越準(zhǔn)。

用聲源信號與hLMS進(jìn)行卷積，并對其增加給定強(qiáng)度的高斯白噪聲，用于模擬實測混響語音信號。利用本文所提基于反冪法的盲辨識算法所得房間沖激響應(yīng)辨識結(jié)果用hNEW表示。用四路房間沖激響應(yīng)的平均NPM(Normalized Projection Misalignment)來表示hNEW與hLMS之間的差距：

NPM=10log10(1-r2)(dB)

(18)

仿真時，在矩陣R(n)的估計公式中(見表1)，設(shè)定λ=0.99999；為了加速收斂，反冪法的迭代次數(shù)設(shè)定為111。

在混響信號的信噪比SNR=30 dB時，算法收斂后hNEW與hLMS的比較見圖2。當(dāng)SNR=30 dB，40 dB，50 dB，60 dB，70 dB時，代表反冪法盲辨識算法收斂特性的NPM曲線如圖3所示，說明建立在反冪法基礎(chǔ)上的新辨識算法對噪聲很不敏感，即具有噪聲魯棒性。當(dāng)信噪比進(jìn)一步提高到大于100 dB時，NPM迅速下降，幾乎可以準(zhǔn)確辨識系統(tǒng)。

在研究去混響效果時發(fā)現(xiàn)，由卡爾曼濾波器輸出的去混響信號的低頻與高頻部分均被不合理地放大了，因此必須對其進(jìn)行帶通濾波，消除低頻畸變和高頻噪聲。在本實驗中，所用的201點FIR帶通濾波器的通帶范圍為[100,3000]Hz，可以顯著改善去混響信號的波形。在圖4中給出的是聲源信號(1)、混響信號(2)、去混響信號(3, 4)(分別用hLMS和hNEW去混響)波形比較。在圖5中給出的是圖4中方框區(qū)域的放大圖。從圖4、圖5可以看出，在波形上，去混響信號(3, 4)要比混響信號(2)更接近聲源信號(1)。當(dāng)然，去混響信號(3)比(4)更好些。在圖6中給出的是去混響信號(3, 4)相對聲源信號的全局響應(yīng)，與房間沖激響應(yīng)hLMS相比能量更集中，衰減更快，說明混響效應(yīng)得到有效抑制。從聽覺感知角度來評價的話，去混響信號(3, 4)幾乎聽不到混響效應(yīng)，但會聽見較弱的背景噪音?？傮w效果還是比較令人滿意的。

圖2 仿真實驗：由四路仿真含噪混響信號經(jīng)新盲辨識方法辨識的房間沖激響應(yīng)hNEW與hLMS的比較(SNR=30 dB)Fig.2 Simulations: comparison between the blindly identified room impulse responses hNEW and hLMS(SNR=30 dB)

圖3 仿真實驗：仿真信號在不同信噪比下進(jìn)行RIR辨識時的NPM曲線Fig.3 Simulations: the NPM of the identified RIR under different SNR of the simulated reverberant signals

圖4 仿真實驗：聲源信號(1)、仿真混響信號(2)、去混響信號 (3:用hLMS去混響；4: 用hNEW去混響)波形比較Fig.4 Simulations: the source speech signal (1), the simulated reverberant signal (2) and the dereverberated signals (3: dereverberation with hLMS; 4: dereverberation with hNEW)

圖5 圖4中方框區(qū)域波形的放大圖Fig.5 The zoomed-in graph of the part in rectangle in Figure 4

圖6 仿真實驗：去混響信號(圖4中信號3、4)相對于聲源信號的全局響應(yīng)Fig.6 Simulations: the global impulse response between the dereverberated signals (the 3rd and 4th signals in Figure 4) and source speech signal

6.2 真實實驗

圖7 真實實驗：由實測數(shù)據(jù)用新盲辨識算法得到的4路房間沖激響應(yīng)Fig.7 Experiments: the four channel impulse responses identified with the proposed algorithm (from top to bottom: channel 1- 4)

圖8 真實實驗：實測數(shù)據(jù)盲沖激響應(yīng)辨識時相對hLMS的動態(tài)NPM曲線Fig.8 Experiments: the dynamic NPM of the blind identification of (comparing with hLMS) from the real recorded signals

在圖9中給出了聲源信號、實測混響信號及去混響信號波形比較。無論是從波形比較，還是聽覺測試，實測信號的混響效應(yīng)經(jīng)去混響處理后得到明顯削弱。

圖9 真實實驗：聲源信號(1)、實測混響信號(2: 聲道4)、去混響信號(3)波形比較Fig.9 Experiments: the source speech signal (1), real recorded signal (2: channel 4) and the dereverberated signal (3)

6.3 與其他算法的比較

在語音去混響中，由于房間沖激響應(yīng)的超長性，語音信號的非白性等因素的影響，去混響算法的噪聲魯棒性都比較差。通常來說，晚期混響抑制算法的噪聲魯棒性更好些，但是去混響性能有限；而逆濾波去混響算法魯棒性會相對較差，但是在信噪比較高的情況下，其去混響性能要更好些。新算法對于安靜環(huán)境下實測語音信號的去混響效果可以與文獻(xiàn)[30]所給的結(jié)果相媲美，但新算法的計算復(fù)雜度要低于后者[注]參見https:∥www.audiolabs-erlangen.de/resources/ 2016-SPL-MAR-KALMAN。

7 結(jié)論

本文所提出的基于SIMO系統(tǒng)輸出信號交叉關(guān)聯(lián)關(guān)系和反冪法最小特征向量求解的SIMO系統(tǒng)盲辨識方法是可行的，并具有較好的抗噪聲性能；盲辨識算法與卡爾曼濾波解卷積方法的有機(jī)結(jié)合為我們提供了實時SIMO系統(tǒng)解卷積的可能性。對觀測信號的預(yù)處理(時延對齊、預(yù)白化)和對解卷積信號的后處理(帶通濾波)是必要的。仿真與實驗研究表明，本文所提出的方法可以實時地有效削弱房間的混響效應(yīng)，并具有較好的噪聲魯棒性。