自適應秩約束逆矩陣近似分解及其在語音增強中的應用

摘 要：針對低秩約束和稀疏矩陣分解（constrained low-rank and sparse matrix decomposition，CLSMD）方法中硬閾值可能導致降噪后的語音信號分量丟失或出現(xiàn)孤立噪聲問題，提出了一種自適應秩約束逆矩陣近似（adaptive rank constrained inverse matrix approximation，ARCIMA）分解方法。該方法首先采用能量閾值法初步估計低秩矩陣秩值，然后從語音信號子空間矩陣的結構特性出發(fā)，采用修正雙邊隨機投影（modified bilateral random projections，MBRP）方法求解代表純凈語音信號的低秩矩陣，降低使用SVD方法的計算量，并通過Tikhonov正則化優(yōu)化方法改善迭代求解過程中解的病態(tài)性。實驗結果表明，該方法相比經(jīng)典方法在多種噪聲環(huán)境下取得了更好的PESQ得分，并且增強語音的時域波形也更接近原始信號的波形。該方法去噪性能在低信噪比噪聲條件下具有優(yōu)勢。

關鍵詞：自適應秩約束逆矩陣近似；修正雙邊隨機投影；語音增強

中圖分類號：TP912.35 文獻標志碼：A 文章編號：1001-3695（2024）11-027-3389-05

doi：10.19734/j.issn.1001-3695.2024.03.0078

Adaptive rank constrained inverse matrix approximation decomposition method and its application in speech enhancement

Wang Qiangjin^{a， b， c}， Wu Zhantao^{a， b， c?}， Li Baoqing^{a， b}， Yang Yu^{a， b}

（a.College of Mechanical amp; Vehicle Engineering， b.Hunan Provincial Key Laboratory of Equipment Service Quality Assurance， c.Hunan Provincial Key Laboratory of Construction Machinery Intelligence Technology Based on the Internet of Things， Hunan University， Changsha 410000， China）

Abstract：This paper proposed a new matrix decomposition method ARCIMA to address issues in the CLSMD approach， where hard thresholding could lead to loss of speech signal components or isolated noise problems. Initially， the energy thres-hold method estimated the rank of the low-rank matrix. Then， considering the structural characteristics of the speech signal subspace matrix， the MBRP method solved the low-rank matrix representing the clean speech signal， reducing the computational load compared to the SVD method. Tikhonov regularization optimized the solution’s stability during iterative solving. Experimental results show that this method achieves better PESQ scores in various noisy environments compared to classical methods， and the enhanced speech waveform is closer to the original speech waveform. The method demonstrates superior denoising performance under low signal-to-noise ratio conditions.

Key words：adaptive rank constrained inverse matrix approximation; modified bilateral random projections; speech enhancement

0 引言

近年來，隨著全球人工智能模型^［1］的高歌猛進和以新能源汽車^［2］為代表的工業(yè)智能設備的欣欣向榮，語音信息的傳遞方式也在發(fā)生變化。語音通信、錄音識別、網(wǎng)絡會議等交流方式越發(fā)普遍。在這些交流中，語音信號的生成、傳輸、接收都可能會受到未知噪聲的干擾而導致其質(zhì)量和可懂度受到嚴重影響。因此針對常見噪聲下的語音信號進行增強顯得尤為重要。

傳統(tǒng)語音增強方法主要分為頻域方法和時域方法。頻域方法主要有譜減法（spectral subtraction，SS）、維納濾波（Wiener filtering，WF）、基于最小均方誤差（minimum mean square error，MMSE）的短時幅度增強方法等。SS通過從帶噪語音譜中減去對噪聲譜的估計來得到降噪后的語音譜，這種方法很容易引起語音非線性失真，產(chǎn)生音樂噪聲^［3］。WF通過求解最優(yōu)化均方誤差將音樂噪聲變?yōu)轭愃朴诎自肼暤膶拵г肼?，有效提升了語音增強的效果，但它的推導基于所分析信號具有平穩(wěn)性這一假設，不能有效地處理非平穩(wěn)信號的情況^［4］。MMSE對降噪語音譜進行非線性估計，比WF具有更好的處理非平穩(wěn)信號的性能^［5］。針對上述方法在低信噪比的非平穩(wěn)噪聲環(huán)境下存在語音增強性能欠佳、計算復雜度高、語音失真與音樂噪聲的問題，董胡等人^［6］利用自適應的MMSE-LEA方法結合非負矩陣分解（non-negative matrix factorization， NMF）提出了新的方法AMLNMF，該方法在低信噪比噪聲環(huán)境下克服了語音失真和音樂噪聲的問題。時域方法中，主要有基于參數(shù)模型的增強方法和基于子空間的增強方法。對于基于參數(shù)模型的方法而言，尤其在信噪比相對較低的時候，聲道參數(shù)和激勵參數(shù)會難以估計。子空間方法是將帶噪語音分解為語音子空間和噪聲子空間^［7］，通過消除噪聲子空間成分來恢復語音信號^［8］。以主成分分析（principal component analysis，PCA）方法為例，PCA方法通過將語音矩陣轉(zhuǎn)換為新的主成分變量集，進一步獲得語音特征，再通過減小語音維數(shù)獲得語音子空間^［9］。近年來，為了進一步對數(shù)據(jù)進行異常檢測和噪聲去除等應用，有關學者提出了能夠?qū)⒕仃嚪纸鉃榈椭染仃嚭拖∈杈仃嚨聂敯糁鞒煞址治龇椒ǎ╮obust principal component analysis，RPCA）^［10］。該方法通過奇異值分解（singular value decomposition，SVD）將低秩矩陣更新為最優(yōu)低秩矩陣，其次通過軟閾值將稀疏矩陣更新為最優(yōu)稀疏矩陣。

根據(jù)RPCA理論，Sun等人^［11］提出的CLSMD方法將有效秩和稀疏度的概念引入到帶噪語音語譜圖中，通過設置硬閾值找到純凈語音信號所在的矩陣空間。然而該算法使用硬閾值時，往往使恢復后的信號含有獨立噪聲或者部分分量丟失；其次在使用原始信號相位來代替純凈語音信號相位時，也會降低恢復信號的質(zhì)量。

為了有效改善上述CLSMD有關問題，本文將CLSMD原理應用到時域中，提出了一種自適應秩約束逆矩陣近似的分解方法ARCIMA。該方法基于純凈語音信號的短時穩(wěn)定性，將其重構矩陣視為低秩矩陣，通過能量閾值法自適應地更新純凈語音矩陣的有效秩值，并通過修正雙邊隨機投影（modified bilateral random projections， MBRP）方法^［12］來減少估計最優(yōu)解的執(zhí)行時間，之后利用Tikhonov正則化方法^［13］改善數(shù)據(jù)運算過程中解的病態(tài)性，有效解決了CLSMD在時頻域采用硬閾值引起的問題并提高了語音信號的恢復精度。

1 基于CLSMD的分解方法

基于CLSMD^［11］的分解方法由轉(zhuǎn)換-去噪-合成三階段構成：a）轉(zhuǎn)換階段，通過短時傅里葉變換將采集到的語音信號轉(zhuǎn)換為時頻幅度矩陣；b）去噪階段，從時頻幅度矩陣中分解出代表純凈語音信號的稀疏矩陣；c）合成階段，對稀疏矩陣進行短時傅里葉逆變化，然后通過疊加法合成增強信號。

從圖中可以看到，傳統(tǒng)的語音分解方法在-5 dB噪聲下，會有很大的噪聲殘余，去噪信號在一定程度上失真。而由于CLSMD方法較好地找到了x₁（t）信號在語譜圖中所處空間，去除了噪聲空間的干擾，但恢復信號的波形和幅值發(fā)生一定改變。AMLNMF方法先經(jīng)過自適應MMSE-LSA初步降噪，之后又用NMF進行頻譜降噪，大致恢復了信噪比大的區(qū)間內(nèi)的信息，但在細節(jié)上較為不足。而ARCIMA方法在幅值上接近原始純凈信號，在波形上也更為貼切，并且殘留噪聲較小，避免了信號的失真。

4 實驗信號分析

實驗采用TIMIT標準語音庫中不同地區(qū)男女語音數(shù)據(jù)共20條，噪聲采用Noisex-92標準噪聲庫中的白噪聲、粉紅噪聲、以及汽車駕駛室內(nèi)噪聲。其中白噪聲頻譜均勻、平穩(wěn)隨機；粉紅噪聲頻譜密度隨頻率增加而下降，但在不同頻率上能量均勻；汽車駕駛室內(nèi)噪聲往往來源于車輛引擎、輪胎摩擦、風噪聲等，這些機械噪聲構成了多源噪聲情況。將這三種噪聲分別施加于所選干凈語音中，使用上述六種不同的去噪方法在低信噪比條件下進行降噪處理，最后在語音質(zhì)量感知評估（PESQ）方法、短時客觀可懂度（STOI）和時域波形重構方面進行對比分析。

4.1 高斯白噪聲環(huán)境下的性能分析

該節(jié)展示高斯白噪聲下各個算法進行語音增強后的情況，并進行對比分析，結果如圖3和4所示。

圖3表示為每個方法在不同低信噪比下增強語音的PESQ值。結果表明，隨著信噪比的增大，六種方法對高斯白噪聲的去噪能力也在遞增。在-10～0 dB信噪比范圍內(nèi)，ARCIMA方法所產(chǎn)生的平均PESQ分數(shù)均高于其他降噪方法。

圖4所示為各個方法在不同信噪比下增強信號的STOI值。實驗結果表明，在低信噪比-10 dB和0 dB時，AMLNMF方法所產(chǎn)生的平均STOI值高于其他降噪方法。在-5 dB時，ARCIMA最高。這可能是由于STOI主要通過分幀來計算得分，而ARCIMA方法在一些語音信號具有稀疏性的情況下，會將這部分信號視為噪聲去除，使對應的時間段沒有信號存在，從而導致STOI數(shù)值沒有最高的緣故。但整體而言，在保證語音短時客觀可懂度不發(fā)生明顯降低的同時，ARCIMA方法在高斯白噪聲下具有更好的語音增強質(zhì)量。

為進一步直觀地說明ARCIMA方法在高斯白噪聲下的去噪能力，本文仍采用-5 dB信噪比條件下的去噪波形進行對比說明，如圖5所示。

從圖5可以看出，WF和SS算法在-5 dB信噪比下去噪效果不明顯。這是由于在-5 dB時，局部噪聲的強度接近甚至高于信號強度，這些算法會將一部分語音信號誤認為噪聲并進行降噪處理，導致降噪信號整體幅值降低并殘留很多噪聲；MMSE方法保留了大部分信號波形，但殘余噪聲波形占語音信號波形比重較大；CLSMD方法也重構了純凈信號的波形，但是存在部分孤立噪聲且部分波形缺失；AMLNMF雖然比MMSE降噪效果要好，但是波形有毛刺；ARCIMA方法雖然在尾音處造成了語音缺失，但在大部分時間段上都保留了波形，并且能夠在采樣數(shù)為20 000～25 000內(nèi)，將語音信號突增的部位還原。所以總體而言，ARCIMA算法在高斯白噪聲下仍然表現(xiàn)出了很好的噪聲抑制性能。

4.2 多種非高斯噪聲環(huán)境下的性能分析

本節(jié)將所提方法用于粉紅噪聲及汽車駕駛場景噪聲下的語音信號去噪處理，并與上述所提幾種常用去噪方法進行對比分析，不同噪聲下PESQ值如圖6所示。

從圖6可知，ARCIMA方法在兩種噪聲低信噪比范圍內(nèi)都取得了最高的PESQ值。而AMLNMF算法在粉紅噪聲中只高于WF和SS，在汽車噪聲中也沒有表現(xiàn)很好，這也說明ARCIMA算法在噪聲PESQ得分上要優(yōu)于AMLNMF算法。

不同噪聲下STOI值如圖7所示。

從圖7可知，通過對比不同信噪比下的平均STOI得分，ARCIMA方法在汽車噪聲下取得了很好的分數(shù)，這也反映了ARCIMA方法在面對多源低頻噪聲情況下良好的分解能力。但在粉紅噪聲下，AMLNMF方法表現(xiàn)出了最好的得分性能，結合高斯噪聲下的STOI情況，反映出AMLNMF方法通過先驗信噪比估計和非負矩陣訓練方法，可以更好地提高增強語音的可懂度。

為進一步直觀地說明ARCIMA方法在粉紅噪聲下的去噪能力，進行不同方法去噪波形對比，如圖8所示。

從圖8來看，WF和SS算法在-5 dB信噪比下，信號失真，并且伴隨很多殘余噪聲。而CLSDM算法在非語音時間段出現(xiàn)了一些孤立的噪聲，這是由于所在部位噪聲被歸位了稀疏矩陣的一部分，并且由于幅度過大，導致落入了硬閾值范圍內(nèi)的原因。MMSE算法在去噪后留有不小的殘余噪聲。AMLNMF方法仍存在不少毛刺；而ARCIMA算法去噪后所得波形最接近純凈語音信號波形，并且只有很小的殘余噪聲。

為進一步直觀地說明ARCIMA方法在汽車車內(nèi)噪聲下的去噪能力，進行不同方法去噪波形對比，如圖9所示。

從圖9來看，WF和SS算法在-5 dB信噪比汽車駕駛室內(nèi)噪聲干擾的情況下，仍然信號波形失真，并且伴隨不小的殘余噪聲。MMSE在語音過度的間隙產(chǎn)生了較大的噪聲。而CLSMD的信號波形丟失了一些細節(jié)，AMLNMF雖然也較好恢復了波形，但語音過渡段存在毛刺噪聲。而ARCIMA在汽車駕駛室噪聲去除方面表現(xiàn)出很好的能力。雖然這五種信號把純凈語音信號中重要的內(nèi)容都表達了出來，但不論是每個語音幀的波形，或者它們之間的過度間隙，還是最后平緩降為零的尾聲，ARCIMA都展現(xiàn)出了比其他方法更為強大的去噪能力。

5 結束語

針對CLSMD算法在時頻域利用硬閾值來更新稀疏矩陣以獲得語音降噪信號的局限性，本文利用語音信號在時域具有短時平穩(wěn)的特點，將語音信號作為低秩矩陣，以自適應的方式獲取每幀的秩值。首次通過基于張量乘積和逼近偽逆的正則化以及修正的雙邊隨機投影理論方法，進一步將低秩矩陣逼近純凈語音矩陣。通過仿真實驗和現(xiàn)實噪聲實驗表明，ARCIMA方法在低信噪比白噪聲和色噪聲情況下，取得了比其他方法更好的降噪效果，并且重構的時域波形也更為接近原始信號，證明了ARCIMA方法是一種有效的語音信號增強方法。

ARCIMA方法雖然在低信噪比情況下表現(xiàn)出了良好的性能，但其稀疏矩陣是低秩約束下的副產(chǎn)物，而不是客觀設計。下一步的研究方向可以對稀疏矩陣進行分析，并通過方法尋找稀疏矩陣中引起數(shù)據(jù)結構變化的干擾點并進行去除，保證下次迭代過程時觀測矩陣中噪聲的平穩(wěn)性。

參考文獻：

［1］Wang Hanchen， Fu Tianfan， Du Yuanqi， et al. Scientific discovery in the age of artificial intelligence ［J］. Nature， 2023， 620： 47-60.

［2］Liu Jing， Wan Fucheng， Zou Jinzhi， et al. Exploring factors affecting people’s willingness to use a voice-based in-car assistant in electric cars： an empirical study ［J］. World Electric Vehicle Journal， 2023， 14（3）： 73.

［3］Li Chao， Jiang Ting， Wu Sheng. Single-channel speech enhancement based on improved frame-iterative spectral subtraction in the modulation domain ［J］. China Communications， 2021， 18（9）： 100-115.

［4］Torres R， Torres D， Lizarazo Z. Theory of prediction， interpolation and filtering of α-stationary random signals ［J］. Signal Processing， 2018， 147： 46-53.

［5］Wang Tingting， Guo Haiyan， Yan Xue， et al. Speech signal proces-sing on graphs： the graph frequency analysis and an improved graph Wiener filtering method ［J］. Speech Communication， 2021， 127： 82-91.

［6］董胡， 劉剛， 馬振中. 基于自適應MMSE-LSA與NMF的語音增強算法 ［J］. 探測與控制學報， 2021， 43（4）： 81-85，91. （Dong Hu， Liu Gang， Ma Zhenzhong. Speech enhancement algorithm based on adaptive MMSE-LSA and NMF ［J］. Journal of Detection amp; Control， 2021， 43（4）： 81-85，91.）

［7］Rong Jiarui， Zhang Jingshu， Duan Huiping. Robust sparse Bayesian learning based on the Bernoulli-Gaussian model of impulsive noise ［J］. Digital Signal Processing， 2023， 136： 104013.

［8］Ghorpade K， Khaparde A. Single-channel speech enhancement using single dimension change accelerated particle swarm optimization for subspace partitioning ［J］. Circuits， Systems and Signal Process， 2023， 42： 4343-4361.

［9］Kacha A， Grenez F， Orozco Arroyave J R， et al. Principal component analysis of the spectrogram of the speech signal： interpretation and application to dysarthric speech ［J］. Computer Speech and Language， 2020， 59： 114-122.

［10］羅勇江， 楊騰飛， 趙冬. 色噪聲下基于白化頻譜重排魯棒主成分分析的語音增強算法 ［J］. 電子與信息學報， 2021， 43（12）： 3671-3679. （Luo Yongjiang， Yang Tengfei， Zhao Dong. Speech enhancement algorithm based on robust principal component analysis with whi-tened spectrogram rearrangement in colored noise ［J］. Journal of Electronics amp; Information Technology， 2021， 43（12）： 3671-3679.）

［11］Sun Chengli， Zhu Qi， Wan Minghua. A novel speech enhancement method based on constrained low-rank and sparse matrix decomposition ［J］. Speech Communication， 2014， 60： 44-55.

［12］Barata J C A， Hussein M S. The Moore-Penrose pseudoinverse： a tutorial review of the theory ［J］. Brazilian Journal of Physics， 2012，42： 146-165.

［13］田潤坤， 代大海， 孫士龍， 等. 一種基于TSVDT的微波關聯(lián)前視成像方法 ［J］. 信號處理， 2024，40（3）：537-544. （Tian Runkun， Dai Dahai， Sun Shilong， et al. A method of microwave correlation forward view imaging based on TSVDT ［J］. Journal of Signal Processing， 2024，40（3）：537-544.）

［14］Wu Ning， Li Yue， Yan Jie， et al. A SNR enhancement method for desert seismic data： simplified low-rank selection in time-frequency decomposition domain ［J］. Pure and Applied Geophysics， 2021， 178（8）： 2905-2916.

［15］Chang Chenli， Cao Hongju， Chen Shuhan， et al. Orthogonal subspace projection-based go-decomposition approach to finding low-rank and sparsity matrices for hyperspectral anomaly detection ［J］. IEEE Trans on Geoscience and Remote Sensing， 2021， 59（3）： 2403-2429.

［16］Pan Haiyang， Yang Yu， Zheng Jinde， et al. A noise reduction method of symplectic singular mode decomposition based on Lagrange multiplier ［J］. Mechanical Systems and Signal Processing， 2019， 133： 106283.

［17］Chavarría-Molina J， Fallas-Monge J J， Soto-Quiros P. Effective implementation to reduce execution time of a low-rank matrix approximation problem ［J］. Journal of Computational Applied Mathema-tics， 2022， 401： 113763.