基于時頻域特征與DPRNN的語音增強(qiáng)方法

張禧辰，李云海，朱文輝，陳靜靜

（1.江蘇大學(xué)卓越學(xué)院，鎮(zhèn)江 212000；2.江蘇大學(xué)計算機(jī)科學(xué)與通信工程學(xué)院，鎮(zhèn)江 212000）

0 引言

語音增強(qiáng)旨在解決噪聲對語音的干擾問題，是語音信號處理中的重要前端技術(shù)之一。截至目前，語音增強(qiáng)技術(shù)已經(jīng)在各領(lǐng)域中占據(jù)十分重要的地位，例如Google智能音箱的語音喚醒，該功能就需要利用語音增強(qiáng)技術(shù)濾除環(huán)境中的噪聲，以提高語音喚醒的成功率?？偟膩碚f，語音增強(qiáng)方法可以分為單通道語音增強(qiáng)方法和多通道語音增強(qiáng)方法，其劃分的主要標(biāo)準(zhǔn)是根據(jù)麥克風(fēng)的數(shù)量不同。單通道語音增強(qiáng)方法接收單麥克風(fēng)信號，主要從信號本身的聲學(xué)和統(tǒng)計特性等角度出發(fā)進(jìn)行增強(qiáng)；多通道語音增強(qiáng)方法則接收麥克風(fēng)陣列的信號，可以利用麥克風(fēng)陣列之間的空間信息。相比于多通道語音增強(qiáng)方法，單通道語音增強(qiáng)方法缺少空間信息，更具挑戰(zhàn)性，但具備便捷、成本低的特點。因此，本文針對單通道語音增強(qiáng)問題提出了基于時頻域特征與DPRNN（dual-path recurrent neural network，雙路循環(huán)神經(jīng)網(wǎng)絡(luò)）的語音增強(qiáng)方法。

傳統(tǒng)的單通道語音增強(qiáng)方法有譜減法［1-2］、維納濾波法［3］等。譜減法是在帶噪語音中預(yù)測出噪聲信號，將帶噪語音與預(yù)測出的噪聲信號在功率譜（或幅度譜）上直接進(jìn)行相減，從而得到增強(qiáng)語音的一種語音增強(qiáng)方法。譜減法假設(shè)混合信號是由純凈信號與平穩(wěn)的噪聲信號疊加形成，不能有效處理隨機(jī)干擾信號，實際應(yīng)用場景十分受限。維納濾波法則是將帶噪語音經(jīng)過線性濾波器后得到次優(yōu)語音，并求得次優(yōu)語音與純凈語音均方誤差最小時的最優(yōu)濾波器參數(shù)，再根據(jù)該濾波器參數(shù)處理得到最優(yōu)的增強(qiáng)語音。維納濾波法能夠有效處理語音中的平穩(wěn)噪聲，但很難抑制語音信號中的不規(guī)則信號。

近年來，隨著深度學(xué)習(xí)在各個領(lǐng)域中取得成功，越來越多的研究者提出了深度學(xué)習(xí)方法在語音增強(qiáng)上的應(yīng)用，克服了傳統(tǒng)語音增強(qiáng)方法很難抑制隨機(jī)干擾信號的局限性?？傮w上，語音增強(qiáng)領(lǐng)域中的深度學(xué)習(xí)方法可分為兩大類：一類是端到端的時域方法，另一類是時頻域方法。時域方法中，常見的設(shè)置是利用一維卷積神經(jīng)網(wǎng)絡(luò)作為編碼-解碼器。例如，2019 年Ashutosh Pandey 等人提出的一種在時域上基于CNN 的語音增強(qiáng)架構(gòu)［4］，該方法就是利用1-D CNN 作為語音序列輸入的編碼-解碼器。然而，當(dāng)1-D CNN 的感受野大小設(shè)置不合理時，會在一定程度上忽略相隔較遠(yuǎn)的語句關(guān)系，從而影響語音增強(qiáng)的效果。而在時頻域方法中，通常使用STFT（short-time Fourier transform，短時傅里葉變換）提取輸入語音的時頻域特征，再對時頻域特征進(jìn)行時序建模處理，最后通過對時頻域特征進(jìn)行ISTFT（inverse shorttime Fourier transform，短時逆傅里葉變換）得到增強(qiáng)語音。但是，當(dāng)語音的時頻域特征序列較長時，系統(tǒng)將會很難對其進(jìn)行有效建模。

本文針對語音的時頻域特征長度較長時所帶來的難以有效建模的弊端，并受到Y(jié)i Luo 等人在2019 年提出的DPRNN-TasNet［5-6］（dual-path recur?rent neural network time-domain audio separation network, 雙路循環(huán)神經(jīng)網(wǎng)絡(luò)-時域語音分離網(wǎng)絡(luò)）模型的啟發(fā)，提出了基于時頻域特征與DPRNN的語音增強(qiáng)方法。這一方法使用STFT提取語音時頻域特征，再將語音特征送入雙路循環(huán)神經(jīng)網(wǎng)絡(luò)中進(jìn)行建模，最后將逆傅里葉變換進(jìn)行語音重建。在VBD 數(shù)據(jù)集上得到的實驗結(jié)果表明，該方法能夠顯著提高語音質(zhì)量并且有效消除了低頻段噪聲，PESQ（perceptual evaluation of speech qual?ity,客觀語音質(zhì)量評價）指標(biāo)達(dá)到了2.43。

1 基于時頻域特征與DPRNN的語音增強(qiáng)方法

本文針對語音時頻域特征較長所帶來的難以有效建模的問題，提出了基于時頻域特征與DPRNN 的語音增強(qiáng)方法，該方法首先利用短時傅里葉變換進(jìn)行語音的特征提取，然后加入DPRNN層使模型捕獲上下文語音特征之間的關(guān)系，并將該方法應(yīng)用到語音增強(qiáng)的領(lǐng)域，如圖1 所示。與語音分離任務(wù)不同，語音增強(qiáng)過程中會遇到各種帶噪語音，其中大部分噪聲的頻率與人聲頻率差距較大。我們引入的STFT語音特征提取過程能夠利用這一特點，對這類帶噪語音提取出與純凈語音特征差別較大的時頻域特征。同時，由于純凈語音與帶噪語音的時頻域特征差距較大，DPRNN更容易捕獲帶噪語音與純凈語音之間的區(qū)別，從而完成語音增強(qiáng)任務(wù)。這也是我們將DPRNN 利用在語音增強(qiáng)領(lǐng)域的一大優(yōu)勢。

圖1 基于時頻域特征與DPRNN的語音增強(qiáng)方法流程

1.1 語音的特征提取

特征提取如圖1（A）所示。在特征提取前，首先需要對語音進(jìn)行采樣，我們使用16 kHZ的采樣率對wav格式語音進(jìn)行采樣得到一維的語音數(shù)據(jù)。在特征提取過程中，我們采用短時傅里葉變換，具體過程為將語音序列分割成固定大小且具有重疊部分的語音片段，對這些語音片段即各幀進(jìn)行函數(shù)處理，完成逐幀加窗，再對各幀進(jìn)行傅里葉變換，提取出時頻域特征。在此我們使用漢明窗對各幀進(jìn)行加窗處理（窗口大小為256 ms，幀移為64 ms），利用漢明窗可以突出幀的中心數(shù)據(jù)特征，當(dāng)幀移取值合適時，利用漢明窗可以突出全部語音數(shù)據(jù)并將它們分隔在不同的幀中。漢明窗函數(shù)如式（1）所示：

分幀加窗后，對各幀進(jìn)行傅里葉變換，即下式:

f(x)是將要變換的語音信號，由于在計算機(jī)中處理的語音數(shù)據(jù)是由各采樣點得到的離散信號，所以我們要對語音數(shù)據(jù)采用離散傅里葉變換進(jìn)行特征提取，即：

最終我們將一維的語音數(shù)據(jù)轉(zhuǎn)化為二維時頻域上的頻率-振幅語音特征。

在特征提取過程中，我們計算出語音特征的幅值與相位。但由于相位缺少明顯的結(jié)構(gòu)化信息，難以建模，因此我們忽略了語音相位對語音增強(qiáng)算法的影響，只對幅值進(jìn)行處理。此外，我們對語音的相位進(jìn)行保存記錄，以便在最后的語音重建中，將增強(qiáng)后的幅值與原相位進(jìn)行處理完成語音重建。

1.2 DPRNN模型結(jié)構(gòu)

DPRNN 由Yi Luo，Zhuo Chen 等人在2019 年提出，他們考慮到了一維卷積神經(jīng)網(wǎng)絡(luò)（one di?mensional convolution neural network，1-D CNN）的感受野小于語音序列長度時將會無法執(zhí)行超長的全局建模，所以提出了能夠捕獲跨度更大的語言關(guān)系的DPRNN 模型。這是一種簡單而又有效的方法，用于在深層結(jié)構(gòu)中組織RNN 層對極長的序列進(jìn)行建模，DPRNN 將長序列輸入分割成更小的塊，并迭代地應(yīng)用塊內(nèi)建模和塊間建模，其中輸入長度可以與每個操作中原始序列長度的平方根成正比。通過塊內(nèi)和塊間操作能夠使模型在多個維度上進(jìn)行訓(xùn)練，優(yōu)于普通的LSTM（long shortterm memory，長短期記憶網(wǎng)絡(luò)）結(jié)構(gòu)。

DPRNN 具體結(jié)構(gòu)由輸入序列的分割處理、DPRNN 塊的內(nèi)部操作、序列片段的重疊相加三部分組成。即如圖1 中的（B）、（C）、（D）三部分所示。

1.2.1 序列輸入的分割

在圖1中（B）過程序列分割中，假設(shè)輸入序列的寬度為N，長度為L。模型將該序列在長度維度上進(jìn)行分割，具體過程如圖2所示。

在圖2 中所采用的片段大小為2P，片段與片段之間具有重疊部分，圖示中所采用的重疊率為50%，其分割出的片段數(shù)量取決于序列輸入的長度，當(dāng)序列輸入的最后部分不滿足分段大小2P時，將進(jìn)行補(bǔ)零以達(dá)到2P的大小。最終，將分割出的S個長度為2P，寬度為N的片段組合成一個三維張量，這個張量的兩個維度保持原片段的寬度N及長度L，而第三個維度的大小即為分割出片段的數(shù)量S，這一部分將根據(jù)輸入序列的變化而變化。

圖2 序列輸入分割圖

1.2.2 DPRNN的內(nèi)部操作

DPRNN 的第二部分即為DPRNN 的內(nèi)部操作，如圖1（C）所示。這一部分的輸入是圖1（B）過程輸出的三維張量。它主要分為兩個部分，一是三維張量的塊內(nèi)建模過程；二是三維張量的塊間建模過程。其中圖1 中（B）部分所示的Bi-RNN（bi?directional recurrent neural network，雙向神經(jīng)網(wǎng)絡(luò)）具體采用的是BiLSTM（bidirectional long shortterm memory neural network，雙向長短期記憶網(wǎng)絡(luò)）, 在Bi-RNN 后連接一個全連接層，再對全連接層的輸出進(jìn)行歸一化處理，這里我們使用LN（layer normalization，層標(biāo)準(zhǔn)化）歸一化。在塊內(nèi)建模時，將三維張量在維度大小為S的片段數(shù)量維度上分割成S個寬度為N，長度為L的二維張量，這些二維張量即為BiLSTM 的輸入序列，這一步能夠讓模型捕獲到緊密連接的上下文的語句關(guān)系。在進(jìn)行塊間建模時，將三維張量在大小為2P的維度上分割成2P個寬度為N、長度為S的二維張量，這些二維張量即為第二個BLSTM 的輸入序列，這一步能夠讓模型捕獲在時間上跨度更大的語句關(guān)系。最終，在LN 操作的輸出和下一過程的輸入之間添加剩余連接。

1.2.3 片段的重疊相加

第三部分是重疊相加生成掩膜值，如圖1（D）所示。由于在（B）中對序列輸入進(jìn)行分段時片段與片段之間具有重疊部分，因此在該過程的重疊相加操作中，不能簡單地直接在2P維度上進(jìn)行拼接，而是要使各片段重疊部分為50%的重疊相加。此外，在具體的操作中，還要去除第一個片段的前P長度部分與第S個片段的后P長度部分以保證生成的掩膜值維度與序列輸入的維度完全相等。

1.2.4 DPRNN的總體操作流程

整體DPRNN的處理過程如下列各式所示：

在公式中，Tb是語音特征分割后所得到的三維張量；D1,D2,D3,…,Ds是分割所得到的S個片段；f b、hb代表塊內(nèi)與塊間流程中的RNN 處理，f b代表在第三維度即S上進(jìn)行的RNN 處理，hb代表在第二維度即2P上進(jìn)行的RNN 處理；G1、G2指Bi-RNN層后的全連接層；LN代指LN歸一化處理；指塊內(nèi)處理與塊間處理后所得結(jié)果，即經(jīng)過DPRNN內(nèi)部操作后所得結(jié)果；是處理后的S個片段；D指重疊相加后所得到的與語音特征維度相同的數(shù)據(jù)，D經(jīng)過sigmoid函數(shù)映射后得到掩膜值MASK。

1.3 重建語音

重建語音的具體操作如圖1（E）過程所示。在圖2 中，我們將DPRNN 輸出的掩膜值對所提取的語音特征進(jìn)行加權(quán)，得到了增強(qiáng)后的語音特征。由于我們使用的是傅里葉變換進(jìn)行語音的特征提取，所以將語音特征（時頻域）返回成語音序列（時域）要進(jìn)行逆傅里葉變換，即下式：

由于在計算機(jī)中所要處理的是離散信號，所以要進(jìn)行離散逆傅里葉變換，即：

進(jìn)行離散逆傅里葉變換后即得到語音序列，完成語音重建。

2 實驗

2.1 數(shù)據(jù)集與實驗設(shè)置

實驗中選取VBD（Voice Bank + DEMAND）［7-9］作為實驗數(shù)據(jù)集，VBD 數(shù)據(jù)集內(nèi)有訓(xùn)練集與測試集兩部分，訓(xùn)練集中有11572 組音頻文件，測試集中有824組文件（一組音頻文件由帶噪語音和配對的純凈語音組合而成），我們從訓(xùn)練集中提取了300組文件作為驗證集。

VBD 語音數(shù)據(jù)集與我們的實驗數(shù)據(jù)需求十分契合。數(shù)據(jù)集中的每個純凈語音文件都包含一個句子，這些句子是在安靜的錄音棚條件下由多位演講者錄制得到，制作者將一系列噪聲添加到這些語音中從而構(gòu)成了噪聲數(shù)據(jù)集。這些文件均為wav 格式文件，錄制時的采樣頻率為48 kHZ，但為了減小數(shù)據(jù)規(guī)模，我們在具體的實驗過程中將采樣頻率降低到了16 kHZ。

在訓(xùn)練過程中，我們選擇的初始學(xué)習(xí)率為0.001，每訓(xùn)練2 代，學(xué)習(xí)率衰減為之前的0.98倍。即：

式中，αi指訓(xùn)練到第i代時的學(xué)習(xí)率。

2.2 損失函數(shù)

在本實驗中，我們選取了MSE（mean square error，均方誤差）函數(shù)作為實驗中的損失函數(shù)，其公式如下所示：

在LMSE公式中，si指數(shù)據(jù)集中的純凈語音，s?i指經(jīng)過增強(qiáng)處理后的語音，n代表數(shù)據(jù)集中的所有語音文件個數(shù)。

另外，我們在實驗中分別測試了另外兩個損失函數(shù)：PCMSE 函數(shù)［10-12］與SNR 函數(shù)。但我們在實驗中發(fā)現(xiàn)，如果以PCMSE函數(shù)或SNR函數(shù)作為模型的損失函數(shù)，loss 值會在一個常數(shù)值上下小范圍的波動，沒有明顯的下降趨勢。而以MSE 函數(shù)作為模型的損失函數(shù)，則對模型的訓(xùn)練效果十分顯著，各周期的loss 值有明顯的下降趨勢并且最終將會趨于一常數(shù)值。因此在最終的模型構(gòu)造中，我們采取了效果更好的MSE函數(shù)作為我們的損失函數(shù)。

2.3 評價指標(biāo)

為了評估模型的性能，我們采用了以下4 個評價指標(biāo)：

（1）PESQ?？陀^語音質(zhì)量評估，由國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門（international telecommunica?tion union communication standardization sector，ITU-T）P.862 建議書提供，得分在［-0.5，4.5］區(qū)間內(nèi)。

（2）CBAK。背景噪聲侵入的平均意見得分預(yù)測，得分在［1，5］區(qū)間內(nèi)。

（3）CSIG。僅與語音信號有關(guān)的信號失真的平均意見得分預(yù)測，得分在［1，5］區(qū)間內(nèi)。

（4）COVL。整體語音質(zhì)量的平均意見得分預(yù)測，得分在［1，5］區(qū)間內(nèi)。

以上四個語音指標(biāo)中，第一個語音指標(biāo)PESQ 與語音的客觀質(zhì)量相關(guān)［13］，后三個指標(biāo)與語音的主觀質(zhì)量相關(guān)［14］，并且均是在數(shù)值大的情況下說明語音的質(zhì)量越高。

3 實驗結(jié)果比較與分析

通過不同模型處理后的語音的各項指標(biāo)如表1 所示。表中各結(jié)果均是基于VBD 數(shù)據(jù)集所得到的，并且，各類模型的指標(biāo)值均為各模型提出者所給出的最優(yōu)值。表中NOISY 一欄下各結(jié)果指的是未經(jīng)處理的測試集中帶噪語音的初始各項指標(biāo)值，WIENER 是指傳統(tǒng)的維納濾波法，SEGAN 是生成對抗網(wǎng)絡(luò)在語音增強(qiáng)上的應(yīng)用［15］，OPENUNMIX是一個開源模型［10，16-17］。在表中不難發(fā)現(xiàn)，在四項指標(biāo)中，我們所提出的語音增強(qiáng)方法僅在CBAK 中略遜于Open-unmix 模型，而在PESQ、CSIG、COVL 三項指標(biāo)上分別達(dá)到了2.43、3.74、3.11，均超過其他方法。

表1 各模型評價指標(biāo)對比

為了更加清晰地展示我們所提出的方法對語音增強(qiáng)的效果，我們從VBD 的測試集中選取了p232_001.wav文件，繪制了它的純凈語音頻譜圖、帶噪語音頻譜圖以及增強(qiáng)語音頻譜圖，即圖3。從圖中可以清晰地看出，我們所提出的方法去除了大部分低頻的噪聲，增強(qiáng)后的語音十分接近純凈語音。此外，在語音的播放時，人耳能夠清晰感受到語音中的噪聲部分在很大程度上被削弱，例如在原始的帶噪語音中，語音中有明顯的汽車鳴笛聲、鍵盤敲擊聲、多個人的說話聲音等，經(jīng)過我們的方法處理后，在很大程度上減弱了這些噪聲。

圖3 純凈語音、帶噪語音與增強(qiáng)語音的頻譜圖對比

4 結(jié)語

我們所提出的基于時頻域特征與DPRNN 的語音增強(qiáng)方法，使用短時傅里葉變換對語音進(jìn)行處理，提取出輸入語音的時頻域特征，再使用DPRNN 模型在語音的時頻域特征上進(jìn)行處理，讓模型能夠捕獲到語音上下文之間的關(guān)聯(lián)性，最終通過短時逆傅里葉變換進(jìn)行語音重建，完成了去除帶噪語音中大部分噪聲的語音增強(qiáng)任務(wù)。在VBD 數(shù)據(jù)集上得到的實驗結(jié)果表明，該方法能夠顯著提高語音質(zhì)量并且有效消除了低頻段噪聲，PESQ（perceptual evaluation of speech quality，客觀語音質(zhì)量評價）指標(biāo)達(dá)到了2.43。

在接下來的工作中，我們將會繼續(xù)探究不同的損失函數(shù)對于模型效果的影響以及PCMSE 函數(shù)與SNR 函數(shù)不適用的原因。此外，在與抗噪聲干擾有關(guān)的CBAK 指標(biāo)上，我們所提出的方法得分并不高，因此在未來的工作中我們也會在抗噪聲干擾這一方面繼續(xù)研究，繼續(xù)探索出能夠提高增強(qiáng)語音抗噪聲干擾能力的有效方法。