基于改進(jìn)Wave-U-Net跳躍連接的盲源分離算法

皮 磊 朱 磊 鄭 翔 武欣嶸 陳美均 朱炎民

（中國人民解放軍陸軍工程大學(xué)通信工程學(xué)院，江蘇南京 210007）

1 引言

盲源分離技術(shù)作為計算機(jī)和信號處理領(lǐng)域的熱點(diǎn)和難點(diǎn)，在多年來仍然備受研究者們的關(guān)注。根據(jù)通道數(shù)量，盲源分離可分為單通道盲源分離和多通道盲源分離［1］，而多通道盲源分離又可以分為正定，超定和欠定條件下的多通道盲源分離。

傳統(tǒng)的多通道盲源分離主要有獨(dú)立成分分析（ICA，Independent Component Analysis）［2-3］和獨(dú)立向量分析（IVA，Independent Vector Analysis）［4-7］。ICA的主要思想是假設(shè)源信號相互獨(dú)立，在不知道源信號及其混合矩陣任何信息的情況下，將混合信號轉(zhuǎn)化成源信號的線性組合。為了保證能從混合信號中分離出源信號，ICA 在使用時必須要滿足以下幾個條件：1.源信號相互獨(dú)立；2.源信號中至多只有一個信號服從高斯分布；3.混合矩陣列滿秩；4.必須要在超定或者正定的條件下。就算滿足上述條件，ICA 仍然存在頻率置換問題，所以在ICA 的基礎(chǔ)上，提出了采用球形多元分布作為源模型的IVA 以確保每個源信號的頻域具有高階相關(guān)性。但是以上傳統(tǒng)方法一般只能解決正定或者超定條件下的多通道盲源分離問題，卻對欠定條件下的多通道盲源分離問題束手無策。

非負(fù)矩陣分解（NMF，Non-negative Matrix Factorization）［8］在多通道中的應(yīng)用為欠定多通道盲源分離提供了新的解決思路。比如文獻(xiàn)［9-10］提出的多通道非負(fù)矩陣分解算法（MNMF，Multichannel NMF），該算法通過估計每個源信號的空間協(xié)方差矩陣和功率譜密度，將信號的空間模型和功率譜密度相結(jié)合來完成分離任務(wù)，使之對特定類型的源信號有相當(dāng)好的分離效果，但它也存在一些限制，比如當(dāng)混合信號不符合NMF 時，MNMF 就不能對混合信號進(jìn)行分離。文獻(xiàn)［11-12］在MNMF 算法的思想上進(jìn)行改進(jìn)和擴(kuò)展，使用條件變分自編碼器（CVAE，Conditional Auto-Encoder）［13］代替非負(fù)矩陣分解來表示源信號的功率譜密度，提出了多通道變分自編碼器算法（MVAE，Multichannel Variational Auto-Encoder）。即使混合信號不符合NMF 時，MVAE也能很好的對混合信號進(jìn)行分離。但上述的方法主要在頻域內(nèi)進(jìn)行盲源分離，仍然存在一定的局限性。比如基于頻域的盲源分離通常只關(guān)注源信號的幅值而沒有對源信號的相位進(jìn)行估計，從而限制了分離性能。

近年來，盲源分離的研究開始從頻域逐漸轉(zhuǎn)到時域，如Wave-U-Net［14］和Demucs［15］等等時域算法都有著不錯的分離性能。通過跳躍連接操作，Wave-U-Net 將對應(yīng)時間尺度的上采樣和下采樣中的特征圖相融合，從而在一定程度上彌補(bǔ)了信號在下采樣過程中丟失的細(xì)節(jié)特征，提高了Wave-U-Net網(wǎng)絡(luò)各層中的特征信息利用率。該方法很好地實(shí)現(xiàn)混合信號的分離，并且有著十分不錯的分離性能。但是Wave-U-Net也存在著一些缺點(diǎn)，第一個缺點(diǎn)就是Wave-U-Net 模型在下采樣過程中進(jìn)行特征提取時，并沒有充分將淺層特征和深層特征有效的結(jié)合起來，導(dǎo)致了信號特征的丟失；第二個缺點(diǎn)就是Wave-U-Net 網(wǎng)絡(luò)模型最佳深度的取值。因?yàn)槠鋵?yīng)的最佳深度在先驗(yàn)上是未知的，所以需要通過不斷地訓(xùn)練來尋找模型的最佳深度，大大地降低了模型的訓(xùn)練效率。

為了解決以上缺點(diǎn)，本文在Wave-U-Net盲源分離的基礎(chǔ)上，通過改進(jìn)Wave-U-Net 的跳躍連接，提出了一種全尺度跳躍連接模型。與之前工作相比，全尺度跳躍連接模型靈活的使用跳躍連接融合了不同時間尺度的特征圖，彌補(bǔ)了下采樣過程中丟失的特征，進(jìn)一步結(jié)合了深層特征和淺層特征。針對Wave-U-Net 網(wǎng)絡(luò)模型最佳深度的取值和全尺度模型的參數(shù)過多的問題，本文進(jìn)一步提出了多尺度跳躍連接模型。在多尺度跳躍連接模型中，通過嵌入不同深度的Wave-U-Net 來代替跳躍連接中的卷積操作，在犧牲一部分分離性能下減少了模型參數(shù)，并且該模型降低了模型訓(xùn)練時間。

2 相關(guān)工作

2.1 U-Net

U-Net模型［16］最早應(yīng)用在醫(yī)學(xué)圖像分割領(lǐng)域上，是一種十分主流且有效的模型，其主要的結(jié)構(gòu)圖1所示。從結(jié)構(gòu)上可以看出U-Net是一種典型的編碼器-解碼器結(jié)構(gòu)，其結(jié)構(gòu)跟自編碼器類似，主要由一個下采樣部分和一個上采樣部分組成，兩者相互對稱，呈現(xiàn)出一個“U”型結(jié)構(gòu)。U-Net將相同層次下的上采樣部分和下采樣部分的特征圖通過跳躍連接操作結(jié)合起來，降低下采樣過程中的信號特征損失。

2.2 Wave-U-Net

為了在時域內(nèi)解決盲源分離問題，Wave-U-Net使用一維卷積神經(jīng)網(wǎng)絡(luò)代替原始U-Net中的二維卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了時域信號的輸入輸出。該網(wǎng)絡(luò)模型的基礎(chǔ)架構(gòu)如圖2所示，其主要分為三個操作：下采樣（DS，Down-Sampling）操作，上采樣（US，Up-Sampling）操作，以及跳躍連接操作。

首先是圖2左側(cè)部分的DS操作，該操作主要用于對信號深層次的特征提取；然后是圖2 右側(cè)的US操作，該操作可以逐級從特征圖中還原出信號；最后是核心的跳躍連接操作（圖中的虛線連接處），該操作可以將DS塊的特征圖和對應(yīng)時間尺度的US塊特征圖進(jìn)行融合，融合后的特征圖又作為上一層US塊的輸入，這樣就可以最大化地提高U-Net 網(wǎng)絡(luò)各層中的特征信息利用率。另外由圖2中可以得知最后還有一個分離模塊，該模塊通過softmax層來學(xué)習(xí)類標(biāo)簽，判斷分離出來的源信號屬于哪一類，最后通過損失函數(shù)來反饋更新網(wǎng)絡(luò)模型參數(shù)。

在臨床操作中出現(xiàn)血液、體液等物質(zhì)潑濺下主動戴防護(hù)鏡、穿隔離衣的護(hù)士占一半人，還有少部分人護(hù)士用戴手套代替洗手。說明護(hù)理人員對血液、體液、分泌物、排泄物傳播的疾病認(rèn)識不足，思想上不夠重視，落實(shí)防護(hù)措施行動上怕麻煩、費(fèi)時間、影響操作等，以致不嚴(yán)格執(zhí)行操作規(guī)程，這是導(dǎo)致護(hù)理人員再感染的危險因素之一。

然而大部分混合信號中存在著噪聲以及一些不明干擾信號，不明干擾信號無法通過訓(xùn)練模型來進(jìn)行分離，所以本文將這些信號歸為一類，通過差值輸出層進(jìn)行輸出。假設(shè)混合信號是其K個源信號分量之和：

3 Wave-U-Net改進(jìn)模型

Wave-U-Net 能夠在時域內(nèi)直接分離混合信號，而且分離效果也不錯，但是也存在一定的局限性：首先體現(xiàn)在特征提取方面，該模型在下采樣過程中進(jìn)行特征提取時沒有將淺層特征和深層特征有效的結(jié)合起來，導(dǎo)致特征提取不夠充分，從而使得分離性能有所降低；然后體現(xiàn)在最佳深度估計上，該網(wǎng)絡(luò)模型的最佳深度取值在先驗(yàn)上的未知導(dǎo)致了其對不同數(shù)據(jù)集的適應(yīng)能力較差，因此在實(shí)驗(yàn)時需要反復(fù)進(jìn)行訓(xùn)練和測試，在一定程度上增加了模型的訓(xùn)練難度。針對上述兩個局限性，本文將在3.1和3.2小節(jié)中進(jìn)行相應(yīng)的探究和改進(jìn)。

3.1 全尺度跳躍連接模型M1

本小節(jié)主要針對Wave-U-Net 模型特征提取的局限性做出探究。為了減少原模型在下采樣過程中的特征損失，本文以U-Net3+模型［17］為參考，在Wave-U-Net 模型中引入全尺度的跳躍連接，改進(jìn)后的模型結(jié)構(gòu)如下圖3所示。

在圖3 中，D 和U 分別表示DS 塊和US 塊，后面的數(shù)字則是表示層次深度（例如D1 則代表層次深度為1 的DS 塊），而且相同層次深度的塊在時間尺度是一致的，另外跳躍連接用圖中的虛線箭頭來表示。下面對改進(jìn)后的模型中的DS 塊、US 塊以及跳躍連接進(jìn)行詳細(xì)闡述。

3.1.1 下采樣

下采樣類似卷積神經(jīng)網(wǎng)絡(luò)中的卷積操作，通過該操作可以逐步獲取信號的淺層特征和深層特征，最終完成對不同層次信號的特征提取。經(jīng)過此操作，不僅可以增加模型對輸入信號的魯棒性，減少其過擬合的風(fēng)險，還可以增加感受野的大小，降低模型運(yùn)算量。

假設(shè)x(i，j)表示DS塊和US塊的輸出，其中(i，j)表示從上到下第i層，從左至右第j個節(jié)點(diǎn)。則第i層DS塊的輸出x(i，0)用公式表示：

其中x(0，0)表示信號的輸入，D(?)表示下采樣操作，L表示模型的深度。

3.1.2 上采樣

上采樣類似于反卷積操作，該操作可以在經(jīng)過下采樣得到的特征圖中還原出源信號。在上采樣進(jìn)行卷積操作之前，一般對特征圖進(jìn)行零填充操作，這種方法雖然在一定程度上簡化了網(wǎng)絡(luò)模型，但是也使其獲得的特征圖缺乏適當(dāng)?shù)纳舷挛男畔?，?dǎo)致難以預(yù)測序列開始和結(jié)束附近的輸出值。而在語音處理時，不夠準(zhǔn)確的上下文信息可能會直接造成片段邊界的聲音偽影，最終使得相鄰輸出不一致。針對上述問題，本文使用線性插值法來代替零填充方法，根據(jù)圖3 模型，第i層US 塊的輸出x(i，1)用公式（4）表示。

其中函數(shù)C(?)表示卷積操作，[?]表示跳躍連接操作。

3.1.3 跳躍連接

Wave-U-Net 模型的跳躍連接只對同一層次的DS 塊和US 塊的特征圖進(jìn)行連接，忽視了淺層特征和深層特征的有效結(jié)合。所以本文在此基礎(chǔ)上對跳躍連接進(jìn)行改進(jìn)，改進(jìn)的主要過程如圖4 所示。從圖中可以看出，跳躍連接的改進(jìn)主要分為以下兩步：第一步：對各個時間尺度的特征圖進(jìn)行卷積，使之形成相同時間尺度的特征圖；第二步：將卷積后的特征圖連接在一起，然后輸入到上一層的US塊中。

通過以上改進(jìn)，可以將淺層特征和深層特征有效地結(jié)合起來，達(dá)到特征融合的目的，最終也使得改進(jìn)后的模型相比較原Wave-U-Net 模型特征提取更加充分，分離性能有所提升。但是上述改進(jìn)仍然存在由于過度引入卷積操作而造成模型參數(shù)數(shù)量太多、訓(xùn)練效率過低的局限性，因此本文在此基礎(chǔ)上引入了下面的多尺度跳躍連接模型。

3.2 多尺度跳躍連接模型M2

為了解決原Wave-U-Net 模型最佳深度取值的問題，進(jìn)一步權(quán)衡上述M1 模型的分離性能和訓(xùn)練效率，本文結(jié)合U-Net++模型［18］提出了多尺度跳躍連接模型（M2），其具體結(jié)構(gòu)如圖5所示。

由上圖可以看出，針對最佳深度取值的問題，結(jié)合U-Net++模型［18］，本文通過嵌入不同深度的UNet 模型進(jìn)行解決。一方面，根據(jù)原U-Net 模型可知：當(dāng)深度越大時最上層的跳躍連接也就越長，但是并沒有合理的理論來保證對應(yīng)層的DS塊和US塊的長連接的特征匹配是最優(yōu)的。所以本文通過添加短連接，使跳躍連接攜帶更多不同比例的特征圖與US 塊的特征圖進(jìn)行融合，從而在一定程度上彌補(bǔ)下采樣過程中丟失的細(xì)節(jié)信息。另一方面，嵌入的U-Net 模型在訓(xùn)練階段可以共享部分DS 塊，這樣不僅解決了原始模型在尋找最佳深度的過程中訓(xùn)練時間過長的問題，還可以對低于最大深度的其他模型進(jìn)行測試，有利于模型的“剪枝”，增強(qiáng)了模型的泛化能力。

針對上述M1 模型的參數(shù)數(shù)量太多、訓(xùn)練效率過低的問題，本文通過跳躍連接直接對同一層次的DS 塊和US 塊進(jìn)行疊加操作，以此來代替每次跳躍連接就進(jìn)行一次卷積的操作，避免了由于模型深度取值太大而造成的參數(shù)爆炸式增長的問題，在一定程度上提升了模型的訓(xùn)練效率。

假設(shè)x(i，j)表示DS塊和US塊的輸出，其中(i，j)表示從上到下第i層，從左到右第j個節(jié)點(diǎn)的輸出，則x(i，j)可以由公式（5）計算得出。

其中U(?)表示上采樣操作。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境

本文使用的數(shù)據(jù)集為Musdb18-HQ 數(shù)據(jù)集［19］，該數(shù)據(jù)集由150 首不同風(fēng)格的全曲目歌曲組成，其中包括混合語音和干凈語音，而混合語音又由Vocals，Bass，Drums 以及其他聲音組成。本文將該數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測試集，其中的75 條語音作為訓(xùn)練集，25 條語音形成驗(yàn)證集，剩下的50 條語音組成測試集，經(jīng)過劃分后三種數(shù)據(jù)集中都包含混合語音和干凈語音，保證了實(shí)驗(yàn)的真實(shí)有效性。

實(shí)驗(yàn)環(huán)境為Python+Pytorch，并且使用兩張32 G內(nèi)存的RTX 3090 對模型進(jìn)行訓(xùn)練。訓(xùn)練過程中，Batch-size 大小設(shè)置為16，使用的學(xué)習(xí)率為0.0001的Adam 算法，而且如果驗(yàn)證損失在20 個epoch 內(nèi)沒有得到改善就會結(jié)束訓(xùn)練。另外，本文使用的損失函數(shù)為：

其中Sk表示源信號k，用表示源信號k的預(yù)測信號，公式（6）為平均均方誤差（MSE，Mean Square Error），公式（7）為平均絕對誤差（MAE，Mean Absolute Error）。

在實(shí)驗(yàn)中，本文主要使用開源工具包：BSS Eval［20］來量化分離性能。實(shí)驗(yàn)中使用的BSS評估的主要標(biāo)準(zhǔn)指標(biāo)是SDR（Signal-to-Distortion Ratio），SIR（Signal-to-Interference Ratio），和SAR（Sources-to-Artifacts Ratio）。

4.2 實(shí)驗(yàn)結(jié)果

本文分別從模型最佳深度，損失函數(shù)選擇和對Wave-U-Net，Demucs以及兩種改進(jìn)模型進(jìn)行分離測試三個方向進(jìn)行實(shí)驗(yàn)。

4.2.1 模型最佳深度

本文首先對Wave-U-Net，M1 和M2 這三種模型的最佳深度L進(jìn)行了測試，在深度L=2，…，7下，分別計算了不同深度的模型參數(shù)以及分離性能，其結(jié)果如圖6、圖7 所示。對于每一層的時間尺度設(shè)置在本實(shí)驗(yàn)中一共分為兩種情況。假設(shè)模型第一層的時間尺度為λ1，第一種時間尺度遞增關(guān)系為：

其中λl表示第l層的時間尺度。而第二種時間尺度遞增關(guān)系為：

本實(shí)驗(yàn)初始化λ1=32，圖6、圖7 中的（a）使用公式（8）所示的時間尺度遞增方式，而兩圖中的（b）使用的是公式（9）所示的時間尺度遞增方式。

首先從圖6 中可以發(fā)現(xiàn)，模型深度逐漸加深的時候，模型參數(shù)也隨之增多。從深度2 到深度5 可以發(fā)現(xiàn)模型參數(shù)增加的數(shù)量相對于比較緩慢，但是當(dāng)深度達(dá)到6 或者7 的時候，模型參數(shù)開始成倍增長，達(dá)到巨大的數(shù)量，這時候?qū)τ嬎銠C(jī)的性能要求也十分的高。然后根據(jù)圖7中對應(yīng)深度下Vocals 的SDR，可以清楚的發(fā)現(xiàn)，當(dāng)深度達(dá)到6或者7以后，分離性能并沒有隨著模型深度和模型參數(shù)的增加而相應(yīng)的增加，甚至模型的深度到7以后，Wave-U-Net和M1 模型分離性能開始了大幅度下降，而M2 模型的分離性能也趨于平穩(wěn)。

通過這次實(shí)驗(yàn)，本文可以發(fā)現(xiàn)模型深度并不是越深越好，甚至當(dāng)深度達(dá)到一定值時，除了模型參數(shù)大幅度增加影響計算機(jī)性能以外，還可能會降低模型的分離性能。

4.2.2 損失函數(shù)選擇

綜合圖6、圖7 中的實(shí)驗(yàn)數(shù)據(jù)，可以發(fā)現(xiàn)，三種模型在模型深度為6時，分離效果達(dá)到了最佳效果，而且模型參數(shù)也在能夠接受的范圍內(nèi)，所以接下來的所有實(shí)驗(yàn)將模型深度L設(shè)置為6。

為了比較三種模型在不同訓(xùn)練條件下的分離信號的SDR，本文將不同的訓(xùn)練條件排列組合，一共進(jìn)行了九組對照實(shí)驗(yàn)：Wave-U-Net+BN（Batch Normalization）+MAE（W1）；Wave-U-Net+GN +MSE（W2）；Wave-U-Net+GN（Group Normalization）+MAE（W3）；M1+BN+MAE（W4）；M1+GN +MSE（W5）；M1+GN+MAE（W6）；M2+BN+MAE（W7）；M2+GN+MSE（W8）以 及M2+GN +MAE（W9）。

如表1 所示，在不同訓(xùn)練條件下各種方法的實(shí)驗(yàn)結(jié)果。首先，將九組實(shí)驗(yàn)分成三組分別進(jìn)行對比，第一組為W1，W2 和W3；第二組為W4，W5 和W6 以及最后一組為W7，W8 和W9。通過表1 中的實(shí)驗(yàn)數(shù)據(jù)對比發(fā)現(xiàn)，W3，W6 和W9 分別在各個分組中取得了最好的分離效果，也就是說當(dāng)訓(xùn)練條件為GN和MAE的時候，分離效果稍微比其他條件更好，也更穩(wěn)定。

表1 不同方法在不同訓(xùn)練條件下的分離信號的SDRTab.1 SDR of separated signals by different methods under different training conditions

4.2.3 模型分離測試

本實(shí)驗(yàn)分別使用Wave-U-Net，Demucs以及兩種改進(jìn)模型對測試集中的語音信號進(jìn)行分離測試，對比并討論實(shí)驗(yàn)結(jié)果。

根據(jù)表1 中的結(jié)果，本文固定模型訓(xùn)練時的損失函數(shù)為MSE，歸一化為GN。圖8、圖9 和圖10 中分別展示了Wave-U-Net，Demucs，M1 以及M2 四種模型在測試集上分離結(jié)果的SDR，SIR 和SAR。在這個數(shù)據(jù)集上，主要是將混合語音分離出四部分Vocals，Drums，Bass 以及Other，在本文中，只對前三種的分離效果進(jìn)行比較。從圖中可以看出，本文提出的模型M1 和M2 的實(shí)驗(yàn)結(jié)果在SDR，SIR 和SAR上面都有顯著的提升，這說明將信號的淺層特征和深層特征結(jié)合起來，能夠有效的提升分離效果。

從以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，模型M1 比模型M2的分離效果更好，其主要原因是M1 使用的是全尺度的跳躍連接，而M2 使用的是多尺度的跳躍連接，在將淺層特征和深層特征結(jié)合這一方面，M2 并沒有M1好，導(dǎo)致M2的分離效果差于M1。

最后本文對同一深度的三個模型的模型參數(shù)數(shù)量和模型的訓(xùn)練時間進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2、表3 所示。根據(jù)表2 可以發(fā)現(xiàn)，M1 的模型參數(shù)要遠(yuǎn)遠(yuǎn)大于M2和Wave-U-Net的模型參數(shù)，因?yàn)镸1的每一次跳躍連接都需要進(jìn)行一個卷積操作，這樣的卷積操作就大大增加了M1的模型參數(shù)，從表3可以看出，M1 的訓(xùn)練時間較長，主要原因還是模型參數(shù)太大，計算機(jī)性能要求過高導(dǎo)致的。而M2模型的訓(xùn)練時間較短，是因?yàn)槟Ｐ偷挠?xùn)練epoch 少，在一定程度上彌補(bǔ)下采樣過程中信號的特征丟失，提高模型收斂速度，降低模型訓(xùn)練時間。其次Wave-U-Net和M1模型進(jìn)行一次訓(xùn)練只能得到一個深度的訓(xùn)練模型，而當(dāng)我們需要其他深度的訓(xùn)練模型時，就需要重新訓(xùn)練，而M2 則可以通過“剪枝”操作，直接得到其他小于訓(xùn)練深度的訓(xùn)練模型，大大降低了為了尋找最佳深度帶來的訓(xùn)練時間。

表2 三種模型的模型參數(shù)Tab.2 Model parameters of the three models

表3 三種模型的訓(xùn)練時間Tab.3 Training time of the three models

5 結(jié)論

本文在Wave-U-Net模型的基礎(chǔ)上，進(jìn)一步結(jié)合信號的淺層特征和深層特征，對跳躍連接進(jìn)行改進(jìn)，提出了兩個新的改進(jìn)模型：全尺度連接模型M1和多尺度連接模型M2。通過實(shí)驗(yàn)發(fā)現(xiàn)，這兩種模型與Wave-U-Net 相比，增加了模型參數(shù)數(shù)量，但是進(jìn)一步提升了分離效果。當(dāng)然該模型仍然可以進(jìn)一步進(jìn)行改進(jìn)，如果不考慮模型參數(shù)以及計算機(jī)的計算能力等方面，可以進(jìn)一步對模型的下采樣，上采樣以及跳躍連接等操作進(jìn)行優(yōu)化和改進(jìn)。