基于多通道GAN 的圖像去噪算法

王洪雁，楊曉，姜艷超，汪祖民

（1.浙江理工大學(xué)信息學(xué)院，浙江 杭州 310018；2.大連大學(xué)信息工程學(xué)院，遼寧 大連 116622；3.五邑大學(xué)智能制造學(xué)部，廣東 江門 529020）

1 引言

近年來，圖像處理技術(shù)的快速進(jìn)步，使其在醫(yī)學(xué)影像、衛(wèi)星遙感以及智能監(jiān)控等應(yīng)用領(lǐng)域獲得持續(xù)關(guān)注。高質(zhì)量圖像是保證后續(xù)有效處理的前提，然而采集及傳輸過程中圖像不可避免地被噪聲所污染，從而影響后續(xù)圖像分類、識(shí)別等任務(wù)完成的可靠性。因此，如何在不破壞圖像原有特征的條件下最大限度地去除噪聲以盡可能恢復(fù)原始圖像是目前圖像處理領(lǐng)域的熱點(diǎn)問題之一[1]。

針對(duì)此問題，眾多有效去噪算法相繼被提出，常見去噪算法通?？煞譃橐韵? 類。1) 基于傳統(tǒng)濾波器去噪。其基于圖像及噪聲的統(tǒng)計(jì)及結(jié)構(gòu)約束設(shè)計(jì)濾波器實(shí)現(xiàn)去噪。其中，文獻(xiàn)[2]首先提出用于去除低密度噪聲的中值濾波器（MF,median filter），該濾波器對(duì)高密度噪聲適用性較差?；诖耍墨I(xiàn)[3]提出可高效濾除高密度噪聲的自適應(yīng)中值濾波器（AMF,adaptive median filter），由于該濾波器使用固定窗口尺寸，對(duì)于具有不同噪聲密度的圖像無法自適應(yīng)調(diào)整窗口閾值，因而導(dǎo)致圖像模糊。需要注意的是，上述濾波器僅利用噪聲統(tǒng)計(jì)信息而較少考慮圖像自身相關(guān)結(jié)構(gòu)及統(tǒng)計(jì)約束，且卷積核設(shè)置不同將導(dǎo)致卷積過程丟失部分有用信息[4]。針對(duì)此問題，文獻(xiàn)[5]提出k 均值奇異值分解（k-SVD,k-means singular value decomposition）方法，利用離散余弦變換構(gòu)造字典，并基于奇異矩陣更新字典參數(shù)。然而，該方法僅基于當(dāng)前圖像塊恢復(fù)圖像，沒有考慮其他相關(guān)區(qū)域信息，從而導(dǎo)致紋理細(xì)節(jié)丟失。針對(duì)上述問題，基于圖像非局域及稀疏性，文獻(xiàn)[6]提出三維塊匹配濾波（BM3D,block-matching and 3D filtering）方法，基于硬閾值及維納濾波聯(lián)合去噪，可較好地保留圖像細(xì)節(jié)，然而其需要同時(shí)考慮多圖像塊匹配，因而計(jì)算復(fù)雜度較高。2) 基于特征學(xué)習(xí)去噪。此類方法通過學(xué)習(xí)含噪與去噪圖像之間映射關(guān)系實(shí)現(xiàn)去噪[4]。其中，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）權(quán)值共享、穩(wěn)健性強(qiáng)、特征有效表達(dá)等優(yōu)勢(shì)，文獻(xiàn)[7]將CNN 用于圖像去噪，然而其去噪效果嚴(yán)重依賴特征提取深度，即基于淺層網(wǎng)絡(luò)則泛化能力較差，基于深層網(wǎng)絡(luò)盡管去噪性能較好但計(jì)算復(fù)雜度較高。針對(duì)此問題，文獻(xiàn)[8]提出的前饋去噪卷積神經(jīng)網(wǎng)絡(luò)（DnCNN,denoising convolutional neural network）將殘差思想應(yīng)用至圖像去噪，在提取深度特征時(shí)將低級(jí)特征信息作為參考，并引入批量歸一化（BN,batch normalization）調(diào)節(jié)網(wǎng)絡(luò)以提升網(wǎng)絡(luò)收斂速度，從而高效獲取殘差圖像，顯著改善去噪效果。2015 年，Ronneberger 等[9]提出利用U-net 實(shí)現(xiàn)有效語義分割，該網(wǎng)絡(luò)由如下兩部分構(gòu)成：擴(kuò)張路徑用于精準(zhǔn)定位；收縮路徑用于獲取上下文信息?；诖思軜?gòu)，U-net 可實(shí)現(xiàn)高效像素級(jí)分類，由此，文獻(xiàn)[10]基于此網(wǎng)絡(luò)實(shí)現(xiàn)圖像去噪。此外，文獻(xiàn)[11]通過并行訓(xùn)練多通道自編碼器以估計(jì)各通道最優(yōu)權(quán)重，從而實(shí)現(xiàn)自適應(yīng)圖像去噪。上述算法皆基于開環(huán)網(wǎng)絡(luò)，為使輸出結(jié)果可反饋調(diào)節(jié)網(wǎng)絡(luò)，從而改善去噪性能，Divakar 等[12]于2017 年基于閉環(huán)思想提出利用對(duì)抗原理訓(xùn)練去噪網(wǎng)絡(luò)，去噪模型包括生成及判別網(wǎng)絡(luò)，通過將判別結(jié)果反饋至生成網(wǎng)絡(luò)以改善去噪效果。文獻(xiàn)[13]提出的去噪模型中生成及判別網(wǎng)絡(luò)均采用淺層卷積網(wǎng)絡(luò)，其損失函數(shù)建模為像素及對(duì)抗損失，相比上述學(xué)習(xí)模型，該方法去噪效果較好，然而直觀可感知細(xì)節(jié)即主觀信息仍有明顯丟失。針對(duì)此問題，文獻(xiàn)[14]聯(lián)合感知及對(duì)抗損失，基于預(yù)訓(xùn)練幾何組特征差異衡量去噪效果，該方法表明感知損失更利于提升主觀感知。為進(jìn)一步提升去噪性能，文獻(xiàn)[15]采用如下復(fù)雜生成網(wǎng)絡(luò)，包含收縮路徑及具有短接連接的擴(kuò)展路徑，基于二維小波分解與重構(gòu)實(shí)現(xiàn)上下采樣，小波分解后接高通濾波器直接跳轉(zhuǎn)至擴(kuò)展路徑，并連接收縮路徑，從而盡可能地保留圖像細(xì)節(jié)，然而上述結(jié)構(gòu)在改善去噪效果的同時(shí)也使計(jì)算復(fù)雜度顯著增加。

針對(duì)上述問題，本文提出基于生成對(duì)抗網(wǎng)絡(luò)（GAN,generative adversarial network）的多通道圖像去噪算法。所提算法首先分離彩色圖像RGB 三通道；其次利用U-net 衍生網(wǎng)絡(luò)及殘差塊構(gòu)建生成模塊以有效提取圖像特征；再次基于全卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造對(duì)抗模塊；最后基于均方誤差（MSE,mean square error）損失、感知損失及對(duì)抗損失構(gòu)建復(fù)合感知損失函數(shù)，以改善去噪性能同時(shí)有效保留圖像的細(xì)節(jié)信息。

2 去噪相關(guān)工作

圖像去噪的目的是由含噪圖像恢復(fù)相應(yīng)原始圖像，具體地，令f∈RN×N和u∈RN×N分別表示含噪圖像和對(duì)應(yīng)的原始未污染圖像，二者之間的關(guān)系為

其中，O為含噪空間至原始空間的映射函數(shù)。

傳統(tǒng)去噪方法中映射函數(shù)通?；诳沼蚧蜃儞Q域構(gòu)造?？沼蛉ピ胫苯幼饔糜谙袼兀Ｓ萌ピ敕椒òň导爸兄禐V波，其利用某像素鄰域均值/中值替換此像素值。然而，空域去噪方法噪聲普適性較差且圖像細(xì)節(jié)易丟失。針對(duì)此問題，變換域去噪方法被提出，其基于傅里葉變換或小波變換等方法映射空域圖像至變換域以利于有效分離噪聲，從而提升去噪效果[16]。

相較于基于圖像像素及其變換域的傳統(tǒng)去噪方法，基于學(xué)習(xí)的去噪方法則利用訓(xùn)練所得模型獲得圖像及噪聲統(tǒng)計(jì)信息，從而構(gòu)造含噪圖像至去噪圖像的映射關(guān)系，進(jìn)而實(shí)現(xiàn)去噪[17]。典型的基于學(xué)習(xí)的去噪模型包括基于BN 及殘差學(xué)習(xí)以加速訓(xùn)練過程，從而提升去噪性能的DnCNN，以及融合編解碼結(jié)構(gòu)與跨層連接，以加速網(wǎng)絡(luò)收斂的卷積編碼器[18]。需要注意的是，上述基于學(xué)習(xí)的去噪模型皆為開環(huán)結(jié)構(gòu)，因而無法將輸出結(jié)果反饋至模型，以提升其去噪性能。針對(duì)此問題，基于閉環(huán)結(jié)構(gòu)的對(duì)抗學(xué)習(xí)思想被引入去噪領(lǐng)域，以充分利用輸出結(jié)果改善去噪模型有效性，進(jìn)而提升去噪效果。

作為對(duì)抗學(xué)習(xí)模型的典型代表，GAN 廣泛應(yīng)用于去噪領(lǐng)域，其由生成器G 和判別器D 構(gòu)成，結(jié)構(gòu)如圖1 所示。其中，生成器G 接收含噪圖像，并對(duì)其預(yù)去噪以生成圖像G(f) ；判別器D以原始圖像u及G(f) 為輸入，其輸出賦予原始圖像較高值、生成圖像G(f) 較低值?；谒鶚?gòu)造損失函數(shù)迭代訓(xùn)練G 和D，迫使G(f) 漸次逼近真實(shí)圖像，最終使D 無法準(zhǔn)確區(qū)分原始及生成圖像，從而完成去噪。常用目標(biāo)函數(shù)為二者極大極小值博弈，即

其中，E(·) 為期望算子，logD(u)為判別器D 正確識(shí)別真實(shí)圖像的概率，log(1 -D(G(f)))為D 將生成圖像識(shí)別為虛假圖像的概率?；诖藢?duì)抗損失，可反向調(diào)節(jié)生成器及判別器，以改善去噪性能。然而，此對(duì)抗損失易導(dǎo)致高頻偽影，且無法保持主觀特征信息。

圖1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)

3 所提圖像去噪算法

所提算法將含噪圖像分離為RGB 三通道，各通道具有相同網(wǎng)絡(luò)結(jié)構(gòu)，以盡可能保持特征融合后分通道細(xì)節(jié)信息。以單個(gè)通道為例，所提算法框架如圖2 所示。生成器G 以含噪圖像為輸入，輸出為去噪圖像；判別器D 以原始及去噪圖像為輸入，輸出為[0,1]，表征去噪與原始圖像的相似性?；谒鶚?gòu)造的復(fù)合感知損失交替迭代訓(xùn)練判別及生成網(wǎng)絡(luò)，最后加權(quán)融合各通道輸出，以獲得最終去噪圖像。

3.1 生成網(wǎng)絡(luò)

圖2 所提算法框架（以RGB 中單個(gè)通道為例）

生成網(wǎng)絡(luò)是基于GAN 去噪網(wǎng)絡(luò)的核心部分，圖像去噪性能較大程度上依賴于生成網(wǎng)絡(luò)。如前所述，U-net 為具有編碼/解碼器結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)。與普通編解碼結(jié)構(gòu)相比，U-net 的優(yōu)勢(shì)在于具有跳躍連接，能將編/解碼器特征圖按通道拼合，因而可保留具有不同分辨率的像素級(jí)細(xì)節(jié)信息[19]。此外，ResNet 由于殘差塊間跳躍連接可避免梯度消失，從而可顯著提高網(wǎng)絡(luò)收斂速度。由此，本節(jié)利用U-net 衍生網(wǎng)絡(luò)以及ResNet 構(gòu)建生成網(wǎng)絡(luò)，在U-net 基礎(chǔ)上引入部分具有跳躍連接的殘差塊，通過編碼器、解碼器及殘差塊的處理，盡可能地保留圖像信息，同時(shí)不顯著增加計(jì)算復(fù)雜度，最后通過損失函數(shù)迭代調(diào)整網(wǎng)絡(luò)。生成網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，其中，k、n和s分別表示卷積核大小、濾波器數(shù)和卷積步長(zhǎng)。

生成網(wǎng)絡(luò)中，編/解碼器采用對(duì)稱卷積操作以保證圖像輸入/輸出維度相同；第一層和最后一層卷積核尺寸為7 ×7，其他層卷積核大小為3 ×3，步長(zhǎng)設(shè)置為1 以捕捉更多細(xì)節(jié)信息；各卷積層后接BN 以提升學(xué)習(xí)率，從而加快網(wǎng)絡(luò)訓(xùn)練速度；各BN 后接激活函數(shù)ReLU[4]；最后一層以tanh()· 為激活函數(shù)以緩解梯度消失效應(yīng)，從而保證訓(xùn)練穩(wěn)定性；此外，生成模塊中還加入9 個(gè)殘差塊，在保證去噪效果的同時(shí)有效保留圖像低階特征。

3.2 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)基于全卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建，其將傳統(tǒng)CNN 中全連接層替換為卷積層，以消除輸入圖片尺寸限制。判別網(wǎng)絡(luò)以生成網(wǎng)絡(luò)產(chǎn)生的偽圖像G(f)和原始圖像為輸入，判別網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。判別模塊包含5 個(gè)卷積層，每層卷積核大小為4 ×4，步長(zhǎng)為2 且濾波器個(gè)數(shù)依次為64、128、256 及512；除最后一層外，其他層皆后接BN 及非線性激活函數(shù)LeakyReLU，以避免ReLU 神經(jīng)元“死亡”[20]。輸出采用Sigmod 函數(shù)以便于概率分析并將判別結(jié)果歸一化[21]，此輸出表征輸入圖像與原始未污染圖像的相似程度，數(shù)值越高，表明輸入圖像越接近原始干凈圖像；反之，則接近生成圖像。

3.3 損失函數(shù)

為訓(xùn)練所構(gòu)建的生成及判別網(wǎng)絡(luò)以改善去噪性能，同時(shí)盡可能保持原始圖像細(xì)節(jié)特征，本節(jié)基于可度量生成對(duì)抗網(wǎng)絡(luò)性能的對(duì)抗損失、表征主觀信息的視覺感知損失和表述像素間一致性的MSE 損失[22]這3 類損失度量，構(gòu)造可體現(xiàn)去噪效果、內(nèi)容完整性以及主觀視覺效果的復(fù)合損失函數(shù)。

3.3.1 對(duì)抗損失

基于訓(xùn)練數(shù)據(jù)集，最小最大化如式(2)所示的對(duì)抗損失，以獲得最優(yōu)生成及判別網(wǎng)絡(luò)，從而提升生成網(wǎng)絡(luò)的生成圖像與原始圖像之間的相似性，進(jìn)而改善圖像去噪性能。

圖3 生成網(wǎng)絡(luò)結(jié)構(gòu)

圖4 判別網(wǎng)絡(luò)結(jié)構(gòu)

3.3.2 MSE 損失

對(duì)抗損失雖然可有效調(diào)節(jié)生成及判別模塊，但是易導(dǎo)致高頻偽影。由于MSE 所具有的均值回歸特性可保證像素間良好的一致性，因此可有效緩解細(xì)節(jié)平滑效應(yīng)。MSE 損失可表示為

3.3.3 感知損失

圖像處理中細(xì)節(jié)信息完整性尤其重要，然而基于上述MSE 損失訓(xùn)練網(wǎng)絡(luò)易產(chǎn)生圖像模糊，從而導(dǎo)致主觀信息缺失[23]。由于感知損失可度量生成及原始圖像在感知特征空間的距離，而不僅局限于像素空間[24]。因此，可基于如下感知損失有效保持主觀特征信息

其中，φ為預(yù)訓(xùn)練VGG-19 網(wǎng)絡(luò)的最后卷積層輸出。通過將原始圖像與去噪圖像分別輸入預(yù)訓(xùn)練VGG-19 網(wǎng)絡(luò)，以獲取各自圖像特征，從而衡量二者感知特征損失。

3.3.4 復(fù)合感知損失函數(shù)

綜上所述，基于GAN 構(gòu)建的去噪網(wǎng)絡(luò)的復(fù)合感知損失函數(shù)可表示為

其中，λ1、λ2和λ3分別表示各損失權(quán)重，其可基于實(shí)驗(yàn)設(shè)置。

3.4 融合模塊

所構(gòu)建去噪網(wǎng)絡(luò)中的融合模塊采用空域圖像融合算法，即加權(quán)平均法。設(shè)三通道加權(quán)系數(shù)分別為wA、wB、wC，且滿足w A+wB+wC=1，則融合圖像像素F(i,j)可表示為

加權(quán)系數(shù)可通過諸如最大、最小、平均以及主成分分析（PCA,principal componentanalysis）等方法[24]設(shè)置。若令wA、wB和wC分別為δ(A(i,j) -max(A(i,j),B(i,j),C(i,j)))、δ(B(i,j)-max(A(i,j),B(i,j),C(i,j)))和δ(C(i,j) -max(A(i,j),B(i,j),C(i,j)))，則表示三通道基于像素取大原則融合；類似地，若令δ(A(i,j) -min(A(i,j),B(i,j),C(i,j)))、δ(B(i,j) -min(A(i,j),B(i,j),C(i,j)))和δ(C(i,j) -min(A(i,j),B(i,j),C(i,j)))，則意味著三通道基于像素取小準(zhǔn)則融合，其中，max(·)、min(·)和δ(·)分別表示極大值算子、極小值算子和狄拉克函數(shù)。由于所構(gòu)建的去噪網(wǎng)絡(luò)無差別處理三通道信息，因此為了盡可能保持圖像原有的細(xì)節(jié)信息，本文采用算術(shù)平均法融合三通道信息，即。

4 實(shí)驗(yàn)結(jié)果分析

基于2020 年阿里天池算法挑戰(zhàn)賽所提供的圖像數(shù)據(jù)集，本節(jié)通過將所提算法與 BM3D[6]、DnCNN[8]、RED-WGAN[11]、WGAN-VGG[14]、MSRResNet-GAN[25-26]及DUGAN[27]等算法進(jìn)行對(duì)比，在人類主觀感知及客觀評(píng)價(jià)方面驗(yàn)證所提算法的有效性。所用數(shù)據(jù)集分為8 個(gè)類別，每個(gè)類別包含160 張圖片，所采用圖像均具有豐富的紋理及邊緣特征，因而去噪難度較大。為充分驗(yàn)證所提算法的去噪效果，本節(jié)在訓(xùn)練圖像中分別添加密度為15%、25%、35%的椒鹽噪聲。

4.1 實(shí)驗(yàn)環(huán)境配置

網(wǎng)絡(luò)設(shè)置如下。生成器由15 層CNN 構(gòu)成，如圖3 所示，其中包含9 層殘差網(wǎng)絡(luò)，編/解碼結(jié)構(gòu)中卷積核大小分別設(shè)置為7 ×7、3 ×3、3 ×3、3 ×3、3 ×3、7 ×7 ；判別器基于全卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建，如圖4 所示，卷積核大小設(shè)置為4 ×4 。訓(xùn)練過程中，批處理大小為64，采用Adam 算法更新梯度，學(xué)習(xí)率為0.001，動(dòng)量值為0.9，權(quán)值衰減為0.000 01。為增加訓(xùn)練樣本數(shù)，可對(duì)訓(xùn)練數(shù)據(jù)隨機(jī)添加類別、密度各異的噪聲以增加模型泛化能力。

實(shí)驗(yàn)硬件環(huán)境為處理器Intel Core i7-7700，主頻3.60 GHz，內(nèi)存12 GB，NVIDIA TITAN XP；軟件環(huán)境為Window10 64 bit、Python3.6、TensorFlow。

4.2 評(píng)價(jià)指標(biāo)

去噪效果主要從視覺主觀感受及修復(fù)逼近程度2 個(gè)方面衡量。視覺主觀感受表征人類視覺對(duì)去噪圖像所感知主觀信息的保留程度；修復(fù)逼近程度表征去噪與標(biāo)準(zhǔn)圖像之間的偏差，偏差越小，表明逼近程度越高，去噪效果越好。通常采用峰值信噪比（PSNR,peak signal to noise ratio）和結(jié)構(gòu)相似性指數(shù)測(cè)量（SSIM,structural similarity index measurement）作為定量指標(biāo)。其中，PSNR 評(píng)估去噪與真實(shí)圖像間像素差異，用于衡量整體去噪性能；SSIM 權(quán)衡圖像間結(jié)構(gòu)差異，用于表征細(xì)節(jié)相似程度[28]。PSNR、SSIM 數(shù)值越高，表明圖像還原度越高。PSNR 可表示為

其中，MSE表示原始圖像與去噪圖像間的均方根誤差。

基于指標(biāo)亮度（L,luminance）、對(duì)比度（C,contrast）以及結(jié)構(gòu)（S,structure），可計(jì)算SSIM 為

由式(7)可知，MSE 降低則PSNR 增加，表明圖像修復(fù)程度越高，去噪效果越好。由式(9)可知，SSIM 從L、C、S三方面度量圖像相似性，取值范圍為[0,1]，其值越大，表明圖像失真越小。

4.3 實(shí)驗(yàn)結(jié)果

4.3.1 去噪效果

圖5 為所提算法及對(duì)比算法的去噪效果，對(duì)應(yīng)的PSNR 和SSIM 分別如表1 和表2 所示，其中，加粗字體表示最高值，下劃線表示次高值。由圖5(c)可知，BM3D 雖可有效去除噪聲，但其在聯(lián)合濾波及逆變換過程中易產(chǎn)生細(xì)節(jié)平滑，從而造成信息丟失，導(dǎo)致圖像模糊；由于DnCNN 卷積中采用固定濾波窗口提取特征且無補(bǔ)充信息結(jié)構(gòu)，因此易產(chǎn)生如圖5(d)所示的部分高頻信息丟失現(xiàn)象；相較于上述算法，MSRResNet-GAN 所得去噪圖像邊緣較銳化，然而由于其缺乏特征重建結(jié)構(gòu)，從而導(dǎo)致如圖5(e)所示的圖像特征缺失；再者，WGAN-VGG基于對(duì)抗及感知損失調(diào)節(jié)模型參數(shù)，雖可較大程度地保留圖像細(xì)節(jié)，但易產(chǎn)生部分高頻偽影；此外，RED-WGAN 及DUGAN 分別采用典型編/解碼結(jié)構(gòu)及殘差塊構(gòu)建去噪網(wǎng)絡(luò)，因而可保持相對(duì)較完整的主觀信息，但由于此二者均采用跨層連接融合像素，因此導(dǎo)致去噪效果易產(chǎn)生如圖5(g)和圖5(h)所示的模糊化現(xiàn)象；相較于上述模型，所提算法綜合利用編解碼結(jié)構(gòu)及殘差塊的優(yōu)勢(shì)構(gòu)建基于GAN 的去噪網(wǎng)絡(luò)，且構(gòu)造可體現(xiàn)去噪效果、內(nèi)容完整性以及主觀視覺效果的復(fù)合損失函數(shù)，因而可有效去除圖像噪聲，同時(shí)盡可能保持圖像細(xì)節(jié)信息。

圖5 不同算法去噪效果

表1 不同噪聲密度下不同算法的去噪PSNR 值

表2 不同噪聲密度下不同算法的去噪SSIM 值

由表1 和表2 可知，BM3D、DnCNN 的PSNR均值分別比所提算法低1.96 dB、1.84 dB，SSIM 分別低0.048 7、0.045 7，這可歸因于BM3D 采用傳統(tǒng)濾波器去噪，DnCNN 采用固定濾波窗口去噪；其次，MSRResNet-GAN 引入殘差網(wǎng)絡(luò)，因而在噪聲密度為25%的Panda 圖像中擁有次高值，PSNR均值比所提算法低0.55 dB，SSIM 均值比所提算法低0.026 2；再者，WGAN-VGG 由于采用完全卷積操作提取特征，其PSNR 均值比所提算法低0.6 dB，SSIM 均值比所提算法低0.022 7；由于RED-WGAN及DUGAN 利用自編碼模型及殘差網(wǎng)絡(luò)提取特征，因而部分去噪性能優(yōu)于所提算法，但所提算法PSNR 均值在噪聲各異的條件下比RED-WGAN 和DUGAN 分別提高0.21 dB 和0.04 dB，SSIM 均值分別提高0.011 3 和0.004 6。綜上所述，所提算法在視覺主觀感受及圖像修復(fù)逼近程度兩方面皆有較好的去噪效果。

4.3.2 損失函數(shù)影響

圖6 為所提算法基于如下?lián)p失函數(shù)的去噪效果：(a) L1 和感知損失（Percep）；(b) 對(duì)抗（Wass）和感知損失；(c) 僅感知損失；(d) MSE 和感知損失；(e) MSE、對(duì)抗和感知損失。由圖6(a)和圖6(b)可知，基于L1 和感知損失以及對(duì)抗和感知復(fù)合損失雖可保持主觀細(xì)節(jié)信息，但易導(dǎo)致圖像高頻信息丟失，如鴨爪部分高頻特征明顯缺失，此現(xiàn)象源于L1 損失僅衡量預(yù)測(cè)值平均誤差且損失極小時(shí)梯度更新依舊較大，從而導(dǎo)致信息丟失；感知損失使網(wǎng)絡(luò)訓(xùn)練更側(cè)重于特征空間而忽略輪廓細(xì)節(jié)，且對(duì)抗損失僅保留噪聲圖像細(xì)節(jié)，易產(chǎn)生高頻偽影。其次，由圖6(c)可知，僅基于感知損失的去噪圖像輪廓相比上述二者突出，然而由于其在輸出圖像特征抽取及表達(dá)時(shí)最小化組間差異，因而易導(dǎo)致部分高頻偽影。再者，圖6(d)基于感知損失保留主觀特征信息可有效改善主觀感知，然而其基于MSE 最小化生成去噪圖像與原始圖像差異易導(dǎo)致細(xì)節(jié)丟失。最后，由圖6(e)可知，所提算法綜合MSE、對(duì)抗和感知損失形成復(fù)合損失，從而可有效度量生成對(duì)抗網(wǎng)絡(luò)去噪效果、表征主觀信息、描述像素一致性，因此，所提算法可在有效消除噪聲的同時(shí)保留圖像主觀細(xì)節(jié)信息。

圖6 不同損失函數(shù)去噪效果對(duì)比（Duck）

表3 為不同損失函數(shù)去噪PSNR/SSIM 值。由于利用圖像像素差異優(yōu)化網(wǎng)絡(luò)，因此基于MSE 損失調(diào)節(jié)網(wǎng)絡(luò)易產(chǎn)生較高PSNR/SSIM 值。由表3 可知，綜合MSE 和感知損失取得次高值，所提算法損失的PSNR 比其提升0.04 dB。綜上所述，所提算法綜合損失去噪效果優(yōu)于其他組合損失。

表3 不同損失函數(shù)去噪PSNR/SSIM 值

4.3.3 運(yùn)行時(shí)間

實(shí)驗(yàn)選取標(biāo)準(zhǔn)圖像庫(kù)中3 幅測(cè)試圖像，并基于上述平臺(tái)評(píng)估算法的平均運(yùn)行時(shí)間，結(jié)果如表4 所示。由表4 可知，首先，傳統(tǒng)去噪算法BM3D 速度明顯快于基于深度學(xué)習(xí)的去噪算法，其原因在于BM3D 雖需存在圖像塊提取及搜索操作，然而代碼經(jīng)多次優(yōu)化后計(jì)算復(fù)雜度顯著下降，而基于深度學(xué)習(xí)的去噪算法則需要抽取圖像深度抽象特征且迭代訓(xùn)練模型，以實(shí)現(xiàn)有效去噪，因而計(jì)算復(fù)雜度較高；其次，基于深度學(xué)習(xí)的去噪算法中，所提算法、RED-WGAN 運(yùn)行速度快于DnCNN、MSRResNet-GAN、WGAN-VGG 和DUGAN，這主要是因?yàn)镈nCNN、MSRResNet-GAN 和WGAN-VGG采用較耗時(shí)的常規(guī)特征提取操作，因而模型效率低下，而RED-WGAN 利用基于編/解碼結(jié)構(gòu)的高效生成模型抽取并整合特征信息，且所提算法結(jié)合U-net衍生網(wǎng)絡(luò)及殘差塊實(shí)現(xiàn)跨層連接，從而保證提取高級(jí)特征的同時(shí)參考低級(jí)特征信息，進(jìn)而可顯著提升運(yùn)行效率；再者，由表 4 可知，所提算法與RED-WGAN 運(yùn)行時(shí)間較接近，然而由于所提算法采用多跨層連接的特征參考方法，因此平均耗時(shí)小于RED-WGAN；此外，上述算法中，DUGAN運(yùn)行效率較低是因?yàn)槠漭^大網(wǎng)絡(luò)深度所導(dǎo)致的計(jì)算復(fù)雜度顯著上升以及網(wǎng)絡(luò)收斂性。

綜上所述，所提算法基于U-net 及殘差塊互連的生成模塊，以實(shí)現(xiàn)特征提取階段細(xì)節(jié)信息的有效保持，同時(shí)提升模型運(yùn)行效率，基于全卷積結(jié)構(gòu)的判別模塊可突破輸入樣本尺寸限制；其次，基于多通道GAN 模型并采用平均加權(quán)融合模塊，以盡可能保持圖像原有特征；再者，基于MSE、對(duì)抗和感知損失構(gòu)造復(fù)合感知損失，以有效表征模型去噪損失，從而實(shí)現(xiàn)去噪效果的顯著提升；此外，由于所提算法僅增加網(wǎng)絡(luò)寬度而非深度，且引入可避免梯度消失提高收斂速度的殘差模塊，從而可顯著縮小網(wǎng)絡(luò)參數(shù)規(guī)模同時(shí)降低運(yùn)行時(shí)間，進(jìn)而可以較低計(jì)算代價(jià)獲得較好去噪效果。

表4 不同算法的平均運(yùn)行時(shí)間

5 結(jié)束語

針對(duì)傳統(tǒng)去噪算法去噪性能不佳的問題，基于對(duì)抗學(xué)習(xí)模型，本文提出多通道融合圖像去噪算法。所提算法利用U-net 衍生網(wǎng)絡(luò)提取圖像特征，并基于殘差塊跳躍連接融合像素級(jí)特征，進(jìn)而有效保留圖像細(xì)節(jié)信息；而后基于MSE、對(duì)抗和感知損失構(gòu)建復(fù)合損失函數(shù)以迭代調(diào)節(jié)網(wǎng)絡(luò)，使生成器與判別器達(dá)至納什平衡，從而最大限度地去除圖像噪聲；最后基于算術(shù)平均加權(quán)融合三通道輸出信息，以獲得最終去噪圖像。通過與BM3D、DnCNN、MSRResNet-GAN、RED-WGAN、WGAN-VGG 及DUGAN 這6 種主流去噪算法對(duì)比，驗(yàn)證所提算法的有效性。由客觀評(píng)價(jià)可知，所提算法的PSNR/SSIM均值均高于對(duì)比算法，耗時(shí)高于BM3D，低于其他對(duì)比算法；由主觀感受可知，相較于對(duì)比算法，多數(shù)場(chǎng)景下，所提算法主觀視覺特征顯著。