DnRFD：用于圖像去噪的遞進(jìn)式殘差融合密集網(wǎng)絡(luò)

曹義親，饒哲初，朱志亮,2+，張紅斌

1.華東交通大學(xué) 軟件學(xué)院，南昌 330013

2.中國(guó)科學(xué)院 軟件研究所，北京 100190

圖像在生成和傳輸?shù)倪^(guò)程中難免會(huì)受到噪聲的污染，嚴(yán)重影響圖像的進(jìn)一步分析與處理。目前常見的噪聲主要有四種：高斯噪聲、泊松噪聲、乘性噪聲以及脈沖噪聲，其中高斯噪聲是最常見、也是最具有代表性的一種噪聲。高斯噪聲是指概率密度函數(shù)服從高斯分布的一類噪聲。高斯噪聲的等級(jí)是指高斯分布的方差。本文主要針對(duì)高斯噪聲的去噪算法進(jìn)行研究。圖像去噪是各種圖像處理算法中的重要步驟，有助于對(duì)圖像內(nèi)容進(jìn)行進(jìn)一步的區(qū)分和解釋，在計(jì)算機(jī)視覺領(lǐng)域有著重要意義。

圖像去噪[1]就是從被污染的圖像中去除噪聲并還原圖像。傳統(tǒng)的去噪算法可以分為空間域?yàn)V波[2]和頻率域?yàn)V波[3]?？臻g域?yàn)V波是將圖像像素點(diǎn)與濾波函數(shù)進(jìn)行卷積操作，不同的濾波算法有著不同的函數(shù)；頻率域?yàn)V波則主要是將圖像在頻率域內(nèi)的信息與算法函數(shù)利用傅里葉變換[4]進(jìn)行相乘操作。傳統(tǒng)方法能夠獲得一定的去噪效果，但是在處理中、高噪聲圖像時(shí)效果不理想，且容易丟失圖像細(xì)節(jié)。針對(duì)這個(gè)不足，許多研究人員提出利用圖像先驗(yàn)?zāi)Ｐ蛠?lái)進(jìn)行去噪。Buades 等人[5]提出了非局部均值NLM（non-local means）的去噪方法。該方法充分利用了圖像中的冗余信息，在去噪的同時(shí)能最大程度地保持圖像的細(xì)節(jié)特征。Dabov 等人[6]提出的BM3D（block method of 3-dimension）算法融合了非局部去噪方法和小波變換域去噪方法的思想，得到了非常好的去噪效果。Knaus等人[7]提出的PID（progressive image denoising）算法將圖像去噪作為一種簡(jiǎn)單的物理過(guò)程，通過(guò)確定性退火逐步降低噪聲，在實(shí)現(xiàn)較好去噪效果的前提下，還能夠保證沒有基于局部塊類方法常見的偽像。Gu 等人[8]結(jié)合非局部的思想和低秩逼近理論，提出加權(quán)核范數(shù)最小化的去噪方法（weighted nuclear norm minimization method，WNNM）。盡管這些基于圖像先驗(yàn)?zāi)Ｐ偷姆椒╗5-11]能夠獲得較好的去噪效果，但是當(dāng)噪聲密度增大時(shí)，這些方法的去噪性能將大幅降低。

近年來(lái)，隨著深度學(xué)習(xí)研究的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺領(lǐng)域的地位也越來(lái)越重要。越來(lái)越多的基于深度學(xué)習(xí)的圖像去噪算法被提出，其中最為代表的就是Zhang等人[12]在2017年提出的DnCNN算法，其去噪性能和細(xì)節(jié)處理能力相較于之前的算法均有大幅度提升。但基于深度學(xué)習(xí)的去噪算法是從整幅圖像中提取特征，輸出與輸入圖像尺寸保持一致，這就導(dǎo)致其網(wǎng)絡(luò)參數(shù)量巨大、特征提取不夠充分。Lefkimmiatis[13]在2018 年提出了通用去噪網(wǎng)絡(luò)。該網(wǎng)絡(luò)是一種新型的網(wǎng)絡(luò)體系結(jié)構(gòu)，它具有兩種變體，第一種網(wǎng)絡(luò)將卷積層作為核心組件，其行為類似于局部變分方法，而第二種網(wǎng)絡(luò)則依賴非局部濾波層，該層使網(wǎng)絡(luò)能夠利用自然圖像固有的非局部自相似性。這兩個(gè)網(wǎng)絡(luò)都帶來(lái)了非常有競(jìng)爭(zhēng)力的結(jié)果，可以直接與最新技術(shù)相媲美，盡管它們的優(yōu)點(diǎn)是與當(dāng)前性能最佳的網(wǎng)絡(luò)相比，所涉及的參數(shù)要少得多，但在耗時(shí)方面還是與DnCNN相差不大。

本文針對(duì)現(xiàn)有的深度學(xué)習(xí)去噪方法往往存在網(wǎng)絡(luò)過(guò)深導(dǎo)致計(jì)算復(fù)雜度過(guò)大的問題，結(jié)合密集塊（dense block）和殘差學(xué)習(xí)[14]的優(yōu)勢(shì)以及遞進(jìn)融合的策略，提出一種遞進(jìn)式殘差融合密集網(wǎng)絡(luò)，并將其用于高斯噪聲的去除。與DnCNN 在網(wǎng)絡(luò)中僅簡(jiǎn)單串聯(lián)卷積層進(jìn)行去噪的方法不同的是，本文提出的方法在網(wǎng)絡(luò)中布置密集連接的密集塊，每一層都將之前的特征圖作為輸入，且結(jié)合遞進(jìn)思想將淺層卷積特征圖依次與每個(gè)密集塊提取出的深層卷積特征圖短線連接形成殘差塊，使得網(wǎng)絡(luò)能夠更好地預(yù)測(cè)噪聲分布。密集短接的結(jié)構(gòu)則能夠有效地降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度，減少大量的網(wǎng)絡(luò)參數(shù)，縮短算法計(jì)算時(shí)間。

1 相關(guān)工作

1.1 密集塊

卷積神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層、輸出層三部分組成。隱藏層的主要結(jié)構(gòu)為線性卷積和激活函數(shù)去線性化操作的交替序列，主要功能為對(duì)輸入進(jìn)行特征映射。在圖像去噪領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)相較于其他傳統(tǒng)方法的優(yōu)勢(shì)在于隱藏層能夠更好地提取圖像特征，權(quán)值共享則極大地降低了網(wǎng)絡(luò)模型的計(jì)算量，有效減少了網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)，使模型處理效率更高。本文從如何提取更多的圖像特征，同時(shí)也能夠極大地降低模型計(jì)算參數(shù)的角度考慮，綜合設(shè)計(jì)了密集網(wǎng)絡(luò)，其中的核心模塊即為密集塊（dense block）[15]。其結(jié)構(gòu)如圖1所示，其中的Bottleneck模塊的結(jié)構(gòu)如圖2所示。

圖1 Dense Block模塊結(jié)構(gòu)Fig.1 Dense Block modular structure

圖2 Bottleneck結(jié)構(gòu)Fig.2 Bottleneck structure

在密集塊結(jié)構(gòu)中，層與層之間都通過(guò)短接線連接起來(lái)，每一層的輸入都來(lái)自前面所有層的輸出，該連接可以用公式表示為：

式中，Xl表示l層的輸出特征圖，[X0,X1,…,Xl-1]表示將0到l-1 層的輸出特征圖做通道的合并，即直接堆疊通道，而不對(duì)通道進(jìn)行其他操作。Hl則表示將合并后的特征圖依次輸入到Bottleneck 中。因?yàn)槊恳粚拥妮斎攵际乔懊嫠袑拥妮敵霪B加，融合了前者所有提取出的特征圖，所以在后面幾層的輸入通道都會(huì)比較大。為了減少輸入的Feature map 數(shù)量，在Bottleneck中都設(shè)計(jì)一個(gè)卷積核為1×1 的卷積層，既能使得參數(shù)更少，減少網(wǎng)絡(luò)的計(jì)算量，同時(shí)又融合各個(gè)通道的特征，使其與梯度的傳遞更加高效，噪聲分布的學(xué)習(xí)更加全面。

1.2 殘差學(xué)習(xí)

殘差學(xué)習(xí)的設(shè)計(jì)初衷是為了解決伴隨著網(wǎng)絡(luò)深度增加的卷積神經(jīng)網(wǎng)絡(luò)性能下降以及訓(xùn)練精度下降的問題。殘差網(wǎng)絡(luò)通過(guò)學(xué)習(xí)殘差映射的方法，使得網(wǎng)絡(luò)的訓(xùn)練精度不會(huì)隨著網(wǎng)絡(luò)深度的增加而降低，解決了網(wǎng)絡(luò)的退化問題。

結(jié)合圖像去噪領(lǐng)域，通過(guò)跳連式的網(wǎng)絡(luò)結(jié)構(gòu)讓殘差網(wǎng)絡(luò)學(xué)習(xí)信息量相對(duì)較少的噪聲圖像，再由含噪聲圖像減去網(wǎng)絡(luò)的預(yù)測(cè)噪聲圖像，得到潛在的純凈圖像，該過(guò)程用公式表示表達(dá)為：

式中，y表示的是含噪聲圖像，x表示的是原始的純凈圖像，n表示的是加性噪聲。并且在淺層卷積特征提取時(shí)，通過(guò)密集塊的設(shè)計(jì)，提取了豐富的圖像特征，為之后的噪聲分布學(xué)習(xí)奠定了基礎(chǔ)。

2 遞進(jìn)式殘差融合密集網(wǎng)絡(luò)設(shè)計(jì)

2.1 設(shè)計(jì)思路

本文受Huang 等人[16]提出的DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，通過(guò)密集網(wǎng)絡(luò)來(lái)豐富提取圖像的特征，并利用密集短接的結(jié)構(gòu)降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度，減少網(wǎng)絡(luò)參數(shù)數(shù)量。通過(guò)對(duì)郭恒意等人[17]提出的基于殘差密集塊的去噪網(wǎng)絡(luò)的實(shí)驗(yàn)復(fù)現(xiàn)研究，發(fā)現(xiàn)其網(wǎng)絡(luò)并不能夠充分地利用淺層卷積特征。因此本文結(jié)合遞進(jìn)思想，在加深網(wǎng)絡(luò)的同時(shí)設(shè)計(jì)了三個(gè)殘差塊，分別將淺層卷積特征與深層密集網(wǎng)絡(luò)提取出的特征進(jìn)行融合，使得深層的密集網(wǎng)絡(luò)能夠充分利用淺層特征對(duì)噪聲分布進(jìn)行學(xué)習(xí)。而對(duì)密集網(wǎng)絡(luò)研究發(fā)現(xiàn)其網(wǎng)絡(luò)結(jié)構(gòu)并沒有將全局特征進(jìn)行融合學(xué)習(xí)。本文進(jìn)一步受Zhang 等人[18]提出的RDN 網(wǎng)絡(luò)結(jié)構(gòu)啟發(fā)，在重建輸出層之前設(shè)計(jì)了Concat 層，在此層對(duì)之前所有密集網(wǎng)絡(luò)提取出的特征進(jìn)行融合操作，使得網(wǎng)絡(luò)充分學(xué)習(xí)了局部特征和全局特征，以此來(lái)達(dá)到更好的去噪效果。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)模型主要包括3 個(gè)結(jié)構(gòu)完全相同的Dense Block模塊，在Dense Block模塊中每個(gè)卷積層后都有線性修正單元ReLU作為激活函數(shù)，盡量避免了梯度消失，且使得網(wǎng)絡(luò)具有稀疏性，并且減少了參數(shù)的相互依存關(guān)系。完整的遞進(jìn)式殘差融合密集網(wǎng)絡(luò)（progressive residual fusion dense network，DnRFD）的結(jié)構(gòu)模型如圖3所示。

圖3 遞進(jìn)式殘差融合密集網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.3 Whole structure of progressive residual fusion dense network

第1 層為Conv+ReLU，卷積層的卷積核大小為3×3，個(gè)數(shù)為64。這一層的主要功能是對(duì)輸入的含噪聲圖像進(jìn)行淺層卷積的特征提取。第2 層為Conv，卷積核大小為3×3，個(gè)數(shù)為24。負(fù)責(zé)將特征圖通道調(diào)整到合適的大小，以便輸入Dense Block 模塊中不會(huì)輸出過(guò)多的特征圖，增加網(wǎng)絡(luò)計(jì)算負(fù)擔(dān)。第3 至12 層為整體結(jié)構(gòu)的核心部分，包含了3 個(gè)Dense Block 模塊、3 個(gè)殘差塊，以及兩個(gè)模塊之間的Translation層和ReLU+Conv層。在Dense Block模塊中，所有Bottleneck 的卷積核大小均為1×1、3×3，個(gè)數(shù)分別為48、12。每個(gè)Bottleneck都能在新的融合特征輸入后，進(jìn)行圖像中的噪聲分布學(xué)習(xí)。而在Translation Layer 中的卷積核大小均為1×1，個(gè)數(shù)為24，目的是為了進(jìn)一步壓縮網(wǎng)絡(luò)參數(shù)，融合通道特征形成新的特征。第13層為Concat層，將第1個(gè)Dense Block 模塊以及第2 個(gè)Dense Block 模塊的輸出特征圖與第3 個(gè)Dense Block 模塊的特征融合，加強(qiáng)了網(wǎng)絡(luò)對(duì)全局特征的學(xué)習(xí)。第14 層為單個(gè)3×3 卷積核的重建輸出層，不僅融合了上一層的全局特征，且使得輸出的尺寸與輸入保持一致，以便于殘差學(xué)習(xí)能夠?qū)㈩A(yù)測(cè)噪聲從含噪圖像中抽離，得到純凈圖像作為網(wǎng)絡(luò)的輸出。

3 基于RFD的圖像去噪算法

本文算法具體流程如圖4 所示。訓(xùn)練過(guò)程中將原始圖像裁剪為大小相同的圖像塊，然后將這些原始圖像塊加上噪聲輸入到設(shè)計(jì)好的網(wǎng)絡(luò)中，通過(guò)損失函數(shù)進(jìn)行反向傳播調(diào)節(jié)參數(shù)，最終使得網(wǎng)絡(luò)達(dá)到收斂狀態(tài)。測(cè)試階段，將含噪聲圖像輸入到已經(jīng)收斂的網(wǎng)絡(luò)中，可直接輸出相應(yīng)的預(yù)測(cè)去噪圖像。本文算法采用的損失函數(shù)表達(dá)式如下：

圖4 基于RFD的圖像去噪方法整體框架Fig.4 Overall framework of image denoising method based on RFD

式中，R(yi,Θ)為噪聲輸入的估計(jì)殘差圖像，yi為輸入的含噪圖像，xi為純凈圖像，(yi-xi)得到的是標(biāo)準(zhǔn)的殘差圖像。N為一個(gè)Batch 的輸入樣本數(shù)量。在訓(xùn)練過(guò)程中不斷迭代，將損失函數(shù)降低，也就是將估計(jì)殘差與標(biāo)準(zhǔn)殘差之間的誤差降低，這樣預(yù)測(cè)的去噪圖像才能更接近原純凈圖像，獲得更好的去噪效果。

4 實(shí)驗(yàn)結(jié)果

4.1 度量標(biāo)準(zhǔn)

實(shí)驗(yàn)采用的評(píng)價(jià)標(biāo)準(zhǔn)包括主觀評(píng)價(jià)和客觀評(píng)價(jià)。主觀評(píng)價(jià)即為人為肉眼觀測(cè)圖像，評(píng)價(jià)模型輸出圖像的去噪效果。客觀評(píng)價(jià)[19]采用峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性（structural similarity，SSIM）。

PSNR是基于均方誤差（mean square error，MSE）[20]的圖像質(zhì)量評(píng)價(jià)指標(biāo)，PSNR值越大代表著圖像的質(zhì)量越好。實(shí)驗(yàn)中，PSNR 的值越大，表示去噪圖像和原圖像之間的相似性越高，去噪效果越好。PSNR的計(jì)算公式為：

式中，M和N表示的是預(yù)測(cè)值和真實(shí)值；j和k表示的是圖像中的所有像素點(diǎn)；H和W則分別代表的是圖像的高度和寬度，n取值為8。

結(jié)構(gòu)相似性（SSIM）是一種衡量?jī)煞鶊D像相似度的評(píng)價(jià)指標(biāo)?；趫D像的亮度、對(duì)比度和結(jié)構(gòu)對(duì)其進(jìn)行相似性的估計(jì)。均值作為亮度的估計(jì)，標(biāo)準(zhǔn)差作為對(duì)比度的估計(jì)，協(xié)方差作為結(jié)構(gòu)相似程度的度量。SSIM的計(jì)算公式為：

式中，μm表示的是圖像M的均值，μn表示的是圖像N的均值。和則分別表示的是圖像M和N的方差。σmn代表的是圖像M和N的協(xié)方差。c1和c2是用來(lái)維持穩(wěn)定的常數(shù)。SSIM的數(shù)值范圍在0到1 之間，SSIM 值越大，兩幅圖像越相似。當(dāng)SSIM值為1時(shí)，則代表參與比較的兩幅圖像完全相似。

4.2 實(shí)驗(yàn)參數(shù)設(shè)定

實(shí)驗(yàn)的訓(xùn)練集選取了400 張180×180 的灰度圖像，圖像的種類包括了自然風(fēng)景、動(dòng)物、人物建筑等。為了便于網(wǎng)絡(luò)訓(xùn)練盡快收斂，將裁剪框尺寸patch size設(shè)置為40，滑動(dòng)步長(zhǎng)Stride 設(shè)為10，裁剪了其中380張圖像得到了215 552張40×40 的子圖像塊，以此作為訓(xùn)練集，剩余的20張圖像作為驗(yàn)證集，通過(guò)不同測(cè)試集的測(cè)試驗(yàn)證網(wǎng)絡(luò)的魯棒性和實(shí)用性。實(shí)驗(yàn)的測(cè)試集則隨機(jī)選取自Set12[21]、Set68[22]中。

實(shí)驗(yàn)參數(shù)設(shè)定：批處理大小為64，每輪次訓(xùn)練3 725 個(gè)樣本數(shù)據(jù)，epoch 為150，訓(xùn)練期間學(xué)習(xí)率固定為0.001。計(jì)算機(jī)的CPU配置為Intel Core i7，GPU為GTX1080Ti*2，運(yùn)行內(nèi)存為11 GB，操作系統(tǒng)為Windows 10，在pytorch深度學(xué)習(xí)框架上訓(xùn)練、驗(yàn)證和測(cè)試神經(jīng)網(wǎng)絡(luò)，該框架能夠使用GPU加速訓(xùn)練，節(jié)省訓(xùn)練時(shí)間，用于訓(xùn)練、測(cè)試的軟件為PyCharm，Python版本為3.6。

4.3 實(shí)驗(yàn)和結(jié)果

本文為了客觀地評(píng)價(jià)算法的去噪效果，選取了NLM[5]、BM3D[6]、WNNM[8]、DnCNN[12]、FFDNet[21]這五種對(duì)比算法來(lái)進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)的測(cè)試集隨機(jī)選取自Set12、Set68中。在向測(cè)試圖像加入高斯白噪聲等級(jí)σ=25 和σ=50 時(shí)，分別從主觀和客觀的角度對(duì)各算法的去噪能力進(jìn)行比較。

當(dāng)高斯白噪聲等級(jí)σ=25 時(shí)，隨機(jī)選取了6幅測(cè)試圖像，原圖如圖5所示。表1為含噪測(cè)試圖像經(jīng)各算法去噪后的PSNR值。從表中可以看出，本文算法的PSNR 均值為32.623 dB，相對(duì)其他算法提升了0.043～2.462 dB。本文算法處理后的圖像PSNR均值相比傳統(tǒng)去噪算法NLM、BM3D高出了0.619～2.462 dB，相比聚類低秩去噪算法WNNM 高出了0.390 dB，相比深度學(xué)習(xí)去噪算法DnCNN 高出了0.098 dB，相比FFDNet 算法高出了0.043 dB。表2 為6 幅含噪測(cè)試圖像經(jīng)各算法去噪后的SSIM值。從表中可以看出，本文算法的SSIM均值為0.956，高于所有對(duì)比算法，相對(duì)提升了0.005～0.151。而經(jīng)本文算法處理后的前5 幅去噪圖像SSIM 值都高于所有對(duì)比算法，僅最后一幅圖像的SSIM 值比FFDNet 算法低了0.029。表3 是不同算法對(duì)6 幅測(cè)試圖像的去噪平均耗時(shí)?？梢钥闯霰疚乃惴▽?duì)于256×256 像素的圖像處理耗時(shí)均值為0.093 s，對(duì)于512×512 像素的圖像耗時(shí)均值為0.389 s，對(duì)于418×321 像素的圖像耗時(shí)均值為0.228 s。雖然DnCNN、FFDNet 算法的去噪效果與本文算法相差不大，但是去噪平均耗時(shí)超出本文算法將近1～2倍。

圖5 用于低等級(jí)噪聲去噪的測(cè)試原圖Fig.5 Original test images for low level noise denoising

表1 不同算法得到的PSNR結(jié)果（噪聲等級(jí)為25）Table 1 PSNR results obtained by different algorithms(noise level is 25) 單位：dB

表2 不同算法得到的SSIM結(jié)果（噪聲等級(jí)為25）Table 2 SSIM results obtained by different algorithms(noise level is 25)

表3 不同算法的處理時(shí)間（噪聲等級(jí)為25）Table 3 Processing time of different algorithms(noise level is 25) 單位：s

圖6 和圖7 分別為House、Man 的網(wǎng)絡(luò)輸出圖像去噪效果對(duì)比圖，圖中綠線框表示的是選取的局部放大區(qū)域，紅色線框則對(duì)應(yīng)為綠線框內(nèi)的放大內(nèi)容。從圖中可以看出，NLM 和BM3D 去噪算法對(duì)圖像邊緣細(xì)節(jié)的處理較差，本文算法在去噪效果和邊緣細(xì)節(jié)處理能力上均表現(xiàn)優(yōu)異。

圖6 不同算法處理House圖的結(jié)果（噪聲等級(jí)為25）Fig.6 Performance comparison of different algorithms on House image(noise level is 25)

圖7 不同算法處理Man圖的結(jié)果（噪聲等級(jí)為25）Fig.7 Performance comparison of different algorithms on Man image(noise level is 25)

當(dāng)高斯白噪聲等級(jí)σ=50 時(shí)，隨機(jī)選取了6幅測(cè)試圖像，原圖如圖8所示。表4為測(cè)試圖像經(jīng)各算法去噪后的PSNR 值，可以看出本文算法的PSNR 均值相較于其他對(duì)比算法提高了0.022～2.532 dB。表5為6 幅含噪測(cè)試圖像經(jīng)各算法去噪后的SSIM 值，其中本文的SSIM 值均高于其他對(duì)比算法，均值達(dá)到了0.916，相較于其他對(duì)比算法提高了0.005～0.279。

表4 不同算法得到的PSNR結(jié)果（噪聲等級(jí)為50）Table 4 PSNR results obtained by different algorithms(noise level is 50) 單位：dB

表5 不同算法得到的SSIM結(jié)果（噪聲等級(jí)為50）Table 5 SSIM results obtained by different algorithms(noise level is 50)

圖8 用于高等級(jí)噪聲去噪的測(cè)試原圖Fig.8 Original test images for high level noise denoising

圖9和圖10分別為Room、Lena的網(wǎng)絡(luò)輸出圖像去噪效果對(duì)比圖。從整體來(lái)看，DnCNN、FFDNet 算法的視覺去噪效果與本文算法相當(dāng)，但從局部放大的區(qū)域來(lái)看，本文算法更能還原原圖像的邊緣細(xì)節(jié)以及紋理細(xì)節(jié)。

圖9 不同算法處理Room圖的結(jié)果（噪聲等級(jí)為50）Fig.9 Performance comparison of different algorithms on Room image(noise level is 50)

圖10 不同算法處理Lena圖的結(jié)果（噪聲等級(jí)為50）Fig.10 Performance comparison of different algorithms on Lena image(noise level is 50)

為了驗(yàn)證算法的泛化能力，本文進(jìn)一步對(duì)自然噪聲圖像和彩色噪聲圖像進(jìn)行了去噪實(shí)驗(yàn)，圖11 上半部分為6 幅來(lái)自數(shù)據(jù)集RNI6[23]帶有自然噪聲的圖像，圖11 下半部分的6 幅圖像為經(jīng)本文算法處理后的去噪圖像。圖12 上半部分為5 幅來(lái)自數(shù)據(jù)集Kodak24、高斯噪聲等級(jí)為25 的彩色噪聲圖像，下半部分的圖像為經(jīng)本文算法處理后的去噪圖像。紅色框線內(nèi)對(duì)應(yīng)綠線框內(nèi)的局部放大信息，可以看出噪聲對(duì)圖像質(zhì)量影響較為嚴(yán)重。從圖像中可以看到，本文算法可以較好地適用于自然噪聲圖像和彩色噪聲圖像的去噪，不僅有效去除了噪聲，而且很好地保留了圖像紋理信息以及邊緣細(xì)節(jié)。

圖11 本文算法處理自然圖像的結(jié)果Fig.11 Performance of proposed algorithm on natural images

圖12 本文算法處理彩色圖像的結(jié)果Fig.12 Performance of proposed algorithm on color images

5 總結(jié)與展望

本文主要針對(duì)現(xiàn)有的深度學(xué)習(xí)去噪方法存在網(wǎng)絡(luò)過(guò)深、網(wǎng)絡(luò)參數(shù)大導(dǎo)致去噪速度慢的問題，結(jié)合密集塊和殘差學(xué)習(xí)的優(yōu)勢(shì)以及遞進(jìn)融合的策略，提出一種遞進(jìn)式殘差融合密集網(wǎng)絡(luò)，并將其用于高斯噪聲的去除。實(shí)驗(yàn)結(jié)果表明，本文方法獲得的去噪效果明顯優(yōu)于傳統(tǒng)的NLM、WNNM、BM3D 等方法。雖然相比近些年去噪效果表現(xiàn)優(yōu)異的DnCNN、FFDNet 算法，本文方法在評(píng)價(jià)指標(biāo)方面沒有明顯提升，但是本文方法的去噪速度要明顯優(yōu)于DnCNN算法和FFDNet 算法。盡管本文方法能夠取得較好的去噪效果，但是該方法仍然存在一些不足。首先，該方法的主要目標(biāo)是在保證去噪效果的同時(shí)加快去噪速度，與相關(guān)算法對(duì)比，本文方法的去噪速度得到了較大幅度提升，但去噪效果提升幅度不及去噪速度，仍有提升的空間。后期將結(jié)合噪聲的特性，引入注意力機(jī)制對(duì)該網(wǎng)絡(luò)做進(jìn)一步的改進(jìn)。其次，該方法雖然能夠用于彩色圖像噪聲的去除，但是由于網(wǎng)絡(luò)的主要結(jié)構(gòu)是處理單通道圖像，在處理彩色圖像時(shí)不可避免地會(huì)忽略彩色圖像通道間的相關(guān)性，可能會(huì)導(dǎo)致去噪后的結(jié)果出現(xiàn)偽影或新的噪聲。后期將針對(duì)如何同時(shí)保留圖像的結(jié)構(gòu)特征、細(xì)節(jié)特征和顏色特征的問題，利用四元數(shù)相關(guān)理論對(duì)該網(wǎng)絡(luò)做進(jìn)一步改進(jìn)，從而獲得更好的去噪效果。