一種基于信息保留網(wǎng)絡(luò)的圖像去噪算法

陳清江，石小涵，柴昱洲

(1.西安建筑科技大學(xué) 理學(xué)院，陜西 西安 710055; 2.空間電子信息技術(shù)研究院，陜西 西安 710000)

引言

圖像去噪是指從被噪聲腐蝕的圖像中恢復(fù)原始圖像信息的過程。噪聲會嚴重降低所獲取的圖像的視覺質(zhì)量，導(dǎo)致圖像信息的可靠性下降,影響進一步的圖像處理。去除噪聲是各種圖像處理和計算機視覺工作中必不可少的步驟,其處理結(jié)果的好壞直接影響著邊緣檢測、目標(biāo)識別等各種后續(xù)任務(wù)的順利進行。因此，研究以及優(yōu)化圖像去噪算法具有重要意義。

傳統(tǒng)的空間域圖像去噪算法有中值濾波、線性濾波、高斯濾波和雙邊濾波等算法。這些算法對于去除噪聲都有一定的效果，但都容易導(dǎo)致圖像細節(jié)信息丟失和邊緣模糊。基于其他理論的去噪算法有：基于小波變換理論的去噪算法[1-3]，基于稀疏表示理論的去噪算法[4-6],基于全局統(tǒng)計特性的去噪算法[7-9],基于機器學(xué)習(xí)理論的去噪算法[10]。

小波變換是將圖像信號變換到小波域進行多層分解，實現(xiàn)信噪有效分離，如 WTT(wa-vlet transform based image denoise using threshold approaches)算法[3]。稀疏表示理論下的去噪算法利用圖像在過完備字典下的稀疏表示實現(xiàn)去噪功能，而該字典可由圖像數(shù)據(jù)庫的圖像塊學(xué)習(xí)得到。Aharon等提出 K-奇異值分解(K-singular value decomposition，K-SVD)圖像去噪算法[4]，Dong W等人提出的基于非局部集中稀疏表示(non-locally centralized sparse representation，NCSR)算法[5]以及焦莉娟等人提出的近鄰局部OMP稀疏表示圖像去噪[6]。另外基于圖像的全局統(tǒng)計特性以及其他特性的算法有BM3D(block-matching and 3D filtering)算法[7]，非局部均值濾波算法(non-local means，NLM)[8],雙邊非均值局部濾波算法[9]等。另外有基于非凸緊框架正則化的凸去噪CNC(convex denoising using non-convex tight frame regularization, CNC)[11]，期望的補丁對數(shù)似然估計(expected patch log likelihood，EPLL)算法[12]。

圖像去噪可以看作噪聲圖像到無噪圖像的映射問題，卷積神經(jīng)網(wǎng)絡(luò)作為一種深度網(wǎng)絡(luò)，能夠很好地建立映射關(guān)系。本文引入深度卷積神經(jīng)網(wǎng)絡(luò)對圖像進行去噪，該網(wǎng)絡(luò)有著輕量級參數(shù)和計算復(fù)雜度，在保持較高精度的同時也能保持實時速度。對訓(xùn)練好的網(wǎng)絡(luò)直接輸入噪聲圖像與特征提取模塊對噪聲圖像進行特征提取，信息保留模塊通過殘差學(xué)習(xí)來連接局部長、路徑短的特征信息，最后重建模塊整合這些學(xué)習(xí)到的特征信息，重建出去噪圖像。該網(wǎng)絡(luò)結(jié)構(gòu)通過殘差學(xué)習(xí)，解決了深層網(wǎng)絡(luò)結(jié)構(gòu)的退化問題，在去除噪聲的同時又保留了高頻信息。

1 相關(guān)理論

噪聲在圖像上常表現(xiàn)為一種引起較強視覺效果的孤立像素點或像素塊。噪聲信號是與要研究的對象不相關(guān)的無用的信息，擾亂圖像的可觀測信息。本文算法主要針對高斯白噪聲，椒鹽噪聲和泊松噪聲。它們可以認為是由概率密度函數(shù)(probability density function ，PDF)表示的隨機變量。典型的去噪模型可表示為

g(x,y)=h(x,y)+f(x,y)

(1)

G∶g→h

(2)

(2)式含噪聲圖像到去噪圖像的一個非線性映射。本文通過構(gòu)建一種層次較深的網(wǎng)絡(luò)結(jié)構(gòu)，調(diào)整卷積核的大小和數(shù)目，在保持較低計算復(fù)雜度的同時來學(xué)習(xí)噪聲圖像到無噪聲圖像的非線性映射。

2 基于信息保留網(wǎng)絡(luò)的圖像去噪算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)相結(jié)合，通過反向傳播算法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中的權(quán)重，從而實現(xiàn)深度學(xué)習(xí)的方法。卷積神經(jīng)網(wǎng)絡(luò)不僅具有傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的較好容錯性、自適應(yīng)性和較強自學(xué)習(xí)能力等優(yōu)點，還具有自動提取特征、權(quán)值共享以及輸入圖像與網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合良好等優(yōu)勢。這對針對圖像去噪的卷積神經(jīng)網(wǎng)絡(luò)十分有利。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of proposed network

本文提出的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包括3個部分，1個特征提取模塊(feature extraction block, 簡記FBlock)，2個結(jié)構(gòu)完全相同的信息保留模塊(information preservation blocks, 簡記IBlock)，1個重建模塊(reconstruction block, 簡記RBlock)，每個信息保留模塊由1個提升單元和1個壓縮單元構(gòu)成,整個網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。令x和y分別表示整個網(wǎng)絡(luò)結(jié)構(gòu)的輸入與輸出，F(xiàn)Block是2個卷積核大小為3×3的卷積層，卷積層后都有修正線性單元 (Rectified linear unit, ReLU)作為激活函數(shù)，卷積核數(shù)量都為64，用來提取帶有噪聲圖像的特征。這個過程表示為

B0=f(x)

(3)

式中：f表示提取特征的函數(shù)；B0表示提取到的特征。接下來的部分是2個信息保留模塊，每個保留模塊都由1個提升單元和1個壓縮單元構(gòu)成。這個過程表示為

Bk=FK(Bk-1),k=1,2

(4)

式中：F1和F2分別表示IBlock1和IBlock2代表的函數(shù)；B1和B2分別表示IBlock1和IBlock2的輸出。接下來用2個卷積層作為RBlock,可以表示為

y=R(B2)

(5)

于是完整的網(wǎng)絡(luò)結(jié)構(gòu)可以表示為

y=R(F2(F1(f(x))))

(6)

式中：R表示重建模塊代表的函數(shù)。

提升單元的結(jié)構(gòu)為圖1紅色虛線框內(nèi)所示，提升單元由6個卷積層構(gòu)成，每層卷積核的大小都為3×3且都有激活函數(shù)(ReLU)，其中C和S分別代表連接(concatenate)操作和切片(slice)操作。這6個卷積層可以分為兩部分，前3個卷積層為第一部分，前3層特征圖的維度分別為48,32,64；提升單元的后3個卷積層為第二部分，特征圖的維度分別為64,48,80。Ni,(i=1,2,…,6)表示每一層特征圖的維度，滿足如下關(guān)系:

N3-N1=N1-N2

(7)

N6-N4=N4-N5

(8)

(9)

(10)

(11)

這種保留局部信息的方法，極大程度地避免了學(xué)習(xí)過程中圖像信息的丟失，使得圖像的邊緣和紋理細節(jié)等高頻信息得以更好保留。壓縮單元由1個卷積層構(gòu)成，通過1×1卷積核來實現(xiàn)壓縮機制，降低計算復(fù)雜度。

2.2 基于信息保留網(wǎng)絡(luò)的去噪算法流程

(12)

第2個損失函數(shù)為MSE均方誤差：

(13)

實驗過程中我們發(fā)現(xiàn)利用MSE損失函數(shù)訓(xùn)練可以提升利用MAE損失函數(shù)訓(xùn)練的網(wǎng)絡(luò)，因此先用MAE損失函數(shù)訓(xùn)練，后用MSE損失函數(shù)微調(diào),加快網(wǎng)絡(luò)的收斂速度，提升算法精度。

圖2 基于信息保留網(wǎng)絡(luò)的去噪算法流程Fig.2 Framework of image denoising based on information preservation convolutional neural network

3 實驗與結(jié)果分析

常用的圖像去噪的評測標(biāo)準(zhǔn)包括主觀評價和客觀量化。主觀評價即人為觀測圖像，評定輸出圖像的質(zhì)量。本文采取目前比較普遍的客觀量化方法：峰值信噪比(peak signal to noise ratio, PSNR/dB)和結(jié)構(gòu)相似性 (structural similarity index method, SSIM)。2幅圖像間的PSNR值越高，則去噪后的圖像相對于真實圖像的失真越少，說明去噪算法的性能越好；2幅圖像間的SSIM值越接近1，則去噪圖像與原始圖像的相似度越高，說明去噪效果越好。

實驗訓(xùn)練的數(shù)據(jù)集為BSD100[14]自然圖像集,用于測試的數(shù)據(jù)集為Set5[15]、Set14[16]。使用Caffe深度學(xué)習(xí)框架來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，用于測試的軟件為Matlab R2017a。

3.1 不同算法對高斯噪聲去除效果對比

本節(jié)選取的對比算法有BM3D去噪方法[7]，WTT[3]、CNC算法[11]、NLM算法[8]、EPLL算法[12]。選取set14中的barbara、lena兩幅圖像進行視覺效果的對比，8幅圖像進行客觀量化對比。圖3～圖4為6種算法對添加了方差為σ=25的高斯白噪聲的圖像的處理結(jié)果，圖5～圖6為6種算法對添加了方差為σ=50的高斯白噪聲的圖像處理結(jié)果。

通過對以上實驗結(jié)果的觀察可以發(fā)現(xiàn)，對于不同水平的噪聲，本文算法對紋理細節(jié)的保持較好;BM3D算法處理的圖像人物面部細節(jié)出現(xiàn)了模糊，WTT算法處理的效果相對較差;CNC和NLM算法都對圖像進行了平滑處理，紋理細節(jié)不夠顯;EPLL算法對噪聲的去除效果不夠好，處理后的圖像仍然存在噪聲。對不同水平的噪聲，本文算法的處理結(jié)果在視覺效果上優(yōu)于所對比算法。

圖3 6種去噪算法對Barbara圖處理結(jié)果對比(σ=25)Fig.3 Results comparison of 6 denoising algorithms on Barbara image (σ=25)圖4 6種去噪算法對Lena圖處理結(jié)果對比(σ=25)Fig.4 Results comparison of 6 denoising algorithms on Lena image (σ=25)圖5 6種去噪算法對Barbara圖處理結(jié)果對比(σ=50)Fig.5 Results comparison of 6 denoising algorithms on Barbara image (σ=50)圖6 6種去噪算法對Lena圖處理結(jié)果對比(σ=50)Fig.6 Results comparison of 6 denoising algorithms on Lena image (σ=50)

表1 6種算法實驗結(jié)果對比(σ=25)

表2 6種算法實驗結(jié)果對比(σ=50)

在表1中選取的8幅測試圖像，有5幅圖像的評價指標(biāo)高于其他算法。8幅測試圖像的PSNR平均值可達到30.36 dB,SSIM平均值可以達到0.828 0。相比表1中其他5種算法，PSNR平均提升了2.15 dB，SSIM平均提升了0.072 9；在表2中，當(dāng)噪聲水平達到σ=50，2項評價指標(biāo)的均值可分別達到29.30 dB和0.795 9，相比表2中其他5種算法，PSNR平均提升了3.07 dB，SSIM平均提升了0.112 2，本文算法去噪性能明顯優(yōu)于其他算法。

4.2 對其他噪聲去除效果對比

在圖像去噪領(lǐng)域，大部分算法是針對高斯噪聲去噪，當(dāng)噪聲類型改變時，原有算法的效果就會變差或者完全失效。本文算法的泛化性較強，對于泊松噪聲和椒鹽噪聲也能達到較好的去除效果。對于椒鹽噪聲，選取Comic、Butterfly兩幅圖像進行視覺效果的對比；對于泊松噪聲，選取Baby、Bird兩幅圖像進行視覺效果的對比。

圖7 本文算法對Comic圖和Butterfly圖處理結(jié)果Fig.7 Results of proposed method on images Comic and Butterfly

圖8 本文算法對Baby圖和Bird圖處理結(jié)果Fig.8 Results of proposed method on images Baby and Bird

表3 本文算法在泊松噪聲和椒鹽噪聲上的實驗結(jié)果

觀察圖7、圖8得到的實驗結(jié)果可以發(fā)現(xiàn)，去噪圖像紋理細節(jié)信息完整，沒有模糊和平滑現(xiàn)像，可以達到比較好的視覺效果。從綜合視覺效果和客觀評價指標(biāo)來看，本文算法對椒鹽噪聲和泊松噪聲的去除都非常有效，對椒鹽噪聲的效果尤為突出，PSNR可以達到45.00(dB),SSIM可以達到0.99以上。

4 結(jié)論

本文算法的主要特征有：1)不需要對圖像進行預(yù)處理，對含噪聲圖像直接進行去噪；2)信息保留模塊提升單元對局部特征信息的保留，很大程度上保存了圖像的細節(jié)信息；3)訓(xùn)練過程中，使用了2個損失函數(shù)，加快了網(wǎng)絡(luò)的收斂速度，提升了算法精度；4)具有較強的泛化性，對不同種類的噪聲，都能達到相對較好的去噪效果。實驗結(jié)果表明，本文算法在主觀評價和客觀評價指標(biāo)上都優(yōu)于一般算法，具有一定的實用價值。在下一步工作中，將會根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的特性，進一步對網(wǎng)絡(luò)進行優(yōu)化。