基于小波變換與卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪算法

陳清江，石小涵，柴昱洲

（1.西安建筑科技大學(xué) 理學(xué)院，陜西 西安 710055；2.空間電子信息技術(shù)研究院，陜西 西安 710000）

引言

在圖像傳感過(guò)程中，噪聲污染是不可避免的，它嚴(yán)重地降低了獲取圖像的視覺(jué)質(zhì)量。從觀察到的圖像中去除噪聲是各種圖像處理和計(jì)算機(jī)視覺(jué)任務(wù)的一個(gè)重要步驟。圖像去噪的目的是從遵循圖像退化模型的噪聲觀測(cè)值中恢復(fù)出不含噪聲的圖像，因此研究?jī)?yōu)化圖像去噪算法具有重要意義。小波變換具有低熵性、多分辨分析、去相關(guān)等優(yōu)點(diǎn)，基于小波變換的去噪算法得到了大量研究。1995年Donoho 等提出對(duì)小波系數(shù)進(jìn)行閾值處理來(lái)進(jìn)行圖像去噪[1]，此后小波閾值去噪算法開(kāi)始發(fā)展[2-3]。小波閾值去噪算法面臨的問(wèn)題主要在于閾值的選取，如果選取的閾值過(guò)小，會(huì)將一部分噪聲當(dāng)成圖像信息保留下來(lái)；如果選取的閾值過(guò)大，圖像中的一些信息特征會(huì)被濾除，造成圖像失真。Candes 和Donoho 在2000年提出了脊波變換，此后還出現(xiàn)了局部脊波變換和曲波變換，彌補(bǔ)了此前一些算法的不足之處[4-6]。2003年P(guān)ortilla J 等提出的使用混合高斯模型在小波域去噪[7]，該算法在當(dāng)時(shí)取得了良好的去噪效果，近年來(lái)小波變換在圖像處理領(lǐng)域應(yīng)用相對(duì)廣泛[8-10]?；谛〔ㄗ儞Q的去噪算法往往會(huì)破壞小波系數(shù)之間的空間關(guān)系，甚至影響尺度間和尺度內(nèi)小波系數(shù)的相關(guān)性，正交小波變換還會(huì)導(dǎo)致圖像失真的偽吉布斯現(xiàn)象，這些都會(huì)影響算法的去噪性能。

近年來(lái)深度學(xué)習(xí)受到相關(guān)研究人員的廣泛關(guān)注，并逐漸成為互聯(lián)網(wǎng)大數(shù)據(jù)以及人工智能的一個(gè)熱潮，卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)相結(jié)合，通過(guò)反向傳播算法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中的權(quán)重，從而實(shí)現(xiàn)深度學(xué)習(xí)的方法。這為圖像去噪提供了新思路?；谏疃葘W(xué)習(xí)的去噪算法也在不斷發(fā)展[11-17]，Harmeling S 等提出了基于MLP的去噪算法[12]，Zhang K 等提出了基于殘差的去噪算法[13-15]，基于深度學(xué)習(xí)的去噪算法憑借自身的優(yōu)勢(shì)取得了相對(duì)較好的去噪效果。但基于深度學(xué)習(xí)的去噪算法是從大量數(shù)據(jù)中提取特征和擬合非線性函數(shù)，因此往往面臨著參數(shù)量巨大、網(wǎng)絡(luò)層數(shù)過(guò)深、調(diào)參難度大、泛化能力差等問(wèn)題，這些算法都是將整幅圖像輸入網(wǎng)絡(luò)進(jìn)行去噪，會(huì)造成相對(duì)較多的圖像失真?；谛〔ㄗ儞Q圖像去噪算法[18-20]則是將圖像的分量輸入網(wǎng)絡(luò)，能有效減少圖像的失真。本文基于小波變換和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)提出了一種性能優(yōu)良、耗時(shí)少的算法。該算法不同于其他算法直接輸入圖像進(jìn)行訓(xùn)練，而是將圖像進(jìn)行尺度為1 的小波分解，得到高頻分量和低頻分量分別輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用平穩(wěn)小波變換避免了空間信息損失，且在訓(xùn)練中使用殘差網(wǎng)絡(luò)，只學(xué)習(xí)殘差信息，可以避免使用過(guò)深的網(wǎng)絡(luò)結(jié)構(gòu)，加快網(wǎng)絡(luò)的收斂，使用尺寸和數(shù)量較小的卷積核來(lái)降低計(jì)算復(fù)雜度，減少參數(shù)個(gè)數(shù)。

1 相關(guān)理論

1.1 平穩(wěn)小波變換

具有平移不變性的平穩(wěn)小波變換能較好抑制正交小波變換導(dǎo)致圖像失真的偽吉布斯現(xiàn)象，已廣泛應(yīng)用于紅外圖像去噪?；谄椒€(wěn)小波變換的去噪算法，通常是先進(jìn)行平穩(wěn)小波分解，得到與圖像大小相同的高頻和低頻分量，其中對(duì)于高頻分量可采用閾值法等估計(jì)小波系數(shù)，再通過(guò)平穩(wěn)小波逆變換得到去噪后的圖像。通常平穩(wěn)小波分解得到的各小波系數(shù)在尺度內(nèi)和尺度間具有很強(qiáng)的相關(guān)性，這些算法往往難以取得良好的去噪效果。本文算法對(duì)圖像進(jìn)行尺度為1 的二維離散平穩(wěn)小波分解，得到一個(gè)低頻分量和3 個(gè)不同方向上的高頻分量：

式中：X表示待分解圖像；n表示分解尺度；L表示圖像經(jīng)二維離散平穩(wěn)小波分解后得到的低頻分量；H表示水平方向高頻分量；V表示垂直方向高頻分量；D表示對(duì)角方向的高頻分量；′haar′表示小波分解時(shí)使用haar 基。小波分解在空間比、方向和頻率范圍方面使圖像得以多尺度表示。我們使用小波多尺度表示回歸特征，訓(xùn)練用于圖像去噪的多重卷積神經(jīng)網(wǎng)絡(luò)。基于一級(jí)小波分解的訓(xùn)練框架可訓(xùn)練4 個(gè)CNN，每個(gè)CNN 旨在回歸原始圖像的多尺度表示之一。我們通過(guò)將分解后的低頻分量和高頻分量分別輸入到多個(gè)網(wǎng)絡(luò)中來(lái)獲得對(duì)應(yīng)的預(yù)測(cè)分量然后將上述分量使用平穩(wěn)小波逆變換來(lái)獲得最終的預(yù)測(cè)圖像，這一過(guò)程可以表示為

式中iswt2表示小波逆變換。

1.2 殘差學(xué)習(xí)

CNN 的殘差學(xué)習(xí)[21]最初被提出來(lái)解決卷積神經(jīng)性能下降的問(wèn)題，即隨著網(wǎng)絡(luò)深度的增加，甚至訓(xùn)練精度也開(kāi)始下降。殘差網(wǎng)絡(luò)學(xué)習(xí)了殘差映射，利用這種殘差學(xué)習(xí)策略，可以容易地訓(xùn)練極深CNN 并提升網(wǎng)絡(luò)的精度，優(yōu)化算法性能。一般算法的輸入是噪聲觀測(cè)圖像y=x+n，其中x表示原始圖像，n表示加性噪聲，例如判別去噪模型MLP[12]和CSF[22]旨在學(xué)習(xí)映射函數(shù)F(y)=x來(lái)獲得預(yù)測(cè)圖像。殘差學(xué)習(xí)旨在學(xué)習(xí)映射R(y)=n，只學(xué)習(xí)噪聲圖像和原始圖像間的殘差，不學(xué)習(xí)它們共有的信息。殘差學(xué)習(xí)的策略可以很大程度上提升算法效率，訓(xùn)練過(guò)程中加快網(wǎng)絡(luò)的收斂。

2 結(jié)合小波變換與殘差網(wǎng)絡(luò)的去噪算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)框架主要包括4 個(gè)結(jié)構(gòu)完全相同的殘差網(wǎng)絡(luò)，除最后一個(gè)卷積層外，每個(gè)卷積層后都有線性修正單元激活函數(shù)ReLU 作為激活函數(shù)。完整的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。每個(gè)殘差網(wǎng)絡(luò)都包含2 個(gè)殘差塊，每個(gè)殘差塊由2 個(gè)完全相同的卷積層構(gòu)成，如圖1中的橘色模塊。紅色虛線框內(nèi)的網(wǎng)絡(luò)結(jié)構(gòu)借鑒SRCNN[23]結(jié)構(gòu)，3 個(gè)卷積層使用的卷積核大小分別為9×9，1 ×1，5×5，使用的卷積核個(gè)數(shù)分別為64，32，1。綠色虛線框內(nèi)的每個(gè)卷積層均使用大小為3×3的卷積核，綠色虛線框內(nèi)最后一層卷積核數(shù)目為1，其他層的卷積核數(shù)目均為64。紅色虛線框內(nèi)的網(wǎng)絡(luò)已經(jīng)達(dá)到收斂，主要作用在于去除不同方向上高、低頻分量中的噪聲。綠色虛線框內(nèi)的殘差網(wǎng)絡(luò)主要作用在于對(duì)高、低頻的紋理細(xì)節(jié)信息進(jìn)行增強(qiáng)。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure diagram of proposed network

2.2 算法流程

本文提出的算法流程如圖2所示。訓(xùn)練過(guò)程中將原始圖像裁剪為大小相同的圖像塊，然后將這些圖像塊進(jìn)行非下采樣的小波分解，將原始圖像塊加上噪聲進(jìn)行同樣的小波分解，將分解后的圖像信息對(duì)應(yīng)起來(lái)輸入到事先設(shè)計(jì)好的網(wǎng)絡(luò)中，通過(guò)損失函數(shù)來(lái)進(jìn)行反向調(diào)節(jié)參數(shù)，最終達(dá)到網(wǎng)絡(luò)收斂。測(cè)試階段，將一幅含有噪聲的圖像輸入網(wǎng)絡(luò)，可直接獲得一幅預(yù)測(cè)的清晰圖像。本文算法采用均方誤差損失函數(shù)：

式中：Lloss為損失值；Li表示第i幅輸入圖像的低頻分量；R(Li)為網(wǎng)絡(luò)的輸出；Ri表示實(shí)際殘差；K為網(wǎng)絡(luò)進(jìn)行一次迭代訓(xùn)練輸入的圖像塊數(shù)量，實(shí)驗(yàn)中取K=64。其余3 個(gè)網(wǎng)絡(luò)使用與第一個(gè)網(wǎng)絡(luò)相同的損失函數(shù)，將Li替換為對(duì)應(yīng)的高頻分量即可。

圖2 去噪算法流程Fig.2 Flow chart of denoising algorithm

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)訓(xùn)練的數(shù)據(jù)集為BSDS68 自然圖像集，本文采用ADAM 算法對(duì)損失函數(shù)進(jìn)行優(yōu)化，參數(shù)beta1 為0.9，參數(shù)beta2 為0.999。本文的實(shí)驗(yàn)結(jié)果皆為100 000 次迭代，學(xué)習(xí)率為固定值0.001。實(shí)驗(yàn)仿真的計(jì)算機(jī)硬件配置為T(mén)ntelCorei5-7300 與Nvidia GeForceGTX1060，操作系統(tǒng)為Windows10，使用Caffe 深度學(xué)習(xí)框架來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該框架支持GPU 運(yùn)算，用于測(cè)試的軟件為Matlab R2017a。

常用的圖像去噪的評(píng)測(cè)標(biāo)準(zhǔn)包括主觀評(píng)價(jià)和客觀量化。主觀評(píng)價(jià)即人為觀測(cè)圖像，評(píng)定輸出圖像的質(zhì)量。本文采用兩項(xiàng)評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行量化：峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）。PSNR 是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，它是基于對(duì)應(yīng)像素點(diǎn)間的誤差，即基于誤差敏感的圖像質(zhì)量評(píng)價(jià)指標(biāo)。兩幅圖像間的PSNR 值（單位：dB）越高，則去噪后的圖像相對(duì)于原始圖像的失真越少。PSNR 的計(jì)算公式如（4）式和（5）式：

式中：X(i,j)，Y(i,j)表示像素矩陣；H和W分別表示圖像的高度和寬度；n取值為8。SSIM 也是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，它分別從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像的相似性，值越接近1，去噪圖像與原始圖像的相似度越高。SSIM 的計(jì)算公式如下式：

式中：μX和 μY分別表示圖像X和Y均值；σX和 σY分別表示圖像X和Y的方差；σXY表示兩幅圖像的協(xié)方差，C1，C2，C3為3 個(gè)常數(shù)。

3.1 不同算法處理結(jié)果對(duì)比

本文選取的對(duì)比算法有中值濾波（median filter，MF），基于小波的軟閾值去噪（soft thresholding，ST）[3]，EPLL[18]，NCSR[19]，WNNM[20]，用于測(cè)試的圖像隨機(jī)選取自set5，set14[13]和set12[14]。噪聲水平為σ=25時(shí)，我們選取4 幅圖像進(jìn)行視覺(jué)效果對(duì)比，如圖3所示?？梢钥闯觯兄禐V波去噪以及軟閾值小波去噪效果比較差，WNNM[20]算法模糊較為嚴(yán)重。紅線框內(nèi)對(duì)應(yīng)綠線內(nèi)的局部放大，從局部放大的細(xì)節(jié)來(lái)看，本文算法的視覺(jué)效果優(yōu)于所對(duì)比的其他 算法。

圖3 不同算法去噪效果對(duì)比Fig.3 Comparison of denoising performance with different algorithms

表1是6 幅添加了 σ=25的高斯白噪聲的測(cè)試圖像經(jīng)不同算法處理后的PSNR 值，本文算法的PSNR 均值可以達(dá)到28.93 dB。本文算法處理后的圖像有5 幅的PSNR 值均高于其他對(duì)比算法，PSNR的均值相較于對(duì)比算法提升了0.45 dB～6.87 dB。表2是6 幅測(cè)試圖像經(jīng)不同算法處理后的SSIM值，其中有4 幅圖像的SSIM 值高于其他算法。表3是不同算法處理這6 幅圖像的平均耗時(shí)，雖然EPLL[18]和NCSR[19]也能達(dá)到相對(duì)較好的處理結(jié)果，但平均耗時(shí)遠(yuǎn)遠(yuǎn)超出本文算法。

表1 不同算法實(shí)驗(yàn)結(jié)果的PSNRTable1 PSNR of experimental results with different algorithms dB

表2 不同算法實(shí)驗(yàn)結(jié)果的SSIMTable2 SSIM of experimental results with different algorithms

表3 不同算法實(shí)驗(yàn)結(jié)果的平均耗時(shí)Table3 Average time of experimental results with different algorithms

當(dāng)噪聲水平為σ =50時(shí)，我們選取lena，peppers，baby，bird 4 幅圖像進(jìn)行視覺(jué)效果對(duì)比，如圖4所示。整體來(lái)看，NCSR[19]可以達(dá)到與本文算法相當(dāng)?shù)囊曈X(jué)效果，但從局部放大的細(xì)節(jié)信息來(lái)看，經(jīng)本文算法處理過(guò)的圖像的紋理細(xì)節(jié)更加清晰，peppers和bird 的處理結(jié)果尤為明顯。

表4是6 幅添加了標(biāo)準(zhǔn)差為50 的高斯白噪聲的測(cè)試圖像經(jīng)不同算法處理后達(dá)到的PSNR 值，本文算法處理后的圖像有5 幅的PSNR 值均高于其他對(duì)比算法。PSNR 的均值相較于對(duì)比算法提升了0.31 dB～8.16 dB。表5是6 幅測(cè)試圖像經(jīng)不同算法處理后的SSIM 值，其中有4 幅圖像的SSIM值高于其他算法，平均值可達(dá)到0.808 0。

圖4 不同算法去噪效果對(duì)比Fig.4 Comparison of denoising performance with different algorithms

表4 不同算法實(shí)驗(yàn)結(jié)果的PSNRTable4 PSNR of experimental results with different algorithms dB

表5 不同算法實(shí)驗(yàn)結(jié)果的SSIMTable5 SSIM of experimental results with different algorithms

3.2 對(duì)自然噪聲的去噪

在實(shí)驗(yàn)中我們發(fā)現(xiàn)本文所提算法對(duì)未參加訓(xùn)練的自然噪聲也有很好的降噪效果，圖5為6 幅來(lái)自數(shù)據(jù)集RNI6[24]帶有自然噪聲的圖像，紅色框線內(nèi)對(duì)應(yīng)綠線框內(nèi)的局部放大信息，噪聲對(duì)圖像質(zhì)量影響較為嚴(yán)重。圖5是經(jīng)本文算法處理后的圖像，不僅有效去除了噪聲，而且圖像紋理細(xì)節(jié)完整。由于該數(shù)據(jù)集只有噪聲圖像，未提供原始清晰圖像，所以不再計(jì)算PSNR 和SSIM.

3.3 對(duì)遙感圖像的去噪

隨著航空航天通信技術(shù)的發(fā)展，人們的空間概念得到了極大的拓展，基于計(jì)算機(jī)技術(shù)、圖像處理技術(shù)、對(duì)地觀測(cè)技術(shù)而發(fā)展起來(lái)的遙感數(shù)字圖像相關(guān)技術(shù)也隨之得到了前所未有的關(guān)注與發(fā)展。但是在實(shí)際應(yīng)用中，遙感圖像的獲取與傳輸非常容易受到外界噪聲的干擾，從而使得整個(gè)圖像所包含的噪聲增大，質(zhì)量降低，增大遙感圖像的分析與處理難度，在遙感圖像應(yīng)用前對(duì)其進(jìn)行去噪具有重要意義。本文選取UCMerced_LandUse 遙感圖像集中不同場(chǎng)景下的5 幅圖像進(jìn)行去噪，實(shí)驗(yàn)結(jié)果如圖6所示。

圖5 本文算法對(duì)自然噪聲圖像的處理結(jié)果Fig.5 Image denoising results of real noisy images based on proposed algorithm

圖6 本文算法對(duì)遙感圖像的去噪結(jié)果Fig.6 Image denoising results of remote sensing image based on proposed algorithm

4 結(jié)論

結(jié)合平穩(wěn)小波變換和深度學(xué)習(xí)的優(yōu)勢(shì)，提出了一種泛化能力較強(qiáng)的去噪算法。其特點(diǎn)有：1）利用平穩(wěn)小波變換和殘差學(xué)習(xí)的組合優(yōu)勢(shì)；2）使用結(jié)構(gòu)較為簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)，計(jì)算復(fù)雜度低，參數(shù)數(shù)量較少，避免出現(xiàn)梯度爆炸；3）所提算法相較于一般算法泛化能力較強(qiáng)，適用于自然噪聲，以及遙感圖像在成像或傳輸過(guò)程中產(chǎn)生的噪聲。通過(guò)仿真實(shí)驗(yàn)對(duì)所提算法的去噪效果進(jìn)行評(píng)估，與傳統(tǒng)的中值濾波去噪算法以及軟閾值小波去噪等算法相比，本文算法能達(dá)到較好去噪效果的同時(shí)，還較好地保持了圖像的紋理細(xì)節(jié)信息，同時(shí)具有低耗時(shí)性的優(yōu)良性能，在主觀視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)上均優(yōu)于對(duì)比算法。本文算法可以為后續(xù)的圖像處理工作提供有效的預(yù)處理，具有一定的實(shí)用價(jià)值。今后將對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步訓(xùn)練，提升算法的去噪性能。