結(jié)合殘差密集塊的卷積神經(jīng)網(wǎng)絡(luò)圖像去噪方法

郭恒意，賈振堂

(上海電力大學(xué) 電子與信息工程學(xué)院，上海 200090)

0 引 言

圖像在生成、存儲和傳輸?shù)冗^程中，會在一定程度上退化失真，質(zhì)量下降，產(chǎn)生噪聲[1-4]。圖像去噪算法是圖像處理領(lǐng)域中的經(jīng)典問題之一，具有相當(dāng)長的研究歷史，并出現(xiàn)了很多經(jīng)典的圖像去噪算法，如空間域和變換域?yàn)V波方法，以及基于統(tǒng)計信息的去噪算法[5-11]，而塊匹配3D濾波方法(block-matching and 3D filtering，BM3D)[10]是其中先進(jìn)的經(jīng)典算法之一。通過對圖像分塊處理，并利用圖像塊之間的相似性進(jìn)行重構(gòu)，經(jīng)過濾波變換得到去噪圖像，有較好的信噪比和視覺效果。但隨著噪聲等級增高，圖像塊間的有用信息就會減少，這種利用圖像塊之間信息的去噪效果就會變差。隨著計算機(jī)計算能力的提高和深度學(xué)習(xí)的快速發(fā)展，很多前人已經(jīng)把深度神經(jīng)網(wǎng)絡(luò)用于解決圖像去噪問題。在文獻(xiàn)[12]中，提出一種多層感知器神經(jīng)網(wǎng)絡(luò)(multi layer perception，MLP)圖像去噪方法，并將其作為回歸問題，成對的含噪聲和無噪聲的圖片用于估計網(wǎng)絡(luò)參數(shù)。MLP訓(xùn)練網(wǎng)絡(luò)應(yīng)足夠大，分割圖像得到的區(qū)塊應(yīng)足夠大，以及訓(xùn)練集也應(yīng)足夠大。該方法的一個不足之處為無法適應(yīng)不同強(qiáng)度的噪聲，若將不同水平的噪聲圖像作為輸入進(jìn)行訓(xùn)練則無法達(dá)到對特定噪聲進(jìn)行訓(xùn)練時的效果。文獻(xiàn)[13]提出用較深層的CNN網(wǎng)絡(luò)實(shí)現(xiàn)去噪，稱為DnCNN。為了解決網(wǎng)絡(luò)層數(shù)加深導(dǎo)致的梯度彌散效應(yīng)，DnCNN并不對干凈圖像進(jìn)行學(xué)習(xí)，而是學(xué)習(xí)圖像中所包含的噪聲。實(shí)驗(yàn)結(jié)果表明，結(jié)合使用BN層與殘差學(xué)習(xí)可以提高模型的性能，DnCNN在不同噪聲水平上訓(xùn)練，得到的結(jié)果要優(yōu)于當(dāng)前去噪方法的最優(yōu)結(jié)果，如BM3D等。DnCNN網(wǎng)絡(luò)深度為17層，對于視覺識別任務(wù)，網(wǎng)絡(luò)的深度是至關(guān)重要的。網(wǎng)絡(luò)越深，結(jié)果越好，但是計算復(fù)雜度也隨之增大。如果計算能力受限，這種計算復(fù)雜度高的算法將不再適用。

基于以上問題，在文獻(xiàn)[14]和文獻(xiàn)[15]的啟發(fā)下，本文結(jié)合殘差密集塊、批量規(guī)范化、線性修正單元和殘差學(xué)習(xí)，提出了一種輕量級卷積神經(jīng)網(wǎng)絡(luò)去噪模型。

1 結(jié)合殘差密集塊網(wǎng)絡(luò)去噪模型

圖像去噪是通過對退化的含噪圖像進(jìn)行處理，估計得到原始圖像的過程。如果給定的是一個加性高斯白噪聲模型，含噪圖像可以表示為

Y=X+Z

(1)

其中，Y是含噪圖像，X為原始圖像，Z為加性高斯白噪聲。對于圖像去噪，其任務(wù)是從含噪圖像中抽離出潛在的干凈圖像。與噪聲相比，潛在的干凈圖像包含更多信息。如果卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測潛在干凈圖像，網(wǎng)絡(luò)的學(xué)習(xí)負(fù)擔(dān)遠(yuǎn)遠(yuǎn)高于預(yù)測噪聲的負(fù)擔(dān)。

卷積神經(jīng)網(wǎng)絡(luò)是線性濾波和非線性變換操作的交替序列。輸入層和輸出層包含一個或多個圖像。網(wǎng)絡(luò)的中間層稱為隱藏單元，每個隱藏單元的輸出稱為特征映射。卷積神經(jīng)網(wǎng)絡(luò)在做相關(guān)圖像處理任務(wù)時比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)有非常明顯的優(yōu)勢，權(quán)值共享和局部連接極大地降低了網(wǎng)絡(luò)模型計算量，減少了網(wǎng)絡(luò)訓(xùn)練參數(shù)。本文在綜合考慮充分提取特征和降低計算復(fù)雜度的基礎(chǔ)上，設(shè)計了結(jié)合殘差密集塊的卷積神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)的第一層為卷積核(3*3)的卷積層加線性修正單元(rectified linear unit，ReLU)；第二層為一個殘差密集塊(residual dense block，RDB)；接著設(shè)計了6層卷積核(3*3)的卷積層，每個卷積操作后均添加批量規(guī)范化(batch normalization，BN)層和ReLU激活；再經(jīng)過卷積核(3*3)的卷積和BN操作非線性映射輸出噪聲圖像；最后通過與輸入的跳過連接抽出潛在的干凈圖像。最終實(shí)驗(yàn)結(jié)果在部分測試數(shù)據(jù)上優(yōu)于文獻(xiàn)[12]和文獻(xiàn)[13]的去噪效果。

1.1 殘差密集塊(RDB)結(jié)構(gòu)

在卷積神經(jīng)網(wǎng)絡(luò)中的每一層都從之前卷積層的輸出獲得輸入，并通過卷積，激活映射出更深層次的特征，不同深度的層所表達(dá)的特征都不一樣，所以單一層表征并不能充分描述輸入圖像的特征信息和分布規(guī)律，而針對這樣的問題，本文提出了一種結(jié)合RDB模塊卷積神經(jīng)網(wǎng)絡(luò)，RDB模塊結(jié)構(gòu)如圖1所示。

圖1 RDB模塊結(jié)構(gòu)

后一層均與之前層相互連接，使這些縱向串接卷積層的特征均被充分利用[14]。RDB模塊的輸入輸出采用跳過連接加速整體網(wǎng)絡(luò)訓(xùn)練速度，卷積層的縱向延伸加深了網(wǎng)絡(luò)深度，密集跳過連接在本質(zhì)上拓寬了網(wǎng)絡(luò)的寬度，融合后的特征圖可充分表達(dá)原圖像的特征信息，但是同時增加了算法模型整體計算量，所以本文提出的網(wǎng)絡(luò)在卷積操作后全部采用ReLU作為激活函數(shù)。理論上，RDB模塊串接可以更有效地進(jìn)行特征提取，但考慮到網(wǎng)絡(luò)整體計算復(fù)雜度的問題，本文只采用了一個RDB模塊。后面我們也對在RDB模塊中采用不同數(shù)量的卷積對去噪效果的影響分別進(jìn)行了實(shí)驗(yàn)和數(shù)據(jù)分析。

1.2 激活函數(shù)的選擇

當(dāng)前，深度學(xué)習(xí)一個明確的目標(biāo)是從原始數(shù)據(jù)中抽離出關(guān)鍵特征因子，然而原始數(shù)據(jù)中的特征通常都是關(guān)系復(fù)雜地密集纏繞在一起。如果能夠去掉其中復(fù)雜的無關(guān)特征，提取關(guān)鍵性的稀疏特征，那么就降低了學(xué)習(xí)難度。ReLU激活函數(shù)可以通過去掉負(fù)值部分引入稀疏性，并且可以根據(jù)網(wǎng)絡(luò)的梯度訓(xùn)練自動選擇合理的激活值，即動態(tài)調(diào)節(jié)稀疏比率，保證目標(biāo)函數(shù)擬合誤差不斷減小。ReLU激活函數(shù)表達(dá)式如下

f(X)=Max(X,0)

(2)

函數(shù)圖像如圖2所示。

圖2 ReLU函數(shù)圖像

由函數(shù)圖像可知，ReLU是一個簡單的分段函數(shù)，當(dāng)X小于零時，函數(shù)值為零，即不激活；當(dāng)X大于零時，等價于斜率為1的正比例函數(shù)。ReLU可以有效地克服梯度消失問題，從而加快訓(xùn)練速度，表達(dá)形式簡單，計算速度快。

1.3 批量規(guī)范化

深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，往往需要多次調(diào)試參數(shù)的初始化。每一層輸入數(shù)據(jù)的分布，隨前層參數(shù)的變化而變化，層間輸入分布的變化，導(dǎo)致訓(xùn)練變得復(fù)雜，而使用小學(xué)習(xí)率參數(shù)，導(dǎo)致訓(xùn)練較慢；此外，飽和非線性模型的函數(shù)在飽和區(qū)的導(dǎo)數(shù)趨于0，也使得模型不易訓(xùn)練。批量規(guī)范化(BN)方法的提出者，將上述問題歸因于層間協(xié)變量偏移(internal covariate shift，ICS)問題。BN操作通過將總的訓(xùn)練樣本數(shù)據(jù)分成小批次(Batch)數(shù)據(jù)，然后將數(shù)據(jù)規(guī)范化為近似標(biāo)準(zhǔn)正態(tài)分布，再通過學(xué)習(xí)得到的參數(shù)，對數(shù)據(jù)進(jìn)行縮放和平移處理，恢復(fù)特征表達(dá)，緩解了梯度傳遞問題，以及飽和非線性激活問題；通過平滑優(yōu)化解空間，起到了正則化作用，使模型對大步長學(xué)習(xí)率敏感度降低，更加易于訓(xùn)練。

所以本文在設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)時，于卷積層和ReLU激活層的中間添加了BN層。對于批量標(biāo)準(zhǔn)化，每個激活只添加兩個參數(shù)，并且使用反向傳播進(jìn)行更新。BN與卷積的結(jié)合更有助于保留訓(xùn)練數(shù)據(jù)集中圖像的先驗(yàn)信息，對非稀疏分布的卷積映射輸出做歸一化處理，從而使層層相連的輸入輸出流動更穩(wěn)定。

1.4 跳過式連接的殘差學(xué)習(xí)

殘差學(xué)習(xí)框架提出的初衷是為了解決網(wǎng)絡(luò)深度問題，即隨著網(wǎng)絡(luò)深度的增加，訓(xùn)練精度也開始下降。通過假設(shè)幾個堆疊層的殘差映射更容易被學(xué)習(xí)，基于這樣的殘差學(xué)習(xí)策略，極其深度的卷積神經(jīng)網(wǎng)絡(luò)就可以很容易地進(jìn)行訓(xùn)練，并提高了圖像分類和目標(biāo)檢測的準(zhǔn)確性。

殘差網(wǎng)絡(luò)中的殘差映射是向目標(biāo)靠近的另一種學(xué)習(xí)策略，而且讓網(wǎng)絡(luò)學(xué)習(xí)信息量相對少的殘差函數(shù)總會比直接學(xué)習(xí)信息量大的原始目標(biāo)難度要低。如果殘差函數(shù)趨近于零，那么網(wǎng)絡(luò)輸出相當(dāng)于是對輸入的恒等映射。即使網(wǎng)絡(luò)加深，至少精度可以和之前保持一樣，這樣就解決了網(wǎng)絡(luò)加深時的退化問題。

而結(jié)合到圖像去噪，我們通過整體的跳過式連接來讓網(wǎng)絡(luò)學(xué)習(xí)信息量相對少的噪聲的圖像，再由含噪圖像和網(wǎng)絡(luò)輸出的差值來抽離出潛在的干凈圖像。而且在淺層特征提取時我們通過密集的跳過式連接不是為了解決深度問題，而是以這種方式來不斷引入之前層特征信息，再通過 ConCat 連接和特征融合，讓網(wǎng)絡(luò)自行學(xué)習(xí)所需圖像信息，從而獲得更豐富的圖像特征，為之后的學(xué)習(xí)噪聲分布奠定基礎(chǔ)。而且殘差學(xué)習(xí)和批量規(guī)范化結(jié)合使用可以實(shí)現(xiàn)快速穩(wěn)定的訓(xùn)練，去噪效果也更好[13]。

1.5 網(wǎng)絡(luò)模型整體結(jié)構(gòu)

結(jié)合殘差密集塊的卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)模型如圖3所示。

圖3 網(wǎng)絡(luò)整體結(jié)構(gòu)

(1)第1層為Conv+ReLU,對輸入的含噪圖像進(jìn)行初步特征提取。

(2)第2層為RDB層，RDB內(nèi)部為4個Conv+ReLU，最后經(jīng)過ConCat連接和Conv操作進(jìn)行特征融合，同時增加了網(wǎng)絡(luò)的深度和寬度，即密集提取輸入圖像的淺卷積層特征，然后拼接融合。

(3)第3層至第8層為Conv+BN+ReLU層，組成復(fù)雜的非線性結(jié)構(gòu)學(xué)習(xí)圖像中的噪聲分布。

(4)第9層為Conv層，并與輸入進(jìn)行跳過式連接。

除了RDB模塊中特征融合Conv采用(1*1)的卷積核，其余全部為(3*3)的卷積核，一至八層的卷積層中卷積核數(shù)量均為128，最后一層采用單個卷積核進(jìn)行卷積映射輸出圖像噪聲，與輸入跳過連接抽出潛在干凈圖像作為整體的最后輸出。

1.6 網(wǎng)絡(luò)的優(yōu)化算法

網(wǎng)絡(luò)的優(yōu)化算法是神經(jīng)網(wǎng)絡(luò)中除了網(wǎng)絡(luò)模型的另一個核心，神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化直接決定了整個網(wǎng)絡(luò)算法的質(zhì)量。在網(wǎng)絡(luò)整體參數(shù)上使用梯度下降法是一種實(shí)踐中常用的反向傳播算法，隨著不斷地迭代更新網(wǎng)絡(luò)參數(shù)，神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練數(shù)據(jù)集上的損失不斷減少，逐漸收斂到一個較小值，而此時網(wǎng)絡(luò)中的參數(shù)就是所提出用于解決相關(guān)問題算法的最優(yōu)解。但在解決一些非凸函數(shù)的問題時，梯度下降法并不能保證達(dá)到全局最優(yōu)，存在損失收斂于某個局部最小值的情況，而且在整個訓(xùn)練數(shù)據(jù)集上計算并最小化損失函數(shù)是一個龐大的計算量。而單獨(dú)在某個數(shù)據(jù)上計算優(yōu)化損失函數(shù)雖然加快了訓(xùn)練，但是最后得到的網(wǎng)絡(luò)參數(shù)將會更差，甚至可能達(dá)不到局部最優(yōu)解。綜合考慮以上問題，本文在訓(xùn)練網(wǎng)絡(luò)時選擇每次在一個Batch上計算優(yōu)化損失函數(shù)，這樣不僅可以避免收斂于局部最優(yōu)解，也不會使計算負(fù)擔(dān)過大。我們網(wǎng)絡(luò)模型所要解決優(yōu)化的損失函數(shù)如下

(3)

F(Xi;θ)=Xi-H(Xi;θ)

(4)

即期望圖像Yi(標(biāo)簽)與網(wǎng)絡(luò)估計輸出圖像F(Xi;θ) 的均方誤差，其中θ為網(wǎng)絡(luò)所要訓(xùn)練的參數(shù)權(quán)重和偏置的集合，Xi為輸入的含噪圖像，F(xiàn)(Xi;θ) 是網(wǎng)絡(luò)估計的噪聲，N為一個Batch的輸入樣本數(shù)量。網(wǎng)絡(luò)的優(yōu)化算法采用批量隨機(jī)梯度下降法(stochastic gradient descent，SGD)，參數(shù)θ的更新公式為

(5)

其中，ε為學(xué)習(xí)率，控制網(wǎng)絡(luò)參數(shù)更新的速度，設(shè)置太小會使網(wǎng)絡(luò)的訓(xùn)練效率變慢，而設(shè)置太大又會使網(wǎng)絡(luò)參數(shù)更新時在最優(yōu)解的兩側(cè)擺動，所以我們在訓(xùn)練時將其初始值設(shè)置為0.01，每10輪縮小為之前的1/10。

2 實(shí)驗(yàn)結(jié)果

本節(jié)詳細(xì)介紹了所做實(shí)驗(yàn)和訓(xùn)練信息。

2.1 訓(xùn)練相關(guān)

實(shí)驗(yàn)采用400張180*180的灰度圖像構(gòu)造網(wǎng)絡(luò)模型的數(shù)據(jù)集，為了便于訓(xùn)練，用40*40的剪裁框，滑動步長為10，將其中380張圖像剪裁成了215 552個40*40的子圖像塊作為訓(xùn)練集，其余20張作為測試集。本文為了驗(yàn)證RDB模塊是否能有效完成特定等級噪聲圖像去噪，對訓(xùn)練集圖片分別添加了噪聲等級為15，25，50的高斯白噪聲，用于不同噪聲等級網(wǎng)絡(luò)的訓(xùn)練。

模型訓(xùn)練是在TensorFlow框架上完成的，計算機(jī)配置的CPU為InterCore第八代i7處理器，GPU為通過英偉達(dá)GTX1080，運(yùn)行內(nèi)存為16 GB。Batch大小設(shè)為128，每一輪訓(xùn)練1684個Batch的樣本數(shù)據(jù)，共訓(xùn)練50輪。

2.2 不同數(shù)量Conv+ReLU層的RDB對去噪效果影響

為了考察不同RDB模塊對網(wǎng)絡(luò)去噪效果的影響，我們分別對含有2、3、4個Conv+ReLU層RDB模塊的網(wǎng)絡(luò)模型去噪性能進(jìn)行了對比，分別對應(yīng)于圖4中的RDB1、RDB2、RDB3。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 RDB模塊去噪效果

從結(jié)果可以看到，融合更多特征信息的RDB3取得了最好的平均峰值信噪比，這就驗(yàn)證了隨著RDB模塊中卷積層的增多，RDB的輸出就會包含更多層的特征信息，對原始輸入圖像信息分布規(guī)律有更完整的表達(dá)，考慮計算復(fù)雜度問題，沒有測試包含卷積層更多RDB模塊。

2.3 與其它方法進(jìn)行對比

為了更好的體現(xiàn)結(jié)合RDB模塊卷積神經(jīng)網(wǎng)絡(luò)去噪效果，我們基于圖像客觀評價標(biāo)準(zhǔn)峰值信噪比(PSNR)對文獻(xiàn)[10]、文獻(xiàn)[12]、文獻(xiàn)[13]和文獻(xiàn)[16]與本文提出的方法進(jìn)行了對比。表1～表3分別給出了幾種方法在噪聲等級為15、25、50的去噪PSNR(dB)的對比結(jié)果。部分?jǐn)?shù)據(jù)來源于文獻(xiàn)[13]和文獻(xiàn)[15]。

從表1～表3可以看出，本文提出的去噪方法在噪聲等級為15和25時均取得了最優(yōu)的去噪效果。與文獻(xiàn)[10]提出的最好的經(jīng)典算法BMD3相比，在3種噪聲等級下平均PSNR分別高出了1.05、0.78和0.43；而與文獻(xiàn)[13]提出的在深度卷積神經(jīng)網(wǎng)絡(luò)圖像去噪領(lǐng)域影響非常大的DnCNN方法相比較，在噪聲等級為15和25時，本文提出的去噪方法平均PSNR分別高出了0.36和0.10，僅在噪聲等級為50時，平均PSNR低了0.23。但與深度為17的DnCNN方法的計算復(fù)雜度相比，本文提出的方法消耗更少計算資源，同時在部分噪聲等級去噪上達(dá)到了更好的去噪效果。噪聲等級為15時的去噪效果如圖5所示。圖5中相同圖片從左到右分別是原圖，疊加噪聲圖和去噪圖，由圖5中的6組圖像可得，本文提出的方法在去噪時很好地保留了圖像的紋理細(xì)節(jié)，圖像中的攝像師所站的草地以及身后的背景建筑，鸚鵡的嘴唇上凹痕，還有人物佩戴的首飾等都得到了清晰自然地保留。

3 結(jié)束語

從表格數(shù)據(jù)對比和去噪效果展示可以看出，本文中的殘差密集塊可以充分利用不同層次中圖像特征信息，在圖像去噪中有很好的表現(xiàn)，而且隨著RDB模塊中卷積塊的增加，圖像去噪的PSNR有明顯提高。本文提出的結(jié)合殘差密集塊的卷積神經(jīng)網(wǎng)絡(luò)，通過密集提取不同層次圖像特征，學(xué)習(xí)圖像噪聲，從含噪圖像中抽出潛在的干凈圖像，減輕了計算負(fù)擔(dān)，提高了平均峰值信噪比，很好地完成了圖像去噪任務(wù)。與先進(jìn)算法DnCNN相比，在噪聲等級為15和25時分別高出了0.36和0.1。

表1 噪聲等級為15的各種去噪方法PSNR對比結(jié)果/dB

表2 噪聲等級為25的各種去噪方法PSNR對比結(jié)果/dB

表3 噪聲等級為50的各種去噪方法PSNR對比結(jié)果/dB

圖5 噪聲等級為15時的圖像去噪效果

本文提出的簡化模型結(jié)構(gòu)，降低計算復(fù)雜度使得模型擬合高濃度噪聲能力不佳，當(dāng)然現(xiàn)在的去噪模型都存在隨著噪聲濃度增加去噪PSNR降低的問題，之后我們會結(jié)合這些問題繼續(xù)研究，優(yōu)化網(wǎng)絡(luò)模型和學(xué)習(xí)方法。