基于小波域ADMM深度網(wǎng)絡(luò)的圖像復(fù)原算法

卿粼波，吳夢凡，劉 剛，劉 曉，何小海，任 超*

(1.四川大學(xué) 電子信息學(xué)院，四川 成都 610065；2.上海衛(wèi)星工程研究所，上海 201109)

圖像在形成、處理和傳輸過程中，由于成像系統(tǒng)、傳輸介質(zhì)和處理方法等的限制，通常會(huì)導(dǎo)致圖像質(zhì)量的下降。但在實(shí)際應(yīng)用中，由于人們對圖像質(zhì)量的要求越來越高，如何進(jìn)行高質(zhì)量圖像的恢復(fù)具有重要意義。圖像復(fù)原是一種從低質(zhì)量觀測圖像中恢復(fù)出清晰圖像的技術(shù)，在遙感圖像處理、醫(yī)療診斷、智能監(jiān)控等領(lǐng)域有著重要的應(yīng)用。圖像復(fù)原本身是一個(gè)病態(tài)的逆問題，具有不適定性。目前通常采用正則化方法解決此類問題，它利用未知圖像的先驗(yàn)信息約束解空間，使得到的解更接近真實(shí)解，通常這類方法被稱為基于模型的方法。由于此類方法利用圖像自身信息提出具體的先驗(yàn)項(xiàng)并直接通過相應(yīng)的優(yōu)化算法進(jìn)行求解，因此圖像先驗(yàn)在復(fù)原中具有重要作用。目前已經(jīng)提出了各種各樣的先驗(yàn)項(xiàng)，如稀疏先驗(yàn)[1-2]、非局部自相似性先驗(yàn)[3-5]及低秩先驗(yàn)[6-7]等等。這些先驗(yàn)項(xiàng)被有效利用于各種復(fù)原算法中，且獲得了較好的重建結(jié)果。例如，Papyan等[8]通過考慮引入多尺度先驗(yàn)來對通?；趬K的復(fù)原方法進(jìn)行改進(jìn)，獲得了更好的復(fù)原結(jié)果。Dong等[9]將非局部相似性先驗(yàn)和稀疏先驗(yàn)有效融合在一起，提出了一種非局部集中稀疏表示模型用于復(fù)原任務(wù)。Tirer等[10]提出了一種迭代優(yōu)化算法框架，該框架可使用現(xiàn)有的BM3D算法作為去噪器來對復(fù)原逆問題求解。但是，此類方法通常運(yùn)算復(fù)雜度高，比較耗時(shí)。且如何設(shè)計(jì)出高性能的圖像先驗(yàn)項(xiàng)涉及到很多問題需要解決，本身十分困難。

另一類圖像復(fù)原方法為基于學(xué)習(xí)的方法，該類方法根據(jù)訓(xùn)練樣本對高質(zhì)量圖像進(jìn)行估計(jì)，近年來也得到了廣泛的應(yīng)用。例如，Kim等[11]提出了一種基于殘差學(xué)習(xí)的圖像超分辨率重建網(wǎng)絡(luò)，該網(wǎng)絡(luò)學(xué)習(xí)輸入圖像的殘差信息，然后將學(xué)習(xí)的殘差信息和輸入圖像進(jìn)行相加得到重建的圖像。Zhang等[12]構(gòu)建了一種端到端的卷積神經(jīng)網(wǎng)絡(luò)DnCNN，其采用殘差學(xué)習(xí)策略有效解決了不同程度的噪聲殘留。Lefkimmiatis等[13]基于非局部模型進(jìn)行了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，用卷積神經(jīng)網(wǎng)絡(luò)來執(zhí)行非局部處理過程，提出了相應(yīng)的網(wǎng)絡(luò)UNLNet用于圖像噪聲去除。Wang等[14]設(shè)計(jì)了一種新的網(wǎng)絡(luò)結(jié)構(gòu)CFSNet，該網(wǎng)絡(luò)分為主分支和調(diào)整分支。在主分支輸入降質(zhì)圖像，在調(diào)整分支輸入控制尺度因子，通過調(diào)整每個(gè)模塊的特征實(shí)現(xiàn)對復(fù)原結(jié)果的交互控制。此外，Zhang等[15]設(shè)計(jì)了一種密集殘差網(wǎng)絡(luò)RDN，通過密集連接增強(qiáng)了網(wǎng)絡(luò)對圖像局部特征的捕捉。Fan等[16]提出了一種尺度卷積網(wǎng)絡(luò)SCN，首先將輸入圖像映射到特征空間建立相應(yīng)的特征金字塔表示，然后將其送到具有尺度卷積的殘差網(wǎng)絡(luò)中完成圖像重建。Zou等[17]在常見編解碼結(jié)構(gòu)網(wǎng)絡(luò)基礎(chǔ)上引入了空洞卷積以有效增大網(wǎng)絡(luò)感受野，且通過設(shè)計(jì)一種新的小波重建模塊，保證重建圖像在獲得模糊去除的同時(shí)恢復(fù)出了更多紋理細(xì)節(jié)信息。Mei等[18]提出了非局部稀疏注意力模塊應(yīng)用于超分辨率重建任務(wù)。但這些方法大多未在網(wǎng)絡(luò)設(shè)計(jì)中考慮傳統(tǒng)方法中的圖像退化模型信息，且網(wǎng)絡(luò)可解釋性較差，不利于網(wǎng)絡(luò)性能的進(jìn)一步優(yōu)化提升。

基于學(xué)習(xí)的方法[19]在圖像復(fù)原任務(wù)中表現(xiàn)出了優(yōu)秀的性能，然而現(xiàn)有方法大多都是直接從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)高低質(zhì)量圖像間的映射關(guān)系得到對應(yīng)的預(yù)測模型，并未考慮到圖像退化模型。為了更好地結(jié)合兩種方法的優(yōu)勢，也有一些研究嘗試將兩種方法有機(jī)融合起來，解決各自固有的一些不足之處，突破深度網(wǎng)絡(luò)設(shè)計(jì)中的瓶頸提升性能[20-21]，為本文提供了一種新的研究思路。如Dong等[20]嘗試通過SBI算法將經(jīng)典復(fù)原問題分解為幾個(gè)子問題，并結(jié)合深度學(xué)習(xí)方法進(jìn)行求解。但是，在深度學(xué)習(xí)方法與傳統(tǒng)方法的具體融合方式、實(shí)現(xiàn)方法等的選擇上仍存在很多問題，需要進(jìn)一步深入研究。

本文在以上研究基礎(chǔ)上對結(jié)合圖像退化模型的深度學(xué)習(xí)方法進(jìn)一步研究，提出了一種基于小波域交替方向乘子法（alternating direction method of multiplier, ADMM）深度網(wǎng)絡(luò)的圖像復(fù)原算法。該算法首先提出了一種小波域圖像復(fù)原模型，將復(fù)原問題變換到小波域上進(jìn)行研究。其次，根據(jù)小波域復(fù)原模型利用交替方向乘子法將該復(fù)原問題分解幾個(gè)子問題分別進(jìn)行優(yōu)化求解。最后，基于上述優(yōu)化求解過程進(jìn)行網(wǎng)絡(luò)的設(shè)計(jì)，構(gòu)建一個(gè)相應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)用于圖像復(fù)原。

針對圖像復(fù)原問題，通常其圖像退化模型可表示為：

1 基于去噪先驗(yàn)的圖像復(fù)原方法

式中，y表示低質(zhì)量觀測圖像，x表示原始清晰圖像，H為退化矩陣，n為加性高斯白噪聲。對于不同的復(fù)原任務(wù)，退化矩陣呈現(xiàn)出不同的表現(xiàn)形式，例如：在去噪中，H為一個(gè)恒等映射矩陣；在去模糊中，H表示一個(gè)模糊操作算子；而在超分辨率中，H同時(shí)包含模糊和下采樣算子。

基于此退化模型，可進(jìn)一步將圖像復(fù)原問題轉(zhuǎn)化為求解如下的優(yōu)化問題：

式中： ‖y-Hx‖22為數(shù)據(jù)保真項(xiàng)，保證復(fù)原圖像與觀測圖像的接近程度； Θ(x)為 正則化項(xiàng)，提供先驗(yàn)信息；λ為正則化參數(shù)，保持這兩項(xiàng)的平衡。

針對式（2），借助變量分裂技術(shù)[22-23]，使之可以獨(dú)立地對數(shù)據(jù)保真項(xiàng)和正則化項(xiàng)進(jìn)行處理。經(jīng)過變換后，正則化項(xiàng)僅僅對應(yīng)于一個(gè)去噪子問題，因此可以將有效的去噪器嵌入到基于模型的方法中進(jìn)行優(yōu)化求解，解決各種逆問題。

基于去噪先驗(yàn)的圖像復(fù)原方法通常借助變量分裂算法把圖像復(fù)原問題分解為多個(gè)子問題，且通過去噪網(wǎng)絡(luò)對其中的去噪子問題求解，在圖像退化模型下以允許使用更加復(fù)雜的先驗(yàn)信息，對圖像復(fù)原問題進(jìn)行更加全面的約束，進(jìn)而得到質(zhì)量更好地復(fù)原圖像。通過引入一個(gè)新的輔助變量z，可將式（2）轉(zhuǎn)換成如下的一個(gè)有約束優(yōu)化問題：

式中， μ為一個(gè)正則項(xiàng)參數(shù)，k為迭代次數(shù)。經(jīng)過此步驟，正則化項(xiàng)和數(shù)據(jù)項(xiàng)被分別分到兩個(gè)不同的子問題中，在迭代過程中依次對這兩個(gè)子問題進(jìn)行求解，并將解送往下一次迭代對x、z進(jìn)行更新，重復(fù)此過程即可得到最終的重建圖像x。 對于x子問題，常采用梯度下降法、共軛梯度法等優(yōu)化算法對其進(jìn)行求解。對于z子問題，式（5）可以看作是對含噪聲圖像xk+1的去噪問題求解，即可通過一個(gè)去噪網(wǎng)絡(luò)進(jìn)行求解。由于傳統(tǒng)的圖像復(fù)原算法是基于像素域，因此計(jì)算復(fù)雜度較高。除此之外，傳統(tǒng)的變量分裂技術(shù)嚴(yán)重地限制了算法的適用范圍且魯棒性較弱。因此，本文提出了新的基于小波域ADMM深度網(wǎng)絡(luò)復(fù)原算法。

2 基于小波域ADMM深度網(wǎng)絡(luò)的圖像復(fù)原算法

本文結(jié)合小波域圖像復(fù)原模型，構(gòu)造了新的退化模型和復(fù)原代價(jià)函數(shù)，并結(jié)合ADMM優(yōu)化算法，分解出相應(yīng)的求解子過程，和傳統(tǒng)的半二次分裂方法相比， ADMM 方法適用于更大范圍的、更復(fù)雜的基于模型的圖像復(fù)原方法且具有更好的魯棒性，從而更有利于指導(dǎo)后續(xù)的圖像復(fù)原網(wǎng)絡(luò)設(shè)計(jì)。

2.1 基于小波域的圖像復(fù)原模型

對于圖像復(fù)原問題，大多數(shù)方法都直接在像素域上進(jìn)行處理。但是直接在圖像像素域上進(jìn)行處理，尤其對于基于學(xué)習(xí)的方法特別容易造成結(jié)果的過度平滑，引起一些細(xì)節(jié)的損失[25]。此外，在像素域上構(gòu)建的網(wǎng)絡(luò)將輸入圖像直接送往網(wǎng)絡(luò)處理，而由于網(wǎng)絡(luò)中特征圖尺寸和輸入圖尺寸保持一致，使得網(wǎng)絡(luò)中的各種操作都在一個(gè)較大的尺寸上進(jìn)行，極大增加了網(wǎng)絡(luò)運(yùn)算量。一方面，鑒于小波變換本身對圖像特征就有一定的提取和分離特性，能夠促進(jìn)網(wǎng)絡(luò)的學(xué)習(xí)，幫助更好地捕捉恢復(fù)細(xì)節(jié)信息；另一方面，由于輸入圖像經(jīng)小波變換后圖像空間尺寸會(huì)減小為原來的一半，使得網(wǎng)絡(luò)中特征圖尺寸也會(huì)相應(yīng)地減小為原來的一半，進(jìn)而能降低整個(gè)網(wǎng)絡(luò)的運(yùn)算復(fù)雜度、加快速度。因此，本文在小波域下進(jìn)行圖像復(fù)原的研究，提出了基于小波域的圖像復(fù)原模型。

取小波變換算子W對式（1）進(jìn)行處理，得到小波域下的退化模型為：

式（7）即為提出的小波域圖像退化模型，其表征了在小波域下由高質(zhì)量小波圖像降質(zhì)到低質(zhì)量小波圖像的圖像退化過程。其中，yw、xw分別表示低質(zhì)量小波圖像和原始高質(zhì)量小波圖像。在本文中，選擇使用Haar小波算子來實(shí)現(xiàn)像素域上的圖像與其相對應(yīng)的小波圖像間的轉(zhuǎn)換，即設(shè)置式（6）中的W為一個(gè)Haar小波算子。H～為一個(gè)等效的小波域降質(zhì)算子，nw為對應(yīng)的小波域噪聲。對于圖像復(fù)原問題，若能從低質(zhì)量觀測小波圖像yw中恢復(fù)出高質(zhì)量小波圖像xw，則可再通過后續(xù)的一個(gè)小波逆變換實(shí)現(xiàn)最終清晰圖像的重建。

基于小波域的圖像退化模型（即式（7）），可以通過求解如下的小波域圖像復(fù)原優(yōu)化問題（式（8）、（9））進(jìn)行清晰圖像x的重建：

2.2 基于ADMM的小波域圖像復(fù)原模型的優(yōu)化

基于上述提出的小波域圖像復(fù)原模型，可以通過對式（8）進(jìn)行優(yōu)化求解得到一個(gè)小波域圖像估計(jì)xw，然后鑒于小波變換的可逆性，通過式（9）即可獲得像素域上的干凈圖像x。但是，若要通過式（8）、（9）直接求解，需要設(shè)計(jì)小波域先驗(yàn) Θ(xw)，并通過合適的優(yōu)化算法給出式（8）的迭代最優(yōu)解，這是一項(xiàng)極具挑戰(zhàn)性的工作。雖然基于像素域已有大量工作提出了很多有效的先驗(yàn)項(xiàng)，但針對小波域先驗(yàn)項(xiàng)構(gòu)建的研究還很少，設(shè)計(jì)小波域先驗(yàn)項(xiàng)仍是一項(xiàng)困難的任務(wù)，這也進(jìn)一步限制了接下來的優(yōu)化求解問題。由于近年來基于深度學(xué)習(xí)的方法在圖像復(fù)原中表現(xiàn)出了很好的性能，其可直接基于訓(xùn)練數(shù)據(jù)對高質(zhì)量圖像做出估計(jì)，在保證較好復(fù)原效果的同時(shí)有效避免了手動(dòng)設(shè)計(jì)先驗(yàn)項(xiàng)困難的問題。故本文采用深度網(wǎng)絡(luò)來解決式（8）、（9）的求解問題。但是，現(xiàn)有大多數(shù)深度網(wǎng)絡(luò)都是數(shù)據(jù)驅(qū)動(dòng)的，在結(jié)構(gòu)上并未考慮融合圖像自身特性和相關(guān)退化模型的信息，解釋性差的同時(shí)也限制了性能的進(jìn)一步提升。為了有效利用小波域圖像退化模型的信息，同時(shí)增強(qiáng)深度網(wǎng)絡(luò)的可解釋性，并未采用通常方法直接構(gòu)建網(wǎng)絡(luò)以解決問題，而是考慮借助ADMM算法來指導(dǎo)網(wǎng)絡(luò)的設(shè)計(jì)，將圖像退化模型信息融入網(wǎng)絡(luò)中。

ADMM算法的特性能夠幫助把一個(gè)復(fù)雜的問題分解為多個(gè)子問題，降低其優(yōu)化求解難度。借助ADMM算法，圖像復(fù)原問題可分解為去噪子問題和一個(gè)簡單的復(fù)原子問題，且任意去噪算法均可被靈活地插入到復(fù)原框架內(nèi)，允許更加復(fù)雜先驗(yàn)的引入。文獻(xiàn)[26]指出在基于模型的框架內(nèi)進(jìn)行特定模塊的融入時(shí)，ADMM能很好地保證算法的魯棒性。受到ADMM算法的啟發(fā)，本文基于ADMM進(jìn)行式（8）的優(yōu)化求解。

對小波域下的代價(jià)函數(shù)（即式（8））引入輔助變

基于ADMM算法，以上步驟完成了對式（8）所示的小波域圖像復(fù)原模型的優(yōu)化求解。對于輸入低質(zhì)量圖像，在對其進(jìn)行小波變換后，即可通過式（13）、（15）、（16）進(jìn)行迭代求解，不斷更新xw、z、u3個(gè)參數(shù)得到一個(gè)小波域圖像最佳估計(jì)xw，最后通過小波逆變換得到重建的清晰圖像。但是，考慮到迭代求解的運(yùn)算復(fù)雜度和深度網(wǎng)絡(luò)的良好性能，本文并不直接這樣進(jìn)行迭代求解，而是考慮將此優(yōu)化過程展開為網(wǎng)絡(luò)的形式，構(gòu)建一個(gè)深度網(wǎng)絡(luò)直接實(shí)現(xiàn)端到端的圖像復(fù)原。

2.3 構(gòu)建基于小波域ADMM的卷積神經(jīng)網(wǎng)絡(luò)

圖1 基于小波域ADMM的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1 Framework of our proposed deep ADMM network

對于z子問題的求解（即式（16）的計(jì)算），鑒于卷積神經(jīng)網(wǎng)絡(luò)在去噪問題中良好的性能，選擇使用基于CNN的去噪網(wǎng)絡(luò)用于求解。基于密集殘差塊[15]，構(gòu)建了小波域去噪子網(wǎng)絡(luò)作為式（16）中的網(wǎng)絡(luò)D的具體實(shí)現(xiàn)。該小波域去噪網(wǎng)絡(luò)首先通過兩個(gè)3×3的卷積層進(jìn)行淺層特征的提取，然后通過Y個(gè)殘差塊（dense residual blocks，RDB）實(shí)現(xiàn)進(jìn)一步學(xué)習(xí)，最后通過兩個(gè)3×3的卷積層完成重建。其中，每一個(gè)殘差塊的輸出都被送到Concat層，然后通過1×1卷積層進(jìn)行自適應(yīng)特征融合，該網(wǎng)絡(luò)輸入為小波特征和由式（13）定義的參數(shù)u，網(wǎng)絡(luò)輸出也為一個(gè)小波特征圖。因此，整個(gè)網(wǎng)絡(luò)是在小波域上實(shí)現(xiàn)圖像去噪的。由于是在空間尺寸更小的小波特征圖上進(jìn)行處理，該網(wǎng)絡(luò)運(yùn)算復(fù)雜度更低；且鑒于小波特征本身即可表征不同種類的信息，細(xì)節(jié)信息得到了更好的保留和學(xué)習(xí)。與一般的去噪網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)能獲得更好的性能且能有效提升速度。在訓(xùn)練中設(shè)置RDB的個(gè)數(shù)為4，損失函數(shù)為MSE。

3 實(shí)驗(yàn)結(jié)果與分析

為了對本文提出的算法的有效性進(jìn)行分析，將其應(yīng)用到去模糊任務(wù)和去噪任務(wù)中，并進(jìn)行大量實(shí)驗(yàn)。實(shí)驗(yàn)中，算法的基本參數(shù)設(shè)置為：復(fù)原子網(wǎng)絡(luò)個(gè)數(shù)N=3。網(wǎng)絡(luò)訓(xùn)練過程中，采用數(shù)據(jù)集DIV2K[27]中的800張HR圖像作為訓(xùn)練樣本。DIV2K由800張訓(xùn)練圖像、100張驗(yàn)證圖像和100張測試圖像組成，圖像分辨率為2K。優(yōu)化算法選用的是ADAM[28]，其中參數(shù)設(shè)置為： β1=0.9 ， β2=0.999， ε =10-8。初始學(xué)習(xí)率設(shè)置為1 0-4，且每過3個(gè)epoch，學(xué)習(xí)率降低四分之一。選用峰值信噪比（peak signal to noise ratio，PSNR）[27]作為客觀評價(jià)指標(biāo)驗(yàn)證算法性能。網(wǎng)絡(luò)執(zhí)行環(huán)境是Pytorch，使用一塊Nvidia 1080Ti GPU。

3.1 圖像去模糊實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法在圖像去模糊上的效果，在圖2所示的測試圖像[29]上進(jìn)行了實(shí)驗(yàn)，該測試圖像集共包括10張圖像，大小為256×256像素。實(shí)驗(yàn)中，采用兩種類型的模糊核產(chǎn)生模糊圖像：類型1為標(biāo)準(zhǔn)差σ=1.6、大小為25×25像素的高斯模糊核，添加標(biāo)準(zhǔn)差 σn=2的高斯噪聲；類型2為文獻(xiàn)[28]中所述8種模糊核中的第1種大小為19×19像素的運(yùn)動(dòng)模糊核，添加標(biāo)準(zhǔn)差 σn=2.55的高斯噪聲。將本文提出的方法與MSEPLL[8]、IDBP-BM3D[10]、NCSR[9]（僅高斯去模糊）、VDSR[11]（僅運(yùn)動(dòng)去模糊）、IRCNN[21]、DPDNN[20]以及RDN[15]進(jìn)行了比較。

圖2 用于去模糊的測試圖像Fig. 2 Test images used for deblurring

對于高斯模糊情況，表1列出各種方法對測試圖像進(jìn)行去高斯模糊（ σ=1.6，25×25像素的高斯模糊核，并添加 σn=2高斯噪聲）的PSNR。其中，IDBPBM3D、MSEPLL、NCSR未利用到CNN網(wǎng)絡(luò)的方法在測試圖像上的平均PSNR明顯低于其他基于深度學(xué)習(xí)的方法。本文方法取得了最好的效果，在測試圖像上的平均PSNR值比IRCNN高出0.74 dB，比DPDNN高出0.46 dB，比RDN高出0.25 dB。

表1 σ =1.6 的 25×25像素高斯模糊核（高斯噪聲 σ n=2）下不同方法的去模糊效果Tab. 1 Deblurring results of different methods with 25×25 pixels Gaussian blur kernel and σ =1.6 (Gaussian noise σ n=2)dB

此外，為了對去模糊效果有更直觀的感受，圖3給出了各種方法在測試圖像Barbara上的去高斯模糊（ σ=1.6 ， 25×25像素的高斯模糊核，并添加 σn=2高斯噪聲）的效果圖。由圖3所見，IDBP-BM3D和MSEPLL能夠大體實(shí)現(xiàn)圖像的去模糊，但是細(xì)節(jié)恢復(fù)不清晰。NCSR和IRCNN較前面兩種方法性能有所提升，但是仍然有很多細(xì)節(jié)并未恢復(fù)出來。RDN和DPDNN在去模糊上表現(xiàn)出不錯(cuò)的性能，但是通過對比發(fā)現(xiàn)，本文方法對于細(xì)節(jié)的恢復(fù)更加精細(xì)。綜上所述，本文方法不論是在主觀視覺效果還是客觀指標(biāo)上都優(yōu)于其他方法。

圖3 σ=1.6 的 25×25像素高斯模糊核（高斯噪聲 σ n=2）下不同方法對圖像Barbara的去模糊效果Fig. 3 Deblurring results of different methods on the test image Barbara with 25×25 pixels Gaussian blur kernel and σ=1.6 (Gaussian noise σ n=2)

對于運(yùn)動(dòng)模糊情況，表2給出了各種方法對測試圖像進(jìn)行去運(yùn)動(dòng)模糊（19×19像素運(yùn)動(dòng)模糊核，并添加 σn=2.55高斯噪聲）的PSNR值。由表2可見，同去高斯模糊類似，VDSR、IRCNN、DPDNN、RDN及本文方法利用了CNN，因此在測試圖像上的平均PSNR高于其他兩種。其中，VDSR取得了相對最低的平均PSNR，RDN取得了最優(yōu)的性能。但是綜合對比，本文方法仍然取得了最高的PSNR值，比VDSR高0.71 dB，比IRCNN高0.53 dB，比DPDNN大約高0.3 dB，比RDN高0.18 dB。

表2 19×19像素運(yùn)動(dòng)模糊核（高斯噪聲 σn=2.55）下不同方法的去模糊效果Tab. 2 Deblurring results of different methods for 19×19 pixels motion-blur removing (Gaussian noise σ n=2.55)dB

此外，圖4也給出了各種方法在測試圖像Boats上去除運(yùn)動(dòng)模糊（19×19像素運(yùn)動(dòng)模糊核，并添加σn=2.55高斯噪聲）后的效果圖。對比視覺效果，本文方法可以更好地去除運(yùn)動(dòng)模糊，且能更好地重建細(xì)節(jié)邊緣信息。

圖4 19×19像素運(yùn)動(dòng)模糊核（高斯噪聲 σ n=2.55）下不同方法對圖像Boats去模糊效果Fig. 4 Deblurring results of different methods on the test image Boats with 19×19 pixels motion blur kernel (Gaussian noise σ n=2.55)

表3給出了本文方法與最優(yōu)算法RDN在數(shù)據(jù)集BSD68和Urban100上去除高斯和運(yùn)動(dòng)模糊的平均PSNR。

表3 在數(shù)據(jù)集BSD68和Urban100上不同方法去高斯和運(yùn)動(dòng)模糊的平均PSNR結(jié)果Tab. 3 PSNR results of different methods on the database BSD68 and Urban100 for Gaussian and motion blur removing dB

從表3中可以看到：在數(shù)據(jù)集BSD68上，本文方法的PSNR提升了0.12 dB（高斯模糊）、0.2 dB（運(yùn)動(dòng)模糊）。在數(shù)據(jù)集Urban100上，本文方法的PSNR提升0.04 dB（高斯模糊）、0.18 dB（運(yùn)動(dòng)模糊）。因此，本文方法重建出的圖像也取得了較好的視覺效果，既沒有模糊去除不夠徹底的情況，也保證了圖像的一些基本細(xì)節(jié)信息都未丟失。

3.2 圖像去噪實(shí)驗(yàn)結(jié)果與分析

針對圖像去噪任務(wù)，選取標(biāo)準(zhǔn)差 σn=50的高斯噪聲用于噪聲圖像的產(chǎn)生，在圖5所示的測試圖像[30]、數(shù)據(jù)集BSD68[30]和數(shù)據(jù)集Urban100[31]上進(jìn)行大量實(shí)驗(yàn)。圖5中的測試圖像集包括12張圖像，其中，圖5（a）～（g）大小為256×256像素，圖5（h）～（l）大小為512×512像素。數(shù)據(jù)集BSD68包含68張測試圖像，圖像大小約為768×512像素。Urban100包括100張測試圖像，圖像大小基本保持在1 024×700像素左右。為了驗(yàn)證本文方法在去噪任務(wù)上的效果，將其與TNRD[19]、DnCNN[12]、IRCNN[21]、UNLNet[13]、CFSNet[14]、DPDNN[20]和SCN[16]等方法進(jìn)行了對比

當(dāng)高斯噪聲 σn=50時(shí)，各方法在圖5所示的測試圖像上去噪的平均PSNR見表4。

圖5 用于去噪的測試圖像Fig. 5 Test images used for denoising

表4 在去噪測試圖像上不同方法去除 σ n=50高斯噪聲的PSNR結(jié)果Tab. 4 PSNR results of different methods on the denoising test images for σ n=50 Gaussian noise removing dB

由定量結(jié)果可知，TNRD對于噪聲去除的能力與其他方法相比較差，剩下的基于深度學(xué)習(xí)的眾多方法均能取得不錯(cuò)的效果。其中UNLNet在剩余其他方法中取得了最低的平均PSNR值，DnCNN、IRCNN和CFSNet呈現(xiàn)出比較接近的結(jié)果，DPDNN和RDN取得了相較更高的PSNR。而本文方法取得了最高的平均PSNR，比DPDNN和SCN高了近0.1 dB。

同時(shí)，圖6展示了不同方法對于測試圖像Parrot的去除 σn=50高斯噪聲的效果圖。從視覺效果可以看出，相比其他算法，本文方法可以更好地去除高斯噪聲，且更好地保留了圖像原本的細(xì)節(jié)信息。

圖6 σ n=50高斯噪聲下不同方法對圖像Parrot去噪效果Fig. 6 Denoising results of different methods on the test image Parrot with σ n=50 Gaussian noise

此外，表5給出了各方法在數(shù)據(jù)集BSD68和Urban100上去除 σn=50高斯噪聲的平均PSNR。從表5中可以看到，在這兩個(gè)數(shù)據(jù)集上，本文方法仍取得了最高的PSNR，優(yōu)于其他對比方法。在數(shù)據(jù)集BSD68上，本文方法的PSNR比DPDNN高0.06 dB，比SCN高0.04 dB；在數(shù)據(jù)集Urban100上，本文方法的PSNR比DPDNN高0.17 dB，比SCN高0.15 dB。說明本文提出的方法在各種類型的數(shù)據(jù)上都能取得很好的去噪效果，恢復(fù)出質(zhì)量較佳的圖像。總體來說，本文提出的方法針對去噪任務(wù)表現(xiàn)出了較好的性能，獲得了很好的主客觀效果。

表5 在數(shù)據(jù)集BSD68和Urban100上不同方法去噪的平均PSNR結(jié)果Tab. 5 PSNR results of different methods on the database BSD68 and Urban100 for denoising dB

3.3 小波域與像素域性能以及時(shí)間對比

為了驗(yàn)證本文方法中小波域引入的有效性，進(jìn)行了相關(guān)的實(shí)驗(yàn)對其展開研究。在本文方法的基礎(chǔ)上，去除圖1所示網(wǎng)絡(luò)中首端的小波變換及末端的小波逆變換，直接將待復(fù)原的圖像送往子網(wǎng)絡(luò)，并且相應(yīng)地調(diào)整圖1所示小波域去噪子網(wǎng)絡(luò)的小波域特征輸入為空間域特征，構(gòu)建出相應(yīng)的基于像素域的深度網(wǎng)絡(luò)。在此網(wǎng)絡(luò)結(jié)構(gòu)上，保持與上文相同的實(shí)驗(yàn)設(shè)置，進(jìn)行去模糊和去噪實(shí)驗(yàn)。糊核（添加 σn=2的高斯噪聲）、大小19×19像素的運(yùn)動(dòng)模糊核（添加 σn=2.55的 高斯噪聲）及 σn=50的高斯噪聲生成對應(yīng)的高斯模糊圖像、運(yùn)動(dòng)模糊圖像和含高斯噪聲圖像。

從表6中數(shù)據(jù)知：在進(jìn)行去高斯模糊時(shí)，在小波域下構(gòu)建網(wǎng)絡(luò)能將PSNR提高0.44 dB；針對去運(yùn)動(dòng)模糊情況，在小波域下構(gòu)建網(wǎng)絡(luò)PSNR提高了0.21 dB。對于標(biāo)準(zhǔn)差為50的去噪任務(wù)，基于小波域的網(wǎng)絡(luò)在PSNR上同樣也高了0.11 dB。

表6 基于小波域和像素域的網(wǎng)絡(luò)在圖2和5所示的測試圖像上去模糊（去噪）平均PSNR結(jié)果Tab. 6 PSNR results of different networks with wavelet domain and pixel domainon the test images shown in Fig.2 or Fig.5 for deblurring or denoising dB

此外，表7給出了上述兩種網(wǎng)絡(luò)在含 σn=50高斯噪聲情況下重建不同大小的一張圖像所需的時(shí)間。由表7可知，基于小波域構(gòu)建的網(wǎng)絡(luò)重建圖像的時(shí)間也得到了明顯減少。

表7 基于小波域和基于像素域的網(wǎng)絡(luò)重建不同大小圖像的時(shí)間Tab. 7 Time results of the different networks with wavelet domain and pixel domain on different sizes image restoration

不管從復(fù)原性能還是處理速度上來看，基于小波域的網(wǎng)絡(luò)較像素域的網(wǎng)絡(luò)都取得了更好的效果。這主要是由于在小波域下進(jìn)行復(fù)原，小波變換自身具有的一些特性能幫助網(wǎng)絡(luò)在性能及速度上取得提升。具體地，一方面是由于小波變換后網(wǎng)絡(luò)中特征圖尺寸減小為原來一半，整個(gè)網(wǎng)絡(luò)運(yùn)算量減少，使得網(wǎng)絡(luò)處理速度相應(yīng)加快。另一方面因?yàn)樾〔ㄗ儞Q后，圖像特征得到初步提取和分離，網(wǎng)絡(luò)能更容易地捕獲和學(xué)習(xí)到不同種類的信息，使得恢復(fù)出的圖像保持更好的邊緣結(jié)構(gòu)和紋理細(xì)節(jié)。綜上，在小波域下進(jìn)行圖像復(fù)原較像素域處理性能更優(yōu)且速度更快。

4 結(jié) 論

本文提出了一種基于小波域ADMM深度網(wǎng)絡(luò)的圖像復(fù)原算法。首先，選擇將其變換到小波域進(jìn)行復(fù)原；然后，利用ADMM算法將基于小波域的復(fù)原問題分解為一個(gè)復(fù)原子問題和一個(gè)去噪子問題，并分別采用梯度下降法和一個(gè)去噪網(wǎng)絡(luò)對這兩個(gè)子問題進(jìn)行求解；最后，基于上述優(yōu)化過程解的形式構(gòu)建一個(gè)相應(yīng)的深度卷積神經(jīng)網(wǎng)絡(luò)用于圖像復(fù)原。不同于現(xiàn)有大多數(shù)復(fù)原網(wǎng)絡(luò)，本文提出的網(wǎng)絡(luò)由于有效結(jié)合了圖像退化模型信息，增強(qiáng)了其解釋性。實(shí)驗(yàn)結(jié)果表明，本文提出的算法無論是在主觀視覺效果還是客觀評價(jià)指標(biāo)方面都取得了很好的效果，恢復(fù)出了質(zhì)量更好的圖像。在未來的研究中，將拓展本文提出的算法到其他圖像復(fù)原任務(wù)，如去雨、去霧等。