梯度域和深度學(xué)習(xí)的圖像運(yùn)動模糊盲去除算法

郭業(yè)才, 鄭慧穎， 葉 飛

(南京信息工程大學(xué) a.江蘇省大氣環(huán)境與裝備設(shè)計協(xié)同創(chuàng)新中心, b.電子與信息工程學(xué)院， 南京 210044)

0 引 言

在獲取圖像時，可能由于外界環(huán)境或成像設(shè)備等原因，使得圖像存在不同程度的退化降質(zhì)，如模糊、噪聲等，這些退化降質(zhì)的數(shù)字圖像對人們的生產(chǎn)生活有著極大的影響。因此，去除模糊，得到清晰圖像非常重要?，F(xiàn)有的圖像去模糊算法主要有:①利用自然圖像的邊緣先驗信息恢復(fù)清晰邊緣[1-7]。這些先驗信息對圖像去模糊是有效的，但需要解決非凸性問題。此外，優(yōu)化方法和模糊核估計過程均很復(fù)雜，會導(dǎo)致計算成本較高。②運(yùn)用深度學(xué)習(xí)網(wǎng)絡(luò)實現(xiàn)圖像去模糊[8-15]。目前，利用深度學(xué)習(xí)的方法實現(xiàn)圖像去模糊，在去卷積的過程中會使圖像過于平滑，導(dǎo)致圖像的高頻信息和圖像紋理細(xì)節(jié)丟失，這樣不僅花費(fèi)時間較長，而且會導(dǎo)致圖像的振鈴效應(yīng)更加明顯。

本文針對現(xiàn)有圖像去模糊方法的不足，提出一種基于梯度域和深度學(xué)習(xí)的圖像運(yùn)動模糊盲去除算法。該算法利用圖像梯度域減少無關(guān)細(xì)節(jié)的影響，提高模糊核估計的魯棒性。結(jié)果表明，該算法在有效保持邊緣信息、顯著減少振鈴效應(yīng)的同時，去模糊效果較好。

1 圖像去模糊原理及方法

圖像降質(zhì)退化過程如圖1所示。輸入圖像x，在模糊核k和噪聲n影響下，得到模糊圖像為

y=k[x]+n

(1)

圖1 一般圖像退化模型

圖像盲去模糊即模糊核未知，需要從模糊圖像y中獲取清晰圖像x和模糊核k。盲去模糊問題可以將求解出的模糊核轉(zhuǎn)變?yōu)榉敲とツ：龁栴}，即

(2)

式中：?表示卷積操作；式中第1部分是數(shù)據(jù)保真項，利用L2范數(shù)進(jìn)行約束；第2部分是先驗正則約束項，它與原始清晰自然圖像有關(guān)，λ是使約束項和數(shù)據(jù)保真項之間比例平衡的參數(shù)，正則項的選擇與選取的圖像先驗有關(guān)。

圖像盲反卷積問題的不適定性可以通過正則化方法解決，本文通過CNN的容錯能力、并行處理能力和自學(xué)習(xí)能力，將CNN可以學(xué)習(xí)圖像自身特征的性能用于去模糊的問題中，設(shè)計了一個有效的CNN網(wǎng)絡(luò)結(jié)構(gòu)。

2 圖像運(yùn)動模糊盲去除算法

2.1 圖像預(yù)處理

首先，將引導(dǎo)濾波[16]后的圖像作為基礎(chǔ)圖像，以減少噪聲和多余細(xì)節(jié)的影響。然后，將L0濾波[5]后梯度域圖像以及對應(yīng)的清晰圖像作為樣本，對設(shè)計的CNN進(jìn)行訓(xùn)練。本文中，引導(dǎo)濾波和L0濾波都是作用在清晰圖像上的，可以抑制無關(guān)細(xì)節(jié)，增強(qiáng)圖像的清晰邊緣，提高了模糊核估計的魯棒性。圖2為圖像預(yù)處理部分的結(jié)構(gòu)流程圖。

圖2 圖像預(yù)處理部分的結(jié)構(gòu)流程

在利用濾波實現(xiàn)圖像去模糊的基礎(chǔ)上，提出利用引導(dǎo)濾波對圖像進(jìn)行預(yù)處理，因為通過引導(dǎo)濾波可抑制圖像中的無關(guān)細(xì)節(jié)，并且保留圖像的主要結(jié)構(gòu)，如圖3所示。其中，圖3(a)是清晰圖像；圖3(b)是運(yùn)動模糊噪聲圖像；圖3(c)是清晰圖像經(jīng)過引導(dǎo)濾波后的圖像；圖3(d)是與清晰圖像像對應(yīng)的梯度域圖像；圖3(e)是模糊圖梯度域圖像；圖3(f)是清晰圖像經(jīng)過引導(dǎo)濾波后的梯度域圖像。

(a)(b)(c)(d)(e)(f)

圖3 引導(dǎo)濾波處理結(jié)果圖

2.2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

文獻(xiàn)[17]中提出利用梯度域圖像訓(xùn)練CNN結(jié)構(gòu)，而本文對文獻(xiàn)[17]中的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，提出利用較大卷積核提取圖像的細(xì)節(jié)信息；加深網(wǎng)絡(luò)層數(shù)使網(wǎng)絡(luò)訓(xùn)練得到的權(quán)重數(shù)據(jù)更加準(zhǔn)確。

現(xiàn)利用梯度域?qū)W(wǎng)絡(luò)進(jìn)行訓(xùn)練。網(wǎng)絡(luò)的輸入分別經(jīng)過引導(dǎo)濾波和L0濾波后的梯度域圖像與其對應(yīng)的模糊圖像，輸出為圖像的邊緣信息。把輸入圖片旋轉(zhuǎn)90°后提取其邊緣信息，與不旋轉(zhuǎn)時提取邊緣信息得到的效果相同，因此本方法僅利用垂直方向的梯度對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并在水平和垂直方向上共享權(quán)重，如圖4所示。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)

由圖4可得：

f0(?y)=?y

(2)

(3)

l=1,2,…,7

(4)

(5)

式中，{αm}是可學(xué)習(xí)的系數(shù)。

通過一組圖像對D{?yi,?T1(xi)}，網(wǎng)絡(luò)的第1階段可以描述為問題：

(6)

式中：D表示真實圖像和模糊圖像的訓(xùn)練對；采用基于L1損失的TV正則化方法對圖像梯度進(jìn)行稀疏化處理；λ是正則化的權(quán)重。由于L1范數(shù)在0處不可微，因此利用Charbonnier函數(shù)，即ρ(z)=(z2+ε2)1/2來估計它。目標(biāo)函數(shù)可寫為

(7)

為了訓(xùn)練第2階段的網(wǎng)絡(luò)，最后3層的輸出為:

(8)

(9)

(10)

式中，gn是尺寸為q6×q6可學(xué)習(xí)的卷積核。

通過一組圖像對D{?yi,?T2(xi)}，網(wǎng)絡(luò)的第2階段可以描述為問題：

(11)

兩個子網(wǎng)絡(luò)訓(xùn)練完后，將這兩個子網(wǎng)絡(luò)結(jié)合為

(12)

式中，m=1,2,…,p5；n=1,2,…,p6。

整個網(wǎng)絡(luò)訓(xùn)練過程loss值為

(13)

式中：ρ(z)=(z2+ε2)1/2，ε取10-6；λ為正則項的權(quán)重；fω(?yi)是網(wǎng)絡(luò)訓(xùn)練得到的邊緣信息。

2.3 圖像去模糊

2.3.1 模糊核的估計

(14)

式中：參數(shù)η控制k的平滑度。第1項提供可靠邊緣信息，第2項約束模糊核稀疏性，第3項

C(k)={(x,y)||?xk(x,y)|+|?yk(x,y)|≠0}

它的作用是使模糊核稀疏，也阻止出現(xiàn)不連續(xù)點，從而提高模糊核的連續(xù)性。

由于式(14)涉及到離散數(shù)值計算，因此很難直接對它求解最小值，本文將式(14)描述為：

(15)

(16)

式(15)可以利用IRLS方法[19]求得，實驗中，一共進(jìn)行了3次迭代；式(16)可以通過交替優(yōu)化[20]的方法求得解，一共進(jìn)行了3次迭代。通過對上面兩個子式的求解，最終可以得到模糊核k。

2.3.2 最終的潛像估計

得到模糊核后，最終潛像可通過非盲解卷積的方法獲得。本文主要恢復(fù)運(yùn)動模糊圖像的邊緣，采用TV正則化進(jìn)行最終潛像的恢復(fù)，即

(17)

3 實驗結(jié)果及分析

3.1 運(yùn)動模糊圖像生成

采用的圖像數(shù)據(jù)庫是BSDS500中的自然圖像，為了獲得模糊圖像yi，對每一張清晰圖像xi進(jìn)行模糊處理。假設(shè)運(yùn)動模糊是全局線性模糊，模糊核k=(l,o)受到長度和角度的影響。選取運(yùn)動模糊的長度l從1～25，以2為間隔，角度o從0°～150°，以30°為間隔。由于當(dāng)模糊核長度l=1時，不管運(yùn)動方向是什么，所有的運(yùn)動向量都對應(yīng)著相同的模糊核，因此生成73個不同的模糊核。將這73個不同的模糊核與BSDS500中的500張自然圖像xi進(jìn)行隨機(jī)卷積，再加上1%的高斯白噪聲，就可以產(chǎn)生運(yùn)動模糊圖像。將產(chǎn)生的運(yùn)動模糊圖像裁剪成大小為45×45的模糊圖像塊，獲得最終所需的模糊圖像yi。本文通過給定模糊的圖像yi，根據(jù)提出的方法首先計算垂直和水平方向的圖像梯度，以梯度域圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

為了找到對圖4所示結(jié)構(gòu)作貢獻(xiàn)的參數(shù)，進(jìn)行了兩組實驗。兩組實驗中，CNN層數(shù)相同，每層濾波器數(shù)量不同，濾波器的大小不同。通過比較兩組實驗使用同一數(shù)據(jù)集在訓(xùn)練期間的loss值，來分析不同參數(shù)對實驗結(jié)果的影響，如圖5和圖6所示。

圖5 濾波器大小對訓(xùn)練結(jié)果的影響圖6 濾波器數(shù)量對訓(xùn)練結(jié)果的影響

訓(xùn)練整個模型一共進(jìn)行10萬次迭代，圖5表示濾波器大小對訓(xùn)練結(jié)果的影響。整個網(wǎng)絡(luò)一共8層，每層濾波器的個數(shù)均為128個。圖中：紫色曲線是在大小不同的濾波器下獲得的；藍(lán)色曲線是在整個網(wǎng)絡(luò)均使用5×5的濾波器下獲得的；紅色曲線是在整個網(wǎng)絡(luò)均使用7×7的濾波器理獲得的。圖6表明，3種loss曲線約在85 000次時開始收斂，但本文方法采用不同大小濾波器時的loss值皆都低于其他兩種情況。這表明，本文所選擇的濾波器大小是合理的。

圖6表示濾波器的數(shù)量對訓(xùn)練結(jié)果的影響。本實驗的網(wǎng)絡(luò)一共有8層，每層濾波器的大小均如圖4所示，分別選取每層濾波器數(shù)量為64個和32個，與本文每層濾波器數(shù)量為128個進(jìn)行對比。圖中：紫色曲線是本文采用每層128個濾波器時獲得的;藍(lán)色曲線為網(wǎng)絡(luò)每層使用64個濾波器時獲得的，紅色曲線為網(wǎng)絡(luò)每層使用32個濾波器時獲得的。圖5表明，3種loss曲線大約在60 000次時開始收斂，但本文采用每層濾波器數(shù)量為128時的loss值均低于其他濾波器數(shù)量所對應(yīng)的值。這表明，本文所選擇的濾波器的數(shù)量是合理的。

3.3 去模糊效果

采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)對去模糊的效果進(jìn)行分析：

(18)

式中，T指圖像像素強(qiáng)度的最大值。

去模糊效果分別與多層神經(jīng)網(wǎng)絡(luò)(Multi-layer Perceptron，MLP)方法[10]和邊緣檢測方法[21]進(jìn)行對比。MLP方法利用多層感知器實現(xiàn)圖像去模糊；邊緣檢測方法將圖像結(jié)構(gòu)與優(yōu)化算法相結(jié)合應(yīng)用于圖像去模糊，如圖7所示。

圖7 去運(yùn)動模糊效果

圖7選取4張圖像在不同模糊程度下，分別運(yùn)用MLP方法、邊緣檢測方法及本文方法對圖像進(jìn)行去運(yùn)動模糊。其中：圖7(a)為原始清晰圖像；圖7(b)為模糊噪聲圖像；圖7(c)為使用MLP方法去除運(yùn)動模糊后的結(jié)果圖，圖7(d)為使用邊緣檢測方法去除運(yùn)動模糊后的結(jié)果圖，圖7(e)為使用本文提出的算法去除運(yùn)動模糊后的結(jié)果圖。PSNR值如表1所示。由表1知，MLP方法與邊緣檢測方法去除運(yùn)動模糊的PSNR值相差不大，但是MLP方法會放大噪聲，邊緣檢測方法可能會給圖像帶來振鈴效應(yīng)。而本文方法的PSNR值在對比實驗中值均明顯高于其他兩種方法，而且放大噪聲與振鈴效應(yīng)均不明顯，去運(yùn)動模糊效果明顯優(yōu)于其他兩種方法，這就表明本文算法能夠有效地移除圖像運(yùn)動模糊。

表1 不同方法的PSNR值 dB

4 結(jié) 語

本文提出一種基于梯度域和深度學(xué)習(xí)的圖像運(yùn)動模糊盲去除算法，將CNN可以學(xué)習(xí)圖像自身特征的性能用于去模糊的問題中，設(shè)計了一個有效的CNN結(jié)構(gòu);將圖像梯度域預(yù)處理與CNN網(wǎng)絡(luò)相結(jié)合的方法，避免直接用CNN網(wǎng)絡(luò)而忽略圖像先驗信息的缺點。實驗表明，本文方法不僅能有效去除圖像運(yùn)動模糊，同時很好地保留了圖像細(xì)節(jié)，放大噪聲不明顯，較好地抑制了振鈴效應(yīng)的產(chǎn)生。