強(qiáng)邊緣提取網(wǎng)絡(luò)用于非均勻運(yùn)動模糊圖像盲復(fù)原

黃彥寧 李偉紅 崔金凱 龔衛(wèi)國

模糊圖像盲復(fù)原用于彌補(bǔ)由于硬件設(shè)備缺陷造成的圖像模糊,被廣泛應(yīng)用于太空探索、人臉識別、視頻監(jiān)控、醫(yī)學(xué)影像識別等諸多領(lǐng)域.運(yùn)動模糊是一種典型的圖像模糊類型,主要是由于相機(jī)抖動和被拍攝物體間相對運(yùn)動造成的.圖像模糊模型一般可由式(1)描述.

其中,x為清晰圖像,*為卷積運(yùn)算,k為模糊核,n為噪聲,y為模糊圖像.

實(shí)際中模糊核k通常是未知的,模糊圖像復(fù)原過程是一個嚴(yán)重的病態(tài)問題,即盲復(fù)原.當(dāng)一幅圖像中各個區(qū)域被同一個均勻的運(yùn)動模糊核污染,為均勻運(yùn)動模糊圖像,如圖1 (a),1 (b)所示.當(dāng)一幅圖像的不同區(qū)域被不同程度的運(yùn)動模糊核污染時,則為非均勻運(yùn)動模糊圖像,如圖1 (c),1 (d)所示.

圖1 均勻運(yùn)動模糊圖像和非均勻運(yùn)動模糊圖像及其模糊核示意圖Fig.1 Uniform and non-uniform motion blurry image and their blur kernel diagram

均勻運(yùn)動模糊圖像復(fù)原方法的基本思路是將病態(tài)問題轉(zhuǎn)化為良態(tài)來解決,大致分為兩類,一類是先驗辨識法,即通過人工挖掘圖像和模糊核的先驗知識,估計出精確的模糊核,再采用非盲復(fù)原方法復(fù)原出清晰圖像.另一類是聯(lián)合辨識法,即估計模糊核的同時復(fù)原出清晰圖像.前期我們開展的研究工作主要針對均勻模糊圖像盲復(fù)原[1?5],其中文獻(xiàn)[4]采用先驗辨識法,提出根據(jù)圖像的先驗信息在頻域估計出模糊核,并將估計出的模糊核用于均勻運(yùn)動模糊圖像復(fù)原,該方法對模糊核尺寸較小的均勻運(yùn)動模糊圖像復(fù)原效果較好.文獻(xiàn)[5]采用聯(lián)合辨識法,通過對模糊核正則項的約束,得到潛在清晰圖像.該方法可以較好地復(fù)原均勻運(yùn)動模糊圖像,也可用于背景單一、細(xì)節(jié)不豐富的非均勻運(yùn)動模糊圖像.但該方法正則化參數(shù)較多、復(fù)原時間較長.對于非均勻運(yùn)動模糊圖像的復(fù)原,人們也展開了針對性的研究工作,其基本方法是將圖像分塊進(jìn)行模糊核估計,再通過估計出的不同模糊核對不同圖像塊進(jìn)行復(fù)原.不過目前的方法均存在各種局限性,比如對運(yùn)動模糊核的運(yùn)動方向、模糊核的種類等有所限制.Shen 等[6]使用一種模糊核映射正則化方法來解決非均勻運(yùn)動模糊圖像復(fù)原問題,該方法考慮了圖像塊之間具有的一致性,從而提高了圖像塊模糊核估計的精度.但是該方法對于圖像細(xì)節(jié)恢復(fù)效果差,模糊程度的不同也會使算法失效,因此在非均勻模糊圖像復(fù)原上仍不能達(dá)到較好的效果.近年來,深度學(xué)習(xí)的快速發(fā)展,使基于卷積神經(jīng)網(wǎng)絡(luò)的模糊圖像復(fù)原取得較大的進(jìn)展.Chakrabarti[7]利用卷積神經(jīng)網(wǎng)絡(luò)在頻域預(yù)測模糊核的傅里葉系數(shù),由此估計出模糊核.再采用傳統(tǒng)非盲復(fù)原方法復(fù)原圖像.該方法在均勻運(yùn)動模糊圖像復(fù)原上效果較好,但復(fù)原時間非常長.Xu 等[8]提出利用卷積神經(jīng)網(wǎng)絡(luò)在梯度域提取模糊圖像的邊緣信息,通過邊緣信息補(bǔ)充圖像模糊核的先驗信息,提高模糊核估計的準(zhǔn)確性,進(jìn)而提高復(fù)原效果.該方法可以較好地復(fù)原均勻運(yùn)動模糊圖像,但由于非均勻模糊圖像邊緣特征不明顯,在圖像黑暗處,該方法無法提取到圖像邊緣信息,估計出的模糊核不準(zhǔn)確,復(fù)原效果較差.Xu 等[9]提出端到端的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)模糊圖像盲復(fù)原,該方法的優(yōu)點(diǎn)是不需要估計模糊核,直接輸出潛在清晰圖像,主要用于散焦模糊圖像的復(fù)原.Tao 等[10]設(shè)計了一個多尺度卷積神經(jīng)網(wǎng)絡(luò)(Scale-recurrent network,SRN)用于模糊圖像復(fù)原,它可在同一幅模糊圖像的3 個尺度上提取模糊特征.由于卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的自動學(xué)習(xí)特征的能力,該網(wǎng)絡(luò)可以較好地復(fù)原非均勻運(yùn)動模糊圖像,不足的是對模糊圖像中的明顯邊緣復(fù)原效果不理想.2014 年,生成對抗網(wǎng)絡(luò)(Generative adversarial net,GAN)[11]被提出,它可以令端到端圖像處理網(wǎng)絡(luò)生成更加細(xì)膩的圖像.吳夢婷等[12]基于GAN 提出了一種雙框架端到端模糊圖像復(fù)原方法,該方法可以復(fù)原模糊尺度較小的均勻模糊圖像,但該方法只是在模糊圖像復(fù)原領(lǐng)域基于GAN 的嘗試,并沒有很好的魯棒性,對非均勻運(yùn)動模糊圖像的復(fù)原效果較差.Kupyn等[13]基于GAN,提出一種端對端的模糊圖像復(fù)原方法-DeblurGAN.該方法可以較好地復(fù)原出模糊尺度較小的均勻和非均勻運(yùn)動模糊圖像.但由于設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)比較單一,使網(wǎng)絡(luò)的感受野較小,不能較好地復(fù)原模糊尺度較大的非均勻模糊圖像.

從上述分析可見,由于非均勻運(yùn)動模糊圖像的模糊核不確定、模糊程度不均勻,且邊緣信息損失嚴(yán)重,使非均勻運(yùn)動模糊圖像的復(fù)原成為目前極具挑戰(zhàn)的課題.在現(xiàn)有研究方法中,端到端的圖像復(fù)原方法雖然方便有效,但是在圖像復(fù)原過程中始終是在輸入圖像和輸出圖像之間建立網(wǎng)絡(luò)映射,在有限的訓(xùn)練集下完成對輸入和標(biāo)簽的未知轉(zhuǎn)換,網(wǎng)絡(luò)的特征提取能力和去模糊學(xué)習(xí)過程局限在了輸入到網(wǎng)絡(luò)的這些圖像對中,無法得到更多有助于圖像復(fù)原的信息,這種映射通常是不確定的,需要大量經(jīng)驗進(jìn)行調(diào)參才能將網(wǎng)絡(luò)參數(shù)約束到一個較理想的范圍內(nèi),難以保證網(wǎng)絡(luò)有方向性地 “學(xué)習(xí)” 到真正的去模糊功能,這也導(dǎo)致了現(xiàn)有方法魯棒性通常較差,因此不容易在此基礎(chǔ)上取得更大突破.而在傳統(tǒng)方法中,我們可以使用很多數(shù)字圖像處理工具來得到有關(guān)于一幅圖像的更多先驗信息,甚至可以在處理圖像的過程中不僅僅局限于空間域,這些處理方法的綜合使用使圖像處理領(lǐng)域日新月異.那么在深度學(xué)習(xí)領(lǐng)域,我們?nèi)钥梢岳脗鹘y(tǒng)方法的優(yōu)勢來提升圖像復(fù)原的效果.圖像的強(qiáng)邊緣是圖像的邊緣中能夠描述圖像輪廓的部分,邊緣包含大量使人們獲得清晰圖像的重要信息,經(jīng)過主觀觀察,對模糊圖像強(qiáng)邊緣的恢復(fù)效果實(shí)際上直接影響復(fù)原圖像的主觀效果.

基于此,本文提出一種基于強(qiáng)邊緣提取的非均勻運(yùn)動模糊圖像復(fù)原網(wǎng)絡(luò),用于非均勻運(yùn)動模糊圖像復(fù)原.其中核心部分是設(shè)計的強(qiáng)邊緣提取網(wǎng)絡(luò),它用于提取非均勻運(yùn)動模糊圖像的強(qiáng)邊緣特征,利用提取到的強(qiáng)邊緣特征圖與對應(yīng)網(wǎng)絡(luò)層的特征圖融合,這些強(qiáng)邊緣特征將作為圖像復(fù)原網(wǎng)絡(luò)訓(xùn)練的 “先驗知識” 和約束條件,在圖像復(fù)原網(wǎng)絡(luò)訓(xùn)練中約束網(wǎng)絡(luò)特征提取和反向傳播優(yōu)化過程,使網(wǎng)絡(luò)參數(shù)的解空間縮小到 “去模糊” 范圍內(nèi),最終得到真正用于去模糊的網(wǎng)絡(luò)映射參數(shù).結(jié)合卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征自動學(xué)習(xí)能力,本文的方法能夠加強(qiáng)網(wǎng)絡(luò)對不同類型、不同模糊程度的非均勻運(yùn)動模糊圖像的自適應(yīng)復(fù)原能力.最后,本文在GoPro數(shù)據(jù)集上進(jìn)行了相應(yīng)的實(shí)驗,驗證了提出方法的有效性.

1 提出的非均勻運(yùn)動模糊圖像復(fù)原網(wǎng)絡(luò)

本文提出的非均勻運(yùn)動模糊圖像復(fù)原網(wǎng)絡(luò)如圖2 所示,該網(wǎng)絡(luò)以GAN 為基礎(chǔ),由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成.

圖2 提出的非均勻運(yùn)動模糊圖像復(fù)原網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Proposed network structure for the non-uniform motion blurry image deblurring

生成網(wǎng)絡(luò)包括:模糊特征提取網(wǎng)絡(luò)(Features extract net,FEN),用于提高網(wǎng)絡(luò)的感受野,使其在較大的感受野下有效提取模糊圖像的模糊特征.強(qiáng)邊緣提取網(wǎng)絡(luò)(Strong-edge extraction network,SEEN) 是本文的核心,包括子網(wǎng)絡(luò)SEEN-1 和SEEN-2,用于在梯度域濾除模糊圖像細(xì)節(jié)信息,提取非均勻運(yùn)動模糊圖像的強(qiáng)邊緣特征圖.特征融合網(wǎng)絡(luò)(Features mix net,FMN),用于融合FEN 提取的特征圖和SEEN 提取的強(qiáng)邊緣特征圖.

判別網(wǎng)絡(luò)[13]由4 個基本的卷積層組成,使用LeakyReLU 作為激活函數(shù),通過卷積層不斷降維,最后輸出0 或1 來對輸入的圖像進(jìn)行判別,判定生成網(wǎng)絡(luò)復(fù)原的潛在清晰圖像與輸入的真實(shí)清晰圖像的接近程度.判別網(wǎng)絡(luò)要盡可能準(zhǔn)確識別出輸入的圖像是否為生成網(wǎng)絡(luò)所生成,從而約束生成網(wǎng)絡(luò)的訓(xùn)練過程,使生成網(wǎng)絡(luò)盡可能生成使判別網(wǎng)絡(luò)判別結(jié)果接近于真的圖像,通過不斷的對抗訓(xùn)練,提高生成網(wǎng)絡(luò)復(fù)原圖像的效果.

1.1 強(qiáng)邊緣提取網(wǎng)絡(luò)(SEEN)

圖像強(qiáng)邊緣指圖像中主要組成部分的邊緣輪廓,是獲取清晰圖像的重要信息,非均勻運(yùn)動模糊圖像中模糊核的多樣性,使圖像的強(qiáng)邊緣被不同方式和程度退化,無法像均勻運(yùn)動模糊圖像一樣通過構(gòu)建相同的先驗信息,完成對模糊圖像邊緣的復(fù)原,這也是造成非均勻運(yùn)動模糊圖像難以復(fù)原出高質(zhì)量清晰圖像的原因.

圖像梯度是獲得圖像邊緣最有效的方法,但通常情況下,模糊圖像的邊緣細(xì)節(jié)信息損失嚴(yán)重,通過計算圖像梯度,無法得到明顯的邊緣信息,并且模糊的邊緣細(xì)節(jié)會導(dǎo)致梯度圖像產(chǎn)生大量與邊緣信息無關(guān)的內(nèi)容.為此,本文提出的圖像強(qiáng)邊緣提取方法,其基本原理為:首先使用雙邊平滑濾波器[14]濾除模糊圖像中的細(xì)節(jié)信息,保留圖像的邊緣信息.然后使用L0范數(shù)梯度最小化平滑濾波器[15]增強(qiáng)模糊圖像的邊緣信息[8].圖3 為提取到的模糊圖像的強(qiáng)邊緣實(shí)例,圖3 (c)和3 (e)分別是模糊圖像的雙邊濾波圖像及其梯度圖.可以看到它得到了濾除與邊緣無關(guān)的細(xì)節(jié)后模糊圖像的梯度特征.圖3 (d)和3 (f)分別是模糊圖像的L0濾波圖像及其梯度,可以看到模糊圖像的強(qiáng)邊緣被較好地提取出來.

圖3 模糊圖像強(qiáng)邊緣提取原理示意圖Fig.3 Diagram of strong edge extraction of blurred image

根據(jù)上述基本原理,本文設(shè)計了強(qiáng)邊緣提取網(wǎng)絡(luò)(SEEN),用于提取非均勻運(yùn)動模糊圖像強(qiáng)邊緣信息,如圖4 所示.該網(wǎng)絡(luò)中SEEN-1 子網(wǎng)絡(luò)實(shí)現(xiàn)雙邊濾波器的功能,用于提取濾除了細(xì)節(jié)信息后的圖像邊緣.SEEN-2 實(shí)現(xiàn)L0平滑濾波器的功能,用于增強(qiáng)邊緣信息并得到模糊圖像的強(qiáng)邊緣.SEEN-1 的輸出將做為SEEN-2 的輸入.

圖4 強(qiáng)邊緣提取網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.4 Structure diagram of strong edge extraction network

SEEN-1 使用編碼器?解碼器網(wǎng)絡(luò)結(jié)構(gòu),主要由下卷積、特征提取和上卷積三部分組成.SEEN-2在SEEN-1 的基礎(chǔ)上增加了用于疊加SEEN-1 中對應(yīng)特征圖的特征融合層,特征融合層一共有三處,分別位于下卷積、特征提取和上卷積部分,如圖4中SEEN-1 和SEEN-2 間使用直線箭頭的連接處所示,它們可以通過權(quán)重共享提升SEEN 的訓(xùn)練效果.

SEEN-1 的卷積層計算如式(2)所示.

其中,inputi為特征圖中的每個像素點(diǎn),outi為激活函數(shù)的輸出值,通過將負(fù)數(shù)軸斜率設(shè)置為0.2,避免傳統(tǒng)ReLU 激活函數(shù)容易導(dǎo)致神經(jīng)元梯度為0而無法繼續(xù)訓(xùn)練的問題.

網(wǎng)絡(luò)的最終輸出使用tanh 作為激活函數(shù),如式(4)所示.

其中,inputi為特征圖中的每個像素點(diǎn),outi為激活函數(shù)的輸出值,使用tanh 作為最后輸出層的激活函數(shù)可以使網(wǎng)絡(luò)輸出的圖像具有較好的可視化效果.

SEEN-2 中的卷積層計算方法與SEEN-1 相同,但是在下卷積部分、特征提取部分和上卷積部分會使用特征圖疊加的方式進(jìn)行權(quán)重共享,如圖4 中直線箭頭所示,特征疊加公式如式(5)所示.

其中,outj為SEEN-2 第j層的所有特征圖,outSEEN?1為SEEN-1 中對應(yīng)層特征圖,concat 為特征層疊加操作.

SEEN-1 和SEEN-2 中對應(yīng)疊加的特征層的特征圖數(shù)量是相同的.SEEN-1 與SEEN-2 對應(yīng)疊加的特征層權(quán)重共享,在疊加操作之后會使用式(2)和(3)的卷積過程進(jìn)行特征提取和降維.使用疊加的方式進(jìn)行特征融合可以提高網(wǎng)絡(luò)對邊緣的提取能力[16],同時增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力.通過卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的自動特征提取能力,本文設(shè)計的強(qiáng)邊緣提取網(wǎng)絡(luò)可以對不同模糊程度、不同模糊類型的非均勻模糊圖像的強(qiáng)邊緣特征進(jìn)行自動分析,自適應(yīng)、有效地提取模糊圖像的強(qiáng)邊緣.

在模糊圖像輸入SEEN 前,本文對原始模糊圖像進(jìn)行梯度化預(yù)處理,目的是使網(wǎng)絡(luò)能夠快速有效地提取模糊圖像的強(qiáng)邊緣,而不用浪費(fèi)多余的網(wǎng)絡(luò)參數(shù)來對模糊圖像進(jìn)行梯度化處理.由于圖像的梯度計算具有方向性,不同方向的梯度圖像提取的強(qiáng)邊緣僅包含該方向上有用的邊緣信息,如果使用單一方向的梯度提取圖像強(qiáng)邊緣,會損失較多其他方向的邊緣信息,如圖5 (b)所示.因此,本文提出一種可以融合相互垂直方向梯度信息的雙方向融合梯度計算方法,計算公式如式(6)所示.

其中,?yh是圖像的橫向梯度,?yv是圖像的縱向梯度,對每個方向梯度取絕對值,并在每個像素點(diǎn)取兩個方向梯度的最大值得到最終的梯度圖像?y.

圖5 為模糊圖像雙方向融合梯度圖像實(shí)例.從圖5 可以看到,圖5(b)中的梯度圖只提取到了縱向邊緣,橫向邊緣全部丟失.圖5(c)中的梯度圖則保留了所有有效的邊緣信息.而且通過梯度化預(yù)處理可以消除模糊圖像一些非邊緣細(xì)節(jié)信息的干擾,并得到一部分不明顯的邊緣信息,有利于提升強(qiáng)邊緣提取網(wǎng)絡(luò)對邊緣的提取效果.

圖5 本文提出的雙方向融合梯度計算方法示意圖Fig.5 Diagram of gradient calculation method of two-directions fusion proposed in this paper

1.2 模糊特征提取網(wǎng)絡(luò)(FEN) 和特征融合網(wǎng)絡(luò)(FMN)

模糊特征提取網(wǎng)絡(luò)(FEN)主要用于在模糊圖像中提取模糊特征從而建立模糊圖像到清晰圖像的網(wǎng)絡(luò)映射.殘差模塊(Residual block)是目前最常用的特征提取模塊,其結(jié)構(gòu)如圖6 (a)所示,它能夠降低網(wǎng)絡(luò)復(fù)雜度,加速網(wǎng)絡(luò)訓(xùn)練過程,經(jīng)常被用于分類任務(wù)中,但是在圖像處理任務(wù)中,由于其感受野較小,容易導(dǎo)致特征提取不充分.而另一種常用的特征提取模塊Inception block 則可以通過增加網(wǎng)絡(luò)寬度而提高特征提取的多樣性[17].受此啟發(fā),本文設(shè)計了一種新的交叉特征提取殘差模塊(Cross residual block),如圖6 (b)所示.該模塊的卷積層設(shè)計為大小分別為3 和5 的濾波器,通過這兩個濾波器大小不同的通道分別提取模糊圖像的特征圖,并在特征疊加層進(jìn)行特征圖疊加和權(quán)重交換,將新的特征圖再使用濾波器大小為3 和5 的兩個卷積層通道進(jìn)行特征提取,最終得到模塊的輸出特征圖,我們設(shè)計的交叉特征提取殘差模塊可以保持輸出的特征圖與輸入的特征圖在維度和分辨率上一致.

圖6 改進(jìn)殘差模塊Fig.6 Improvement of residual block

本文設(shè)計的交叉特征提取殘差模塊的主要作用是增大特征提取網(wǎng)絡(luò)的感受野,提高網(wǎng)絡(luò)的特征提取能力.圖7 是濾波器大小分別為3、5、7 的卷積層感受野示意圖.殘差模塊所使用的濾波器大小為3,如圖7 (a)所示,其感受野較小.在圖像處理任務(wù)中,較小的感受野通常會導(dǎo)致模糊圖像特征提取網(wǎng)絡(luò)在提取非均勻運(yùn)動模糊圖像特征時,無法獲取圖像目標(biāo)像素周圍更多的信息.而圖7 (b)所示的大小為5 的濾波器的感受野,可以明顯看出它獲取到了目標(biāo)區(qū)域的邊緣信息,因此在濾波器大小為5 的卷積層中,它可以提取到與邊緣更加相關(guān)的特征.圖7 (c)所示的是大小為7 的濾波器的感受野,它同樣可以獲取到目標(biāo)區(qū)域的邊緣信息,但是通過實(shí)驗發(fā)現(xiàn),使用濾波器大小為7 的卷積層并不會明顯提高復(fù)原效果,反而由于濾波器過大,導(dǎo)致網(wǎng)絡(luò)參數(shù)過多,從而使網(wǎng)絡(luò)的訓(xùn)練和測試時間都非常長.因此本文使用濾波器大小為3 和5 的卷積層,設(shè)計了交叉特征提取殘差模塊.

圖7 不同大小濾波器的感受野Fig.7 Receptive field of different size filters

特征融合網(wǎng)絡(luò)(FMN)主要用于將模糊特征提取網(wǎng)絡(luò)和強(qiáng)邊緣提取網(wǎng)絡(luò)所提取到的特征圖進(jìn)行融合,其主要由下卷積部分、融合特征提取部分、上卷積部分和輸出部分組成.特征疊加層也分別位于這幾個部分.下卷積部分將SEEN-2 和FEN 的下卷積對應(yīng)層特征圖進(jìn)行疊加,進(jìn)行融合特征提取前的預(yù)處理,使各個子網(wǎng)絡(luò)的特征圖成為FMN 的輸入.融合特征提取部分將SEEN-2 和FEN 特征提取部分的對應(yīng)層疊加,這時各網(wǎng)絡(luò)特征圖已經(jīng)過初步處理,疊加后便于融合特征提取.在特征融合提取過程中,強(qiáng)邊緣特征圖將會作為圖像強(qiáng)邊緣位置的權(quán)重矩陣對圖像復(fù)原網(wǎng)絡(luò)的前向傳播過程進(jìn)行引導(dǎo),使圖像復(fù)原網(wǎng)絡(luò)加強(qiáng)對圖像強(qiáng)邊緣位置的特征提取和模糊復(fù)原,進(jìn)而約束網(wǎng)絡(luò)在反向傳播過程中的參數(shù)優(yōu)化過程,增強(qiáng)模糊圖像中強(qiáng)邊緣的復(fù)原效果,從而提升圖像復(fù)原的主觀效果.為使整個網(wǎng)絡(luò)能夠更全面地利用模糊特征和強(qiáng)邊緣特征,在上卷積部分再將SEEN-2 和FEN 的對應(yīng)層特征圖進(jìn)行疊加,指導(dǎo)上卷積過程,得到可以用于輸出清晰圖像的大量特征圖,最終輸出復(fù)原后的清晰圖像.

1.3 損失函數(shù)

本文在訓(xùn)練強(qiáng)邊緣提取網(wǎng)絡(luò)中SEEN-1 和SEEN-2 時,均使用L1損失和TV 正則化損失[8],如式(7),(8)所示.由兩式對圖像中每個像素進(jìn)行計算并相加作為損失函數(shù)值.

其中,O1(?b) 是SEEN-1 的輸出,O2(?b) 是SEEN-2 的輸出,λ是TV 正則化系數(shù),?LB(y) 是清晰標(biāo)簽圖像雙邊濾波后的梯度圖像,?L0(y) 是清晰標(biāo)簽圖像雙邊濾波后的L0濾波圖像的梯度圖像.

當(dāng)SEEN 訓(xùn)練完成后,再與FEN 和FMN 一起,在生成對抗網(wǎng)絡(luò)框架下進(jìn)行訓(xùn)練,生成對抗網(wǎng)絡(luò)損失函數(shù)采用內(nèi)容損失LGAN和對抗損失LX的結(jié)合[13],如式(9)～ (11)所示.

其中,λ取值為100,IL是清晰標(biāo)簽圖像,IB是模糊圖像,φi,j是在ImageNet[18]上進(jìn)行預(yù)訓(xùn)練得到的VGG-19 網(wǎng)絡(luò)中第i個最大池化層前的第j個卷積層的輸出特征圖,Wi,j和Hi,j是特征層的維度.

1.4 網(wǎng)絡(luò)訓(xùn)練

本文提出的非均勻模糊圖像復(fù)原網(wǎng)絡(luò)在訓(xùn)練時分為兩部分,首先對強(qiáng)邊緣提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練,再結(jié)合模糊特征提取網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò),在GAN框架下進(jìn)行訓(xùn)練.網(wǎng)絡(luò)訓(xùn)練流程如 “網(wǎng)絡(luò)訓(xùn)練流程1” 所示.

網(wǎng)絡(luò)訓(xùn)練流程1.

經(jīng)過多次實(shí)驗總結(jié),為得到最優(yōu)的實(shí)驗結(jié)果,本文在訓(xùn)練過程中使用的批大小(BatchSize)為1,優(yōu)化器為Adam,學(xué)習(xí)率和迭代次數(shù)的調(diào)整細(xì)節(jié)如下:

1) 在單獨(dú)訓(xùn)練SEEN 時,共進(jìn)行500 輪訓(xùn)練,學(xué)習(xí)率的初始值設(shè)置為0.0002,并依次遞減為0.0001、0.00005、0.00002、0.00001,對應(yīng)的訓(xùn)練輪數(shù)為150 輪、150 輪、100 輪、50 輪、50 輪.

2) 在與FMN 和FEN 共同訓(xùn)練時,網(wǎng)絡(luò)學(xué)習(xí)率和對應(yīng)訓(xùn)練輪數(shù)的設(shè)置與單獨(dú)訓(xùn)練SEEN 時相同.

2 實(shí)驗結(jié)果與分析

2.1 實(shí)驗數(shù)據(jù)集

本文采用在非均勻運(yùn)動模糊圖像復(fù)原研究領(lǐng)域廣泛使用的GoPro 數(shù)據(jù)集[19]進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和測試,該數(shù)據(jù)集包括2103 對訓(xùn)練圖像和1111 對測試圖像,每對訓(xùn)練和測試圖像都包含相應(yīng)的清晰圖像和模糊圖像.分辨率均為1280×720,其中的模糊圖像均為非均勻運(yùn)動模糊圖像.如圖8 所示,其中8 (a)是訓(xùn)練集的模糊圖像,8 (b)是訓(xùn)練集的清晰圖像.

圖8 數(shù)據(jù)集示例圖像Fig.8 Sample images of dataset

為了開展相應(yīng)的驗證實(shí)驗,我們制作四個圖像子集.清晰圖像和模糊圖像來自GoPro 數(shù)據(jù)集中的圖像對;清晰圖像雙邊濾波梯度圖像子集使用文獻(xiàn)[14]的方法計算得到.清晰圖像的L0濾波梯度圖像子集使用文獻(xiàn)[15]的方法計算得到.

我們隨機(jī)裁剪出四個圖像子集中相同區(qū)域256 ×256 像素的圖像小塊作為訓(xùn)練網(wǎng)絡(luò)時的輸入和標(biāo)簽.在單獨(dú)訓(xùn)練強(qiáng)邊緣提取網(wǎng)絡(luò)時,我們使用清晰圖像的雙邊濾波梯度圖像和L0濾波梯度圖像,分別作為SEEN-1 和SEEN-2 的標(biāo)簽,即第1.4 節(jié)訓(xùn)練流程中的標(biāo)簽?LB(y)和?L0(y) .而SEEN 的輸入是模糊圖像小塊,即訓(xùn)練流程中的輸入b.在訓(xùn)練特征融合網(wǎng)絡(luò)時,清晰圖像小塊作為訓(xùn)練時的標(biāo)簽,即訓(xùn)練流程中的標(biāo)簽y.模糊圖像小塊同樣作為訓(xùn)練時的輸入,即訓(xùn)練流程中的輸入b.

實(shí)驗評價指標(biāo)為結(jié)構(gòu)相似性(Structural similarity index,SSIM) 和峰值信噪比(Peak signal to noise ratio,PSNR),其計算方法如式(12)和(13).

其中,x,y為兩幅輸入圖像,μx是x的平均值,μy是y的平均值,是x的方差,是y的方差,σxy是x和y的協(xié)方差.c1=(k1L)2,c2=(k2L)2是用來維持穩(wěn)定的常數(shù).L是像素值的動態(tài)范圍.為了避免計算公式的分母為0 并保持計算穩(wěn)定性,通常取k1=0.01 ,k2=0.03 .

其中,MSE是清晰圖像和模糊圖像之間的均方誤差.

本文在PyTorch[20]深度學(xué)習(xí)框架下實(shí)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練.網(wǎng)絡(luò)訓(xùn)練和測試在一塊Nvidia GTX 1080Ti顯卡上進(jìn)行.

2.2 強(qiáng)邊緣提取網(wǎng)絡(luò)有效性驗證實(shí)驗

圖9 為強(qiáng)邊緣提取網(wǎng)絡(luò)有效性驗證實(shí)驗結(jié)果,圖9 (e)組圖像為未使用強(qiáng)邊緣提取網(wǎng)絡(luò)的復(fù)原圖像,圖9 (f)組圖像為加入本文設(shè)計的強(qiáng)邊緣提取網(wǎng)絡(luò)得到的復(fù)原圖像.與 圖9 (g)組清晰圖像進(jìn)行對比,可以看出,圖9 (e)組圖像有一定的復(fù)原效果,但邊緣并不清晰,圖9 (f)組圖像則邊緣非常清晰.可見,增加了強(qiáng)邊緣提取網(wǎng)絡(luò),使模糊圖像的強(qiáng)邊緣信息被有效利用,復(fù)原出的圖像主觀效果較好.

圖9 有無強(qiáng)邊緣提取網(wǎng)絡(luò)的非均勻模糊圖像復(fù)原結(jié)果比較實(shí)例 ((a) 模糊圖像;(b) 模糊圖像梯度圖;(c) SEEN-1 輸出;(d) SEEN-2 輸出 (強(qiáng)邊緣);(e) 無強(qiáng)邊緣提取網(wǎng)絡(luò)的復(fù)原結(jié)果;(f) 有強(qiáng)邊緣提取網(wǎng)絡(luò)的復(fù)原結(jié)果;(g) 清晰圖像)Fig.9 Comparison of restoration results of non-uniform motion blurry image with or without edge extraction network((a) Blurry image;(b) Gradient of blurry image;(c) Output of SEEN-1;(d) Edge of SEEN-2 (Strong edge);(e) Restoration results of network without strong edge extraction network;(f) Restoration results of network with strong edge extraction network;(g) Clear image)

圖10 為強(qiáng)邊緣提取網(wǎng)絡(luò)在邊緣提取各階段的結(jié)果,圖10 (b)組為模糊圖像的梯度圖像,可以看到模糊圖像的梯度圖像邊緣并不清楚,并且明顯包含較多與邊緣無關(guān)的雜點(diǎn),圖10 (c)組是SEEN-1的輸出,相當(dāng)于雙邊濾波后的梯度圖像,可以看到模糊圖像梯度圖清晰的邊緣,同時與邊緣無關(guān)的雜點(diǎn)也被濾除,圖10 (d)組是SEEN-2 的輸出,相當(dāng)于L0濾波后的梯度圖像,可以看到模糊圖像的強(qiáng)邊緣被有效地提取出來.對比SEEN-1 的輸出,圖像邊緣得到明顯增強(qiáng),為了證明了這一點(diǎn),本文也對SEEN-1 和SEEN-2 的輸出進(jìn)行了客觀指標(biāo)的分析,如圖11 所示.

圖10 強(qiáng)邊緣提取網(wǎng)絡(luò)中間結(jié)果分析Fig.10 The intermediate results analysis of strong edge extraction network

圖11 為3 幅模糊圖像對應(yīng)的梯度圖和網(wǎng)絡(luò)SEEN-1、SEEN-2 輸出的邊緣圖像塊實(shí)例.第一組圖像中,左側(cè)為非均勻模糊圖像實(shí)例,本文從中提取了一個圖像小塊,并得到了梯度圖像(ii),可以看到邊緣信息無法辨別;(iii) 為強(qiáng)邊緣提取網(wǎng)絡(luò)中SEEN-1 的輸出,可見通過SEEN-1 后模糊圖像小塊的邊緣已經(jīng)被基本提取出來;(iv)是SEEN-2 的輸出,模糊圖像小塊的邊緣在(iii) 的基礎(chǔ)上更加清晰.同樣,我們可以看到第2 幅和第3 幅模糊圖像對應(yīng)結(jié)果可以得出相同的結(jié)論:SEEN-1 濾除模糊圖像中無關(guān)的梯度值,保留了對復(fù)原有用的邊緣梯度信息.SEEN-2 對SEEN-1 輸出的邊緣進(jìn)行了進(jìn)一步的提取和增強(qiáng),使提取的強(qiáng)邊緣更加清晰.

圖11 (v)為灰度分布圖,圖11 (vi)為列灰度值加和曲線圖,本文同時繪制了模糊圖像小塊梯度圖、SEEN-1 輸出、SEEN-2 輸出圖像的灰度分布圖和列灰度值加和曲線圖來客觀分析強(qiáng)邊緣提取網(wǎng)絡(luò)的邊緣提取效果.從圖11 (v)進(jìn)行觀察和分析,模糊圖像的梯度像素值分布比較平均,也就是說由于圖像的模糊,邊緣信息損失的比較嚴(yán)重,邊緣兩側(cè)像素灰度值差距已經(jīng)不明顯,而通過SEEN-1 后,位于非邊緣的像素和位于邊緣的像素灰度值被明顯分開,絕大部分非邊緣像素被濾除,占據(jù)比重較少的邊緣像素點(diǎn)被提取出來,而通過SEEN-2 后,位于邊緣的像素的灰度值得到進(jìn)一步增強(qiáng).從圖11 (vi)所示曲線圖進(jìn)行觀察和分析,模糊圖像的梯度圖由于邊緣模糊導(dǎo)致的信息丟失,對于存在邊緣和不存在邊緣的列區(qū)域,其灰度值差別很小,無法明顯尋找出邊緣存在的區(qū)域,而對于SEEN-1 的結(jié)果,我們可以明顯地尋找到邊緣所在的列區(qū)域(曲線的波峰波谷處),對于SEEN-2 的結(jié)果,其存在邊緣的列區(qū)域灰度值峰值比SEEN-1 的結(jié)果有明顯提升.這說明本文設(shè)計的強(qiáng)邊緣提取網(wǎng)絡(luò)的兩個子網(wǎng)絡(luò)分別完成了第1.1 節(jié)中強(qiáng)邊緣提取方法兩個步驟的功能,提取并得到了模糊圖像的強(qiáng)邊緣信息.

圖11 強(qiáng)邊緣提取網(wǎng)絡(luò)效果分析 ((i)模糊圖像小塊(30×30);(ii)模糊圖像小塊邊緣(30×30);(iii) SEEN-1 輸出;(iv) SEEN-2 輸出;(v)灰度分布圖;(vi)列灰度值加和曲線圖)Fig.11 Effect analysis of strong edge extraction network ((i) Blurry image patch (30×30);(ii) Edge of blurry image patch (30×30);(iii) Output of SEEN-1;(iv) Output of SEEN-2;(v) Gray value distribution;(vi) Column gray value addition)

2.3 交叉特征提取殘差模塊有效性驗證實(shí)驗

本文在模糊特征提取子網(wǎng)絡(luò)中使用了交叉特征提取殘差模塊,目的是提升模糊特征提取時網(wǎng)絡(luò)的感受野,提高模糊特征提取能力.本文使用對比實(shí)驗的方法對交叉特征提取殘差模塊的有效性進(jìn)行了驗證.

為保證對比實(shí)驗的準(zhǔn)確性和有效性,用于對比實(shí)驗的網(wǎng)絡(luò)結(jié)構(gòu)僅將整個網(wǎng)絡(luò)中的交叉特征提取殘差模塊替換為普通的殘差模塊.網(wǎng)絡(luò)的其他部分結(jié)構(gòu)、實(shí)驗的超參數(shù)設(shè)置及訓(xùn)練流程均不改變.

在GoPro 數(shù)據(jù)集上的實(shí)驗結(jié)果如表1 所示.

表1 交叉特征提取殘差模塊有效性驗證實(shí)驗結(jié)果(GoPro 數(shù)據(jù)集)Table 1 Validation experiment results of cross-resnet block (GoPro dataset)

由表1 可以看到,使用交叉特征提取殘差模塊的網(wǎng)絡(luò)復(fù)原效果要明顯優(yōu)于使用普通殘差模塊的網(wǎng)絡(luò).

2.4 非均勻運(yùn)動模糊圖像復(fù)原對比實(shí)驗

本節(jié)將本文提出的方法與5 種非均勻圖像復(fù)原方法進(jìn)行了對比實(shí)驗,實(shí)驗結(jié)果實(shí)例如圖12 所示.

可以看到,文獻(xiàn)[13]的方法對明顯的邊緣復(fù)原效果較好,如圖12 (iv)所示的窗戶邊緣.但是對于細(xì)節(jié)的復(fù)原效果極差,如圖12 (i)所示的文字.文獻(xiàn)[7]的方法和文獻(xiàn)[21]的方法對非均勻運(yùn)動模糊圖像的整體復(fù)原效果較差,對強(qiáng)邊緣和圖像細(xì)節(jié)均無法有效復(fù)原,而且復(fù)原圖像容易產(chǎn)生波紋現(xiàn)象,如圖12 (ii)所示,嚴(yán)重影響復(fù)原效果.文獻(xiàn)[4]的方法可以通過參數(shù)的調(diào)整對部分模糊情況不復(fù)雜的非均勻運(yùn)動模糊圖像得到較好的復(fù)原效果,如圖12 (iii)所示,其文字復(fù)原效果比較清晰.但是如果復(fù)原參數(shù)不合適或者復(fù)原模糊情況較復(fù)雜,該方法就會失效,不僅得不到應(yīng)有的復(fù)原圖像,還會產(chǎn)生嚴(yán)重的波紋現(xiàn)象,如圖12 (ii)和12 (iv)所示,影響復(fù)原效果.文獻(xiàn)[10]的方法在復(fù)原非均勻運(yùn)動模糊圖像上的效果相對較好,但是邊緣的復(fù)原效果并不銳利,如圖12 (ii)中的車燈邊緣和12 (iv)中的窗戶邊緣,導(dǎo)致主觀效果有所下降.本文方法則不需要對復(fù)原過程進(jìn)行參數(shù)調(diào)整,無論非均勻運(yùn)動模糊圖像的模糊過程復(fù)雜與否,均可以自適應(yīng)地進(jìn)行復(fù)原,并得到較好的復(fù)原效果.通過對比實(shí)驗結(jié)果可見本文的方法在主觀復(fù)原效果上是非常好的,對于圖像中的細(xì)節(jié)信息(如文字等)可以有效地復(fù)原出清晰的結(jié)果,而且使復(fù)原出的圖像中強(qiáng)邊緣更加銳利清晰,達(dá)到了本文研究的目的.

圖12 對比實(shí)驗結(jié)果Fig.12 Results of comparative experiments

從表2、表3 和圖13 所示的對比實(shí)驗圖像的客觀指標(biāo)中可以看出,本文方法的客觀指標(biāo)在幾組實(shí)驗中處于領(lǐng)先水平.表4 為7 種不同方法在GoPro數(shù)據(jù)集測試集上復(fù)原結(jié)果的平均PSNR 和SSIM值.從表4 可以看到,本文方法的平均PSNR 值為30.2227,平均SSIM 值為0.8944,在幾組對比實(shí)驗中也均處于領(lǐng)先水平.

表4 復(fù)原圖像的平均PSNR 值和平均SSIM 值(GoPro 數(shù)據(jù)集)Table 4 Average value of PSNR and SSIM of restored images (GoPro dataset)

圖13 對比實(shí)驗圖像的PSNR 和SSIM 指標(biāo)值柱狀圖Fig.13 Histogram of PSNR and SSIM values of comparative experimental images

表2 對比實(shí)驗圖像的PSNR 值比較Table 2 PSNR value comparison of comparative experimental images

表3 對比實(shí)驗圖像的SSIM 值比較Table 3 SSIM value comparison of comparative experimental images

3 總結(jié)

本文以非均勻運(yùn)動模糊圖像復(fù)原為研究對象.提出了一種用于非均勻運(yùn)動模糊圖像盲復(fù)原的強(qiáng)邊緣提取網(wǎng)絡(luò),該網(wǎng)絡(luò)在梯度域提取模糊圖像的強(qiáng)邊緣,并將強(qiáng)邊緣特征與模糊圖像模糊特征融合,將強(qiáng)邊緣特征作為 “先驗知識” 約束網(wǎng)絡(luò)的前向傳播及反向傳播參數(shù)優(yōu)化過程,縮小了網(wǎng)絡(luò)映射參數(shù)的解空間,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)特征的能力,增強(qiáng)了非均勻模糊圖像復(fù)原過程中對邊緣的恢復(fù)效果,解決了其他圖像復(fù)原方法無法有針對性地對非均勻模糊圖像邊緣進(jìn)行有效復(fù)原的缺陷,較好地復(fù)原出清晰的圖像.同時也為基于深度學(xué)習(xí)的非均勻運(yùn)動模糊圖像盲復(fù)原研究提供了新穎的研究思路.大量實(shí)驗結(jié)果表明,本文設(shè)計的強(qiáng)邊緣提取網(wǎng)絡(luò)可以有效地應(yīng)用在非均勻運(yùn)動模糊圖像的復(fù)原中,獲得清晰的復(fù)原圖像并提升模糊圖像邊緣恢復(fù)效果.