一種基于深度學(xué)習(xí)模型的圖像模糊自動(dòng)分析處理算法

陳 陽,周 圓

(天津大學(xué) 電子信息工程學(xué)院,天津 300072)

1 引 言

圖像中的局部運(yùn)動(dòng)模糊由拍攝場(chǎng)景中目標(biāo)物體的運(yùn)動(dòng)造成.利用有效的手段對(duì)圖像中的模糊區(qū)域和清晰區(qū)域進(jìn)行分析和處理是一項(xiàng)非常實(shí)際的技術(shù),可以作為諸如圖像運(yùn)動(dòng)目標(biāo)提取、圖像分割、圖像去模糊、圖像檢索等工作的前提基礎(chǔ).但是,現(xiàn)存的圖像模糊處理技術(shù)致力于解決盲和非盲去模糊問題.Fergus等人[1]使用一個(gè)統(tǒng)計(jì)分布模型來擬合圖像模糊內(nèi)核.Cho等人[2]指出一些受到模糊的強(qiáng)邊緣包含豐富的信息,可以被用來輔助模糊內(nèi)核的估計(jì)和圖像的重建.Perrone等人[3]指出在進(jìn)行圖像重建時(shí),對(duì)模糊內(nèi)核進(jìn)行歸一化約束可以保證正則優(yōu)化模型的快速收斂.Hu等人[4]指出存在于圖像中的結(jié)構(gòu)信息可以用來估計(jì)模糊內(nèi)核,他們提出一個(gè)基于條件隨機(jī)場(chǎng)(CRF)的學(xué)習(xí)模型,該模型能夠自動(dòng)地選取出圖像中一些包含豐富結(jié)構(gòu)信息的圖像區(qū)域來估計(jì)模糊內(nèi)核.這些工作的重點(diǎn)是消除圖像中的全局運(yùn)動(dòng)模糊并重建出潛在清晰圖像.但是這些算法只能進(jìn)行全局一致的模糊內(nèi)核估計(jì)和圖像去模糊,無法對(duì)局部運(yùn)動(dòng)模糊圖像進(jìn)行有效的去模糊處理.這是因?yàn)檫@些算法并沒有事先分割出圖像的模糊區(qū)域,而是對(duì)局部運(yùn)動(dòng)模糊圖像進(jìn)行全局統(tǒng)一的去模糊處理,這樣會(huì)導(dǎo)致圖像中原本清晰的區(qū)域出現(xiàn)失真.

為了有效去除圖像中的局部運(yùn)動(dòng)模糊,應(yīng)該首先檢測(cè)出輸入圖像的運(yùn)動(dòng)模糊區(qū)域,然后僅對(duì)這些模糊區(qū)域進(jìn)行去模糊處理,最終得到更符合人眼感官的去模糊圖像.但是研究發(fā)現(xiàn),圖像模糊區(qū)域的檢測(cè)和分類,尤其是圖像局部運(yùn)動(dòng)模糊的檢測(cè)很少被涉及.先前有一些算法[5,6]使用單一模糊特征對(duì)局部模糊圖像進(jìn)行檢測(cè),但是僅僅采用單一指標(biāo)很難對(duì)圖像的模糊區(qū)域進(jìn)行準(zhǔn)確檢測(cè).

為了實(shí)現(xiàn)精確的局部模糊檢測(cè),應(yīng)該將不同的模糊特征指標(biāo)結(jié)合成一個(gè)整體進(jìn)行圖像模糊程度的衡量.Liu等人[7]基于三種局部模糊特征構(gòu)建出一個(gè)貝葉斯分類器,并使用該分類器進(jìn)行局部模糊區(qū)域檢測(cè).Chakrabarti等人[8]提出一種在非均勻模糊情況下進(jìn)行局部運(yùn)動(dòng)模糊分析的新方法.Su等人[9]首次根據(jù)圖像塊模糊程度和對(duì)應(yīng)奇異分解值之間的關(guān)系來判別圖像的模糊區(qū)域.Shi等人[10]結(jié)合四種高效的模糊特征對(duì)圖像的模糊區(qū)域進(jìn)行檢測(cè),這四種特征分別為:峭度特征、高斯混合模型、累積平均功率譜和局部線性濾波器特征.

雖然上述方法能夠獲得不錯(cuò)的圖像局部模糊區(qū)域檢測(cè)結(jié)果,但是這些方法有一個(gè)很明顯的限制,即這些方法僅僅使用低維模糊特征,沒有充分利用圖像的潛在特征描述,導(dǎo)致算法的檢測(cè)結(jié)果存在一些誤判別現(xiàn)象.然而圖像局部模糊區(qū)域檢測(cè)是對(duì)局部運(yùn)動(dòng)模糊圖像進(jìn)行去模糊的至關(guān)重要的一步,為了更加有效地去除圖像中的局部運(yùn)動(dòng)模糊,必須準(zhǔn)確地檢測(cè)出圖像的局部模糊區(qū)域.并以此為基礎(chǔ),將圖像局部模糊區(qū)域檢測(cè)和圖像去運(yùn)動(dòng)模糊這兩項(xiàng)技術(shù)進(jìn)行有效結(jié)合,實(shí)現(xiàn)局部運(yùn)動(dòng)模糊圖像的去模糊.

圖1 局部運(yùn)動(dòng)模糊圖像去模糊模型的整體結(jié)構(gòu)圖Fig.1 Outline of the proposed partially blurred image deblurring algorithm

基于上述分析,本文提出一種基于深度學(xué)習(xí)的局部運(yùn)動(dòng)模糊圖像的去模糊框架.圖1是算法的整體結(jié)構(gòu)圖,分為兩個(gè)部分:圖像局部運(yùn)動(dòng)模糊區(qū)域檢測(cè)以及對(duì)局部運(yùn)動(dòng)模糊區(qū)域進(jìn)行去模糊.首先,本文提出一種針對(duì)局部運(yùn)動(dòng)模糊區(qū)域的檢測(cè)算法,該算法能夠從局部運(yùn)動(dòng)模糊圖像中準(zhǔn)確地檢測(cè)出模糊區(qū)域和清晰區(qū)域,并將模糊區(qū)域進(jìn)行標(biāo)記,以便于進(jìn)行局部運(yùn)動(dòng)模糊圖像的去模糊.然后,選定出待處理的運(yùn)動(dòng)模糊區(qū)域,僅對(duì)這些區(qū)域進(jìn)行去模糊處理,最終實(shí)現(xiàn)局部運(yùn)動(dòng)模糊的有效去除,獲得清晰的場(chǎng)景圖像.本文工作主要有兩個(gè)創(chuàng)新點(diǎn):首先,本文提出一個(gè)深度學(xué)習(xí)框架來執(zhí)行圖像局部模糊區(qū)域檢測(cè).其次,本文將圖像局部模糊區(qū)域檢測(cè)和圖像去運(yùn)動(dòng)模糊這兩項(xiàng)技術(shù)進(jìn)行有效結(jié)合,利用檢測(cè)出的局部模糊區(qū)域?qū)D像去模糊過程進(jìn)行指導(dǎo),最終能夠從局部運(yùn)動(dòng)模糊圖像中重建出潛在的清晰圖像.

2 圖像局部運(yùn)動(dòng)模糊區(qū)域檢測(cè)

本文提出一種基于棧式自編碼神經(jīng)網(wǎng)絡(luò)的圖像局部模糊區(qū)域檢測(cè)算法.算法分為兩個(gè)階段,首先構(gòu)建訓(xùn)練樣本集對(duì)自編碼神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值參數(shù)訓(xùn)練,然后利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對(duì)待測(cè)試圖像的運(yùn)動(dòng)模糊區(qū)域進(jìn)行準(zhǔn)確地檢測(cè).

2.1 對(duì)棧式自編碼神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練

本文首先對(duì)算法涉及的四種低維模糊特征進(jìn)行簡(jiǎn)要介紹,然后對(duì)構(gòu)建出的深度學(xué)習(xí)框架進(jìn)行分析,最后對(duì)棧式自編碼神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程進(jìn)行說明.

2.1.1 低維模糊特征

本文綜合多種低維模糊特征對(duì)圖像中的模糊區(qū)域進(jìn)行檢測(cè),現(xiàn)對(duì)這幾種模糊特征進(jìn)行簡(jiǎn)要介紹.

(1)峭度特征

Shi等人[10]提出利用峭度特征K(a)來衡量一個(gè)輸入圖像塊梯度分布的峰度,將其定義為:

(1)

其中E[·]表示期望算子,a表示輸入的數(shù)據(jù)向量.

給定一個(gè)清晰圖像塊F,模糊圖像塊D可以表示為:

D=F*h

(2)

其中h是局部模糊內(nèi)核.Shi等人[10]證明,模糊過程會(huì)降低輸入圖像塊的峭度值,即:

K(Dx)

(3)

K(Dy)

(4)

其中(Fx,Fy)和(Dx,Dy)是清晰圖像塊F和模糊圖像塊D沿x軸和y軸方向的梯度.在實(shí)際執(zhí)行中,本文算法使用文獻(xiàn)[10]定義的模糊特征:

αKF=min(ln(K(ax)),ln(K(ay)))

(5)

其中a是輸入圖像塊.算法將特征αKF作為網(wǎng)絡(luò)訓(xùn)練樣本集的第1維特征,用來對(duì)圖像數(shù)據(jù)進(jìn)行模糊特征提取.

(2)累積平均功率譜

在頻域,圖像的平均功率譜J(ω)定義為如下形式[11]:

(6)

其中(ω,θ)是像素點(diǎn)(i,j)的極坐標(biāo)形式,n是角度θ的取值數(shù)目,A是一個(gè)幅值常量.

本文采用Shi等人[10]提出的累積平均功率譜特征,其定義如下:

αCAPS=∑ωlog(J(ω))

(7)

可以證明[10],模糊圖像塊的累積平均功率譜特征值要小于清晰圖像塊對(duì)應(yīng)的值:

∑ωlog(JD(ω))≤∑ωlog(JF(ω))

(8)

從公式(8)可以看出,累積平均功率譜是一種有區(qū)別力的模糊特征,因此本文算法將累積平均功率譜作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集的第2維輸入特征.

(3) 奇異值向量和奇異值特征

Su等人[9]首次提出使用奇異值特征[9]來檢測(cè)圖像的模糊區(qū)域.給定一幅清晰圖像f∈n×n,存在正交矩陣U=[u1,u2,…,un]∈n×n和V=[v1,v2,…,vn]∈n×n,能夠?qū)表示為:

f=UΣVT

(9)

(10)

其中ui和vi分別是U和V的第i列,Ei∈n×n是特征圖像.圖像f對(duì)應(yīng)的特征圖像Ei是對(duì)該圖像在不同尺度空間的分析[12],其中前k個(gè)主要特征圖像(E1,…,Ek)代表大的尺度空間,能夠表征圖像的結(jié)構(gòu)輪廓;其余的次要特征圖像(Ek+1,…,Er)代表小的尺度空間,表征圖像的紋理信息.

對(duì)于一幅模糊圖像d,可以看成是其對(duì)應(yīng)的潛在清晰圖像f和模糊內(nèi)核h的卷積:

(11)

本文從圖像中提取大小為8*8的圖像塊,并分別計(jì)算RGB三個(gè)通道對(duì)應(yīng)的奇異值,記為MR=(σ1,σ2,…,σ8) ,MG=(σ9,σ10,…,σ16),MB=(σ17,σ18,…,σ24).接下來分別針對(duì)RGB三個(gè)通道計(jì)算前4個(gè)奇異值占全部8個(gè)奇異值的比值,將其定義為圖像的奇異值特征αR,αG,αB:

(12)

本文對(duì)每個(gè)圖像塊進(jìn)行奇異值分解,得到RGB三個(gè)通道的奇異值向量MR,MG,MB和奇異值特征αR,αG,αB.然后將上述特征向量按照(αR,MR,αG,MG,αB,MB)的形式組合成一個(gè)27維向量,將其作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集的第3至第29維輸入特征.

至此,本文已經(jīng)介紹了涉及的四種低維模糊特征.下文將對(duì)構(gòu)建的深度學(xué)習(xí)框架進(jìn)行分析.

2.1.2 基于棧式自編碼神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)框架設(shè)計(jì)

圖2 單層自編碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Illustration of an auto-encoder

單層自編碼神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層三層組成.圖2展示了一個(gè)單層自編碼神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖.其中X={xi∈SI}(i=1,2,…,N)表示原始的低維輸入特征向量,SI}(i=1,2,…,N)表示神經(jīng)網(wǎng)絡(luò)的理論輸出值,SI表示原始輸入特征向量的維數(shù),N表示訓(xùn)練樣本集合中的樣本個(gè)數(shù),W(1),b(1)分別表示自編碼神經(jīng)網(wǎng)絡(luò)隱藏層的網(wǎng)絡(luò)參數(shù)和對(duì)應(yīng)的偏置項(xiàng),W(2),b(2)分別表示自編碼神經(jīng)網(wǎng)絡(luò)輸出層的網(wǎng)絡(luò)參數(shù)和偏置項(xiàng).

在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)置上,輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)等于輸入特征向量的維數(shù),隱藏層節(jié)點(diǎn)個(gè)數(shù)小于輸入特征向量的維數(shù).即通過迭代訓(xùn)練,自編碼神經(jīng)網(wǎng)絡(luò)會(huì)發(fā)現(xiàn)輸入數(shù)據(jù)之間的相關(guān)性,學(xué)習(xí)出一個(gè)原始輸入數(shù)據(jù)的壓縮表示.

棧式自編碼神經(jīng)網(wǎng)絡(luò)是一個(gè)由多層稀疏自編碼器組成的神經(jīng)網(wǎng)絡(luò),其中高層自編碼器的輸入值等于其前一層自編碼器的激活度向量.棧式自編碼神經(jīng)網(wǎng)絡(luò)能夠處理更復(fù)雜的輸入特征,因?yàn)槊恳粋€(gè)隱藏層可以對(duì)前一個(gè)隱藏層的輸出進(jìn)行非線性變換,從而能夠發(fā)現(xiàn)輸入特征之間更深層次的聯(lián)系,學(xué)習(xí)到高度非線性和更加復(fù)雜的函數(shù)關(guān)系.

圖3是本文構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)圖,由輸入層、隱藏層Ⅰ、隱藏層Ⅱ和分類器層組成.其中W(1),b(1)表示神經(jīng)網(wǎng)絡(luò)隱藏層Ⅰ對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)和偏置項(xiàng),W(2),b(2)表示神經(jīng)網(wǎng)絡(luò)隱藏層Ⅱ?qū)?yīng)的網(wǎng)絡(luò)參數(shù)和偏置項(xiàng),W(3),b(3)表示神經(jīng)網(wǎng)絡(luò)分類器層對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)和偏置項(xiàng).

圖3 深層棧式自編碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 A deep architecture of our stacked auto-encoder

為了更好地描述這種通過棧式自編碼神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的非線性潛在特征,本文通過公式對(duì)其進(jìn)行表示:

(13)

(14)

為了對(duì)構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行有效的參數(shù)訓(xùn)練,使得該網(wǎng)絡(luò)能夠?qū)斎雸D像塊的模糊程度進(jìn)行準(zhǔn)確判別,我們將針對(duì)上述目標(biāo)為深度學(xué)習(xí)網(wǎng)絡(luò)制作相應(yīng)的訓(xùn)練樣本集.下文開始對(duì)訓(xùn)練樣本集合的構(gòu)建方式以及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程進(jìn)行說明.

2.1.3 棧式自編碼神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程簡(jiǎn)述

為了對(duì)自編碼網(wǎng)絡(luò)進(jìn)行高效訓(xùn)練,本文要構(gòu)建一個(gè)包含大量模糊和清晰圖像塊的訓(xùn)練樣本集.首先,隨機(jī)選取30幅清晰圖像和30幅運(yùn)動(dòng)模糊圖像組成一個(gè)數(shù)據(jù)集.然后從數(shù)據(jù)集清晰圖像樣本中隨機(jī)截取20000個(gè)8*8的圖像塊組成神經(jīng)網(wǎng)絡(luò)訓(xùn)練集的正樣本,并為每一個(gè)圖像塊加上正樣本標(biāo)簽1;接著從運(yùn)動(dòng)模糊圖像樣本中隨機(jī)截取20000個(gè)8*8的圖像塊組成訓(xùn)練集的負(fù)樣本,同時(shí)為每一個(gè)圖像塊加上負(fù)樣本標(biāo)簽2.最后,將所有正、負(fù)樣本圖像塊連同附加的標(biāo)簽按照矩陣形式進(jìn)行組合,能夠獲得一個(gè)初始訓(xùn)練樣本集.

為了實(shí)現(xiàn)精確的圖像局部運(yùn)動(dòng)模糊檢測(cè),本文使用峭度特征[10]、累積平均功率譜[10]、奇異值向量和奇異值特征[9]四種模糊特征對(duì)初始訓(xùn)練樣本集進(jìn)行進(jìn)一步的特征提取,并將這四種低維模糊特征的提取結(jié)果組合成一個(gè)新的訓(xùn)練樣本矩陣.本文算法利用逐層貪婪方法訓(xùn)練棧式自編碼神經(jīng)網(wǎng)絡(luò).首先將這個(gè)訓(xùn)練樣本矩陣送入自編碼神經(jīng)網(wǎng)絡(luò),然后采用無監(jiān)督方式對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層的預(yù)訓(xùn)練,學(xué)習(xí)得到所有隱藏層的最佳初始權(quán)重.接著使用上一階段訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)和有標(biāo)簽的訓(xùn)練樣本,采用反向傳播算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行有監(jiān)督地微調(diào),從而進(jìn)一步提高分類器的性能.

至此已經(jīng)完成了訓(xùn)練樣本集合的構(gòu)建以及棧式自編碼神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)訓(xùn)練過程.為了準(zhǔn)確地檢測(cè)出圖像中的局部運(yùn)動(dòng)模糊區(qū)域,本文設(shè)計(jì)了一個(gè)針對(duì)局部運(yùn)動(dòng)模糊圖像的具體檢測(cè)流程.下文將對(duì)上述檢測(cè)過程進(jìn)行詳細(xì)介紹.

2.2 對(duì)待測(cè)試圖像模糊區(qū)域進(jìn)行檢測(cè)

這一部分將使用已經(jīng)訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)一幅新的輸入圖像進(jìn)行局部模糊區(qū)域檢測(cè),具體流程如下.

2.2.1 對(duì)待測(cè)試圖像模糊區(qū)域進(jìn)行初始檢測(cè)

在圖像模糊區(qū)域的初始檢測(cè)階段,首先將一幅待檢測(cè)模糊圖像分成互不重疊、大小為8*8的圖像塊.針對(duì)每一個(gè)圖像塊,使用四種模糊特征對(duì)原始圖像塊進(jìn)行特征提取,并將運(yùn)算結(jié)果組成一個(gè)新的特征向量矩陣.接下來使用預(yù)先訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)該特征向量矩陣進(jìn)行進(jìn)一步的特征提取,尋找輸入特征之間更深層次的聯(lián)系,學(xué)習(xí)到高度非線性和更加復(fù)雜的潛在特征描述.然后將這些特征描述送入分類器進(jìn)行決策,神經(jīng)網(wǎng)絡(luò)的分類器層會(huì)輸出每一個(gè)原始圖像塊對(duì)應(yīng)的預(yù)測(cè)類標(biāo)簽,從而實(shí)現(xiàn)對(duì)每一個(gè)圖像塊模糊程度的判別與分類,得到一幅初始的分類結(jié)果圖.

2.2.2 初始分類結(jié)果圖的插值和閾值分割

為了更精確地檢測(cè)出一幅圖像的模糊區(qū)域,本文使用插值算法[13]將初始分類結(jié)果圖插值成完全分類結(jié)果圖.

本文采用基于拉普拉斯的插值方法[13]對(duì)初始分類結(jié)果圖進(jìn)行插值,該插值方法的詳細(xì)推導(dǎo)請(qǐng)參見文獻(xiàn)[13].圖4展示了一些局部模糊圖像的初始分類結(jié)果、對(duì)應(yīng)的插值和閾值分割結(jié)果.從圖4中可以看到插值算法能夠很好地處理圖像中的平滑區(qū)域.

3 對(duì)檢測(cè)出的局部運(yùn)動(dòng)模糊區(qū)域進(jìn)行去模糊

為了有效地去除圖像中的局部運(yùn)動(dòng)模糊,本文算法將圖像局部運(yùn)動(dòng)模糊區(qū)域檢測(cè)和圖像去運(yùn)動(dòng)模糊這兩項(xiàng)技術(shù)進(jìn)行有效結(jié)合.在對(duì)待測(cè)試圖像執(zhí)行模糊區(qū)域檢測(cè)之后,將這些檢測(cè)出的局部模糊區(qū)域作為遮罩層,僅對(duì)這些區(qū)域進(jìn)行去模糊處理,這樣就能夠在有效去除局部運(yùn)動(dòng)模糊的同時(shí)不發(fā)生圖像失真,最終實(shí)現(xiàn)局部運(yùn)動(dòng)模糊圖像的去模糊.

圖4 初始結(jié)果圖的插值和閾值分割Fig.4 Initial map interpolation and thresholding segmentation

圖5給出一個(gè)局部運(yùn)動(dòng)模糊圖像去模糊的示意圖.首先,對(duì)輸入圖像執(zhí)行模糊區(qū)域的檢測(cè)與分類,得到一幅分類結(jié)果圖.在分類結(jié)果圖中,我們使用白色表示圖像的運(yùn)動(dòng)模糊區(qū)域,使用黑色表示圖像的清晰區(qū)域.然后,使用學(xué)習(xí)出的分類結(jié)果圖將原始圖像分割成模糊區(qū)域和清晰區(qū)域.接下來,將這些標(biāo)記出的局部模糊區(qū)域作為遮罩層,先對(duì)輸入圖像進(jìn)行去模糊處理,得到初始去模糊結(jié)果圖.最后,再將原始圖像的清晰區(qū)域還原到初始去模糊結(jié)果圖中,得到最終的去模糊圖像.

圖5 針對(duì)局部運(yùn)動(dòng)模糊圖像進(jìn)行去模糊的示意圖Fig.5 An illustration of the proposed partially blurred image deblurring algorithm

本文算法采用基于小波緊框架的圖像去模糊方法[14]對(duì)原始輸入圖像進(jìn)行去模糊,該算法將框架理論應(yīng)用到小波分析中,在一個(gè)小波緊框架中對(duì)原始圖像和模糊內(nèi)核的稀疏性進(jìn)行約束.給定原始模糊圖像d,模糊過程可以建模為:

d=f?h+r

(15)

其中f是潛在的清晰圖像,h是圖像的模糊內(nèi)核,r是加性噪聲.算法[14]提出一個(gè)基于正則優(yōu)化的方法來對(duì)潛在清晰圖像f和模糊內(nèi)核h進(jìn)行估計(jì).令h(0)表示模糊內(nèi)核h的初始估計(jì),可以用交替迭代的策略對(duì)算法[14]提出的正則優(yōu)化問題進(jìn)行求解,具體求解步驟見下頁表1.

通過對(duì)算法進(jìn)行交替迭代地求解,當(dāng)正則優(yōu)化模型收斂時(shí),可以得到潛在清晰圖像fk+1,此時(shí)的fk+1即為初始去模糊圖像.然后,如圖5所示,將原始圖像的清晰區(qū)域還原到初始去模糊圖像中,能夠得到最終的去模糊圖像.相比于現(xiàn)存的圖像去模糊算法,由于本文算法能夠預(yù)先檢測(cè)出圖像的模糊區(qū)域,然后僅對(duì)這些模糊區(qū)域執(zhí)行去模糊處理,這樣就能夠在有效去除局部運(yùn)動(dòng)模糊的同時(shí)不發(fā)生圖像失真,最終得到更高質(zhì)量的去模糊圖像.

表1 交替最小化方法
Table 1 An alternating minimization method

輸入：原始模糊圖像d1．初始化：h=h(0)．2．fork=0，1，2，…，500，do 1)固定h(k)，使用下式計(jì)算f(k+1)： f(k+1)=argminf12‖h(k+1)?f-d‖22+μ1‖Wf‖1 其中μ1是正則化參數(shù)，W是框架變換矩陣； 2)固定f(k+1)，使用下式計(jì)算h(k+1)： h(k+1)=argminh12‖f(k+1)?h-d‖22+μ2‖Wh‖1+τ2‖h‖22() 其中μ2和τ是正則化參數(shù)，h是圖像的模糊內(nèi)核．3．endfor輸出：潛在清晰圖像f=fk+1

4 實(shí)驗(yàn)結(jié)果和分析

本文實(shí)驗(yàn)參數(shù)設(shè)置如下:在自編碼神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段,本文從數(shù)據(jù)集清晰圖像樣本中隨機(jī)截取20000個(gè)圖像塊組成訓(xùn)練集的正樣本,并為每一個(gè)圖像塊加上正樣本標(biāo)簽1;接著從運(yùn)動(dòng)模糊圖像樣本中隨機(jī)截取20000個(gè)圖像塊組成訓(xùn)練集的負(fù)樣本,同時(shí)為每一個(gè)圖像塊加上負(fù)樣本標(biāo)簽2.本文算法隨機(jī)截取的40000個(gè)圖像塊的大小均為8*8像素.接下來將正、負(fù)樣本按矩陣形式進(jìn)行拼接,矩陣總大小為192*40000,其中矩陣的每一列為一個(gè)圖像塊RGB通道的像素值.此外,在模糊特征提取階段,將對(duì)每一個(gè)圖像塊提取出29維的特征向量,最終組成一個(gè)大小為29*40000的訓(xùn)練樣本特征矩陣.

4.1 圖像局部模糊區(qū)域檢測(cè)結(jié)果

本文提出的圖像局部模糊區(qū)域檢測(cè)框架分為訓(xùn)練和檢測(cè)兩個(gè)階段.為了驗(yàn)證圖像局部模糊區(qū)域檢測(cè)的準(zhǔn)確性,將本文算法與四種現(xiàn)存的圖像模糊區(qū)域檢測(cè)算法[7-10]進(jìn)行比較,其中對(duì)比實(shí)驗(yàn)采用算法[10]中的圖像集.圖6展示出這5種算法的精確度-查全率曲線[7,10],通過對(duì)比,本文算法實(shí)現(xiàn)了最高的準(zhǔn)確率.這表明,對(duì)于一幅待處理的局部運(yùn)動(dòng)模糊圖像,本文算法得到的模糊區(qū)域檢測(cè)結(jié)果比其余四種方法的結(jié)果更加精確,并且更接近于真值圖像.

圖6 不同算法基于精確度-查全率曲線的定量比較Fig.6 Quantitative comparison via precision-recall curves for different methods

圖8是模糊區(qū)域檢測(cè)算法的檢測(cè)結(jié)果圖和對(duì)應(yīng)的真值圖,從左至右依次為輸入圖像、算法[8,7,9,10]的實(shí)驗(yàn)結(jié)果、本文算法的結(jié)果和真值圖像.從圖中能夠看出,前四種算法得到的結(jié)果存在誤檢測(cè).通過對(duì)比發(fā)現(xiàn),本文算法能夠?qū)Ω鞣N復(fù)雜的運(yùn)動(dòng)場(chǎng)景進(jìn)行處理,并且能夠準(zhǔn)確地檢測(cè)出圖像中的運(yùn)動(dòng)模糊區(qū)域,幾乎不存在誤檢測(cè)的現(xiàn)象.此外,本文算法的檢測(cè)結(jié)果更接近于真值圖像.

4.2 圖像模糊區(qū)域分割結(jié)果

基于學(xué)習(xí)得到的分類結(jié)果圖,本文能夠進(jìn)行圖像運(yùn)動(dòng)模糊區(qū)域分割.圖7為本文算法與Levin[5]和Liuetal.[7]算法得到的分割實(shí)驗(yàn)結(jié)果.通過對(duì)比,本文算法提取出的運(yùn)動(dòng)目標(biāo)區(qū)域更加精確,并且不需要預(yù)先估計(jì)出圖像的模糊內(nèi)核.

圖7 局部運(yùn)動(dòng)模糊區(qū)域的分割結(jié)果.從左至右依次為:原始輸入圖像,算法[5]的實(shí)驗(yàn)結(jié)果,算法[7]的實(shí)驗(yàn)結(jié)果,以及本文算法的實(shí)驗(yàn)結(jié)果Fig.7 Comparison of blur region segmentation for partially blurred images.From left to right are the blurred images,the results by Levin [5],Liu et al.[7],and by our method

4.3 局部運(yùn)動(dòng)模糊圖像去模糊實(shí)驗(yàn)結(jié)果

本文著重對(duì)所提出的圖像去模糊算法進(jìn)行實(shí)驗(yàn),并與現(xiàn)存圖像去模糊算法進(jìn)行對(duì)比分析.在對(duì)局部運(yùn)動(dòng)模糊圖像進(jìn)行去模糊的過程中,由于現(xiàn)存的圖像去模糊算法并不能事先分割出圖像的模糊區(qū)域,而是對(duì)局部運(yùn)動(dòng)模糊圖像進(jìn)行全局統(tǒng)一的去模糊處理,這樣會(huì)導(dǎo)致圖像中原本清晰的區(qū)域出現(xiàn)失真.

為了更加有效地去除圖像中的局部運(yùn)動(dòng)模糊,應(yīng)該首先估計(jì)出輸入圖像的運(yùn)動(dòng)模糊區(qū)域,然后僅對(duì)這些模糊區(qū)域進(jìn)行去模糊處理,最終能夠得到更符合人眼感官的去模糊圖像.下頁圖9是局部運(yùn)動(dòng)模糊圖像去模糊的實(shí)驗(yàn)結(jié)果,從左至右依次為原始輸入圖像、算法[2,3]的實(shí)驗(yàn)結(jié)果和本文算法的結(jié)果.在第二列圖像中,算法[2]雖然能夠去除背景位置的運(yùn)動(dòng)模糊,但是對(duì)于圖像中的清晰區(qū)域,算法[2]也對(duì)其進(jìn)行了去模糊處理,這會(huì)導(dǎo)致圖像中原本清晰的區(qū)域出現(xiàn)失真.而本文算法會(huì)事先標(biāo)記出輸入圖像中的模糊區(qū)域,僅對(duì)這些模糊區(qū)域進(jìn)行去模糊,因此能夠在有效去除局部運(yùn)動(dòng)模糊的同時(shí)不發(fā)生圖像失真.比如這三幅圖像的運(yùn)動(dòng)目標(biāo)位置,算法[2]的重建結(jié)果都會(huì)產(chǎn)生圖像失真,通過對(duì)比,本文算法的實(shí)驗(yàn)結(jié)果更加自然.第三列圖像是算法[3]的實(shí)驗(yàn)結(jié)果,該算法的結(jié)果出現(xiàn)很明顯的偽影,比如第二幅圖像的車窗部分和第三幅圖像的車門部分均出現(xiàn)偽影,圖像重建效果不夠理想.通過對(duì)比發(fā)現(xiàn),本文算法的實(shí)驗(yàn)結(jié)果含有較少的圖像失真.值得一提的是,本文算法在保持圖像更加自然的情況下,對(duì)于模糊區(qū)域的處理效果也優(yōu)于上述算法,比如最后一行圖像的文字區(qū)域,本文算法的重建結(jié)果比算法[2,3]的結(jié)果更加清晰自然.

圖8 不同算法的局部模糊區(qū)域檢測(cè)結(jié)果Fig.8 Sample detection results of partially blurred images between different methods

圖9 局部運(yùn)動(dòng)模糊圖像去模糊實(shí)驗(yàn)結(jié)果Fig.9 Sample deblurring results of partially blurred images

5 結(jié) 論

本文提出一種基于深度學(xué)習(xí)的圖像去模糊算法,該算法針對(duì)圖像塊進(jìn)行分析和處理,是一種基于圖像局部區(qū)域的模糊處理方法.針對(duì)現(xiàn)存圖像去模糊算法的不足之處,本文首先對(duì)現(xiàn)存圖像局部模糊區(qū)域檢測(cè)算法進(jìn)行改進(jìn),提出一個(gè)基于自編碼神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)框架,該框架能夠準(zhǔn)確檢測(cè)并分類出圖像的局部模糊區(qū)域.然后,本文創(chuàng)新性地將圖像局部模糊區(qū)域檢測(cè)與圖像去模糊兩項(xiàng)技術(shù)進(jìn)行有效結(jié)合,利用檢測(cè)出的局部模糊區(qū)域?qū)D像去模糊過程進(jìn)行指導(dǎo),最終實(shí)現(xiàn)局部模糊圖像的去模糊.實(shí)驗(yàn)結(jié)果表明,在定性和定量比較兩個(gè)方面,本文相較于現(xiàn)有算法均表現(xiàn)出顯著優(yōu)勢(shì).

[1] Fergus R,Singh B,Hertzmann A,et al.Removing camera shake from a single photograph[C].ACM Transactions on Graphics(TOG),Boston:Association for Computing Machinery,2006,25(3):787-794.

[2] Cho S,Lee S.Fast motion deblurring[C].ACM Transactions on Graphics (TOG),New Orleans:Association for Computing Machinery,2009,28(5):145-152.

[3] Perrone D,Favaro P.Total variation blind deconvolution:The devil is in the details[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Columbus:Institute of Electrical and Electronics Engineers (IEEE),2014:2909-2916.

[4] Hu Z,Yang M H.Learning good regions to deblur images[J].International Journal of Computer Vision (IJCV),2015,115(3):345-362.

[5] Levin A.Blind motion deblurring using image statistics[C].Proceedings of the 20th Annual Conference on Neural Information Processing Systems (NIPS),2006:841-848.

[6] Da J Rugna H.Konik.Automatic blur detection for meta-data extraction in content-based retrieval context[C].International Society for Optics and Photonics (SPIE),Proceedings,vol.5304,2003:285-294.

[7] Liu R,Li Z,Jia J.Image partial blur detection and classification[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Institute of Electrical and Electronics Engineers (IEEE),2008:1-8.

[8] Chakrabarti A,Zickler T,Freeman W T.Analyzing spatially-varying blur[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Institute of Electrical and Electronics Engineers (IEEE),2010:2512-2519.

[9] Su B,Lu S,Tan C L.Blurred image region detection and classification[C].Proceedings of the 19th ACM International Conference on Multimedia,Association for Computing Machinery (ACM),2011:1397-1400.

[10] Shi J,Xu L,Jia J.Discriminative blur detection features[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Institute of Electrical and Electronics Engineers (IEEE),2014:2965-2972.

[11] Van A der Schaaf,J H van Hateren.Modelling the power spectra of natural images:statistics and information[J].Vision Research,1996,36(17):2759-2770.

[12] Andrews H,Patterson C.Singular value decompositions and digital image processing[J].IEEE Transactions on Acoustics,Speech,and Signal Processing,1976,24(1):26-53.

[13] Levin A,Lischinski D,Weiss Y.A closed-form solution to natural image matting[J].IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI),2008,30(2):228-242.

[14] Cai J F,Ji H,Liu C,et al.Framelet-based blind motion deblurring from a single image[J].IEEE Transactions on Image Processing,2012,21(2):562-572.