基于變分狄利克雷模糊核估計的行車記錄盲圖像復原

楊　偉，謝維成*，石林玉

(1.西華大學電氣與電子信息學院，四川 成都　610039；2.四川省信號與信息處理高校重點實驗室，四川 成都　610039)

?

·計算機軟件理論、技術(shù)與應用·

基于變分狄利克雷模糊核估計的行車記錄盲圖像復原

楊偉1、2，謝維成1、2*，石林玉1、2

(1.西華大學電氣與電子信息學院，四川 成都610039；2.四川省信號與信息處理高校重點實驗室，四川 成都610039)

針對行車記錄模糊圖像的模糊核不能準確估計的問題，提出一種變分狄利克雷分布的模糊核估計方法，并利用改進的增廣拉格朗日算法實現(xiàn)有效的圖像復原。采用梯度投影法求解優(yōu)化問題，提取圖像邊緣的精確方向，用狄利克雷分布替代模糊后驗估計消除圖像噪聲，減少額外約束；以超拉普拉斯先驗分布建模，結(jié)合ALM實現(xiàn)行車記錄盲圖像復原。實驗結(jié)果表明，通過多尺度的模糊核估計，能有效估計模糊核并消除行車記錄圖像的噪聲，恢復行車記錄圖像的紋理細節(jié)。與其他方法相比較，所提出的盲圖像復原方法，從視覺特性和評價指標來講都具有較好的恢復效果。

盲圖像復原；圖像去模糊；狄利克雷分布；增廣拉格朗日法；超拉普拉斯

盲圖像復原指的是在點擴散函數(shù)PSF(模糊核)未知的情況下從退化的模糊圖像中恢復出圖像的細節(jié)信息。它是模式識別、圖像處理、計算機視覺等的基礎，在醫(yī)學診斷、刑偵分析、安全監(jiān)控、衛(wèi)星遙感等領(lǐng)域有著廣泛的應用。盲圖像復原包含2個關(guān)鍵因素：模糊核的估計、隱含圖像的估計。高速行駛車輛的行車記錄儀拍攝的圖像的復原就屬于盲圖像復原的范疇。車輛在行駛過程中難免會因抖動、高速行駛，導致行車記錄儀拍攝的圖像模糊，駕駛?cè)藛T的視覺定位失效；因此，行車記錄模糊圖像的盲復原顯得尤為重要。

最早的盲圖像的去模糊算法[1]可以追溯到上世紀70年代，而后相繼出現(xiàn)了大量相關(guān)算法[2-4]；但這些算法在速度與效果上都沒有達到令人滿意的結(jié)果。Fergus等[5]用統(tǒng)計學習的方法進行模糊核估計，該算法速度慢、對含噪的降質(zhì)圖像不能準確估計其模糊核，且容易產(chǎn)生振鈴效應。Babacan等[6]利用變分貝葉斯方法，提出了超高斯先驗框架。Levin等[7-8]分析了基于MAP的模糊核估計失效的原因，提出MAPh方法,即邊緣化所有隱含圖像后，用最大后驗概率單獨估計模糊核h，但該方法仍不能完全準確估計模糊核。對模糊核估計起決定作用的是圖像的邊緣信息，而圖像細節(jié)信息的作用較小。Cho等[9]提出利用雙邊濾波器(Bilateral Filter)、沖擊濾波器及梯度幅度取閾值對圖像邊緣進行預測，此算法去模糊質(zhì)量較高、速度較快，但對模糊核估計仍不夠準確。Sun等[10]提出一種新的參數(shù)化圖像塊模型，歸一化圖像的階躍邊緣，使用圖像統(tǒng)計學習、綜合模型以及定向濾波器進行處理，對模糊核估計的準確性有了提高，但仍存在估計偏差。

本文針對行車記錄的運動模糊圖像進行盲復原，主要在模糊核估計和隱含圖像估計方面做了改進，將超拉普拉斯法應用于盲圖像復原中，并結(jié)合變分狄利克雷方法對模糊核進行估計。在模糊核的估計方面，采用變分狄利克雷方法[11]，使優(yōu)化問題不需要任何等式約束，用梯度投影法求解優(yōu)化問題，提取圖像邊緣的精確方向，從而較準確地估計模糊核。在隱含圖像的估計方面，通過改進的增廣拉格朗日算法[12]處理不確定的邊界條件，以提高估計圖像的質(zhì)量和算法的運行速度。實驗結(jié)果顯示，本文的方法對于盲圖像復原具有較好的恢復性能。

1　模糊核估計

1.1數(shù)學模型

在實際應用中，對于從行車記錄中得到的運動模糊圖像，假設其退化過程是線性的，具有空移不變性，成像系統(tǒng)的降質(zhì)過程可以用卷積模型模擬

y=H*x+n。

(1)

式中：x是原始圖像；H是卷積矩陣；n是零均值的高斯白噪聲；*表示卷積運算；y表示降質(zhì)圖像。

本文采用正則化的方法解決行車記錄的盲圖像復原過程中的病態(tài)問題，通過增加對x和h的額外約束解決行車記錄盲圖像復原中的病態(tài)問題，用交替迭代的方法對x、h進行優(yōu)化。

(2)

(3)

(4)

式中：k表示迭代的次數(shù)；Hk是對h的第k次迭代的模糊估計脈沖響應形成的卷積矩陣；Xk+1是由恢復圖像xk+1形成的卷積矩陣；Rx和Rh為正則化函數(shù)；λx>0和λh≥0控制數(shù)據(jù)擬合項與正則化項平衡的“懲罰”權(quán)值；iXk+1為圖像xk+1第i次濾波形成的梯度矩陣。

1.2變分狄利克雷模糊核估計

求解精確的模糊核h是相當困難的，本文使用狄利克雷分布對PSF進行約束。變分狄利克雷方法是一種與圖像相關(guān)的稀疏性自適應的方法，它可以有效地消除模糊核噪聲，增加模糊核估計的準確性。

(5)

L(α)=γ(α-1)·(ψ′(α)-ψ′(Sα))+

(6)

L(αp)≤L(α)+δ1(αp-α)TL(α)。

(7)

如果αp不存在，則減小步長為s=s·δ2，直到滿足不等式(7)為止，將梯度投影應用于模糊核估計中，其算法如圖1所示，以lb=1,γ=10-6作為默認值。對于模糊核的估計，采用變分狄利克雷的方法可以防止數(shù)據(jù)的過擬合，改善變分貝葉斯估計中復原圖像產(chǎn)生的振鈴效應。

輸入數(shù)據(jù):清晰圖像x',已知模糊核k'1.圖像預處理用模糊核k'對圖像x'進行卷積并加入噪聲n,得到模糊圖像y2.模糊核估計核初始化:利用高斯低通濾波生成一個掩膜,作為初始核k1核優(yōu)化: fori=1:N(N表示金字塔層數(shù)) forj=1:M (1)利用梯度投影算法求解方程(6)得α (2)利用式子(5)結(jié)合h=α/Sα求得模糊核 (3)將本層得到的模糊核加入下層迭代中 end end3.非盲圖像去模糊由第二步得到的模糊核,對模糊圖像y去模糊。輸入?yún)?shù)μ,βx,βy,βt,設置參數(shù)ρr(默認值為2),τ0(默認值為0.7)初始化:x0=y,u0=Dx0,η=0,k=0,計算矩陣FDx[]、FDy[]、FDt[]、FH[]利用雙邊濾波器對模糊圖像y進行濾波,抑制噪聲,保留圖像細節(jié)While‖xk+1-xk‖2/‖xk‖2≤tol(1)用式子(11)結(jié)合方程(14)(15)求解子問題x(2)用式子(12)結(jié)合方程(16)求解子問題u(3)用方程(13)結(jié)合求得的x、u更新拉格朗日乘子η(4)用式子(9)更新ρrEnd輸出:去模糊圖像

圖1算法總體流程

2　基于改進增廣拉格朗日算法的快速圖像復原

2.1增廣拉格朗日算法

由方程(1)可知，盲圖像復原是對逆問題的求解，具有病態(tài)性。為解決逆問題的病態(tài)，將改進的增廣拉格朗日算法(ALM)用于解決全變差正則化。ALM算法中原有的全變差正則化模型被線性二次代價函數(shù)替代，在迭代過程中參數(shù)固定不變，無須選擇過大的懲罰參數(shù)，提高了數(shù)值求解的穩(wěn)定性。

增廣的拉格朗日(augmented Lagrangian)方程的數(shù)學表達式為：

(8)

(9)

2.2算法改進

針對以上問題，本文采用超拉普拉斯先驗分布建模并結(jié)合增廣的拉格朗日算法(ALM)進行求解，數(shù)學模型為

(10)

其中乘數(shù)η是一個中間向量，它能夠保證式(10)的收斂性。模型(10)可以通過以下方法迭代求解：

(11)

(12)

ηk+1←ηk-ρr(u-Dixk+1)。

(13)

對于x子問題，通過減少迭代次數(shù)k，可以將對方程(11)的求解等價為

(μHTH+ρrDTD)x=μHTy+ρrDTu-DTy。

(14)

模糊核矩陣H是一個三重的塊循環(huán)矩陣，通過三維離散傅里葉變換(DFT)對角化，方程(14)可通過式(15)求解。

(15)

其中F表示三維傅里葉變換運算。

對于u子問題，固定x、η，方程(12)可以用收縮公式求解。vx=βxDxx+(1/ρr)yx。vy、vt的表達式與vx的表達式類似。ux的表達式為

(16)

同理uy、ut的表達式與ux的表達式類似。通過迭代更新x、u值，由式(13)更新η的值。交替迭代得到對原始圖像x的最優(yōu)估計。

2.3多尺度迭代優(yōu)化

為處理大的運動模糊，本文通過多尺度方法[5]進行模糊核估計。利用金字塔迭代方式[14]，逐步深入地對模糊核進行估計，直到得到最佳模糊核。1)通過對模糊圖像降采樣得到金字塔的每層，B0為最高層，B7為最底層；2)使用上文提到的模糊核(初始為3×3)估計的方法在底層B7估計最優(yōu)核；3)對上層由改進算法計算的清晰圖像通過雙線性插值上采樣為下層的初始圖像，對上層估計的模糊核由雙線性插值上采樣下一層的初始模糊核，層間過渡是分別對低層的清晰圖像及估計的核進行上采樣得到；4)通過每層迭代求解對模糊圖像最優(yōu)估計的模糊核。本文設置每層迭代的次數(shù)為5，每層的模糊核尺寸分別為3、5、9、13、19、27、39、51。采用多尺度方法估計模糊核可以減輕盲圖像復原的病態(tài)問題。

2.4算法實現(xiàn)

本文通過變分狄利克雷算法進行模糊核估計，在得到模糊核之后，用改進的增廣拉格朗日算法對圖像進行非盲去模糊。

2.4.1正則化參數(shù)μ的選擇

正則化參數(shù)μ的設置是為了防止數(shù)據(jù)的過度擬合，μ過大雖然能得到清晰的復原圖像但同時會使噪聲加??；μ過小雖然引入的噪聲較小，但是復原的圖像會產(chǎn)生塊效應，使復原圖像的質(zhì)量降低。通常情況下合理的μ的取值范圍在[103,105]之間[12]，圖2為選取不同μ值圖像的復原結(jié)果，該head圖像為280×280像素，模糊核的大小為17×17。

模糊圖像μ=103μ=104μ=105

圖2不同μ值圖像的復原結(jié)果

由以上結(jié)果可知，μ=103時圖像塊效應嚴重，μ=105時產(chǎn)生了噪聲干擾，故μ的取值為104最佳。

2.4.2正則化參數(shù)ρr的選擇

通過式(9)知，選擇合適ρr值，可以提高代價函數(shù)的收斂速度。若代價函數(shù)不收斂會使復原的圖像產(chǎn)生振鈴效應；代價函數(shù)收斂速度越快，算法的執(zhí)行效率越高。在約束條件‖uk+1-Dxk+1‖2≥τ‖uk-Dxk‖2中定義了常數(shù)τ。通常情況下，在初始的目標函數(shù)μ‖Hx-y‖2+‖u‖1中添加

(17)

可以保證函數(shù)為凸函數(shù)，然而，在一些特定的情況下，隨著迭代次數(shù)的增加，式(17)并不會下降；因此，設定合適的ρr值確保式(17)是遞減的。初始的ρr值在[2，7]之間較為合適[12]。ρr值過大會使目標函數(shù)過凸，使得初始問題無法求解；ρr值過小，使得‖u-Dx‖2可忽略不計。對式(9)的分析可知，當0<τ<1,γ>1時，目標函數(shù)遞減。當τ取0.7[12]，γ取2時，在ρr取不同值情況下對head圖像的目標函數(shù)的處理過程收斂性影響如圖3(a)所示?？梢钥闯?，當ρr為2時目標函數(shù)收斂速度快，故ρr取2。固定ρr=2，τ=0.7，在不同的γ值的情況下，圖像head目標函數(shù)的收斂性，如圖3(b)所示。

(a)ρr取不同值時目標函數(shù)的收斂性

(b)γ取不同值時目標函數(shù)的收斂性圖3　圖像head的目標函數(shù)收斂性

由圖3(b)可知，當γ取2時算法的收斂效果最好，故在討論ρr的取值時，設定γ為2可以驗證其收斂性。本文算法的總體的流程如圖1所示。算法中以‖xk+1-xk‖2/‖xk‖2≤tol為迭代終止條件，其中tol為較小的正數(shù)，其值設置為0.001。

3　實驗結(jié)果與分析

為驗證本文算法對高速行駛汽車上的行車記錄儀拍攝的運動模糊圖像去模糊的有效性，以levin的圖像數(shù)據(jù)庫[7]為依據(jù)，進行圖像去模糊的模擬實驗。在實驗中，用初始核對原始參考圖像進行模糊處理，模擬實際行車記錄儀捕獲的圖像并增加了sigma=0.001的隨機噪聲。該圖像庫中包含3幅參考圖像，8個初始的運動模糊核，32幅模糊圖像。對32幅模糊圖像進行了測試，其中4幅模糊圖像在不同算法中的恢復效果，如圖4所示，圖像像素為255×255。為客觀地評價本文的算法與其他算法的去噪效果，以誤差比率(errorratio)、峰值信噪比(PSNR)、結(jié)構(gòu)相似度(SSIM)作為圖像質(zhì)量的評價指標，其結(jié)果如表1—3所示。

圖4示出4種算法與本文算法的處理結(jié)果?？梢钥闯?，本文算法所估計的模糊核更為準確，所得到的去模糊圖像也更為清晰，幾乎沒有振鈴效應。表1中的errorratio用以判定模糊核估計的準確性，一般情況下errorratio>3被認為估計失敗[7]。通過對32幅模糊圖像進行測試(表1僅給出了一部分實驗數(shù)據(jù))，文獻[9]的算法結(jié)果中有10個數(shù)據(jù)大于3，即10個模糊核估計失敗，文獻[5]的算法結(jié)果中有7個模糊核估計失敗，文獻[7]的算法結(jié)果中有4個模糊核估計失敗，文獻[10]的算法結(jié)果中有2個模糊核估計失敗，本文算法的errorratio均小于3。表2的PSNR用以衡量恢復圖像與參考圖像相比較的失真程度。當PSNR值高于28時，圖像質(zhì)量差異不太明顯。由表2可知，本文算法估計的圖像的PSNR值較其他算法高，圖像的失真程度低，具有更多的圖像細節(jié)信息。表3的SSIM表明恢復圖像與參考圖像的結(jié)構(gòu)相似度，從圖像的組成方面解釋圖像的結(jié)構(gòu)信息。由表3可知，本文算法得到的圖像更好地保持了圖像的結(jié)構(gòu)信息，恢復的圖像輪廓清晰、層次分明。綜合以上分析可知，應用本文算法，圖像去模糊的效果更好，得到的細節(jié)更豐富，將其應用到行車記錄模糊圖像的恢復中可以得到高清晰的行車記錄圖像。

以上各行分別為參考圖像、模糊圖像、Cho&Lee[9]、Fregusatall[5]、Levinatall[7]、Sunatall[10]、Proposed(本文算法處理后的圖像)。

圖4　算法對比效果圖表1　以error ratio為評價指標針對圖2中不同算法的結(jié)果

表2　以PSNR為評價指標針對圖2中不同算法的結(jié)果

表3　以SSIM為評價指標針對圖2中不同算法的結(jié)果

4　本文算法在行車記錄圖像中的應用

為驗證本文算法的有效性，對高速行駛汽車的行車記錄儀拍攝到的不同運動模糊圖像應用該算法進行盲圖像復原。實驗對8幅行車記錄儀拍攝的背景復雜度不同的運動模糊圖像進行處理，圖像像素為255×255。圖5為應用變分狄利克雷分布對圖6中行車記錄儀拍攝的模糊圖像估計的模糊核。圖6為盲圖像恢復結(jié)果。

圖5估計的模糊核

由圖6可知：對于背景復雜的image#2、3、4、5、6、7，采用該算法，能夠有效地對行車記錄圖像進行去模糊且不會產(chǎn)生振鈴效應；對于背景相對簡單的image#1、8，其去模糊效果明顯，路標清晰可見；對于存在較大的運動模糊的行車記錄圖像image#5、6、7、8，采用該算法也能夠準確地估計出模糊核，去除大的運動模糊，恢復出圖像更多的細節(jié)信息。由此可見，本算法對于各類運動模糊圖像都能準確估計其模糊核，進行有效的盲圖像復原，解決視覺定位失效的問題。

5　結(jié)論

本文結(jié)合狄利克雷分布和增廣的拉格朗日算法，利用超拉普拉斯分布進行約束，提出一種基于狄利克雷模糊核估計的盲圖像復原方法，在有效恢復圖像，去除模糊的同時豐富了圖像的細節(jié)，保持了圖像的邊緣信息。最后通過對比實驗和各項評價指標驗證了該算法的有效性。

[1]Stockham T G, Cannon T M, Ingebretsen R B. Blind Deconvolution through Digital Signal Processing[J].Proceedings of IEEE, 1975, 63(4): 678.

[2]Ayers G R, Dainty J C. Iterative Blind Deconvolution Method and its Applications[J].Optics Letters, 1988, 13(7): 547.

[3]Schultz T J. Multiframe Blind Deconvolution of Astronomical Images[J]. Journal of the Optical Society of America A, 1993, 10(5):1064 .

[4]Michailovich O, Adam D. A Novel Approach to the 2-D Blind Deconvolution Problem in Medical Ultrasound[J].IEEE Transactions on Medical Imaging, 2005, 24(1): 86.

[5]Fergus R, Singh B, Hertzmann A, et al. Removing Camera Shake from a Single Photograph[J]. Acm Transactions on Graphics, 2006, 25(25):787.

[6]Babacan S D, Molina R, Do M N, et al. Bayesian Blind Deconvolution with General Sparse Image Priors[J].European Conference on Computer Vision,2012，7577(1):341.

[7]Levin A, Weiss Y, Durand F, et al. Efficient Marginal Likelihood Optimization in Blind Deconvolution[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2011, 42(7):2657.

[8]Levin A, Weiss Y, Durand F, et al. Understanding and Evaluating Blind Deconvolution Algorithms[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2009, 8(1):1964.

[9]Cho S, Lee S. Fast Motion Deblurring[J]. ACM Transactions on Graphics, 2009,28(5):145.

[10]Sun L, Cho S, Wang J, et al. Edge-based Blur Kernel Estimation Using Patch Priors[C]//Computational Photography (ICCP), 2013 IEEE International Conference on. Cambridge, MA：IEEE，2013：1-8.

[11]Zhou X, Mateos J, Zhou F, et al. Variational Dirichlet Blur Kernel Estimation[J]. IEEE Transactions on Image Processing, 2015,24(12): 5127.

[12]Chan S H, Ramsin K, Gibson K B, et al. An Augmented Lagrangian Method for Total Variation Video Restoration[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2011, 20(11):3097.

[13]Nocedal J, Wright S J. Numerical Optimization[M]. New York, NY,USA: Springer-Verlag, 1999.

[14]Vogel C R, Oman M E. Fast, Robust Total Variation-based Reconstruction of Noisy, Blurred Images [J]. IEEE Transactions on Image Processing, 1998, 7(6):813.

[15]Zhang H, Wipf D. Non-uniform Camera Shake Removal using a Spatially-Adaptive Sparse Penalty[J].in Proc Adv Neural Inf Process Syst, 2013:1556.

(編校：饒莉)

Vehicular Image Restoration Based on Variational Dirichlet Blur Kernel Estimation

YANG Wei1、2，XIE Weicheng1、2*，SHI Linyu1、2

(1.SchoolofElectricalEngineeringandElectronicInformation,XiHuaUniversity,Chengdu610039China;2.SignalandInformationProcessingLaboratoryofUniversity,Chengdu610039China)

When the vehicular image has noise, the estimated blur kernel is not accurate. Therefore a more accurate method based on Variational Dirichlet distribution is proposed to estimate blur kernel, combined with improved augmented Lagrangian to achieve effective image restoration. This method uses the gradient projection method to solve optimization problems and extract precise orientation of the image edge. The Dirichlet distribution substitutes posterior estimate to eliminate image noise and reduce the additional constraint. Hyper-Laplacian prior distribution modeling, together with ALM, is used to restore the vehicular blind image. Experiment results show that multi-scale blur kernel estimator can effectively estimate a blur kernel and eliminate noise of vehicular image, and the texture detail of vehicular image can also be recovered. Compared with other methods, the proposed blind image restoration method have better visual appearances and quality measurements.

blind image restoration； vehicular image deblurring；Variational Dirichlet distribution；augmented Lagrangian method；hyper-Laplacian

2016-02-26

教育部“春暉計劃”項目(Z2015115)；四川省教育廳自然科學基金重點項目(15ZA0127)；四川省信號與信息處理高校重點實驗室開放基金項目(szjj2015-072)；西華大學研究生創(chuàng)新基金(ycjj2016161)資助。

謝維成 (1973—), 男,教授, 碩士, 主要研究方向為信號檢測及信號處理、基于網(wǎng)絡的信號檢測與控制、智能信息系統(tǒng)開發(fā)技術(shù)及應用。E-mail:scxweicheng@aliyun.com

TP391.41

A

1673-159X(2016)04-0023-7

10.3969/j.issn.1673-159X.2016.04.005