非凸混合總變分圖像盲復(fù)原

劉巧紅,李 斌,林 敏

(1.上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院,上海 200073; 2.上海醫(yī)療器械高等專(zhuān)科學(xué)校醫(yī)學(xué)電子與信息工程系,上海 200093)

?

非凸混合總變分圖像盲復(fù)原

劉巧紅1,李 斌1,林 敏2

(1.上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院,上海 200073; 2.上海醫(yī)療器械高等專(zhuān)科學(xué)校醫(yī)學(xué)電子與信息工程系,上海 200093)

摘要:為實(shí)現(xiàn)模糊噪聲圖像的盲復(fù)原,提出了一種混合非凸總變分和高階總變分的多正則化約束的圖像盲復(fù)原方法.首先,根據(jù)自然圖像邊緣的稀疏特性,運(yùn)用了非凸總變分對(duì)復(fù)原圖像進(jìn)行正則化約束;然后,結(jié)合高階總變分正則化克服階梯效應(yīng)的優(yōu)勢(shì),建立了非凸混合總變分極小化模型;最后,利用增廣拉格朗日方法和新的廣義p收縮算子對(duì)提出的模型進(jìn)行最優(yōu)化求解.實(shí)驗(yàn)結(jié)果表明,提出的方法能夠有效保護(hù)圖像邊緣細(xì)節(jié),同時(shí)消除了圖像平滑區(qū)域的階梯效應(yīng),獲得高質(zhì)量的復(fù)原圖像.

關(guān)鍵詞:圖像復(fù)原;非凸;高階;總變分;增廣拉格朗日方法;p收縮算子;優(yōu)化

圖像在采集的過(guò)程中,由于成像設(shè)備與物體之間的相對(duì)運(yùn)動(dòng)、對(duì)焦不準(zhǔn)確或者大氣湍流等各種因素,極易變得模糊.模糊的圖像不僅降低了自身質(zhì)量,也會(huì)影響到圖像的后續(xù)處理及應(yīng)用.圖像模糊的過(guò)程在數(shù)學(xué)上可模型化為清晰圖像卷積模糊核,并疊加噪聲,即f=u*h+n,其中,*表示卷積算子,f表示觀(guān)測(cè)的模糊圖像,u表示原始的清晰圖像,h表示模糊核函數(shù),或稱(chēng)為點(diǎn)擴(kuò)散函數(shù)(Point Spread Function,PSF),n表示噪聲.圖像復(fù)原是圖像模糊的逆過(guò)程,根據(jù)PSF是否已知,可分為圖像盲復(fù)原和圖像非盲復(fù)原兩大類(lèi).圖像盲復(fù)原是在PSF未知或已知信息量很少的情況下,對(duì)模糊圖像進(jìn)行恢復(fù).很明顯,在實(shí)際應(yīng)用中,通常需要處理的是圖像盲復(fù)原問(wèn)題,文中的重點(diǎn)即模糊圖像的盲復(fù)原.

總的來(lái)說(shuō),圖像盲復(fù)原是一個(gè)病態(tài)的反問(wèn)題,通常在求解中,利用已知的先驗(yàn)知識(shí)施加適當(dāng)?shù)募s束,將原始的病態(tài)問(wèn)題轉(zhuǎn)換為良性問(wèn)題,從而穩(wěn)定原始問(wèn)題的解,正則化方法是解決此類(lèi)問(wèn)題的有效途徑之一.總變分[1](Total Variation,TV)模型最早由Rudin等針對(duì)圖像去噪問(wèn)題而提出,由于其具有強(qiáng)大的圖像邊緣保護(hù)能力,成為圖像去噪算法中最成功的方法之一.文獻(xiàn)[2]首先將TV模型作為正則項(xiàng)應(yīng)用到了模糊圖像盲復(fù)原,很好保護(hù)了復(fù)原圖像的邊緣.然而TV正則化易于在圖像的平滑區(qū)域支持分片常數(shù)的解,會(huì)出現(xiàn)階梯效應(yīng).將高階偏導(dǎo)引入能量變分模型是其中一種戰(zhàn)勝階梯效應(yīng)的有效方法,如四階偏微分方程模型、高階偏微分方程LLT(Lysaker-Lundervold-Tai,LLT)模型、總廣義變分(Total Generalized Variation,TGV)模型等.高階的擴(kuò)散能夠更好地近似圖像平滑區(qū)域的變化規(guī)律,消除分片常數(shù)現(xiàn)象,從而抑制階梯效應(yīng).然而正是由于高階模型復(fù)原圖像時(shí)趨向于光滑,導(dǎo)致圖像的邊緣易出現(xiàn)模糊.

面對(duì)高階模型在圖像復(fù)原時(shí)在邊緣保持上遇到的困難,結(jié)合低階模型和高階偏導(dǎo)模型的圖像復(fù)原方法被提出,組合的模型能充分利用單一模型各自的優(yōu)勢(shì)進(jìn)行圖像復(fù)原,從而獲得更優(yōu)的復(fù)原效果.最早的組合模型是由文獻(xiàn)[3]提出的inf-convolution模型,該模型結(jié)合了TV約束圖像的分片常量部分和TV的導(dǎo)數(shù)約束分片平滑區(qū)域構(gòu)成的兩個(gè)凸正則項(xiàng),來(lái)解決圖像的去噪問(wèn)題.文獻(xiàn)[4]將TV模型和LLT模型凸組合,交替地進(jìn)行求解模型,有效保持邊緣和恢復(fù)平滑區(qū)域.文獻(xiàn)[5]在TV模型上增加了一個(gè)非平滑的二階正則項(xiàng),構(gòu)造了TV和TV導(dǎo)數(shù)合并的凸函數(shù).該模型不僅在避免階梯效應(yīng)和邊緣保持上極具競(jìng)爭(zhēng)性,并且能方便簡(jiǎn)單有效地進(jìn)行數(shù)值求解.組合模型解決圖像復(fù)原問(wèn)題,受到持續(xù)增長(zhǎng)的關(guān)注.

相對(duì)于上述的凸變分模型,根據(jù)統(tǒng)計(jì)分析得出自然圖像的梯度符合“尖峰重尾”的分布[6],這種統(tǒng)計(jì)特性為圖像的復(fù)原問(wèn)題提供了非常有用的先驗(yàn)知識(shí).文獻(xiàn)[6]指出,超拉普拉斯分布可更好地?cái)M合自然圖像的“尖峰重尾”分布特征,并給出了相應(yīng)的非凸圖像非盲復(fù)原的快速算法.文獻(xiàn)[7]就歸納了多種非凸正則項(xiàng)的基礎(chǔ)上,指出非凸正則項(xiàng)在保持圖像的邊緣性上優(yōu)于凸正則項(xiàng).近來(lái)的許多研究也表明,非凸正則項(xiàng)在恢復(fù)高質(zhì)量的圖像上提供了更多的可能性[8],尤其是在邊緣和形狀的保持上.而非凸的模型在數(shù)值上求解具有一定的困難性,通常非凸問(wèn)題利用lp擬范式替代凸問(wèn)題中的l1范式,其中,0＜p＜1.文獻(xiàn)[6]在解決非凸圖像非盲復(fù)原問(wèn)題時(shí),只是給出了p取幾種特殊值的解析解,不夠明確.而近來(lái)文獻(xiàn)[9]設(shè)計(jì)的廣義p收縮算子,給出了非凸問(wèn)題的統(tǒng)一求解模型,能方便有效地解決此類(lèi)問(wèn)題.

受到組合模型及非凸正則化模型優(yōu)勢(shì)的啟發(fā),為更好地實(shí)現(xiàn)模糊圖像的盲復(fù)原,筆者提出了一種結(jié)合非凸TV模型和高階擴(kuò)散模型的混合總變分圖像盲復(fù)原方法.針對(duì)混合變分模型的求解,提出一種結(jié)合增廣拉格朗日方法和廣義p收縮算子的求解方法,對(duì)相應(yīng)的代價(jià)函數(shù)進(jìn)行最優(yōu)化的求解.

1 非凸混合變分正則化的圖像盲復(fù)原方法

1.1 非凸混合正則化模型的建立

針對(duì)圖像復(fù)原問(wèn)題,非凸正則化模型具有優(yōu)于凸正則模型的邊緣保持性,高階模型的擴(kuò)散能力可有效避免階梯效應(yīng)和假邊緣瑕疵,組合模型綜合單一模型各自的優(yōu)勢(shì),從而獲得更好的復(fù)原效果.在此分析的基礎(chǔ)上,文中分別針對(duì)自然圖像的邊緣細(xì)節(jié)和平滑區(qū)域的不同特性,提出了一種非凸總變分和高階擴(kuò)散模型的混合總變分圖像盲復(fù)原模型,可表示為

其中,?u=(Dxu,Dyu)和?2u=(Dxxu,Dyyu,Dxyu,Dyxu),分別是一階和二階偏導(dǎo)算子的離散形式.將圖像正則化約束項(xiàng)分別定義為

式(1)中,R(h)是模糊核函數(shù)的正則化約束,由于模糊核通常表現(xiàn)出明顯的稀疏性和非負(fù)性,因而采用其自身的l1范式進(jìn)行約束,并且滿(mǎn)足:

1.2 結(jié)合增廣拉格朗日和廣義p收縮算子的交替極小化算法

式(1)中的多個(gè)約束項(xiàng)由式(2)～式(4)定義后,可寫(xiě)為如下的優(yōu)化問(wèn)題形式:

為有效計(jì)算出原始圖像u和模糊核函數(shù)h,采用了交替最小化的策略,將非約束的優(yōu)化問(wèn)題式(5)轉(zhuǎn)換成關(guān)于u和h的兩個(gè)子問(wèn)題交替求解.

1.2.1 原始圖像u的求解

求解u時(shí),固定h不變,正則項(xiàng)為非凸TV項(xiàng)和高階偏導(dǎo)項(xiàng),可得到

其中,H是模糊核函數(shù)h的矩陣表示,其值是由前次的迭代計(jì)算中估計(jì)得出.針對(duì)式(6),根據(jù)變量分裂準(zhǔn)則,首先引入多個(gè)輔助變量ν=(νx,νy),ω=(ωxx,ωyy,ωxy,ωyx),式(6)被轉(zhuǎn)化為約束的優(yōu)化問(wèn)題:

針對(duì)式(7)的每個(gè)約束,增加二次懲罰項(xiàng),得到對(duì)應(yīng)的增廣拉格朗日目標(biāo)函數(shù)

其中,a=(ax,ay),b=(bxx,byy,bxy,byx),是擴(kuò)展拉格朗日乘子,λ1和λ2是正則化參數(shù).直接求解式(8)非常困難,由于其中數(shù)據(jù)項(xiàng)和正則項(xiàng)依賴(lài)于不同的變量,因而采用交替方向法進(jìn)行求解,可得到如下子問(wèn)題:

(1)u的子問(wèn)題求解.由于子問(wèn)題式(9)的目標(biāo)函數(shù)是可微的,對(duì)u求偏導(dǎo),并將值設(shè)置為0,從而得到

考慮到H及等式左邊均為分塊循環(huán)矩陣,且可用傅里葉變換對(duì)角化.式(14)利用傅里葉變換得到

(2)ν的子問(wèn)題求解.針對(duì)式(10)的非凸問(wèn)題最小化求解,采用p收縮算子實(shí)現(xiàn)[9-10],即

(3)ω的子問(wèn)題求解.關(guān)于變量ω的求解,可直接采用shrinkage函數(shù)進(jìn)行更新,即

最后,利用式(12)和式(13)對(duì)變量a和b進(jìn)行更新.

1.2.2 模糊核h的求解

求解h時(shí),固定u不變,得到

其中,U是圖像u矩陣表示.由變量分裂準(zhǔn)則,引入輔助變量τ替代h,式(19)轉(zhuǎn)換為約束的優(yōu)化問(wèn)題為

其中,c是擴(kuò)展拉格朗日乘子,λ3是正則化參數(shù).類(lèi)似于u的求解,采用交替方向法對(duì)式(21)求解,即

應(yīng)用拉格朗日算法得到如下的目標(biāo)函數(shù):

(1)h的子問(wèn)題求解.通過(guò)傅里葉變換求解,得到

(2)τ的子問(wèn)題求解,變量τ直接采用了soft-threshold函數(shù)進(jìn)行求解,即

最后,利用式(24)對(duì)變量c進(jìn)行更新.

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證文中方法的有效性,分別針對(duì)人造模糊圖像和真實(shí)模糊圖像做出了兩組對(duì)比性實(shí)驗(yàn),對(duì)比的方法都是近年來(lái)在圖像盲復(fù)原領(lǐng)域中較為先進(jìn)的方法.實(shí)驗(yàn)中,參照文獻(xiàn)[6],將p取值為0.66.其余參數(shù)需要進(jìn)行調(diào)節(jié),使復(fù)原結(jié)果達(dá)到最佳.

2.1 人造模糊圖像實(shí)驗(yàn)

在人造模糊圖像實(shí)驗(yàn)中,選擇了兩幅大小為512×512的標(biāo)準(zhǔn)測(cè)試圖像Lena和Peppers,人造模糊核兩種:勻速直線(xiàn)運(yùn)動(dòng)模糊核,長(zhǎng)度為21,方向?yàn)?35°(Kernel_1);自定義的不規(guī)則運(yùn)動(dòng)模糊核,大小為7×7 (Kernel_2).圖1和圖2顯示了文中方法與文獻(xiàn)[11]方法比較的視覺(jué)效果.圖1(b)和圖2(b)分別是由原始Lena圖像卷積Kernel_1,原始Peppers圖像卷積Kernel_2,同樣添加降晰信噪比(Blur Signal-to-Noise Ratio,BSNR)為40 d B的高斯噪聲得到的降質(zhì)圖像.文獻(xiàn)[11]方法構(gòu)造了一個(gè)分段函數(shù)來(lái)擬合自然圖像的梯度分布,而提出的混合變分模型中的非凸項(xiàng)采用了高階拉普拉斯分布更為準(zhǔn)確的擬合自然圖像的梯度分布.由兩種方法的復(fù)原圖像可看出,文中方法復(fù)原的圖像振鈴效應(yīng)明顯減少,邊緣輪廓更加清晰.文獻(xiàn)[11]方法盲估計(jì)的模糊核的平滑擴(kuò)散程度過(guò)強(qiáng),而文中方法盲估計(jì)的模糊核更接近真實(shí)的模糊核.在客觀(guān)評(píng)價(jià)上,采用了峰值信噪比(Peak Siginalto Noise Ratio,PSNR)來(lái)衡量不同方法的圖像復(fù)原性能.表1給出了在BSNR 為40 dB時(shí),兩種圖像盲復(fù)原方法的PSNR值,結(jié)果表明,文中方法的PSNR值相對(duì)于文獻(xiàn)[11]方法也有所提高.

圖1 Lena人造直線(xiàn)運(yùn)動(dòng)模糊圖像盲復(fù)原的結(jié)果

圖2 Peppers人造自定義不規(guī)則運(yùn)動(dòng)模糊圖像盲復(fù)原的結(jié)果

表1 不同方法的PSNR值比較結(jié)果　d B

2.2 真實(shí)模糊圖像實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證文中方法的實(shí)用性,選取了真實(shí)拍攝的模糊圖像Picasso進(jìn)行復(fù)原實(shí)驗(yàn),并與文獻(xiàn)[12-13]方法進(jìn)行比較.為更清晰地展示不同圖像盲復(fù)原方法的處理細(xì)節(jié),增加了局部放大圖.從結(jié)果來(lái)看,文獻(xiàn)[12]方法的復(fù)原圖像邊緣細(xì)節(jié)保持不夠好,文獻(xiàn)[13]方法的復(fù)原圖像優(yōu)于前者,但是去模糊后的圖像過(guò)于平滑,如Picasso臉部的皺紋等細(xì)節(jié)部分被平滑掉.而文中方法所產(chǎn)生的去模糊圖像顯示出更加尖銳的邊緣、清晰的輪廓,從整體上提升了圖像的視覺(jué)效果.

圖3 模糊圖像Picasso的復(fù)原結(jié)果對(duì)比

3 結(jié)束語(yǔ)

基于變分正則化方法提出了一種非凸混合總變分的模糊圖像盲復(fù)原方法,利用非凸lp擬范式作為一階總變分的稀疏約束,結(jié)合高階總變分在圖像平滑區(qū)域的擴(kuò)散能力,建立一個(gè)非凸混合總變分的極小化模型.應(yīng)用增廣拉格朗日方法和交替方向法進(jìn)行優(yōu)化求解,得到清晰的復(fù)原圖像,同時(shí)準(zhǔn)確地估計(jì)出模糊核函數(shù).求解中的非凸極小化問(wèn)題利用了一種新的廣義p收縮算子,降低了此類(lèi)問(wèn)題的求解難度.實(shí)驗(yàn)結(jié)果表明,文中方法能有效保護(hù)圖像邊緣和細(xì)節(jié),同時(shí)消除了平滑區(qū)域的階梯效應(yīng),得到了高質(zhì)量的復(fù)原圖像.

參考文獻(xiàn):

[1]RUDIN L I,OSHER S,FATEMI E.Nonlinear Total Variation Based Noise Removal Algorithms[J].Physica D,1992,60(1/4):259-268.

[2]CHAN T F,WONG C K.Total Variation Blind Deconvolution[J].IEEE Transactions on Image Processing,1998,7(3):370-375.

[3]CHAMBOLLE A,LIONS P.Image Recovery via Total Variation Minimization Andrelatedproblems[J].Numerische Mathematik,1997,76(2):167-188.

[4]LYSAKER M,TAI X C.Iterative Image Restoration Combining Total Variation Minimizationand a Second-order Functional[J].International Journal of Computer Vision,2006,66(1):5-18.

[5]PAPAFITSOROS K,SCHONLIEB C B.A Combined First and Second Order Variational Approach for Image Reconstruction [J].Journal of Mathematical Imaging and Vision,2014,48(2):308-338.

[6]KRISHNAN D,FERGUS R.Fast Image Deconvolution Using Hyper-Laplacian Priors[C]//Advances in Neural Information Processing Systems.New York:Curran Associates Incorporated,2009:1033-1041.

[7]NIKOLOVAM,NG M K,TAM C P.Fast Nonconvex Nonsmooth Minimizationmethods for Image Restoration and Reconstruction[J].IEEE Transactions on Image Processing,2010,19(12):3073-3088.

[8]張文娟,馮象初.利用平衡方法的非凸圖像修復(fù)[J].西安電子科技大學(xué)學(xué)報(bào),2014,41(5):141-147.ZHANG Wenjuan,FENG Xiangchu.Nonconvex Image Inpainting via Balanced Regularization Approach[J].Journal of Xidian University,2014,41(5):141-147.

[9]CHARTRAND R.Nonconvex Splitting for Regularized Low-Rank+Sparsedecomposition[J].IEEE Transactions on Signal Processing,2012,60(11):5810-5819.

[10]張文娟,馮象初.非凸低秩稀疏約束的圖像超像素分割方法[J].西安電子科技大學(xué)學(xué)報(bào),2013,40(5):86-91.ZHANG Wenjuan,FENG Xiangchu.Image Super-pixels Segmentation Method Based on the Non-convex Low-rank and Sparse Constraints[J].Journal of Xidian University,2013,40(5):86-91.

[11]SHAN Q,JIA J,AGARWALA A.High-quality Motion Deblurring from a Single Image[J].ACM Transactions on Graphics,2008,27(3):73.

[12]KRISHNAN D,TAY T,FERGUS R.Blind Deconvolution Using a Normalized Sparsity Measure[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2011:233-240.

[13]XU L,JIA J Y.Two-phase Kernel Estimation for Robust Motion Deblurring[C]//Lecture Notes in Computer Science: 6311 LNCS.Heidelberg:Springer Verlag,2010:157-170.

(編輯:齊淑娟)

Non-convex hybrid total variation method for image blind restoration

LIU Qiaohong1,LI Bin1,LIN Min2
(1.School of Mechatronic Engineering and Automation,Shanghai Univ.,Shanghai 200073,China;2.Department of Medical Electronics and Information Engineering,Shanghai Medical Instrumentation College,Shanghai 200093,China)

Abstract:A multi-regularization constraint method for imageblind restoration is proposed to recover the blurry-noisy images.First,the non-convex total variation is adoptedas the regularization constraint by taking the sparse edges in the natural image into consideration.Next,the high-order total variation is used to overcome the staircase effects in the smooth regions of the image.Then a non-convex minimization model is proposed.Finally,the augmented Lagrangian method and a new generalized p shrinkage operator are applied to solve the model.The results of numerical experiments show that the proposed method can preserve the image edges while removing the staircase effects effectively.The high quality restored image can be obtained.

Key Words:image restoration;non-convex;high-order;total variation;augmented Lagrangian method;p shrinkage operator;optimization

作者簡(jiǎn)介:劉巧紅(1979-),女,講師,上海大學(xué)博士研究生,E-mail:hqllqh@163.com.

基金項(xiàng)目:上海市教育委員會(huì)科研創(chuàng)新資金資助項(xiàng)目(14YZ169)

收稿日期:2014-12-23 網(wǎng)絡(luò)出版時(shí)間:2015-05-21

doi:10.3969/j.issn.1001-2400.2016.02.021

中圖分類(lèi)號(hào):TP751.1

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1001-2400(2016)02-0120-06

網(wǎng)絡(luò)出版地址:http://www.cnki.net/kcms/detail/61.1076.TN.20150521.0902.018.html