基于模糊核結(jié)構(gòu)約束的圖像盲去模糊算法

岳燦 官斌 楊栩萌

摘? 要：模糊核估計(jì)在圖像盲去模糊問題中十分重要。然而，目前大多數(shù)方法都沒有考慮到利用模糊核本身的結(jié)構(gòu)信息。針對這一問題，文章首先通過觀察發(fā)現(xiàn)結(jié)構(gòu)較為集中的模糊核可以恢復(fù)出更高質(zhì)量的圖像，然后設(shè)計(jì)了一種使得模糊核結(jié)構(gòu)更集中的約束項(xiàng)，最后基于該約束項(xiàng)提出了一種圖像盲去模糊的模型。實(shí)驗(yàn)結(jié)果表明，該方法相較于其他方法在峰值信噪比性能上有較大提升，可以更好地恢復(fù)出圖像細(xì)節(jié)與紋理。

關(guān)鍵詞：圖像盲去模糊;模糊核估計(jì);結(jié)構(gòu)先驗(yàn);變分模型

中圖分類號：TP391.41

Image Blind Deblurring Algorithm Based on Fuzzy Kernel Structure ConstraintYUE Can1，GUAN Bin2，YANG Xumeng3（1.Hubei Provincial Corps of Chinese Peoples Armed Police Force，Wuhan? 430070，China;2.The Seventh Military Representative Office of Naval Equipment Department in Wuhan，Wuhan? 430205，China;3.Jiangsu Automation Research Institute，Lianyungang? 222061，China）Abstract：Fuzzy kernel estimation is very important in image blind deblurring. However，most of the current methods do not consider using the structure information of fuzzy kernel itself. In response to this problem，the article first found through observation that the fuzzy kernel with a more concentrated structure can restore a higher quality image，and then designed a constraint that makes the fuzzy kernel structure more concentrated，and finally proposed a image blind deblurring model is based on the constraint. Experimental results show that compared with other methods，this method has a greater improvement in peak signal-to-noise ratio performance，and can better restore image details and textures.

Keywords：image blind deblurring;fuzzy kernel estimation;structure prior;variational model

0? 引? 言

在現(xiàn)實(shí)成像中，經(jīng)常會因?yàn)閿z像設(shè)備抖動(dòng)、散焦、衍射等原因產(chǎn)生模糊現(xiàn)象。模糊導(dǎo)致圖像信息丟失，圖像質(zhì)量退化，給工作和生活帶來了極大的影響。目前，模糊圖像處理在日常拍攝、智能監(jiān)控和智能安防等領(lǐng)域應(yīng)用廣泛。視頻監(jiān)控系統(tǒng)是作者所在單位指揮信息系統(tǒng)的重要組成部分，在遂行任務(wù)中發(fā)揮著重要作用。在實(shí)際應(yīng)用中，受現(xiàn)場光線和設(shè)備性能指標(biāo)等影響，容易出現(xiàn)圖像模糊不清的現(xiàn)象，需要采用模糊圖像處理技術(shù)，對模糊圖像進(jìn)行清晰化處理，確保視頻監(jiān)控系統(tǒng)高質(zhì)量運(yùn)行，提升指揮效能。模糊圖像的形成，通常可以理解為清晰圖像與模糊核卷積的結(jié)果。圖像去模糊，就是按照模糊圖像形成的逆過程，從退化降質(zhì)的圖像中，盡可能恢復(fù)出原始清晰圖像。根據(jù)模糊核是否已知，圖像去模糊可分為非盲去模糊[1]和盲去模糊[2]。

非盲去模糊是指通過各種方法預(yù)先獲取模糊核信息，然后在模糊核已知的前提下進(jìn)行圖像去模糊復(fù)原，此時(shí)，模糊圖像復(fù)原就轉(zhuǎn)化為模糊卷積過程的逆運(yùn)算問題。經(jīng)典的非盲去模糊方法有Tikhonov算法、Wiener算法、Richardson-Lucy（RL）算法等。在現(xiàn)實(shí)生活中，絕大多數(shù)模糊核都是不可預(yù)知的，在這種情況下進(jìn)行模糊圖像還原的方法，稱為盲去模糊。對于盲去模糊來說，通常我們只有一幅模糊圖像，去模糊問題不再是單一的反卷積問題，必須爭取從現(xiàn)有的模糊圖像獲取更多的信息，繼而利用先驗(yàn)知識和稀疏約束條件對未知的模糊核進(jìn)行估計(jì)，最終得到清晰圖像。圖像盲去模糊研究的三大關(guān)鍵問題分別是圖像去模糊模型、去模糊方法和質(zhì)量評價(jià)標(biāo)準(zhǔn)。其中，作為一種經(jīng)典的描述圖像模糊過程的方法，圖像的退化模型簡單易懂，且通過該模型可以很好地理解圖像的退化過程;同時(shí)，對圖像質(zhì)量的評價(jià)也有公認(rèn)的幾種指標(biāo)準(zhǔn)則;最復(fù)雜多樣的是模糊圖像的去模糊方法，所以盲去模糊的研究關(guān)鍵和熱點(diǎn)是去模糊方法。近年來，學(xué)者對盲去模糊方法進(jìn)行了大量研究，其中正則化約束與范數(shù)結(jié)合的方法得到廣泛應(yīng)用，其主要思想是對待估計(jì)清晰圖像進(jìn)行不同類型的先驗(yàn)約束。Krishnan等[3]通過添加L0正則項(xiàng)來約束圖像的稀疏性，提出基于圖像梯度的L0正則項(xiàng)約束去模糊方法，方帥等[4]提出基于圖像梯度L1和L2比值形式正則項(xiàng)約束的去模糊方法，能夠更有效的進(jìn)行稀疏約束，PAN等[5]提出一種基于文本圖像強(qiáng)度和梯度稀疏先驗(yàn)的L0正則化約束的去模糊方法，并將其去模糊應(yīng)用范圍增至低亮度自然圖像。模糊核的估計(jì)在盲去模糊中非常關(guān)鍵，結(jié)構(gòu)較為集中的模糊核可以恢復(fù)出更高質(zhì)量的圖像，上述這些方法沒有考慮到利用模糊核本身的結(jié)構(gòu)先驗(yàn)信息。本文對PAN等[5]提出的算法進(jìn)行改進(jìn)和優(yōu)化，設(shè)計(jì)了一種使得模糊核結(jié)構(gòu)更集中的約束項(xiàng)，從而獲得更為精準(zhǔn)的模糊核估計(jì)，取得更好的去模糊效果，并通過試驗(yàn)仿真證明了本文算法的有效性。

1? 模型圖像去模糊的數(shù)學(xué)模型可以表示為：y=x*k+n

（1）其中，y為模糊圖像，也就是現(xiàn)有的圖像;x為清晰圖像，也就是去模糊后希望得到的圖像;k為模糊核;*為卷積算子;n為噪聲。由式（1）可知，圖像模糊的主要因素是模糊核k。因此，圖像去模糊的關(guān)鍵環(huán)節(jié)就是如何通過模糊圖像估計(jì)出模糊核。從退化的模糊圖像y恢復(fù)清晰圖像x是一個(gè)求逆過程，而求逆是一個(gè)不定性問題（ill-posed problem），直接進(jìn)行逆濾波往往效果很差，正則化模型是能有效解決該問題的一種常用方法。正則化模型的合理構(gòu)建，是解決去模糊問題的關(guān)鍵環(huán)節(jié)。研究者通常會在模型中，對待估計(jì)的清晰圖像和模糊核分別加入一定的先驗(yàn)知識作為求解的限定條件，用能量最小化的方法建立以下模型：-2其中，0為差異性函數(shù)，使估計(jì)出的圖像盡可能地相似于原模糊圖像，為了方便求解和計(jì)算，一般采用L2范數(shù)進(jìn)行表示;1為建立在圖像先驗(yàn)知識上的約束項(xiàng)，用來保持圖像的梯度和強(qiáng)度特征;2為建立在模糊核先驗(yàn)知識上的約束項(xiàng)，用來對模糊核進(jìn)行正則化;λ和γ為權(quán)重。將0用L2范數(shù)表示后，式（2）轉(zhuǎn)化：-3求解（3）存在兩種思路，第一種是在對x和k進(jìn)行交替迭代估計(jì);第二種是先基于圖像退化模糊核進(jìn)行去模糊復(fù)原，再以此為基礎(chǔ)，利用非盲圖像去模糊算法來估計(jì)清晰圖像，即先估計(jì)k，然后運(yùn)用非盲去模糊方法估計(jì)出x。一般采用第一種思路即交替迭代的方法來求解x和k，可將式（3）拆分為以下兩個(gè)式子：-4-5式（4）把模糊核k作為已知值，對中間清晰圖像x進(jìn)行估計(jì);式（5）把清晰圖像x作為已知值，對模糊核k進(jìn)行估計(jì)。兩個(gè)過程交替迭代，直到收斂，就能估計(jì)出清晰圖像x和模糊核k。文獻(xiàn)[5]針對文本圖像的強(qiáng)度和梯度進(jìn)行了統(tǒng)計(jì)分析，發(fā)現(xiàn)相比于模糊圖像，清晰圖像的強(qiáng)度和梯度都更為稀疏，基于此稀疏特點(diǎn)，得到文本圖像的強(qiáng)度和梯度先驗(yàn)：P（x）=σPt（x）+Pt（?x）?????? ? ? ?（6）其中，Pt（x）為圖像的強(qiáng)度;Pt（?x）為圖像的梯度;σ為權(quán)重。將式（6）代入式（3），并對模糊核用L2范數(shù)表示，得到圖像去模糊正則化模型：-7文獻(xiàn)[5]還分析了幾種不同的方法去模糊的效果，如圖1所示。（a）模糊圖和模糊核（b）方法一還原的圖像和估計(jì)出的模糊核（c）方法二還原的圖像和估計(jì)出的模糊核（d）方法三還原的圖像和估計(jì)出的模糊核圖1? 文本圖像去模糊及模糊核估計(jì)結(jié)果對比圖其中圖1（a）為模糊圖和原模糊核，圖1（b）、圖1（c）、圖1（d）分別對應(yīng)三種去模糊方法還原的圖像和估計(jì)出的模糊核。通過觀察可知，圖1（b）和圖1（c）對應(yīng)的方法估計(jì)出的模糊核結(jié)構(gòu)較散，圖像還原的效果很不理想，圖1（d）對應(yīng)的方法估計(jì)出的模糊核結(jié)構(gòu)最為集中，還原出的圖像效果最佳。由此可知，結(jié)構(gòu)較為集中的模糊核可以恢復(fù)出更高質(zhì)量的圖像。

目前大多數(shù)方法都沒有考慮到利用模糊核本身的結(jié)構(gòu)信息，為了使估計(jì)出的模糊核結(jié)構(gòu)更為集中，在式（7）的基礎(chǔ)上，本文提出了一種改進(jìn)的約束項(xiàng)? ，其中，⊙為兩個(gè)矩陣的哈達(dá)瑪積（Hadamard product），結(jié)構(gòu)化權(quán)值如下：-8其中，i和j為像素矩陣的行數(shù)和列數(shù)，ω為權(quán)重系數(shù)。將改進(jìn)的約束項(xiàng)應(yīng)用到式（7）的第三項(xiàng)中，得到本文算法的正則化模型：-9其中，ψ為權(quán)重系數(shù)。2? 算法我們通過交替求解式（10）、式（11）來求解式（9）：-10-11下文具體論述這兩個(gè)子問題的求解。2.1? 通過k估計(jì)x由于式（10）中有L0正則化項(xiàng)，最小化式（10）通常被認(rèn)為是難以計(jì)算的。基于半二次分裂L0最小化方法，文獻(xiàn)[6]提出了一種交替最小化法來求解。通過引入輔助變量u和g=（gh，gv）T分別代替x和?x，式（10）改寫為：-12其中，σ為式（6）中定義的權(quán)重，當(dāng)β和μ接近無窮大時(shí)，式（12）的解近似等于式（10）的解。式（12）可以通過固定其他變量，交替地單獨(dú)最小化x、u、g來有效求解。u和g的值被初始化為零。每次迭代中，通過求解式（13）得到x的解：-13該最小二乘最小化問題的閉型解為：-14其中，F(xiàn)（·）和F -1（·）為離散傅立葉變換（FFT）和離散傅立葉逆運(yùn)算（IFFT），為復(fù)共軛，，?h和?v為水平和垂直方向的微分算子。對于給定的x，通過以下兩個(gè)式子來計(jì)算u和g：-15式（15）是一個(gè)像素最小化問題，根據(jù)文獻(xiàn)[6]，u和g的解為：-16-17算法一歸納了式（12）的求解過程。算法一：輸入：模糊圖y和模糊核k;x←y，β←2λσ重復(fù)通過式（16）得到uμ=2λ重復(fù)通過式（17）得到g通過式（14）得到xμ=2μ直到μ>μmax?β=2β直到β>βmax輸出：中間估計(jì)圖像x2.2? 用x估計(jì)k對于給定的x，式（11）是一個(gè)最小二乘極小化問題，可以通過快速傅立葉變換方法求解。研究表明直接從式（11）得到的基于強(qiáng)度值的解是通常不準(zhǔn)確的[7，8]，可以用式（18）來估計(jì)梯度空間中的模糊核k：-18該最小二乘最小化問題的解為：-19得到k后，我們將負(fù)元素設(shè)為0，并將其標(biāo)準(zhǔn)化，使其元素的和為1。

模糊核估計(jì)過程使用圖像金字塔以從低分辨率到高分辨率的方式執(zhí)行。算法二給出了金字塔結(jié)構(gòu)中單獨(dú)一層的模糊核估計(jì)算法的主要步驟。算法二：模糊核k估計(jì)算法輸入：模糊圖yfor I=1：5通過算法一得到x通過式（19）

得到k結(jié)束輸出：模糊核k和中間估計(jì)圖像x。

3? 實(shí)驗(yàn)仿真在這一節(jié)中，為了驗(yàn)證本文新提出算法的有效性，我們將本文提出的算法與其他幾種相近的去模糊方法對比進(jìn)行實(shí)驗(yàn)評估。參與對比的方法主要是文獻(xiàn)[3]和文獻(xiàn)[5]提出的去模糊方法。實(shí)驗(yàn)采用文獻(xiàn)Levin等提供的樣品集[9]，由4幅清晰圖像和8幅模糊核組成，其中清晰圖像尺寸均為255×255，模糊核尺寸最小為13×13，最大為27×27，清晰圖像和模糊核如圖2所示。通過組合利用模糊核對清晰圖像進(jìn)行退化，共產(chǎn)生32張模糊圖像用于本文實(shí)驗(yàn)仿真。本論文算法的參數(shù)設(shè)置為：λ=4e-3，γ=2，σ=1，βmax=23，μmax=1e5。

為客觀地展現(xiàn)本文方法的有效性，實(shí)驗(yàn)一采用峰值信噪比（PSNR）作為性能指標(biāo)對所選圖像進(jìn)行了仿真。PSNR是圖像處理中常用的評價(jià)指標(biāo)，該值越高說明圖像復(fù)原的質(zhì)量越好。32張模糊圖采用三種方法去模糊的仿真結(jié)果如圖3所示。其中，橫坐標(biāo)xi，kj表示輸入的模糊圖像為第i張清晰圖經(jīng)第j個(gè)模糊核退化后得到，縱坐標(biāo)為計(jì)算得到的PSNR值。

實(shí)驗(yàn)二選取了Levin樣品集中的2張模糊圖，對幾種去模糊方法的還原效果進(jìn)行直觀評價(jià)，實(shí)驗(yàn)結(jié)果如圖4所示。

從圖3可以看出，本文提出算法有效提高了PSNR，復(fù)原質(zhì)量比另外兩種對比方法更優(yōu)。

圖4可以非常直觀地看出，本文方法恢復(fù)圖像的視覺效果明顯好于另外兩種方法，可以更好地恢復(fù)出圖像細(xì)節(jié)與紋理，取得了更好的圖像去模糊效果。

4? 結(jié)? 論

本文提出了一種基于模糊核結(jié)構(gòu)正則化約束的圖像盲去模糊算法。該算法設(shè)計(jì)了一種基于模糊核結(jié)構(gòu)先驗(yàn)的正則項(xiàng)，來使得估計(jì)出的模糊核更為集中。通過實(shí)驗(yàn)結(jié)果證明，本文算法相比于其他去模糊的算法，能夠取得更好的視覺效果和峰值信噪比，提升了圖像去模糊性能。另一方面，本文算法也存在一定局限性：首先，本文算法中的參數(shù)設(shè)置都是經(jīng)驗(yàn)取值，不夠魯棒;其次，本文算法不適用于過/欠曝光圖像，因?yàn)樗鼈儾环蠄D像成像過程是線性這一假設(shè)。因此，在今后的研究中，將考慮研究自適應(yīng)參數(shù)設(shè)定和更加有效的先驗(yàn)信息。

參考文獻(xiàn)：[1] WHYTE O，SIVIC J，ZISSERMAN A，et al. Non-uniform Deblurring for Shaken Images [J].International Journal of Computer Vision，2012，98（2）：168-186.

[2] LEVIN A，F(xiàn)ERGUS R，DURAND F，et al. Image and depth from a conventional camera with a coded aperture [J].ACM Transactions on Graphics（TOG），2007，26（3）：70.

[3] KRISHNAN D，TAY T，F(xiàn)ERGUS R. Blind deconvolution using a normalized sparsity measure [C]//Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，2011：233-240.

[4] 方帥，劉遠(yuǎn)東，曹洋，等.基于模糊結(jié)構(gòu)圖的模糊核估計(jì) [J].電子學(xué)報(bào)，2017，45（5）：1226-1233.[5] PAN J S，HU Z，SU Z X，et al. Deblurring Text Images via L0-Regularized Intensity and Gradient Prior [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2014：2901-2908.

[6] XU L，LU C W，XU Y，et al. Image smoothing via L0 gradient minimization [J].ACM Transactions on Graphics，2011，30（6）：1-12.

[7] CHO S Y，WANG J，LEE S Y. Handling outliers in non-blind image deconvolution [C]//2011 International Conference on Computer Vision.IEEE，2011：495-502.

[8] LEVIN A，WEISS Y，DURAND F，et al. Efficient marginal likelihoodoptimization in blind deconvolution [C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Washington：IEEE Computer Society，2011：2657-2664.

[9] LEVIN A，WEISS Y，DURAND F，et al. Understanding Blind Deconvolution Algorithms [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2354-2367.

作者簡介：岳燦（1982—），男，漢族，湖北當(dāng)陽人，助理工程師，碩士，研究方向：通信與信息系統(tǒng);官斌（1979—），男，漢族，湖北武漢人，工程師，碩士，研究方向：軍事裝備系統(tǒng)監(jiān)造及效能評估;楊栩萌（1988—），男，漢族，江蘇連云港人，助理工程師，學(xué)士學(xué)位，研究方向：軍用顯控設(shè)備軟硬件。