圖像去模糊技術(shù)綜述

秦鳴 趙凱莉 黃希琴 文學(xué)志

【摘 要】近年來(lái)，圖像去模糊得到了廣泛研究，理論和算法也愈加系統(tǒng)和成熟。根據(jù)圖像模糊核是否已知，圖像去模糊技術(shù)被分為非盲圖像去模糊和盲圖像去模糊。本文對(duì)圖像復(fù)原方法的發(fā)展歷程進(jìn)行了總結(jié)，選取了幾種典型的去模糊算法，并對(duì)去模糊效果的進(jìn)行比較、總結(jié)以及對(duì)圖像復(fù)原技術(shù)的未來(lái)發(fā)展進(jìn)行了展望。

【關(guān)鍵詞】圖像去模糊；圖像復(fù)原；去卷積；正則化；核估計(jì)

一、引言

圖像復(fù)原這一概念從提出至今已有50多年的歷史。最初源于美、蘇的太空探索計(jì)劃。在科技還不太發(fā)達(dá)的條件下，由于相機(jī)抖動(dòng)、相機(jī)與被攝物體間的相對(duì)運(yùn)動(dòng)、飛船的運(yùn)動(dòng)以及相機(jī)性能的限制等，圖像降質(zhì)無(wú)法恢復(fù)，將對(duì)科研造成巨大損失，圖像復(fù)原便應(yīng)運(yùn)而生。

去卷積（也被稱(chēng)為逆濾波）[1]，在60年代中期被普遍使用。Nathan提出用二維去卷積的方法來(lái)復(fù)原由外星探測(cè)器得到的模糊圖像，但通常情況下噪聲無(wú)法避免。Helstrom[2]對(duì)逆濾波算法做了改進(jìn)，接著提出了維納濾波算法。維納濾波算法能有效抑制噪聲，但在實(shí)際情況下它要獲取足夠的關(guān)于退化圖像的內(nèi)容是很難的；而且，這個(gè)方法不適用于信噪比低的場(chǎng)合。隨后，Slepian把維納濾波用于復(fù)原有隨機(jī)點(diǎn)擴(kuò)散函數(shù)PSF[3]的運(yùn)動(dòng)模糊圖像。

RL反卷積復(fù)原算法[4][5]由于其簡(jiǎn)單便捷，所以作為一種廣泛使用的非盲圖像復(fù)原算法。但是該算法中利用最大似然性的求解方法會(huì)存在通病一一噪聲放大和振鈴效應(yīng)。針對(duì)該算法在圖像復(fù)原算法中表現(xiàn)出的不足，Yuan等人[6]提出了利用模糊圖像和噪聲圖像同時(shí)作為輸入的去模糊算法，但并不能完全消除振鈴效應(yīng)，而且在圖像存在較大的噪聲時(shí)，去模糊效果并不理想。隨后，Zhao等人[7]提出了RL圖像去模糊的改進(jìn)算法，即在RL算法中引入一幅圖像作為輸入，優(yōu)化其迭代公式。這種方法在抑制振鈴效應(yīng)方面有著不錯(cuò)的成效，并且保留了圖像的細(xì)節(jié)信息，通過(guò)增益圖中不同參數(shù)的討論選擇，取得了不錯(cuò)的去模糊效果。

二、現(xiàn)有圖像去模糊方法

按照模糊核是否已知，圖像去模糊可以分為Blind Image Deblurring（BID，盲的圖像去模糊）和Non-blind Image Deblurring（NBID，非盲的圖像去模糊）

所謂盲的圖像去模糊，是指在模糊核未知的情況下，問(wèn)題的輸入只有模糊圖像本身。這類(lèi)問(wèn)題的解決思路：先估計(jì)出模糊核，然后轉(zhuǎn)化為非盲的圖像去模糊，所以問(wèn)題的重點(diǎn)在于如何估計(jì)出一個(gè)準(zhǔn)確的模糊核。

所謂非盲的圖像去模糊，即是指模糊核已知的情況下，只需要進(jìn)行圖像復(fù)原的過(guò)程。

目前，對(duì)于運(yùn)動(dòng)模糊圖像的形成過(guò)程的普遍理解是，在曝光時(shí)間內(nèi)，所要拍攝的真實(shí)自然場(chǎng)景在感光元件CCD上的積累，同時(shí)摻雜上某些噪聲。此過(guò)程的數(shù)學(xué)表現(xiàn)是一個(gè)積分，這個(gè)積分的路徑就是所謂的點(diǎn)擴(kuò)散函數(shù)（Point Spread Function，簡(jiǎn)稱(chēng)PSF），也被稱(chēng)為模糊核。

（一）非盲的圖像去模糊

在非盲的圖像去模糊問(wèn)題中，我們不需要考慮如何獲得模糊核，而是將模糊核PSH作為已知信息。在這種假設(shè)下，盲的圖像去模糊問(wèn)題降為圖像復(fù)原問(wèn)題。

1.非局域自相似約束的Shearlet稀疏正則化圖像恢復(fù)

結(jié)合非局部自相似和Shearlet稀疏性正則化的圖像恢復(fù)變分模型采用觀(guān)測(cè)圖像與待恢復(fù)圖像的能量誤差為保真項(xiàng)[8]，聯(lián)合Shearlet稀疏性和非局域自相似性為混合正則化項(xiàng)。其中，正則化項(xiàng)同時(shí)兼顧圖像的變換特性和自身結(jié)構(gòu)全局特性，基于變量分裂增廣拉格朗日法提出了求解該變分模型的數(shù)值算法。實(shí)驗(yàn)表明，該模型和所提算法能夠較好地恢復(fù)圖像，與其他算法相比，可獲得更高的峰值信噪比（PSNR）和結(jié)構(gòu)自相似指標(biāo)（SSIM），具有更好的視覺(jué)效果。

2.基于Richardson-Lucy的圖像去模糊新算法

針對(duì)RL算法振鈴效應(yīng)問(wèn)題，提出了一種基于RL的圖像去模糊新算法，在迭代過(guò)程中引入了Yuan的增益圖（Gain Map），很好地抑制了平坦區(qū)域的振鈴效應(yīng)和圖像噪聲的進(jìn)一步放大，并保持了圖像的細(xì)節(jié)信息。同時(shí)，引入的增益圖的不同參數(shù)選擇對(duì)去模糊結(jié)果的影響，通過(guò)選取合理的參數(shù)得到最佳的結(jié)果。實(shí)驗(yàn)結(jié)果驗(yàn)證，該算法抑制振鈴效應(yīng)的有效性，同時(shí)它很好地保留了圖像細(xì)節(jié)，對(duì)含有噪聲的模糊圖像也有很好的復(fù)原效果。

3.結(jié)合全變差和分?jǐn)?shù)階全變差模型的圖像去模糊

為從模糊圖像中恢復(fù)出更多細(xì)節(jié)和紋理信息，提出一種基于結(jié)合全變差（TV）和分?jǐn)?shù)階全變差（FOTV）模型的數(shù)字圖像去模糊方法。用全局梯度提取法將模糊圖像分解成平滑區(qū)域、凸邊和紋理3部分，用全變差模型約束平滑區(qū)域和凸邊，用分?jǐn)?shù)階全變差模型約束細(xì)節(jié)部分，建立去模糊的凸優(yōu)化模型，用變量分裂和交替方向法快速求解該模型[9]。實(shí)驗(yàn)結(jié)果驗(yàn)證，該模型和求解算法的有效性和快速性，給出了每組實(shí)驗(yàn)的PSNR和SSIM值。

（二）盲的圖像去模糊

在盲的圖像去模糊問(wèn)題中，我們對(duì)于模糊核的信息是未知的，此外，我們還需要考慮如何獲取清晰圖像。隨著科技的發(fā)展，越來(lái)越多的研究也投入到估計(jì)模糊核。

1.基于光紋特征的盲解卷積復(fù)原方法

將模糊圖像降采樣，建立尺度金字塔，在尺度空間查找光紋特征圖像塊。隨后基于激光主動(dòng)照明圖像[10]飽和像素較多的特點(diǎn)，提出新的圖像退化模型。最后針對(duì)模糊核估計(jì)、光紋參數(shù)更新、清晰圖像復(fù)原3個(gè)步驟，提出適用的能量函數(shù)，迭代復(fù)原出無(wú)噪清晰圖像搭建了主動(dòng)照明系統(tǒng)，在捕獲的激光主動(dòng)照明圖像上進(jìn)行了實(shí)驗(yàn)，并與現(xiàn)有方法進(jìn)行了對(duì)比。結(jié)果表明：此方法不僅能夠復(fù)原出清晰圖像，而且能有效抑制振鈴效應(yīng)，其客觀(guān)評(píng)價(jià)指標(biāo)峰值信噪比（PSNR）優(yōu)于已有的其他算法。

2.雙目視圖運(yùn)動(dòng)圖像去模糊方法

通過(guò)雙目相機(jī)之間的對(duì)極幾何關(guān)系以及相機(jī)模型，推導(dǎo)出兩視點(diǎn)圖像點(diǎn)擴(kuò)散函數(shù)路徑[11]之間的內(nèi)在聯(lián)系，并運(yùn)用像機(jī)標(biāo)定模塊求取標(biāo)定矩陣中的參數(shù)。通過(guò)此內(nèi)在約束條件求取精確的點(diǎn)擴(kuò)散函數(shù)，并對(duì)雙目視點(diǎn)圖像進(jìn)行統(tǒng)一去模糊。雙目測(cè)量技術(shù)是計(jì)算機(jī)視覺(jué)的關(guān)鍵技術(shù)之一，通過(guò)從圖像中提取有用的信息，處理被測(cè)圖像以獲得所需要的參數(shù)數(shù)據(jù)，然后通過(guò)雙目相機(jī)之間的幾何限定條件來(lái)求得物體運(yùn)動(dòng)軌跡在雙目相機(jī)上的投影關(guān)系，進(jìn)而建立雙目視點(diǎn)圖像模糊核路徑關(guān)系并對(duì)其進(jìn)行整體一致性的精確優(yōu)化。這種非接觸測(cè)量具有效率高，系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，精確度高，自動(dòng)化程度高，成本低廉等優(yōu)點(diǎn)，非常適合于制造現(xiàn)場(chǎng)的在線(xiàn)，非接觸產(chǎn)品測(cè)量檢測(cè)和質(zhì)量控制。由于雙目測(cè)量系統(tǒng)能夠很大程度的滿(mǎn)足現(xiàn)代先進(jìn)制造業(yè)的要求，所以其在醫(yī)學(xué)、交通、工業(yè)、航空航天領(lǐng)域都有廣闊的發(fā)展前景。

3.基于Radon變換的運(yùn)動(dòng)模糊圖像恢復(fù)

快速自然運(yùn)動(dòng)模糊圖像恢復(fù)算法，采用一種新的基于Radon變換算法來(lái)確定模糊核函數(shù)；在確定模糊核函數(shù)后，對(duì)于模糊圖像的恢復(fù)采用了一種改進(jìn)的基于l1范數(shù)和l2范數(shù)混合保真項(xiàng)的變分圖像[12]恢復(fù)算法。實(shí)驗(yàn)結(jié)果表明，與Fergus的算法和Levinss的算法比較，所提算法對(duì)于一類(lèi)線(xiàn)性運(yùn)動(dòng)占主要因素的強(qiáng)噪聲模糊圖像的恢復(fù)具有更快的速度和良好的恢復(fù)效果。

4.基于梯度L0稀疏正則化的圖像盲去模糊算法

圖像的盲復(fù)原旨在從輸入的模糊圖像中估計(jì)出模糊核，并以此恢復(fù)出原清晰圖像。本文分別采用近似L0和L1范數(shù)[13]對(duì)待估清晰圖像的梯度域和點(diǎn)擴(kuò)散函數(shù)的稀疏性進(jìn)行先驗(yàn)約束，后續(xù)的迭代過(guò)程中分別利用頻域直接求解、分裂Bregman方法以及 Shrinkage收縮閾值操作符進(jìn)行優(yōu)化。最終通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了本文中采用的方法在圖像恢復(fù)質(zhì)量和迭代速度方面都有所改善。

5.基于正則化方法的圖像盲去模糊

針對(duì)標(biāo)準(zhǔn)化稀疏先驗(yàn)的正則化方法[14]估計(jì)復(fù)雜模糊核時(shí)的不準(zhǔn)確性，引入圖像的預(yù)處理，提出了一種圖像盲去模糊的新方法。該方法將圖像盲去模糊分為三個(gè)步驟：利用雙邊濾波器和沖擊濾波器對(duì)圖像進(jìn)行預(yù)處理，使得圖像的噪聲降低、邊緣突出，有利于模糊核的估計(jì)；對(duì)預(yù)處理后的圖像，利用基于標(biāo)準(zhǔn)化稀疏先驗(yàn)的正則化方法估計(jì)模糊核；根據(jù)估計(jì)出的模糊核利用TV正則化方法對(duì)圖像進(jìn)行非盲去卷積。采用快速迭代收縮閾值算法和快速總變分圖像復(fù)原算法分別求解模糊核估計(jì)模型和圖像非盲去卷積模型。實(shí)驗(yàn)結(jié)果表明，針對(duì)單幅模糊圖像，該方法可以估計(jì)出準(zhǔn)確的模糊核，對(duì)噪聲具有魯棒性，并且提高了圖像復(fù)原速度，具有較好的圖像恢復(fù)效果。

三、結(jié)語(yǔ)

（一）總結(jié)

通過(guò)上面的回顧，可以了解到圖像去模糊的研究發(fā)展歷程，它作為數(shù)字圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究課題，在攝影學(xué)、光學(xué)、天文學(xué)、醫(yī)療圖像、監(jiān)控、遙感探測(cè)和軍事研究等領(lǐng)域具有廣泛的應(yīng)用價(jià)值，具有非常重要的理論意義和現(xiàn)實(shí)意義。

（二）展望

圖像去模糊技術(shù)經(jīng)過(guò)幾十年的發(fā)展，取得了顯著的研究成果，未來(lái)其研究和應(yīng)用面臨著以下幾個(gè)方面的挑戰(zhàn)。

（1）目前圖像復(fù)原問(wèn)題特別是運(yùn)動(dòng)模糊圖像復(fù)原問(wèn)題成為了當(dāng)今圖像技術(shù)研究的熱點(diǎn)。目前的算法都存在弊端，如何克服噪聲的干擾是改進(jìn)本算法的關(guān)鍵。圖像復(fù)原問(wèn)題的未來(lái)研究方向?qū)⒅饕獓@參數(shù)識(shí)別和復(fù)原濾波兩方面展開(kāi)，參數(shù)識(shí)別問(wèn)題以后會(huì)向著增加先驗(yàn)知識(shí)的方向發(fā)展，而復(fù)原濾波算法的研究未來(lái)會(huì)以去除噪聲與圖像恢復(fù)相結(jié)合作為研究的重點(diǎn)，做到在圖像復(fù)原的過(guò)程中不引入任何的噪聲。

（2）目前三維重建技術(shù)是實(shí)現(xiàn)工業(yè)自動(dòng)化及智能化檢測(cè)生產(chǎn)的重要領(lǐng)域，也是圖像識(shí)別領(lǐng)域非常重要的組成部分以及工業(yè)化進(jìn)程的發(fā)展方向之一。然而在實(shí)際工業(yè)化生產(chǎn)之中當(dāng)相機(jī)和產(chǎn)品都處于相對(duì)運(yùn)動(dòng)過(guò)程中，因而在圖片獲取過(guò)程中難以避免的是獲取到的圖像處于模糊狀態(tài)，這些因素使得三維重建技術(shù)在運(yùn)用廣度與深度受到了極大的限制，目前雖有多種針對(duì)性的方法提出，但實(shí)際應(yīng)用反響并不夠強(qiáng)烈。因此在此投入大量的精力，進(jìn)行持續(xù)研究是有必要的，也是迫切的。

（3）圖像模糊是數(shù)字成像圖像質(zhì)量差的主要原因之一，當(dāng)前，實(shí)現(xiàn)準(zhǔn)確估計(jì)退化函數(shù)、還原潛在清晰圖像、減少去模糊過(guò)程中的振鈴效應(yīng)一直是國(guó)內(nèi)外研究者追求的目標(biāo)。

總之，圖像去模糊技術(shù)作為數(shù)字圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究方向，有著廣泛的理論和應(yīng)用研究空間。

【參考文獻(xiàn)】

[1]Gonzalez R C，Woods R E. Digital Image Processing[J]. Prentice Hall International， 2002，28（4）：484一486.

[2]Helstrom C W. Image Restoration by the Method of Least Squares[J]. Josa， 1967，57（3）：297-303.

[3]Slepian D. Linear Least-Squares Filtering of Distorted Images[J]. Journal of the Optical Society of America， 1967， 57（7）：918-919.

[4]W H Richardson .Bayesian-based iterative method of image restoration， Journal of the Optical Society of America. 1972， 62（1）：55-59.

[5]L Lucy.An iterative technique for the rectrication of observed distributions.Astron J.79.1974.

[6]Yuan L， Sun J， Quan L， Image de-blurring with blurred/noisy image pairs [J].ACM Transactions on Graphics， 2007， 26（3）.

[7]趙博，張文生，丁歡，基于Richardson-Lucy的圖像去模糊新算法，計(jì)算機(jī)工程與應(yīng)用，2011，4，7（34）.

[8]許志良，鄧承志，張運(yùn)生. 非局域自相似約束的Shearlet稀疏正則化圖像恢復(fù)[J]. 電子科技大學(xué)學(xué)報(bào)，2016，45（01）：43-47+101.

[9]羅廣利，楊曉梅. 結(jié)合全變差和分?jǐn)?shù)階全變差模型的圖像去模糊[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（07）：1857-1861+1866.

DOI：10.16208/j.issn1000-7024.2016.07.030

[10]王燦進(jìn)，石寧寧，孫濤，王銳。基于光紋特征的激光主動(dòng)照明圖像去模糊[J]。光學(xué)精密工程，2016，24（05）：1159-1167。

[11]洪漢玉，張文莫，章秀華，時(shí)愈. 雙目視圖運(yùn)動(dòng)圖像去模糊方法[J]. 武漢工程大學(xué)學(xué)報(bào)，2015，37（04）：45-50.

[12]廖永忠，蔡自興，何湘華. 基于Radon變換的運(yùn)動(dòng)模糊圖像恢復(fù)[J]. 計(jì)算機(jī)應(yīng)用，2014，34（07）：2005-2009.

[13]朱騁，周越.基于梯度L0稀疏正則化的圖像盲去模糊算法[J].中國(guó)體視學(xué)與圖像分析，2015，20（04）：361-368.

[14]唐夢(mèng)，彭國(guó)華，鄭紅嬋. 基于正則化方法的圖像盲去模糊[J]. 計(jì)算機(jī)應(yīng)用研究，2014，31（02）：596-599+611.