基于自然圖像塊相似性和稀疏先驗性的圖像復(fù)原

李俊山，楊亞威，朱子江，張 姣

(1.廣東外語外貿(mào)大學(xué)南國商學(xué)院 信息科學(xué)技術(shù)學(xué)院，廣州 510545；2.火箭軍工程大學(xué) 信息工程系，西安 710025； 3.96215部隊，廣西 柳州 545616)

(*通信作者電子郵箱lijunshan403@163.com)

基于自然圖像塊相似性和稀疏先驗性的圖像復(fù)原

李俊山1,2*，楊亞威3，朱子江1，張 姣2

(1.廣東外語外貿(mào)大學(xué)南國商學(xué)院 信息科學(xué)技術(shù)學(xué)院，廣州 510545；2.火箭軍工程大學(xué) 信息工程系，西安 710025； 3.96215部隊，廣西 柳州 545616)

(*通信作者電子郵箱lijunshan403@163.com)

針對物體成像過程受光學(xué)系統(tǒng)散焦、運(yùn)動、大氣擾動及光電噪聲等因素影響，導(dǎo)致光學(xué)系統(tǒng)獲取的圖像存在噪聲、模糊、畸變等降質(zhì)問題，對基于自然圖像塊相似性和自然圖像稀疏先驗信息的圖像復(fù)原方法進(jìn)行研究，提出一種泛化的基于圖像塊相似性和自然圖像稀疏先驗的圖像復(fù)原框架。首先，在研究自然圖像稀疏先驗?zāi)Ｐ偷幕A(chǔ)上比較了幾種圖像塊的相似性模型，比較結(jié)果表明在圖像復(fù)原中利用圖像塊的高相似性先驗條件模型能夠提升圖像復(fù)原的性能；接著，構(gòu)建和優(yōu)化了基于圖像塊的期望log相似性模型，減少了運(yùn)行時間，簡化了學(xué)習(xí)過程；最后，通過構(gòu)建一種近似的最大后驗估計(MAP)算法，最終實現(xiàn)了基于優(yōu)化的期望塊log相似性和混合高斯模型(GMM)的圖像復(fù)原。仿真實驗結(jié)果表明，所提方法能夠很好地復(fù)原包含有各種模糊和加性噪聲的退化圖像，所得圖像的峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)都優(yōu)于當(dāng)前技術(shù)條件下的其他稀疏先驗復(fù)原方法，并具有更好的視覺效果。

圖像復(fù)原；圖像塊相似性；稀疏先驗性；期望塊log相似性；高斯混合模型

0 引言

物體的成像過程由于受光學(xué)系統(tǒng)散焦、運(yùn)動、大氣擾動以及光電噪聲等一系列降質(zhì)因素的影響，獲取的圖像往往會出現(xiàn)噪聲、模糊、畸變等現(xiàn)象，由于無法得到真實的景物圖像，會嚴(yán)重影響進(jìn)一步的處理和應(yīng)用。因此，需要對存在噪聲、模糊、畸變等降質(zhì)現(xiàn)象的圖像進(jìn)行復(fù)原處理。

圖像復(fù)原是利用退化過程和圖像自身的先驗知識將圖像的降質(zhì)現(xiàn)象(污損、噪聲、模糊和畸變等)消除或最小化的過程。目前的復(fù)原方法大都是將退化圖像建模為原始圖像與點擴(kuò)展函數(shù)(Point Spread Function, PSF)(也稱為模糊核)的卷積加上噪聲的形式，根據(jù)PSF是否已知可將其分為傳統(tǒng)圖像復(fù)原方法和圖像盲復(fù)原方法。在PSF已知情況下的較成熟的傳統(tǒng)圖像復(fù)原方法有逆濾波、Wiener濾波、子空間濾波和最小二乘濾波等，但這些方法當(dāng)假設(shè)或估計的噪聲分布與實際退化圖像不相符時，很難得到理想的復(fù)原結(jié)果；在PSF未知情況的較成熟的圖像盲復(fù)原方法有貝葉斯參數(shù)估計法、先驗?zāi)：孀R法、迭代盲解卷積(Iterative Blind Deconvolution, IBD)法、基于非負(fù)性和有限支持域的遞歸逆濾波法、迭代重加權(quán)最小平方法(Iteratively Reweighted Least Squares, IRLS)和最大后驗分布(Maximum A Posteriori, MAP)估計法等，但這些方法在模型的約束項與圖像的統(tǒng)計分布不相匹配時[1]，會導(dǎo)致復(fù)原失敗。

圖像是圖像設(shè)備獲取的客觀世界的圖形化表示，具有潛在的規(guī)律性。在空域和變換域內(nèi)對圖像進(jìn)行統(tǒng)計與分析表明，圖像具有自相似性和尺度不變性、非高斯性、邊緣主導(dǎo)特性和高維奇異性。隨著統(tǒng)計數(shù)學(xué)和機(jī)器學(xué)習(xí)的不斷發(fā)展，基于圖像稀疏先驗信息的圖像復(fù)原方法受到眾多學(xué)者的廣泛關(guān)注[2-3]。許多研究者嘗試獲取自然圖像的統(tǒng)計性先驗知識，并成功地用于不同的任務(wù)，如圖像去噪[4-5]、圖像去模糊[6-7]、圖像修復(fù)[7-8]、圖像去塊效應(yīng)[9-10]、圖像超分辨率[4,11]等復(fù)原任務(wù)，且獲得了高質(zhì)量的結(jié)果；但是，圖像的高維性使得從整幅的自然圖像中學(xué)習(xí)先驗信息和圍繞相關(guān)先驗知識的推理、優(yōu)化變得十分困難，因此，在許多新近的研究工作[9,12-14]中，先驗知識是通過小的圖像塊來學(xué)習(xí)的，其過程涉及的諸如學(xué)習(xí)、推理和相似性估計等計算任務(wù)比直接處理整幅圖像要容易許多。受圖像稀疏先驗信息方面研究進(jìn)展的啟發(fā)，本文針對圖像獲取中的未知退化過程，對包含模糊和噪聲的圖像進(jìn)行研究，尋求一種基于圖像塊相似性和自然圖像先驗信息的復(fù)原算法，以最大限度地消除模糊和噪聲，盡可能地復(fù)原出原始圖像。

1 相關(guān)研究

1.1 自然圖像的稀疏先驗?zāi)Ｐ?/p>

對于圖像復(fù)原這樣的病態(tài)性問題，圖像的先驗?zāi)Ｐ推鹬浅Ｖ匾淖饔?。對于卷積模型，引入先驗知識，并尋求將x用于解釋觀察的圖像y，但效果的好壞依賴于所采用的先驗?zāi)Ｐ?。換句話說，希望找出給定y條件下x的最大后驗解釋：

(1)

假設(shè)測量過程中的噪聲是具有方差η的獨立同分布的高斯噪聲，能夠表達(dá)的相似性為：

(2)

其中Cf為退化圖像的PSF。

對于x的先驗條件，采用集合濾波gi,k，以滿足圖像對于該濾波的響應(yīng)小。式(3)是響應(yīng)圖像[15]：

(3)

其中：α為常數(shù)，代表調(diào)節(jié)因子；對于某個函數(shù)ρ，gi,k表示以像素i為中心的第k個濾波，選擇的函數(shù)ρ為稀疏的重拖尾函數(shù)。

本文使用混合高斯先驗?zāi)Ｐ蚚16]、流行的參數(shù)化稀疏先驗?zāi)Ｐ腿鐂tudent-t分布[17]和hyper-Laplacian先驗?zāi)Ｐ蚚18]等也能夠達(dá)到很好的效果。

對式(1)～(3)進(jìn)行l(wèi)og運(yùn)算，x的最大后驗分布(MAP)解釋簡化為最小化式(4)，尋求重構(gòu)誤差‖Cfx-y‖2最小條件下的x。

(4)

其中w=αη2。

1.2 從塊相似性到圖像復(fù)原

基于圖像塊相似性先驗的復(fù)原方法首先要驗證一個關(guān)鍵的問題：自然圖像塊提供的高相似性先驗知識是否能夠在圖像復(fù)原問題中產(chǎn)生好的結(jié)果。值得注意的是，這個問題對于整幅圖像驗證是極其困難的，因為這種情況下對于許多流行的馬爾可夫隨機(jī)場(Markov Random Field, MRF)先驗?zāi)Ｐ?，log相似性和MAP估計都不能被精確地計算[16]。而對于圖像塊的先驗知識、封閉形式的log相似性、貝葉斯最小二乘法(Bayesian Least Squares, BLS)和MAP估計都能夠簡單地進(jìn)行計算。

文獻(xiàn)[13]對上述問題給予了肯定的答案，其驗證方法如下：首先從文獻(xiàn)[19]的訓(xùn)練集中隨機(jī)采樣50 000個8×8圖像塊，移除直流系數(shù)(Direct Current， DC)后進(jìn)行訓(xùn)練。然后比較幾種流行的相似性模型的log相似性，這些相似性模型包括：具有學(xué)習(xí)邊緣的獨立像素、具有學(xué)習(xí)協(xié)方差的像素多變量高斯、具有學(xué)習(xí)(非高斯)邊緣的獨立主成分分析(Principal Component Analysis， PCA)和具有學(xué)習(xí)邊緣的獨立成分分析(Independent Component Analysis， ICA)。最后在未知自然圖像塊集合上(從文獻(xiàn)[19]的測試集采樣得到)使用MAP估計比較每種模型在圖像去噪方面的性能。實驗結(jié)果表明，相似性模型對于圖像塊集合給出的相似性越高，它在圖像去噪方面的性能就越好。更多細(xì)節(jié)可參考文獻(xiàn)[13]。

為了將塊相似性先驗?zāi)Ｐ蛻?yīng)用于整幅圖像復(fù)原，本文首先作了如下設(shè)想：假設(shè)從重構(gòu)圖像中隨機(jī)選取一個塊，且希望這個塊在先驗條件下是合適的。換句話說，本文希望找到一幅重構(gòu)圖像，在保持重構(gòu)圖像仍然接近于退化圖像的條件下，最大化重構(gòu)圖像的某種相似性，這樣圖像中每個塊在先驗條件下都是合適的。文獻(xiàn)[13]采用期望塊log相似性(Expected Patch Log Likelihood, EPLL)取得了很好的結(jié)果，本文在混合高斯先驗?zāi)Ｐ偷臈l件下也采用該相似性準(zhǔn)則。

1.3 EPLL與幾種基于學(xué)習(xí)的復(fù)原框架比較

目前存在的幾種基于學(xué)習(xí)的復(fù)原方法是密切相關(guān)的，但是提出的框架卻有根本的不同。第一種相關(guān)的方法是由Roth等[17]提出的專家領(lǐng)域(Field of Experts, FoE)框架。在FoE中，通過近似最大化訓(xùn)練集圖像的相似性學(xué)習(xí)MRF濾波。由于分區(qū)函數(shù)難以處理，利用這種模型進(jìn)行學(xué)習(xí)也是非常困難的，只能利用對比的偏差來執(zhí)行。與圖像的混合相似性[20]和定向模型[21]方法相似，學(xué)習(xí)MRF的通用方法是估計整幅圖像的log概率作為局部邊緣或者條件概率的總和。實際上，F(xiàn)oE框架是EPLL方法的一種特殊情況，雖然學(xué)習(xí)具有很大差別，但FoE推斷程序相當(dāng)于利用獨立的先驗知識(例如ICA)優(yōu)化EPLL等式(將在第2章詳細(xì)介紹)，其濾波可提前學(xué)習(xí)得到。對比之下，EPLL沒有嘗試估計全局log概率，并且文獻(xiàn)[13]已經(jīng)證明對局部塊的邊緣進(jìn)行建模對于整幅圖像復(fù)原是充足的。這一點是EPLL的優(yōu)勢，學(xué)習(xí)圖像塊的先驗知識比學(xué)習(xí)整幅圖像的MRF要容易很多，因此，EPLL能夠更加容易地學(xué)習(xí)充足的圖像塊先驗知識，并更好地把它應(yīng)用于圖像復(fù)原。

另外一種密切相關(guān)的方法是K-奇異值分解(K-Singular Value Decomposition，KSVD)方法[22]。在KSVD中，學(xué)習(xí)圖像塊的字典就是嘗試最大化產(chǎn)生系數(shù)的稀疏性。這個字典能夠通過自然圖像塊集合或者噪聲圖像本身來學(xué)習(xí)。利用這個字典對圖像中所有重疊塊進(jìn)行獨立地去噪，然后求平均獲得一幅新的重構(gòu)圖像，重復(fù)迭代這個過程多次得到最終復(fù)原圖像。在KSVD中學(xué)習(xí)字典與學(xué)習(xí)塊先驗知識是不同的，因為字典學(xué)習(xí)可能被執(zhí)行為優(yōu)化處理的一部分(除非字典之前已經(jīng)從自然圖像中學(xué)習(xí)得到)。KSVD也能夠看作為EPLL的一種特殊情況，當(dāng)采用一種稀疏的先驗知識模型時，EPLL的代價函數(shù)與KSVD的代價函數(shù)是相同的。但是，EPLL框架考慮了更加充足的先驗知識，能夠提前對塊進(jìn)行學(xué)習(xí)得到，這對后續(xù)的圖像復(fù)原將產(chǎn)生巨大好處。

2 本文圖像復(fù)原方法

2.1 EPLL的框架和優(yōu)化

2.1.1 EPLL框架

本文的基于自然圖像塊相似性和稀疏先驗性的圖像復(fù)原方法的基本思想是在某個先驗?zāi)Ｐ偷幕A(chǔ)上，利用EPLL框架盡量去除圖像的噪聲和模糊。給定一幅圖像x(向量化的形式)，定義先驗條件p下的EPLL為：

(5)

其中，Pi是從圖像所有重疊塊中提取的第i個塊矩陣，而lg(p(Pix))是在先驗條件p下第i個塊的log相似性。假設(shè)圖像中每個塊的位置都被均勻地隨機(jī)選擇，那么EPLL就是圖像中某一個塊的期望log相似性(取決于一個乘數(shù)因子1/N)。

假設(shè)給定一幅含噪的模糊圖像y，對于通用形式的圖像退化模型‖Ax-y‖2，包含了圖像去噪、圖像去模糊和圖像修復(fù)，在塊先驗條件p下重構(gòu)圖像可通過類L2規(guī)整化的形式最小化如下代價函數(shù)得到：

(6)

2.1.2 框架的優(yōu)化

(7)

需要注意當(dāng)β→∞時，約束塊Pix剛好等于輔助變量{zi}，并且式(7)和式(6)的方程解收斂。對于β的一個確定值，能夠以一種迭代的方式優(yōu)化式(7)，具體如下所示：

步驟1 給定{zi}條件下求解x。對于向量x，對式(7)取導(dǎo)數(shù)，設(shè)置為0并求解，得出封閉形式的解如下：

(8)

其中，在j上對圖像中所有重疊塊和所有相應(yīng)輔助變量{zi}進(jìn)行求和。

步驟2 給定x條件下求解{zi}。所得解決方案的精確性取決于正在使用的先驗條件p，但是對于任何先驗條件，它意味著求解一個MAP難題，即在給定退化性度量Pix和參數(shù)β的先驗條件下，估計最可能的圖像塊。

對于上述過程進(jìn)行若干次迭代(一般是4或5次)。在每次迭代中，給定x求解Z，給定新的Z求解x，兩種情況下都給定當(dāng)前的β值；然后，增加β值繼續(xù)下一次迭代。這兩個步驟提升了式(7)的代價函數(shù)cp, β，對于較大的β值也提升了式(6)的原始代價函數(shù)fp。研究發(fā)現(xiàn)，對于上面的每個步驟并不是必須要去尋求最優(yōu)解，任何估計方法(例如近似的MAP估計方法)只要能夠提升每個子問題的代價函數(shù)，就仍然能夠優(yōu)化原始的代價函數(shù)(盡管在不同的標(biāo)準(zhǔn)下，取決于確切的設(shè)置)。

總體來說，本文算法框架有三個有吸引力的屬性：首先，它能夠使用基于先驗知識的任何塊；其次，它的運(yùn)行時間僅僅是利用簡單塊復(fù)原平均運(yùn)行時間的4～5倍(取決于迭代次數(shù))；最后，最重要的是該框架不需要學(xué)習(xí)模型P(x)，其中x是一幅自然圖像，在一定程度上學(xué)習(xí)僅僅需要集中在對圖像塊概率的建模上，簡化了學(xué)習(xí)過程。

2.2 EPLL框架下的稀疏先驗性復(fù)原

本文通過對自然圖像塊的像素相似性進(jìn)行學(xué)習(xí)來構(gòu)建一個有限的高斯混合模型(Gaussian Mixture Model, GMM)。許多流行的圖像先驗?zāi)Ｐ湍軌蚩醋鳛镚MM的特殊情況(例如文獻(xiàn)[16,21,25])，但是這些模型在學(xué)習(xí)過程中一般會約束均值和協(xié)方差矩陣。相比之下，本文方法沒有以任何方式去約束該模型，而是對所有像素學(xué)習(xí)均值、完全協(xié)方差矩陣和混合權(quán)重，利用期望最大化(Expectation Maximization, EM)算法能夠很容易地執(zhí)行學(xué)習(xí)過程。

混合高斯先驗的公式如下：

(9)

其中：πk是對每個混合成分的混合權(quán)重，μk和Σk分別是相應(yīng)的均值和協(xié)方差矩陣。

給定一個含噪塊y，BLS估計能夠以封閉的形式(由于后驗條件剛好是另外一個高斯混合)被計算[25]，而MAP估計則不能以封閉的形式被計算。為解決這個問題，本文使用下面的步驟近似MAP估計程序：

步驟1 給定含噪圖像y，計算條件混合權(quán)重πk′=P(k|y)。

(10)

上述方法實際上是為求解出合適的高斯混合模型所采用的EM算法的一種比較困難的迭代方法[26]。

3 實驗與分析

本文在Pentium Dual-Core 2.5 GHz CPU、4 GB內(nèi)存的硬件環(huán)境和Windows 7、Matlab R2010a的軟件環(huán)境條件下進(jìn)行實驗。對于圖像復(fù)原實驗，通常采用仿真方法合成特定的退化圖像來驗證算法的性能，盡管合成的退化圖像與相機(jī)獲取的退化圖像有一些微小的差別，但是合成的圖像能夠從數(shù)值上更直觀地展示算法的有效性。本實驗選擇Matlab中如圖1所示的6幅圖像作為參考圖像。

圖1 參考圖像樣例Fig. 1 Samples of reference image

實驗過程為：首先利用表1中的PSF參數(shù)和噪聲級別對圖像進(jìn)行退化處理；然后分別采用經(jīng)典的Lucy-Richardson filter方法[27-28]、自然圖像稀疏先驗性(ρ(z)=|z|0.8)方法[15]和Hyper-Laplacian先驗性方法[18]以及本文方法對生成的圖像進(jìn)行復(fù)原；最后利用峰值信噪比(Peak Signal-to-Noise Ratio， PSNR)和結(jié)構(gòu)相似度(Structural SIMilarity， SSIM)指標(biāo)對所得復(fù)原圖像進(jìn)行比較評價，結(jié)果如表2所示。PSNR用于從統(tǒng)計學(xué)角度度量復(fù)原圖像與原始圖像對應(yīng)像素間存在的誤差，但該指標(biāo)沒有充分利用圖像中像素之間的相關(guān)性，因此對圖像復(fù)原算法的評價還不夠充分[29]；SSIM是一種在圖像去噪效果的相似度評價上全面超越PSNR的圖像相似度評價新指標(biāo)，它的新穎之處是實現(xiàn)了從感知誤差度量到感知結(jié)構(gòu)失真度量的轉(zhuǎn)變，可直接估計兩個復(fù)雜結(jié)構(gòu)信號的結(jié)構(gòu)改變，因而在某種程度上繞開了自然圖像內(nèi)容的復(fù)雜性，能夠從亮度、對比度和結(jié)構(gòu)三個方面度量復(fù)原圖像與原始圖像之間的差異。因此，同時采用PSNR和SSIM兩個指標(biāo)對復(fù)原算法的性能進(jìn)行比較評價實現(xiàn)了兩種評價指標(biāo)的優(yōu)勢互補(bǔ)。PSNR的值越大，代表失真越少，在本文中說明復(fù)原效果越好；SSIM的值越大(最大值為1)，說明圖像質(zhì)量越好，在本文中說明復(fù)原圖像與原參考圖像越相似。

圖2(a)是對圖1(a)的Barbara圖像疊加文獻(xiàn)[19]的模糊核1及1%的高斯白噪聲后的退化圖像，圖2(b)～(e)是分別利用上述復(fù)原算法對退化圖像進(jìn)行復(fù)原處理后的圖像。

表1 退化圖像的模糊核與加性噪聲Tab. 1 Fuzzy kernel and additive noise of degraded image

表2 不同圖像復(fù)原方法的性能比較Tab. 2 Performance comparison of different image restoration methods

圖2 不同圖像復(fù)原方法的視覺效果對比Fig. 2 Visual effect contrast of different image restoration methods

從表2可以看出，本文方法的總體性能優(yōu)勢明顯，其次是Hyper-Laplacian先驗方法[18]、自然圖像稀疏先驗性方法[15]，較差的是經(jīng)典的Lucy-Richardson filter方法[27-28]；另外，本文方法的SSIM指標(biāo)值的大小排序也與圖1中6幅圖像的結(jié)構(gòu)特征視覺效果相吻合。從圖2可以看出本文方法的視覺效果明顯優(yōu)于其他方法，且圖2中各圖像的視覺效果評價的排序也基本與表1的PSNR和SSIM指標(biāo)值排序相同。綜合以上分析可知，本文的復(fù)原方法在主客觀圖像質(zhì)量評價方面都要優(yōu)于當(dāng)前技術(shù)條件下的其他稀疏先驗復(fù)原方法。

4 結(jié)語

鑒于自然圖像塊模型在學(xué)習(xí)、推理和優(yōu)化過程中的優(yōu)勢，本文提出了一種基于圖像塊相似性和自然圖像稀疏先驗性的圖像復(fù)原框架，并在該框架的基礎(chǔ)上實現(xiàn)了一種基于優(yōu)化的EPLL和GMM的圖像復(fù)原算法，最后通過實驗驗證了方法的有效性。另外，由于本文提出的框架是泛化的，所以引入更加成熟的圖像塊模型和自然圖像稀疏先驗?zāi)Ｐ蛠磉M(jìn)一步擴(kuò)展和改進(jìn)它在圖像處理方面的應(yīng)用，將是一個值得深入研究的問題。

References)

[1] CAI J F, HUI J, CHAO Q L, et al. Blind motion deblurring from a single image using sparse approximation [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington, DC: IEEE Computer Society, 2009: 104-111.

[2] XU L, ZHENG S Z, JIA J. UnnaturalL0sparse representation for natural image deblurring [C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington, DC: IEEE Computer Society, 2013: 1107-1114.

[3] 徐煥宇,孫權(quán)森,李大禹,等.基于投影的稀疏表示與非局部正則化圖像復(fù)原方法[J].電子學(xué)報,2014,42(7):1299-1304.(XU H Y, SUN Q S, LI D Y, et al. Projection-based image restoration via space representation and nonlocal regularization [J]. Acta Electronica Sinica, 2014, 42(7): 1299-1304.)

[4] REN J, LIU J Y, GUO Z M. Context-aware sparse decomposition for image denoising and super-resolution [J]. IEEE Transactions on Image Processing, 2013, 22(4): 1456-1469.

[5] HUANG D, KANG L, WANG Y C F, et al. Self-learning based image decomposition with applications to single image denoising [J]. IEEE Transactions on Multimedia, 2014, 16(1): 83-93.

[6] MADERO-OROZCO H, RUIZ P, MATEOS J, et al. Image deblurring combining Poisson singular integral and total variation prior models [C]// Proceedings of the 21st European Signal Processing Conference. Piscataway, NJ: IEEE, 2013: 1-5.

[7] ZHANG J, ZHAO D B, XIONG R Q, et al. Image restoration using joint statistical modeling in a space-transform domain [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(6): 915-928.

[8] SHI J G, QI C. Sparse modeling based image inpainting with local similarity constraint [C]// Proceedings of the 20th IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2013: 1371-1375.

[9] YEH C, KANG L, CHIOU Y, et al. Self-learning-based post-processing for image/video deblocking via sparse representation [J]. Journal of Visual Communication Image Representation, 2014, 25(5): 891-903.

[10] CHOI I, KIM S, BROWN M S, et al. A leaning-based approach to reduce JPEG artifacts in image matting [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2013: 2880-2887.

[11] RAM S, RODRIGUEZ J J. Single image super-resolution using dictionary-based local regression [C]// Proceedings of the 2014 IEEE Southwest Symposium on Image Analysis and Interpretation. Piscataway, NJ: IEEE, 2014: 121-124.

[12] 鐘瑩,楊學(xué)智,唐益明,等.采用結(jié)構(gòu)自適應(yīng)塊匹配的非局部均值去噪算法[J].電子與信息學(xué)報,2013,35(12):2908-2916.(ZHONG Y, YANG X Z, TANG Y M, et al. Non-local means denoising derived from structure-adapted block matching [J]. Journal of Electronics & Information Technology, 2013, 35(12): 2908-2916.)

[13] ZORAN D, WEISS Y. From learning models of natural image patches to whole image restoration [C]// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2011: 479-486.

[14] WANG R X, TRUCCO E. Single-patch low-rank prior for non-pointwise impulse noise removal [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2013: 1073-1080.

[15] LEVIN A, FERGUS R, DURAND F, et al. Deconvolution using natural image priors [R]. Cambridge, MA: Massachusetts Institute of Technology, Computer Science and Artificial Intelligence Laboratory, 2007.

[16] WEISS Y, FREEMAN W T. What makes a good model of natural images? [C]// Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington, DC: IEEE Computer Society, 2007: 1-8.

[17] ROTH S, BLACK M J. Fields of experts: a framework for learning image priors [C]// Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington, DC: IEEE Computer Society, 2005: 860-867.

[18] KRISHNAN D, FERGUS R. Fast image deconvolution using hyper-Laplacian priors [C]// NIPS’09: Proceedings of the 22nd International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc., 2009: 1033-1041.

[19] MARTIN D, FOWLKES C, TAL D, et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics [C]// ICCV 2001: Proceedings of the 8th International Conference on Computer Vision. Piscataway, NJ: IEEE, 2001: 416-423.

[20] LINDSAY B. Composite likelihood methods [J]. Contemporary Mathematics, 1988, 80(1): 221-390.

[21] DOMKE J, KARAPURKAR A, ALOIMONOS Y. Who killed the directed model? [C]// Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington, DC: IEEE Computer Society, 2008: 1-8.

[22] ELAD M, AHARON M. Image denoising via sparse and redundant representations over learned dictionaries [J]. IEEE Transactions on Image Processing, 2006, 15(12): 3736-3745.

[23] GEMAN D, YANG C. Nonlinear image recovery with half-quadratic regularization [J]. IEEE Transactions on Image Processing, 2002, 4(7): 932-946.

[24] ZORAN D, WEISS Y. Scale invariance and noise in natural images [C]// Proceedings of the IEEE 12th International Conference on Computer Vision. Piscataway, NJ: IEEE, 2009: 2209-2216.

[25] PORTILLA J, STRELA V, WAINWRIGHT M, et al. Image denoising using scale mixtures of Gaussians in the wavelet domain [J]. IEEE Transactions on Image Processing, 2003, 12(11): 1338-1351.

[26] CARREIRA-PERPINAN M. Mode-finding for mixtures of Gaussian distributions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 22(11): 1318-1323.

[27] LUCK L B. An iterative technique for the rectification of observed distributions [J]. Astronomical Journal, 1974, 79(6): 745-754.

[28] RICHARDSON W. Bayesian-based iterative method of image restoration [J]. Journal of the Optical Society of America, 1972, 62(1): 55-59.

[29] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

This work is partially supported by the National Natural Science Foundation of China (61175120).

LIJunshan, born in 1956, Ph. D., professor. His research interests include image processing, computer vision, image restoration.

YANGYawei, born in 1986, Ph. D., engineer. His research interests include infrared image processing, target recognition, image restoration.

ZHUZijiang, born in 1977, M. S., associate professor. His research interests include image processing, software engineering.

ZHANGJao, born in 1988, Ph. D. candidate. Her research interests include image restoration, target recognition.

Imagerestorationbasedonnaturalpatchlikelihoodandsparseprior

LI Junshan1,2*, YANG Yawei3, ZHU Zijiang1, ZHANG Jiao2

(1.InstituteofInformationScienceandTechnology,SouthChinaBusinessCollege,GuangdongUniversityofForeignStudies,
GuangzhouGuangdong510545,China；2.DepartmentofInformationEngineering,RocketForceUniversityofEngineering,Xi’anShaanxi710025,China；3.96215Unit,LiuzhouGuangxi545616,China)

Concerning the problem that images captured by optical system suffer unsteady degradation including noise, blurring and geometric distortion when imaging process is affected by defocusing, motion, atmospheric disturbance and photoelectric noise, a generic framework of image restoration based on natural patch likelihood and sparse prior was proposed. Firstly, on the basis of natural image sparse prior model, several patch likelihood models were compared. The results indicate that the image patch likelihood model can improve the restoration performance. Secondly, the image expected patch log likelihood model was constructed and optimized, which reduced the running time and simplified the learning process. Finally, image restoration based on optimized expected log likelihood and Gaussian Mixture Model (GMM) was accomplished through the approximate Maximum A Posteriori (MAP) algorithm. The experimental results show that the proposed approach can restore degraded images by kinds of blur and additive noise, and its performance outperforms the state-of-the-art image restoration methods based on sparse prior in both Peak Signal-to-Noise Ratio (PSNR) and Structural SIMilarity (SSIM) with a better visual effect.

image restoration; image patch likelihood; sparse priors; expected patch log likelihood; Gaussian Mixture Model (GMM)

TP391.413

A

2016- 12- 23;

2017- 02- 11。

國家自然科學(xué)基金資助項目(61175120)。

李俊山(1956—)，男，陜西白水人，教授，博士，CCF會員，主要研究方向：圖像處理、計算機(jī)視覺、圖像復(fù)原； 楊亞威(1986—)，男，湖南民權(quán)人，工程師，博士，主要研究方向：紅外圖像處理、目標(biāo)識別、圖像復(fù)原； 朱子江(1977—)，男，湖南婁底人，副教授，碩士，主要研究方向：圖像處理、軟件工程； 張姣(1988—)，女，陜西漢中人，博士研究生，主要研究方向：圖像復(fù)原、目標(biāo)識別。

1001- 9081(2017)08- 2319- 05

10.11772/j.issn.1001- 9081.2017.08.2319