基于置信特征與結(jié)構(gòu)相似度約束的圖像修復(fù)算法?

衛(wèi)星，周瑜龍，焦蓬蓬，郭依正，劉清

(1.南京師范大學(xué)泰州學(xué)院,江蘇泰州225300；2.南京師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇南京210097)

0 引言

伴隨著機(jī)器視覺(jué)技術(shù)日新月異的發(fā)展以及攝像機(jī)技術(shù)的不斷突破，數(shù)字圖像在人們生活中占有越來(lái)越重要的地位[1]．由于破損的數(shù)字圖像難以滿足人們獲取圖像中完整信息的要求，對(duì)此需要對(duì)數(shù)字圖像中破損區(qū)域進(jìn)行修復(fù)，以補(bǔ)全數(shù)字圖像所包含的信息，便于人們從中獲取感興趣的內(nèi)容[2]．

目前有多種多樣的方法對(duì)破損圖像進(jìn)行修復(fù)，例如：葛艷[3]等人提出了基于TV模型和膨脹的圖像修復(fù)方法，該方法能夠?qū)Χ嘤嗑€條、文字、劃痕造成的破損圖像進(jìn)行修復(fù)，但是由于TV模型在修復(fù)圖像時(shí)，主要通過(guò)梯度特征實(shí)現(xiàn)對(duì)邊緣進(jìn)行檢測(cè)，使得該方法在對(duì)紋理結(jié)構(gòu)較為復(fù)雜，以及不能用邊緣刻畫(huà)細(xì)小特征的圖像進(jìn)行修復(fù)時(shí)，會(huì)產(chǎn)生模糊效應(yīng)以及丟失細(xì)節(jié)信息，導(dǎo)致修復(fù)效果不佳．又如徐黎明[4]等人為了讓修復(fù)圖像保持更多的邊緣信息，提出了基于變分偏微分方程圖像修復(fù)技術(shù)研究，將改進(jìn)的TV模型以及p-Harmonic修復(fù)模型進(jìn)行聯(lián)合，形成偏微分方程的混合模型，并利用該模型完成了圖像的修復(fù)．該方法修復(fù)的圖像中雖然較好的保留了邊緣的細(xì)節(jié)信息，但是由于該方法不具備方向場(chǎng)的幾何信息，導(dǎo)致修復(fù)的圖像中存在一定的階梯效應(yīng)以及不連續(xù)效應(yīng)．李志丹[5]等人提出了基于塊結(jié)構(gòu)稀疏度的自適應(yīng)圖像修復(fù)算法，該方法修復(fù)的圖像中能夠有效克服不連續(xù)效應(yīng)，而且修復(fù)效率也較高，但是該方法太過(guò)于依賴梯度特征，使得修復(fù)圖像中存在一定的模糊效應(yīng)．又如江平[6]等人提出了一種結(jié)合CDD模型和Criminisi算法的圖像修復(fù)算法，該方法能夠?qū)澓燮茡p圖像進(jìn)行較好的修復(fù)，但對(duì)于文字等其他破損的圖像進(jìn)行修復(fù)時(shí)，存在一定的階梯效應(yīng)．

對(duì)此，本文提出了基于置信特征耦合結(jié)構(gòu)相似度約束的圖像修復(fù)算法．首先，利用優(yōu)先權(quán)函數(shù)從破損區(qū)域中確定優(yōu)先修復(fù)像素．然后，通過(guò)像素點(diǎn)的梯度模值構(gòu)造梯度變化約束模型，用于確定修復(fù)塊模板的尺寸．接著利用像素點(diǎn)的置信度構(gòu)造置信特征因子，并利用該因子建立搜索空間適配法則，用于確定匹配塊的搜索區(qū)域．最后引入結(jié)構(gòu)相似度模型，用于對(duì)修復(fù)塊以及匹配塊的結(jié)構(gòu)相似度度量，從搜索區(qū)域中搜索最優(yōu)匹配塊，進(jìn)而實(shí)現(xiàn)對(duì)破損圖像的修復(fù)．通過(guò)仿真實(shí)驗(yàn)對(duì)本文所設(shè)計(jì)方法的有效性進(jìn)行了測(cè)試．

1 圖像修復(fù)算法設(shè)計(jì)

本文圖像修復(fù)算法主要由確定當(dāng)前修復(fù)塊、建立當(dāng)前搜索范圍、搜索最優(yōu)匹配塊三個(gè)部分組成．確定當(dāng)前修復(fù)塊部分，首先通過(guò)優(yōu)先權(quán)函數(shù)從待修復(fù)圖像中選取優(yōu)先修復(fù)像素，然后根據(jù)優(yōu)先修復(fù)像素確定優(yōu)先修復(fù)塊，最后通過(guò)梯度變化約束模型對(duì)修復(fù)塊的模板大小進(jìn)行調(diào)整，確定當(dāng)前修復(fù)塊．在建立當(dāng)前搜索范圍部分，首先通過(guò)像素點(diǎn)的置信度構(gòu)造置信特征因子，然后利用置信特征因子建立搜索空間適配法則，最后通過(guò)該法則建立當(dāng)前搜索范圍，用于搜索最優(yōu)匹配塊．在搜索最優(yōu)匹配塊部分通過(guò)引入的結(jié)構(gòu)相似度模型，對(duì)待修復(fù)塊以及搜索范圍內(nèi)的匹配塊進(jìn)行結(jié)構(gòu)相似度度量，根據(jù)度量結(jié)果選取最優(yōu)匹配塊．通過(guò)將最優(yōu)匹配塊擴(kuò)散填充至待修復(fù)塊，從而完成圖像修復(fù)．本文圖像修復(fù)算法流程示意圖如圖1所示．

圖1 本文圖像修復(fù)算法過(guò)程

1.1 確定當(dāng)前修復(fù)塊

待修復(fù)塊的確定分成兩部分完成：(1)從待修復(fù)區(qū)域確定優(yōu)先修復(fù)塊；(2)調(diào)整待修復(fù)塊模板大?。韧ㄟ^(guò)優(yōu)先權(quán)函數(shù)從待修復(fù)區(qū)域選取出優(yōu)先修復(fù)像素，再對(duì)該像素確定優(yōu)先修復(fù)塊．接著構(gòu)造梯度變化模型對(duì)修復(fù)塊模板大小進(jìn)行調(diào)整，確定修復(fù)塊模板大小．

對(duì)于一幅圖2所示的圖像P，其由破損區(qū)域?以及源區(qū)域S組成，其中源區(qū)域S滿足S=P??．源區(qū)域與破損區(qū)域的交界線為??[7]．對(duì)于??上的一個(gè)像素點(diǎn)i，令其對(duì)應(yīng)的單位法線向量為ni，i的等照度線方向?yàn)?P⊥i，則該像素點(diǎn)對(duì)應(yīng)的數(shù)據(jù)項(xiàng)為[8]

其中，β為一個(gè)歸一化常數(shù)．

令K(i)為以像素點(diǎn)i為中心的一個(gè)像素塊，則像素點(diǎn)i對(duì)應(yīng)的置信度C(i)為

其中，|K(i)|表示像素塊K(i)的面積．

通過(guò)像素點(diǎn)i對(duì)應(yīng)的數(shù)據(jù)項(xiàng)以及置信度構(gòu)成的優(yōu)先權(quán)函數(shù)為[9]

在待修復(fù)區(qū)域用（3）式對(duì)待修復(fù)像素點(diǎn)進(jìn)行度量，選取最大P(i)值對(duì)應(yīng)的像素點(diǎn)作為優(yōu)先修復(fù)像素點(diǎn)，而以該像素點(diǎn)為中心而形成的像素塊K(i)為優(yōu)先修復(fù)塊．

圖2 面向優(yōu)先權(quán)計(jì)算的結(jié)構(gòu)示意圖

通常情況下通過(guò)優(yōu)先權(quán)函數(shù)選取出的優(yōu)先修復(fù)塊模板的尺寸都為一個(gè)固定值（一般取9×9）[10]．由于圖像成分的不同，若用修復(fù)塊的模板尺寸為一個(gè)固定值，將導(dǎo)致修復(fù)的圖像出現(xiàn)不連續(xù)效應(yīng)以及塊效應(yīng)．對(duì)此，為了獲取較好的修復(fù)效果，需要對(duì)修復(fù)塊模板的尺寸進(jìn)行調(diào)節(jié)．在此，將根據(jù)像素點(diǎn)的梯度模值來(lái)構(gòu)造梯度變化約束模型，用于對(duì)修復(fù)塊模板的尺寸進(jìn)行調(diào)整，最終確定當(dāng)前修復(fù)塊．

圖像頻率從某種程度上可以決定該圖像所包含的信息成分，而圖像的梯度變化可以體現(xiàn)出圖像的頻率變化，因此可以借助圖像的梯度變化信息來(lái)對(duì)修復(fù)塊模板的尺寸進(jìn)行調(diào)整[11]．

對(duì)于一個(gè)像素點(diǎn)i(x,y)，令其水平方向梯度以及垂直方向梯度分別為Gx和Gy，則該點(diǎn)對(duì)應(yīng)的梯度向量可定義為[12]

通過(guò)梯度向量可定義該點(diǎn)的梯度模值

通過(guò)梯度模值可構(gòu)造梯度變化約束模型，用于對(duì)修復(fù)塊模板尺寸進(jìn)行調(diào)整．對(duì)于第N個(gè)待修復(fù)塊KN(i)，其對(duì)應(yīng)模板尺寸size(KN(i))的梯度變化約束模型為

其中，MN表示第N個(gè)待修復(fù)像素點(diǎn)對(duì)應(yīng)的梯度模值，表示在N?1次修復(fù)過(guò)程中產(chǎn)生的最小梯度模值，表示在N?1次修復(fù)過(guò)程中產(chǎn)生的最大梯度模值．

通過(guò)（6）可對(duì)待修復(fù)塊的模板大小進(jìn)行調(diào)整，最終確定當(dāng)前修復(fù)塊．

1.2 建立當(dāng)前搜索范圍

當(dāng)前較多圖像修復(fù)算法將整個(gè)源區(qū)域作為搜索范圍，在源區(qū)域中進(jìn)行全局式搜索最優(yōu)匹配塊，該方法不僅搜索效率低下，而且會(huì)由于計(jì)算的復(fù)雜性導(dǎo)致搜索出錯(cuò)[13]．為了克服該種弊端，本文將利用像素點(diǎn)的置信度來(lái)建立搜索空間適配法則，依據(jù)像素點(diǎn)的置信度對(duì)搜索范圍進(jìn)行適配．待修復(fù)像素點(diǎn)對(duì)應(yīng)的置信度C(i)反應(yīng)了該像素點(diǎn)周?chē)畔⒌目煽啃訹14]．C(i)越大則表示該像素點(diǎn)周?chē)性蕉嗟囊阎畔?，反之含有的已知信息越少．因此，本文以置信度作為參考?gòu)造了置信特征因子

其中，KS表示鄰域擴(kuò)散值，本文通過(guò)實(shí)驗(yàn)得出KS取值為45．

利用置信特征因子可建立搜索空間適配法則，用于建立當(dāng)前搜索范圍．具體過(guò)程如下：

對(duì)于一副尺寸為G×V的待修復(fù)圖像，首先令以待修復(fù)像素點(diǎn)i(xi,yi)為中心的待修復(fù)塊尺寸為W×H．然后以待修復(fù)像素點(diǎn)i(xi,yi)為中心構(gòu)造一個(gè)尺寸為Q×L矩形區(qū)域E，其中Q和L的計(jì)算方法如下

其中，U和J分別是和圖像尺寸相關(guān)的常數(shù)

最后，利用構(gòu)造的矩形區(qū)域E與源區(qū)域S建立當(dāng)前搜索范圍Tr．

通過(guò)搜索空間適配法則可見(jiàn)，當(dāng)前搜索范圍的建立是以當(dāng)前待修復(fù)像素點(diǎn)的置信度為依據(jù)進(jìn)行的，因此可以有效的根據(jù)待修復(fù)內(nèi)容合理的建立搜索范圍．

1.3 搜索最優(yōu)匹配塊

當(dāng)前圖像修復(fù)方法中主要是依靠像素值誤差塊匹配度量的方法進(jìn)行最優(yōu)匹配塊的搜索，該方法容易使修復(fù)圖像中出現(xiàn)塊效應(yīng)[15]．而結(jié)構(gòu)相似度評(píng)價(jià)規(guī)則能夠?qū)煞鶊D像從人體視覺(jué)出發(fā)進(jìn)行結(jié)構(gòu)相似性度量[16,17]．對(duì)此，本文引用了結(jié)構(gòu)相似度模型用于對(duì)匹配塊與待修復(fù)塊的結(jié)構(gòu)相似性進(jìn)行約束，以搜索最優(yōu)匹配塊．

對(duì)于待修復(fù)塊K以及匹配塊Z，其對(duì)應(yīng)的結(jié)構(gòu)相似度模型為[17]

其中，l(K,Z),c(K,Z),s(K,Z)分別為亮度、對(duì)比度、結(jié)構(gòu)相關(guān)函數(shù)．

利用（13）式將搜索范圍內(nèi)的所有匹配塊與待修復(fù)塊進(jìn)行結(jié)構(gòu)相似性度量．選取最大值SSIM(K,Z)對(duì)應(yīng)的匹配塊作為最優(yōu)匹配塊，用于對(duì)待修復(fù)塊進(jìn)行修復(fù)．

2 仿真實(shí)驗(yàn)

以3.2GHz雙核處理器、4GB內(nèi)存的PC機(jī)作為硬件平臺(tái)，在Windows 7操作系統(tǒng)上利用Visual Studio 2008軟件作為編程環(huán)境進(jìn)行仿真實(shí)驗(yàn)．為了體現(xiàn)本文算法的有效性以及優(yōu)越性，將文獻(xiàn)[18]和文獻(xiàn)[19]中的圖像修復(fù)算法設(shè)置為對(duì)照組．

2.1 不同修復(fù)圖像的視覺(jué)效果分析

實(shí)驗(yàn)中對(duì)劃痕破損圖像以及遮蔽物破損圖像進(jìn)行了修復(fù)．不同算法的修復(fù)效果圖如圖3和圖4所示．在圖3中，本文算法修復(fù)圖像的效果如圖3（g）所示，文獻(xiàn)[18]中算法修復(fù)圖像的效果如圖3（c）所示和文獻(xiàn)[19]中算法修復(fù)圖像的效果如圖3（e）所示，從整體上看修復(fù)效果都不錯(cuò)．通過(guò)將修復(fù)觀察區(qū)進(jìn)行放大后進(jìn)行對(duì)比可見(jiàn)，本文算法的修復(fù)圖像質(zhì)量最佳，如圖3（h）所示．文獻(xiàn)[18]算法修復(fù)圖像的修復(fù)觀察區(qū)內(nèi)存在修復(fù)殘留效應(yīng)與模糊效應(yīng)，如圖3（d）所示．文獻(xiàn)[19]算法修復(fù)圖像的修復(fù)觀察區(qū)內(nèi)存在振鈴效應(yīng)以及塊效應(yīng)，如圖3（f）所示．圖4中，對(duì)比本文算法的修復(fù)圖像效果如圖4（e）所示，文獻(xiàn)[18]中算法修復(fù)圖像的效果如圖4（c）所示和文獻(xiàn)[19]中算法修復(fù)圖像的效果如圖4（d）所示，可見(jiàn)本文算法修復(fù)效果最好，而文獻(xiàn)[18]中算法修復(fù)圖像中存在不連續(xù)效應(yīng)，文獻(xiàn)[19]中算法修復(fù)圖像中存在模糊效應(yīng)．說(shuō)明本文算法修復(fù)的圖像具有良好的視覺(jué)效果．因?yàn)楸疚牟捎昧艘韵袼攸c(diǎn)梯度變化為依據(jù)的梯度變化約束模型對(duì)待修復(fù)塊模板尺寸進(jìn)行調(diào)節(jié)，使得修復(fù)塊模板尺寸適應(yīng)圖像信息的變化，從而克服了不連續(xù)效應(yīng)以及塊效應(yīng)等不良效應(yīng)．同時(shí)本文還采用了結(jié)構(gòu)相似度模型，從人體視覺(jué)效果出發(fā)選取了最優(yōu)匹配塊，使得修復(fù)圖像的視覺(jué)效果得以提升．文獻(xiàn)[18]中算法利用多項(xiàng)式曲線擬合方式對(duì)圖像邊緣信息進(jìn)行修復(fù)，利用平移塊的稀疏表示修復(fù)紋理信息，由于多項(xiàng)式曲線擬合方式難以對(duì)方向向量相同的兩點(diǎn)進(jìn)行修復(fù)，導(dǎo)致修復(fù)圖像存在不連續(xù)等不良效應(yīng)．文獻(xiàn)[19]中算法利用深度圖選取優(yōu)先修復(fù)塊，通過(guò)幾何模型以及光度模型在整個(gè)源區(qū)域中搜素最優(yōu)匹配塊，完成圖像修復(fù)，由于幾何模型以及光度模型對(duì)像素點(diǎn)顏色值識(shí)別度不高，導(dǎo)致修復(fù)圖像存在模糊效應(yīng)等，使得修復(fù)圖像質(zhì)量不佳．

圖3 劃痕破損圖像的修復(fù)效果圖

圖4 遮蔽物破損圖像的修復(fù)效果圖

2.2 圖像修復(fù)客觀評(píng)價(jià)

以圖3（a）作為測(cè)試對(duì)象，對(duì)測(cè)試圖像進(jìn)行不同程度的遮蔽物破壞，利用不同算法對(duì)破壞圖像進(jìn)行修復(fù)，并將修復(fù)圖像的質(zhì)量通過(guò)SSIM進(jìn)行對(duì)比，從而實(shí)現(xiàn)客觀評(píng)價(jià)．

不同算法修復(fù)所得圖像的SSIM對(duì)比圖如圖5所示．由圖5可見(jiàn)，對(duì)于不同程度破損圖像的修復(fù)，本文算法修復(fù)圖像的SSIM值比對(duì)照組方法修復(fù)圖像的SSIM值都高，說(shuō)明本文算法對(duì)破損圖像具有較好的修復(fù)效果．因?yàn)楸疚囊韵袼攸c(diǎn)的置信度為依據(jù)，建立了搜索空間適配法則，用于對(duì)搜索范圍進(jìn)行限定，從而避免了由于計(jì)算量大而產(chǎn)生的修復(fù)錯(cuò)誤．另外本文還采用結(jié)構(gòu)相似度模型搜索最優(yōu)匹配塊，從而保證了修復(fù)圖像中細(xì)節(jié)信息的正確度，提高了修復(fù)圖像的峰值信噪比．

圖5 三中算法修復(fù)圖像的PSNR圖

3 結(jié)論

為了獲取視覺(jué)效果良好的修復(fù)圖像，本文提出了基于置信特征耦合結(jié)構(gòu)相似度約束的圖像修復(fù)算法．首先利用優(yōu)先權(quán)函數(shù)從待修復(fù)區(qū)域選取優(yōu)先修復(fù)像素．然后利用像素點(diǎn)的梯度變化特征，構(gòu)造了梯度變化約束模型，用于調(diào)整待修復(fù)塊的模板．最后通過(guò)像素點(diǎn)的置信度特征，建立搜索空間適配法則，確定了搜索范圍．引用結(jié)構(gòu)相似度模型搜索最優(yōu)匹配塊完成圖像修復(fù)．實(shí)驗(yàn)結(jié)果驗(yàn)證了所提修復(fù)算法的有效性與優(yōu)越性．

參考文獻(xiàn)：

[1]余萍,聞愷.基于混沌交換控制表與關(guān)聯(lián)動(dòng)態(tài)引擎的圖像加密算法[J].新疆大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,34(4):459-466.

[2]Anamandra Sai Hareesh，V.Chandrasekaran.Exemplar-based color image inpainting:A fractional gradient function approach[J].Pattern Analysis and Applications,2014,17(2):389-399.

[3]葛艷，趙瑞，高占江.基于TV模型和膨脹的圖像修復(fù)方法研究[J].微型機(jī)與應(yīng)用，2014，33(18):39-41.

[4]徐黎明，吳亞娟，劉航江.基于變分偏微分方程圖像修復(fù)技術(shù)研究[J].西華師范大學(xué)學(xué)報(bào)(自然科學(xué)版)，2016，37(3):343-348.

[5]李志丹，和紅杰，尹忠科.基于塊結(jié)構(gòu)稀疏度的自適應(yīng)圖像修復(fù)算法[J].電子學(xué)報(bào)，2013，41(3):549-554.

[6]江平,張錦.一種結(jié)合CDD模型和Criminisi算法的圖像修復(fù)算法[J].圖學(xué)學(xué)報(bào),2014,35(5):741-746.

[7]Swami D,Jain A.Image denoising by supervised adaptive fusion of decomposed images restored using wave atom,curvelet and wavelet transform[J].Signal,Image and Video Processing,2014,8(3):443-459.

[8]Papaf i tsoros K,Sch¨onlieb C B.A Combined First and Second Order Variational Approach for Image Reconstruction[J].Journal of Mathematical Imaging and Vision,2014,48(2):308-338.

[9]張婷曼.基于小波閾值自適應(yīng)修正的模糊圖像修復(fù)算法[J].控制工程，2015，22(6):1166-1170.

[10]鄧承志，劉娟娟，汪勝前.保留結(jié)構(gòu)特征的稀疏性正則化圖像修復(fù)[J].光學(xué)精密工程，2013，21(7):1906-1913.

[11]Williams B,Ke C,Harding P.A new constrained total variational deblurring model and its fast algorithm[J].Numerical Algorithms,2015,69(2):415-441.

[12]朱曉臨，陳曉冬，朱園珠.基于顯著結(jié)構(gòu)重構(gòu)與紋理合成的圖像修復(fù)算法[J].圖學(xué)學(xué)報(bào),2014,35(3):336-342.

[13]Mrinmoy G,Bhabatosh C.An image inpainting method using pLSA-based search space estimation[J].Machine Vision and Applications,2015,26(1):69-87.

[14]李丹，仲崇權(quán)，王世強(qiáng).基于全變差和P-Laplace模型的混合圖像修復(fù)算法[J].大連理工大學(xué)學(xué)報(bào),2014,54(6):676-681.

[15]Nishant T.Image enhancement and restoration by image inpainting[J].International Journal of Engineering Research and Applications,2014,12(4):30-34.

[16]吳云,許抗震,黃瑞章.一種基于Hadoop的文本相似度仿真檢測(cè)模型[J].新疆大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,34(3):308-315.

[17]金煒,王文龍,符冉迪.聯(lián)合塊匹配與稀疏表示的衛(wèi)星云圖修復(fù)[J].光學(xué)精密工程，2014，22(7):1886-1895.

[18]康佳倫，唐向宏，任澍.結(jié)構(gòu)約束和樣本稀疏表示的圖像修復(fù)[J].中國(guó)圖像圖形學(xué)報(bào)，2013，18(11):1425-1434.

[19]Seyed Saeid Mirkamali,Nagabhushan P.Object removal by depth-wise image inpainting[J].Signal,Image and Video Processing,2015,9(8):1785-1794.