基于腐蝕和分塊處理的Criminisi修復(fù)算法

劉正男,梁美玉

(安徽信息工程學(xué)院 電氣與電子工程學(xué)院，安徽 蕪湖 241000)

0 引言

圖像修復(fù)技術(shù)歷史悠久，早在中國西漢時期就有修復(fù)畫卷的記錄，圖像修復(fù)的概念是在文藝復(fù)興時期引入的，近年來發(fā)展迅速[1-5]。目前，圖像修復(fù)可以主要分為兩個方面，一個是基于非紋理結(jié)構(gòu)的處理，另一個是基于紋理的修復(fù)。前者又可以分為變分模型和偏微分方程模型(PDE)，后者可細(xì)分為紋理合成與圖像分解的修復(fù)算法。

基于非紋理結(jié)構(gòu)的修復(fù)算法是根據(jù)已知信息進(jìn)行空白區(qū)域的填補(bǔ)修復(fù)，適用于待修復(fù)面積較小的情況。Bertalmio等人[6]于2005年在PDE的思路上提出了BSCB(Bertalmio、Sapiro、Casel Ballester)模型，算法的核心是在受損區(qū)域的邊緣上利用公式遵從一定的方向傳播至內(nèi)部，直到填補(bǔ)所有的待修復(fù)區(qū)域，此算法為圖像修復(fù)領(lǐng)域開啟了一個全新的世界。2001年，Chan等人[7-8]提出了一種具有銳化和去噪功能的TV數(shù)學(xué)模型，該算法不僅盡可能多地保留圖像的邊緣信息，而且復(fù)雜度較低，但是存在結(jié)構(gòu)連通性比較差的問題，導(dǎo)致修復(fù)結(jié)果與原圖之間差異較大，并且由于修復(fù)過程中沒有將圖像信息是均勻分布的這一特性考慮進(jìn)去，導(dǎo)致得到的結(jié)果存在不夠清晰的情況。隨后Chan等人[9]針對TV算法出現(xiàn)的缺點(diǎn)，又提出了將幾何信息引入算法以改進(jìn)處理效果的CDD模型。為了控制和調(diào)節(jié)圖像修復(fù)中的信息擴(kuò)散過程，該算法在考慮梯度信息之余，還利用了含有曲率k的控制函數(shù)，使仿真結(jié)果更加理想、視覺更加合理。但由于該算法本身是一個高階方程模型，帶來了很大的計算量，導(dǎo)致修復(fù)時間變長的同時也存在處理后期難以收斂的問題，從而得到的仿真圖像也會存在連通性不佳、內(nèi)容模糊的現(xiàn)象。之后也有很多研究者對這兩個模型進(jìn)行了一系列的優(yōu)化與改進(jìn)[10-13]。

基于紋理結(jié)構(gòu)的修復(fù)方法的主要思想是利用一些參數(shù)在源區(qū)域中尋找和待處理區(qū)域最接近的圖像塊進(jìn)行圖像處理，進(jìn)而達(dá)到修復(fù)的目的，該算法在大范圍受損圖像的修復(fù)方面具有明顯的優(yōu)勢。Criminisi等人[14]在2003年提出新的修復(fù)算法，首次引入了優(yōu)先權(quán)的概念，利用數(shù)據(jù)項與置信項的乘積來決定處理的先后次序，而后利用最佳匹配搜索來填補(bǔ)空白區(qū)域，考慮了目標(biāo)對象的結(jié)構(gòu)與紋理，成為圖像修復(fù)中的一個里程碑。

1 Criminisi算法分析

Criminisi算法的基本思想是利用被扣圖像的剩余部分的冗余信息來對孔洞進(jìn)行填充操作，主要分為優(yōu)先級的計算、最佳匹配塊的搜索并填充以及置信度的更新這3個部分：

1) 優(yōu)先級用于確定待修復(fù)塊的處理次序，解決結(jié)構(gòu)連通性較差的問題；

2) 搜索即根據(jù)紋理相似距離(平方差距離和，即SSD)在已知區(qū)域中找到最佳匹配塊；

3) 復(fù)制即是將最佳匹配塊復(fù)制到對應(yīng)的目標(biāo)區(qū)域位置。

圖1展示了Criminisi算法的一次處理過程。

圖1 Criminisi算法的處理過程

P(p)=C(p)D(p)，

(1)

其中：C(p)是置信項，D(p)是數(shù)據(jù)項。C(p)和D(p)分別定義[14]3為

(2)

(3)

其中：C(q)為待修復(fù)塊ψp中像素q的置信項值，未對圖像操作處理前，在圖像信息已知范圍內(nèi)定義其值為1，在圖像待處理范圍內(nèi)定義其值為0；|ψp|指的是待修復(fù)塊ψp的面積。

(4)

再以目標(biāo)最優(yōu)匹配塊對空白部分進(jìn)行填充，并在此之后對置信度進(jìn)行更新，進(jìn)行下一次的修復(fù)。

圖2是Criminisi算法的仿真效果圖，其中圖2 (a)是待處理對象，圖2 (b)為經(jīng)過Criminisi算法處理得到的結(jié)果。由結(jié)果分析發(fā)現(xiàn)，對于待處理圖2(a)，本意是移除圖片中右邊男子，但是由于Criminisi算法是從完好區(qū)域?qū)ふ页雠c待處理區(qū)最為接近的圖像塊并進(jìn)行填充，于是就出現(xiàn)了圖2(b)的修復(fù)結(jié)果，僅僅是將中間的女子所在圖像塊進(jìn)行了復(fù)制，此外，還出現(xiàn)了不合理內(nèi)容的填充問題。

圖2 Criminisi算法仿真圖

2 改進(jìn)Criminisi算法

Criminisi算法對于待處理面積較大的圖像的修復(fù)效果比較理想，然而當(dāng)目標(biāo)對象信息比較復(fù)雜時，或待修復(fù)塊涉及兩個或者多個紋理結(jié)構(gòu)截然不同的區(qū)域時，不論是優(yōu)先權(quán)計算函數(shù)，還是最佳匹配算法，就會因此出現(xiàn)修復(fù)錯亂、仿真效果不夠理想的情況。此外，在修復(fù)圖像前，Criminisi算法需要對圖像中的待處理部分進(jìn)行掩膜操作，可是人為創(chuàng)建的掩膜與真正需要處理的修復(fù)區(qū)域還是會存在或大或小的差距。在標(biāo)記掩膜時，為了涵蓋所有的破損區(qū)域，人們通常會設(shè)計面積較大的掩膜。然而，過大地標(biāo)注掩膜，勢必會加大圖像處理過程的難度，進(jìn)而也會增加修復(fù)算法的時間成本。

針對上述問題，本研究對原Criminisi算法進(jìn)行了改進(jìn)，現(xiàn)將本文算法記為CBC(Corrode、Block、Criminisi)，提出以下優(yōu)化方案：

1)通過腐蝕算法對圖像的掩膜進(jìn)行處理，避免人為擴(kuò)大修復(fù)區(qū)域；

2)針對優(yōu)先權(quán)函數(shù)在修復(fù)后期為零所導(dǎo)致的修復(fù)錯亂的問題，對優(yōu)先權(quán)函數(shù)提出了優(yōu)化；

3)通過分塊的思想對圖像進(jìn)行分塊修復(fù)，避免差距明顯的紋理區(qū)域出現(xiàn)修復(fù)錯亂。

2.1 腐蝕處理

腐蝕屬于圖形形態(tài)學(xué)操作，其目的是消除對象的邊界點(diǎn)，使邊界向內(nèi)部收縮，同時可以消除微小的結(jié)構(gòu)元素。也就是對目標(biāo)對象中的白色區(qū)域進(jìn)行縮減的過程，經(jīng)過處理后的圖像白色區(qū)域面積要比原圖像中的白色區(qū)域面積小。腐蝕可簡單地理解為取局部最小值，將對象中的結(jié)構(gòu)元素進(jìn)行四處移動，倘若結(jié)構(gòu)元素的所有點(diǎn)都在目標(biāo)對象內(nèi)，則該點(diǎn)保留于對象中，否則就會被消除掉(即腐蝕)。

腐蝕算法仿真如圖3所示，其中圖3(a)是原始掩膜圖像，圖3(b)是經(jīng)過腐蝕處理后得到的效果圖。

圖3 腐蝕處理前后對比效果

經(jīng)過對比可以看出，白色區(qū)域變小了，即掩膜區(qū)域變小了，這在一定程度上減輕了人為擴(kuò)大修復(fù)區(qū)域的問題，也提高了圖像修復(fù)算法的運(yùn)行效率。因此，可以在圖像修復(fù)之前進(jìn)行適當(dāng)?shù)母g預(yù)處理。

圖4是經(jīng)過腐蝕預(yù)操作后再進(jìn)行Criminisi修復(fù)的結(jié)果，其中圖4(a)是原圖，圖4(b)是所得到的結(jié)果圖像。

圖4 腐蝕處理后Criminisi算法仿真與原圖對比效果

通過圖4與圖2的結(jié)果對比分析可以看出，經(jīng)過腐蝕操作后再進(jìn)行Criminisi算法處理的結(jié)果盡管沒有達(dá)到預(yù)期的修復(fù)效果，依然是對附近類似人物的復(fù)制填充結(jié)果，但是處理后的圖像沒有出現(xiàn)破損區(qū)域，沒有發(fā)生草坪上出現(xiàn)湖水的圖像塊和水邊樹木枝干的情況，整體而言，沒有明顯的圖像處理痕跡，視覺效果更加合理。

利用時間、峰值信噪比、結(jié)構(gòu)相似性給出以上結(jié)果的評價參數(shù)。

表1 Criminisi算法與腐蝕處理后Criminisi算法的評價結(jié)果

根據(jù)表1的客觀評價結(jié)果，可以看出，經(jīng)過腐蝕處理后的修復(fù)效果更加真實(shí)自然，并且由于腐蝕的特性導(dǎo)致修復(fù)區(qū)域變小，也縮短了圖像修復(fù)的時間。

2.2 優(yōu)先權(quán)函數(shù)的改進(jìn)

由公式(2)可知，置信項會在修復(fù)過程中趨近于0，導(dǎo)致無法確定修復(fù)塊的優(yōu)先次序。而公式(1)僅對待修復(fù)塊的結(jié)構(gòu)信息做了一定的計算，但是并沒有考慮到信息的復(fù)雜度，因此，這里提出在進(jìn)行優(yōu)先權(quán)函數(shù)的建立時將能反映復(fù)雜程度的信息熵考慮在內(nèi)，具體函數(shù)為

(5)

其中Sp代表圖像的信息熵，定義如下：

(6)

其中pi是目標(biāo)對象中灰度值為i的像素所占的比例。

當(dāng)C(p)<0.5時，為了避免置信項過低導(dǎo)致數(shù)據(jù)項無法合理影響破損塊的優(yōu)先權(quán)的情況出現(xiàn)，本研究將Criminisi算法中的數(shù)據(jù)項與置信項的乘積運(yùn)算改為兩者相加；當(dāng)C(p)≥0.5時，由于置信項對于待修復(fù)塊的優(yōu)先權(quán)起著很大的作用，所以繼續(xù)保持?jǐn)?shù)據(jù)項與置信項的相乘運(yùn)算。

2.3 分塊處理

鑒于原Criminisi算法利用匹配準(zhǔn)則在整幅圖像中尋找最佳相似塊，故而導(dǎo)致在圖像中出現(xiàn)修復(fù)失誤的情況，因此提出在不同紋理區(qū)域里分別進(jìn)行修復(fù)的思路。具體思路如下：首先將待修復(fù)的對象分割成若干子對象，并且彼此之間沒有重疊的部分，隨后針對每一個子對象做并行修復(fù)處理，減小修復(fù)范圍的同時也保證了最佳匹配塊的符合度，修復(fù)效果如圖5所示。

圖5 Criminisi分塊處理仿真與原圖對比效果

從圖5可以看到，經(jīng)過分塊處理的圖像再進(jìn)行圖像修復(fù)，已經(jīng)基本上達(dá)到了去除目標(biāo)人物的要求，只是細(xì)節(jié)部分仍然有待提高。

本研究融合分塊和腐蝕算法，對Criminisi算法進(jìn)行改進(jìn)，先對圖像的掩膜部分進(jìn)行腐蝕預(yù)處理，繼而對圖像進(jìn)行分塊處理，處理結(jié)果如圖6所示。

圖6 CBC算法仿真與原圖對比效果

經(jīng)過結(jié)果對比與分析，可以發(fā)現(xiàn)本研究提出的算法不僅對修復(fù)圖像實(shí)現(xiàn)了要去除目標(biāo)人物的要求，而且修復(fù)后的圖像沒有修復(fù)痕跡，在細(xì)節(jié)方面也取得了比較好的效果。

3 實(shí)驗結(jié)果與分析

為了檢驗算法的性能，將CBC算法與Criminisi算法[14]、TV算法[8]、CDD算法[9]的結(jié)果進(jìn)行對比分析。在性能衡量方面，本研究不僅采用了客觀評價還另外組織了主觀評價。

3.1 客觀評價標(biāo)準(zhǔn)

本研究采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)、結(jié)構(gòu)相似性(Structural similarity，SSIM)來對修復(fù)算法的效果進(jìn)行客觀評價。

1) 峰值信噪比PSNR

PSNR是使用最廣泛的一種衡量圖像質(zhì)量的客觀指標(biāo)，其值越大表明結(jié)果圖像越接近于原始圖像，PSNR的具體計算公式如下：

(7)

2) 結(jié)構(gòu)相似性SSIM

SSIM(用SSIM表示)是一個新的圖像評價指標(biāo)，用于衡量兩幅圖像的結(jié)構(gòu)相似度，SSIM的值越接近于1說明兩幅圖像的結(jié)構(gòu)越相似，其計算步驟為

(8)

(9)

(10)

SSIM(X,Y)=L(X,Y)*C(X,Y)*S(X,Y),

(11)

3.2 主觀評價

由于原圖像與修復(fù)所得結(jié)果在結(jié)構(gòu)上存在一定的差距，直接對兩者進(jìn)行客觀評價缺乏說服力，故在接下來的篇幅中，對原圖像進(jìn)行人為損壞，再利用本研究所提出的修復(fù)算法對其進(jìn)行處理，為了檢驗算法的性能，對CBC算法與Criminisi算法、TV算法、CDD算法的結(jié)果進(jìn)行對比分析，修復(fù)結(jié)果如圖7所示。

圖7 CBC算法與Criminisi算法、TV算法以及CDD算法的仿真對比效果

據(jù)上述不同算法的仿真結(jié)果，可以發(fā)現(xiàn)，利用本研究方法修復(fù)后的圖像整體效果較好，基本上實(shí)現(xiàn)了殘缺部分的修復(fù)。此外，TV算法和CDD算法由于只進(jìn)行了1 000次迭代，修復(fù)效果不夠理想，沒有達(dá)到修復(fù)要求，在修復(fù)結(jié)果中能夠看到修復(fù)區(qū)域依然存在模糊區(qū)域。相較于TV算法和CDD算法，Criminisi算法對于大范圍破損圖像的處理更勝一籌，從修復(fù)結(jié)果來看，Criminisi算法在很大程度上實(shí)現(xiàn)了對殘缺部分的修復(fù)，但是修復(fù)結(jié)果有待改進(jìn)，與原圖像存在肉眼可見的差距。而本研究算法在Criminisi算法的基礎(chǔ)上提出改進(jìn)，對掩膜進(jìn)行腐蝕預(yù)處理從而使得修復(fù)區(qū)域減小，分塊修復(fù)的處理方式能夠區(qū)別開不同紋理的信息，故而修復(fù)效果比較好，同時，改進(jìn)的優(yōu)先權(quán)函數(shù)對圖像處理后期出現(xiàn)的修復(fù)錯亂情況起到了一定的抑制作用。但是，由于CBC算法沒有對最佳匹配塊的搜索范圍和匹配準(zhǔn)則進(jìn)行調(diào)整和優(yōu)化，導(dǎo)致部分修復(fù)結(jié)果仍有優(yōu)化空間，比如CBC算法對圖7(a)和圖7(f)的圖片的修復(fù)效果就出現(xiàn)了不夠理想的情況。

3.3 客觀評價

在性能衡量方面，本研究采用峰值信噪比和結(jié)構(gòu)相似性來對算法進(jìn)行分析，結(jié)果如表2所示。

表2 CBC算法與Criminisi算法、TV算法以及CDD算法的對比評價結(jié)果

由表2中實(shí)驗數(shù)據(jù)表明：可知TV算法由于其模糊效應(yīng)，綜合評價結(jié)果比較差；CDD算法在TV算法的基礎(chǔ)上引入梯度和曲率信息，修復(fù)結(jié)果得到了改善，峰值信噪比和結(jié)構(gòu)相似性均有所提高，但對于邊緣待修復(fù)區(qū)域的處理仍然不夠理想，模糊現(xiàn)象依舊存在；CBC算法在Criminisi算法的基礎(chǔ)上提出了改進(jìn)，圖像的評價參數(shù)均有所提高。

4 結(jié)論

本研究提出的基于腐蝕和分塊處理的圖像修復(fù)算法利用腐蝕算法對圖像進(jìn)行預(yù)處理，減輕了人為擴(kuò)大修復(fù)區(qū)域的問題；然后通過信息熵對優(yōu)先權(quán)函數(shù)進(jìn)行了優(yōu)化，抑制了修復(fù)錯亂的問題；最后引入分塊的思想對不同區(qū)域進(jìn)行分塊修復(fù)。通過一系列的數(shù)據(jù)對比和經(jīng)過對處理后的圖像效果進(jìn)行分析，本研究算法在邊緣破損圖像的處理效果較好，取得了比較高的峰值信噪比、結(jié)構(gòu)相似性，細(xì)節(jié)部分也得到了較好處理。但是CBC算法對于大面積破損圖像的修復(fù)效果不夠理想，原因是CBC算法未對最佳匹配塊的搜索區(qū)域和匹配準(zhǔn)則做出調(diào)整，后續(xù)工作將進(jìn)一步對其完善。