基于區(qū)域分割和樣本信息的圖像修復(fù)算法

摘 要：本文提出了一種通過區(qū)域分割和樣本信息的圖像修復(fù)算法，該修復(fù)算法是迭代的搜索原域和利用原域中最相似的修補(bǔ)塊來填充目標(biāo)域。首先采用區(qū)域分割的方法對(duì)圖像中目標(biāo)域進(jìn)行區(qū)域劃分，確定不同的目標(biāo)域的修補(bǔ)區(qū)域，從而減少對(duì)整個(gè)原域的搜索；然后利用修補(bǔ)區(qū)域中的樣本信息選擇修補(bǔ)塊大??；最后對(duì)圖像進(jìn)行修復(fù)。實(shí)驗(yàn)結(jié)果表明，該算法是有效的，從視覺修復(fù)效果較其他算法有了顯著提高。

關(guān)鍵詞：圖像；區(qū)域分割；樣本信息；修復(fù)

中圖分類號(hào)：TP391.41

目前數(shù)字圖像修復(fù)[1]技術(shù)主要算法分為兩類：基于結(jié)構(gòu)修復(fù)和基于紋理修復(fù)?；诮Y(jié)構(gòu)的修復(fù)算法主要思想是利用待修補(bǔ)區(qū)域的邊緣信息，確定擴(kuò)散信息和擴(kuò)散方向，從區(qū)域邊界各向異性地向邊界內(nèi)擴(kuò)散。這類算法對(duì)細(xì)長(zhǎng)的線段有較好的修復(fù)效果，不適合于紋理修復(fù)?；诩y理修復(fù)算法主要借鑒了紋理生成方法中的思想來尋找樣本并進(jìn)行匹配復(fù)制。其中包括了基于圖像分解的修復(fù)技術(shù)和Criminisi等人[2]提出的基于樣本的紋理合成算法。這類修復(fù)算法對(duì)于單一紋理中較大破損區(qū)域的圖像和文獻(xiàn)[6]對(duì)多紋理圖像有較好的修復(fù)效果。但是這幾類算法都采用全局搜索，所以計(jì)算量大，耗時(shí)長(zhǎng)。在此基礎(chǔ)上本文提出了一種采用區(qū)域分割和樣本信息的圖像修復(fù)算法，在此基礎(chǔ)上也降低了計(jì)算量，從而減少計(jì)算時(shí)間。

1 本文修復(fù)算法

設(shè)輸入圖像I，對(duì)其進(jìn)行區(qū)域分割，得到目標(biāo)域的分割圖M，這些分割區(qū)域的邊界線是通過結(jié)構(gòu)信息進(jìn)行曲線輪廓的擬合。對(duì)于擬合的曲線得到的不同區(qū)域，使用原域中的匹配塊來進(jìn)行填充。首先，在目標(biāo)域的邊界上，結(jié)合文獻(xiàn)[5]計(jì)算每個(gè)目標(biāo)修補(bǔ)塊的優(yōu)先級(jí)；然后，提出適應(yīng)性地選擇修補(bǔ)塊的大小和搜索匹配塊，實(shí)現(xiàn)對(duì)優(yōu)先修補(bǔ)塊的填充；最后，通過新的置信度更新方法，實(shí)現(xiàn)對(duì)圖像的修復(fù)。

1.1 區(qū)域分割

本文結(jié)合文獻(xiàn)[3]的分割算法，對(duì)分割圖M建立曲線圖G=（V，E），其中V表示最初的點(diǎn)集合，E表示相應(yīng)的邊緣集，分割圖M提供圖像I中的結(jié)構(gòu)信息，通過分割過程中不斷的迭代合成，M就被分為適當(dāng)?shù)暮蜏?zhǔn)確的區(qū)域集合。在每個(gè)合成步驟中，如果M域中相鄰的兩個(gè)部分中各自像素點(diǎn)均值的差大于設(shè)定的閾值時(shí)，則這兩個(gè)部分不能合成一個(gè)部分。即兩個(gè)部分間就會(huì)存在一條邊緣集E。這種區(qū)域分割實(shí)現(xiàn)了兩個(gè)主要的功能：一是目標(biāo)域得到了有效的劃分；二是有效的選擇修補(bǔ)塊大小和減少了搜索區(qū)域。

1.2 樣本信息的匹配和修復(fù)

采用分割圖M將輸入一幅壁畫圖像I分成若干個(gè)區(qū)域（包括目標(biāo)分割域），將其表示為，其中Ri表示圖像I的第i個(gè)分割部分，N表示總的分割區(qū)域。修補(bǔ)塊至少屬于其中一個(gè)部分Ri。通過這種分割結(jié)果，對(duì)于合適的修補(bǔ)塊大小和候選搜索區(qū)域而言，該算法能夠有效的進(jìn)行修復(fù)。

在自適應(yīng)選擇修補(bǔ)塊大小中，如果當(dāng)前修補(bǔ)塊處于幾個(gè)部分Ri相交的邊界上時(shí)，預(yù)設(shè)窗口大小為9X9的模板。如果當(dāng)前修補(bǔ)塊屬于其中Ri時(shí)，對(duì)窗口進(jìn)行相應(yīng)的擴(kuò)大，設(shè)置最大修補(bǔ)塊窗口為17X17的模板，從而實(shí)現(xiàn)高質(zhì)量的修復(fù)。該算法能夠減少搜索區(qū)域，從而減少運(yùn)算時(shí)間和降低錯(cuò)誤率。通過利用分割圖中的結(jié)構(gòu)信息，對(duì)破損邊界進(jìn)行曲線擬合，結(jié)合文獻(xiàn)[4]中的Bezier（貝塞爾）曲線，連接不完整的邊界線。

1.2.1 搜索最佳匹配塊

為了得到最佳的匹配塊，通常算法是根據(jù)樣本信息中像素點(diǎn)的顏色差平方和，選取其中相似度最高的塊作為匹配塊。由于這種算法只是根據(jù)顏色差值進(jìn)行計(jì)算，忽略了其中的結(jié)構(gòu)特征，為了更好的符合人的視覺特征，本文引入了像素點(diǎn)的梯度值，通過梯度相似性和顏色的相似度的結(jié)合，取其平均值作為匹配塊的選擇。

以像素點(diǎn)為中心的最大優(yōu)先權(quán)的修補(bǔ)塊和以像素點(diǎn)為中心點(diǎn)的最佳匹配塊，在源域中找到與修補(bǔ)塊最小距離的匹配塊。

（1）

（2）

其中Np是待修補(bǔ)塊中的像素點(diǎn)個(gè)數(shù)之和，C是顏色相似度，G是梯度向量。

1.2.2 匹配塊填充和更新置信度

由于優(yōu)先修補(bǔ)塊中各已知像素點(diǎn)的值和匹配塊中對(duì)應(yīng)位置處的值之間存在誤差，一旦填充這時(shí)圖像的邊緣就發(fā)生了變化，對(duì)應(yīng)的邊緣點(diǎn)的置信度值也發(fā)生了變化，以及這些帶有誤差的值就會(huì)作為其他未知點(diǎn)的已知信息，隨著修補(bǔ)的進(jìn)行而不斷的傳遞，導(dǎo)致錯(cuò)誤越來越大。為了防止這種錯(cuò)誤，本文提出了新的置信度更新方法。

（3）

其中r和s分別是修補(bǔ)塊和匹配塊中的像素點(diǎn)，當(dāng)修補(bǔ)塊中任意像素點(diǎn)r屬于它與目標(biāo)域相交的部分時(shí)，用匹配塊對(duì)修補(bǔ)塊進(jìn)行填充；當(dāng)修補(bǔ)塊中任意像素點(diǎn)r屬于目標(biāo)域與原域相交的部分時(shí)，用匹配塊中的像素點(diǎn)和原像素點(diǎn)的平均值填充重疊區(qū)域，使其置信度和邊界得到更新。

2 實(shí)驗(yàn)結(jié)果與分析

本算法是在2.67GHZ CPU，4G內(nèi)存的PC機(jī)上使用VC++ 6.0和OpenCV_1.0實(shí)現(xiàn)對(duì)圖像的修復(fù)。首先，對(duì)下圖“蹦極”預(yù)設(shè)默認(rèn)窗口大小為9X9和限制最大窗口為17X17，通過實(shí)驗(yàn)結(jié)果比較了已有算法和本算法的性能。圖中展示了本算法和已有3種修復(fù)算法之間的比較，其中（a）為輸入圖像和（b）為目標(biāo)域和曲線連接，（c）文獻(xiàn)[2]criminisi算法（d）為文獻(xiàn)[5]黃偉等人算法（e）為文獻(xiàn)[6]吳曉軍等人算法。（c）顯示了在河畔和建筑物上不自然的紋理模型。（d）比（c）在結(jié)構(gòu)信息方面有更好的重建效果，然而卻出現(xiàn)了一些模糊的區(qū)域和建筑外形上的彎曲曲線，顯得不夠自然。（e）和（c）在建筑物的底部陰影部分都出現(xiàn)了不可取的紋理，得到了不自然的填充效果，而（e）卻比（d）在建筑外形上顯得更加的自然。（f）為本算法的修復(fù)結(jié)果，從中可以看出視覺上的自然效果，以及結(jié)構(gòu)部分和紋理部分都得到了較好的修復(fù)。下圖1為本實(shí)驗(yàn)圖“蹦極”。

（a） （b） （c）

（d） （e） （f）

圖1

3 結(jié)論

在本文中提出的基于區(qū)域分割和樣本信息的圖像修復(fù)算法，本算法通過分割圖得到結(jié)構(gòu)和紋理信息，利用結(jié)構(gòu)和紋理信息決定合適的修補(bǔ)塊大小和候選域。該算法能夠減少由原修補(bǔ)塊不正當(dāng)?shù)钠ヅ湟鸬姆磸?fù)迭代和錯(cuò)誤填充。通過實(shí)驗(yàn)結(jié)果顯示了該算法的有效性，從視覺修復(fù)效果較其他算法有了顯著提高。

參考文獻(xiàn)：

[1]Bwetalmio M，Spairo G，Caselles V，and Ballester C.Image Inpainting.In；Proceedings of ACM SIGGRAPH 2000.New York： ACM Press，2000：417-424.

[2]Criminisi A，Perez P，and Toyarna K.Region filling and object removal by exemplar-based image inpainting.IEEE Transactions on Image Processing，2004，13（9）：1200-1212.

[3]P.F.Felzemszwalb and D.P.Huttenlocher，“Efficient graph based image segmentation”Int.J.ComputerVision，vol.59，no.2，167-181sep.2004.

[4]J.Lee and R.-H.Park，“Adaptive exemplar-based inpainting algorithm using region segmentation”in Proc. 26th IEEE Int.Technical Conf.Circuits/Systems，Computers and communication，503-506，Gyeongju，Korea，Jun.2011.

[5]黃偉，王書文.一種結(jié)合結(jié)構(gòu)和紋理特征修復(fù)敦煌壁畫的方法[J].西北民族大學(xué)學(xué)報(bào)，2009.

[6]吳曉軍，李功清.基于樣本和線性結(jié)構(gòu)信息的大范圍圖像修復(fù)算法[J].電子學(xué)報(bào)，2012，8.

作者簡(jiǎn)介：田野，男，碩士研究生，研究方向：數(shù)字圖像處理與多媒體通信；王慧琴，女，教授，博士生導(dǎo)師，研究方向：網(wǎng)絡(luò)安全、圖像處理、數(shù)字水印、智能控制理論與方法等；吳萌，女，講師，博士研究生，研究方向：數(shù)字圖像處理和信息管理系統(tǒng)；李俊杰，男，碩士研究生，研究方向：數(shù)字圖像處理與模式識(shí)別。

作者單位：西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055

基金項(xiàng)目：教育部歸國(guó)留學(xué)人員科研扶持項(xiàng)目：彩繪與壁畫文物的數(shù)字修復(fù)及數(shù)字信息安全技術(shù)研究（K05055）；陜西省科技廳自然基金：高清唐墓壁畫數(shù)字圖像修復(fù)技術(shù)的研究（2013JM8015）；陜西省教育廳自然科學(xué)類專項(xiàng)研究項(xiàng)目（11JK1027）；復(fù)雜背景下的圖像分割及在工程中的應(yīng)用（ZC1103）；數(shù)字圖像修復(fù)技術(shù)的研究與應(yīng)用（QN1022）。