基于先驗約束和統(tǒng)計的圖像修復算法

曹大命，翟東海，孟紅月，李夢雪，馮　炎

(1.西南交通大學 信息科學與技術學院，成都 610031；　2.西藏大學 工學院，拉薩 850000)(*通信作者電子郵箱1120490970@qq.com)

0　引言

圖像修復是目前數字圖像處理領域的研究熱點，它是一個病態(tài)問題，即利用圖像完好區(qū)域的信息來推測修復圖像破損區(qū)域的信息，目的在于恢復破損圖像的完整性，使其符合視覺連通性的要求。圖像修復技術已經被廣泛用于舊照片修復、影視特效制作、文物保護等多個領域[1]。目前關于圖像修復研究方法主要分為三類：基于偏微分方程(Partial Differential Equation, PDE)的圖像修復算法、基于稀疏的圖像修復算法和基于樣本的圖像修復算法[2]。

基于PDE的圖像修復算法通常是從已知區(qū)域向破損區(qū)域擴散圖像信息，該方法常用來修復圖像破損區(qū)域較小的非紋理圖像，對于大破損區(qū)域且含有幾何結構的圖像會產生錯誤修復和模糊現(xiàn)象[2]。其經典的代表算法有：Bertalmio等[3]提出的一種沿著圖像的等照度線信息從破損區(qū)域邊緣不斷擴散信息到破損區(qū)域內部的修復方法；Chan等[4]提出的利用全變分(Total Variation, TV)和各項異向擴散來修復局部非紋理圖像的全變分修復模型。

基于稀疏的圖像修復算法主要是通過將圖像表示成一系列變換的稀疏組合，破損區(qū)域的像素可以通過自適應更新稀疏表示被填充，在修復過程中該類方法也會產生模糊現(xiàn)象。該類方法中的代表算法有：Elad等[5]使用MCA(Morphological Component Analysis)將圖像分解成紋理層和結構層，每層通過不同的字典稀疏表示出來，從而實現(xiàn)紋理和結構的同時修復； Yu等[6]提出的將結構稀疏性引入圖像修復過程的修復方法。

基于樣本的圖像修復方法可細分為基于匹配(match)的圖像修復算法和基于圖(graph)的圖像修復算法[7]?；谄ヅ涞膱D像修復算法通常利用設置優(yōu)先權查找最佳樣本塊，再用最佳樣本塊填充破損區(qū)域，其經典代表算法有：Efrosa等[8]提出的紋理合成的方法和Criminisi等[9]提出的基于最佳樣本的圖像修復算法;Wexler等[10]提出的定義一個全局代價函數使得被填充區(qū)域的目標塊盡可能和完好區(qū)域的樣本塊相似從而完成圖像修復過程的圖像修復方法。但此類算法具有貪婪性，對算法初始化和所采用的優(yōu)化方法較敏感?；趫D的圖像修復算法[11-13]通常利用可爾可夫隨機場(Markov Random Field, MRF)模型重排樣本塊的位置來完成圖像修復過程，其典型代表算法有： Komodakis等[11]提出的先驗置信傳播(priority Belief Propagation,priority-BP)算法， Pritch等[12]提出的shift-map算法等。但此類方法計算量比較大。

基于以上研究基礎，本文提出了基于先驗約束和統(tǒng)計的圖像修復算法，該算法主要通過約束初始化和引導搜索兩個步驟來達到提高匹配精度的目的；在圖像修復階段利用相似塊的偏移值具有稀疏性這一圖像統(tǒng)計特性[7]，采用二維直方圖統(tǒng)計出主要偏移值，來減少樣本標簽的數量，從而提高算法的時效性。

1　算法概述

基于圖(graph-based)的圖像修復算法[7]通過優(yōu)化像MRF那樣的基于圖的模型，向未知像素點/塊分配一個偏移量(offset)，未知像素點/塊利用這個偏移量找到其最優(yōu)匹配塊的相對位置，并從中復制最優(yōu)匹配塊的內容到未知像素點/塊來完成圖像的修復過程。如何獲得最優(yōu)的圖像的偏移映射圖(shift-map)是評價此類修復算法優(yōu)劣的關鍵。由引言可知，該類算法普遍存在算法計算量大、時效性較差的問題。Barnes等[13]提出的PatchMatch算法和He等[7]提出的相似塊統(tǒng)計特性的圖像修復方法，都能在一定程度上緩解此問題。但PatchMatch算法采用隨機初始化的方法來獲得圖像的偏移映射圖，雖然可以提高算法的運行效率,但也會降低算法的匹配精度，造成算法的修復質量的下降。為了有效提高該算法的匹配精度,改善算法的最終修復質量，本文提出將圖像先驗特性作為約束條件對圖像的偏移映射圖進行約束初始化，從而起到提高算法匹配精度的目的；考慮到本文算法的時效性，利用圖像的相似塊的偏移值具有稀疏性[7]這一圖像統(tǒng)計特性來減少用于修復圖像的標簽集合的數量，從而起到提高算法運行效率的目的。改進后的算法主要分為五個步驟，其流程如圖1所示。

圖1　算法流程Fig. 1　Algorithm flowchart

步驟1利用文獻[14]中相對全變差的方法對破損圖像進行預處理分離出圖像中完好部分的紋理信息和結構信息，以此獲得圖像的先驗信息。

步驟2利用Grab cut算法[15]和上一步驟預處理獲得的先驗信息對破損圖像中的完好部分進行區(qū)域分割，使得圖像中具有相同結構信息和紋理信息的像素塊劃分到同一區(qū)域。對各子區(qū)域內部像素塊的偏移值進行約束，即分配給像素塊的偏移值只能來自各子區(qū)域內部除其本身以外的其他像素塊的相對位置，以此實現(xiàn)對圖像的偏移映射圖的約束初始化。

步驟3初始化完成后，每個像素塊被分配了一個偏移值，通過這個偏移值就可以找到其匹配塊的相對位置。利用改進的相似性度量公式對分配給像素塊的匹配塊進行相似性判斷。若判斷結果為好的匹配塊(good match,本文通過實驗仿真后，對于結構塊夾角小于0.5或紋理塊差值小于0.004的塊定義為好的匹配塊)，將匹配信息向鄰域像素塊傳播,鄰域像素塊等得其匹配信息后,執(zhí)行引導搜索看是否有更好的匹配塊(better match，其值要小于good match)，若找到更好的匹配塊,則更新像素塊的偏移值,向其鄰域像素塊傳播其更新后的匹配信息；若沒有找到更好的匹配塊，則直接將接收到的匹配信息向其鄰域傳播。若判斷結果為壞的匹配塊，直接執(zhí)行引導搜索找到好的匹配塊后再執(zhí)行傳播。重復以上操作直至算法收斂，得到優(yōu)化的圖像偏移映射圖。

步驟4獲得優(yōu)化的圖像偏移映射圖后，對圖像的偏移映射圖進行直方圖統(tǒng)計，取峰值較高的前P(本文實驗為P=65)個偏移值作為圖像的主要偏移值，組成圖像的修復標簽集。

步驟5獲得圖像的修復標簽集后，本文將圖像修復問題看成是向未知像素點/塊分配一個標簽(偏移值)，未知像素點在這個偏移值的指導下在完好區(qū)域找到相應的最優(yōu)匹配塊并把匹配塊填充到未知像素點的位置。在上述過程中用MRF能量函數來優(yōu)化圖像的修復效果。至此就完成了整個圖像的修復過程。

2　匹配精度的提高

2.1　約束初始化

基于圖的圖像修復算法[7]中對于偏移映射圖的初始化比較敏感。而PatchMatch算法中采用隨機的方式對圖像的偏移映射圖進行初始化會降低算法的匹配精度。在圖像處理領域中，圖像先驗信息對圖像修復具有重要的指導意義。為了提高算法的匹配精度，本文方法的主要改進是在PatchMatch算法的初始化階段引入圖像的先驗特性，然后利用該圖像的先驗特性對圖像的偏移映射圖的初始化進行約束，而不再采用原PatchMatch算法隨機初始化的方法，以提高圖像修復的最終修復效果。

由引言可知，圖像偏移映射圖的初始化的優(yōu)劣會直接影響基于圖(graph-based)的圖像修復算法[7]中修復效果的好壞。由于圖像具有局部自相似性[13]和紋理平滑性[17]，可以根據紋理和結構具有不同的先驗信息來指導圖像偏移映射圖的初始化過程，以此實現(xiàn)對圖像偏移映射圖在先驗信息指導下的約束初始化，從而達到提高像素塊匹配精度、減少算法誤匹配的目的。具體操作步驟如下：

首先，在圖像偏移映射圖的初始化階段采用相對總變差[14]的方法對原圖像進行預處理，分離出原圖像紋理信息和結構信息；然后，按照原圖像中的結構信息和紋理信息結合Grab cut算法[15]對原圖像進行區(qū)域分割，使得幾何結構和紋理信息相似的像素塊劃分到同一區(qū)域內。約束初始化的過程和處理結果如圖2所示。

圖2　約束初始化過程實例圖Fig. 2　Instance of constrained initialization process

其中：圖2(a)為含有紋理結構和幾何結構的測試圖像；圖2(b)為該圖經過預處理后含有圖像細節(jié)信息的紋理子圖；圖2(c)為預處理后含有圖像幾何輪廓信息的結構子圖；圖2(d)為預處理后的先驗約束圖，其中的方塊表示像素塊(patch)。圖2(d)中不同的灰度代表幾何結構和紋理信息不同的圖像局部子區(qū)域，在各子區(qū)域內像素塊的幾何結構和紋理信息相似。

其次，在劃分好的圖像局部區(qū)域內采用組內隨機初始化的方式為局部區(qū)域內的各像素塊分配偏移值。如圖3所示，A、B、C、D分別為按照上一步圖像預處理后，按照先驗信息分割成的圖像局部子區(qū)域，各局部子區(qū)域內像素塊的偏移值來自各像素塊所在的區(qū)域內部的像素塊,即分配給A區(qū)域的像素塊Ai的偏移值T(Ai)及在此偏移值下所找到Ai的匹配塊Aj也必須和Ai屬于同一區(qū)域。組內隨機初始化的公式如式(1)所示。

T(pi)=si-random(sj)；i≠j∪i,j∈N(seg)

(1)

式中:si=(xi,yi)為像素塊Ai的中心坐標，sj=(xj,yj)為Aj的中心坐標,Ai和Aj表示在同一圖像局部區(qū)域(seg)內的像素塊;T(·)=(u,v)為像素塊的偏移值;N(seg)表示圖像局部區(qū)域(seg)的鄰域;random(·)表示采用隨機的方式獲得一個像素塊的坐標。

圖3　組內隨機初始化示意圖Fig. 3　Schemetic diagram of random initialization in a group

最后，為各圖像局部區(qū)域已初始化完成的偏移子圖即各個圖像局部區(qū)域內的像素塊都分配一個偏移值。依據原圖像的尺寸大小，按照計算機的掃描順序對各圖像局部區(qū)域的像素塊進行排序，排序完成后就得到了整幅圖像的偏移映射圖,從而完成對圖像偏移映射圖的約束初始化過程。

2.2　相似塊度量公式的改進

經過約束初始化后，圖像中每個像素塊都被分配了一個偏移值；然后，利用相似性判斷公式對分配其的匹配塊進行相似性判斷，以判斷該匹配塊是不是最優(yōu)匹配塊。傳統(tǒng)的圖像修復算法通常采用離差平方和(Sum of Squares of Deviations，SSD)來度量兩個像素塊的相似性，此類方法不能較好地區(qū)分結構信息和紋理信息。為了使算法能夠較好地區(qū)分像素塊中的結構信息和紋理信息，達到提高算法的匹配精度的目的，本文利用預處理階段獲得圖像先驗信息將圖像的像素塊分為結構塊和紋理塊，針對不同類別的像素塊采用不同的相似性度量方法。通常情況下，結構塊會包含較多的幾何結構信息，而這些結構信息在結構塊中具有一定的方向性；因此，提取出結構塊中的幾何結構信息和方向信息組成結構塊的主結構方向向量，然后采用判斷兩個結構塊之間主結構方向向量夾角大小的方式判斷其相似性，夾角越小越相似。具體如式(2)所示：

(2)

式中:s(i)表示以i=(x,y)為中心的結構patch塊的主結構向量;T=(u,v)為偏移值；θi,i+T為以i=(x,y)為中心的patch和在偏移值T下得到的patch之間的主結構向量夾角。

對于紋理塊，由圖像的紋理具有局部平滑性[17]的先驗特性可知，圖像的局部區(qū)域內紋理變化不明顯，這也表明局部區(qū)域內的紋理塊的均值變化不明顯。據此，采用判斷圖像像素塊紋理均值之間差值的大小來判斷其相似性，差值越小越相似。具體如式(3)所示：

|E[t(i)]-E[t(i+T)]|≤ε

(3)

式中：t(i)為以i=(x,y)為中心的紋理塊；E[·] 表示紋理塊的均值;T=(u,v)為偏移值;ε為一個極小的正值。

與原算法中采用的SSD評價相似性度量的判斷相比,改進的相似性判斷方法很好地區(qū)分了像素塊中的結構和紋理信息，使算法的匹配精度有所提高，這可從文中第5章的實例仿真中體現(xiàn)出來。

2.3　引導搜索

經過相似性度量后，獲得了圖像偏移映射圖中哪些像素塊被分配了好的匹配塊(good match)和哪些像素塊沒有被分配好的匹配塊的信息。對于那些分配給好的匹配塊的像素塊，PatchMatch算法中利用指數下降距離(exponentially decreasing distance)的方法[13]在全局范圍采用隨機的方式逐步縮小搜索范圍直至縮小到一個像素點大小后停止搜索，查找是否有最優(yōu)匹配塊(better match),以此來提高算法的匹配精度。

由圖像紋理平滑性和局部自相似性的圖像先驗特性可知，目標塊的最優(yōu)匹配塊出現(xiàn)在該目標塊周圍區(qū)域的概率較大，且在圖像的局部區(qū)域內相似的像素塊沿著紋理具有主要的擴散方向。因此，相比原算法采用隨機查找的方式在全局查找更新最優(yōu)匹配塊的方法，本文采用引導搜索方法，即按照局部區(qū)域內的圖像紋理擴散的方向，在目標塊相鄰的局部區(qū)域內搜索其最優(yōu)匹配塊，這樣能進一步提高算法的匹配精度。圖4為引導搜索的示意圖(圖中ncur(cur=i,j,p)為像素點cur處的法向量)。

圖4　引導搜索示意圖Fig. 4　Schematic diagram of guided search

引導搜索的詳細操作過程如下：

1)利用Canny算子分別對經過圖像預處理后的圖像分割區(qū)域進行邊緣檢測，以得到各分割區(qū)域的邊緣，圖中δA、δB、δC分別表示區(qū)域A、B、C的邊界。

(4)

3)確定了每個區(qū)域的主要紋理擴散方向后，沿著該區(qū)域邊界的紋理擴散方向，在各自區(qū)域內對所屬區(qū)域的樣本塊按照本區(qū)域的主要紋理擴散方向去進行引導搜索，查找相應的匹配塊(如式(5)所示)，提高算法的匹配精度，迭代優(yōu)化圖像的偏移映射圖。

offset(pm)=(ncos(θm),nsin(θm))

(5)

其中:pm表示以m=(x,y)為中心的像素塊patch，offset(·)表示該像素塊的偏移值，θm為像素塊pm所在圖像分割子區(qū)域的紋理擴散方向，n=1,2,…直到偏移值處于邊緣位置。

3　時間效率的改進

(6)

其中，T(i)=(x,y)表示以i為中心的像素塊的偏移值。當上述公式成立時，δ(·)的值取1，不成立時取0。

偏移值的數量選取得越少越能提高算法的運行速度，但對修復質量會造成一定程度的下降，以峰值信噪比(Peak Signal-to-Noise Ratio， PSNR)和算法的運行時間(Runtime)兩項作為客觀標準來驗證偏移值的選取對算法性能的影響。對比了以下兩種實例：1)紋理結構和幾何結構都比較豐富的圖片(情形1),如唐卡；2)紋理結構和幾何結構單一或者圖片有較多重復結構的圖片(情形2),如天空、湖面和建筑等。結果如表1所示。

表1　不同偏移值數量下峰值信噪比和運行時間的比較Tab. 1　Comparison of PSNR and running time for different offset values

由表1數據可知:結構和紋理單一的破損圖像(情形2)對主要偏移值數量的選取不敏感；而結構和紋理較豐富的破損圖像(情形1)對主要偏移值的數量選取較敏感，即選取的偏移值數量和算法的修復質量呈線性關系，選取的偏移值越多，算法的修復質量越好，但運行時間會增加。為了發(fā)揮出改進算法的最佳性能，從算法的運行時間和峰值信噪比兩方面值綜合考慮，最終選取主要偏移值的數量為P=65作為實驗參數。

4　圖像修復效果的改進

獲得了圖像的樣本標簽集后，原算法采用最小化MRF能量函數來約束向未知像素點分配的標簽來實現(xiàn)修復破損圖像的目的。但是原算法的能量函數中的平滑項只考慮了圖像的顏色信息，沒有將圖像的結構信息的重要性考慮進去，而結構在視覺感知中作用尤為重要。在圖像修復過程中經常先修復圖像的結構部分以保持整體圖像一致性，若忽略結構信息的重要性，使用紋理先進行填充，會出現(xiàn)細節(jié)相似但整體產生偏差的情況。

綜上可知，在圖像的修復過程中，對圖像修復過程進行結構約束，以突出圖像的結構信息的重要性，可以有效提高修復算法的修復質量。數字圖像中，圖像的梯度變化能夠反映出圖像的結構信息，因此，在原平滑項公式中引入梯度因子來約束圖像的修復過程，以使改進后的平滑項公式在滿足相鄰像素塊的顏色值相似的同時也滿足梯度變化的相似性，從而有利于保持修復圖像的結構信息，提高修復算法的修復質量。本文算法采用優(yōu)化以下最小化能量函數來修復破損圖像：

(7)

如果向未知像素點分配的標簽是有效值，即以x+T為中心的像素塊處于圖像的完好區(qū)域，數據項(Ed)的值為0；其他情況下，數據項的值為+∞。

改進后的平滑項公式(Es)加入了梯度算子，使得平滑項公式在滿足用來懲罰接縫同時也滿足懲罰修復算法中結構不一致的情況。改進后的平滑項公式如下：

Es=α‖I(x+Ta)+I(x+Tb)‖2+

α‖I(x′+Ta)+I(x′+Tb)‖2+

β|▽I(x+Ta)+▽I(x+Tb)|+

β|▽I(x′+Ta)+▽I(x′+Tb)|

(8)

式中：I(x)是像素點x的RGB顏色值;Ta、Tb分別為像素點x分配的偏移值和為像素點x′分配的偏移值；I(·+Ta)、I(·+Tb)分別表示在偏移值為Ta或Tb時得到的偏移映射圖；▽I(·+Ta)、▽I(·+Tb)分別為偏移映射圖為I(·+Ta)、I(·+Tb)時的梯度值；α和β為平衡顏色信息和結構信息所占的比重。當未知像素點x和其鄰域x′被分配了不同的偏移后，出現(xiàn)接縫或者結構斷裂的情況，上述平滑項會對其進行懲罰以達到較好的修復效果。

5　實例驗證與分析

為了驗證本文算法的有效性，在配置Intel Core i5 2.5 GHz CPU和4 GB RAM的計算機上進行了實驗，實驗環(huán)境為Visual Studio 2015版本。實驗中的對比算法包括：文獻[7]中提出的相似塊統(tǒng)計算法、文獻[9]中提出的貪婪類算法、文獻[13]中提出的PatchMatch算法和本文算法。采用峰值信噪比和算法運行時間作為算法的客觀評價標準，峰值信噪比的計算公式如下：

(9)

圖5分別給出了四種算法對pumpkin圖像(512×512)的修復效果。文獻[7]中的相似塊統(tǒng)計算法在修復破損區(qū)域時在結構的交匯處(圖中圓圈標記處)出現(xiàn)了紋理延伸現(xiàn)象，使結構看起來不自然；文獻[9]中的貪婪類算法在修復破損區(qū)域時，在玻璃處紋理延伸的同時引入了誤匹配且出現(xiàn)結構斷裂；文獻[13]中的PatchMatch算法在結構處出現(xiàn)斷裂和紋理的錯誤延伸;本文算法結構處連續(xù)，紋理擴散自然，具有很好的視覺效果。

本文也對圖像的劃痕消除進行了仿真，結果如圖6所示?？梢钥闯鱿嗨茐K統(tǒng)計算法、貪婪類算法和PatchMatch算法都在Lena(283×282)眼睛處進行紋理延伸時出現(xiàn)了模糊現(xiàn)象,而本文算法雖然也出現(xiàn)了一定的模糊現(xiàn)象，但相較前者程度較輕。

本文還對紋理和結構都比較豐富的唐卡圖像(430×596)進行了仿真，結果如圖7所示。相似性統(tǒng)計算法由于平滑項中沒有考慮到結構約束，在修復時出現(xiàn)了結構斷裂，導致了紋理的錯誤延伸；貪婪類算法在填充紋理時由于本身的貪婪性會造成一定的誤匹配并產生了一定的模糊現(xiàn)象；PatchMatch算法紋理延伸時出現(xiàn)誤匹配，導致結構斷裂使得修復結果看起來不自然；本文算法修復效果較好，且沒有出現(xiàn)誤匹配現(xiàn)象和紋理延伸。

四種對比算法的峰值信噪比和算法運行時間對比如表2所示。從表2數據可以看出，本文算法不僅能更好地滿足人眼視覺效果要求，而且在客觀評價指標上優(yōu)于相關算法，而且本文算法相比PatchMatch算法具有較大的優(yōu)勢。

表2　四種修復算法的峰值信噪比和運行時間比較Tab. 2　Comparison of PSNR and running time for four kinds of inpainting algorithms

圖5　pumpkin修復效果比較Fig. 5　Inpainting effect comparison of pumpkin

圖6　Lena修復效果比較Fig. 6　Inpainting effect comparison of Lena

圖7　唐卡修復效果比較Fig. 7　Inpainting effect comparison of Thangka

6　結語

本文提出的基于先驗約束和統(tǒng)計的圖像修復算法充分利用了圖像的先驗特性來約束圖像偏移映射圖的初始化，并對傳統(tǒng)的基于SSD值的相似性評價方法進行了改進，使其能夠區(qū)分圖像塊中的結構部分和紋理部分的相似性，從而提高匹配精度；最后還利用圖像的統(tǒng)計特性來減少算法的運行時間。仿真實驗分析結果表明，相比PatchMatchs算法和其他相關算法，本文算法不僅具有較高的匹配精度而且收斂速度有所提高，取得了更好的修復效果。但是對于結構信息和紋理信息不是很豐富的圖像，本文的改進算法仍難以得到自然的修復效果。在今后的研究工作中，我們將嘗試根據圖像的結構信息和紋理信息豐富程度，使算法能自適應地調整優(yōu)化能量函數平滑項中顏色信息和結構信息所占比重的參數，以此來進一步改善算法的效率和修復效果。

參考文獻:

[1]GUILLEMOT C, LE MEUR O. Image inpainting: overview and recent advances [J]. IEEE Signal Processing Magazine, 2013, 31(1): 127-144.

[2]王猛,翟東海,聶洪玉,等.鄰域窗口權重變分的圖像修復[J].中國圖象圖形學報,2015,20(8):1000-1007. (WANG M, ZHAI D H, NIE H Y, et al. Image inpainting with weight variation of neighborhood window [J]. Journal of Image and Graphics, 2015, 20(8): 1000-1007.)

[3]BERTALMIO M, SAPIRO G, CASELLES V, et al. Image inpainting [C]// SIGGRAPH ’00: Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM, 2000: 417-424.

[4]CHAN T F, SHEN J. Mathematical models for local nontexture inpaintings [J]. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019-1043.

[5]ELAD M, STARCK J-L, QUERRE P, et al. Simultaneous cartoon and texture image inpainting using Morphological Component Analysis (MCA) [J]. Applied and Computational Harmonic Analysis, 2005, 19(3): 340-358.

[6]YU G S, SAPIRO G, MALLAT S. Solving inverse problems with piecewise linear estimators: from Gaussian mixture models to structured sparsity [J]. IEEE Transactions on Image Processing, 2012, 21(5): 2481-2499.

[7]HE K, SUN J. Image completion approaches using the statistics of similar patches [J]. IEEE Transactions on Pattern Analysis And Machine Intellignce, 2014, 36(12): 2423-2435.

[8]EFROSA A， LEUNG T K. Texture synthesis by non-parametric sampling [C]// ICCV ’99： Proceedings of the Seventh IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 1999, 2: 1033-1038.

[9]CRIMINISI A, PEREZ P, TOYAMA K, et al. Region filling and object removal by exemplar-based image inpainting [J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[10]WEXLER Y, SHECHTMAN E, IRANI M. Space-time video completion [C]// CVPR ’04： Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2004: 120-127.

[11]KOMODAKIS N. Image completion using global optimization [C]// CVPR ’06： Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2006: 442-452.

[12]PRITCH Y, KAV-VENAKI E, PELEG S. Shift-map image editing [C]// ICCV ’09: Proceedings of the IEEE 12th International Conference on Computer Vision. Piscataway, NJ: IEEE, 2009: 151-158.

[13]BARNES C. PatchMatch: a fast randomized matching algorithm with application to image and video [D]. Princeton, NJ: Princeton University, Department of Computer Science, 2011: 103-110.

[14]LI X, QIONG Y, YANG X, et al. Structure extraction from texture via relative total variation [J]. ACM Transactions on Graphics, 2012, 31(6): Article No. 139.

[15]ROTHER C, KOLMOGOROV V, ANDREW BLAKE. “GrabCut”: interactive foreground extraction using iterated graph cuts [J]. ACM Transactions on Graphics (TOG) — Proceedings of ACM SIGGRAPH 2004, 2004, 23(3): 309-314.

[16]KORMAN S, AVIDAN S. Coherency sensitive hashing [C]// ICCV ’11: Proceedings of the IEEE 2011 International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2011: 1607-1614.

[17]ZHANG J, ZHAO D, XIONG R, et al. Image restoration using joint statistical modeling in space-transform domain [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(6): 915-928.

[18]王佳君，俞強，張晶晶，等.基于先驗置信傳播的圖像修復改進算法[J].計算機應用，2016,36(4):1115-1119. (WANG J J, YU Q, ZHANG J J, et al. Improvement algorithm of image inpainting based on priority-belief propagation [J]. Journal of Computer Applications, 2016, 36(4): 1115-1119.)

[19]SIMAKOV D, CASPI Y, SHECHTMAN E, et al. Summarizing visual data using bidirectional similarity [C]// CVPR ’08： Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2008: 1-8.