改進(jìn)TV-H-1模型的圖像修復(fù)方法

何仕文，劉　琳，張永強(qiáng)，楊劍哲，石大明，程丹松

(哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，150001 哈爾濱)

?

改進(jìn)TV-H-1模型的圖像修復(fù)方法

何仕文，劉琳，張永強(qiáng)，楊劍哲，石大明，程丹松

(哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，150001 哈爾濱)

摘要:為改善現(xiàn)存圖像修復(fù)算法在修復(fù)時(shí)存在的“灰度跳變”現(xiàn)象，同時(shí)降低運(yùn)行復(fù)雜度，提出一種基于偏微分方程模型(稱為Isophote-TV-H-1模型)和改進(jìn)Criminisi算法的數(shù)字圖像修復(fù)算法.首先利用圖像分解模型(TV-H-1)獲得缺損圖像的結(jié)構(gòu)部分和紋理部分；然后用Isophote-TV-H-1模型和改進(jìn)的Criminisi算法分別對(duì)缺損圖像的結(jié)構(gòu)部分和紋理部分進(jìn)行修復(fù)；最后將修復(fù)后的結(jié)構(gòu)部分和紋理部分進(jìn)行疊加得到最終的修復(fù)結(jié)果.實(shí)驗(yàn)結(jié)果表明，本模型與TV模型相比，能夠較好地修復(fù)缺損區(qū)域中的紋理信息；與Criminisi算法相比，本模型通過(guò)對(duì)相似度度量方法的改進(jìn)，有效地抑制了圖像修復(fù)過(guò)程中的誤差傳播，并利用局部搜索(圖像局部相似性)來(lái)替代傳統(tǒng)的窮盡搜索，進(jìn)而提高算法的效率.同傳統(tǒng)的基于圖像分解的圖像復(fù)原算法以及TV模型相比，本模型能解決“灰度跳變”問(wèn)題，獲得更好的修復(fù)結(jié)果.

關(guān)鍵詞:全變分；TV-H-1；圖像分解；圖像修復(fù);Criminisi算法

圖像修復(fù)(image inpainting)是計(jì)算機(jī)圖像處理中的一個(gè)熱點(diǎn)問(wèn)題,是利用當(dāng)前圖像中已知信息對(duì)圖像中缺損部分按照某種約束實(shí)現(xiàn)“合理”填充，使圖像恢復(fù)完整.該技術(shù)主要應(yīng)用于文物保護(hù)和修復(fù)、圖像/視頻編碼及傳輸、游戲設(shè)計(jì)和電影特效制作等領(lǐng)域.圖像修復(fù)方法可以分為兩類[1]：一類是基于幾何結(jié)構(gòu)(geometry-oriented)的方法; 另一類是基于紋理合成(texture-oriented)的方法.其中基于幾何結(jié)構(gòu)的方法有文獻(xiàn)[2]提出的基于擴(kuò)散理論的BSCB模型，該方法是沿修復(fù)邊界的等照度線方向來(lái)修復(fù)信息損失區(qū)域.此外文獻(xiàn)[3-4]將圖像去噪領(lǐng)域中的TV(total variational)模型、文獻(xiàn)[5]將Navier-stokes方程也應(yīng)用到圖像修復(fù)領(lǐng)域.總體來(lái)說(shuō)，基于幾何結(jié)構(gòu)的模型是通過(guò)迭代求解偏微分方程來(lái)實(shí)現(xiàn)對(duì)圖像的修復(fù)，但是迭代求解偏微分方程時(shí)，只利用了缺損區(qū)域附近點(diǎn)的幾何結(jié)構(gòu)信息和灰度信息，具有很強(qiáng)的局部性，所以該類算法只對(duì)圖像的小區(qū)域缺損(斑點(diǎn)、刮痕、覆蓋文字等)具有較好的修復(fù)效果；同時(shí)由于該類模型對(duì)修復(fù)區(qū)域的光滑性有較強(qiáng)的約束，所以會(huì)導(dǎo)致修復(fù)區(qū)域過(guò)于光滑，進(jìn)而丟失圖像待修復(fù)區(qū)域中的紋理信息，這也局限了該類模型的應(yīng)用范圍.而基于紋理合成方法則是依據(jù)一定的準(zhǔn)則，在已知圖像區(qū)域(樣本區(qū))搜索最佳匹配像塊來(lái)填充缺損區(qū)域，其中Criminisi算法[6-7]是最成功的算法之一.Criminisi算法利用待修復(fù)點(diǎn)鄰域的幾何結(jié)構(gòu)信息來(lái)確定修復(fù)優(yōu)先級(jí)，這使得該算法除了具有基于樣本塊紋理合成技術(shù)的修復(fù)效率和質(zhì)量外，還可以保持缺損區(qū)域周圍的幾何結(jié)構(gòu).文獻(xiàn)[8-12]分別對(duì)Criminisi算法中的填充修復(fù)順序、優(yōu)先權(quán)計(jì)算、置信度更新方式等問(wèn)題進(jìn)行了改進(jìn).由于對(duì)于每一個(gè)點(diǎn)的修復(fù)都需要在整個(gè)樣本區(qū)中搜索最佳匹配像塊，所以該類方法具有很好的全局性，即Criminisi算法對(duì)圖像缺損較大的區(qū)域修復(fù)效果較好，但是由于該類算法在圖像修復(fù)過(guò)程中可能利用原本缺損區(qū)域中的填充樣本來(lái)修復(fù)缺損區(qū)域，所以會(huì)導(dǎo)致誤差傳播，降低圖像保持幾何結(jié)構(gòu)的能力.由于自然圖像中通常同時(shí)包含結(jié)構(gòu)部分(圖像中的光滑部分和邊緣)和紋理部分，所以針對(duì)圖像缺損區(qū)域修復(fù)的理想狀況是在修復(fù)圖像結(jié)構(gòu)部分的同時(shí)也能夠有效地修復(fù)區(qū)域內(nèi)的紋理部分[13].基于圖像分解的圖像修復(fù)技術(shù)[13-17]首先通過(guò)圖像分解方法將缺損圖像分解為結(jié)構(gòu)部分和紋理部分；然后利用基于偏微分方程模型的方法來(lái)修復(fù)結(jié)構(gòu)部分、利用紋理合成方法來(lái)修復(fù)圖像的紋理部分；最后通過(guò)疊加兩部分的修復(fù)結(jié)果，獲得較高質(zhì)量的修復(fù)圖像.

但是以上方法在修復(fù)時(shí)會(huì)存在“灰度跳變”和運(yùn)行復(fù)雜度高等問(wèn)題，所以本文在現(xiàn)有圖像修復(fù)技術(shù)的基礎(chǔ)上，提出了一個(gè)基于改進(jìn)TV-H-1模型的改進(jìn)圖像修復(fù)方法.該方法首先利用文獻(xiàn)[18]的圖像分解算法對(duì)缺損圖像進(jìn)行分解，獲得圖像的結(jié)構(gòu)部分和紋理部分;然后對(duì)結(jié)構(gòu)部分和紋理部分分別進(jìn)行修復(fù)：在對(duì)結(jié)構(gòu)部分進(jìn)行修復(fù)時(shí)，為了解決TV模型在修復(fù)圖像過(guò)程中會(huì)產(chǎn)生“灰度跳變”的現(xiàn)象，提出基于偏微分方程(PDEs)和等照度線方向的圖像修復(fù)方法，記為Isophotes-TV-H-1模型，對(duì)結(jié)構(gòu)部分進(jìn)行修復(fù)，同時(shí)為了解決Isophotes-TV-H-1模型計(jì)算量較大的問(wèn)題，利用快速行進(jìn)法(fast march method)對(duì)圖像缺損區(qū)域進(jìn)行預(yù)填充，從而減少迭代次數(shù)，提高Isophotes-TV- H-1模型的效率；在進(jìn)行紋理部分修復(fù)時(shí)，根據(jù)自然圖像具有很強(qiáng)局部相似性的特點(diǎn)，對(duì)Criminisi算法進(jìn)行兩方面的改進(jìn)： 1)利用局部搜索代替窮盡搜索，進(jìn)而減少搜索時(shí)間，提高算法的效率；2)對(duì)Criminisi算法中待修復(fù)目標(biāo)塊與參與匹配的樣本塊之間的相似度進(jìn)行改進(jìn)，使得尋找到的最佳匹配塊變得更加合理.通過(guò)實(shí)驗(yàn)對(duì)比可知，本文提出的模型相比于TV修復(fù)模型、Criminisi算法和基于圖像分解的圖像修復(fù)技術(shù)算法[16]具有更好的修復(fù)效果.

1本文模型

本文在對(duì)傳統(tǒng)圖像修復(fù)算法進(jìn)行分析后，提出了基于偏微分方程模型(稱為Isophote-TV-H-1模型)和改進(jìn)Criminisi算法的數(shù)字圖像修復(fù)方法.

1.1圖像分解原理

對(duì)于一幅圖形f，一般認(rèn)為圖像可以分解為

f=u+v.

式中:u∈BV(Ω)主要包含圖像f的低頻信息，即結(jié)構(gòu)部分;v∈BV(Ω)包含圖像f的高頻信息，如圖像中的紋理、振蕩、噪聲部分.針對(duì)v部分，在文獻(xiàn)[20]中定義了G空間概念，表達(dá)式為:

利用最速下降法求解該能量泛函的最優(yōu)解，假設(shè)u為能量泛函的最優(yōu)解，w∈BV(Ω),令u1=(u+εw)∈BV(Ω)，那么當(dāng)ε=0時(shí)，u1為式(1)的最優(yōu)解，對(duì)E(u1)關(guān)于ε求極值點(diǎn)，可得

(2)

對(duì)式(2)用變分原理及Green公式可變成如下的初邊值問(wèn)題:

(3)

通過(guò)Gauss-Jacobi迭代算法求解式(3)的解，可獲得圖像的結(jié)構(gòu)部分u.

1.2結(jié)構(gòu)部分修復(fù)算法

1.2.1基于快速行進(jìn)法的圖像預(yù)填充

對(duì)于結(jié)構(gòu)部分，由于結(jié)構(gòu)部分中只存在光滑區(qū)域和邊緣，所以結(jié)構(gòu)部分可以視為一個(gè)幾乎處處連續(xù)的函數(shù)，根據(jù)Taylor展開(kāi)式定理，I(y)在x點(diǎn)處的展開(kāi)式為

舍去高階項(xiàng)o(|y-x|2)即可以得到如下結(jié)果

(4)

(5)

式中W(p,q)為權(quán)重.式(5)的含義為：缺損點(diǎn)P處的初始值為其ε鄰域初始值的加權(quán)平均.為了保證缺損區(qū)域點(diǎn)的初始值按照由邊界向內(nèi)部逐漸延伸順序，本文借鑒求解水平集函數(shù)的快速行進(jìn)法[21](fast march method).本文算法與文獻(xiàn)[21]方法的不同之處:1)文獻(xiàn)[21]的更新算法并不能完全保證修復(fù)順序是由邊界向內(nèi)部延伸;2)本文算法和文獻(xiàn)[21]的缺損值估計(jì)方法也不相同，在本文中權(quán)重W(p,q)主要考慮ε鄰域內(nèi)已知點(diǎn)q處的T(q)的大小，即T(q)越大越接近缺損區(qū)域，其權(quán)重越大，反之權(quán)重越小，它的表達(dá)式如

基于以上不同，本文對(duì)T的更新方法進(jìn)行了修改，修改后的表達(dá)式如

式中:qw、qs、qe、qn分別為q的四鄰域點(diǎn),solve(·,·)用于確定q點(diǎn)處T的可能更新值.

1.2.2基于改進(jìn)TV-H-1模型的圖像修復(fù)

分析TV模型對(duì)應(yīng)PDE的數(shù)值差分格式，對(duì)于缺損區(qū)域中的點(diǎn)(i,j)，其值的更新是鄰域4個(gè)點(diǎn)p∈{(i+1,j),(i-1,j),(i,j+1),(i,j-1)}值的加權(quán)組合，并且相對(duì)應(yīng)的權(quán)值wp分別為

即數(shù)值同梯度值呈反比，而TV-H-1模型對(duì)于缺損區(qū)域待修復(fù)點(diǎn)(i,j)，其值的更新是由其鄰域12個(gè)點(diǎn)值的加權(quán)組合，通過(guò)分析可知：由于TV模型只利用其鄰域4個(gè)點(diǎn)更新中心點(diǎn)信息，而TV-H-1模型利用其鄰域12個(gè)點(diǎn)的信息來(lái)更新中心點(diǎn)，所以TV-H-1模型的修復(fù)結(jié)果在缺損區(qū)域的邊界具有更好的連接性，從而緩解了“灰度跳變”現(xiàn)象.對(duì)于圖像的已知區(qū)域，本文希望能夠盡量保持不變，但是無(wú)論是TV模型還是TV-H-1模型，由于每個(gè)點(diǎn)的值都會(huì)用周圍鄰域點(diǎn)來(lái)進(jìn)行加權(quán)更新，所以會(huì)使圖像變得模糊.因此本文對(duì)TV-H-1模型進(jìn)行改進(jìn)，改進(jìn)后的表達(dá)式為

(6)

根據(jù)文獻(xiàn)[3]可以得到式(6)的不動(dòng)點(diǎn)迭代 (fixed-point iteration)離散差分格式為

把它改寫(xiě)為Gauss-Jacobi迭代形式后的表達(dá)式如

(7)

當(dāng)λ=0時(shí)，表達(dá)式(7)為式(6)的Gauss-Jacobi迭代格式.

盡管該改進(jìn)模型能夠在解決“灰度跳變”問(wèn)題的同時(shí)保持已知信息，但是該模型中的加權(quán)權(quán)重只與梯度信息相關(guān)，并沒(méi)有利用等照度線(isophote)的方向信息，所以為了更有效地傳播信息，并模擬人工修復(fù)圖像的工作機(jī)制，本文將向量Ip與等照度線方向的夾角考慮到結(jié)構(gòu)修復(fù)模型，從而使信息沿著等照度線方向傳播.修改權(quán)重后的表達(dá)式如

(8)

綜上所述，本文提出的Isophote-TV-H-1模型具有以下優(yōu)點(diǎn)：1)相比于TV模型，利用更多鄰域點(diǎn)信息，解決了“灰度跳變”問(wèn)題；2)能夠保持已知區(qū)域信息；3)引入等照度線方向信息，模擬人工修復(fù)的工作機(jī)理，提高信息的傳播效率.同時(shí)針對(duì)Isophote-TV-H-1模型計(jì)算量大的問(wèn)題，本文在對(duì)結(jié)構(gòu)部分進(jìn)行直接修復(fù)之前，利用改進(jìn)的快速行進(jìn)法對(duì)缺損區(qū)域值進(jìn)行預(yù)估，這樣可以明顯減少式(8)的迭代次數(shù).

1.3紋理部分修復(fù)算法

1.3.1圖像局部相似性

首先利用統(tǒng)計(jì)的方法，對(duì)Berkeley大學(xué)圖像數(shù)據(jù)庫(kù)BSDS300中圖像的局部相似性進(jìn)行分析，具體過(guò)程如下：

1)確定塊的大小(2pSize+1)×(2pSize+1)，在本文實(shí)驗(yàn)中pSize = 10;

2)在每幅圖像中隨機(jī)選擇塊的中心坐標(biāo)，記為(x0,y0)，確定大小為(2pSize+1)×(2pSize+1)的塊patch;

3)對(duì)每一幅原圖像、結(jié)構(gòu)圖像及紋理圖像，取所有可能的大小為(2pSize+1)×(2pSize+1)的圖像塊Mpatch，Mpatch的中心坐標(biāo)的距離為(x,y)，計(jì)算塊patch和Mpatch塊的Manhattan距離，并計(jì)算兩個(gè)塊中心坐標(biāo)的Euclidean距離Dis;

4)計(jì)算各中心距離為Dis的塊patch和Mpatch的平均距離.

利用上述統(tǒng)計(jì)方法，本文統(tǒng)計(jì)原圖像、結(jié)構(gòu)圖像及紋理圖像的中心距離-圖像塊平均距離的關(guān)系如圖1所示，對(duì)圖1進(jìn)行分析可以得到如下結(jié)論：1) 原圖像、結(jié)構(gòu)圖像和紋理圖像的中心距離在0~150時(shí)，塊間平均距離較??；當(dāng)超過(guò)該距離之后，塊間平均距離逐漸增大，這說(shuō)明自然圖像具有很強(qiáng)的局部相似性；2) 當(dāng)3類圖像在中心點(diǎn)間距為300~400之間時(shí)，塊間平均距離有下降的趨勢(shì)，這說(shuō)明自然圖像不僅具有局部相似性，同時(shí)也具有全局冗余，即相似塊分布在整幅圖像中.對(duì)于這兩個(gè)結(jié)果的可能解釋是：在獲取的自然圖像中，存在很多面積較大的物體，同時(shí)在同一場(chǎng)景中可能存在多個(gè)相似物體，并且每個(gè)物體間相隔一段距離.

圖1　中心距離-圖像塊平均距離

1.3.2基于局部搜索的Criminisi算法

通過(guò)對(duì)統(tǒng)計(jì)原圖像、結(jié)構(gòu)圖像及紋理圖像的中心距離-圖像塊平均距離的關(guān)系的分析，本文獲得圖像具有局部相似性的結(jié)論，因此對(duì)Criminisi算法中的搜索策略進(jìn)行改進(jìn)，利用紋理圖像的局部相似性，在搜索最佳匹配塊時(shí)，利用局部搜索方法替代全局搜索，在保證修復(fù)效果的前提下提高Criminisi算法的效率.在本文實(shí)驗(yàn)中，只在距離缺損區(qū)域邊界為B(B=30)范圍內(nèi)進(jìn)行最佳匹配塊的搜索.此外，由于馬爾可夫隨機(jī)場(chǎng)模型是紋理圖像的一種客觀認(rèn)識(shí)，它體現(xiàn)了紋理的局部性和穩(wěn)定性，即一個(gè)像素點(diǎn)或像素塊的亮度都可以由它們的鄰域像素唯一確定，而與圖像的其他部分無(wú)關(guān)[12].針對(duì)Criminisi算法中，每個(gè)已知點(diǎn)對(duì)相似度的貢獻(xiàn)率都是完全相同的情況，本文把其改為與距離相關(guān)的加權(quán)相似度貢獻(xiàn)方式，其相似度定義為

式中：dist(xp,p)表示點(diǎn)xp距離中心點(diǎn)p的距離，在本文中距離度量使用Manhattan距離；xp∈(ψp∩Φ)表示xp為ψp中的已知點(diǎn).相比于Criminisi算法中的相似度，在本文定義的相似度計(jì)算中，特征點(diǎn)距離中心點(diǎn)p越近，對(duì)相似度的影響越大，否則會(huì)變得越小.

2實(shí)驗(yàn)結(jié)果

本文分別對(duì)Lena、 Barbara等圖像進(jìn)行圖像修復(fù)實(shí)驗(yàn)，并將實(shí)驗(yàn)結(jié)果與TV修復(fù)模型、Criminisi算法和文獻(xiàn)[16]算法的修復(fù)結(jié)果進(jìn)行對(duì)比.實(shí)驗(yàn)結(jié)果分別如圖2，3所示，在圖2中，待修復(fù)圖像(Lena)包含光滑區(qū)域，同時(shí)也包含豐富的紋理，并且缺損區(qū)域1,4位于光滑區(qū)域，缺損區(qū)域2,3位于紋理區(qū)域.觀察缺損區(qū)域2,3的修復(fù)結(jié)果，TV模型的修復(fù)結(jié)果過(guò)于光滑，丟失了紋理信息，而Criminisi算法、文獻(xiàn)[16]和本文模型較好地修復(fù)了缺損區(qū)域中的紋理；但是文獻(xiàn)[16]的修復(fù)結(jié)果在缺損區(qū)域和已知區(qū)域的邊界存在比較明顯的“灰度跳變”現(xiàn)象，如區(qū)域2，同樣的現(xiàn)象也出現(xiàn)在缺損區(qū)域1.Criminisi算法在區(qū)域2和4的修復(fù)結(jié)果上，由于誤差放大，修復(fù)區(qū)域結(jié)果也并不理想，而本文方法則取得了較好的處理結(jié)果.對(duì)圖3中結(jié)果進(jìn)行分析可得，TV模型對(duì)于缺損區(qū)域的邊緣修復(fù)效果較差；而Criminisi算法、文獻(xiàn)[16]算法、本文模型對(duì)缺損區(qū)域內(nèi)的邊緣有更好的修復(fù)效果；然而本文模型相比于文獻(xiàn)[16]的算法，對(duì)缺損區(qū)域內(nèi)的邊緣有更強(qiáng)的修復(fù)能力；與Criminisi算法相比，盡管Criminisi算法能夠較好地修復(fù)缺損區(qū)域中的邊緣和紋理，但是由于誤差的傳播，該算法在修復(fù)缺損區(qū)域過(guò)程中會(huì)引入“新”的邊緣；而本文模型則能夠較好地控制誤差傳播，獲得較好的修復(fù)結(jié)果.觀察其他圖像的處理結(jié)果也可以得到同圖2，3所示類似的結(jié)論.

圖2　Lena對(duì)比試驗(yàn)

為了精確地評(píng)價(jià)各模型的修復(fù)效果，本文分別計(jì)算每幅圖像修復(fù)后的信噪比(signal noise ratio, SNR)和峰值信噪比(peak signal noise ratio,PSNR)，SNR和PSNR的定義為

式中：M、N分別為圖像的行數(shù)和列數(shù)；u0、u分別為修復(fù)前、后的圖像.SNR和PSNR的比較結(jié)果見(jiàn)表1, 2.從表1, 2中可以看出本文模型具有最高的SNR和PSNR.表3為T(mén)V模型、Criminisi算法、文獻(xiàn)[16]算法和本文模型修復(fù)圖像所用時(shí)間的比較，從表3中可以看出本文的Isophotes-TV-H-1模型在修復(fù)紋理圖像方面比Criminisi算法更有效率，平均能提高40%，同時(shí)本文模型在處理結(jié)構(gòu)圖像方面也具有較高的修復(fù)效率.

圖3　Barbara對(duì)比試驗(yàn)

表1TV模型、Criminisi算法、文獻(xiàn)[16]、本文模型SNR對(duì)比結(jié)果

圖像TVCriminisi文獻(xiàn)[16]本文模型Lena52.602949.751051.849854.4841Wall15.942021.728716.768323.4339Baboon31.649324.825531.373932.3833Barbara48.846835.278445.856149.2610Building37.677141.887339.976342.7213Monkey27.125822.951927.026327.2088

表2TV模型、Criminisi算法、文獻(xiàn)[16]、本文模型PSNR對(duì)比結(jié)果

圖像TVCriminisi文獻(xiàn)[16]本文模型Lena42.894541.660042.569343.7127Wall24.768027.280525.125928.0349Baboon32.766629.931632.649833.2193Barbara37.354633.454837.536438.0575Building36.389038.213937.388538.5802Monkey33.303932.048733.248633.4614

表3　TV模型、Criminisi算法、文獻(xiàn)[16]、本文模型修復(fù)時(shí)間的對(duì)比結(jié)果

注：cpu處理時(shí)間為s.

3結(jié)論

1)通過(guò)實(shí)驗(yàn)對(duì)比可知，與TV模型相比，本文模型能夠較好地修復(fù)紋理缺損區(qū)域中的紋理；與Criminisi算法相比，本文模型通過(guò)對(duì)相似度度量方法進(jìn)行改進(jìn)，能夠有效抑制圖像修復(fù)過(guò)程中的誤差放大，同時(shí)利用局部搜索策略替代Criminisi算法中的窮盡搜索，進(jìn)而提高算法的處理效率.

2)通過(guò)同文獻(xiàn)[16]算法和TV模型的實(shí)驗(yàn)對(duì)比，可以看出本文方法能夠緩解上述算法處理時(shí)出現(xiàn)的“灰度跳變”問(wèn)題，并取得較好的修復(fù)結(jié)果.

參考文獻(xiàn)

[1] ARIAS P, FACCIOLO G, CASELLES V, et al. A variational framework for exemplar-based image inpainting[J]. International Journal of Computer Vision, 2011, 93(3): 319-347.

[2] BERTALMIO M, SAPIRO G, CASELLES V, et al. Image inpainting[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press/Addison-Wesley Publishing Co., 2000: 417-424.

[3] SHEN Jianhong, CHAN T F. Mathematical models for local non-textureinpaintings[J]. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019-1043.

[4] RUDIN L I, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Physica D: Nonlinear Phenomena, 1992, 60(1/2/3/4): 259-268.

[5] BERTALMIO M, BERTOZZI A L, SAPIRO G. Navier-stokes, fluid dynamics, and image and video inpainting[C]// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2001, 1(1): 355-362.

[6] CRIMINISI A, PEREZ P, TOYAMA K. Object removal by exemplar-based inpainting[C]// Proceedings 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2003, 2(2): 721-728.

[7] CRIMINISI A, PéREZ P, TOYAMA K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[8] SUN Jian，YUAN Lu，JIA Jiaya，et al. Image completion withstructure propagation[J]. ACM Transactions on Graphics，2005，24(3)：861-868.

[9] 翟東海,肖杰,魚(yú)江,等. 基于自適應(yīng)模板的圖像修復(fù)算法[J]. 計(jì)算機(jī)應(yīng)用,2013,33(10):2891-2894.

[10]王梅,趙彩,郭勇. 基于重構(gòu)樣本區(qū)域的數(shù)字圖像修復(fù)算法研究[J]. 軟件導(dǎo)刊,2014,13(2):71-73.

[11]張巧煥,唐向宏,任澍. 區(qū)域自適應(yīng)的圖像修復(fù)算法[J]. 計(jì)算機(jī)工程與應(yīng)用,2013,49(21):160-163,171.

[12]張申華,王克剛,祝軒. 局部特征信息約束的改進(jìn)Criminisi算法[J]. 計(jì)算機(jī)工程與應(yīng)用,2014,50(8):127-130.

[13]賈淵，劉鵬程，牛四杰. 偏微分方程圖像處理及程序設(shè)計(jì)[M]. 北京：科學(xué)出版社，2012：160-176.

[14]STARCK J L, ELAD M, DONOHO D L. Image decomposition via the combination of sparse representations and a variational approach[J]. IEEE Transactions on Image Processing, 2005, 14(10): 1570-1582.

[15]沈民奮，陳家亮，代龍泉,等. 基于圖像分解和圖像分割的數(shù)字圖像修復(fù)[J]. 電子測(cè)量與儀器學(xué)報(bào)，2009,23(9)：11-17.

[16]林云莉，趙俊紅，朱雪峰,等. 基于圖像分解的圖像復(fù)原技術(shù)[J]. 計(jì)算機(jī)工程，2010,36(10)：187-192.

[17]王阿川,侯暢,宋宏光,等. 基于圖像分解的單板節(jié)子缺陷圖像修補(bǔ)方法研究[J]. 林業(yè)機(jī)械與木工設(shè)備,2013,41(8):50-54.

[18]OSHER S, SOLé A, VESE L. Image decomposition and restoration using total variation minimization and the H-1norm[J]. Multiscale Modeling & Simulation, 2003, 1(3): 349-370.

[19]MEYER Y. Oscillating patterns in image processing and nonlinear evolution equations: the fifteenth Dean Jacqueline B. Lewis memorial lectures[M]. New York: American Mathematical Society, 2001.

[20]VESE L A, OSHER S J. Modeling textures with total variation minimization and oscillating patterns in image processing[J]. Journal of Scientific Computing, 2003, 19(1): 553-572.

[21]TELEA A. An image inpainting technique based on the fast marching method[J]. Journal of Graphics Tools, 2004,9(1): 23-24.

[22]徐晨，李敏，張維強(qiáng)，等. 后小波與變分理論及其在圖像修復(fù)中的應(yīng)用[M]. 北京：科學(xué)出版社，2013:183-184.

[23]CHAN T F, SHEN Jianhong. Non-textureinpainting by curvature-driven diffusions[J]. Journal of Visual Communication and Image Representation, 2001, 12(4): 436-449.

(編輯張紅)

An improved image inpainting method based on TV-H-1model

HE Shiwen, LIU Lin, ZHANG Yongqiang, YANG Jianzhe, SHI Daming, CHENG Dansong

(School of Computer Science and Technology, Harbin Institute of Technology, 150001 Harbin, China)

Abstract:Intensity discontinuity and high computational complexity are drawbacks in some existing methods of image inpainting. To tackle these problems, a method based on PDE model(Isophote-TV-H-1model) and improved Criminisi algorithm is proposed in this paper. Firstly, the damaged image is decomposed into cartoon and texture with the TV-H-1model. Secondly, the Isophote-TV-H-1model and the improved Criminisi algorithm are used to recover the cartoon and texture of the damaged image, respectively. Finally the recovered texture is superimposed on the recovered cartoon to get the result image. The experimental results demonstrate that the proposed model recovers the texture of the damaged region better than the TV model. Comparing with Criminisi algorithm, the proposed model suppresses the error propagation through improving the similarity measurement method, as well as improves the efficiency by employing the local search.

Keywords:total variation; TV-H-1; image decomposition; image inpainting; criminisi algorithm

中圖分類號(hào):TP391

文獻(xiàn)標(biāo)志碼:A

文章編號(hào):0367-6234(2016)02-0167-06

通信作者:程丹松, cdsinhit@hit.edu.cn.

作者簡(jiǎn)介:何仕文(1989—)，男，碩士研究生；石大明(1971—)，男，教授，博士生導(dǎo)師.

基金項(xiàng)目:國(guó)家自然科學(xué)基金 (61440025，61402133); 國(guó)家博士后科學(xué)基金(20100480998); 國(guó)防科工局重大專項(xiàng)(公開(kāi))(50-Y20A08-0508-15/16); 哈爾濱市科技創(chuàng)新人才專項(xiàng)資金 (2013RFQXJ110).

收稿日期:2014-09-23.

doi：10.11918/j.issn.0367-6234.2016.02.029