一種結(jié)合全局一致性與局部連續(xù)性的壁畫修復(fù)方法

王歡 李利 李慶 鄧筠鈺 商惠敏

摘要：提出了一種全局一致性和局部連續(xù)性結(jié)合的壁畫修復(fù)算法.主要利用線性系統(tǒng)和圖像修復(fù)間所蘊(yùn)含的關(guān)系，構(gòu)建具有全局過完備特性的相似塊集合字典，同時(shí)構(gòu)造彈性網(wǎng)正則化下的稀疏修復(fù)模型，并用同倫-最小角回歸法求解出過完備字典下的稀疏系數(shù)；通過字典與系數(shù)的線性組合，得到待修復(fù)區(qū)域的全局特征；之后提出一種基于領(lǐng)域相似特性的局部特征估計(jì)方法，得到待修復(fù)區(qū)域的局部特征；最后對上述得到的全局和局部特征信息做線性加權(quán)，完成整個待修復(fù)區(qū)域的填充.實(shí)驗(yàn)結(jié)果表明，本算法能很好地解決相關(guān)修復(fù)算法在修復(fù)時(shí)所出現(xiàn)的紋理錯誤填充、結(jié)構(gòu)不連續(xù)以及“塊效應(yīng)”等現(xiàn)象，并且得到較好的修復(fù)結(jié)果.

關(guān)鍵詞：線性系統(tǒng)；敦煌壁畫；稀疏表示；圖像修復(fù)

中圖分類號：TN911.73文獻(xiàn)標(biāo)志碼：A

A Global Uniform and Local Continuity Repair Method for Murals Inpainting

WANG Huan1，LI Li1，LI Qing2，Deng Junyu3，SHANG Huiming1

（1. Industrial Technology Research Center，Guangdong Institute of Scientific & Technical Information，Guangzhou 510033，China；2. College of Civil and Transportation Engineering，Shenzhen University，Shenzhen 518061，China；3. School of Automation Science and Engineering，South China University of Technology，Guangzhou 510641，China）

Abstract：This paper proposes a global uniform and local continuity repair method for mural image inpainting. It uses the relationship between linear system and image repair to construct the similarity-preserving overcomplete dictionary with global weighted feature. Meanwhile，a novel sparse repair model with elastic net regularization based on similarity-preserving overcomplete dictionary is formulated to enhance the global feature consistency，and then an estimated method of neighborhood similarity is presented to guarantee local feature consistency，finally，a global feature patch and local feature patch weighted method are applied to obtain the target patch. Experimental results on damaged murals demonstrate the proposed method outperforms state-of-the-art inpainting methods.

Key words：linear systems；dunhuang murals；sparse representation；image inpainting

古代壁畫有著極其珍貴的藝術(shù)和歷史研究價(jià)值，是集建筑、彩塑于一體的綜合藝術(shù)，其中以甘肅敦煌莫高窟的壁畫最為出名.但由于飽受環(huán)境因素、重大自然災(zāi)害以及人為破壞等威脅，這個人類藝術(shù)寶庫已變得異常脆弱.傳統(tǒng)壁畫修復(fù)工作主要是由有經(jīng)驗(yàn)的專家或畫家以手工臨摹的方式進(jìn)行.這種方式不僅和修復(fù)人員的經(jīng)驗(yàn)直接相關(guān)而且效率低下，更重要的是這種修復(fù)方式有較大概率出現(xiàn)由于主觀上對內(nèi)容的錯誤理解而形成的錯誤復(fù)原，會給壁畫文物帶來不可磨滅的損失.而數(shù)字化壁畫修復(fù)工作既可以將壁畫文物永久保存，又可以通過計(jì)算機(jī)對壁畫進(jìn)行數(shù)字化修復(fù)，從而將壁畫的真實(shí)面貌通過虛擬展示技術(shù)呈現(xiàn)在人們面前.

圖像修復(fù)概念最早由Bertalmio［1］在2004年提出，目前已成為圖像處理中的熱門主題之一.近年來，圖像修復(fù)發(fā)展迅速，目前主要分為傳統(tǒng)修復(fù)方法和基于深度學(xué)習(xí)方法兩大類.其中，傳統(tǒng)修復(fù)方法分為幾何學(xué)法和基于圖像塊法，基于深度學(xué)習(xí)方法則包括自編碼方法和生成模型法.具體分類方法詳見圖1.

傳統(tǒng)修復(fù)方法的幾何學(xué)法[2-4]包括：偏微分方程或變分[2]的各向異性擴(kuò)散，曲率[3]、相干性傳播[4]的全變分[5]最小化，以及圖像統(tǒng)計(jì)學(xué)方程的最小化⑹等.這些方法通過在參數(shù)模型或偏微分方程中引入的圖像光滑先驗(yàn)信息，擴(kuò)散已知部分到缺失部分的圖像局部結(jié)構(gòu)信息.該類方法優(yōu)點(diǎn)在于適合完成直線、曲線和小區(qū)域的修復(fù)，但在重建大面積紋理和平坦區(qū)域時(shí)，會出現(xiàn)邊緣模糊.

圖像塊法源于1999年Efros[7]和Zontak[8]的開創(chuàng)性工作，提出圖像中已知部分可通過采樣、復(fù)制將圖像塊粘貼在缺失部分里.該類方法可分為：樣例法、混合法、能量方程法和稀疏表示法.樣例法最早由Bornard[9]、Drori[10]和Criminisi[11]三位學(xué)者在2000年左右提出，這三種獨(dú)立算法奠定了樣例法的理論基礎(chǔ).之后，更多改進(jìn)樣例算法被提出[12-17]，主要針對置信因子項(xiàng)[12-14]，數(shù)據(jù)項(xiàng)[15]，優(yōu)先權(quán)函數(shù)[16]以及搜索空間[17]等方面的優(yōu)化.

混合法[18-20]將幾何法和樣例法相結(jié)合，將有界變差-G范（Bounded Variational-G norm，BV-G）模型[18]運(yùn)用到圖像修復(fù)[19]；Chen[20]提出結(jié)構(gòu)指導(dǎo)下的多尺度全局優(yōu)化修復(fù)算法.首先將缺失部位的顯著性結(jié)構(gòu)檢測出來，之后通過羊角曲線和置信傳播將缺失的結(jié)構(gòu)曲線補(bǔ)全.但該類方法存在若缺失部位中包含有少量或大量紋理信息時(shí)，很難從圖像中較好的分離出紋理和結(jié)構(gòu)信息的問題.

能量方程法[21-33]則通過求解全局能量方程來修復(fù)圖像，Wexler[21]提出了一種基于像素合成的圖像塊加權(quán)平均算法，通過最大期望法優(yōu)化所提出的模型，將缺失部分修復(fù)完整.Komodakis[22]將圖像補(bǔ)全作為基于置信傳播的離散全局最優(yōu)化問題，而Darabi[23]提出了文獻(xiàn)的改進(jìn)型算法.

稀疏表示法[24-28]率先由Elad[24]提出，指出稀疏表示模型能自適應(yīng)的選擇最優(yōu)基，從而估計(jì)出目標(biāo)圖像.Xu[25]提出一種基于稀疏表示框架下的圖像塊擴(kuò)散修復(fù)算法.Wang[26]提出一種線描圖指導(dǎo)下基于稀疏表示的敦煌壁畫修復(fù)模型，修復(fù)結(jié)果較好. Zhuang[27]提出了一種快速超光譜的低秩稀疏去噪和修復(fù)模型.

圖像塊法在面對大片紋理和邊緣缺失的圖像具有較好的修復(fù)效果.但該類方法存在如果缺失區(qū)域所需的信息不能在圖像已知區(qū)域中找到，則通常無法得到令人滿意的修復(fù)結(jié)果的問題.

近年來，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，越來越多的基于深度學(xué)習(xí)的圖像修復(fù)方法被研究學(xué)者提出.目前，主要可以分為自編碼方法和生成模型法[28].其中，自編碼方法以網(wǎng)絡(luò)結(jié)構(gòu)為基本架構(gòu)，該類方法也是基于深度學(xué)習(xí)主流的修復(fù)方法.根據(jù)優(yōu)化角度不同，自編碼方法包括網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)結(jié)構(gòu)、注意力機(jī)制法以及結(jié)構(gòu)信息約束等.

網(wǎng)絡(luò)優(yōu)化法[29-32]起初由Pathak[29]提出，作者構(gòu)建了一種Context Encoder網(wǎng)絡(luò)，通過引入重構(gòu)損失函數(shù)和對抗損失函數(shù)來預(yù)測圖像中缺失區(qū)域，但存在邊界模糊的問題.Liu等[30]針對不規(guī)則缺損區(qū)域，通過設(shè)定的掩膜更新機(jī)制，提出了一種基于部分卷積的修復(fù)模型.針對不規(guī)律的缺損區(qū)域形狀，Wang等[32]提出了一種兩階段視覺一致網(wǎng)絡(luò)（visual consistency network，VCN），該方法解決了后處理中出現(xiàn)的模糊問題，提高了模型的泛化能力.

網(wǎng)絡(luò)結(jié)構(gòu)法由Ulyanov[33]提出，作者構(gòu)建了一種全新的修復(fù)框架，對單張破損圖像的未破損內(nèi)容進(jìn)行訓(xùn)練，將網(wǎng)絡(luò)結(jié)構(gòu)本身作為唯一的先驗(yàn)信息，不斷迭代并反推出圖像缺失區(qū)域的內(nèi)容.該方法適合無法得到大量訓(xùn)練集，但單張圖像的修復(fù)次數(shù)會增加數(shù)千次的情形.

注意力機(jī)制法[34-37]結(jié)合了傳統(tǒng)修復(fù)中的塊匹配思想.Yang等[34]利用Context Encoder作為全局預(yù)測網(wǎng)絡(luò)，通過預(yù)訓(xùn)練好的網(wǎng)絡(luò)提取圖像特征，最后完成紋理細(xì)節(jié)的填充.該方法對紋理具有較好的修復(fù)結(jié)果.Yi等[37]針對超高分辨率圖像，提出了一種上下文殘差聚合機(jī)制，該方法取得了較好效果，但該類方法存在輸入、輸出均是低分辨率圖像的問題.綜上，注意力機(jī)制法大多基于兩階段修復(fù)架構(gòu)（低分辨率—高分辨率），且低分辨率結(jié)果對最終的修復(fù)效果的影響較大.

結(jié)構(gòu)信息約束[38-40]類似混合法中的結(jié)構(gòu)預(yù)測法.最初，Song等[38]將分割后得到的語義標(biāo)簽作為結(jié)構(gòu)信息來指導(dǎo)缺失區(qū)域中的結(jié)構(gòu)修復(fù).但對具有相似語義標(biāo)簽但紋理不同的區(qū)域進(jìn)行修復(fù)時(shí)，會出現(xiàn)修復(fù)錯誤.Yang等[40]引入了一個結(jié)構(gòu)嵌入層，該模型可以同時(shí)修復(fù)圖像內(nèi)容和結(jié)構(gòu)，還引入了注意力機(jī)制，有效提升了圖像紋理細(xì)節(jié)的合成效果.

生成模型法[42-44]是指通過訓(xùn)練好的強(qiáng)大的生成模型，并利用已知先驗(yàn)分布修復(fù)破損區(qū)域.目前，比較有代表性的模型包括DGM[42]、PICNet[43]、UCTGAN[44]等.其中，Zheng等[42]提出了一種包含重構(gòu)網(wǎng)絡(luò)和生成網(wǎng)絡(luò)并行的圖像修復(fù)模型.其中，重構(gòu)網(wǎng)絡(luò)挖掘出圖像數(shù)據(jù)的先驗(yàn)分布；生成網(wǎng)絡(luò)預(yù)測缺失區(qū)域的潛在先驗(yàn)分布，同時(shí)結(jié)合重構(gòu)網(wǎng)絡(luò)生成較好的修復(fù)結(jié)果.但該類方法只適合處理低分辨率圖像.

1提出的方法

為更好解決上述問題，本文提出了一種全局一致性與局部連續(xù)性相結(jié)合的壁畫修復(fù)方法.首先針對破損的敦煌壁畫，根據(jù)對應(yīng)的線描圖［圖2（a）］及專家指導(dǎo)［圖2（b）］，利用人機(jī)交互的方式將破損圖像中破損區(qū)域缺失的結(jié)構(gòu)信息補(bǔ)全；之后通過線性系統(tǒng)和圖像修復(fù)之間所存在的內(nèi)在關(guān)系，建立彈性網(wǎng)正則化下的稀疏修復(fù)模型；為了使填充區(qū)域滿足局部連續(xù)性，提出了一種領(lǐng)域相似估計(jì)方法，最后，將上述得到的待修復(fù)區(qū)域的全局信息和局部信息做線性加權(quán)，實(shí)現(xiàn)待修復(fù)區(qū)域的填充.

首先給出本文算法的流程圖，如圖3所示，再詳細(xì)闡述算法步驟，具體見算法1.

算法1為結(jié)合全局一致性與局部連續(xù)性的壁畫修復(fù)方法.

Procedure壁畫修復(fù)

輸入I：輔助結(jié)構(gòu)信息的待修復(fù)壁畫，Ω：破損區(qū)域

輸出I：修復(fù)結(jié)果

初始值λ=1，λ=2，ε=5，N=100

end procedure

步驟1：在破損壁畫圖像（圖1）的待修復(fù)區(qū)域中填入綠色掩模，再利用對應(yīng)的手工線描圖，通過人機(jī)交互的方式在掩模處的待修復(fù)區(qū)域中填入相應(yīng)的結(jié)構(gòu)信息，最后得到帶有輔助結(jié)構(gòu)信息的待修復(fù)敦煌壁畫［10］；

步驟2：將步驟1得到的帶有結(jié)構(gòu)信息的壁畫圖像I中破損區(qū)域記為待修復(fù)區(qū)域Ω，其中待修復(fù)區(qū)域邊界?Ω并對置信因子項(xiàng)C進(jìn)行初始化C（s）=0，s∈Ω；

合分成結(jié)構(gòu)塊集合S和紋理塊集合T；

步驟5：在待候選塊集合中取出前n個最相似的待候選塊構(gòu)建全局過完備字典D∈R，通過得到的Ψ和字典D，構(gòu)造彈性網(wǎng)正則化下基于稀疏表示理論的壁畫修復(fù)模型，之后利用同倫-最小角回歸算法求解得到模型中字典系數(shù)α；

步驟6：利用提出的基于領(lǐng)域相似特性的局部塊的估計(jì)方法，估計(jì)出待修復(fù)紋理塊Ψ的局部特征信息Ψ；

步驟8：更新C（s）、?Q、結(jié)構(gòu)塊集合S和紋理塊集合T，重復(fù)步驟2～7，直到所有的紋理塊修復(fù)完畢；

步驟11：更新待修復(fù)區(qū)域邊界?Q，結(jié)構(gòu)塊集合S以及邊界點(diǎn)s∈Ψ∩Ω的置信因子項(xiàng)C（s）=C（m），之后跳轉(zhuǎn)到步驟2、步驟9至步驟10，直到所有的結(jié)構(gòu)塊都修復(fù)完畢，即結(jié)構(gòu)塊集合S為空的情況下，結(jié)束整個修復(fù)過程，得到最終修復(fù)結(jié)果.

1.1全局特征信息

被填充區(qū)域需滿足全局一致性與局部連續(xù)性，其中全局一致性是指被填充區(qū)域需和整幅圖像中的顏色和紋理特征保持一致，否則會使修復(fù)結(jié)果變得不自然；而局部連續(xù)性則表示已修復(fù)區(qū)域需和鄰域部分在顏色和紋理上滿足一定連續(xù)性，否則會出現(xiàn)“塊效應(yīng)”.

由此可知，被修復(fù)區(qū)域的信息需由全局特征和局部特征組成，即待修復(fù)塊Ψ∈R分別由具有全局特征信息的Ψ∈R和具有局部特征信息的Ψ∈R所組成.

1.1.1稀疏修復(fù)模型原理

如修復(fù)原理示意圖4（a）所示，Ψ為全局特征塊（下文統(tǒng)稱為全局塊），D∈R為相似塊集合的過完備字典，Ψ可以由下式估計(jì)：

1.1.2不同范數(shù)約束下的修復(fù)模型

通過上式所闡述的原理，我們基于稀疏表示建立一個彈性網(wǎng)正則化[44]下的修復(fù)模型：

2）“Ridge修復(fù)模型”：令λ=0，λ>0，

這里，λ>0和λ>0分別為模型參數(shù).彈性網(wǎng)正則化的優(yōu)點(diǎn)在于既有l(wèi)范數(shù)正則化項(xiàng)（Lasso）又有l(wèi)范數(shù)正則化項(xiàng)（Ridge）.

根據(jù)公式（3）所建立的基于彈性網(wǎng)正則化的稀疏表示修復(fù)模型可知，隨著λ和λ取值的不同可變?yōu)槿N不同約束下的稀疏模型.當(dāng)λ=0時(shí)，公式（3）退化成只有l(wèi)范數(shù)正則化項(xiàng)的“Lasso模型”；而當(dāng)λ=0時(shí)，則退化成帶有l(wèi)范數(shù)正則化項(xiàng)的Ridge模型；只有當(dāng)λ、λ≠0時(shí)，公式（3）才是彈性網(wǎng)模型. 下面將通過理論分析三種不同修復(fù)模型的優(yōu)缺點(diǎn).

1）“Lasso修復(fù)模型”：令λ>0，λ=0，

M由于l正則化可以較容易地獲得稀疏解，因此本文采用了彈性網(wǎng)正則化下的稀疏表示修復(fù)模型，實(shí)驗(yàn)部分將會重點(diǎn)討論并分析不同范數(shù)約束條件下的修復(fù)效果.

1.1.3全局過完備相似塊集合字典

為了獲得稀疏解，首先需要構(gòu)建一個過完備字典.在稀疏表示模型中，如果假設(shè)字典中原子個數(shù)太多，則不但會降低計(jì)算效率，還會在字典中引入一些

1.1.4全局特征塊的估計(jì)

1.2局部特征信息

設(shè)局部特征塊為Ψ∈，W（i）為以i點(diǎn)為中心，尺寸大小比Ψ大很多的一個滑動區(qū)域窗口，i屬于集合Q（i）：

這里，d（·，·）為SSD標(biāo)準(zhǔn)下的準(zhǔn)則，ε=5，N（i）

1.3全局特征和局部特征的線性加權(quán)

這里，μ∈[0，1]，v∈[0，1].需要注意的是，在修復(fù)結(jié)構(gòu)塊時(shí)，要求Ψ在領(lǐng)域的結(jié)構(gòu)處保持連續(xù)，所以設(shè)μ=0.8，v=0.2；而在修復(fù)紋理塊時(shí)，我們不僅要求待修復(fù)塊Ψ在區(qū)域保持紋理連續(xù)，還要求在全局上保持紋理一致性，設(shè)μ=v=0.5.

2實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的修復(fù)效果，我們將和Criminis[11]算法、Darabi[23]算法、Xu[25]算法及Deep Image Prior[33]算法進(jìn)行比較和分析.本算法中所使用的重要參數(shù)，如待修復(fù)塊大小、字典中原子個數(shù)、局部特征信息中的窗口大小及平衡參數(shù)λ、λ分別取5×5、100、27×27及1和2.

2.1模擬破損修復(fù)結(jié)果

圖6為不同算法下模擬破損敦煌壁畫修復(fù)圖的對比結(jié)果，其中（a）和（b）的第（1）行中分為五張帶有輔助結(jié)構(gòu)信息的待修復(fù)壁畫，而在（2）～（7）行中，分別為Criminisi、Darabi、Xu、Deep Image Prior和本文算法的修復(fù)結(jié)果.而表1和表2中給出了上述算法中的PSNR值、SSIM值和對應(yīng)的計(jì)算時(shí)間.

從圖6中的Criminisi算法修復(fù)結(jié)果來看，幾乎所有結(jié)果都出現(xiàn)了結(jié)構(gòu)不連續(xù)以及紋理區(qū)域的錯誤填充現(xiàn)象.Darabi算法結(jié)果稍好，但幾乎所有的修復(fù)結(jié)果都存在不想要的紋理，這是因?yàn)樵撍惴ㄓ米钹徑阉鞣绞綄ふ蚁嗨茐K，缺乏全局一致性.Xu算法從修復(fù)結(jié)果上看要好于上述兩種算法，并沒有出現(xiàn)結(jié)構(gòu)不連續(xù)性的現(xiàn)象，但紋理不連續(xù)性還是會出現(xiàn)在所有結(jié)果中.主要是因?yàn)閄u算法中所定義的塊結(jié)構(gòu)稀疏度（Structure Sparsity）并不能較好的衡量待修復(fù)紋理塊的置信度，所以在確定修復(fù)塊的填充順序時(shí)，出現(xiàn)了錯誤和偏差.而最新的Deep Image Prior算法雖然在測試集上的修復(fù)結(jié)果較好，但由于該算法的核心思想是利用圖像未知區(qū)域進(jìn)行訓(xùn)練，而敦煌壁畫本身在顏色和結(jié)構(gòu)上就具有特殊性，所以修復(fù)結(jié)果并不理想.而本文算法則能很好地解決上述四種算法在修復(fù)時(shí)所出現(xiàn)的問題，并得到更好的修復(fù)結(jié)果.

2.2修復(fù)評價(jià)指標(biāo)

目前，圖像修復(fù)的評價(jià)標(biāo)準(zhǔn)依然停留在主觀評價(jià)上，即修復(fù)后的圖像結(jié)構(gòu)信息是否連續(xù)，紋理區(qū)域有無錯誤填充，是否有明顯的修復(fù)痕跡，如“塊效應(yīng)”等.這里，我們介紹幾種圖像修復(fù)中的主流量化指標(biāo).

1）峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）

2）圖像的均方誤差（Mean Square Error，MSE）：

3）結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）

這里圖6（1）表示沒有破損的完整圖像，圖6（3）～（7）表示各算法下輸出圖像.表1中，可以看到，對于每一張圖片，我們的修復(fù)算法都達(dá)到了最大的PSNR和SSIM.而我們的平均PSNR值和SSIM值也達(dá)到了32.556和0.9762，其中PSNR值比Criminisi's，Darabi's、Xu’s和Deep Image Prior算法分別提高了11.07%、6.24%、8.35%和22.68%.而SSIM值因?yàn)檫x取的破損面積較小，所以差距不大.

在表2中，記錄了Darabi's，Xu's和本文算法在修復(fù)圖5第二行5幅敦煌壁畫中所花費(fèi)的時(shí)間，由于Criminisi's、Wang's算法在搜索過程中僅僅只找尋一個最佳的匹配塊，而Deep Image Prior算法僅僅對自身圖像進(jìn)行訓(xùn)練，所以時(shí)間上會有優(yōu)勢.盡管上述算法在計(jì)算時(shí)間上比我們提出的方法短，但無論是從修復(fù)結(jié)果看還是比較PSNR值和SSIM值，上述三種算法都和我們的結(jié)果相比有較大差距.

2.3真實(shí)破損修復(fù)結(jié)果

在本節(jié)中，我們將分別對基于線描圖指導(dǎo)和基于專家指導(dǎo)的敦煌壁畫進(jìn)行修復(fù)，并分析實(shí)驗(yàn)結(jié)果.這里的基于線描圖指導(dǎo)指的是，可通過線描圖和專家的雙重指導(dǎo)下進(jìn)行人機(jī)交互式配準(zhǔn)；而基于專家指導(dǎo)指的是對于那些絕大多數(shù)沒有相對應(yīng)線描圖的破損壁畫來說，只能通過專家的指導(dǎo)做預(yù)處理.

圖7中Darabi算法的效果還是較為優(yōu)秀的，只是在處理專家指導(dǎo)下的破損壁畫時(shí)，仍然無法解決重要結(jié)構(gòu)信息處的紋理信息，導(dǎo)致錯誤填充.而本文算法的結(jié)果可以看出，在修復(fù)大面積紋理區(qū)域時(shí)，幾乎沒有出現(xiàn)錯誤填充現(xiàn)象，對于缺失的重要結(jié)構(gòu)信息，也都能準(zhǔn)確的復(fù)原，整體修復(fù)效果從視覺上看明顯優(yōu)于其他算法.

3結(jié)論

本文提出了一種基于全局一致性和局部連續(xù)性相結(jié)合的壁畫修復(fù)算法，創(chuàng)新研究了稀疏表示修復(fù)原理；并認(rèn)為待修復(fù)區(qū)域是由全局特征信息和局部特征信息所構(gòu)成；為了保證待修復(fù)區(qū)域具有全局一致性，搭建了具有全局過完備特征字典下基于彈性網(wǎng)正則化的稀疏修復(fù)模型；并提出了一種基于領(lǐng)域相似特性的局部特征估計(jì)方法，使得待修復(fù)區(qū)域滿足局部連續(xù)性，最后利用全局塊與局部塊的線性加權(quán)，較好的估計(jì)出最終的待修復(fù)塊，從而實(shí)現(xiàn)整個破損壁畫的修復(fù).實(shí)驗(yàn)結(jié)果表明，本方法相較于其他方法所提算法對敦煌壁畫破損圖像修復(fù)具有較好效果.

參考文獻(xiàn)

[1] BERTALMIO M，SAPIROG，CASELLES V，et al. Image inpainting [C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques —SIGGRAPH '00. Not Known. NewYork：ACM Press，2000：417—424.

[2] BALLESTER C，BERTALMIO M，CASELLES V，et al. Filling—in by joint interpolation of vector fields and gray levels [J]. IEEE Transactions on Image Processing，2001，10（8）：1200—1211.

[3] CHAN T F，SHEN J H. Nontexture inpainting by curvature—driven diffusions [J]. Journal of Visual Communication and Image Representation，2001，12（4）：436—449.

[4] BORNEMANN F，MARZ T. Fast image inpainting based on coherence transport[J].Journal of Mathematical Imaging and Vision，2007，28（3）：259—278.

[5] SHEN J H，CHAN T F. Mathematical models for local nontexture inpaintings[J].SIAM Journal on Applied Mathematics，2002，62 （3）：1019—1043.

[6] LEVIN A，ZOMET A，WEISS Y. Learning how to inpaint from global image statistics[C]//Proceedings Ninth IEEE International Conference on Computer Vision.October 13—16，2003，Nice，F(xiàn)rance.IEEE，2003：305—312.

[7] EFROS A A，LEUNG T K. Texture synthesis by non-parametric sampling[C]//Proceedings of the Seventh IEEE International Conference on Computer Vision.September 20—27，1999，Kerkyra，Greece. IEEE，1999：1033—1038.

[8] ZONTAK M，IRANI M. Internal statistics of a single natural image[C]//CVPR 2011.June 20—25，2011，Colorado Springs，CO，USA.IEEE，2011：977—984.

[9] BORNARD R，LECAN E，LABORELLI L，et al. Missing data correction in still images and image sequences[C]//Proceedings of the tenth ACM international conference on Multimedia —MULTIMEDIA '02.December 1—6，2002.Juan—les—Pins，F(xiàn)rance.New York：ACM Press，2002：355—361.

[10] DRORI I，COHEN—OR D，YESHURUN H.Fragment—based image completion[J].ACM Transactions on Graphics，2003，22 （3）：303—312.

[11] CRIMINISI A，PEREZ P，TOYAMA K. Region filling and object removal by exemplar—based image inpainting[J].IEEE Transactions on Image Processing，2004，13（9）：1200—1212.

[12] LE MEUR O，GAUTIER J，GUILLEMOT C.Examplar—based inpainting based on local geometry[C]//2011 18th IEEE International Conference on Image Processing.September 11—14，2011，Brussels，Belgium.IEEE，2011：3401—3404.

[13] WANG J，LU K，PAN D，et al. Robust object removal with anexemplar—based image inpainting approach[J]. Neurocomputing，2014，123：150—155.

[14] MARTINEZ—NORIEGA R，ROUMY A，BLANCHARD G. Exemplar—based image inpainting：fast priority and coherent nearest neighbor search[C]//2012 IEEE International Workshop on Machine Learning for Signal Processing.September 23—26，2012，Santander，Spain.IEEE，2012：1—6.

[15] SIADATI S Z，YAGHMAEE F，MAHDAVI P.A new exemplar—based image inpainting algorithm using image structure tensors [C]//2016 24th Iranian Conference on Electrical Engineering （ICEE）. May 10—12，2016，Shiraz，Iran. IEEE，2016：995—1001.

[16] STROBEL M，DIEBOLD J，CREMERS D. Flow and color inpainting for video completion[J]. Pattern Recognition，2014，8753：293—304.

[17] NEWSON A，ALMANSA A，F(xiàn)RADET M，et al.Towards fast，ge- neric video inpainting[C]//Proceedings of the 10th European Conference on Visual Media Production —CVMP '13.November 6—7，2013.London，KingdomUnited.New York：ACM Press，2013：

[18] MEYER Y.Oscillating Patterns in Image Processing and Nonlinear Evolution Equations[M].Providence，Rhode Island：Ameri- can Mathematical Society，2001.

[19] BERTALMIO M，VESE L，SAPIRO G，et al.Simultaneous structure and texture image inpainting[J].IEEE Transactions on Image Processing，2003，12（8）：882—889.

[20] CHEN X W，ZHOU B，GUO Y，et al. Structure guided texture inpainting through multi—scale patches and global optimization for image completion[J].Science China Information Sciences，2014，57（1）：1—16.

[21] WEXLER Y，SHECHTMAN E，IRANI M.Space—time completion of video[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（3）：463—476.

[22] KOMODAKIS N，TZIRITAS G.Image completion using efficient belief propagation vi a priori ty scheduling and dynamic pruning [J].IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society，2007，16（11）：2649—2661.

[23] DARABI S，SHECHTMAN E，BARNES C，et al.Image melding [J].ACM Transactions on Graphics，2012，31（4）：1—10.

[24] STARCK J L，ELAD M，DONOHO D L.Image decomposition via the combination of sparse representations and a variational ap- proach[J].IEEE Transactions on Image Processing，2005，14 （10）：1570—1582.

[25] XU Z B，SUN J.Image inpainting by patch propagation using patch sparsity[J].IEEE Transactions on Image Processing，2010，19（5）：1153—1165.

[26] WANG H，LI Q Q，ZOU Q. Inpainting of Dunhuang murals by sparsely modeling the texture similarity and structure continuity [J]. Journal on Computing and Cultural Heritage，2019，12（3）：17.

[27] ZHUANG L N，BIOUCAS—DIAS J M.Fast hyperspectral imagedenoising and inpainting based on low-rank and sparse representations [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2018，11（3）：730-742.

[28]趙露露，沈玲，洪日昌.圖像修復(fù)研究進(jìn)展綜述[J].計(jì)算機(jī)科學(xué)，2021，48（3）：14-26.

ZHAO L L，SHEN L，HONG R C. Survey on image inpainting research progress[J]. Computer Science，2021，48（3）：14-26. （In Chinese）

[29] PATHAK D，KRAHENBUHL P，DONAHUE J，et al. Context encoders：feature learning by inpainting [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. June 27-30，2016，Las Vegas，NV，USA. IEEE，2016：2536-2544.

[30] LIU G L，REDA F A，SHIH K J，et al. Image inpainting for irregular holes using partial convolutions [C]//Computer Vision-ECCV2018，2018：85-100.

[31] SHEN L，HONG R C，ZHANG H R，et al.Single-shot semantic image inpainting with densely connected generative networks [C]//MM '19：Proceedings of the 27th ACM International Conference on Multimedia. 2019：1861-1869.

[32] WANG Y，CHEN Y C，TAO X，et al. VCNet：a robust approach to blind image inpainting [C]//Computer Vision - ECCV 2020，2020：752-768.

[33] LEMPITSKY V，VEDALDI A，ULYANOV D.Deep image prior [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：9446-9454.

[34] YANG C，LU X，LIN Z，et al.High-resolution image inpainting using multi-scale neural patch synthesis[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：4076-4084.

[35] YU J H，LIN Z，YANG J M，et al.Generative image inpainting with contextual attention [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：5505-5514.

[36] SAGONG M C，SHIN Y G，KIM S W，et al.PEPSI：fast image inpainting with parallel decoding network[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：11352- 11360.

[37] YI Z L，TANG Q，AZIZI S，et al. Contextual residual aggregation for ultra high-resolution image inpainting[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：7505-7514.

[38] SONG Y H，YANG C，SHEN Y J，et al.SPG-net：segmentation prediction and guidance network for image inpainting[EB/OL].2018：arXiv：1805.03356 [cs. CV]. https：//arxiv.org/abs/1805.03356.

[39] LI J Y，HE F X，ZHANG L F，et al.Progressive reconstruction of visual structure for image inpainting[C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）.October 27 - November 2，2019，Seoul，Korea（South）.IEEE，2019：5961-5970.

[40] YANG J，QI Z Q，SHI Y. Learning to incorporate structure knowledge for image inpainting[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：12605-12612.

[41] YEH R A，CHEN C，LIM T Y，et al.Semantic image inpainting with deep generative models[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：6882-6890.

[42] ZHENG C X，CHAM T J，CAI J F.Pluralistic image completion [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.June 15-20，2019，Long Beach，CA，USA. IEEE，2019：1438-1447.

[43] ZHAO L，MO Q H，LIN S H，et al.UCTGAN：diverse image inpainting based on unsupervised cross-space translation[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. June 13-19，2020，Seattle，WA，USA. IEEE，2020：5740-5749.

[44] ZOU H，HASTIE T. Regularization and variable selection via the elastic net[J].Journal of the Royal Statistical Society：Series B （Statistical Methodology），2005，67（2）：301-320.

[45] J MAIRAL，F(xiàn) BACH，J PONCE，et al. SPAMS：Sparse modeling software[EB/OL]. http：//spams-devel.gforge.inria.fr/index. html，2011.