新津觀音寺明代壁畫圖像的計(jì)算機(jī)自動(dòng)虛擬修復(fù)研究

王 展，王慧琴，吳 萌，陳 卿

(1. 國家文物局磚石質(zhì)文物保護(hù)基地(陜西省文物保護(hù)研究院)，陜西西安 710075； 2. 西安建筑科技大學(xué)，陜西西安 710055)

0 引 言

新津觀音寺始建于南宋淳熙年間(1174～1189年)，元末毀于戰(zhàn)火，明代重建，清雖有修葺，但仍在后世中被破壞，現(xiàn)僅存有明代壁畫和泥塑的毗盧殿與觀音殿。觀音寺作為川西地區(qū)著名佛寺，現(xiàn)存的毗盧殿壁畫是我國明代壁畫的代表，具有極高的藝術(shù)價(jià)值[1]。由于歷史的原因，珍貴的毗盧殿壁畫或多或少地存在不同文物病害，這些病害使畫面缺損，內(nèi)容線條、色彩不連續(xù)、不自然。近年來，數(shù)字圖像修復(fù)技術(shù)已經(jīng)被引入到文物領(lǐng)域應(yīng)用中，如2007年意大利的DEL MASTIO A等[2]研究了虛擬重現(xiàn)與水印加密技術(shù)作用在文化遺產(chǎn)圖像上效果，并設(shè)計(jì)符合該國文物數(shù)字修復(fù)要求的軟件。2008年希臘的GEORGE PAPANDREOU等結(jié)合圖像稀疏表示，并加入了隱馬爾可夫樹，獲取相鄰信息素的小波系數(shù)的相關(guān)性，復(fù)原了希臘史前壁畫。同年，愛爾蘭的PAPANDREOU采用基于正則化概率模型的數(shù)字修復(fù)技術(shù)，通過小波系數(shù)引導(dǎo)隱馬爾可夫樹模型，保證了修復(fù)過程中良好的位移不變性和方向選擇性，完成德黑蘭古代壁畫的數(shù)字修復(fù)。2009年捷克的BLAZEK在壁畫數(shù)字信息中的可見光與紫外光譜部分進(jìn)行了圖像配準(zhǔn)與圖像融合，分析壁畫信息老化的演變過程，并實(shí)現(xiàn)模擬復(fù)原，給修復(fù)師提供更多的修復(fù)效果參考[3]。2011年捷克的BENES M[4]提出用圖像分割與數(shù)字修復(fù)技術(shù)相結(jié)合，去除古代藝術(shù)品上的人為痕跡。2012年印度的CHANDA B[5]對古代壁畫采用了塊匹配技術(shù)進(jìn)行了退化信息的復(fù)原技術(shù)的研究。同年，AGRAWAL通過檢測Vinayagar神廟的外圍墻面壁畫中的重復(fù)圖案，模擬重復(fù)規(guī)則，利用高度相似分塊，進(jìn)行外墻壁畫的數(shù)字修復(fù)。2013年美國的KARIANAKIS N利用形態(tài)學(xué)算子進(jìn)行德黑蘭古代壁畫的病害檢測，并通過改進(jìn)的TV算法對其進(jìn)行了修復(fù)[6]。同年，比利時(shí)的CORNELIS[7]采用三種裂縫檢測方法，自動(dòng)標(biāo)記根特祭壇壁畫上錯(cuò)綜復(fù)雜的病害區(qū)域，并進(jìn)行了數(shù)字修復(fù)。2014年韓國的YUKYONG Lee[8]建立一個(gè)虛擬展示古代高麗國墓室壁畫修復(fù)過程的系統(tǒng)，該系統(tǒng)擁有友好的人機(jī)界面并且可以動(dòng)態(tài)展示修復(fù)過程。2016年印度的ASWATHA S M[9]建立了一套以數(shù)字修復(fù)技術(shù)為核心的一體化涂漆系統(tǒng)重建帕斯帕提那神廟壁畫的信息，采用雙邊濾波，樣本源約束修復(fù)，色調(diào)處理和紋理梯度融合等技術(shù)實(shí)現(xiàn)數(shù)字油漆系統(tǒng)。本研究針對觀音寺壁畫的主要病害特點(diǎn)，通過對數(shù)字圖像修復(fù)技術(shù)中的Criminisi基于樣本的圖像修復(fù)算法的改進(jìn)，實(shí)現(xiàn)了對觀音寺壁畫的數(shù)字圖像修復(fù)[10]。

1 觀音寺壁畫主要病害特點(diǎn)及數(shù)學(xué)模型

新津觀音寺位于四川成都平原西部，屬亞熱帶半濕潤氣候區(qū)，常年較為潮濕。觀音寺壁畫的制作工藝因地制宜，壁畫底部墻體墊以石條阻斷地下水，每幅壁畫四周固定木框防止畫面開裂形變。地仗以棕絲和泥作底，上沙泥覆蓋，再以白堊土和礬水涂刷找平，既堅(jiān)固又防潮。畫面“用漆入畫”，以生漆勾勒線條和填以礦物顏料[11]。所以，觀音寺壁畫防水、耐潮、不易退色，整體結(jié)構(gòu)和畫面保存較好，表面主要病害均因磕碰、刻畫或起甲、剝落，使局部缺失露出白色地仗。這種局部不同程度的缺失可以從其周圍畫面已知區(qū)域得到推斷進(jìn)行修復(fù)補(bǔ)繪。

觀音寺壁畫的主要病害修復(fù)的數(shù)學(xué)模型如圖1所示，其數(shù)學(xué)描述為：假設(shè)D表示圖像中的未知區(qū)域，E表示圖像中的已知區(qū)域。這種數(shù)學(xué)模型和數(shù)字圖像修復(fù)技術(shù)在數(shù)學(xué)上的模型具有高度的一致性。從而觀音寺壁畫的數(shù)字圖像修復(fù)和文物本體修復(fù)的修復(fù)過程都是利用E中的有效信息來修復(fù)區(qū)域D中的未知信息，也就是在修復(fù)過程中提出合理假設(shè)的基礎(chǔ)上，從計(jì)算機(jī)(人體視覺)和信息論的角度進(jìn)行分析，通過對比各種假設(shè)的合理性，最終解決圖像(壁畫)的修復(fù)問題，從而使得圖像更加連續(xù)、自然。

圖1 修復(fù)數(shù)學(xué)模型

2 基于Criminisi算法的觀音寺壁畫數(shù)字圖像自動(dòng)虛擬修復(fù)策略

2.1 Criminisi算法基本原理

Criminisi算法是基于樣本的修復(fù)算法，可同時(shí)兼顧圖像紋理信息和結(jié)構(gòu)信息，并通過全圖搜索設(shè)定匹配準(zhǔn)則以尋找最佳匹配塊。Criminisi算法修復(fù)過程主要由優(yōu)先權(quán)計(jì)算、搜索最佳匹配塊、復(fù)制更新三部分組成[12]。

首先，計(jì)算待修復(fù)區(qū)域邊界上像素點(diǎn)的優(yōu)先權(quán)，如式(1)所示。

優(yōu)先權(quán)：P(p)=C(p)×D(p)

(1)

(2)

式(2)中，待修復(fù)區(qū)域邊界上像素點(diǎn)p的置信度C(p)為待修復(fù)塊中已知像素之和與待修復(fù)塊所含像素總數(shù)的比值，Size(ψp)是待修復(fù)塊所含像素總數(shù)。

(3)

其次，根據(jù)待修復(fù)塊的已知信息在圖像已知區(qū)域內(nèi)按一定的匹配準(zhǔn)則尋找最佳匹配塊。經(jīng)典Criminisi算法采用基于歐氏距離的匹配準(zhǔn)則，歐氏距離d(ψp，ψq)定義為待修復(fù)塊ψp與匹配塊ψq對應(yīng)像素點(diǎn)的灰度值平方和，計(jì)算如式(4)中所示。

(4)

最后，將最佳匹配塊中復(fù)制到待修復(fù)塊對應(yīng)的位置上，更新待修復(fù)邊緣置信度與數(shù)據(jù)項(xiàng)，更新計(jì)算如式(5)所示。

(5)

以上三步不停地循環(huán)直到圖像中所有的受損區(qū)域全部被修復(fù)為止。每次循環(huán)前都要重新計(jì)算新的邊界上各點(diǎn)的優(yōu)先權(quán)，以確定下一個(gè)最先需要修復(fù)的目標(biāo)塊。

2.2 觀音寺壁畫數(shù)字圖像自動(dòng)虛擬修復(fù)策略

本研究針對壁畫數(shù)字圖像修復(fù)策略在算法上主要進(jìn)行以下幾方面的改進(jìn)：

第一，在Criminisi的優(yōu)先值計(jì)算公式(1)中引入β因子，即：P(p)=C(p)β·D(P)，保證在相同情況下置信度項(xiàng)C(p)的重要程度減小。而數(shù)據(jù)項(xiàng)D(p)對優(yōu)先值P(p)貢獻(xiàn)增大，使在修復(fù)過程中對圖像紋理細(xì)節(jié)較為敏感，進(jìn)而增進(jìn)修復(fù)效果。

第二，針對不同紋理程度的圖像，通過選取Haar小波對紋理特征進(jìn)行量化。由于β因子的選取與圖像紋理特征的相關(guān)性，使β因子在紋理的量化的基礎(chǔ)上可以自適應(yīng)調(diào)節(jié)(表1)，以保證修復(fù)策略針對不同紋理程度的圖像能夠自適應(yīng)，提高紋理色彩的連續(xù)性和自然度。

表1 自適應(yīng)分解位置范圍選取

第三，通過離散化處理圖像已知區(qū)域，提高選取填充樣本速度。此外，在填充時(shí)，采用環(huán)形填充策略，在完整的填充邊緣被完全修復(fù)后，再重新計(jì)算填充邊緣，節(jié)省重復(fù)邊緣檢索的時(shí)間開銷。從而通過樣本選取和填充邊緣策略的改進(jìn)提高修復(fù)圖像的效率。

3 觀音寺壁畫圖像修復(fù)仿真實(shí)驗(yàn)

觀音寺壁畫圖像修復(fù)仿真實(shí)驗(yàn)基本環(huán)境是在Windows平臺(tái)下，利用開源計(jì)算機(jī)視覺庫(Open Source Computer Vision Library，OpenCV)進(jìn)行仿真實(shí)驗(yàn)。OpenCV是1999年由Intel建立的基于BSD許可證授權(quán)發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)行在Linux、Windows和Mac OS操作系統(tǒng)上。OpenCV是由一系列C函數(shù)和少量C++類構(gòu)成，同時(shí)提供了Pyhthon、Ruby、MATLAB等語言接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。觀音寺壁畫圖像修復(fù)仿真程序編寫集成開發(fā)環(huán)境(IDE)為Visual Studio 2010，OpenCV版本為2011年8月發(fā)布的OpenCV 2.3.1。

實(shí)驗(yàn)用數(shù)字圖像是在觀音寺壁畫中截取具有典型病害特征的部分為研究對象(圖2)。通過OpenCV編寫的仿真程序讀入該研究對象并定義為待修復(fù)圖像；判斷出圖像中的已知點(diǎn)和未知點(diǎn)，形成二值圖像；計(jì)算填充前緣優(yōu)先值，取得待填充點(diǎn)坐標(biāo)；執(zhí)行最優(yōu)樣本選擇；進(jìn)行待填充點(diǎn)像素填充；計(jì)算未知點(diǎn)個(gè)數(shù)，再次填充直到一個(gè)完整的填充邊緣全部被修復(fù)完成。實(shí)驗(yàn)中通過優(yōu)先值的選取，使每次修復(fù)過程形成環(huán)形填充，當(dāng)一個(gè)完整的填充邊緣全部被修復(fù)完成后，形成新的待修復(fù)圖像，再次執(zhí)行仿真程序，直到所要修復(fù)的待修復(fù)圖像全部修復(fù)完成(圖3)。

圖2 原始待修復(fù)圖像

圖3 標(biāo)記圖中病害

具體實(shí)驗(yàn)方案設(shè)計(jì)有三個(gè)。方案一：最小修復(fù)尺度，僅僅修復(fù)壁畫中的劃痕類病害(圖4)；方案二：中度修復(fù)尺度，修復(fù)劃痕和小塊的剝落(圖5)；方案三：大尺度修復(fù)，修復(fù)壁畫中所有的非繪畫內(nèi)容(圖6)。

圖4 方案一修復(fù)效果

圖5 方案二修復(fù)效果

圖6 方案三修復(fù)效果

圖7 最終修復(fù)完成圖像

圖像修復(fù)過程及結(jié)果見圖3到圖6，其中在各圖的右上圖為原始待修復(fù)圖像，左上圖為標(biāo)記新未知區(qū)域的待修圖像，左下為已知點(diǎn)與未知點(diǎn)二值圖像，右下為標(biāo)記新未知區(qū)域待修圖像的二值圖像。

對不同的實(shí)驗(yàn)方案的算法效率進(jìn)行比對，對于不同修復(fù)尺度，算法迭代的時(shí)間復(fù)雜度也不同(表2)。

通過研究實(shí)驗(yàn)，從待修復(fù)圖像的虛擬修復(fù)效果來看，缺損壁畫數(shù)字圖像整體紋理、色彩連續(xù)、自然。由于使用壁畫圖像本身的已知像素點(diǎn)作為填充樣本，修復(fù)完成壁畫圖像依然古樸，具有強(qiáng)烈的歷史滄桑感。實(shí)驗(yàn)結(jié)果說明，在Criminisi基于樣本的圖像修復(fù)算法的基礎(chǔ)上，針對觀音寺壁畫數(shù)字圖像自動(dòng)虛擬修復(fù)的改進(jìn)是有效可行的。

表2 方案效率比較

4 結(jié) 論

信息化時(shí)代的到來，在“互聯(lián)網(wǎng)+”的影響下，數(shù)字文化遺產(chǎn)的利用、傳播、交流會(huì)有越來越大的應(yīng)用空間。通過新津觀音寺明代壁畫圖像的計(jì)算機(jī)自動(dòng)虛擬修復(fù)研究，針對不同文物病害造成的不同尺度的圖像缺損，可以通過改進(jìn)優(yōu)化數(shù)字圖像修復(fù)技術(shù)相關(guān)算法，提高其適用性與修復(fù)效率。

通過壁畫圖像的自動(dòng)虛擬修復(fù)研究，一方面文物圖像虛擬修復(fù)提供的連續(xù)、自然、完美的文物數(shù)字圖像滿足了不同審美取向的觀眾；其次，在文物保護(hù)修復(fù)工程實(shí)施之前，虛擬修復(fù)使修復(fù)結(jié)果有了一定的可視性與預(yù)見性，能夠有利地促進(jìn)文物保護(hù)修復(fù)方案的制定與實(shí)施。

但是，針對采集的文物二維數(shù)字圖像，通過對圖像修復(fù)算法的改進(jìn)可以完成不同種類的文物病害在圖像上造成的不同尺度的缺損圖像的修復(fù)。對于更能充分展現(xiàn)文物各類信息，包括不同種類的病害信息的三維數(shù)字圖像，相關(guān)圖像修復(fù)技術(shù)還有待進(jìn)一步的深入研究。