申婧妮,王慧琴+,吳 萌,楊文宗
1.西安建筑科技大學(xué) 信息與控制工程學(xué)院,西安 710055
2.陜西歷史博物館,西安 710061
MCA分解的唐墓室壁畫修復(fù)算法*
申婧妮1,王慧琴1+,吳 萌1,楊文宗2
1.西安建筑科技大學(xué) 信息與控制工程學(xué)院,西安 710055
2.陜西歷史博物館,西安 710061
壁畫數(shù)字化修復(fù)工作極大降低了手工修復(fù)時帶來的不可逆的風(fēng)險。根據(jù)唐墓室壁畫人工修復(fù)時先整體結(jié)構(gòu)、后局部紋理的思路,提出一種基于形態(tài)學(xué)成分分析(morphological component analysis,MCA)分解的唐墓室壁畫修復(fù)算法。首先結(jié)合唐墓室壁畫的特點,采用改進的MCA方法進行圖像分解,得到結(jié)構(gòu)部分和紋理部分;然后根據(jù)圖像分解后紋理和結(jié)構(gòu)的復(fù)雜程度與稀疏程度,分別采用簡化的全變分(total variation,TV)算法和K奇異值分解(K-singular value decomposition,K-SVD)算法進行修復(fù)。實驗結(jié)果表明,該算法可兼顧紋理與結(jié)構(gòu)的修復(fù)效果,唐墓室壁畫中的裂縫現(xiàn)象的破損修復(fù)精度得到提高。
唐代墓室壁畫;形態(tài)學(xué)成分分析(MCA);圖像修復(fù);全變分(TV)算法;K奇異值分解(K-SVD)
唐墓室壁畫是我國珍貴的歷史文化遺產(chǎn),是古代壁畫中墓葬壁畫的代表,具有極高的考古價值和藝術(shù)價值。然而,由于自然風(fēng)化以及一些人為因素的破壞,目前唐墓室壁畫存在裂縫、脫落、褪色等多種病害。傳統(tǒng)的壁畫修復(fù)工作是不可逆的,存在較高的風(fēng)險。將數(shù)字圖像修復(fù)技術(shù)應(yīng)用在唐墓室壁畫的修復(fù)工作中,可以為壁畫復(fù)原工作提供先進的技術(shù)支持。數(shù)字化壁畫的保護修復(fù)工作是利用計算機對壁畫進行虛擬修復(fù),極大程度地降低了保護修復(fù)工作的風(fēng)險,并且能夠?qū)⒈诋嬓畔⒂谰帽4妗榱四軌驅(qū)⑦@些珍貴的文物長久保存下來,壁畫的數(shù)字化保護修復(fù)工作已經(jīng)成為一個研究熱點。
數(shù)字圖像修復(fù)技術(shù)通過模擬手工修復(fù)藝術(shù)品的方法實現(xiàn)圖像中缺失信息的填充,通過給定一幅有破損區(qū)域或空白區(qū)域Ω的圖像I,利用該圖像的已知信息填補未知信息Ω,要求最終結(jié)果符合人眼的視覺要求[1]。該技術(shù)由Bertalmio等人[2]于2000年提出,隨后涌現(xiàn)出各類數(shù)字圖像修復(fù)方法,其實質(zhì)都是通過現(xiàn)存信息的先驗知識恢復(fù)出原始圖像。
現(xiàn)有的修復(fù)技術(shù)分為基于偏微分方程(partial differential equations,PDE)的點擴散[3]和基于紋理合成的塊合成[4]兩種思路。PDE算法因其平滑過程使得在修復(fù)大面積區(qū)域時會產(chǎn)生模糊現(xiàn)象,喪失紋理細(xì)節(jié)。基于紋理合成的圖像修復(fù)算法可修復(fù)大面積的破損區(qū)域且修復(fù)效果較好,但耗時長。在唐墓室壁畫的手工修復(fù)工程中,首先進行結(jié)構(gòu)信息的修復(fù),即判斷原圖的主體線條走向,連接待修復(fù)區(qū)域的主要線條;然后進行紋理信息的修復(fù),即根據(jù)原圖的已知信息添加必要的細(xì)節(jié)。根據(jù)人工修復(fù)時先整體結(jié)構(gòu)、后局部紋理的思路,Bertalmio等人[5]最先將圖像分解應(yīng)用到圖像修復(fù)領(lǐng)域?;诮Y(jié)構(gòu)信息的經(jīng)典修復(fù)技術(shù)是Chan等人[6]提出的全變差(total variation,TV)算法,基于紋理信息的經(jīng)典修復(fù)技術(shù)是Criminisi等人[7-8]提出的樣本合成算法。先進的分解技術(shù)可充分利用兩種算法的優(yōu)勢達(dá)到更好的修復(fù)結(jié)果。壓縮感知[9]利用信號的稀疏性,以低采樣進行信號采集,再利用采樣信號恢復(fù)出原始信號,其稀疏表示給圖像分解修復(fù)領(lǐng)域提供了一種新思路?;谙∈璞硎镜膱D像修復(fù)算法是利用一個字典和待處理圖像內(nèi)的有效信息進行稀疏編碼,修復(fù)圖像的破損區(qū)域[10]。
本文結(jié)合唐墓室壁畫的特點,首先選擇HSV(hue,saturation,value)色彩空間進行分通道修復(fù)。然后采用基于稀疏理論的形態(tài)學(xué)成分分析(morphological component analysis,MCA)分解的改進算法將圖像分解為結(jié)構(gòu)和紋理兩部分。最后根據(jù)結(jié)構(gòu)部分與紋理部分的不同特性分別進行修復(fù)。結(jié)構(gòu)部分的修復(fù)采用簡化的全變分算法,紋理部分的修復(fù)采用K奇異值分解(K-singular value decomposition,K-SVD)算法。
高清圖像是指圖像分辨率至少在720P(P代表逐行掃描)以上的圖片,分辨率越高,像素越大,圖像越清晰,但相應(yīng)的圖像文件也就越大。為了進行修復(fù)研究和遺跡數(shù)字化保存,數(shù)字化之后的壁畫必須是高清圖像,這便導(dǎo)致壁畫的數(shù)據(jù)存儲量非常大。本文以提供的唐代章懷太子墓出土的《馬球圖》壁畫為例進行說明?!恶R球圖》壁畫高清圖像是采用分鏡頭拍攝的方法進行采集和存儲。將《馬球圖》壁畫分為5個鏡頭進行采集,每個鏡頭再進行細(xì)分,分為右上、右下、左上和左下4個鏡頭?!恶R球圖》壁畫每個分鏡頭的存儲大小如表1所示。
Table 1 Size of“polo figure”murals storyboard表1 《馬球圖》壁畫分鏡頭的大小 GB
由表1可知,《馬球圖》壁畫高清圖像的每個分鏡頭的存儲大小最高可達(dá)1.67 GB。一整幅《馬球圖》壁畫高清圖像數(shù)據(jù)存儲量高達(dá)20.9 GB。將每幅分鏡頭讀入內(nèi)存進行修復(fù)無疑是比較困難的,但為保證壁畫修復(fù)的精度,必須考慮其全局信息。因此應(yīng)降低冗余,利用稀疏的思想提取圖像的有效信息,并對本文算法做出改進或簡化,以此提高算法的效率,縮短修復(fù)時間。
基于圖像分解的修復(fù)算法是對灰度圖像的修復(fù),而唐墓室壁畫保存的數(shù)字圖像都是彩色的。故本文采用彩色空間分通道修復(fù)并最終合成的方法實現(xiàn)彩色壁畫的修復(fù)。由于常用RGB空間的3個通道R、G、B具有相關(guān)性,影響修復(fù)效果。而HSV色彩空間各個通道信息之間沒有相關(guān)性,具有更好的分通道修復(fù)效果。因此,選擇HSV色彩空間進行分通道修復(fù)。
HSV模型是基于人的視覺感知特性建立的色彩空間,其中色調(diào)(H)表示不同的顏色,如紅綠藍(lán);飽和度(S)表示顏色的深淺,如深藍(lán)淺綠;亮度(V)表示顏色的明暗程度,如很亮(亮白)很暗(黑暗)[11]。利用HSV色彩空間的轉(zhuǎn)化算法,將唐墓室壁畫按照HSV的3個通道分解為3幅灰度圖像H、S、V。對分解后的H、S、V灰度圖像進行MCA分解,分別得到各自的結(jié)構(gòu)圖像和紋理圖像,然后分別對結(jié)構(gòu)圖像和紋理圖像進行修復(fù),將修復(fù)結(jié)果進行疊加得到3幅修復(fù)后的灰度圖像,再將這3幅圖像進行疊加得到1幅HSV空間的色彩圖像,最后將其轉(zhuǎn)換回RGB空間,得到修復(fù)結(jié)果。下面以V分量灰度圖像為例,其修復(fù)過程如圖1所示。
Fig.1 Inpainting step chart of V-channel gray image圖1 V分量灰度圖的修復(fù)步驟圖
由于大多數(shù)的圖像區(qū)域不是純紋理或純結(jié)構(gòu),Bertalmio等人最先將圖像分解應(yīng)用到圖像修復(fù)領(lǐng)域,同時進行紋理合成和結(jié)構(gòu)修復(fù)來填充破損區(qū)域。設(shè)原圖像為I(x,y),該圖像的結(jié)構(gòu)部分為c(x,y),該圖像的紋理部分為t(x,y),則原圖像I可以表示為:
文獻[5]使用了有界變分(bounded variation,BV)空間的最小化從圖像中提取出結(jié)構(gòu)部分c,使用振蕩函數(shù)來提取圖像的紋理部分t。在具體實現(xiàn)時,Bertalmio方法需要進行希爾伯特空間(rigged Hilbert space)的范數(shù)計算,該方法存在分解過程復(fù)雜,修復(fù)耗時長的問題。因此,本文提出一種基于MCA分解的修復(fù)算法,有效避免了以上算法的缺點。
形態(tài)學(xué)成分分析(MCA)[12]是最新提出的一種基于稀疏表示的信號和圖像分解方法。在對壓縮感知中冗余字典技術(shù)進行深入研究之后,Elad等人[13]建立了基于形態(tài)學(xué)成分分析的分解算法,使用兩個性質(zhì)不同的冗余字典完成圖像分解。它假設(shè)圖像的每個成分在合適的字典下都有一個稀疏向量,且該字典對其他內(nèi)容不具有稀疏性。再用數(shù)值算法搜索最稀疏的表示向量,達(dá)到理想的分離效果。
假設(shè)輸入圖像I,可以由結(jié)構(gòu)部分Ic和紋理部分It來表示該圖像:
式中,Tcαc包含著圖像的結(jié)構(gòu)部分;Ttαt包含著圖像的紋理部分。MCA假設(shè)每一部分信號可以由一組字典稀疏表示為:
式中,Tc、Tt分別是結(jié)構(gòu)部分和紋理部分的字典;αc是結(jié)構(gòu)部分Ic在字典Tc中的稀疏系數(shù);αt是紋理部分It在字典Tt中的稀疏系數(shù);是最終獲得的結(jié)構(gòu)稀疏代表和紋理稀疏代表。
使用l1范數(shù)定義稀疏性,引入全變差(TV)方法,將該稀疏分解轉(zhuǎn)化為如下的優(yōu)化問題:
實現(xiàn)圖像稀疏分解,圖像分解的效果取決于紋理字典和結(jié)構(gòu)字典的選擇。通過閱讀文獻資料及大量實驗,本文確定結(jié)構(gòu)字典Tc選擇曲波(curvelets)變換,紋理字典Tt選擇局部離散余弦變換(discrete cosine transform,DCT)。MCA算法圖像分解的流程如圖2所示。
Fig.2 Image decomposition flowchart of MCAalgorithm圖2 MCA算法圖像分解流程圖
傳統(tǒng)的MCA算法采用線性方式減小閾值δ,直到滿足迭代收斂條件,所需運行內(nèi)存大,并且會影響到算法的計算效率。傳統(tǒng)MCA算法的迭代次數(shù)n難于界定,較小的迭代次數(shù)得到的分離結(jié)果很可能不滿足實際需求,而過大的迭代次數(shù)會導(dǎo)致實際輸出的分離信號已經(jīng)滿足要求,但算法仍在執(zhí)行不必要的迭代分解,導(dǎo)致時間的浪費。同時待修復(fù)唐墓室壁畫存在數(shù)量多,修復(fù)工作量大的問題。
針對以上問題對迭代終止條件提出改進,用參數(shù)εk表示第k次分解迭代后的分離結(jié)果與原始圖像信號的誤差,εk的表達(dá)式如式(7)所示:
其中,N為原始圖像包含的像素個數(shù)。若ρ與εk分別小于各自給定的閾值,則立即跳出循環(huán),結(jié)束迭代。改進的MCA算法圖像分解的流程如圖3所示。
在相同的實驗條件下,改進后的MCA算法節(jié)約了時間,提高了效率。當(dāng)實際輸出的分離信號與原始圖像之間的誤差縮小到一定的范圍,立即結(jié)束迭代。
Fig.3 Image decomposition flowchart of improved MCAalgorithm圖3 改進的MCA算法圖像分解流程圖
經(jīng)典TV算法的優(yōu)點是能夠克服線性濾波在抑制噪聲的同時平滑圖像邊緣的缺點,它在抑制噪聲的同時不改變或銳化圖像邊緣。利用這一特點,在圖像修補過程中可利用TV算法保留圖像的邊緣信息;同時,可以利用最小化圖像的總變分來實現(xiàn)對退化圖像的修補。唐墓室壁畫的修復(fù)對實時性雖未有較高要求,但唐墓室壁畫數(shù)量多,修復(fù)工作任務(wù)量大,在相同條件下縮短修復(fù)時間是提高修復(fù)效率的一條重要途徑。本文圖像結(jié)構(gòu)部分經(jīng)圖像分解之后噪聲和紋理信息已經(jīng)去除,不需要考慮噪聲因素的影響,故可以對TV算法進行簡化。簡化后的TV算法減少了修復(fù)時間,提高了修復(fù)速度。
TV算法修復(fù)過程原理如圖4所示。假設(shè)圖像的破損區(qū)域為D,?D為破損區(qū)域與信息完好區(qū)域的邊界,E為D周邊的環(huán)狀區(qū)域,修復(fù)后E?D區(qū)域的圖像為u。TV的圖像修復(fù)就是在破損區(qū)域D周邊找一個代價函數(shù)R(u),然后通過最小化代價函數(shù)來實現(xiàn)對破損圖像的修復(fù)。
Fig.4 Definition of damaged image of TV algorithm圖4 TV算法對破損圖像的定義
代價函數(shù)R(u)的表達(dá)式為:
式中,u是圖像任一像素的灰度值;?u是u的梯度;r(|?u|)是一個取正值的函數(shù);R(u)是區(qū)域u中每個像素點的梯度積分。當(dāng)代價函數(shù)R(u)越小,圖像就越光滑,修復(fù)效果也就越好。
加入拉格朗日算子將有條件極值轉(zhuǎn)換為無條件極值進行計算,則新的代價函數(shù)是:
其中,λ為拉格朗日乘子。
根據(jù)Euler-Lagrange方程知,使得R(u)最小的u應(yīng)滿足條件:
最后得到包含噪聲的修復(fù)方程:
在實際計算中,為防止分母過小,??(?u/|?u|)通常需要轉(zhuǎn)換為??(?u/|?u|2+a2),則式(11)變?yōu)椋?/p>
其中,λe同式(11)。
本文不需要考慮噪聲因素的影響,第二項為0,則式(10)變?yōu)椋?/p>
參數(shù)a的選取對結(jié)果的影響是較小的取值可保持銳利的邊緣,較大可使擴散程度較高。當(dāng)待修復(fù)區(qū)域較小時,選取較小的a可得到較好的效果,相反,較大待修復(fù)區(qū)域時選擇較大的a值。
K-SVD算法是由Aharon、Elad和Bmebtein在2005年提出的,將稀疏表示理論引入圖像處理領(lǐng)域,是將字典中原子列的更新與稀疏表示系數(shù)的更新相結(jié)合,從而加快收斂速度,且得到的字典的原子更貼近于待處理的圖像。K-SVD算法對圖像的紋理部分更為“敏感”,能夠很好地契合圖像的紋理部分,得到一個較好的修復(fù)效果。
從文獻[14-15]可知,K-SVD算法的原理是假設(shè)輸入的待修復(fù)圖像為提取輸入圖像中不重疊圖像塊,即首先將圖像劃分成若干個相等的圖像塊;其中每一個圖像塊都按下述方式處理:即從上到下,從左至右將所有圖像塊排成行;再將圖像塊中像素也按上述規(guī)律排成列向量。其中,每一列表示一個圖像塊:yl=ElY,El為索引矩陣。基于稀疏表示的圖像修復(fù)算法的目標(biāo)函數(shù)見式(15):
式中,X為重構(gòu)圖像,l=1,2,…,N;λ和ul為權(quán)重系數(shù);M表示掩碼矩陣;D為過完備DCT基。根據(jù)K-SVD算法的步驟,進行稀疏編碼和字典更新。
(1)稀疏編碼。求出的稀疏表示目標(biāo)函數(shù)為:
式中,Ml表示圖像塊yl對應(yīng)的掩碼矩陣,;c和σ是常數(shù)。使用正交匹配追蹤算法可得到y(tǒng)l的稀疏系數(shù)。
(2)更新字典。己知系數(shù),更新字典D。針對D中原子d(qq字典中原子的個數(shù)),找到使用了原子的圖像塊索引為使用了該原子圖像塊的稀疏表示系數(shù);計算誤差項;對Error(D)進行SVD迭代,更新該原子與其稀疏系數(shù)。照上述過程更新字典中所有原子。
迭代地執(zhí)行(1)與(2),滿足預(yù)設(shè)的迭代次數(shù)k后,得到一個新的字典及其稀疏系數(shù),以此來更新圖像塊,輸出修復(fù)結(jié)果。
上述算法利用紋理圖像所有圖像塊的有效信息進行K-SVD字典訓(xùn)練,能較好地估計圖像上的丟失像素,達(dá)到修復(fù)的目的。
實驗仿真使用的PC機配置如下:CPU為i5-2400,RAM為4.00 GB,系統(tǒng)類型為32位操作系統(tǒng)。該仿真實驗在Windows平臺下利用Matlab R2009a進行。
本文引入唐代章懷太子墓出土的《馬球圖》壁畫對算法性能進行測試,主要是對壁畫中普遍存在的裂縫病害進行修復(fù)。如圖5所示,為展示修復(fù)效果選取細(xì)小裂縫(標(biāo)記1)作為待修復(fù)圖像1,選取較寬裂縫(標(biāo)記2)作為待修復(fù)圖像2。選擇經(jīng)典Criminisi紋理算法、TV結(jié)構(gòu)修復(fù)算法和文獻[5]經(jīng)典修復(fù)算法與本文算法進行比較。采用結(jié)構(gòu)相似性(structural similarity,SSIM)[16]、峰值信噪比(peak signal to noise ratio,PSNR)、均方誤差(mean squared error,MSE)和修復(fù)耗時作為衡量圖像修復(fù)效果的指標(biāo),SSIM和PSNR的值越大,MSE和修復(fù)耗時的值越小,說明修復(fù)效果越好。
Fig.5 Original image圖5 原圖
以待修復(fù)圖像1為例,進行修復(fù)實驗。
(1)對圖像進行HSV三通道分解,實驗結(jié)果如圖6所示。
Fig.6 Channels of image in accordance with decomposition in HSV color space圖6 按照HSV色彩空間分解后各分量圖
(2)以待修復(fù)圖的V分量圖為例,對V分量圖分別進行MCA和改進后的MCA分解實驗。MCA分解算法中,根據(jù)經(jīng)驗令最大迭代次數(shù)n分別為60、80、100;改進的MCA分解算法中,根據(jù)經(jīng)驗令最大迭代次數(shù)n分別為60、80、100,ρ與εk的結(jié)束迭代閾值分別為40和0.01(ρ與εk的取值為實驗所得)。MCA算法改進前后的修復(fù)圖像,如圖7、圖8所示。MCA算法改進前后實驗結(jié)果的對比,如表2所示。
Fig.7 MCAdecomposition of V-channel image圖7 V分量圖的MCA分解圖
Fig.8 Improved MCAdecomposition of V-channel image圖8 V分量圖的改進MCA分解圖
Table 2 Experimental results of V-channel image表2 V分量圖的實驗結(jié)果
就人眼直接觀察發(fā)現(xiàn),圖8的結(jié)構(gòu)圖和紋理圖比圖7能夠更好地表達(dá)圖像的結(jié)構(gòu)信息和紋理信息。從表2的PSNR值和時間對比可知,改進的MCA算法節(jié)約了時間,提高了修復(fù)效率,得到了更好的修復(fù)結(jié)果。綜上所述,MCA改進后的算法有較好的分解效果。
(3)V分量結(jié)構(gòu)圖和紋理圖的修復(fù)。
對于V分量圖結(jié)構(gòu)部分的修復(fù)。因本文實驗區(qū)域較小,所以選擇較小的a值。通過多次實驗,本文確定選擇a=3,迭代次數(shù)為1 000次,當(dāng)?shù)螖?shù)達(dá)到迭代上限時停止,當(dāng)前的迭代結(jié)果即為修復(fù)圖像。TV算法簡化前后的修復(fù)圖像,如圖9所示。TV算法簡化前后的PSNR值和修復(fù)時間對比如表3所示。
Fig.9 Repair results of V-channel cartoon image圖9 V分量結(jié)構(gòu)圖的修復(fù)結(jié)果
Table 3 TV algorithm comparison before and after simplify表3 TV算法簡化前后的對比
就人眼直接觀察發(fā)現(xiàn),圖9(b)紋理比較自然,誤匹配較少。通過表3可知,簡化的TV算法不僅節(jié)約了修復(fù)時間,提高了修復(fù)效率,同時可知PSNR值亦有所提高。可見,簡化的TV算法能夠更好地修復(fù)V分量的結(jié)構(gòu)圖。
對于V分量圖紋理部分的修復(fù)。本文選取圖像大小為256×256像素,以不重疊像素的方式提取8×8的圖像塊,分塊后圖像大小為64×1 024像素,其中每一列表示一個圖像塊,列數(shù)為每塊索引位置。經(jīng)過多次實驗選擇c=1.15,σ=10,基字典為過完備DCT基(原子數(shù)為256),迭代次數(shù)k=10,對圖像的修復(fù)有一個較好的修復(fù)效果。
V分量紋理圖的修復(fù)實驗結(jié)果如圖10所示。
Fig.10 V-channel texture image after repair圖10 修復(fù)后的V分量紋理圖
(4)將圖9(b)和圖10進行疊加得到V分量圖的修復(fù)結(jié)果,如圖11(a)所示。同理可得H分量和S分量的修復(fù)圖像,如圖11(b)和圖11(c)所示。將圖11(a)~(c)進行疊加得到一幅HSV色彩空間圖像,如圖11(d)所示,將其轉(zhuǎn)換到RGB空間得到最后的修復(fù)結(jié)果,如圖11(e)所示。Criminisi算法修復(fù)結(jié)果、TV算法修復(fù)結(jié)果和文獻[5]方法的修復(fù)結(jié)果,如圖11(f)~(h)所示。待修復(fù)圖像1的SSIM、PSNR、MSE值和運行時間如表4所示。
Table 4 Objective evaluation index of acquainted image 1表4 修復(fù)圖像1的客觀評價指標(biāo)
就人眼直接觀察發(fā)現(xiàn),圖11(e)修復(fù)結(jié)果無明顯修復(fù)痕跡,圖11(f)中破損區(qū)域可以察覺出修復(fù)痕跡,圖11(g)中破損區(qū)域馬脖子部分的線條有斷裂現(xiàn)象,圖11(h)中破損區(qū)域有細(xì)微的修復(fù)痕跡。通過以上4幅圖像比較可知,本文算法能夠很好地修復(fù)壁畫裂縫,修復(fù)結(jié)果更容易滿足人眼視覺的連續(xù)性要求。從表4客觀評價指標(biāo)看出,本文修復(fù)結(jié)果較Criminisi算法、TV算法、文獻[5]修復(fù)結(jié)果MSE值降低,PSNR和SSIM提高。并且本文方法比文獻[5]方法的耗時減少了59.92%,提高了修復(fù)效率。綜合以上客觀評價指標(biāo)以及視覺效果可知本文算法的修復(fù)效果較好。
Fig.11 Inpainting results of damaged image 1圖11 待修復(fù)圖像1修復(fù)結(jié)果
Fig.12 Inpainting results of damaged image 2圖12 待修復(fù)圖像2修復(fù)結(jié)果
(5)對待修復(fù)圖像2按步驟(1)~(4)進行修復(fù),實驗結(jié)果如圖12所示。其SSIM、PSNR、MSE值和運行時間如表5所示。
Table 5 Objective evaluation index of acquainted image 2表5 修復(fù)圖像2的客觀評價指標(biāo)
就人眼直接觀察發(fā)現(xiàn),圖12(c)中破損區(qū)域無明顯修復(fù)痕跡,圖12(d)中破損區(qū)域馬蹄處可以察覺出修復(fù)痕跡,圖12(e)中破損區(qū)域馬腿部分的修復(fù)有斷裂現(xiàn)象,圖12(f)中破損區(qū)域馬腿部分有細(xì)微的修復(fù)痕跡。從表5客觀評價指標(biāo)可以看出,本文修復(fù)結(jié)果較Criminisi算法、TV算法、文獻[5]修復(fù)結(jié)果MSE降低,PSNR和SSIM提高。并且本文算法比文獻[5]算法的耗時減少了64.82%,提高了修復(fù)效率。綜合以上客觀評價指標(biāo)以及視覺效果可知本文算法的修復(fù)效果較好。
從圖11、圖12、表4和表5可見,對于較窄和較寬裂縫本文算法均有較好的修復(fù)效果。
本文根據(jù)人工修復(fù)時先整體結(jié)構(gòu)、后局部紋理的思路,提出了一種采用形態(tài)學(xué)成分分析(MCA)分解的分步圖像修復(fù)算法。根據(jù)唐墓室壁畫的特點,對MCA分解算法增加了ρ與εk參數(shù),分別小于各自給定的閾值,則立即跳出循環(huán),結(jié)束迭代。因此避免了進行希爾伯特空間的范數(shù)計算,從而分解過程簡單。相比于傳統(tǒng)全局使用TV算法或Criminisi算法,本文算法充分考慮到結(jié)構(gòu)部分和紋理部分的不同特性,采用不同的修復(fù)方法很好地兼顧了結(jié)構(gòu)部分和紋理部分的修復(fù)效果,從而提高了唐墓室壁畫的修復(fù)精度。從分析結(jié)果可知,本文算法適用于唐墓室壁畫裂縫病害的修復(fù),修復(fù)精度得到提高。但本文算法仍有很大的研究空間,例如本文只對唐墓室壁畫中的裂縫病害進行了修復(fù)研究,而未考慮其他病害。對于以上問題,將是今后研究的重點。
[1]Zhang Qing,Lin Jiajun.Fast image inpainting algorithm using color texture distribution analysis[J].Journal of Image and Graphics,2012,17(1):123-129.
[2]Bertalmío M,Sapiro G,Caselles V,et al.Image inpainting[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques,New Orleans,USA,Jul 23-28,2000.New York:ACM,2000:417-424.
[3]Dang Hongshe,Zhang Na,Bai Mei.Study of image inpainting method based on Bayesian compressive sensing and morphological component analysis[J].Application Research of Computers,2015,32(5):1572-1575.
[4]Huang Jianglin,Liu Hong,Tao Shaojie.An improved inpainting algorithm based on K-SVD dictionary[J].Journal ofAnhui University:Natural Sciences,2013,37(3):69-74.
[5]Bertalmio M,Vese L,Sapiro G.Simultaneous structure and texture image inpainting[J].IEEE Transactions on Image Processing,2003,12(8):882-889.
[6]Chan T F,Shen Jianhong.Mathematical models for local non-texture inpainting[J].SIAM Journal onApplied Mathematics,2002,62(3):1019-1043.
[7]Criminisi A,Perez P,Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transaction on Image Processing,2004,13(9):1200-1212.
[8]Criminisi A,Pérez P,Toyama K,et al.Object removal by exemplar-based inpainting[C]//Proceedings of the 2003 Conference on Computer Vision and Pattern Recognition,Madison,USA,Jun 16-22,2003.Washington:IEEE Computer Society,2003,2:721-728.
[9]Elad M.Sparse and redundant representations—from theory to applications in signal and image processing[M].Secaucus,USA:Springer-Verlag New York,Inc,2010.
[10]Wang Yuxiong,Zhang Yujin.Image inpainting via weighted sparse non-negative matrix factorization[C]//Proceedings of the 18th International Conference on Image Processing,Brussels,Belgium,Sep 11-14,2011.Piscataway,USA:IEEE,2011:3409-3412.
[11]Shi Meihong,Shen Liang,Long Shizhong,et al.The revision of conversion formula from RGB color space to HSV color space[J].Basic Sciences Journal of Textile Universities,2008,21(3):351-356.
[12]Li Ying,Zhang Yanning,Xu Xing.Advances and perspective on morphological component analysis based on sparse representation[J].Acta Electronica Sinica,2009,37(1):146-152.
[13]Elad M,Starck J L,Querre P,et al.Simultaneous cartoon and texture image inpainting using morphological component analysis(MCA)[J].Applied and Computational HarmonicAnalysis,2005,19(3):340-358.
[14]Aharon M,Elad M,Bruckstein A.rmK-SVD:an algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing,2006,54(11):4311-4322.
[15]Zhai Xuehan,Zhu Weiping,Kang Bin.Compressed sensing of images combining KSVD and classified sparse representation[J].Computer Engineering and Applications,2015,51(6):193-198.
[16]Wang Zhou,Bovik A C,Sheikh H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.
附中文參考文獻:
[1]張晴,林家駿.紋理分布分析的快速圖像修復(fù)算法[J].中國圖象圖形學(xué)報,2012,17(1):123-129.
[3]黨宏社,張娜,白梅.基于貝葉斯壓縮感知與形態(tài)學(xué)成分分析的圖形修復(fù)方法研究[J].計算機應(yīng)用研究,2015,32(5):1572-1575.
[4]黃江林,劉紅,陶少杰.一種改進的基于K-SVD字典的圖像修復(fù)算法[J].安徽大學(xué)學(xué)報:自然科學(xué)版,2013,37(3):69-74.
[11]石美紅,申亮,龍世忠,等.從RGB到HSV色彩空間轉(zhuǎn)換公式的修正[J].紡織高?;A(chǔ)科學(xué)學(xué)報,2008,21(3):351-356.
[12]李映,張艷寧,許星.基于信號稀疏表示的形態(tài)成分分析:
2016-08,Accepted 2016-12.
Tang Dynasty Tomb Murals InpaintingAlgorithm of MCADecomposition*
SHEN Jingni1,WANG Huiqin1+,WU Meng1,YANG Wenzong2
1.School of Information and Control Engineering,Xi'an University of Architecture and Technology,Xi'an 710055,China
2.Shaanxi History Museum,Xi'an 710061,China
+Corresponding author:E-mail:hqwang@xauat.edu.cn
The irreversible risk of the digital inpainting work of Tang dynasty tomb murals is greatly reduced.According to the thought of inpainting the whole cartoon first and then the local texture in artificial inpainting of Tang dynasty tomb murals,this paper proposes a new method based on morphological component analysis(MCA)for the inpainting of Tang dynasty tomb murals.Firstly,according to the characteristics of Tang dynasty tomb murals,the improved MCA method has been used to decompose the image into two parts:cartoon part and texture part;then,according to the complexity and degree of texture and cartoon,the simplified total variation(TV)algorithm and theK-singular value decomposition(K-SVD)algorithm are used to inpaint the image.The experimental results show that the algorithm can take into account the effect of the texture and structure,and improve the inpainting accuracy of the cracks in the Tang dynasty tomb murals.
Tang dynasty tomb murals;morphological component analysis(MCA);image inpainting;total variation(TV)algorithm;K-singular value decomposition(K-SVD)
10.3778/j.issn.1673-9418.1608032
*The National Natural Science Foundation of China under Grant No.61701388(國家自然科學(xué)基金);the Scientific Research Foundation for the Returned Overseas Chinese Scholars,State Education Ministry of China under Grant No.K05055(教育部歸國留學(xué)人員科研扶持項目);the Natural Science Basic Research Plan of Shaanxi Province under Grant No.2016JM6079(陜西省自然科學(xué)基礎(chǔ)研究計劃項目);the Science and Technology Project of Beilin District in 2016 under Grant No.GX1605(2016年碑林區(qū)科技計劃項目);the Special Item of Shaanxi Provincial Department of Education under Grant No.17JK0431(陜西省教育廳專項).
CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-12-07,http://www.cnki.net/kcms/detail/11.5602.TP.20161207.0922.004.html
SHEN Jingni,WANG Huiqin,WU Meng,et al.Tang dynasty tomb murals inpainting algorithm of MCA decomposition.Journal of Frontiers of Computer Science and Technology,2017,11(11):1826-1836.
A
TP391;TN911.73
SHEN Jingni was born in 1990.She is an M.S.candidate at School of Information and Control Engineering,Xi'an University of Architecture and Technology.Her research interests include digital image inpainting and compressed sensing,etc.
申婧妮(1990—),女,陜西榆林人,西安建筑科技大學(xué)信息與控制工程學(xué)院碩士研究生,主要研究領(lǐng)域為數(shù)字圖像修復(fù),壓縮感知等。
WANG Huiqin was born in 1970.She received the Ph.D.degree in engineering from Xi'an Jiaotong University in 2002.Now she is a professor and Ph.D.supervisor at Xi'an University of Architecture and Technology,and the member of CCF.Her research interests include digital image processing,multimedia communication,digital architecture and information safety,etc.
王慧琴(1970—),女,山西長治人,2002年于西安交通大學(xué)工學(xué)獲得博士學(xué)位,現(xiàn)為西安建筑科技大學(xué)教授、博士生導(dǎo)師,CCF會員,主要研究領(lǐng)域為數(shù)字圖像處理,多媒體通信,數(shù)字建筑,信息安全等。
WU Meng was born in 1979.She is a lecture at School of Information and Control Engineering,Xi'an University of Architecture and Technology.Her research interests include digital image processing and management information systems,etc.
吳萌(1979—),女,陜西韓城人,西安建筑科技大學(xué)信息與控制工程學(xué)院講師,主要研究領(lǐng)域為數(shù)字圖像處理,管理信息系統(tǒng)等。
YANG Wenzong was born in 1963.He is an associate research librarian at Shaanxi History Museum.He has been committed to the protection of cultural relics restoration.Cultural relics of protection and restoration include ancient murals,bronze,stone material,etc.
楊文宗(1963—),男,陜西蒲城人,陜西歷史博物館副研究館員,一直致力于文物保護修復(fù)工作,保護修復(fù)的文物種類包括古代壁畫、青銅器、磚石材質(zhì)等。