基于高光譜影像分類線性回歸的古畫污漬虛擬恢復(fù)

周平平，侯妙樂，趙學(xué)勝，呂書強(qiáng)，胡云崗，張學(xué)東，趙恒謙

(1. 中國礦業(yè)大學(xué)（北京） 地球科學(xué)與測(cè)繪工程學(xué)院，北京 100083； 2.北京建筑大學(xué) 測(cè)繪與城市空間信息學(xué)院，北京 100044)

0 引 言

古畫作為中國文化藝術(shù)的重要文化遺產(chǎn)，在長(zhǎng)期的保存過程中，由于自然環(huán)境和人為保存不當(dāng)?shù)纫蛩氐挠绊懀女嬛泻忻棺?、水漬、煙熏、蠅糞、油斑等污漬[1]，模糊了畫作的信息表達(dá)，降低了字畫的藝術(shù)表現(xiàn)力，從而影響其欣賞或收藏價(jià)值。針對(duì)畫作中污漬，傳統(tǒng)的修復(fù)方法主要有物理和化學(xué)方法兩種[1-3]。物理方法主要利用水清洗或者手術(shù)刀輕輕去削，能夠有效地去除蠅糞或者霉變。油斑的去除主要依靠丙酮、乙醚、高錳酸鉀等化學(xué)試劑進(jìn)行氧化和溶解，導(dǎo)致紙絹發(fā)脆甚至粉化，對(duì)文物損傷較大。然而油漬的存在模糊了畫作的信息表達(dá)，降低了字畫的藝術(shù)表現(xiàn)力，如何在不損傷古畫物質(zhì)本身的同時(shí)，對(duì)畫作中被污漬遮擋的隱含信息進(jìn)行有效提取，并盡可能恢復(fù)展現(xiàn)畫作原貌，成為了一個(gè)較難解決的問題。

近年來，高光譜技術(shù)憑借無損檢測(cè)、光譜分辨率高和光譜范圍廣等優(yōu)勢(shì)逐漸應(yīng)用到文物保護(hù)領(lǐng)域中。首先，較高的光譜分辨率使得精細(xì)辨別成為可能，目前已有一系列的關(guān)于顏料識(shí)別分析的研究，并取得了一定的研究進(jìn)展[4-7]。其次，涵蓋較廣的光譜范圍增加了模糊文物信息的探測(cè)能力[8-14]。侯妙樂[8]等利用主成分分析實(shí)現(xiàn)原始數(shù)據(jù)的降維，選出含底稿信息量大的特征波段，并利用最大似然分類法實(shí)現(xiàn)基于特征波段合成影像的壁畫底稿信息提??；Pan等[9]對(duì)敏感波段進(jìn)行歸一化，在此基礎(chǔ)上利用密度分割、閾值分割等方法實(shí)現(xiàn)了褪色壁畫圖案的提??；Legnaioli 等[10]應(yīng)用主成分分析、獨(dú)立成分分析和正交化等統(tǒng)計(jì)方法增強(qiáng)畫作隱含信息，結(jié)果表明正交化是一種高效快速的方法。Emanuele[11]等假設(shè)影像是由反射率不同的每種物質(zhì)線性混合而成，通過主成分分析、獨(dú)立成分分析等方法將信息集中在前幾個(gè)波段，每個(gè)波段表示一種物質(zhì)，以此增強(qiáng)古時(shí)羊皮紙上被抹去的阿基米德手稿信息，為現(xiàn)代歷史學(xué)家研究歷史提供了重要的依據(jù)。然而，以上文獻(xiàn)研究重點(diǎn)主要放在感興趣局部信息的增強(qiáng)或者提取，經(jīng)過處理影像的光譜信息不再具有物理意義，同時(shí)不再保留原始文件的樣貌。而虛擬修復(fù)目的是盡量恢復(fù)整幅影像的原始樣貌。Kamal等[12]根據(jù)模糊的壁畫上某些顏料信息在近紅外波段成像比較清晰，在HSV顏色空間（或YIQ）將近紅外波段圖像與可見光影像進(jìn)行融合，對(duì)整幅影像進(jìn)行增強(qiáng)；Han等[13]基于光譜解混提取了壁畫人物輪廓線顏料純凈端元，然后利用波譜角分類獲得輪廓線，在此基礎(chǔ)上與可見光影像融合，改善了整幅影像的清晰度，以上兩種方法雖然一定程度上恢復(fù)了畫作的原始風(fēng)貌，但是得到的融合結(jié)果會(huì)弱化圖像清晰區(qū)域的圖像質(zhì)量。Seon Joo Kim[10]等雖以保持舊文檔的外觀和感覺為目標(biāo)，使用梯度域方法，對(duì)采集的舊文檔高光譜數(shù)據(jù)進(jìn)行了黃點(diǎn)、墨水侵染痕跡去除，增強(qiáng)了歷史文檔的可讀性；但是與書籍相比，古畫含有多種顏料，對(duì)象更為復(fù)雜，該方法能否適用尚未可知。對(duì)于遭受油斑損害的古字畫，不僅要通過修復(fù)提取被遮擋信息，還要盡可能地去除污漬侵染所引起的字畫藝術(shù)偏差，以期盡可能還原原始字畫的初始樣貌及藝術(shù)表現(xiàn)效果，為后期字畫保護(hù)與修復(fù)提供科學(xué)支撐。

針對(duì)古畫油漬區(qū)域科學(xué)修復(fù)困難，本文提出了一種基于高光譜影像分類線性回歸的古畫油漬虛擬修復(fù)方法。該方法主要針對(duì)污漬區(qū)域真彩色波段像素值進(jìn)行處理，首先建立各類線性回歸方程，利用受污漬影響較小的波段去校正受污漬影響較大的真彩色顯示波段，從而實(shí)現(xiàn)污漬下顏料在真彩色波段的顯示，以提高古畫的鑒賞價(jià)值和藝術(shù)表現(xiàn)力，避免化學(xué)方法對(duì)珍貴文物的損傷。

1 方法原理

油漬區(qū)域虛擬修復(fù)算法流程如圖1所示。

圖1 基于分類線性回歸的古畫虛擬修復(fù)技術(shù)流程圖Fig.1 Technical flowchart of virtual restoration based on classified linear regression

1）基于SVM分類的污漬區(qū)域及無污漬區(qū)域提取

高光譜遙感數(shù)據(jù)大量的光譜波段提供了非常豐富的遙感信息，極大地增加了信息的探測(cè)能力，然而波段的增加，導(dǎo)致了數(shù)據(jù)的高維特征和信息的高冗余性。研究表明，利用高光譜影像進(jìn)行分類時(shí)，必須保證足夠數(shù)量樣本才能達(dá)到較理想的分類效果[15]。支持向量機(jī)（SVM）是適用于小樣本、高維特征的分類器[16]，通過利用其特有的核函數(shù)與懲罰變量技術(shù)，將低維線性不可分映射成高維線性可分，并通過設(shè)置懲罰因子，處理極個(gè)別的離群值的類別歸屬，達(dá)到自動(dòng)識(shí)別的目的，是目前高光譜影像分類常用的方法。本文利用SVM分類器解決小樣本、高維特征問題的優(yōu)勢(shì)，通過在影像中選取顏料、紙和污漬的樣本，對(duì)處理后影像進(jìn)行分類，實(shí)現(xiàn)無污漬區(qū)域各個(gè)種類和污漬信息的提取。

2）基于波譜特征分析的污漬區(qū)域內(nèi)隱含信息提取

污漬往往會(huì)模糊古畫的表達(dá)信息，甚至一定程度上對(duì)古畫信息造成遮擋。如何提取污漬區(qū)域內(nèi)隱含信息成為古畫虛擬修復(fù)的關(guān)鍵。本文通過分析影像各物質(zhì)的波譜特征，尋找受污漬影響小的波段，以分辨污漬區(qū)域內(nèi)各種物質(zhì)。然后通過制作的污漬區(qū)域掩膜，利用人工神經(jīng)網(wǎng)絡(luò)（ANN），以受污漬影響小的波段作為輸入影像，提取污漬區(qū)域內(nèi)的各種物質(zhì)。

3）基于分類線性回歸的污漬去除

利用SVM可以提取影像中無污漬區(qū)域各個(gè)種類信息，獲取各種物質(zhì)的分布區(qū)域。在處理后影像上分別選取各種物質(zhì)一定數(shù)量的樣本，利用這些樣本依次對(duì)真彩色顯示波段與經(jīng)過波譜特征分析確定的受污漬影響較小波段進(jìn)行相關(guān)性分析，其中，受污漬影響較小波段作為自變量，真彩色顯示波段作為因變量。根據(jù)相關(guān)性系數(shù)大小、信噪比以及受污漬影響程度等因素，從受污漬影響較小波段中選取一個(gè)波段作為建立回歸模型的自變量，并建立各種類的線性回歸方程，如式（1）所示。示真彩色顯示波段下第i個(gè)波段，種類j的像素值，aij則表示第i個(gè)波段，種類j回歸方程系數(shù)，bij表示相應(yīng)的截距，X表示自變量，即選取波段的像素值。通過對(duì)自變量和因變量進(jìn)行回歸分析，得到相應(yīng)的回歸方程參數(shù)。

基于分類線性回歸的污漬去除主要思路是通過建立各個(gè)種類的線性回歸方程，利用受污漬影響較小的波段去校正受污漬影響較大的真彩色顯示波段。其中，無油漬區(qū)域像素值保持不變，而油漬區(qū)域根據(jù)公式（1）建立各個(gè)類別所對(duì)應(yīng)的變換方程，預(yù)測(cè)油漬區(qū)域上被遮擋的顏料信息的像素值，對(duì)污漬區(qū)域真彩色波段像素值進(jìn)行替代，以實(shí)現(xiàn)油漬區(qū)域在真彩色波段下隱含信息的虛擬修復(fù)。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)概況

實(shí)驗(yàn)數(shù)據(jù)選取了一幅清代絹本古畫，畫作采用藍(lán)色和黑色水墨顏料為主。畫作上部葉片中部有一處極為明顯的污漬區(qū)域。污漬的存在不僅對(duì)覆蓋區(qū)域下的葉脈紋絡(luò)造成了遮擋，還使得整體芭蕉葉片的色彩原貌展示受到一定影響。

古畫高光譜圖像采集使用美國Themis Vision System公司的高光譜圖像分析系統(tǒng)THEMIS—VNIR/400H，其光譜覆蓋范圍為377.45～1033.10nm，本文從采集的一景古畫數(shù)據(jù)中選取方框部分作為實(shí)驗(yàn)區(qū)域，如圖2所示為實(shí)驗(yàn)數(shù)據(jù)的真彩色顯示，實(shí)驗(yàn)數(shù)據(jù)共1040個(gè)波段，光譜分辨率達(dá)到2.8nm。去除低信噪比波段后，光譜覆蓋范圍為433.57～974.96nm，波段數(shù)為851。

圖2 實(shí)驗(yàn)區(qū)域Fig.2 Experimental area

2.2 實(shí)驗(yàn)數(shù)據(jù)處理

2.2.1 輻射校正及去噪處理

高光譜原始數(shù)據(jù)的校正由光譜儀自帶軟件包自動(dòng)完成，主要包括：原始數(shù)據(jù)輻射強(qiáng)度中暗電流去除，各光譜數(shù)據(jù)通道的增益校準(zhǔn)，波長(zhǎng)訂正等。

校正完成后，數(shù)據(jù)中噪聲仍然比較嚴(yán)重，導(dǎo)致數(shù)據(jù)波譜曲線呈鋸齒狀波動(dòng)和不規(guī)則變化。為了限制數(shù)據(jù)中的隨機(jī)噪聲水平，采用MNF逆變換[17]對(duì)數(shù)據(jù)進(jìn)行平滑處理，以在一定程度上消除光譜曲線誤差。經(jīng)過MNF處理后，影像波段之間的相關(guān)性得到消除，圖像與噪聲能夠相互獨(dú)立。然后再利用MNF逆變換技術(shù)對(duì)MNF變換后的前五個(gè)波段進(jìn)行處理，處理后的影像不僅能夠保留光譜信息，而且能夠很好地抑制影像中噪聲。如圖3所示，經(jīng)過MNF逆變換處理后，影像中波譜曲線毛刺現(xiàn)象得到了明顯的改善。

圖3 MNF逆變換數(shù)據(jù)去噪：a) 原始影像光譜曲線，b）MNF逆變換后影像光譜曲線Fig.3 Data denoising through inverse MNF transform: a）spectral curve before data denoising, b）spectral curve after data denoising

2.2.2 波譜特征分析

通過波譜特征分析識(shí)別污漬區(qū)域內(nèi)的各種物質(zhì)是利用分類回歸進(jìn)行虛擬修復(fù)的基礎(chǔ)。本文利用波譜特征分析，確定能識(shí)別污漬區(qū)域物質(zhì)種類的波段。本文所使用的數(shù)據(jù)中主要含有3種物質(zhì)，即紙、藍(lán)色顏料（繪畫中葉子）和黑色顏料（葉子的脈絡(luò)，墨水）。不同的物質(zhì)具有不同的光譜特征，通過對(duì)比3種物質(zhì)光譜反射率曲線發(fā)現(xiàn)，3種物質(zhì)的光譜特征差異較大，如圖4所示，紙反射率整體較高，藍(lán)色顏料反射率次之，黑色顏料反射率最低。其中，黑色顏料整體光譜特征與另外兩種物質(zhì)反差較大，易于區(qū)分；紙和藍(lán)色顏料在474.21～724.60nm區(qū)間光譜差異較大，具有較好的可分性，而在724.60nm～近紅外波段區(qū)間內(nèi)兩者光譜比較接近。而污漬區(qū)域由于受到油漬的影響，導(dǎo)致各種物質(zhì)的反射率整體偏低，并呈現(xiàn)以下規(guī)律：①在433.57～702.28nm區(qū)間受油漬影響較大，波譜曲線基本一致，此時(shí)無法辨別各種物質(zhì)，如圖5a所示；②在702.28nm以后的區(qū)間，隨著波長(zhǎng)的增加，油漬影響逐漸減弱，油漬下物質(zhì)逐漸隱現(xiàn)，如圖5中b和c所示。因此鑒于選擇波段需要具備以下兩種條件：①3種物質(zhì)具有可分性，②受油漬的影響較小，選擇波段465（724.60nm）作為確定油漬區(qū)域種類。但該波段下顯示油漬覆蓋區(qū)域只有兩種物質(zhì)，即藍(lán)色顏料和墨色顏料，因此選擇的波段只要波長(zhǎng)大于702.28nm即可。

圖4 物質(zhì)光譜反射率曲線圖Fig.4 The spectrum of blue pigment, dark pigment and paper

圖5 污漬區(qū)域物質(zhì)在不同波段的顯示Fig.5 The display of oil stains at diあerent bands

2.2.3 分類線性回歸模型建立

綜合考慮遙感影像各波段與真彩色顯示波段（波段45、192、334）的線性關(guān)系、信噪比以及受污漬影響程度，本文選擇使用高光譜影像中第492波段（741.82 nm）作為自變量，分別與3個(gè)真彩色顯示波段進(jìn)行相關(guān)性分析。由于不同物質(zhì)的亮度值變化并非呈一致的變化趨勢(shì)，利用整幅影像進(jìn)行相關(guān)性分析，建立準(zhǔn)確的回歸模型較為困難。從波段間的相關(guān)性系數(shù)來看，見表1，不同波段間相關(guān)性存在較大差異，其中，492波段與45、192波段相關(guān)性較好，與334波段相關(guān)性較差。圖6為以492波段為自變量，與其他各波段的散點(diǎn)圖。

表1 492波段與其他波段之間的相關(guān)系數(shù)和標(biāo)準(zhǔn)誤差Tab.1 The correlation coeきcient and standard deviation between the band 492 and other bands

圖6 黑色顏料各波段與492波段反射率線性關(guān)系散點(diǎn)圖Fig.6 Scatter plots of spectral reflectance between the band 492 and other bands of black pigment

考慮到不同物質(zhì)在不同波段上具有不同的變化規(guī)律，可以對(duì)不同類型的物質(zhì)分別采取不同的線性變化方程，從而提高回歸模型的準(zhǔn)確性。在分類后的影像上分別隨機(jī)選取黑色顏料、藍(lán)色顏料和紙575、812、400個(gè)樣本點(diǎn)進(jìn)行相關(guān)性分析。從相關(guān)性系數(shù)來看，見表2，相關(guān)性有了明顯的提高，尤其是黑色顏料相關(guān)系數(shù)高達(dá)0.86以上，表3為各波段各物質(zhì)的標(biāo)準(zhǔn)差。

表2 影像分類后各個(gè)類別之間的相關(guān)系數(shù)Tab.1 The correlation coeきcient between the band 492 and other bands after the classification

表3 像分類后各個(gè)類別之間的標(biāo)準(zhǔn)誤差Tab.3 The standard deviation between the band 492 and other bands after the classification

2.3 虛擬修復(fù)實(shí)驗(yàn)結(jié)果及分析

利用以上所研究的修復(fù)技術(shù)，對(duì)影像中污漬區(qū)域進(jìn)行處理，其中，無污漬區(qū)域像素值保持不變，污漬區(qū)域像素值則由回歸模型得到的值進(jìn)行替代，最終獲得影像如圖7a所示。從最終影像效果中可以看出，經(jīng)過層層處理后，污漬的影響逐漸被減弱。

修復(fù)后的影像與原始影像相比，污漬下被遮擋的顏料信息得以顯現(xiàn)，影像中黑色顏料信息均能夠較好地顯現(xiàn)出來，葉脈紋絡(luò)得到了很好的展現(xiàn)。分類回歸處理由于考慮到各類物質(zhì)在不同波段的對(duì)應(yīng)關(guān)系，因此對(duì)色彩還原效果更顯著，如圖7b所示，這種色彩的還原效果在縱觀整個(gè)畫作的尺度上體現(xiàn)更為明顯，如圖7d所示。對(duì)比污漬污染作品原始影像如圖7c所示和分類回歸的修復(fù)影像如圖7d所示，可以明顯地看出，污漬下的隱藏信息在得到了提取展示的同時(shí)，污漬處的色調(diào)也得到了很好的還原。總體來講，利用分類回歸處理能夠有效去除污漬對(duì)字畫的影響。

圖7 實(shí)驗(yàn)結(jié)果Fig.7 Experimental results

信息熵反映了圖像的信息含量，其值越大，信息越豐富。本文采用均值、方差和信息熵等常用影像質(zhì)量綜合評(píng)價(jià)指標(biāo)對(duì)影像進(jìn)行定量化分析見表4。各個(gè)波段的平均值都有所增加，這是因?yàn)槲镔Y信息的存在，導(dǎo)致藍(lán)色顏料反射率在可見光波段降低，黑色顏料反射率在可見光波段升高，而污漬區(qū)域內(nèi)主要物質(zhì)是藍(lán)色顏料，所以處理后的均值有所提高。本文實(shí)驗(yàn)結(jié)果中方差、信息熵與文獻(xiàn)[18]中去霧結(jié)果相反，可能是因?yàn)樵茖訉?duì)底層地物起到了模糊的效果，經(jīng)過云霧去除，各種地物包括草地、建筑、水體等細(xì)節(jié)信息得以顯現(xiàn)，所以無論是方差還是信息熵都在一定程度上增加；而在本文中，污漬作為畫作中的物質(zhì)，經(jīng)過處理后，該信息在很大程度上得到抑制，所以使得在定量化分析中，并未出現(xiàn)方差和信息熵增大的情況。

表4 處理結(jié)果比較Tab.4 The result comparison before and after restoration

3 結(jié)束語

本文利用古畫高光譜數(shù)據(jù)紅波段、近紅外波段對(duì)油漬污染不敏感的特點(diǎn)，通過建立各個(gè)物質(zhì)的分類線性回歸方程，對(duì)污漬污染古畫隱含信息的提取技術(shù)方法進(jìn)行了研究。該修復(fù)方法能夠在不損傷原作實(shí)體物質(zhì)的同時(shí)，對(duì)受污漬影響較大的真彩色波段進(jìn)行修復(fù)，在盡量地保持了古畫原有的色彩基礎(chǔ)上，有效地提取了被油漬遮擋的隱含信息，并一定程度地恢復(fù)了畫作原貌。

本文修復(fù)方法主要是利用了污漬、畫作顏料信息的光譜差異，而對(duì)于光譜更為復(fù)雜的情況，修復(fù)效果可能會(huì)受到限制，這有待于進(jìn)一步研究和探討。另外，本文只是針對(duì)真彩色顯示下3個(gè)波段的影像進(jìn)行了修復(fù)，因此，對(duì)于其他各個(gè)可見光波段還需要進(jìn)一步的研究。