基于多階段優(yōu)化的壁畫圖像色彩還原

徐志剛，陳士成，朱紅蕾

蘭州理工大學 計算機與通信學院，蘭州 730050

敦煌壁畫作為多種文化碰撞形成的人類藝術文化瑰寶，是中國最重要的文化遺產(chǎn)之一。這些創(chuàng)作于公元4世紀至14世紀的壁畫，受自然環(huán)境、人類活動、微生物破壞等因素的影響，普遍出現(xiàn)因圖層破損脫落、顏料降解變質(zhì)等原因而產(chǎn)生的色彩褪變問題。這些色彩褪變給敦煌壁畫的研究和展示工作造成了諸多干擾。因此，積極開展壁畫圖像的色彩還原研究具有重要價值和意義。

傳統(tǒng)壁畫復原主要采用臨摹的方法修補壁畫缺損區(qū)域并進行色彩還原。這類方法需要專業(yè)修復師進行繁復細致的手工作業(yè)。復原過程復雜且效率低下，難以充分滿足壁畫研究與展示工作的客觀性和時效性要求。因此，借助圖像色彩處理技術開展壁畫色彩還原逐步成為了壁畫復原研究的一個熱點。

壁畫圖像色彩還原方法根據(jù)修復流程及其使用技術的區(qū)別可以分為兩類：基于傳統(tǒng)圖像處理的方法和基于深度學習的方法。

傳統(tǒng)方法首先提取壁畫圖像內(nèi)容描述信息和色彩描述信息，然后建立基于規(guī)則和框架的圖像內(nèi)容和色彩映射關系，最后借助內(nèi)容和色彩的映射關系進行色彩還原。魏寶剛等[1]提出使用圖像處理技術提取壁畫圖像語義對象，建立起基于框架和規(guī)則的知識表示和推理系統(tǒng)還原壁畫色彩。Reinhard等[2]提出的基于圖像信息二階統(tǒng)計量的色彩遷移方法也被應用于壁畫色彩還原。趙國英等[3]在此基礎上提出使用高階矩獲取圖像中的非線性結構信息來改善色彩還原的視覺質(zhì)量，彌補二階統(tǒng)計量對圖像中局部性、方向性和帶通性等非高斯性結構信息表述不足的問題。林怡等[4]提出基于知識的圖像處理方法應用于敦煌壁畫色彩還原中。李宣妮等[5]分析了古代壁畫常用繪畫顏料及其褪變色原因，提出基于中國傳統(tǒng)五行色的壁畫色彩還原方法?；趥鹘y(tǒng)圖像處理的色彩還原方法普遍依賴常規(guī)的數(shù)字圖像處理方法，比如圖像色彩空間變換、直方圖均衡化、邊緣檢測、閾值分割等。這容易導致提取到的特征難以建立更深層次的映射關系，從而限制了壁畫圖像的色彩還原效果。

基于深度神經(jīng)網(wǎng)絡的方法是近年來迅速發(fā)展的一類圖像色彩還原方法。這類方法根據(jù)訓練方式的不同可以劃分為監(jiān)督類型和無監(jiān)督類型。Zhang等[6]提出將圖像著色任務轉換為自監(jiān)督學習任務，通過學習大規(guī)模數(shù)據(jù)集中圖像語義特征與色彩信息對應關系來預測圖像的色彩信息。但是，對于圖像樣本種類多，并且單類別樣本數(shù)量少的情形，利用該方法難以建立起更準確的語義色彩映射關系。Gatys等[7]提出基于迭代優(yōu)化的圖像風格化方法。徐志剛等[8]使用最大均值差異和馬爾可夫隨機場損失約束基于迭代優(yōu)化的圖像風格遷移方法進行壁畫色彩還原，雖然能夠進行色彩還原，但是不能充分還原圖像中的紋理細節(jié)。He等[9]利用編碼器-解碼器網(wǎng)絡構造端到端的圖像生成網(wǎng)絡，能夠利用參考圖像與內(nèi)容圖像之間的語義關聯(lián)對壁畫內(nèi)容進行色彩還原，具有較好的色彩恢復效果。Xu等[10]在編碼器-解碼器中引入自適應實例規(guī)范化方法[11]將參考圖像的特征風格遷移到內(nèi)容圖像中，但缺少對語義信息的一致性約束，容易出現(xiàn)假色現(xiàn)象。Blanch等[12]提出構造生成對抗網(wǎng)絡用于圖像的著色及色彩遷移，但該方法需要大量的完整壁畫圖像構造數(shù)據(jù)集并進行訓練。Park等[13]提出基于風格注意力的圖像遷移框架也被用于圖像轉換任務中。Su等[14]將圖像分割方法引入圖像著色中，用以提升圖像中對象實例的色彩還原效果，但該方法的還原效果易受實例分割精度的影響。曹建芳等[15]提出使用全卷積網(wǎng)絡提取深度圖像特征，并構建基于生成對抗網(wǎng)絡的壁畫圖像重建模型。Wang等[16]提出基于CycleGAN的壁畫圖像重建方法，通過對高分辨率壁畫進行裁剪來學習不同圖像域轉換的能力，使模型具備較好的泛化能力。

基于深度神經(jīng)網(wǎng)絡的方法在針對自然圖像的色彩還原處理中取得了良好的效果。但是，壁畫圖像與自然圖像存在較大差異。首先，壁畫圖像經(jīng)受復雜退化因素的長期影響。很多壁畫圖像的語義內(nèi)容和色彩信息已經(jīng)發(fā)生較大改變。這些問題增加了深度神經(jīng)網(wǎng)絡提取壁畫圖像語義特征及色彩信息的困難。其次，基于深度神經(jīng)網(wǎng)絡的方法采用堆疊卷積層、擴張卷積、殘差連接等方法擴大語義感受野來獲取更豐富的語義特征。但是，在處理壁畫圖像時，受圖像尺度信息不足和噪聲等因素的影響，這些方法難以獲取更加豐富的語義特征。再次，為了提升神經(jīng)網(wǎng)絡的信息提取與表征能力，這些方法常采用更深層的網(wǎng)絡。但網(wǎng)絡過深會導致訓練過程不穩(wěn)定。因此，探索適用于壁畫圖像的色彩還原方法是非常必要的。

針對上述分析，本文提出一種基于多階段優(yōu)化的壁畫圖像色彩還原方法。該方法使用高斯核函數(shù)構建壁畫圖像高斯金字塔來獲取壁畫圖像的多尺度表示，利用尺度信息約束褪化壁畫的復原過程；并且設計基于編碼器-解碼器網(wǎng)絡的遷移子網(wǎng)，使用并行非局部注意機制建立褪化壁畫與參考壁畫的語義映射關系對不同尺度表示的褪化壁畫圖像進行色彩還原。然后構造跨尺度特征融合模塊，采用Coarse-to-Fine的優(yōu)化策略，利用多階段網(wǎng)絡模型逐步優(yōu)化圖像色彩還原結果。實驗分析表明，本文方法能夠抑制褪化壁畫圖像噪聲對還原結果的影響，消除還原圖像的輪廓偽影和色彩混疊，在有效還原壁畫色彩的同時能較好地保持褪變色壁畫圖像的邊緣紋理信息。

1 算法描述

本文提出的基于多階段優(yōu)化的壁畫色彩還原網(wǎng)絡由三個階段的網(wǎng)絡構成（如圖1所示）。每個階段的網(wǎng)絡由圖像編碼模塊、基于編碼器-解碼器網(wǎng)絡的遷移子網(wǎng)和圖像解碼模塊構成。在這三個階段的網(wǎng)絡中，與第一階段網(wǎng)絡不同的是，后兩個階段的網(wǎng)絡中加入了跨尺度特征融合模塊。

圖1 基于多階段優(yōu)化的壁畫色彩還原網(wǎng)絡框架Fig.1 Network of mural color restoration via multi-stage optimization

本文網(wǎng)絡與使用單尺度圖像進行色彩還原的單階段網(wǎng)絡[10]不同。首先，本文方法使用高斯核函數(shù)平滑原尺度壁畫圖像中的噪聲，同時使用雙三次插值降采樣獲取壁畫圖像的多尺度表示；其次，本文的多階段網(wǎng)絡通過級聯(lián)多個編碼器-解碼器子網(wǎng)增強模型容量，每個階段的子網(wǎng)處理不同尺度的圖像特征；此外，不同階段的子網(wǎng)間使用跨尺度特征融合模塊建立聯(lián)系。

原尺度壁畫圖像經(jīng)過高斯模糊能夠平滑大部分的噪點，不會引入冗余信息；而使用降采樣方法可以獲取壁畫圖像的多尺度表示，利用不同尺度表示間的結構關聯(lián)可以在不同尺度上描述圖像的局部特征，進而可以利用尺度信息約束壁畫圖像的復原過程，保證壁畫圖像復原結果的一致性。

本文網(wǎng)絡的階段數(shù)由圖像金字塔的層數(shù)確定，從圖像金字塔的小尺度圖像到原尺度圖像，逐級對應不同階段的網(wǎng)絡。圖像金字塔層數(shù)越多，小尺度圖像的結構信息越模糊，不利于圖像內(nèi)容的結構重建；而層數(shù)越少，不能有效平滑原尺度圖像中的不規(guī)則噪聲，影響壁畫圖像復原效果。經(jīng)過實驗分析，本文使用三層圖像金字塔。

本文網(wǎng)絡的輸入是一對壁畫圖像：褪變色壁畫圖像和參考壁畫圖像。輸入的圖像使用高斯核函數(shù)生成高斯金字塔：原尺度圖像、1/2尺度圖像、1/4尺度圖像。由于1/4尺度圖像更容易捕獲圖像全局特征，因此使用1/4尺度圖像作為第一階段還原網(wǎng)絡的輸入，并生成褪化圖像的粗度還原結果。第二階段網(wǎng)絡重建1/2尺度圖像。此外，跨尺度特征融合模塊利用第一階段獲取的粗度語義信息約束第二階段還原圖像的局部語義一致性，并將第一階段的粗度還原信息引入第二階段的重建圖像中。類似的，第三階段網(wǎng)絡利用第二階段的還原結果重建并優(yōu)化原尺度圖像的色彩信息和結構紋理細節(jié)。

1.1 圖像編碼模塊

1.1.1 高斯金字塔

由于壁畫圖像通常包含高頻噪聲，為了減少噪聲對壁畫圖像局部和全局特征提取的影響，本文使用高斯核函數(shù)（GaussKernel）對輸入的褪化圖像和參考圖像進行模糊和降采樣處理。獲取壁畫圖像I的多尺度表示{I1,I1/2,I1/4,…},即原尺度圖像、1/2尺度圖像、1/4尺度圖像等。

式中，I表示輸入圖像，GaussKernel表示高斯核函數(shù)，{I1,I1/2,I1/4,…}是輸入圖像的多尺度表示。

如圖2所示，對圖像金字塔中的不同尺度圖像特征進行可視化可以發(fā)現(xiàn)，當高斯模糊和降采樣達到1/4尺度時，可以有效地平滑圖像中的大部分不規(guī)則噪聲，同時也可以保留圖像的基礎結構信息；但是進一步執(zhí)行高斯模糊和雙三次插值降采樣至1/8尺度時，圖像中的小部分局部結構已經(jīng)發(fā)生了不可逆的損害，當使用這些局部結構發(fā)生變化的小尺度圖像作為先驗信息復原壁畫圖像時，會使復原效果大打折扣。因此，本文網(wǎng)絡使用{I1,I1/2,I1/4}尺度構建圖像金字塔進行壁畫圖像復原。

圖2 圖像金字塔特征可視化Fig.2 Feature visualization of image pyramids

1.1.2 低級視覺特征提取

為了減少噪聲對捕獲壁畫圖像語義特征的影響，本文使用卷積層和通道注意力構建淺層特征提取塊（shallow feature block，SFB）提取圖像的低級視覺特征。該模塊由三個卷積層與通道注意力塊（channel attention block，CAB）間隔構成。單層小卷積核僅能獲取壁畫中的邊緣、角點等基元，而使用三個3×3卷積核級聯(lián)可以得到7×7的語義感受野，同時在卷積層之間加入通道注意力層可以獲得更豐富的低級視覺特征。如圖3所示。公式表示為：

圖3 圖像編碼模塊Fig.3 Image encoding block

式中，{F1,F1/2,F1/4}表示多尺度圖像的特征表示。

1.2 跨尺度特征融合模塊

考慮到卷積層對于捕獲壁畫圖像全局特征的不足，本文設計了基于Non-Local[17]的跨尺度特征融合模塊，如圖4所示。通過Non-Local模塊建立相鄰階段圖像特征間的相似性依賴，使用小尺度圖像的語義特征約束較大尺度圖像特征的局部語義一致性，從而進一步抑制低層圖像特征中的噪聲。

圖4 跨尺度語義約束Fig.4 Cross scale semantic constraints

對于相鄰階段的輸入圖像，其尺度變化比例為1/2。在使用相同數(shù)量卷積層獲取圖像特征時，小尺度圖像能夠獲取具有更大語義感受野的圖像特征，能夠有效減少高頻噪聲對捕獲全局語義特征的影響。

式中，Wq、Wk和Wv分別是Query、Key和Value特征空間的可學習權重矩陣，d是特征圖的維度。

式中，F(xiàn)Fusion是的融合特征，A表示與相關的語義特征。

1.3 遷移子網(wǎng)及圖像解碼模塊

遷移子網(wǎng)由編碼器、色彩遷移模塊和解碼器構成，如圖5所示。首先，通過編碼器獲取壁畫圖像特征的多級語義特征。其次，在色彩遷移模塊中將參考壁畫圖像的色彩信息遷移到褪化壁畫圖像特征中。最后，通過解碼器還原壁畫圖像特征。

圖5 遷移子網(wǎng)Fig.5 Transfer subnet

編碼器采用與VGG-16網(wǎng)絡相似的結構，使用三個卷積段，每個卷積段由三個卷積層和一個激活層構成。卷積段之間使用池化層降低特征尺寸，以獲取圖像特征的多級語義表示。解碼器與編碼器呈鏡像對稱結構。本文構建了基于風格注意力[14]的色彩遷移模塊。在該模塊中，分別從圖像特征的通道域和空間域對褪化壁畫進行色彩還原。

在通道域中，使用降采樣因子r對壁畫圖像特征進行降采樣，通過計算降采樣后的參考壁畫與褪化壁畫特征間的通道相關性Cchannel∈RC×C，從參考壁畫中引入通道域參考特征Fchannel：

式中，表示降采樣后的壁畫特征，F(xiàn)R表示參考壁畫特征。

在空間域中，使用1×1卷積將褪化壁畫特征和參考壁畫特征分別映射為嵌入特征f(FC)、g(FR)、h(FR)。然后計算褪化壁畫與參考壁畫的嵌入特征(f(FC),g(FR))間的空間相似性矩陣Cspatial∈RHW×HW，從參考壁畫中引入空間域參考特征Fspatial：

式中，C表示褪化壁畫，R表示參考壁畫，T表示轉置操作。

最后，融合通道域與空間域的參考特征(Fspatial,Fchannel)對褪化壁畫特征FC進行色彩還原。獲得還原后的褪化壁畫特征：

式中，Conv(?)表示特征(Fspatial,Fchannel,FC)在通道維度拼接（concat）后，使用卷積層降低通道維數(shù)。

遷移子網(wǎng)的輸出分別作為下一階段遷移子網(wǎng)的語義先驗信息和反卷積模塊的輸入。作為先驗信息時，將上采樣與下一階段的褪化圖像特征拼接，然后作為下一階段遷移子網(wǎng)輸入。作為反卷積模塊的輸入時，使用反卷積操作將映射到圖像域，生成還原圖像并與同尺度的源圖像計算損失。

1.4 損失函數(shù)

本文提出的網(wǎng)絡采用端到端的方式生成還原壁畫圖像。在訓練網(wǎng)絡模型時，使用以下?lián)p失函數(shù)優(yōu)化網(wǎng)絡模型參數(shù)：

式中，Lcontent、Ledge分別表示還原壁畫圖像與褪化壁畫圖像之間的內(nèi)容損失和邊界損失，Lstyle表示還原壁畫圖像與參考壁畫圖像之間的風格損失，LTV表示還原壁畫圖像的全變分損失，α、β分別表示風格損失和全變分損失的權重參數(shù)。計算內(nèi)容損失Lcontent和風格損失Lstyle時，本文使用預訓練分類網(wǎng)絡VGG-16的卷積層作為圖像特征編碼器并計算損失函數(shù)。

1.4.1 內(nèi)容損失

內(nèi)容損失函數(shù)表示為：

式中，i表示VGG預訓練網(wǎng)絡的卷積層，I表示輸入圖像，表示I輸入VGG網(wǎng)絡獲取的第i個卷積層的特征圖，CiHiWi表示第i層特征圖的尺寸。

1.4.2 風格損失

壁畫圖像特征的紋理及色彩信息使用Gram矩陣表示，公式表示為：

式中，表示第l層特征圖中第i個卷積核對應的第k個響應值，表示第l層特征圖的Gram矩陣元素值。

計算還原壁畫圖像與參考壁畫圖像之間的風格損失時，使這兩幅圖像的Gram矩陣間的歐氏距離盡可能?。?/p>

式中，表示參考壁畫圖像第l層特征圖的Gram矩陣，N2、M2分別表示第l層特征圖和Gram矩陣的尺寸，El表示第l層特征Gram矩陣的損失，ωl表示第l層Gram矩陣損失權重。

1.4.3 邊緣損失

為了增強還原壁畫圖像的語義邊緣信息，使用邊緣損失函數(shù)優(yōu)化網(wǎng)絡模型：

式中，Δ表示拉普拉斯濾波，ε=10-3用于穩(wěn)定模型的訓練過程。

1.4.4 全變分損失（total variation loss）

褪化壁畫圖像中包含的噪聲和邊緣紋理缺失可能會擾亂還原圖像中的紋理，造成還原圖像觀感上不自然。本文在損失函數(shù)中加入總變差損失LTV平滑圖像紋理，緩解噪聲以及壁畫圖像缺損造成的偽影現(xiàn)象：

式中，表示還原圖像中的第(i,j)位置的像素值。

2 實驗設置與結果分析

為了驗證本文方法的有效性，本文設計以下實驗進行論證。首先對不同階段的還原結果進行對比分析，驗證多階段方法的可行性；其次，對跨尺度特征融合模塊進行消融實驗，驗證模塊的有效性；最后，選取經(jīng)典的圖像色彩還原和風格遷移方法進行對比實驗。

2.1 實現(xiàn)過程

本文網(wǎng)絡采用WikiArt數(shù)據(jù)集[19]和壁畫圖像數(shù)據(jù)集進行訓練。首先，使用WikiArt數(shù)據(jù)集進行預訓練，其次使用壁畫數(shù)據(jù)集對網(wǎng)絡進行微調(diào)。WikiArt數(shù)據(jù)集包含近8萬張各種流派的藝術圖像。通過調(diào)整原始圖像的色調(diào)和飽和度并添加高斯噪聲模擬生成褪化圖像，與源圖像構成圖像對訓練網(wǎng)絡。壁畫數(shù)據(jù)集中的圖像源于網(wǎng)絡資源和壁畫相關書籍[20-21]，共包含935對高分辨率壁畫圖像，每對圖像包括褪化圖像和參考圖像。使用壁畫訓練網(wǎng)絡時，將壁畫數(shù)據(jù)集劃分為800對訓練集和135對測試集。訓練集使用旋轉、裁剪、縮放等操作增強至5 000對圖像，然后調(diào)整到（512×512）尺寸訓練網(wǎng)絡。

本文網(wǎng)絡模型基于Pytorch框架實現(xiàn)。在訓練階段，使用Adam優(yōu)化器，初始學習率設置為1×10-4，使用余弦退火策略穩(wěn)定下降到1×10-6，批量大小設置為4，訓練50個epoch。使用壁畫圖像數(shù)據(jù)集優(yōu)化模型時，使用Adam優(yōu)化器，初始學習率設置為1×10-4，每500次迭代將學習率減小為上次迭代學習率的90%，逐步降低學習率。

實驗分析中使用全參考圖像質(zhì)量評價指標PSNR、SSIM和無參考圖像質(zhì)量評價指標NIQE[22]、BRISQUE[23]。其中，PSNR和SSIM用于評價還原圖像與原圖像的低級視覺差異，評價值越高，還原圖像與源圖像越相似。NIQE和BRISQUE使用壁畫數(shù)據(jù)集進行預訓練，用于對還原壁畫圖像質(zhì)量進行評價。評價值越低表示還原壁畫圖像質(zhì)量更接近壁畫原始風貌。

2.2 多階段色彩還原結果評價

本文提出的網(wǎng)絡框架包含三個不同階段的圖像色彩還原網(wǎng)絡。為了驗證多階段網(wǎng)絡模型逐級優(yōu)化的可行性。本節(jié)對模型中不同階段遷移子網(wǎng)的還原結果進行對比分析。

褪化壁畫圖像逐級還原結果如圖6所示。由圖中可以看出，第一階段對褪化圖像I1/4進行粗度著色，減少噪聲與圖像紋理混淆造成的偽影問題，如圖6（c）第一行中菩薩的蓮臺和圖6（c）第二行天女的面部五官色彩更平滑且噪聲極少；階段二在階段一粗度著色的基礎上對褪化圖像I1/2進行色彩還原，引入了部分紋理，如圖6（d）第二行中蓮花花瓣和圖6（d）第三行中蓮臺花邊等紋理信息；階段三繼續(xù)在階段二的基礎上對褪化圖像I進行色彩和紋理細化，生成最終的還原結果。

圖6 各階段壁畫色彩還原結果Fig.6 Color restoration results of murals in each stage

階段一到階段三還原圖像的客觀評價指標如表1所示。在逐階段的優(yōu)化過程中，還原圖像的PSNR、SSIM值逐步提升，并且無參考評價指標NIQE、BRISQUE逐步降低，說明圖像質(zhì)量逐步提升。表明多階段網(wǎng)絡逐級優(yōu)化還原壁畫圖像色彩方法是可行且有效的。

表1 各階段還原壁畫客觀評價Table 1 Objective evaluation of restored murals

2.3 消融實驗

為了驗證本文方法中跨尺度特征融合模塊的有效性，本文進行以下的消融實驗：使用雙三次插值上采樣模塊代替本文網(wǎng)絡的跨尺度特征融合模塊并與本文網(wǎng)絡進行對比。消融實驗結果如圖7所示。其中，圖7（a）為參考壁畫，圖7（b）為臨摹壁畫，圖7（c）為上采樣模塊的還原圖像，圖7（d）為跨尺度特征融合模塊的還原圖像。

圖7 模塊消融實驗Fig.7 Results of ablation experiment

從圖7中可以看到，雙三次插值上采樣模塊缺失多尺度語義信息約束并不能減少褪化圖像中的噪聲，如圖7（c）第一行中燃燈菩薩手捧油燈、圖7（c）第二行中天女發(fā)帶和圖7（c）第三行嫁娶圖中新郎的下頜等位置，高頻噪聲明顯。而跨尺度特征融合模塊可以有效抑制高頻噪聲，并且該模塊能夠約束局部區(qū)域內(nèi)的語義一致性，提升壁畫還原質(zhì)量。

模塊消融實驗的客觀評價如表2所示。當使用雙三次插值上采樣模塊代替跨尺度特征融合模塊時，NIQE值上升3.695 1，BRISQUE值上升了1.315 9。這意味著還原圖像的質(zhì)量變差了。而跨尺度特征融合模塊的還原圖像PSNR、SSIM評價指標值更高；并且NIQE、BRISQUE指標更低，圖像質(zhì)量更好。

表2 消融實驗圖像客觀評價Table 2 Objective evaluation of ablation experimental images

2.4 對比實驗

本節(jié)對褪化壁畫色彩還原結果進行對比實驗。為了對比實驗的有效性，本文使用具有代表性的Reinhard方法[2]、AdaIN方法[11]、SANet方法[13]、StyleFormer方法[24]與本文方法進行對比。

2.4.1 臨摹褪化壁畫圖像色彩還原

臨摹壁畫通常遵循原始壁畫的紋理風格進行描繪。這類壁畫避免了真實壁畫中存在的大量噪聲，具有更清晰的紋理結構。

本節(jié)實驗使用臨摹壁畫進行對比分析，臨摹壁畫圖像的還原結果如圖8所示。其中，圖8（a）為參考壁畫，圖8（b）為臨摹壁畫，圖8（c）～（f）為對比方法還原圖像，圖8（g）為本文方法還原圖像。

圖8 臨摹壁畫色彩還原對比實驗Fig.8 Comparative experiment of color restoration of copied murals

從圖8中可以看到，Reinhard方法僅從統(tǒng)計信息的角度改變圖像的色彩信息，容易出現(xiàn)色彩不準確的問題，如圖8（c）第一行平棋中的背景色偏差較大。AdaIN方法不能有效保持圖像的紋理結構，圖8（d）第一行中平棋邊緣結構模糊。SANet方法在進行語義特征映射時缺少一致性約束，如圖8（e）第三行中菩薩的面部及發(fā)髻部位出現(xiàn)色彩混疊現(xiàn)象。StyleFormer方法所采用的特征分組和多頭注意力機制相結合的方式可以減少色彩混疊現(xiàn)象，但是圖像邊緣易出現(xiàn)偽影，如圖8（f）第三行菩薩發(fā)冠紋理邊緣存在偽影。本文方法在有效減少噪聲影響的同時能夠對圖像色彩進行語義一致性約束。如圖8（g）第一行平棋及圖8（g）第三行菩薩發(fā)髻邊緣都具有可觀的還原效果。

臨摹壁畫圖像色彩還原結果的客觀評價如表3所示。在缺少未褪化壁畫圖像做參考的情況下，全參考圖像質(zhì)量評價指標僅使用SSIM衡量還原圖像與褪化圖像間的結構相似性?？梢钥吹?，Reinhard方法的SSIM值最高，這是由于該方法進行基于統(tǒng)計信息的色彩還原時，對于圖像中的噪聲、色彩梯度不平滑等問題并未進行有效處理。也使得該方法的NIQE值和BRISQUE值明顯偏高。AdaIN方法和SANet方法雖然降低了NIQE、BRISQUE指標值，但SSIM值變化較大，圖像紋理信息有較大的損失。StyleFormer方法在未造成過多壁畫信息丟失的情況下提升還原壁畫質(zhì)量。而本文方法在保留壁畫紋理結構的條件下能夠有效減少高頻噪聲并提升還原壁畫質(zhì)量。雖然SSIM指標次優(yōu)，但NIQE、BRISQUE指標均高于對比方法。

表3 臨摹壁畫圖像色彩還原客觀評價Table 3 Objective evaluation of color restoration of copied mural images

2.4.2 真實褪化壁畫圖像色彩還原

真實壁畫相較于臨摹壁畫具有更復雜的褪化現(xiàn)象。本節(jié)實驗使用真實壁畫圖像進行色彩還原對比實驗，結果如圖9所示。其中，圖9（a）為參考圖像，圖9（b）為真實壁畫，圖9（c）～（f）為對比方法還原圖像，圖9（g）為本文方法還原圖像。從圖9中可以看到，Reinhard方法并未改變壁畫中的噪聲信息，如圖9（c）第一行周利般特菩薩和圖9（c）第二行鳩摩羅天菩薩的圓光部位噪聲明顯。AdaIN方法和SANet方法對噪聲非常敏感，在獲取圖像特征和還原圖像時容易出現(xiàn)偽影和假色，如圖9（e）第一行菩薩圓光出現(xiàn)偽影和假色。StyleFormer方法易出現(xiàn)局部紋理丟失的現(xiàn)象，如圖9（f）第一行飛天的耳環(huán)結構信息丟失。本文方法受噪聲和缺損區(qū)域影響較小，在維持圖像原始結構紋理的同時能夠根據(jù)參考信息還原圖像色彩，如圖9（g）中菩薩圓光及飛天都具有較好的還原效果。

圖9 真實壁畫色彩還原對比實驗Fig.9 Comparative experiment of color restoration of real murals

真實壁畫色彩還原客觀評價如表4所示?？梢钥吹剑琑einhard方法的表現(xiàn)與針對臨摹壁畫圖像的處理結果類似。AdaIN方法和SANet方法SSIM值較低，意味著還原圖像中丟失了較多的紋理信息。StyleFormer方法采用特征分組映射可以建立更準確的語義映射，降低了無參考圖像評價指標值，且SSIM值稍有提升。而本文方法通過建立多尺度語義映射并采用多階段優(yōu)化策略進一步提高SSIM值，無參考評價指標也有所降低，整體還原圖像質(zhì)量有提升。

表4 真實壁畫圖像色彩還原客觀評價Table 4 Objective evaluation of color restoration of real mural images

3 結論

針對壁畫圖像色彩還原過程中由高頻噪聲等引起的語義邊緣偽影和色彩混疊問題，本文提出一種基于多階段優(yōu)化的壁畫圖像色彩還原方法。該方法使用高斯核函數(shù)獲取壁畫圖像的多尺度表示；其次，提出基于編碼器-解碼器的遷移網(wǎng)絡并以級聯(lián)的方式構建多階段網(wǎng)絡，采用Coarse-to-Fine的優(yōu)化策略，逐階段優(yōu)化還原壁畫圖像色彩，克服噪聲引起的邊緣偽影問題。此外，構建跨尺度特征融合模塊，利用多尺度語義信息來約束圖像特征的語義色彩一致性，減少色彩混疊。實驗分析表明，本文提出的基于多階段優(yōu)化的壁畫色彩還原網(wǎng)絡模型能夠有效的減少壁畫圖像色彩還原過程中的噪聲影響，避免偽影、色彩混疊等問題。相較于其他方法，本文方法能夠較好地保持壁畫圖像原始結構并對褪變色區(qū)域進行色彩還原。