基于雙參考優(yōu)化的壁畫圖像色彩還原

徐志剛，張聰

（蘭州理工大學(xué)計(jì)算機(jī)與通信學(xué)院，甘肅 蘭州 730050）

0 引言

敦煌文化匯聚中西文化，其中，敦煌壁畫可謂敦煌文化代表，是人類寶貴的歷史遺存。這些石窟壁畫繪制采用各個(gè)時(shí)代最先進(jìn)的繪畫理念與技法，記錄各個(gè)歷史時(shí)期人們的現(xiàn)實(shí)生活，又描繪了人們的理想信念，還與人們的審美觀念密切相關(guān)，在人文、藝術(shù)和歷史領(lǐng)域中具有重要的研究價(jià)值。

受氣候環(huán)境、人類破壞和窟內(nèi)干濕度不均等因素影響，留存至今的敦煌石窟壁畫普遍遭受了一定程度的破壞，尤其是受顏料氧化變質(zhì)、圖層空鼓脫落、人為煙熏破壞等因素的影響，導(dǎo)致色彩褪變較為嚴(yán)重，這對敦煌石窟壁畫的研究和展示工作造成了極大障礙。因此，探索石窟壁畫圖像的色彩還原研究尤為重要，使用圖像色彩還原技術(shù)恢復(fù)壁畫圖像原有色彩也成為近年來的研究熱點(diǎn)。

本文提出一種基于雙參考優(yōu)化的壁畫圖像色彩還原方法。該方法以2 幅參考壁畫圖像作為參考，進(jìn)行壁畫圖像的色彩還原；使用圖像優(yōu)化模塊抑制退化壁畫圖像中易影響色彩還原質(zhì)量的噪聲、劃痕等多重退化；構(gòu)造特征融合模塊拼接壁畫圖像多尺度特征并減少冗余特征；使用雙參考指導(dǎo)模塊融合2 幅參考壁畫圖像的色彩風(fēng)格，從而解決選取與退化壁畫圖像相似的參考圖像困難的問題。

1 相關(guān)工作

目前，圖像色彩還原方法主要分為傳統(tǒng)色彩還原方法和基于深度學(xué)習(xí)的色彩還原方法。

1.1 傳統(tǒng)色彩還原方法

這類方法分別提取圖像的內(nèi)容、色彩信息，然后采用基于類比與規(guī)則的混合方法以實(shí)現(xiàn)色彩還原。魏寶剛等［1］通過類比方式檢索參考圖像，并結(jié)合變色圖像提取對應(yīng)的色彩區(qū)域，確定兩者轉(zhuǎn)換關(guān)系，完成壁畫圖像的色彩還原。楊筱平等［2］采用GrabCut算法分割壁畫圖像中的變色和褪色區(qū)域，從未變色區(qū)域中采取樣本塊作為源圖像，并將其色彩傳遞至分割圖，從而實(shí)現(xiàn)色彩還原。REINHARD 等［3］提出一種適用于各色彩分量的色彩遷移公式，使用統(tǒng)計(jì)分析方法使目標(biāo)圖像與源圖像的均值與標(biāo)準(zhǔn)差基本一致，從而還原圖像色彩。WELSH 等［4］在Reinhard色彩遷移算法的基礎(chǔ)上，將目標(biāo)圖像的全部色彩信息傳遞給原圖像并保留亮度信息，但該方法對亮度和色彩對應(yīng)的一致性要求很高。李娜等［5］在WELSH 算法基礎(chǔ)上進(jìn)行改進(jìn)，通過鄰域標(biāo)準(zhǔn)差建立混合色彩距離測度函數(shù)來比較確定像素最佳匹配色彩?？傮w而言，傳統(tǒng)色彩還原方法雖然在一些特定的應(yīng)用中取得了不錯(cuò)的效果，但是由于缺少圖像深層語義的約束，且易受噪聲、人為破壞等不確定因素的影響，因此還原效果并不理想。

1.2 基于深度學(xué)習(xí)的色彩還原方法

近年來，這類方法發(fā)展較快。HE 等［6］使用最近鄰搜索匹配置信度高的圖像塊作為參考，并結(jié)合線性轉(zhuǎn)換進(jìn)行色彩遷移。GATYS 等［7-8］計(jì)算生成圖像與目標(biāo)圖像的感知損失和與參考圖像Gram 矩陣的歐氏距離，迭代優(yōu)化圖像風(fēng)格遷移過程。HUANG 等［9］使用自適應(yīng)實(shí)例歸一化將內(nèi)容圖像各通道歸一化后的均值和方差對齊風(fēng)格圖像，該方法在加快模型訓(xùn)練速度的同時(shí)卻易忽略圖像的局部細(xì)節(jié)。SU 等［10］分離圖像目標(biāo)前景實(shí)例和背景，分別進(jìn)行色彩遷移。然而，以上方法還原后的圖像在細(xì)節(jié)紋理保持方面效果較差，因此，研究人員探索如何在還原圖像色彩的同時(shí)更好兼顧圖像的細(xì)節(jié)。PARK 等［11］提出風(fēng)格注意力模塊，該模塊匹配內(nèi)容圖像和風(fēng)格圖像之間的相似區(qū)域，并根據(jù)內(nèi)容圖像的語義空間分布進(jìn)行特征融合。徐志剛等［12］使用基于風(fēng)格注意力的色彩遷移模塊進(jìn)行壁畫圖像的色彩還原，并構(gòu)建細(xì)節(jié)保持模塊抑制圖像噪聲、偽影、假色等現(xiàn)象。HUANG 等［13］提出基于注意力的圖像風(fēng)格化方法，該方法不僅可以實(shí)現(xiàn)單幅風(fēng)格圖像的風(fēng)格遷移，還可以實(shí)現(xiàn)多幅風(fēng)格圖像融合后的風(fēng)格遷移。李超等［14］構(gòu)建多風(fēng)格損失函數(shù)，實(shí)現(xiàn)多風(fēng)格的融合。LIU 等［15］提出自適應(yīng)注意力歸一化模型。LIN 等［16］提出拉普拉斯金字塔網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用自適應(yīng)實(shí)例歸一化對低分辨率圖像風(fēng)格化，再逐步提高圖像分辨率并進(jìn)行細(xì)節(jié)上的修正。WANG 等［17］將圖像風(fēng)格化算法應(yīng)用到超分辨率圖像。

上述基于深度學(xué)習(xí)的方法主要使用單幅圖像作為參考圖像來指導(dǎo)色彩還原，這些方法雖然取得了不錯(cuò)效果，但仍存在不足，例如未考慮到壁畫色彩還原工作的現(xiàn)實(shí)問題：參考壁畫圖像數(shù)量的有限性，無法保證可以選取到與退化壁畫圖像語義結(jié)構(gòu)、信息、顏色分布、色彩特點(diǎn)相似性高的壁畫圖像作為參考，從而導(dǎo)致還原結(jié)果不盡人意。但是基于多幅參考圖像的色彩還原方法大多是基于線性的方法，可以通過人為控制特定權(quán)重，以達(dá)到不同色彩的還原程度［7，14］，這類方法主要應(yīng)用在自然圖像上，未考慮到壁畫圖像與自然圖像在藝術(shù)風(fēng)貌、圖像重層［18］、色彩構(gòu)成等方面的不同，從而導(dǎo)致色彩還原質(zhì)量較差。

基于上述分析，本文受HUANG 等［13］方法的啟發(fā)，采用基于2 幅參考壁畫圖像的方法對退化壁畫圖像進(jìn)行色彩還原，并使用圖像優(yōu)化模塊和特征融合模塊優(yōu)化色彩還原效果。實(shí)驗(yàn)結(jié)果表明，本文方法能夠抑制壁畫圖像噪聲，在保持圖像原語義信息的情況下可以較準(zhǔn)確地還原退化壁畫圖像的色彩，并為壁畫圖像色彩的還原提供新的思路。

2 算法描述

本文提出基于雙參考優(yōu)化的壁畫圖像色彩還原方法。該網(wǎng)絡(luò)結(jié)構(gòu)由編碼器-解碼器組成，主要包括圖像優(yōu)化模塊、特征融合模塊和雙參考指導(dǎo)模塊。其基本思路是先將退化壁畫圖像通過圖像優(yōu)化模塊進(jìn)行處理，以得到輸入壁畫圖像Ic，使用編碼器分別提取輸入壁畫圖像Ic和參考壁畫圖像的多尺度特征，并分別通過特征融合模塊合并優(yōu)化圖像特征；然后，通過雙參考指導(dǎo)模塊中的區(qū)域匹配實(shí)現(xiàn)退化圖像和參考圖像語義對應(yīng)區(qū)域的匹配，并使用最大置信度方法完成2 幅參考壁畫圖像的風(fēng)格融合，得到最終參考特征，將最終參考特征與退化圖像優(yōu)化特征合并；最后，解碼重建圖像，實(shí)現(xiàn)色彩還原。該網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 雙參考優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of dual reference optimization network

2.1 圖像優(yōu)化

由于壁畫圖像繪制年代久遠(yuǎn)，因此普遍存在大量噪聲、灰黑色區(qū)域及劃痕等多重退化，對色彩還原質(zhì)量產(chǎn)生極大影響。為減少這些不利影響，本文借鑒自然圖像復(fù)原方法，構(gòu)造圖像優(yōu)化模塊對退化壁畫圖像進(jìn)行預(yù)處理，以提高退化壁畫圖像質(zhì)量。本文使用WAN 等［19］方法將圖像復(fù)原模擬成三域轉(zhuǎn)換問題，通過變分自動編碼器得到圖像潛編碼，優(yōu)化潛編碼之間分布的差異，再輸入映射網(wǎng)絡(luò)并解碼，最終實(shí)現(xiàn)圖像還原。通過對退化壁畫圖像進(jìn)行預(yù)處理得到優(yōu)化后的退化壁畫圖像，表達(dá)式如下：

其中：I表示退化壁畫圖像；Ic表示優(yōu)化后的退化壁畫圖像。

2.2 特征融合

壁畫圖像淺層特征包含色彩、紋理、邊緣信息，深層特征包含豐富的語義信息，這些信息缺一不可，但編碼器編碼得到的壁畫圖像多尺度特征中包含大量冗余特征。因此，本文構(gòu)建特征融合模塊將編碼器編碼提取的壁畫圖像多尺度特征通過1×1 的卷積調(diào)整為相同的大小并拼接在一起，使用通道注意力機(jī)制［20］消除冗余特征，重新賦予新的權(quán)重以調(diào)整特征強(qiáng)度，得到圖像的有效特征，并使用卷積進(jìn)行平滑處理。特征融合模塊結(jié)構(gòu)如圖2 所示。

圖2 特征融合模塊結(jié)構(gòu)Fig.2 Structure of feature fusion module

2.3 雙參考指導(dǎo)

根據(jù)語義信息將退化壁畫圖像特征分割成一塊塊的區(qū)域，然后通過區(qū)域匹配模塊并根據(jù)注意力機(jī)制分別計(jì)算2 幅參考壁畫圖像與退化壁畫圖像的語義對應(yīng)置信度，通過風(fēng)格融合模塊為各區(qū)域匹配最優(yōu)色彩風(fēng)格，得到最終的參考特征。

2.3.1 區(qū)域匹配

區(qū)域匹配以ReLU4_1 層的退化壁畫圖像特征Fc、參考壁畫圖像特征Fr(i)、參考壁畫圖像優(yōu)化特征Fr′(i)作為輸入，其中i=0，1。首先采用通道歸一化將Fc、Fr輸入至公共域中，依賴壁畫圖像結(jié)構(gòu)和語義相似性進(jìn)行匹配，然后對歸一化后的特征進(jìn)行卷積并使用Unfold 操作來考慮相鄰信息，以提高匹配精度，分別得到利用塊注意力機(jī)制［13］計(jì)算對應(yīng)分?jǐn)?shù)S，并對S進(jìn)行Softmax 得到語義注意力圖M，表達(dá)式如下：

其中：特征越相似M中值越大，為突出語義更相似的風(fēng)格。將S與M相乘得到置信度，用于計(jì)算各幅參考壁畫圖像與退化壁畫圖像特征之間的語義對應(yīng)置信度。將卷積后與語義注意力圖M結(jié)合并進(jìn)行卷積得到，根據(jù)置信度調(diào)整進(jìn)行風(fēng)格融合得到參考融合特征，表達(dá)式如下：

2.3.2 風(fēng)格融合

風(fēng)格融合是在不損害每個(gè)參考壁畫圖像色彩風(fēng)格的情況下，融合不同風(fēng)格，并且各風(fēng)格不能混淆，使用上述置信度指標(biāo)來決定并調(diào)整每個(gè)參考壁畫圖像的多個(gè)風(fēng)格分布，使之看起來更合理。因?yàn)樵趫D像高維特征空間中的聚類可以有效地區(qū)分具有不同語義的對象，所以在退化壁畫圖像ReLU4_1 層特征使用K 均值算法對特征向量及其歐氏距離中的空間位置進(jìn)行聚類。分割圖像ReLU4_1 層特征并計(jì)算區(qū)域?qū)?yīng)置信度之和，并選取各區(qū)域?qū)?yīng)最大的置信度作為參考，以實(shí)現(xiàn)相似語義區(qū)域風(fēng)格的最佳匹配，表達(dá)式如下：

其中：R表 示圖像1 個(gè)區(qū)域；表示風(fēng)格k在位置i處的置信度；k表示置信度之和最大的風(fēng)格；IR表示匹配結(jié)果。

2.4 損失函數(shù)

本文所提網(wǎng)絡(luò)使用以下?lián)p失函數(shù)優(yōu)化訓(xùn)練：

其中：Lc表示退化圖像與還原圖像之間的內(nèi)容損失；Lr、Lcr分別表示參考圖像和還原圖像之間的風(fēng)格損失 和上下 文損失；λc、λr、λcr分別表 示內(nèi)容 損失、風(fēng)格損失和上下文損失的權(quán)重參數(shù)，參考文獻(xiàn)［13］，均設(shè)置為3，以平衡3 個(gè)損失函數(shù)的影響，從而強(qiáng)化還原壁畫圖像的藝術(shù)風(fēng)格。本文網(wǎng)絡(luò)使用預(yù)訓(xùn)練的VGG19 網(wǎng)絡(luò)作為編碼器并計(jì)算損失函數(shù)。

2.4.1 內(nèi)容損失

本文使用自適應(yīng)實(shí)例歸一化［9］中的內(nèi)容損失計(jì)算退化圖像和還原圖像ReLU3_1、ReLU4_1、ReLU5_1 層特征的內(nèi)容差異，表達(dá)式如下：

其中：c表示退化圖像；g（c）表示還原圖像；f(g(c))表示還原圖像特征。

2.4.2 風(fēng)格損失

本文利用自適應(yīng)實(shí)例歸一化［9］中的風(fēng)格損失計(jì)算參考圖像和還原圖像之間的風(fēng)格損失，以實(shí)現(xiàn)全局風(fēng)格遷移，表達(dá)式如下：

其中：r表示參考圖像；?i表示VGG19 中第i層的特征。

2.4.3 上下文損失

本文利用上下文損失［13］實(shí)現(xiàn)圖像參考特征和內(nèi)容特征之間的語義對應(yīng)匹配，使用余弦距離計(jì)算參考圖像和還原圖像的每對特征向量，優(yōu)化還原圖像特征和語義近似參考特征之間的映射關(guān)系，表達(dá)式如下：

其中：M為第n層的特征數(shù)；An(i，j)表示第n層特征點(diǎn)i和特征點(diǎn)j的相關(guān)性；d表示特征點(diǎn)i和特征點(diǎn)j的余弦距離；ω設(shè)置為0.1。

2.4.4 重構(gòu)驗(yàn)證損失

本文使用風(fēng)格注意力網(wǎng)絡(luò)［11］中重構(gòu)驗(yàn)證損失兼顧圖像全局統(tǒng)計(jì)信息和語義局部映射，在重構(gòu)圖像時(shí)，盡可能保留退化圖像中的紋理信息，表達(dá)式如下：

其中：Icc和Irr分別表示退化壁畫圖像Ic和參考壁畫圖像Ir的網(wǎng)絡(luò)輸出圖像；λG和λL分別表示全局損失權(quán)重和局部損失權(quán)重，參考文獻(xiàn)［11］分別設(shè)置為1 和50，以更好地兼顧退化圖像內(nèi)容特征與參考特征的全局統(tǒng)計(jì)信息和語義局部映射之間的關(guān)系。

3 實(shí)驗(yàn)結(jié)果與分析

本文網(wǎng)絡(luò)訓(xùn)練使用的數(shù)據(jù)集包含WikiArt 數(shù)據(jù)集［21］、KaoKore 數(shù)據(jù)集［22］和800 張壁畫圖像，其中，壁畫圖像來源于《中國敦煌壁畫全集》［23］書籍圖片和網(wǎng)絡(luò)資源。本文的實(shí)驗(yàn)環(huán)境采用Linux 系統(tǒng)下的PyTorch 深度學(xué)習(xí)框架，網(wǎng)絡(luò)訓(xùn)練使用預(yù)訓(xùn)練的VGG19，采用Adam 優(yōu)化器［24］，學(xué)習(xí)率為1×10-4，訓(xùn)練迭代次數(shù)設(shè)置為80 000 次。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)有效性分析

為驗(yàn)證所設(shè)計(jì)網(wǎng)絡(luò)的有效性，本文設(shè)置1 組對比實(shí)驗(yàn)。本文實(shí)驗(yàn)首先加入圖像優(yōu)化模塊，對退化圖像進(jìn)行色彩還原；其次在加入圖像優(yōu)化模塊基礎(chǔ)上加入特征融合模塊，對退化圖像進(jìn)行色彩還原，還原結(jié)果分別如圖3 和圖4 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。

圖3 加入不同模塊的還原結(jié)果1Fig.3 Restoration results 1 by adding different modules

圖4 加入不同模塊的還原結(jié)果2Fig.4 Restoration results 2 by adding different modules

圖3（c）和圖4（c）所示為加入圖像優(yōu)化模塊的還原結(jié)果，圖3（d）和圖4（d）所示為加入特征融合模塊的還原結(jié)果。在對退化圖像進(jìn)行圖像優(yōu)化之后的還原結(jié)果中，較完整地還原圖像退化區(qū)域色彩，并消除退化圖像中部分模糊及灰黑色區(qū)域，有效抑制退化圖像中模糊及噪聲對色彩還原效果的負(fù)面影響，并較完整地保持壁畫圖像邊緣結(jié)構(gòu)及紋理，但仍存在假色區(qū)域。圖3 和圖4 中右下方為方框的局部放大圖，圖3（c）所示的蓮花選取區(qū)域左下方花瓣出現(xiàn)藍(lán)色，加入特征融合模塊后，消除了之前還原圖像中的假色區(qū)域，進(jìn)一步優(yōu)化還原圖像局部細(xì)節(jié)信息，如圖3（d）所示的蓮花選取區(qū)域的左下方花瓣。將圖4（c）所示選取區(qū)域的菩薩手部邊緣及細(xì)節(jié)紋理勾勒得更加清晰，減少模糊現(xiàn)象的發(fā)生，加入特征融合模塊，如圖4（d）所示的選取區(qū)域。因此，在還原過程中加入圖像優(yōu)化模塊及特征融合模塊，可以更加準(zhǔn)確地還原退化壁畫圖像色彩，并可以較好地保持退化圖像邊緣結(jié)構(gòu)及紋理信息，使還原效果得到改善。

3.2 臨摹退化壁畫圖像色彩還原分析

為驗(yàn)證該方法的有效性，本文選取臨摹退化壁畫圖像，分別使用本文方法與具有代表性的文獻(xiàn)［3，7，9，16］方法進(jìn)行對比分析。色彩還原結(jié)果對比分別如圖5 和圖6 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），圖5（a）和圖6（a）的第1 行和第2 行分別為參考圖像1 和參考圖像2。其中，圖5（c）～圖5（f）、圖6（c）～圖6（f）是分別使用參考壁畫圖像1 和參考壁畫圖像2 對退化圖像進(jìn)行色彩還原的結(jié)果，圖5（g）和圖6（g）所示為本文使用2 幅參考壁畫圖像共同進(jìn)行色彩還原的結(jié)果。

圖5 臨摹退化壁畫圖像色彩還原結(jié)果對比1Fig.5 Comparison 1 of color restoration results for degraded mural image

圖6 臨摹退化壁畫圖像色彩還原結(jié)果對比2Fig.6 Comparison 2 of color restoration results for degraded mural images

從圖5 和圖6 可以看出，文獻(xiàn)［3］方法保持了退化圖像邊緣結(jié)構(gòu)與細(xì)節(jié)紋理，但色彩還原過于鮮艷，視覺效果不佳，對于圖5 中的參考圖像2，文獻(xiàn)［3］方法還原了退化圖像中舞女的裙擺區(qū)域。文獻(xiàn)［7］方法使還原圖像背景產(chǎn)生大面積色彩混疊，對于圖6 中的參考圖像2，文獻(xiàn)［7］方法還原圖像中手部區(qū)域中指泛紅，使得還原圖像部分區(qū)域出現(xiàn)假色。文獻(xiàn)［9］方法利用參考圖像調(diào)整退化圖像特征，僅注重圖像全局色彩，無法有效保持圖像細(xì)節(jié)紋理，對于圖6 中的參考圖像1，文獻(xiàn)［9］方法還原圖像中手指關(guān)節(jié)區(qū)域紋理模糊。文獻(xiàn)［16］方法通過細(xì)化圖像局部的方式，雖然保持了圖像細(xì)節(jié)，但是由于缺少語義結(jié)構(gòu)的約束，并受噪聲的影響，因此還原圖像錯(cuò)誤遷移色彩、圖像邊緣紋理不清晰，對于圖6 中的參考圖像2，圖6（f）還原圖像中裙擺區(qū)域和手部區(qū)域。相較而言，本文方法可以對退化區(qū)域的色彩進(jìn)行較準(zhǔn)確的還原，同時(shí)較好保持退化圖像邊緣及紋理。

為驗(yàn)證各個(gè)方法對退化壁畫圖像的還原效果，本文考慮到臨摹退化壁畫圖像缺少未退化壁畫圖像做參考，因此，使用無參考圖像質(zhì)量評估指標(biāo)BRISQUE［25］對還原圖像質(zhì)量進(jìn)行客觀評價(jià)，同時(shí)通過全參考圖像質(zhì)量評估指標(biāo)結(jié)構(gòu)相似性（SSIM）對還原壁畫圖像與退化壁畫圖像的紋理結(jié)構(gòu)相似性進(jìn)行評價(jià)，以綜合分析本文方法的還原效果。其中，SSIM 評估值越高，表明臨摹退化壁畫圖像還原結(jié)果與原圖越相似。BRISQUE 使用壁畫數(shù)據(jù)集預(yù)訓(xùn)練后再對壁畫圖像還原結(jié)果進(jìn)行評估，其評估值越低，表明圖像還原效果越優(yōu)，評估結(jié)果如表1 所示。從表1 可以看出，文獻(xiàn)［3］方法具有較高的SSIM 值，由于該方法直接優(yōu)化還原壁畫圖像的均值和標(biāo)準(zhǔn)差，因此減小了與原始退化壁畫圖像的誤差，但是從色彩還原角度可以看出，文獻(xiàn)［3］方法色彩還原效果并不理想，如圖6（c）中2 幅還原壁畫圖像的色彩分布差異明顯，且與參考壁畫圖像的整體色彩特征有明顯區(qū)別。除此之外，本文方法SSIM 值相較于其他方法更高，且BRISQUE 值最低。由此可見，本文方法對臨摹退化壁畫圖像的色彩還原是可行的。

表1 臨摹退化壁畫圖像還原指標(biāo)對比Table 1 Comparison of restoration indicators of degraded mural image

3.3 真實(shí)退化壁畫圖像色彩還原分析

為進(jìn)一步驗(yàn)證該方法的有效性，本文選取真實(shí)退化壁畫圖像，分別將本文方法與具有代表性的文獻(xiàn)［3，7，9，16］方法進(jìn)行對比。色彩還原結(jié)果對比分別如圖7 和圖8 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），圖7（a）和圖8（a）的第1行和第2行分別為參考圖像1 和參考圖像2。其中，圖7（c）～圖7（f）和圖8（c）～圖8（f）使用參考壁畫圖像1和參考壁畫圖像2對退化圖像進(jìn)行色彩還原的結(jié)果，圖7（g）和圖8（g）所示為本文使用2幅參考壁畫圖像共同進(jìn)行色彩還原的結(jié)果。

圖7 真實(shí)退化壁畫圖像色彩還原結(jié)果對比1Fig.7 Comparison 1 of color restoration results for real degraded mural images

從實(shí)驗(yàn)中可以看出：文獻(xiàn)［3］方法僅還原圖像全局色彩，對圖像局部區(qū)域還原效果較差，例如圖7（c）中2 組還原圖像中佛像的發(fā)飾區(qū)域；文獻(xiàn)［7］方法在迭代過程中易受圖像噪聲和灰黑色區(qū)域影響，使圖像背景產(chǎn)生大面積色彩混疊與假色問題，且還原圖像整體偏暗，例如圖7（d）和圖8（d）中2 組還原圖像中的侍女及背景區(qū)域；文獻(xiàn)［9］方法因?yàn)槿鄙賹D像語義信息及邊緣結(jié)構(gòu)的約束，使得在風(fēng)格化過程中丟失部分紋理信息，例如圖8（e）中2 組還原圖像的侍女嘴唇區(qū)域，受噪聲影響，而產(chǎn)生假色區(qū)域，如圖8（e）中2 組還原圖像的侍女頭發(fā)區(qū)域；文獻(xiàn)［16］方法還原的圖像中雖然保持了圖像全局結(jié)構(gòu)，但是在還原過程中對圖像采用降分辨率的處理方式，使得圖像丟失部分邊緣信息，例如圖7（f）對還原參考圖像2 中佛像的發(fā)飾區(qū)域。此外，還原圖像中不同語義區(qū)域出現(xiàn)了色彩相同的現(xiàn)象，例如圖8（f）還原參考圖像2 中侍女的頭發(fā)與衣服區(qū)域均偏綠。相較之下，本文方法以2 幅參考圖像共同作為參考，較好地還原退化壁畫圖像色彩且保持退化壁畫圖像的邊緣結(jié)構(gòu)。

為進(jìn)一步驗(yàn)證各個(gè)方法對真實(shí)退化壁畫圖像的還原效果，本文對上述圖像的還原結(jié)果進(jìn)行客觀評價(jià)，使用無參考圖像質(zhì)量評估指標(biāo)BRISQUE 和全參考圖像質(zhì)量評估指標(biāo)SSIM 進(jìn)行評價(jià)，以綜合分析還原效果。評估結(jié)果如表2 所示。從表2 可以看出，文獻(xiàn)［3］方法仍擁有較高的SSIM 值，這是由于真實(shí)退化壁畫圖像中普遍存在較嚴(yán)重的噪聲等退化信息，這些退化信息容易與壁畫圖像本身的線條、紋理細(xì)節(jié)等內(nèi)容信息相混淆。在色彩還原過程中，文獻(xiàn)［3］方法并未有效去除這些干擾信息，反而保留了下來。從圖7（c）和圖8（c）可以看到，其整體還原效果并不理想。除此之外，本文方法SSIM 值相較于其他方法更高，且BRISQUE 值最低。由此可見，本文方法對真實(shí)退化壁畫圖像的色彩還原是有效的。

表2 真實(shí)退化壁畫圖像還原指標(biāo)對比Table 2 Comparison of restoration indicators for real degraded mural images

4 結(jié)束語

針對難選取與退化壁畫圖像相似的參考壁畫圖像的問題，本文使用2 幅參考壁畫圖像進(jìn)行壁畫圖像的色彩還原，提出基于雙參考優(yōu)化的壁畫圖像色彩還原方法。該方法采用編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)，首先使用圖像優(yōu)化模塊抑制壁畫圖像的多重退化，并通過編碼器網(wǎng)絡(luò)分別提取退化壁畫圖像和2 幅參考壁畫圖像的多尺度特征，再使用特征融合模塊拼接圖像多尺度特征并消除冗余特征，之后使用雙參考指導(dǎo)模塊進(jìn)行相似區(qū)域匹配并融合參考壁畫圖像色彩風(fēng)格，最后合并退化壁畫圖像特征與雙參考指導(dǎo)特征，并解碼重建圖像，實(shí)現(xiàn)色彩還原。實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效抑制圖像噪聲影響，避免產(chǎn)生色彩混疊，在較好保持退化壁畫圖像原貌的同時(shí)，準(zhǔn)確完成壁畫的色彩還原。下一步將引入圖像細(xì)節(jié)紋理保持、復(fù)雜噪聲抑制等方法，并繼續(xù)探究使用2 幅以上的參考壁畫圖像進(jìn)行色彩還原的方法，進(jìn)一步優(yōu)化色彩還原質(zhì)量。