結(jié)構(gòu)門控與紋理聯(lián)合引導(dǎo)的生成對抗壁畫修復(fù)

陳永 ，陶美風(fēng)趙夢雪

（1.蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070；2.甘肅省人工智能與圖形圖像處理工程研究中心，甘肅 蘭州 730070）

敦煌莫高窟是世界文化藝術(shù)的璀璨瑰寶，其壁畫舉世聞名，具有極高的研究價值.然而，由于惡劣的自然環(huán)境、人為破壞等因素，出現(xiàn)了不同程度的脫落、裂縫等病害，亟待保護(hù).將數(shù)字化修復(fù)技術(shù)應(yīng)用于古壁畫的保護(hù)，已成為當(dāng)前的研究熱點(diǎn)［1］.

圖像數(shù)字化修復(fù)是利用已有完好區(qū)域的先驗(yàn)信息對破損區(qū)域進(jìn)行估計完成填充，使修復(fù)結(jié)果滿足人眼視覺感受的計算機(jī)技術(shù).圖像修復(fù)方法主要分為：傳統(tǒng)圖像修復(fù)方法和深度學(xué)習(xí)圖像修復(fù)方法.其中，傳統(tǒng)圖像修復(fù)方法主要利用像素擴(kuò)散、樣本匹配和稀疏表示等方法完成修復(fù)，如Sridevi 等［2］提出了一種基于差分曲率驅(qū)動的分?jǐn)?shù)階非線性擴(kuò)散的圖像修復(fù)模型，減少了修復(fù)結(jié)果的階梯效應(yīng)和修復(fù)偽影.Chen 等［3］提出了一種改進(jìn)的全變分最小化的圖像修復(fù)方法，對修復(fù)結(jié)果中線條斷裂問題有一定的改善.陳永等［4］通過塊核范數(shù)的RPCA 將圖像分解為結(jié)構(gòu)層和紋理層，并利用提出的熵權(quán)類稀疏方法完成壁畫修復(fù)，對壁畫圖像中小范圍邊緣和紋理破損修復(fù)有較好的效果.周李洪等［5］提出了基于稀疏表示的車用帶鋼表面圖像信息修復(fù)方法，利用稀疏修復(fù)模型對分割后的不同圖像區(qū)域進(jìn)行修復(fù)，修復(fù)效果有所改善.但是上述傳統(tǒng)的圖像修復(fù)方法主要針對破損區(qū)域較小范圍的修復(fù)，不能充分利用圖像的上下文高級語義信息，無法完成大面積破損區(qū)域的修復(fù).

為了克服傳統(tǒng)圖像修復(fù)算法的不足，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的圖像修復(fù)算法逐漸成為目前的主流方法.Xie 等［6］提出了一個雙向可學(xué)習(xí)的注意力圖模塊，以端到端的方式學(xué)習(xí)圖像和掩膜的特征，但該網(wǎng)絡(luò)在特征提取時，忽略了結(jié)構(gòu)和紋理先驗(yàn)信息對于修復(fù)結(jié)果的引導(dǎo)性，導(dǎo)致破損空洞過大時會出現(xiàn)結(jié)構(gòu)紊亂的問題.Liu 等［7］提出了基于連貫語義注意的圖像修復(fù)模型，利用樣本塊匹配的思想對破損區(qū)域進(jìn)行預(yù)測完成修復(fù)，但修復(fù)結(jié)果存在塊效應(yīng)問題.Yuan 等［8］提出了基于條件生成對抗網(wǎng)絡(luò)的多視角場景圖像修復(fù)，結(jié)合多視角圖像對破損區(qū)域進(jìn)行修復(fù)，但多視角圖像之間的視角偏差會導(dǎo)致修復(fù)結(jié)果出現(xiàn)紋理紊亂的問題.Wadhwa等［9］提出了一種基于超圖卷積的圖像修復(fù)方法，以加強(qiáng)對圖像空間特征的關(guān)注，但該方法對結(jié)構(gòu)紋理等先驗(yàn)信息考慮不足，導(dǎo)致修復(fù)結(jié)果存在語義不合理和紋理模糊等現(xiàn)象.總之，上述深度學(xué)習(xí)算法由于缺乏對結(jié)構(gòu)紋理信息的關(guān)注，往往會出現(xiàn)結(jié)構(gòu)不連貫和紋理紊亂等問題.因此，增強(qiáng)結(jié)構(gòu)和紋理特征的感知表達(dá)能力對圖像修復(fù)結(jié)果具有重要意義，如Xiong等［10］提出了一種前景感知的圖像修復(fù)模型，首先對圖像進(jìn)行前景輪廓預(yù)測，然后利用得到的輪廓完成缺失區(qū)域的修復(fù)，但前景分離不徹底對修復(fù)結(jié)果有較大影響.Liu 等［11］提出了互編碼器-解碼器的圖像修復(fù)模型，結(jié)合多尺度和注意力特征融合解碼器生成圖像，但修復(fù)過程未考慮圖像的方向特征信息，修復(fù)結(jié)果易出現(xiàn)紋理不一致的現(xiàn)象.Nazeri 等［12］提出了雙階段EdgeConnect 圖像修復(fù)模型，通過邊緣生成器生成圖像的邊緣信息，然后利用邊緣圖像引導(dǎo)修復(fù)，取得了較好的修復(fù)效果，但該方法忽略了紋理信息的重要性，修復(fù)結(jié)果會出現(xiàn)一定的偽影現(xiàn)象.Ren 等［13］提出了結(jié)構(gòu)粗修復(fù)和紋理精修復(fù)的級聯(lián)修復(fù)模型，但該方法缺少對結(jié)構(gòu)和紋理特征的聯(lián)合約束，導(dǎo)致修復(fù)結(jié)果存在信息丟失和修復(fù)不徹底的問題.Li 等［14］提出了一種漸進(jìn)式視覺結(jié)構(gòu)引導(dǎo)的生成對抗修復(fù)模型，該方法利用視覺結(jié)構(gòu)引導(dǎo)圖像編碼，但編碼器中采用部分卷積難以區(qū)分有效像素與無效像素，修復(fù)后的圖像易出現(xiàn)偽影現(xiàn)象.Wang 等［15］提出了一種基于邊緣和結(jié)構(gòu)先驗(yàn)的圖像修復(fù)模型，采用權(quán)值共享的方式使用多尺度卷積和殘差塊從原圖、結(jié)構(gòu)圖等多源圖像中提取特征，但該方法未對結(jié)構(gòu)和紋理信息的差異性進(jìn)行考慮，修復(fù)結(jié)果存在紋理細(xì)節(jié)模糊現(xiàn)象.

綜上所述，現(xiàn)有深度學(xué)習(xí)圖像修復(fù)方法在修復(fù)壁畫時，缺少結(jié)構(gòu)和紋理先驗(yàn)信息對修復(fù)過程的聯(lián)合約束性引導(dǎo)，導(dǎo)致壁畫修復(fù)結(jié)果易出現(xiàn)結(jié)構(gòu)紊亂和紋理模糊等問題.針對上述問題，本文提出了一種結(jié)構(gòu)門控融合與紋理聯(lián)合引導(dǎo)的生成對抗壁畫修復(fù)深度學(xué)習(xí)模型.主要工作有：1）構(gòu)建修復(fù)生成網(wǎng)絡(luò)，由結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)和紋理引導(dǎo)解碼子網(wǎng)絡(luò)組成，利用結(jié)構(gòu)信息引導(dǎo)編碼，通過設(shè)計門控特征融合（Gated Feature Fusion，GFF）機(jī)制將壁畫特征和結(jié)構(gòu)特征進(jìn)行層間融合，以獲得豐富的邊緣輪廓信息.2）通過紋理引導(dǎo)解碼子網(wǎng)絡(luò)對編碼后特征圖解碼，利用提出的方向注意力模塊（Orientation Attention Module，OAM）得到紋理方向特征，將紋理方向特征作為解碼器的引導(dǎo)信息，指導(dǎo)壁畫圖像生成，以提高修復(fù)結(jié)果的結(jié)構(gòu)一致性和紋理合理性.3）采用跳躍連接促進(jìn)編碼器和解碼器的特征融合共享，加強(qiáng)結(jié)構(gòu)和紋理之間的特征互補(bǔ)，并通過譜歸一化馬爾科夫判別模型對抗完成破損壁畫的修復(fù).通過真實(shí)破損敦煌壁畫的修復(fù)實(shí)驗(yàn)表明，所提算法在清晰度和連貫性等主客觀評價方面均優(yōu)于對比算法.

1 本文算法

1.1 整體網(wǎng)絡(luò)框架

壁畫圖像往往呈現(xiàn)出結(jié)構(gòu)多樣、紋理復(fù)雜的特點(diǎn)［1］.在對壁畫進(jìn)行修復(fù)時，為了更好地實(shí)現(xiàn)對破損壁畫的修復(fù)，模型建立時考慮到不僅需要學(xué)習(xí)壁畫的基本特征信息，更要利用其結(jié)構(gòu)和紋理特征作為約束引導(dǎo)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，以便獲得視覺效果更加真實(shí)、自然的修復(fù)結(jié)果.因此，提出了一種結(jié)構(gòu)門控融合與紋理聯(lián)合引導(dǎo)的生成對抗壁畫修復(fù)模型，其網(wǎng)絡(luò)整體框架如圖1 所示.該網(wǎng)絡(luò)模型以生成對抗網(wǎng)絡(luò)為基礎(chǔ)，由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)構(gòu)成.其中，生成網(wǎng)絡(luò)包括結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)和紋理引導(dǎo)解碼子網(wǎng)絡(luò).判別網(wǎng)絡(luò)采用譜歸一化馬爾科夫判別模型.

圖1 整體網(wǎng)絡(luò)框架Fig.1 Architecture of the network

模型工作時，首先，將待修復(fù)壁畫圖像和結(jié)構(gòu)圖輸入結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)中，通過編碼器和結(jié)構(gòu)引導(dǎo)器分支分別提取壁畫特征和結(jié)構(gòu)特征.在編碼的過程中利用結(jié)構(gòu)特征作為引導(dǎo)信息，設(shè)計GFF 門控特征融合機(jī)制對提取到的壁畫特征和結(jié)構(gòu)特征進(jìn)行融合編碼，增強(qiáng)編碼特征圖的結(jié)構(gòu)輪廓信息.然后，通過紋理引導(dǎo)解碼子網(wǎng)絡(luò)對編碼得到的特征圖解碼，利用提出的紋理引導(dǎo)器和方向注意力OAM 模塊得到分層紋理方向特征，將其作為解碼器重構(gòu)的紋理引導(dǎo)信息，來提升破損壁畫圖像的細(xì)節(jié)重構(gòu)修復(fù)精度；在此過程中采用跳躍連接形式，將結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)和紋理引導(dǎo)解碼子網(wǎng)絡(luò)的權(quán)值進(jìn)行融合共享，以促進(jìn)生成壁畫圖像結(jié)構(gòu)紋理更加協(xié)調(diào)一致.最后，將生成壁畫和真實(shí)壁畫輸入譜歸一化馬爾科夫判別模型中進(jìn)行真假博弈對抗，從而達(dá)到壁畫修復(fù)的目的.

1.2 結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)

破損壁畫由于結(jié)構(gòu)先驗(yàn)信息的缺乏，修復(fù)結(jié)果易出現(xiàn)邊界模糊或線條斷裂及紊亂等問題.利用結(jié)構(gòu)先驗(yàn)信息引導(dǎo)圖像修復(fù)能得到更好的修復(fù)效果［12，15］.因此，為了增強(qiáng)結(jié)構(gòu)信息在圖像修復(fù)過程中的引導(dǎo)作用，本文提出在生成網(wǎng)絡(luò)內(nèi)部采用結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)進(jìn)行壁畫特征提取與編碼.結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)由編碼器、結(jié)構(gòu)引導(dǎo)器和GFF 門控特征融合機(jī)制構(gòu)成，通過GFF 門控特征融合機(jī)制將壁畫特征和結(jié)構(gòu)特征融合編碼，得到結(jié)構(gòu)引導(dǎo)編碼特征圖，引導(dǎo)編碼器進(jìn)行特征編碼.下面對編碼器、結(jié)構(gòu)引導(dǎo)器和GFF門控特征融合機(jī)制分別進(jìn)行介紹.

1.2.1 編碼器和結(jié)構(gòu)引導(dǎo)器

編碼器主要通過多層卷積操作提取壁畫圖像的基本特征信息，可表示為

在得到各層的壁畫特征和結(jié)構(gòu)特征后，通過設(shè)計的GFF 門控特征融合機(jī)制，使壁畫特征和結(jié)構(gòu)特征進(jìn)行層間融合.通過該結(jié)構(gòu)引導(dǎo)性操作，目的是增強(qiáng)結(jié)構(gòu)特征在編碼過程中的約束性引導(dǎo)作用，學(xué)習(xí)通道之間的非線性相互關(guān)系，以便捕獲壁畫更高級別的結(jié)構(gòu)特征信息.

1.2.2 GFF門控特征融合機(jī)制

GFF 門控特征融合機(jī)制將壁畫特征和結(jié)構(gòu)特征有選擇性地進(jìn)行逐層融合，一方面可以促進(jìn)有用信息從當(dāng)前層向下一層傳遞，另一方面能夠同時抑制無效信息的干擾，以提高編碼器的結(jié)構(gòu)輪廓感知能力.門控特征融合GFF機(jī)制的示意圖如圖2所示.

圖2 門控特征融合機(jī)制Fig.2 Gated feature fusion mechanism

圖2中，GFF機(jī)制首先將每一層對應(yīng)的壁畫特征圖和結(jié)構(gòu)特征圖進(jìn)行通道連接，在通道級上擴(kuò)增特征圖信息，如式（3）：

式中：為通道連接后的特征圖，Concat(?)為通道連接操作.

然后，利用卷積操作對進(jìn)行通道降維，并通過Sigmoid 軟門控機(jī)制進(jìn)行特征重要性衡量.一般情況下，特征在圖像中越重要，被選取的概率往往越大，即采用門控機(jī)制可以提取到更豐富、更關(guān)鍵的語義特征信息［16］.因此，通過門控機(jī)制計算得到門控特征值，其大小可以反映該局部區(qū)域的重要程度，可表示為

最后，將門控特征值和結(jié)構(gòu)特征圖進(jìn)行元素相乘，賦予結(jié)構(gòu)特征圖相應(yīng)的權(quán)重，并與壁畫特征圖進(jìn)行元素相加，得到結(jié)構(gòu)引導(dǎo)編碼特征圖，提高對關(guān)鍵結(jié)構(gòu)特征的關(guān)注度，增加每一維特征的信息量.

1.3 紋理引導(dǎo)解碼子網(wǎng)絡(luò)

在結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)完成編碼后，緊接著將編碼后的特征圖輸入解碼子網(wǎng)絡(luò)中.解碼子網(wǎng)絡(luò)設(shè)計時，考慮到圖像的結(jié)構(gòu)和紋理信息相互關(guān)聯(lián)，共同形成圖像的內(nèi)容，如果未對圖像的結(jié)構(gòu)輪廓和紋理背景信息聯(lián)合約束性引導(dǎo)進(jìn)行考慮，修復(fù)結(jié)果易出現(xiàn)內(nèi)容模糊和結(jié)構(gòu)扭曲等問題［11］.鑒于以上原因，為了提高修復(fù)結(jié)果精度和修復(fù)后整體協(xié)調(diào)性，設(shè)計紋理引導(dǎo)解碼子網(wǎng)絡(luò)，其由解碼器、紋理引導(dǎo)器和方向注意力模塊構(gòu)成.解碼生成修復(fù)后壁畫圖像時，利用紋理引導(dǎo)器和方向注意力模塊得到紋理方向特征，引導(dǎo)解碼器重構(gòu)生成.下面將分別闡述解碼器、紋理引導(dǎo)器和方向注意力模塊.

1.3.1 解碼器和紋理引導(dǎo)器

解碼器工作時，首先，將結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)產(chǎn)生的編碼特征圖輸入解碼器中進(jìn)行解碼重構(gòu)，通過2倍上采樣操作得到解碼特征，計算如式（6）：

然后，將紋理圖通過卷積提取紋理細(xì)節(jié)信息，得到紋理特征圖

接著，為了對紋理的方向性進(jìn)行考慮，通過OAM 方向注意力模塊對紋理特征圖進(jìn)行方向特征信息增強(qiáng)，得到各層的紋理方向特征圖

最后，在紋理方向特征的先驗(yàn)信息和引導(dǎo)作用下，將紋理方向特征和解碼特征進(jìn)行逐層融合，使紋理特征在層間傳遞，利用不同層次下壁畫特征和紋理特征之間的關(guān)聯(lián)性，提高解碼器生成紋理細(xì)節(jié)信息的能力.紋理引導(dǎo)解碼示意圖如圖3所示.

圖3 紋理引導(dǎo)解碼Fig.3 Texture guided decoding

式中：σ(?)表示ReLU 激活函數(shù)，[，]表示級聯(lián)，和分別為權(quán)重和偏置.

同樣，對于紋理引導(dǎo)解碼的第i層也采用相同的融合方式，將第i-1 層引導(dǎo)融合特征與第i層紋理方向特征以及解碼特征進(jìn)行融合，并通過2倍的上采樣生成第i層的引導(dǎo)解碼特征

通過層間紋理方向特征和壁畫特征的引導(dǎo)融合，解碼器具有更強(qiáng)的方向感知能力，提高生成壁畫紋理細(xì)節(jié)信息的一致性和真實(shí)性.

此外，在生成網(wǎng)絡(luò)內(nèi)部，將編碼器和解碼器之間通過跳躍連接的方式進(jìn)行特征增強(qiáng)，編碼器中的特征信息與對應(yīng)的解碼器中的特征信息以通道相加的方式進(jìn)行融合［17］.使用跳躍連接后，減少了編解碼器網(wǎng)絡(luò)層之間的信息丟失，并利用結(jié)構(gòu)和紋理的互補(bǔ)特性，以促進(jìn)生成壁畫圖像結(jié)構(gòu)紋理更加協(xié)調(diào)一致，得到更真實(shí)合理的修復(fù)結(jié)果.

1.3.2 方向注意力模塊

在紋理特征提取過程中，若未對紋理的方向進(jìn)行考慮，僅通過引入輪廓約束難以得到有效紋理特征［18］.為了更好地對壁畫的方向特征進(jìn)行提取，提出方向注意力模塊，其由方向特征提取層、通道連接層、通道注意力層和通道降維層構(gòu)成，如圖4所示.

圖4 方向注意力模塊Fig.4 Orientation attention module

式中：FVH為水平和垂直方向特征圖，F(xiàn)O為標(biāo)準(zhǔn)卷積特征圖，F(xiàn)D為對角方向特征圖，?為卷積操作.

上式中，WO為Conv 標(biāo)準(zhǔn)卷積核，利用卷積核的局部感受野對圖像進(jìn)行特征提取，用來保留特征圖的基本信息；WVH為垂直和水平方向稀疏卷積核，WD為對角方向稀疏卷積核，其通過設(shè)計二維濾波器卷積核，利用卷積核感受野的結(jié)構(gòu)稀疏性，提取不同方向的圖像特征信息，圖5所示為5×5大小的方向稀疏卷積核示意圖，圖5（a）為垂直和水平方向的SConv_VH 卷積核，圖5（b）為對角方向的SConv_D 卷積核，卷積核劃分為25 個網(wǎng)格區(qū)域Ω={(-2，-2)，(-2，-1)，}…，(2，2)，每個卷積核有9 個非零權(quán)重，即圖中的灰色區(qū)域部分，其余16 個權(quán)重為0.輸入特征圖x經(jīng)過方向稀疏卷積核，x的每個位置q的輸出G(q)可計算為：

圖5 方向稀疏卷積核Fig.5 Directional sparse convolution kernel

式中：w(pn)為卷積權(quán)重，pn為方向稀疏卷積核的位置.

然后，將得到的多方向特征圖輸入通道連接層進(jìn)行連接，通道連接后的特征為

接著，利用通道注意力層學(xué)習(xí)不同通道特征之間的依賴關(guān)系，實(shí)現(xiàn)特征的跨通道交互，選擇性地融合不同壁畫紋理方向特征，其采用壓縮和激勵（Squeeze-and-Excitation，SE）模塊，增強(qiáng)壁畫的全局特征，關(guān)注更加重要的通道信息［19］.壓縮和激勵模塊示意圖如圖6 所示，主要包括壓縮、激勵和特征重標(biāo)定三個步驟.

圖6 壓縮和激勵模塊Fig.6 Squeeze-and-excitation module

其中，壓縮操作是為了克服卷積在紋理引導(dǎo)解碼子網(wǎng)絡(luò)中僅在局部感受野上作用，不能利用特征的全局信息等問題，通過全局平均池化（Global Aver?age Pooling，GAP）將通道連接特征FG壓縮成一個通道描述符z∈R3C，獲取通道特征圖的全局信息，z的第c個元素可表示為

式中：Fsq(?)表示壓縮操作，F(xiàn)G，c(i，j)為FG中第c個通道中位于(i，j)的元素值.

在壓縮操作后，將得到的特征向量z進(jìn)行激勵操作，對每個通道的重要性進(jìn)行預(yù)測，得到不同通道的重要性，以更好地擬合通道間復(fù)雜的相關(guān)性［20］.激勵操作就是利用兩個全連接層（Fully Connected，F(xiàn)C）、ReLU 激活函數(shù)和非線性Sigmoid 函數(shù)交叉生成0～1之間的歸一化權(quán)重，可表示為

式中：Fex(?)表示激勵操作，VU和VD為全連接層，σ(?)為ReLU激活函數(shù)，Sig(?)為Sigmoid函數(shù).

緊接著進(jìn)行特征重定向操作，將歸一化的權(quán)重加權(quán)到每個通道特征圖上，即將第c個注意力權(quán)重αc與其對應(yīng)的通道圖相乘，得到重標(biāo)定的特征圖

式中：Fscale(?)為重標(biāo)定操作，為重標(biāo)定特征圖.

1.4 損失函數(shù)

本文采用聯(lián)合損失進(jìn)行模型訓(xùn)練，包括重構(gòu)損失、總變分損失和對抗損失，以生成具有結(jié)構(gòu)連貫、語義合理的壁畫圖像.

重構(gòu)損失Lrec是指生成壁畫Iout和真實(shí)壁畫Igt之間的像素差異，利用l1范數(shù)進(jìn)行計算

總變分損失Ltv是為了降低訓(xùn)練過程中噪聲對修復(fù)結(jié)果的影響，使得修復(fù)結(jié)果更為平滑，定義為

式中：m和n表示生成壁畫Iout中的像素坐標(biāo).

對抗損失Ladv則是為了確保重建圖像的視覺真實(shí)性以及紋理和結(jié)構(gòu)的一致性，其表示為

式中：Dsn為頻譜歸一化判別網(wǎng)絡(luò)，Iin為生成網(wǎng)絡(luò)的輸入圖像，σ(?)為ReLU激活函數(shù).

因此，本文的聯(lián)合損失可表示為

式中：λrec、λtv、λadv分別為重構(gòu)損失、總變分損失和對抗損失的對應(yīng)權(quán)重.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集及參數(shù)設(shè)置

本文實(shí)驗(yàn)使用自制敦煌壁畫數(shù)據(jù)集，以唐代壁畫為主的高清壁畫圖像作為數(shù)據(jù)集來源，并通過數(shù)據(jù)增強(qiáng)的方式對數(shù)據(jù)集進(jìn)行擴(kuò)充，形成21 000 張壁畫數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).其中包括：訓(xùn)練集12 600張壁畫圖像，測試集4 200張壁畫圖像，驗(yàn)證集4 200張壁畫圖像.

本文實(shí)驗(yàn)運(yùn)行環(huán)境為Windows 10 操作系統(tǒng)，硬件配置為Intel（R）Core i7-10700K CPU @3.80 GHz，32.0GB RAM，NVIDIA GeForce RTX 2060 SUPER，對比實(shí)驗(yàn)均在相同配置下進(jìn)行.本修復(fù)模型基于Py?Torch 深度學(xué)習(xí)框架編程實(shí)現(xiàn)，在訓(xùn)練過程中，用Adam優(yōu)化器進(jìn)行優(yōu)化，批大小為4，學(xué)習(xí)率為2×10-4.

為了驗(yàn)證本文方法的有效性，采用人為添加隨機(jī)破損、人為添加大區(qū)域中心破損和真實(shí)破損敦 煌壁畫進(jìn)行修復(fù)實(shí)驗(yàn)，并與文獻(xiàn)［6］、文獻(xiàn)［9］、文 獻(xiàn)［11］和文獻(xiàn)［12］的修復(fù)結(jié)果進(jìn)行對比分析.采用主觀效果和客觀定量分析對修復(fù)結(jié)果進(jìn)行評價，客觀評價使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity Index Mea?surement，SSIM）.

2.2 人為添加隨機(jī)破損修復(fù)實(shí)驗(yàn)

首先進(jìn)行人為添加隨機(jī)破損修復(fù)實(shí)驗(yàn)，選取五幅敦煌壁畫，實(shí)驗(yàn)結(jié)果如圖7 所示.其中，圖7（a）為原始壁畫，圖7（b）為掩膜圖像.圖7（c）為文獻(xiàn)［6］的修復(fù)結(jié)果，可以看出文獻(xiàn)［6］修復(fù)結(jié)果中出現(xiàn)了塊效應(yīng)及修復(fù)不徹底的問題，如第一幅壁畫的頭飾部分出現(xiàn)塊效應(yīng)；第二幅壁畫的頭光部分存在結(jié)構(gòu)斷裂和紋理模糊問題；第三幅壁畫的關(guān)鍵語義信息丟失，未完成眼睛、鼻子等面部特征的修復(fù)；第四幅壁畫的排簫紋理不合理，出現(xiàn)過度平滑現(xiàn)象，且手指存在錯誤修復(fù)；第五幅壁畫修復(fù)結(jié)果的塊效應(yīng)嚴(yán)重，且缺失較多邊緣結(jié)構(gòu)信息，上述問題是由于文獻(xiàn)［6］通過引入雙向的可學(xué)習(xí)注意力模型指導(dǎo)修復(fù)，但該方法未考慮結(jié)構(gòu)和紋理先驗(yàn)信息對于修復(fù)結(jié)果的引導(dǎo)性，從而導(dǎo)致修復(fù)結(jié)果出現(xiàn)了局部梯度塊效應(yīng)和結(jié)構(gòu)紊亂問題.圖7（d）為文獻(xiàn)［9］的修復(fù)結(jié)果，可以發(fā)現(xiàn)修復(fù)結(jié)果出現(xiàn)語義不合理和內(nèi)容模糊現(xiàn)象，如第一幅壁畫的頭飾部分出現(xiàn)平滑現(xiàn)象；第二幅壁畫的頭光部分存在線條扭曲問題以及脖頸以下部分的內(nèi)容出現(xiàn)模糊問題；第三幅壁畫的面部語義信息未完成修復(fù)；第四幅壁畫的排簫部分出現(xiàn)偽影問題；第五幅壁畫的修復(fù)結(jié)果存在結(jié)構(gòu)紋理模糊現(xiàn)象，上述問題主要是因?yàn)槲墨I(xiàn)［9］對壁畫結(jié)構(gòu)紋理等先驗(yàn)信息的考慮不足，這導(dǎo)致壁畫修復(fù)結(jié)果出現(xiàn)內(nèi)容模糊和語義不合理問題.圖7（e）為文獻(xiàn)［11］的修復(fù)結(jié)果，其修復(fù)結(jié)果出現(xiàn)了紋理紊亂和修復(fù)錯誤等問題，如第一幅壁畫的頭光部分線條未擬合，出現(xiàn)斷裂現(xiàn)象；第二幅壁畫和第三幅壁畫均出現(xiàn)了錯誤修復(fù)問題，導(dǎo)致修復(fù)痕跡明顯；第四幅壁畫的手指和排簫部分出現(xiàn)紋理紊亂問題；第五幅壁畫同樣存在紋理修復(fù)不合理現(xiàn)象，這是因?yàn)槲墨I(xiàn)［11］未對壁畫圖像的紋理方向特征信息進(jìn)行考慮.圖7（f）為文獻(xiàn)［12］的修復(fù)結(jié)果，發(fā)現(xiàn)修復(fù)結(jié)果出現(xiàn)了輪廓扭曲和紋理模糊偽影現(xiàn)象，如第一幅壁畫頭光上方部分結(jié)構(gòu)細(xì)節(jié)信息丟失，存在像素模糊平滑問題；第二幅壁畫的頭冠部分未徹底修復(fù)，頭光部分存在邊緣輪廓扭曲問題；第三幅壁畫未能對壁畫整體色彩協(xié)調(diào)，線條清晰度也有所提高.

為了進(jìn)一步對圖7 的修復(fù)結(jié)果進(jìn)行客觀定量評價，PSNR 和SSIM 比較結(jié)果如表1 所示.其中，PSNR值越大，表明修復(fù)后圖像的失真程度越小；SSIM 值越大，表明修復(fù)結(jié)果與原始圖像結(jié)構(gòu)更加吻合.從表1中可以發(fā)現(xiàn)，本文算法的PSNR和SSIM均高于對比算法，從而說明在主客觀評價方面所提方法均優(yōu)于比較方法.

表1 不同算法對人為添加隨機(jī)破損修復(fù)結(jié)果PSNR和SSIM對比Tab.1 Comparison of repair results PSNR and SSIM of different algorithms for artificially added random damage

2.3 人為添加大區(qū)域中心破損修復(fù)實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文算法對于大面積破損壁畫的修復(fù)效果，選取五幅壁畫進(jìn)行人為添加大區(qū)域中心破損修復(fù)實(shí)驗(yàn)，修復(fù)結(jié)果如圖8 所示.其中，圖 8（a）為原始壁畫圖像，圖8（b）為中心破損掩膜圖像.圖8（c）為文獻(xiàn)［6］的修復(fù)結(jié)果，從第一幅壁畫可發(fā)現(xiàn)，壁畫的頭冠部分出現(xiàn)了結(jié)構(gòu)紊亂、色彩差異的現(xiàn)象；第二幅壁畫雖然對眼部特征有所修復(fù)，但是出現(xiàn)了整體結(jié)構(gòu)扭曲現(xiàn)象；剩余三幅壁畫均未完成修復(fù)，整體存在線條扭曲及未能有效完成修復(fù)的問題.圖8（d）為文獻(xiàn)［9］的修復(fù)結(jié)果，可以發(fā)現(xiàn)該方法對大面積破損壁畫的修復(fù)有所效果，但仍存在內(nèi)容模糊和語義不合理現(xiàn)象，如第一幅和第五幅壁畫未完成面部信息的修復(fù)，第二幅、第三幅和第四幅壁畫存在內(nèi)容模糊問題.圖8（e）為文獻(xiàn)［11］的修復(fù)結(jié)果，可以看出該方法無法完成對大面積破損壁畫的修復(fù)，均出現(xiàn)了修復(fù)偽影的現(xiàn)象.圖8（f）為文獻(xiàn)［12］的修復(fù)結(jié)果，可以看出該方法無法完成對大面積破損壁畫的修復(fù)，這是由于中心掩膜破損區(qū)域過大且關(guān)鍵特征未知時，文獻(xiàn)［12］模型采用雙階段修復(fù)思想，但在粗修復(fù)階段無法得到合理的邊緣輪廓信息，導(dǎo)致無法僅依靠結(jié)構(gòu)引導(dǎo)完成關(guān)鍵部位的修復(fù).圖8（g）為本文算法修復(fù)結(jié)果，從第一幅壁畫可以看出，本文對缺失區(qū)域?qū)崿F(xiàn)了基本有效修復(fù)，雖然右眼未能徹底完成修復(fù)，但相比比較方法，修復(fù)結(jié)果基本符合人類視覺感受；第二幅和第三幅壁畫結(jié)構(gòu)簡單，所提方法均取得了較好的修復(fù)效果；第四幅壁畫背景較復(fù)雜，本文修復(fù)結(jié)果雖然存在一定的平滑模糊問題，但采用結(jié)構(gòu)和紋理聯(lián)合引導(dǎo)后，加強(qiáng)了對于結(jié)構(gòu)和紋理的引導(dǎo)修復(fù)作用，修復(fù)后彩帶線條更加連貫自然，紋理一致.第五幅壁畫也基本修復(fù)完成，眼睛、鼻子等與原圖雖存在差異，但整體視覺效果更加協(xié)調(diào)和自然.

圖8 不同算法對人為添加大區(qū)域中心破損壁畫的修復(fù)結(jié)果對比Fig.8 Comparison of repair results of artificially added damaged murals in the center of large areas by different algorithms

同樣對圖8 的修復(fù)結(jié)果進(jìn)行客觀定量評價，如表2 所示，從表中可以發(fā)現(xiàn)，本文算法的PSNR 和SSIM 均高于對比算法.通過對上述人為添加破損修復(fù)實(shí)驗(yàn)進(jìn)行主客觀評價可以發(fā)現(xiàn)，本文算法能完成大區(qū)域破損壁畫的有效修復(fù)，且取得了較好的修復(fù)結(jié)果.

表2 不同算法對人為添加大區(qū)域中心破損修復(fù)結(jié)果PSNR和SSIM對比Tab.2 Comparison of repair results PSNR and SSIM of artificially added large area center damage by different algorithms

2.4 真實(shí)破損壁畫修復(fù)實(shí)驗(yàn)

為了進(jìn)一步說明本文算法的有效性，下面采 用五幅真實(shí)破損壁畫進(jìn)行修復(fù)實(shí)驗(yàn)，修復(fù)結(jié)果如 圖9 所示.其中，圖9（a）為真實(shí)破損壁畫圖像，圖 9（b）為破損區(qū)域相應(yīng)的掩膜圖像，圖9（c）、圖9（d）、圖9（e）、9（f）和9（g）分別為文獻(xiàn)［6］、文獻(xiàn)［9］、文 獻(xiàn)［11］、文獻(xiàn)［12］和本文算法的修復(fù)結(jié)果.從第一幅“莫高窟第158 窟?金光明經(jīng)變之梵天”局部壁畫的修復(fù)結(jié)果可以看出，所有比較算法均出現(xiàn)修復(fù)不徹底和錯誤修復(fù)等問題，而本文算法左側(cè)矩形框中修復(fù)結(jié)果紋理一致、線條連續(xù)，右側(cè)矩形框中修復(fù)結(jié)果雖然存在一定的模糊現(xiàn)象，但整體色彩協(xié)調(diào)自然，視覺感受較好.對于第二幅“莫高窟第144 窟?金翅鳥王”局部壁畫和第三幅“莫高窟第155 窟?涅槃經(jīng)變之菩薩和弟子”局部壁畫的修復(fù)結(jié)果，文獻(xiàn)［6］和文獻(xiàn)［11］均出現(xiàn)修復(fù)不徹底問題，存在殘留痕跡；文 獻(xiàn)［9］的邊緣輪廓部分未完成修復(fù)；文獻(xiàn)［12］出現(xiàn)局部色彩失真問題；本文算法的修復(fù)結(jié)果較完整，線條連續(xù)性較好.從第四幅“莫高窟第144 窟?舞伎”局部壁畫的修復(fù)結(jié)果可以看出，文獻(xiàn)［6］和文獻(xiàn)［9］無法完成大面積破損區(qū)域的修復(fù)，文獻(xiàn)［11］和文獻(xiàn)［12］出現(xiàn)邊界信息缺失和模糊等問題，而本文算法在結(jié)構(gòu)連續(xù)性和色彩一致性方面均有所改善.第五幅“莫高窟第201 窟?觀無量壽經(jīng)變之供養(yǎng)菩薩”局部壁畫的修復(fù)結(jié)果中，文獻(xiàn)［6］存在明顯的修復(fù)殘留，文 獻(xiàn)［9］出現(xiàn)邊緣殘留，文獻(xiàn)［11］和文獻(xiàn)［12］出現(xiàn)了修復(fù)偽影，本文算法則較好地擬合了面部和眼睛的輪廓，且修復(fù)完整度較高.

圖9 不同算法對真實(shí)破損壁畫的修復(fù)結(jié)果對比Fig.9 Comparison of repair results of real damaged murals by different algorithms

2.5 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法所提出的各個模塊對修復(fù)結(jié)果的影響，采用消融實(shí)驗(yàn)對測試集壁畫圖像的修復(fù)結(jié)果進(jìn)行定量比較分析，如表3 所示.其中，模型Ⅰ是以編碼器解碼器為基本結(jié)構(gòu)的網(wǎng)絡(luò)模型；模型Ⅱ是在模型Ⅰ的基礎(chǔ)上增加了門控特征融合機(jī)制的結(jié)構(gòu)引導(dǎo)模型；模型Ⅲ是在模型Ⅰ的基礎(chǔ)上加入方向注意力的紋理引導(dǎo)網(wǎng)絡(luò)模型.從表3 可以看出，在模型Ⅰ的基礎(chǔ)上單獨(dú)加入結(jié)構(gòu)引導(dǎo)或紋理引導(dǎo)后的PSNR 和SSIM 均有一定提升，而同時加入兩者后得到的PSNR 和SSIM 均優(yōu)于結(jié)構(gòu)引導(dǎo)和紋理引導(dǎo)的單獨(dú)使用，取得了更好的修復(fù)性能.

表3 消融實(shí)驗(yàn)定量比較Tab.3 Quantitative comparison of ablation experiments

3 結(jié)論

本文提出了一種結(jié)構(gòu)門控融合與紋理聯(lián)合引導(dǎo)的生成對抗壁畫修復(fù)模型.在結(jié)構(gòu)引導(dǎo)編碼子網(wǎng)絡(luò)中，提出了門控特征融合機(jī)制將壁畫特征和結(jié)構(gòu)特征進(jìn)行引導(dǎo)編碼，增加編碼特征圖中的結(jié)構(gòu)輪廓信息.然后設(shè)計紋理引導(dǎo)器和方向注意力模塊提取分層紋理方向特征，將提取到的紋理先驗(yàn)信息引導(dǎo)解碼器更好地完成壁畫的生成重構(gòu)，并采用跳躍連接加強(qiáng)結(jié)構(gòu)和紋理信息的共享互補(bǔ)，促進(jìn)生成壁畫圖像結(jié)構(gòu)紋理更加協(xié)調(diào)一致.通過對敦煌壁畫的實(shí)驗(yàn)結(jié)果表明，本文方法較好地完成了破損壁畫修復(fù)，在主客觀評價方面均優(yōu)于比較算法.雖然所提方法具有較好的修復(fù)效果，但未對壁畫的佛經(jīng)故事、文化內(nèi)涵等深層語義信息進(jìn)行考慮，后續(xù)將進(jìn)一步加強(qiáng)研究.