基于空譜聯(lián)合特征的壁畫稀疏多光譜圖像顏料分類方法

蔚道權(quán)，王慧琴，王可，王展，甄剛

（1 西安建筑科技大學(xué)信息與控制工程學(xué)院，西安 710055）

（2 陜西省文物保護研究院，西安 710075）

0 引言

壁畫是中國文化長河中的瑰寶，在歷史、科學(xué)和藝術(shù)等方面具有很高的研究價值，顏料作為壁畫的重要創(chuàng)作材料，是其重要組成部分。由于年代久遠及各種環(huán)境因素的影響，壁畫出現(xiàn)不同程度的畫面模糊、顏料脫落等問題，對顏料鑒定和識別是壁畫后期維護的重要前提。近年來，多光譜成像技術(shù)作為基于成像學(xué)和光譜學(xué)發(fā)展起來的新興技術(shù)，為壁畫顏料高效檢測識別提供了可靠方法［1］。多光譜圖像是具有數(shù)個波段或者數(shù)十個波段組成的“數(shù)據(jù)立方體”，光譜技術(shù)與成像技術(shù)結(jié)合在一幅圖像中，含有豐富的光譜信息和空間信息［2］。在給定已知類別標簽的樣本數(shù)據(jù)情況下，多光譜圖像顏料的分類實質(zhì)為通過分析不同顏料的空譜特征來選擇特征參數(shù)的過程，特征空間被劃分成不同的子空間，每個像素點被指定給相關(guān)的子空間。

多光譜圖像顏料分類逐漸成為光譜數(shù)據(jù)分析的研究熱點，GONG Mengting 等［3］用高光譜成像系統(tǒng)采集現(xiàn)代中國畫的高光譜圖像，利用光譜角填圖法對繪畫所用顏料進行分類和識別；ZHANG Chenfeng 等［4］對文物顏料光譜吸收特征進行參量化分析，并通過改進的光譜吸收特征擬合算法與標準光譜進行匹配識別，從而得到識別結(jié)果；BU Yajing 等［5］根據(jù)不同物質(zhì)對光的吸收特性不同，提出了一種基于可見光譜的顏料識別方法；LI Junfeng 等［6］針對取樣分析技術(shù)破壞壁畫文物完整性問題，提出非接觸式可見光譜法原位無損識別壁畫文物礦物質(zhì)顏料物質(zhì)成分和粒徑的方法。WANG Yu 等［7］利用顯微激光拉曼光譜儀對大昭寺轉(zhuǎn)經(jīng)廊壁畫顏料進行了分析，并發(fā)現(xiàn)壁畫中使用了合成有機顏料甲苯胺紅。LIANG Jinxing 等［8］提取光譜曲線的一階與二階導(dǎo)數(shù)特征，構(gòu)建古代壁畫常用顏料庫光譜數(shù)據(jù)庫，計算待鑒別顏料與數(shù)據(jù)庫參考樣本在光譜特征空間中的匹配誤差，實現(xiàn)顏料物質(zhì)屬性的鑒別。LI Junfeng 等［9］提出一種非接觸式可見光譜法原位無損識別壁畫文物礦物質(zhì)顏料物質(zhì)成分和粒徑的方法。

特征提取是多光譜圖像分類的關(guān)鍵步驟，傳統(tǒng)的多光譜圖像顏料分類算法只考慮圖像的光譜特征，而忽略圖像的空間相關(guān)性，并且在壁畫的采集過程中，稀疏采集導(dǎo)致其光譜反射率非線性較強，其空間分辨率高度相關(guān)性，影響壁畫多光譜圖像分類精度。近年來，深度學(xué)習(xí)方法被成功用于多光譜圖像分類研究［10-12］，與傳統(tǒng)多光譜分類算法相比，深度學(xué)習(xí)方法通過構(gòu)建網(wǎng)絡(luò)框架能夠自動地從數(shù)據(jù)中挖掘所需要的深層特征，對分類任務(wù)具有較強的魯棒性，在分類精度方面有較大提升。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Net‐work，CNN）、長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）等深度學(xué)習(xí)模型被應(yīng)用于多光譜圖像分類，并取得了一定的效果，但是上述模型無法充分利用多光譜圖像的空譜信息。

本文提出了一種聯(lián)合空間信息和光譜信息的多光譜壁畫顏料分類方法，采用CNN 和LSTM 分別提取多光譜圖像的空間特征和光譜特征，LSTM 中雙曲正切激活函數(shù)提取多光譜圖像非線性特征，CNN 中線性整流函數(shù)映射特征圖到非線性空間，提高稀疏壁畫多光譜圖像顏料的分類精度。

1 相關(guān)原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)

壁畫多光譜圖像稀疏采集會導(dǎo)致圖像中光譜反射率的非線性增強，進而影響分類精度。深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)可以提取多光譜數(shù)據(jù)的非線性特征，其結(jié)構(gòu)內(nèi)的線性整流函數(shù)（Rectified Linear Unit，ReLU）將多光譜數(shù)據(jù)從線性空間映射到非線性空間。在壁畫多光譜圖像空間維度中，卷積神經(jīng)網(wǎng)絡(luò)將中間特征圖經(jīng)過激活函數(shù)再輸出，使卷積后的線性映射轉(zhuǎn)換成非線性映射，其結(jié)構(gòu)主要由卷積層、池化層和全連接層組成［13］，其中卷積層第l+l 層輸出表達式為

式中，Zl+1表示第l+1 層的特征圖輸出，表示第l層，第k個通道的特征圖輸出，b為偏置量，Z(i，j)為對應(yīng)輸出的特征圖像素值為第l+1 層，第k個通道的權(quán)重矩陣，K為特征圖的通道數(shù)，(x，y)表示像素點的位置，f和s0分別對應(yīng)卷積核的大小和卷積步長。

在多光譜圖像分類中，空間信息主要指空間上下文信息，具體表現(xiàn)為相近像元為同類的可能性較大，對于壁畫圖像來說，待分類顏料屬于含其相鄰像元數(shù)目最多類別的可能性最大，即相鄰像元相關(guān)性較強，因此引入卷積神經(jīng)網(wǎng)絡(luò)提取壁畫多光譜中空間維度上的顏料特征。本文所用卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)如圖1，其結(jié)構(gòu)由3 層卷積層和3 層池化層組成，卷積層的卷積核大小為3×3，數(shù)量為32，激活函數(shù)為ReLU，池化層的步長為2×2，填充方式為SAME。因壁畫顏料區(qū)域大小形狀不一，不同尺度、不同抽象級別的特征對分類結(jié)果皆有重要影響，并且隨著卷積層數(shù)的加深，特征圖的大小不斷減小，丟失小區(qū)域顏料的細節(jié)信息。為有效提取不同尺度特征，引入多尺度融合策略將淺層特征與深層特征進行融合，進一步提高壁畫多光譜圖像分類精度。但是僅利用卷積神經(jīng)網(wǎng)絡(luò)提取空間特征太過單一，無法充分利用多光譜圖像“圖譜合一”的特點，因此加入長短期記憶神經(jīng)網(wǎng)絡(luò)提取多光譜圖像光譜特征。

圖1 空間特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Spatial feature extraction network structure

1.2 長短期記憶神經(jīng)網(wǎng)絡(luò)

基于單特征的分類方法精度較低［14］，且稀疏壁畫多光譜圖像光譜反射率的非線性也會影響分類精度，結(jié)合多光譜數(shù)據(jù)空譜合一的特點，在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上加入長短期記憶神經(jīng)網(wǎng)絡(luò)，利用其結(jié)構(gòu)中雙曲正切激活函數(shù)完成對光譜特征的非線性提取。作為循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［15］的變體，長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）因能有效抑制RNN 反向傳播階段時梯度消失或梯度爆炸［16］現(xiàn)象，在處理長序列數(shù)據(jù)時有較好表現(xiàn)。多光譜圖像的光譜數(shù)據(jù)實質(zhì)上可視為序列數(shù)據(jù)，其波段之間具有序列相關(guān)性。LSTM 作為RNN 的改進網(wǎng)絡(luò)，增加了內(nèi)部狀態(tài)和門控機制，其主要核心部分包括輸入門、遺忘門、輸出門和自循環(huán)連接。其中輸入門i(t)控制當(dāng)前時刻的候選狀態(tài)信息保存需求量，遺忘門f(t)控制上一時刻內(nèi)部狀態(tài)遺忘信息需求量，輸出門o(t)控制當(dāng)前時刻對外部狀態(tài)h(t)的內(nèi)部狀態(tài)輸出需求量。步長為t的LSTM 前向傳播過程如式（2）～（6）所示。

InputGate：

ForgetGate：

OutputGate：

CellState：

LSTMOutput：

式中，Wi、Wf、Wo、Wc、Ui、Uf、Uo和Uc為權(quán)重矩陣，bi、bf、bo和bc為偏差向量，i(t)、f(t)、o(t)分別表示t時刻輸入門、遺忘門和輸出門的輸出，c(t)和c(t-1)表示t時刻和t-1 時刻的狀態(tài)單元，h(t-1)、h(t)分別表示t-1 時刻和t時刻網(wǎng)絡(luò)的輸出，σ為sigmoid 激活函數(shù)，具體形式為?σ(x)=，⊙表示點積，g表示tanh 激活函數(shù)，形式為g(x)=。

如圖2 所示，將壁畫多光譜圖像進行光譜重組，輸出一維光譜向量到LSTM 中，在無監(jiān)督情況下主動學(xué)習(xí)深度光譜特征，利用LSTM 提取多光譜圖像的光譜信息。在光譜維度相鄰波段間光譜反射率具有高度相關(guān)性，且光譜數(shù)據(jù)本質(zhì)為序列數(shù)據(jù)，LSTM 可關(guān)注相鄰序列數(shù)據(jù)之間的上下文信息，即相鄰波段之間的光譜信息。因此利用上述特性可高效提取多光譜數(shù)據(jù)中光譜特征，達到多光譜圖像高精度分類的目的。

圖2 光譜特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Spectrum feature extraction network structure

1.3 空譜聯(lián)合特征網(wǎng)絡(luò)

壁畫多光譜圖像含有大量空間特征和光譜特征，僅利用CNN 提取空間特征或LSTM 提取光譜特征無法充分利用壁畫多光譜的圖像“空譜合一”特性，導(dǎo)致顏料分類精度較低，因此將二者結(jié)合為空譜聯(lián)合特征網(wǎng)絡(luò)。傳統(tǒng)多光譜圖像分類方法如K近鄰法［17］、最大似然法［18］及支持向量機［19］法，僅考慮圖像的空間信息或光譜信息，忽略了相應(yīng)域的光譜信息相關(guān)性，且稀疏采集方式對分類精度有一定影響。對于壁畫多光譜圖像而言，其光譜反射率呈現(xiàn)非線性特點，深度學(xué)習(xí)中的激活函數(shù)可以提取非線性光譜特征。激活函數(shù)給神經(jīng)元加入非線性元素，使神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性函數(shù)，因此將LSTM 和CNN 的激活函數(shù)引入壁畫多光譜圖像顏料分類網(wǎng)絡(luò)中，映射多光譜數(shù)據(jù)到非線性空間，提高光譜非線性特征的表達能力。

CNN 因其強大的特征提取能力，逐漸成為多光譜圖像分析的主流算法，但其應(yīng)用于壁畫多光譜圖像分類尚存在一些問題。文獻［20］將CNN 用于高光譜圖像分類，由于壁畫多光譜圖像同時具有豐富的空間信息和光譜信息，且卷積和池化操作只提取壁畫二維空間特征，忽略了多光譜圖像光譜維度上的光譜特性，很大程度上影響了模型分類性能。壁畫多光譜圖像的顏料類別復(fù)雜多樣，僅利用光譜信息或者空間信息很難適應(yīng)壁畫多光譜數(shù)據(jù)。由文獻［21］可知，結(jié)合空間和光譜信息的方法可有效提高光譜信息分類精度。文獻［22］中提出一種基于3 維卷積遞歸神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類方法，雖提取了空間信息與光譜信息，但對多通道高分辨率壁畫多光譜圖像而言，遞歸神經(jīng)網(wǎng)絡(luò)無法處理長序列的多光譜數(shù)據(jù)。因此利用LSTM 時序連接結(jié)構(gòu)提取壁畫多光譜圖像的光譜特征，解決了多光譜數(shù)據(jù)非線性對分類結(jié)果的影響。

本文將CNN 和LSTM 整合為空譜聯(lián)合特征網(wǎng)絡(luò)（Space-Spectrum Joint Feature，SSJF），網(wǎng)絡(luò)結(jié)構(gòu)如圖3。網(wǎng)絡(luò)主體由卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶神經(jīng)網(wǎng)絡(luò)組成，上分支使用LSTM 提取光譜特征，通過激活函數(shù)Tanh 將多光譜輸出特征圖映射在［?1，1］范圍，提取非線性光譜特征的同時有效避免了梯度消失；下分支使用CNN 提取空間特征，在卷積后使用ReLU 函數(shù)映射至非線性空間，調(diào)整輸出特征矩陣將負值修正為0，大于或等于0 的數(shù)值保持不變。同時將多通道三維多光譜數(shù)據(jù)立方體展平為一維光譜向量，輸入到LSTM中，通過遺忘門及輸出門獲取有效光譜特征向量。融合LSTM 和CNN 所提特征圖為空譜聯(lián)合特征圖，經(jīng)過前向傳播建立網(wǎng)絡(luò)模型，設(shè)計網(wǎng)絡(luò)損失函數(shù)，通過反向傳播最小化損失函數(shù)，最后利用softmax 分類器輸出每類顏料對應(yīng)概率值。

圖3 空譜聯(lián)合特征提取網(wǎng)絡(luò)Fig.3 Space-spectrum joint feature extraction network

整體網(wǎng)絡(luò)流程為：

Step1：對于上分支LSTM，設(shè)X∈Rr×c×n為原始多光譜數(shù)據(jù)，其中r、c、n為多光譜圖像高、寬及通道數(shù)。將三維多光譜圖轉(zhuǎn)換為一維光譜向量，對于當(dāng)前時刻輸入xt，有

式中，xt∈RM為當(dāng)前時刻輸入，W∈R4D×(D+M)和b∈R4D為網(wǎng)絡(luò)參數(shù)，D為數(shù)據(jù)維度，M為超參數(shù)RD為通過非線性函數(shù)得到的候選狀態(tài)，ct-1為上一時刻記憶單元；tanh 為雙曲正切激活函數(shù)，形式為tanh=，⊙為向量元素乘積。

Step2：對于下分支CNN，設(shè)X∈Rr×c×n為原始多光譜數(shù)據(jù)，經(jīng)過三次卷積核最大池化操作后，第l層的輸出特征映射為

式中，al為第l層激活后輸出，maxpool 表示最大池化，ReLU 表示線性整流函數(shù)，al-1為第l-1 層激活后輸出，Wl和bl分別表示第l層的權(quán)重及偏置。

Step3：將LSTM 和CNN 提取的特征進行拼接，經(jīng)Softmax 得到每一類顏料概率值，對于多光譜圖像多分類問題，類別標簽為y∈{1，2，...，C}。給定一個樣本x，Softmax 回歸預(yù)測屬于類別c的條件概率為

式中，p(y=c|x)表示樣本x屬于c類的概率，wc是第c類的權(quán)重向量。

網(wǎng)絡(luò)損失函數(shù)定義為

式中，Lcnn、Llstm、Ljoin分別為卷積神經(jīng)網(wǎng)絡(luò)、長短期記憶神經(jīng)網(wǎng)絡(luò)和空譜聯(lián)合特征網(wǎng)絡(luò)的損失函數(shù)為第i個訓(xùn)練樣本對應(yīng)的預(yù)測標簽，yi為真實類別標簽，m為訓(xùn)練集的大小。

2 實驗及結(jié)果分析

2.1 數(shù)據(jù)集

實驗數(shù)據(jù)集分為兩部分，第一部分為自制多光譜顏料板，如圖4 所示，其中包含鉻黃、雌黃、藤黃、頭綠、四綠、頭青、天蘭、四青、青金石、深紅、大紅、朱膘、赭石、銀朱14 種顏料色塊多光譜圖像，圖像大小為187×500，光譜波段數(shù)為16，波長分別在400 nm，460 nm，480 nm，520 nm，540 nm，580 nm，600 nm，640 nm，660 nm，700 nm，740 nm，780 nm，820 nm，860 nm 和900 nm。圖4（a）為在CIE 標準照明體D65 光源下660 nm 處多光譜圖像示意圖，圖4（b）為各種顏料的RGB 三色圖，多光譜顏料板數(shù)據(jù)集按1：9 劃分為訓(xùn)練集和測試集，表1為數(shù)據(jù)集具體劃分，其中Training 和Test 兩欄分別代表訓(xùn)練集和測試集的像素點個數(shù)。第二部分為自制模擬壁畫，如圖5 所示，圖像大小為1 370×1 030，光譜波段數(shù)為16，光譜分辨率和多光譜顏料板相同，其中圖5（a）為660 nm 處光譜圖像示意圖，圖5（b）為真彩色圖像。

圖5 自制模擬壁畫Fig.5 Self-made mock murals

表1 多光譜顏料板訓(xùn)練集和測試集劃分Table 1 The division of training set and test set of multispectral paint board

圖4 多光譜顏料板Fig.4 Multispectral pigment board

2.2 顏料板及模擬壁畫分析

將多光譜顏料板中的顏料標記為訓(xùn)練標簽，鉻黃標記為1，雌黃標記為2，以此類推，為了定量評價各模型的性能，使用OA 和Kappa 系數(shù)作為性能指標，OA 表示訓(xùn)練樣本中分類正確的百分比例，越接近100%說明分類精度越高，Kappa 系數(shù)是基于混淆矩陣的精度衡量指標，代表與完全隨機分類相比分類減少的錯誤百分比，其取值范圍為［?1，1］，評價指標可分別表示為

式中，TP 表示真實值為正樣本，預(yù)測值為正樣本；TN 表示真實值為負樣本，預(yù)測值為負樣本；FP 表示真實值為負樣本，預(yù)測值為正樣本；TN 表示真實值為正樣本，預(yù)測值為負樣本。po表示每一類正確分類的樣本數(shù)量之和除以總樣本數(shù)，pe=。

采用小批量隨機梯度下降算法優(yōu)化網(wǎng)絡(luò)模型，訓(xùn)練階段設(shè)置epoch 為500，網(wǎng)絡(luò)采用端到端的方式訓(xùn)練，所有參數(shù)通過Adam 算法進行優(yōu)化，初始學(xué)習(xí)率為0.000 1，β1=0.9，β2=0.999，batch_size 為128，Keras 框架搭建空譜聯(lián)合網(wǎng)絡(luò)模型，硬件環(huán)境為Intel i7-8700，3.20 GHz 處理器，16 GB RAM，NVIDIA RTX 2070顯卡。

多光譜顏料板訓(xùn)練結(jié)果如圖6，其中圖6（a）為16 通道多光譜圖，圖6（b）為真實類別標簽，圖6（c）為LSTM 分類結(jié)果，可以看出其網(wǎng)絡(luò)大致分類出所標記的顏料的類別，但LSTM 更多關(guān)注多光譜圖像的光譜特征，沒有考慮到空間特征，實際分類效果與真實結(jié)果相差較遠。圖6（d）為CNN 分類結(jié)果，相比于LSTM，可以看出CNN 對顏料色塊的線條、形狀等空間特征分類效果較好。圖6（e）為SSJF 結(jié)果，與只考慮光譜特征或者空間特征的方法相比，空譜聯(lián)合特征的分類結(jié)果更接近類別標簽。

圖6 不同方法在顏料板下的訓(xùn)練結(jié)果Fig.6 The training results of different methods under the paint board

定量分析如表2 所示，從表中數(shù)據(jù)可知空譜聯(lián)合特征網(wǎng)絡(luò)對各個顏料的分類的準確度結(jié)果較好，相對于只提取光譜特征或只提取空間特征的網(wǎng)絡(luò)來說，空譜聯(lián)合特征網(wǎng)絡(luò)的OA 和Kappa 系數(shù)都高于只提取單一特征的分類方法。

表2 不同方法在顏料板下的分類精度Table 2 Classification accuracy of different methods under pigment board

從圖7 中每個方法對每類顏料的分類結(jié)果來看，SSJF 對顏料的分類準確度均高于CNN 和LSTM 的分類準確度，LSTM 中tanh 和sigmoid 激活函數(shù)能夠給神經(jīng)網(wǎng)絡(luò)加入非線性因素，使得LTSM 具有良好的非線性逼近能力，CNN 中的卷積操作可以提取局部區(qū)域的特征信息，避免了相鄰顏料錯分為相同種類的情況，消除了光譜分辨率非線性和空間相關(guān)性對分類結(jié)果的影響，并且融合LSTM 和CNN 提取的光譜信息和空間信息，充分利用多光譜圖像的空譜信息，進一步提高了壁畫多光譜圖像的分類精度。

圖7 顏料板分類結(jié)果Fig.7 Color board classification results

為了驗證模型的普適性，將調(diào)優(yōu)后的模型預(yù)測自制模擬壁畫中的顏料，對模擬壁畫分別采用最小距離分類法（Minimum Distance Classification，MDC）、光譜信息散度法（Spectral Information Divergence，SID）、光譜角制圖法（Spectral Angle Mapping，SAM）、支持向量機法（Support Vector Machine，SVM）和本文的空譜聯(lián)合特征網(wǎng)絡(luò)（Space-Spectrum Joint Feature，SSJF）。實驗結(jié)果如圖8，其中圖8（a）為MDC 分類結(jié)果，從圖上來看結(jié)果較差，出現(xiàn)顏料錯分的情況；圖8（b）為SID 分類結(jié)果，可以看出對細節(jié)部分分類較差；圖8（c）為SAM 分類結(jié)果，與SID 分類結(jié)果相似；圖8（d）為SVM 分類結(jié)果，從圖像上可以看出總體精度較好，對于銀朱、鉻黃、四綠等顏料都得出較為正確的結(jié)果；圖8（e）和（f）分別為卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶神經(jīng)網(wǎng)絡(luò)分類結(jié)果，圖8（g）為空譜聯(lián)合網(wǎng)絡(luò)的分類結(jié)果，本文算法將CNN 和LSTM 各自分類殘缺的部分進行補齊，對自制壁畫中的顏料進行了正確分類，相比于其他傳統(tǒng)算法，對自制壁畫中人物衣服中的顏料分類的結(jié)果更為準確。

圖8 不同方法在自制壁畫下的分類結(jié)果Fig.8 Classification results of different methods under self-made murals

為判定分類結(jié)果的真實有效，采用主觀評價方法和客觀評價方法相結(jié)合的方式對圖像分類結(jié)果進行評價，主觀圖像質(zhì)量評價方法采用雙刺激損傷分級法對壁畫多光譜圖像的分類結(jié)果進行打分。相比主觀圖像質(zhì)量評價方法來說，客觀評價方法應(yīng)用更準確、廣泛，最常用的有均方根誤差（Root Mean Squared，RMSE）法、峰值信噪比法（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性法（Structural Similarity Image Metric，SSIM）。

對于主觀評價方法，通常采用圖像主觀質(zhì)量5 級評分表進行打分，邀請陜西省文物保護研究院相關(guān)專家和本項目組人員，共10 人進行評價，分為5 組，每組2 人。利用雙刺激損傷分級法對比分類結(jié)果和原圖，觀察待測圖像的分類結(jié)果，根據(jù)表3 圖像主觀質(zhì)量5 級評分表，得出待測圖像的質(zhì)量等級，評價結(jié)果如表4，MDC為Very bad，SID 為Poor，SAM 和SVM 均為Generally，MSCNN 和LSTM 均為Better，SSJF 為Very good，由表可知，相比較其他算法，SSJF 的分類結(jié)果較好。

表3 圖像主觀評價度量尺度表對對比Table 3 Comparison of the scales of subjective image evaluation

表4 雙刺激損傷分級法主觀評價結(jié)果Table 4 Evaluation results of dual stimulation injury classification method

對各算法分類結(jié)果采用RMSE、PSNR 和SSIM 進行客觀評價，其中RMSE 為預(yù)測值與真實值偏差的平方與觀測次數(shù)比值的平方根，其值越小代表誤差越小，越接近真實值；PSNR 表示信號最大可能功率和影響它的表示精度的破壞性噪聲功率的比值，其數(shù)值越高說明與原圖越相似；結(jié)構(gòu)相似性SSIM 表現(xiàn)在圖像的像素間存在著很強的相關(guān)性，其取值范圍為［0，1］，值越大，表示圖像失真越小，越相似。評價結(jié)果如表5，其中SSJF 的RMSE、PSNR 和SSIM 均優(yōu)于其他分類算法，可知該算法有效地對壁畫多光譜圖像顏料進行了分類。

表5 圖像質(zhì)量客觀評價結(jié)果Table 5 Objective evaluation results of image quality

表6 為不同方法對自制模擬壁畫的分類精度對比，與LSTM 和CNN 相比，SSJF 對每一類的顏料的分類準確度分別提高了0.11～8.22 和0.09～7.12，且OA 和Kappa 較LSTM 提高了1.42 和0.024 3，較CNN 提高了1.29 和0.022 1。綜上，空譜聯(lián)合特征網(wǎng)絡(luò)明顯優(yōu)于其他傳統(tǒng)算法，OA 和Kappa 系數(shù)分別為99.97% 和0.999 5。

表6 不同方法對自制模擬壁畫的分類精度Table 6 Classification accuracy of self-made simulated murals by different methods

從圖9 可知，空譜聯(lián)合特征網(wǎng)絡(luò)（SSJF）的整體精確度都高于傳統(tǒng)壁畫多光譜圖像分類方法，并且對各個顏料分類精確度基本上都達到了99%以上，Kappa 系數(shù)（Kappa×100）也達到了99.95。相對于其他分類算法，SSJF 算法都優(yōu)于單特征算法的分類精度。

圖9 自制壁畫分類結(jié)果Fig.9 Self-made mural classification results

2.3 真實壁畫多光譜成像數(shù)據(jù)分析

相比于自制壁畫圖像，由于受到長期病害的侵蝕，真實壁畫表面情況復(fù)雜，對顏料分類結(jié)果產(chǎn)生較大影響，需要對壁畫多光譜圖像進行去噪和配準等預(yù)處理。真實壁畫來自于研究團隊在天津某寺廟拍攝的一幅因竭陀尊者圖像的部分區(qū)域，如圖10 所示，圖中左側(cè)為因竭陀尊者真彩圖像，右側(cè)為裙子部分的16 通道光譜圖像。搭建CCD 多光譜相機拍攝環(huán)境采集壁畫多光譜圖像，利用分光元件對目標壁畫進行多通道成像，各個通道的像素值代表目標壁畫在此通道上的光譜反射情況，將所有通道結(jié)合形成數(shù)據(jù)立方體，再進行圖像配準，得到光譜分辨率從400 nm 到940 nm 的16 通道的多光譜圖像。

圖10 因竭陀尊者裙子部分16 通道多光譜圖Fig.10 16-channel multispectral image of Venerable Injanta′s skirt

圖11（a）為原始樣本，圖11（b）為分類結(jié)果，選取因竭陀尊者裙子部分中ROI1 和ROI2 區(qū)域作為測試樣本，采用調(diào)優(yōu)后的空譜聯(lián)合特征模型預(yù)測樣本，得出分類結(jié)果，并與標準顏料板進行對比。實驗結(jié)果表明，空譜聯(lián)合特征網(wǎng)絡(luò)分類方法較好地分出了顏料種類，LSTM 中的Tanh 函數(shù)提取的非線性光譜特征，減小了非線性對分類精度的影響，且LSTM 解決了反向傳播階段產(chǎn)生的梯度消失和梯度爆炸的問題，提高了該壁畫中人物裙子的分類效果，同時CNN 中ReLU 函數(shù)把特征圖映射到非線性空間，加速了網(wǎng)絡(luò)訓(xùn)練的速度，降低了壁畫多光譜相鄰像元之間的相關(guān)性，提高了模型非線性特征的表達能力。CNN 中局部連接及參數(shù)共享機制大大減小了訓(xùn)練參數(shù)量，使訓(xùn)練更快收斂至全局最小點。同時本文深度空譜聯(lián)合特征網(wǎng)絡(luò)也受人眼神經(jīng)元細胞感受機理的啟發(fā)，模擬人腦視覺處理信息的機理，建立空譜聯(lián)合特征深度網(wǎng)絡(luò)模型。壁畫多光譜圖像存在同色異譜現(xiàn)象，在不同光源下，不同物質(zhì)可能顯現(xiàn)出相同的顏色，但其光譜反射率不同。本文空譜聯(lián)合特征網(wǎng)絡(luò)算法所用數(shù)據(jù)為光譜數(shù)據(jù)，其分類結(jié)果可從物理層面杜絕顏料分類誤差，避免在色度空間的誤分類情況。其中ROI1 區(qū)域和ROI2 區(qū)域預(yù)測準確度分別為99.86%和99.90%，同時模型也預(yù)測出其他未知顏料，從圖11（b）中分類結(jié)果上看，不僅預(yù)測出所標記的ROI 區(qū)域的顏料，且對于ROI1 和ROI2 以外的區(qū)域（圖中標記區(qū)域）顏料也成功預(yù)測，驗證了本文空譜聯(lián)合網(wǎng)絡(luò)用于壁畫顏料分類的有效性。

圖11 裙子部分區(qū)域樣本及分類結(jié)果Fig.11 Partial region samples and classification results of skirts

3 結(jié)論

本文提出一種空譜聯(lián)合特征方法識別壁畫多光譜圖像顏料類別，利用CNN 和LSTM 分別提取多光譜圖像的空間特征和光譜特征，對壁畫顏料進行分類識別。實驗結(jié)果表明，本文方法可有效地提高待測顏料的分類準確度，并且OA 和Kappa 系數(shù)都高于其他算法。傳統(tǒng)基于儀器的測量方法需要直接接觸壁畫，可能會對文物造成損壞，為避免該問題，采用多光譜成像技術(shù)和深度學(xué)習(xí)算法識別顏料種類，該方法可快速、無損且無接觸式地識別出壁畫顏料的種類，其分類結(jié)果可以作為壁畫修復(fù)和朝代鑒定的參考材料。