具有分類器機(jī)制的高光譜圖像特征提取方法

邢長(zhǎng)達(dá)，汪美玲，徐雍倡，王志勝

1.中國(guó)礦業(yè)大學(xué) 信息與控制工程學(xué)院,徐州 221116;

2.南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,南京 211106;

3.南京航空航天大學(xué) 自動(dòng)化學(xué)院,南京 211106

1 引言

作為一種先進(jìn)的技術(shù)，高光譜成像具有很強(qiáng)的空間分辨率和光譜分辨率感知能力，近些年已經(jīng)在諸多領(lǐng)域顯示出巨大的應(yīng)用潛力，比如城市繪圖、氣候觀測(cè)、地質(zhì)勘察、工業(yè)智能、智慧醫(yī)療等（Ghamisi 等，2017；梁雪劍 等，2021；章碩等，2021）。由于高光譜成像可以有效地從數(shù)百個(gè)相鄰的窄光譜帶捕獲目標(biāo)物體的反射信息，因此可以很好地反映物體的化學(xué)成分和物理形態(tài)信息（聶江濤 等，2023）。在與高光譜成像相關(guān)的研究中，高光譜圖像分類（魏祥坡 等，2020；薛朝輝和張瑜娟，2022）是目前最受關(guān)注的研究方向之一，旨在預(yù)測(cè)不同對(duì)象的類別標(biāo)簽，實(shí)現(xiàn)精準(zhǔn)觀測(cè)和精細(xì)分類。

從具有復(fù)雜結(jié)構(gòu)的高光譜圖像中自動(dòng)地提取高質(zhì)量和有價(jià)值的特征是分類任務(wù)的關(guān)鍵，是高光譜圖像智能解譯的基本內(nèi)容。一些方法直接將高光譜圖像的光譜像素用作判別特征，并利用支持向量機(jī)SVM（Support Vector Machine）（He 等，2016）、回歸（regression）（Fei 等，2012）等對(duì)這些光譜像素進(jìn)行分析計(jì)算，從而預(yù)測(cè)出高光譜圖像的標(biāo)簽信息。但這些方法僅關(guān)注圖像的光譜信息，而缺乏對(duì)空間特征感知的能力。為了描述高光譜圖像的空間特征信息，許多基于空間特征提取的分類方法被提出。例如，Benediktsson等（2003）提出的基于多尺度形態(tài)學(xué)的特征提取方法，通過組合開、閉運(yùn)算來構(gòu)建記錄空間結(jié)構(gòu)信息的差分形態(tài)學(xué)輪廓，取得了不錯(cuò)的效果。類似地，還有基于擴(kuò)展形態(tài)學(xué)屬性輪廓EMAP（Extended Morphological Attribute Profiles）（Benediktsson等，2005）和定向形態(tài)學(xué)輪廓的方法DMP（Directional Morphological Profiles）（Liao等，2012）。上述方法大多依賴于單特征，其分類性能往往是弱于基于多特征的方法。例如，F(xiàn)ang等（2017）利用4組特征（即：光譜像素、形態(tài)輪廓特征、Gabor 紋理特征、微分形態(tài)輪廓）來聯(lián)合預(yù)測(cè)高光譜圖像的標(biāo)簽，實(shí)驗(yàn)結(jié)果表明，相比于單特征方法，該多特征方法取得了更好的分類性能。

表示學(xué)習(xí)（Scholkopf等，2021）也為高光譜圖像分類問題提供了一個(gè)有效的解決思路，常見的表示學(xué)習(xí)方法包括稀疏表示SR（Sparse Representation）、低秩表示LRR（Low-Rank Representation）、二值特征表示BR（Binary Representation）等。稀疏表示一般假設(shè)未知樣本可以通過來自字典的幾個(gè)訓(xùn)練樣本的組合來近似表示，稀疏向量隱式地對(duì)類別信息進(jìn)行編碼。常見的稀疏表示形式有L1 范數(shù)正則化（Xing 等，2020）、拉普拉斯正則化（Chen等，2011）、組稀疏編碼（Zhang 等，2013）、自適應(yīng)稀疏編碼（Fang 等，2017）、聯(lián)合稀疏模型（Zhang 等，2014）等。低秩表示則是在低秩約束下找到高光譜圖像數(shù)據(jù)的一種表示形式（Xing 等，2022），用于獲取數(shù)據(jù)的全局結(jié)構(gòu)信息。Chen等（2020）提出的低秩判別最小二乘回歸模型LRDLSR（Low-Rank Discriminative Least Squares Regression）巧妙地利用低秩約束來挖掘結(jié)構(gòu)特征。二值特征表示的主要思想是在二值0/1 空間中尋找高光譜圖像的特征表示形式（Li 等，2022；Jia 等，2018；Xing 等，2023）。Xing等（2023）提出了一種基于局部光譜二值特征學(xué)習(xí)方法，首先對(duì)每個(gè)光譜向量進(jìn)行分割，建立光譜向量的局部光譜模塊，然后對(duì)這些局部光譜模塊進(jìn)行聯(lián)合編碼，構(gòu)建具有局部光譜上下文注意力的二值特征編碼模型，在分類任務(wù)中取得不錯(cuò)的效果。

深度學(xué)習(xí)是近些年最流行、最受關(guān)注的機(jī)器學(xué)習(xí)方法，能夠?qū)?shù)據(jù)進(jìn)行高效表征學(xué)習(xí)，可以挖掘和描述隱藏在數(shù)據(jù)背后的深層次信息。Chen等（2014）首次將深度學(xué)習(xí)引入高光譜圖像分類任務(wù)中，利用堆棧式自動(dòng)編碼器來構(gòu)建深度網(wǎng)絡(luò)DAE（Deep AutoEncoder），獲得圖像的深層特征。受此啟發(fā)，Chen等（2015）利用深度置信網(wǎng)絡(luò)DBN（Deep Belief Networks）來感知高光譜圖像的聯(lián)合空間—光譜特征。針對(duì)傳統(tǒng)的DBN 模型面臨的特征判別性不高的問題，Li等（2022）則設(shè)計(jì)了一種基于多DBN（Multi-DBN）結(jié)構(gòu)的學(xué)習(xí)網(wǎng)絡(luò)，能夠提取高光譜圖像的深度流形特征。卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Network）是最常見的深度學(xué)習(xí)結(jié)構(gòu)，在高光譜圖像特征提取與分類中，無需手動(dòng)干預(yù)，提取特征的判別性也較高。Xu等（2018）將高光譜圖像進(jìn)行切塊處理，并自動(dòng)選取若干個(gè)圖像塊作為卷積核來構(gòu)建卷積網(wǎng)絡(luò)框架，可同時(shí)提取圖像的淺層和深層特征，用于分類計(jì)算。Cao等（2020）將主動(dòng)學(xué)習(xí)AL（Active Learning）和CNN 集成到統(tǒng)一框架中，以改善高光譜圖像分類的性能。Dong等（2022）利用基于超像素的圖神經(jīng)網(wǎng)絡(luò)GAT（Graph Attention Network）和基于像素的CNN 的互補(bǔ)特性，提出了GAT 和CNN 加權(quán)特征融合方法，并用于高光譜圖像分類，也取得了不錯(cuò)的效果。此外，生成對(duì)抗神經(jīng)網(wǎng)絡(luò)GAN（Generative Adversarial Network）、Transformer 等新型深度學(xué)習(xí)方法也已經(jīng)被用到高光譜圖像分類問題中。例如，Bai等（2022）提出了一種復(fù)合型網(wǎng)絡(luò)結(jié)構(gòu)，將GAN、Transformer 以及卷積塊統(tǒng)一起來，具有由Transformer 支持的全局感受野和由卷積塊支持的局部感受野的特點(diǎn)，并在高光譜圖像分類中取得了很好的結(jié)果。

高光譜圖像分類大多可看作是由特征提取與基于分類器的標(biāo)簽預(yù)測(cè)這兩階段操作組成，并且它們?cè)谠O(shè)計(jì)時(shí)往往是相互獨(dú)立的。雖說深度學(xué)習(xí)方法常常是直接進(jìn)行特征學(xué)習(xí)并進(jìn)行分類（即是從數(shù)據(jù)輸入到分類結(jié)果輸出的端到端（end-toend）網(wǎng)絡(luò)結(jié)構(gòu)），但本質(zhì)上仍可看作由基于DAE、CNN 等的特征提取方法與基于softmax、logistic regression 等的分類器直接級(jí)聯(lián)而成。現(xiàn)有方法在構(gòu)建特征提取模型時(shí)，一般不考慮分類器的影響，這可能會(huì)導(dǎo)致提取的特征并不兼容當(dāng)前分類器，預(yù)測(cè)結(jié)果較差。這種不兼容性體現(xiàn)在分類器模型與其輸入特征數(shù)據(jù)之間的匹配關(guān)系。眾所周知，分類器往往都是基于一定模型的。當(dāng)數(shù)據(jù)和模型匹配的時(shí)候，分類結(jié)果會(huì)很好。然而，當(dāng)數(shù)據(jù)與模型不匹配的時(shí)候，分類結(jié)果一般會(huì)很差（Tan 和Wang，2007）。此外，圖1 給出了一張示例圖，用于進(jìn)一步說明特征與分類器之間的不兼容及其對(duì)分類結(jié)果的影響，其中以高光譜圖像中兩地物中部分樣本為例，且將像元直接作為特征，SVM 作為分類器。從圖1中可以看出，上面虛線框中特征與SVM 分類器不夠兼容匹配，使特征可能不易被分類器所處理，導(dǎo)致分類結(jié)果較差。下面虛線框中，在特征獲取過程時(shí)加入SVM 特性，使得特征具有了“大間隔”的分布特點(diǎn)，這是SVM 分類器的內(nèi)在要求，更容易被SVM 分類器所處理，從而實(shí)現(xiàn)較高的分類性能。基于以上分析，本文提出具有分類器機(jī)制的高光譜圖像特征提取方法，實(shí)現(xiàn)特征提取與分類器間的兼容，使所提取特征能夠更好地被分類器計(jì)算，改善分類預(yù)測(cè)結(jié)果。分類器機(jī)制是關(guān)于分類器的約束，即：本文將分類器進(jìn)行定量描述，并作為高光譜圖像特征提取模型的約束項(xiàng)。本文創(chuàng)新性貢獻(xiàn)可歸納為如下3個(gè)方面：（1）提出了具有分類器機(jī)制的高光譜圖像特征提取方法，在數(shù)學(xué)上明確方法的一般表達(dá)形式，定量分析了方法的基本原理和結(jié)構(gòu)；（2）以稀疏表示與SVM 分類器為例，建立了基于SVM 特性的稀疏特征提取模型SRS（Sparse feature extraction with SVM），并給出其優(yōu)化求解過程；（3）以深度自編碼網(wǎng)絡(luò)DAE 與softmax 分類器為例，建立了基于softmax 特性的深度自編碼特征提取網(wǎng)絡(luò)DAES（Deep Autoencoder feature Extraction with Softmax），并提出了相應(yīng)的優(yōu)化求解策略。

圖1 特征與分類器之間不兼容及其對(duì)分類結(jié)果影響的示例圖，其中以高光譜圖像中兩地物中部分樣本為例Fig.1 An example diagram of the incompatibility between features and classifiers，and its impact on classification results，where samples from two objects in hyperspectral images are partly selected

2 本文方法

2.1 研究動(dòng)機(jī)與模型建立

本質(zhì)上，高光譜圖像分類由兩大部分組成，即特征提取與分類器預(yù)測(cè)，并且這兩部分通常是相互獨(dú)立的。一般來說，由于在構(gòu)建特征提取模型時(shí)，并不考慮分類器的影響，因此提取的特征可能不適應(yīng)分類器，導(dǎo)致預(yù)測(cè)結(jié)果較差。如果將分類器的特性集成到特征提取模型中，那么提取的特征與對(duì)應(yīng)的分類器之間將變得更加匹配，對(duì)分類預(yù)測(cè)也是非常有意義的。因此，本文將關(guān)注特征提取與分類器之間的關(guān)系，旨在建立一種能夠與分類器相兼容的特征提取模型?；谏鲜龇治?，本文建立的具有分類器機(jī)制的高光譜圖像特征提取方法的一般形式如下：

式中，Z表示模型輸出的特征；ψf(·)表示模型的特征提取部分；ψc(·)表示具有分類器特性的模型成分；Θf、Θc分別是ψf(·)與ψc(·)的參數(shù)集合；η是ψf(·)與ψc(·)的耦合參數(shù)。從式（1）中可以看出，所建立的特征提取方法將反映分類器機(jī)制的ψc(Z，Θc)作為特征提取模型ψf(A，Z，Θf)的約束項(xiàng)，使特征提取模型具備了分類器特性。通過實(shí)際的優(yōu)化求解，使建立的模型在特征提取過程中充分考慮了分類器的作用，實(shí)現(xiàn)提取的特征與對(duì)應(yīng)的分類器之間的兼容性。這種兼容性保證了特征能夠滿足分類器的內(nèi)在要求，更易于被分類器處理，從而實(shí)現(xiàn)分類性能的提升，預(yù)測(cè)出更佳的分類結(jié)果。為了便于表示與分析，本文給出模型式（1）的兩種具體形式：（1）以稀疏表示與支持向量機(jī)SVM 為例，構(gòu)建基于SVM 特性的稀疏特征提取模型，記為SRS 形式；（2）以深度自編碼網(wǎng)絡(luò)與softmax 函數(shù)為例，建立基于softmax 特性的深度自編碼特征提取網(wǎng)絡(luò)，記為DAES形式。

2.2 基于SRS的特征提取方法

基于稀疏表示的特征提取方法，是尋找一個(gè)映射關(guān)系W，使得WA=Z，且Z盡可能的稀疏，其數(shù)學(xué)模型可表示為

式中，W∈RE×L；α為正則化參數(shù)。為了建立具有SVM 特性的稀疏特征提取模型，需要對(duì)SVM 進(jìn)行定量描述，并作為約束嵌入到模型式（2）中。本質(zhì)上，SVM 尋找已知不同類別樣本間的最大間隔決策面。若樣本分布未知，那么在一定的條件下，可獲得某種具有大間隔的樣本特征分布?？紤]WA=Z，并根據(jù)SVM 理論，能夠反映SVM 特性的數(shù)學(xué)形式可描述為

式中，Z可理解為未知樣本的集合。進(jìn)一步考慮松弛變量，式（3）可轉(zhuǎn)化為如下形式：

式中，γ表示耦合參數(shù)，ξi，j為松弛變量。所以，將反映SVM 特性的式（4）作為約束項(xiàng)，嵌入到稀疏表示模型式（2）中，可得到具有SVM 特性的稀疏特征提取模型SRS，即：

式中，β表示耦合參數(shù)，為稀疏表示項(xiàng)，以及約束項(xiàng)表示SVM 分類器特性。該特征提取模型同時(shí)包含了稀疏特征表示與SVM 分類器的特點(diǎn)，因此特征不僅具有稀疏性，還容易被SVM 分類器處理計(jì)算。模型式（5）是一個(gè)多變量?jī)?yōu)化求解問題，也是一個(gè)非凸問題，所以無法直接獲得其最優(yōu)解。模型式（5）亦可看作單個(gè)變量（固定其他變量）的凸優(yōu)化問題，所以本文設(shè)計(jì)了一種基于交替優(yōu)化的求解策略，以獲得模型的最優(yōu)解。

2.2.1 優(yōu)化變量W與ξ

固定模型式（5）中變量Z不變，得到僅關(guān)于變量W與ξ的優(yōu)化模型：

引入Lagrange法（Parikh 和Boyd，2014），建立如下的Lagrange方程：

式中，εi，j表示參數(shù)變量，控制約束項(xiàng)的權(quán)重?？紤] KKT條件（Karush-Kuhn-Tucker conditions）（Wu等，2016），得到下面的式子：

根據(jù)式（8）—式（10），可直接給出W和ξ的最優(yōu)形式。

2.2.2 優(yōu)化變量Z

保持式（5）中變量W與ξ不變，獲得關(guān)于Z的優(yōu)化模型，即：

為求解模型式（11），這里引入輔助變量P=Z，使模型式（11）等價(jià)于：

式中，λ為常數(shù)。由ADMM（Alternating Direction Method of Multipliers）（Parikh和Boyd，2014）優(yōu)化算法理論知，式（12）的最優(yōu)解可通過如下兩式交替迭代得到，即：

式中，soft(a，b)=sign(a)×max(|a|-b，0)，sign(a)為符號(hào)函數(shù)。

經(jīng)過式（8）—式（10）、式（13）—式（14），可以求出最優(yōu)的變量W，即通過訓(xùn)練樣本集合A學(xué)習(xí)到的映射矩陣W。對(duì)于未標(biāo)注的測(cè)試樣本集合B，其特征可表示為WB。具體的處理流程如算法1所示。進(jìn)一步地，利用SVM 分類器對(duì)特征WB 進(jìn)行計(jì)算處理，獲得測(cè)試樣本集合B的標(biāo)簽信息。算法1為

輸出：映射關(guān)系矩陣W、高光譜圖像B的特征WB。

2.3 基于DAES的特征提取方法

本文DAES 方法將深度自編碼網(wǎng)絡(luò)與softmax分類器函數(shù)集成在一起，用于提取高光譜。

圖像特征，其形式可表示為

式中，Aj、Uj、Vj分別是自編碼網(wǎng)絡(luò)中第j層（1 ≤j≤J）的輸入、解碼矩陣以及編碼矩陣，且Aj=以及A1=A；losssm為關(guān)于softmax分類器的損失函數(shù)；σj是第j層的稀疏正則化參數(shù)；δ為耦合常數(shù)。為簡(jiǎn)化分析，本文僅將網(wǎng)絡(luò)頂層（即第J層）中嵌入分類器機(jī)制，那么模型式（15）可視為由J-1層的自編碼網(wǎng)絡(luò)與式（16）所級(jí)聯(lián)而成的形式。

式 中，AJ∈、UJ∈RR×G、VJ∈RR×G（R和G分別是第J層輸入與輸出的維數(shù)）。模型（15）的前J-1 層的解Aj、Uj、Vj（1 ≤j≤J-1）可直接通過標(biāo)準(zhǔn)稀疏自編碼網(wǎng)絡(luò)訓(xùn)練獲得，第J層的解UJ、VJ需優(yōu)化求解模型式（16）。為便于求解，引入輔助變量S=那么模型式（16）等價(jià)于：

式中，κ為常數(shù)參數(shù)。下面，本文將給出模型式（17）的優(yōu)化求解過程。

2.3.1 優(yōu)化變量UJ

固定模型式（17）中的VJ、S不變，則有僅關(guān)于變量UJ的式子：

該式子的解析解可表示為

2.3.2 優(yōu)化輔助變量S

當(dāng)固定UJ、VJ不變時(shí)，模型式（17）可改寫為

該式的最優(yōu)解S可通過下式表示，即：

2.3.3 優(yōu)化變量VJ

當(dāng)保持變量UJ和S不變時(shí)，式（16）可寫為如下僅關(guān)于變量VJ的形式，即：

該式等價(jià)于：

定義L(VJr)為式（22）的目標(biāo)函數(shù)，其關(guān)于VJr的導(dǎo)數(shù)可表示為

根據(jù)梯度下降法，變量VJr可通過下式來更新，即：

式中，θ表示學(xué)習(xí)率，VJ=

2.3.4 DAES特征提取網(wǎng)絡(luò)的訓(xùn)練策略

為了訓(xùn)練DAES 特征提取網(wǎng)絡(luò)，本文提出一種兩階段訓(xùn)練策略。首先將網(wǎng)絡(luò)提取的特征輸入到softmax分類器中，建立基于DAES的高光譜圖像分類方法。本文的兩階段訓(xùn)練策略如下：在第一階段，利用帶標(biāo)簽的訓(xùn)練樣本集A來訓(xùn)練DAES 分類方法的前J-1 層與softmax 層，這樣可看成是傳統(tǒng)的深度自編碼預(yù)測(cè)網(wǎng)絡(luò)，可以學(xué)習(xí)前J-1 層的參數(shù)Aj、Uj、Vj（1 ≤j≤J-1）；在第二階段，單獨(dú)訓(xùn)練第J層。首先將第一階段訓(xùn)練的AJ-1作為第J層的數(shù)據(jù)輸入，即AJ=AJ-1，然后根據(jù)式（19）、（21）、（25）等交替迭代，即可獲得UJ、VJ。本文DAES算法的處理流程如算法2所示：

3 實(shí)驗(yàn)結(jié)果及分析

本節(jié)將對(duì)提出的SRS 和DAES 特征提取方法進(jìn)行實(shí)驗(yàn)分析。根據(jù)前文分析，SRS 和DAES 方法中分別包含SVM 分類器特性和softmax 函數(shù)特性，為便于算法評(píng)估，本實(shí)驗(yàn)將SRS 和DAES 所提取的高光譜圖像特征分別輸入到SVM 分類器和softmax 分類器中，輸出對(duì)應(yīng)的分類結(jié)果，進(jìn)一步地對(duì)所獲分類結(jié)果進(jìn)行分析評(píng)價(jià)。

3.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

本文選取遙感高光譜圖像與醫(yī)學(xué)高光譜圖像來進(jìn)行實(shí)驗(yàn)驗(yàn)證與分析。一方面，遙感高光譜圖像采用Salinas 數(shù)據(jù)、Pavia Centre 數(shù)據(jù)以及Houston數(shù)據(jù)。Salinas 數(shù)據(jù)是由美國(guó)發(fā)射的衛(wèi)星所搭載的AVIRIS（Airborne/Visible Infrared Imaging Spectrometer）傳感器所采集的，拍攝的是美國(guó)加利福尼亞州Salinas 山谷照片，包含16 個(gè)類別，尺寸為224 × 512 × 217。為便于實(shí)驗(yàn)，剔除20 個(gè)吸水區(qū)域波段，并減少其空間尺寸至原來的一半，得到204 × 256 × 108大小的實(shí)驗(yàn)數(shù)據(jù)。Pavia Centre數(shù)據(jù)是由ROSIS（Reflective Optics System Imaging Spectrometer）傳感器所采集，記錄的是意大利帕維亞（Pavia）市中心的信息，包含9個(gè)類別。為便于實(shí)驗(yàn)，去除數(shù)據(jù)中噪聲波段，并減小空間分辨率，得到尺寸為103 × 365 × 238 的實(shí)驗(yàn)數(shù)據(jù)。Houston數(shù)據(jù)是由NCALM（Airborne Laser Mapping）所采集，拍攝的是休斯頓大學(xué)校園及附近街區(qū)，其大小為144×349×1905，包含15個(gè)地物類別。另一方面，醫(yī)學(xué)高光譜圖像取自于In-Vivo HHB（In-Vivo Hyperspectral Human Brain）數(shù)據(jù)集，該數(shù)據(jù)集是由一臺(tái)外科手術(shù)高光譜采集系統(tǒng)獲得，描述的是手術(shù)過程中人腦的實(shí)時(shí)情況。成像相機(jī)覆蓋400—1000 nm的光譜范圍，光譜分辨率是2—3 nm，可捕獲826 個(gè)光譜帶。In-Vivo HHB 數(shù)據(jù)集共包括來自不同患者的36組高光譜圖像組成，每組圖像含4個(gè)類別（正常組織、腫瘤組織、血管以及背景等）。

在實(shí)驗(yàn)中，為了定量地評(píng)價(jià)算法的性能，本文使用了3個(gè)常用的評(píng)價(jià)指標(biāo)來衡量不同方法分類結(jié)果的質(zhì)量，其中包括總體準(zhǔn)確度OA（Overall Accuracy）、平均準(zhǔn)確度AA（Average Accuracy）以及Kappa 系數(shù)?？傮w準(zhǔn)確度OA 用于計(jì)算正確分類的像素百分比。平均準(zhǔn)確度AA 則是每個(gè)類別的平均像素百分比。Kappa系數(shù)是修正分類像素的正確百分比。在本實(shí)驗(yàn)中，所有列出的度量結(jié)果都是5次實(shí)驗(yàn)結(jié)果的平均值。

3.2 參數(shù)分析與選擇

本文的SRS（包括α、β、γ）和DAES（包括σj、δ）方法包含了若干關(guān)鍵參數(shù)，其不同取值會(huì)影響方法的性能。因此，需要對(duì)這些參數(shù)進(jìn)行實(shí)驗(yàn)分析，以便能選擇出合適的取值。為簡(jiǎn)化實(shí)驗(yàn)，首先利用單個(gè)高光譜數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分析，選擇出最佳取值，然后將這些最優(yōu)值推廣到其他數(shù)據(jù)集上。選取Salinas 高光譜圖像作為參數(shù)分析與選擇的實(shí)驗(yàn)數(shù)據(jù)，并利用OA、AA 以及Kappa 指標(biāo)對(duì)結(jié)果進(jìn)行評(píng)價(jià)。此外，參考網(wǎng)格搜索法（grid search），參數(shù)α、β、γ、σj、δ的取值范圍均為［10-3，10-2，10-1，100，101，102］。

3.2.1 SRS方法的參數(shù)分析與選擇

圖2 是參數(shù)α、β、γ的不同取值對(duì)SRS 方法性能（在OA、AA 以及Kappa 指標(biāo)上）的影響曲線。從圖2中可以看出，當(dāng)α=10-2、β=100、γ=10-2時(shí)，OA 指標(biāo)的值均取到最大，即此時(shí)SRS 的性能最優(yōu)。當(dāng)α＜10-2、β＜100、γ＜10-2時(shí)，OA、AA 以及Kappa的值均趨于減小。原因在于，隨著SRS提取模型式（5）中稀疏項(xiàng)和SVM 分類器項(xiàng)的權(quán)重降低，該模型的特征表示能力會(huì)削弱，并且所提取的特征與SVM 分類器之間的兼容性也會(huì)減弱。相反地，當(dāng)α＞10-2、β＞100、γ＞10-2時(shí)，OA、AA以及Kappa 的值也明顯減小，這是因?yàn)?，隨著模型式（5）中稀疏項(xiàng)或SVM 分類器項(xiàng)的權(quán)重提高，輸入圖像與輸出特征間的一致性（即：‖WA-會(huì)大大減弱，導(dǎo)致輸出的特征失真嚴(yán)重。綜上分析，SRS 方法中參數(shù)α、β、γ分別取10-2、100、10-2為最優(yōu)選擇值。

圖2 參數(shù)α、β、γ的不同取值對(duì)SRS方法性能的影響曲線Fig.2 The performance of the SRS method with different values of parameter α，β，and γ

3.2.2 DAES方法的參數(shù)分析與選擇

本文DAES 方法的重要參數(shù)包括各層稀疏正則化參數(shù)σj、softmax 損失函數(shù)項(xiàng)的權(quán)重δ以及網(wǎng)絡(luò)層數(shù)J。

首先，為便于分析，將網(wǎng)絡(luò)各層的稀疏正則化參數(shù)σj設(shè)置為同樣的值，表示為σ=σj(1 ≤j≤J)，并設(shè)置網(wǎng)絡(luò)層數(shù)為4層（即J=4）。如圖3 所示為參數(shù)σ、δ的不同取值對(duì)DAES 方法性能（在OA、AA以及Kappa指標(biāo)上）的影響曲線。從圖3中可以觀察到，當(dāng)σ=10-2、δ=10-1時(shí)，DAES 方法性能（在OA、AA 以及Kappa 指標(biāo)上）均達(dá)到最優(yōu)。當(dāng)σ＜10-2、δ＜10-1時(shí)，DAES 性能趨于降低，這是由于DAES模型式（15）的稀疏性和softmax函數(shù)特性降低所導(dǎo)致的。而當(dāng)σ＞10-2、δ＞10-1時(shí)，DAES 性能出現(xiàn)大幅度衰減，這是因?yàn)檫^高的稀疏項(xiàng)和softmax 函數(shù)項(xiàng)權(quán)重嚴(yán)重影響了自編碼網(wǎng)絡(luò)的特征表示能力。因此，選擇σ=10-2、δ=10-1作為參數(shù)的最優(yōu)值。

圖3 參數(shù)σ、δ的不同取值對(duì)DAES方法性能的影響曲線Fig.3 The performance of the DAES method with different values of parameter σ and δ

其次，根據(jù)上述參數(shù)分析結(jié)果，設(shè)置σ=10-2、δ=10-1。如圖4 所示為網(wǎng)絡(luò)層數(shù)J的不同取值對(duì)DAES方法性能（在OA、AA以及Kappa指標(biāo)上）的影響曲線。從圖4 中可以看到，當(dāng)J＜4 時(shí)，DAES方法的性能趨于下降，這是因?yàn)樯疃忍卣鞲兄蛔愣鴮?dǎo)致的。當(dāng)J≥4時(shí)，DAES方法的性能達(dá)到最優(yōu)，并趨于穩(wěn)定?？紤]到過多的網(wǎng)絡(luò)層數(shù)會(huì)降低計(jì)算效率，因此選擇J=4作為網(wǎng)絡(luò)層數(shù)的最優(yōu)值。

圖4 網(wǎng)絡(luò)層數(shù)J的不同取值對(duì)DAES方法性能（在OA、AA以及Kappa指標(biāo)上）的影響曲線Fig.4 The performance（in OA，AA，and Kappa）of the DAES method with different values of parameter J

3.3 算法對(duì)比

本實(shí)驗(yàn)采用遙感高光譜圖像和醫(yī)學(xué)高光譜圖像數(shù)據(jù)來進(jìn)行算法對(duì)比，以驗(yàn)證本文SRS和DAES方法的有效性和優(yōu)越性。本文SRS和DAES方法所包含的關(guān)鍵參數(shù)，其值按照前文參數(shù)分析實(shí)驗(yàn)結(jié)果來選擇，即α=10-2、β=100、γ=10-2、σ=10-2、δ=10-1。

3.3.1 在遙感高光譜圖像上算法對(duì)比結(jié)果

將Salinas、Pavia Centre、Houston 數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，驗(yàn)證本文SRS和DAES算法在遙感高光譜圖像上的有效性和優(yōu)越性。選取6個(gè)先進(jìn)算法用于對(duì)比，包括RAW（He等，2016）、EMAP（Benediktsson等，2005）、LRDLSR（Chen 等，2020）、MFASR（Fang 等，2017）、RPNet（Xu 等，2018）、SMBN（Fang 等，2019）。RAW 算法是將高光譜圖像的像素向量看作特征，并用SVM 分類器預(yù)測(cè)分類結(jié)果；EMAP 算法建立了具有前3 個(gè)主成分的形態(tài)輪廓來提取特征，同時(shí)也利用SVM 分類器進(jìn)行結(jié)果預(yù)測(cè)；LRDLSR 算法是低秩判別最小二乘回歸模型，利用低秩約束來挖掘結(jié)構(gòu)特征；MFASR 方法是一種多特征策略，融合了光譜像素、形態(tài)輪廓特征、Gabor 紋理特征、微分形態(tài)輪廓等4 組特征來聯(lián)合預(yù)測(cè)高光譜圖像的標(biāo)簽；RPNet算法是一種深度卷積神經(jīng)網(wǎng)絡(luò)，生成的特征同時(shí)包含圖像的淺層和深層特性，并利用SVM 做分類計(jì)算；SMBN 算法是一種多偏置深度網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)不同物體偏差的大小，將特征圖分解成多個(gè)響應(yīng)圖（對(duì)應(yīng)不同的地面物體），并利用softmax做分類結(jié)果預(yù)測(cè)。上述6個(gè)算法的參數(shù)值，均按照對(duì)應(yīng)文獻(xiàn)所建議的方式來設(shè)置。此外，隨機(jī)選擇高光譜圖像數(shù)據(jù)的每個(gè)類別中像素?cái)?shù)量的10% 用作訓(xùn)練樣本，剩余90%作為測(cè)試樣本。

圖5、圖6、圖7 是不同方法在Salinas、Pavia Centre 和Houston 數(shù)據(jù)上的分類結(jié)果。從圖中可以看出，本文SRS 和DAES 方法的分類結(jié)果圖（即圖5（i）—（j）、圖6（i）—（j）、圖7（i）—（j））比其他算法的結(jié)果（即圖5（c）—（h）、圖6（c）—（h）、圖7（c）—（h）更接近于groundtruth圖（即圖5（b）、圖6（b）、圖7（b）），說明了SRS 和DAES 方法的結(jié)果更好。例如，在圖5 中，對(duì)比算法RAW、EMAP、LRDLSR、MFASR、RPNet、SMBN 的分類結(jié)果圖在“未開墾的葡萄園”區(qū)域上包含較大面積的分類錯(cuò)誤，但是本文SRS 和DAES 算法在該區(qū)域上的錯(cuò)誤有明顯的減少。在圖6中，白色虛線框標(biāo)注的“草地”、“瓷磚”等區(qū)域在6個(gè)對(duì)比算法的結(jié)果中都有較為明顯的誤分類情況，而這些不足在本文方法的結(jié)果中都得到顯著的改善。圖7所展示的結(jié)果圖也進(jìn)一步表明了本文方法取得了更好的分類圖。上述實(shí)驗(yàn)現(xiàn)象說明，本文SRS 方法和DAES 方法取得的分類結(jié)果圖整體上是優(yōu)于其他對(duì)比算法的分類圖，主要原因這兩種方法中具有分類器約束，使提取的特征與其所用分類器之間具有良好的兼容性，這也是本文方法在特征層面的優(yōu)勢(shì)。此外，本文還列舉了不同方法在Salinas、Pavia Centre、Houston 數(shù)據(jù)上的評(píng)價(jià)指標(biāo)結(jié)果，如表1、表2 以及表3 所示。從表1—3 中可以看出，本文SRS 和DAES 方法的OA、AA 以及Kappa 指標(biāo)值大多是高于對(duì)比算法的指標(biāo)值（除Pavia Centre數(shù)據(jù)上的AA指標(biāo)以外）。

表1 不同分類算法在Salinas數(shù)據(jù)上的評(píng)價(jià)指標(biāo)結(jié)果Table 1 Metric results of different methods on Salinas/%

表2 不同分類算法在Pavia Centre數(shù)據(jù)上的評(píng)價(jià)指標(biāo)結(jié)果Table 2 Metric results of different methods on Pavia Centre/%

表3 不同分類算法在Houston數(shù)據(jù)上的評(píng)價(jià)指標(biāo)結(jié)果Table 3 Metric results of different methods on Houston/%

圖5 不同方法在Salinas圖像上的分類結(jié)果圖對(duì)比Fig.5 Classification maps of different methods on Salinas

圖6 不同方法在Pavia Centre圖像上的分類結(jié)果圖對(duì)比Fig.6 Classification maps of different methods on Pavia Centre

圖7 不同方法在Houston圖像上的分類結(jié)果圖對(duì)比Fig.7 Classification maps of different methods on Houston

根據(jù)上述在遙感高光譜圖像上的對(duì)比結(jié)果可以看出，相比于對(duì)比算法，本文SRS和DAES方法取得更好的分類性能，這是因?yàn)楸疚姆椒ǔ浞挚紤]了特征提取與分類器之間的關(guān)系，保證了特征提取與分類器之間的兼容性，使特征更易于被分類器所處理。

3.3.2 在醫(yī)學(xué)高光譜圖像上算法對(duì)比結(jié)果

在生物醫(yī)學(xué)領(lǐng)域，基于高光譜圖像的疾病診斷技術(shù)是一種新興技術(shù)，具有廣泛的應(yīng)用前景（高紅民 等，2023；李偉 等，2021）。不同病理組織的化學(xué)組成和物理特征具有不同的反射和吸收特性，表現(xiàn)為光譜曲線的差異性，實(shí)現(xiàn)組織狀態(tài)信息的定性或定量檢測(cè)。根據(jù)高光譜圖像呈現(xiàn)出的空間分布信息，實(shí)現(xiàn)組織不同病態(tài)的可視化，從而為診斷組織疾病提供數(shù)據(jù)支持。為開展算法在疾病診斷方面的應(yīng)用研究，這里將In-Vivo HHB數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)，探討本文SRS 和DAES 算法在醫(yī)學(xué)高光譜圖像上的性能表現(xiàn)。

Wei等（2019）將RAW（He等，2016）、SVMGabor（Li和Du，2014）、CNN（Hu等，2015）成功應(yīng)用于高光譜圖像的細(xì)胞分類、腫瘤診斷。MFSAR（Fang等，2017）、DAE（Chen等，2014）、RPNet（Xu 等，2018）算法也在醫(yī)學(xué)高光譜圖像分類任務(wù)中取得不錯(cuò)的效果。因此，本文將這6種算法作為對(duì)比算法，以驗(yàn)證SRS 和DAES 算法在醫(yī)學(xué)高光譜圖像上的有效性和優(yōu)越性。類似地，隨機(jī)選擇高光譜圖像數(shù)據(jù)的每個(gè)類別中像素?cái)?shù)量的10%用作訓(xùn)練樣本，剩余90%作為測(cè)試樣本。

圖8 和圖9 為不同方法在In-Vivo HHB 數(shù)據(jù)集中MedHSI No.015-01 和MedHSI No.020-01 圖 像上的分類結(jié)果圖。從圖8中可以看出，本文SRS算法的分類圖（圖8（j））優(yōu)于RAW、SVM-Gabor、MFASR、SAE、CNN的分類圖（圖8（c）—（h）），但劣于RPNet 的結(jié)果圖（圖8（i）），這是因?yàn)镽PNet同時(shí)獲取數(shù)據(jù)的深層和淺層特征，具有很強(qiáng)的特征表征能力。然而本文DAES 方法作為一種深度學(xué)習(xí)方法，其提取的特征與分類器具有很強(qiáng)的兼容性，因此它的分類圖（圖8（j））都優(yōu)于所有對(duì)比算法的結(jié)果圖（圖8（c）—（i））。此外，在圖9 中，本文SRS 和DAES 算法的結(jié)果（圖9（j））均明顯好于對(duì)比算法的結(jié)果圖（圖9（c）—（i））。表4 和表5 列舉的評(píng)價(jià)指標(biāo)結(jié)果與以上分類圖結(jié)果一致。綜上，可以得出，本文SRS 和DAES 算法在醫(yī)學(xué)高光譜圖像分類任務(wù)中具有明顯的有效性和優(yōu)越性。

表4 不同分類算法在MedHSI No.015-01數(shù)據(jù)上的評(píng)價(jià)指標(biāo)結(jié)果Table 4 Metric results of different methods on MedHSI No.015-01/%

表5 不同分類算法在MedHSI No.020-01數(shù)據(jù)上的評(píng)價(jià)指標(biāo)結(jié)果Table 5 Metric results of different methods on MedHSI No.020-01/%

圖8 不同方法在MedHSI No.015-01圖像上的分類結(jié)果圖對(duì)比Fig.8 Classification maps of different methods on MedHSI No.015-01

圖9 不同方法在MedHSI No.020-01圖像上的分類結(jié)果圖對(duì)比Fig.9 Classification maps of different methods on MedHSI No.020-01

3.4 消融實(shí)驗(yàn)

本文最突出的創(chuàng)新貢獻(xiàn)是關(guān)注特征提取與分類器之間的關(guān)系，建立了能夠與分類器相兼容的特征提取模型，使提取的特征能夠更容易被分類器處理，從而改善分類的預(yù)測(cè)結(jié)果。為了進(jìn)一步驗(yàn)證本文算法的有效性，本節(jié)開展關(guān)于SRS和DAES的消融實(shí)驗(yàn)，探索和證明集成的分類器特性在特征提取模型中的重要性。本實(shí)驗(yàn)中，SRS 和DAES方法中各參數(shù)按前文參數(shù)分析結(jié)果來設(shè)置，即α=10-2、β=100、γ=10-2、σ=10-2、δ=10-1。此外，以Salinas 高光譜圖像作為實(shí)驗(yàn)數(shù)據(jù)，OA、AA 以及Kappa 為評(píng)價(jià)指標(biāo)，觀測(cè)對(duì)比本文SRS 和DAES算法在集成分類器特性前后的分類結(jié)果，如圖10所示。從圖10 中可以看出，SRS_NC 和DAES_NC取得的OA、AA、Kappa 指標(biāo)值明顯小于SRS 和DAES 的值。也就是說，當(dāng)去除特征提取模型（5）和（15）中的分類器特性時(shí)，本文SRS 和DAES 算法的性能會(huì)出現(xiàn)較大幅度的降低，這是因?yàn)樘卣魈崛『头诸惼髦g的兼容性不足而導(dǎo)致的。綜上所述，本文構(gòu)建的與分類器相兼容的特征提取模型在改善特征表征和分類預(yù)測(cè)方面具有明顯的有效性。

圖10 本文SRS和DAES算法在集成分類器特征前后的預(yù)測(cè)結(jié)果對(duì)比Fig.10 Result comparison of the proposed SRS and DAES method with/without embedded classifiers

3.5 收斂性分析

對(duì)于建立的SRS模型式（5）和DAES 模型式（15），本文給出了其對(duì)應(yīng)的優(yōu)化求解策略與過程。為進(jìn)一步了解本文算法的可靠性與快速性，本文從收斂性方面分析探討SRS 和DAES 的性能表現(xiàn)。以Salinas 高光譜圖像作為實(shí)驗(yàn)數(shù)據(jù)，觀測(cè)SRS 模型和DAES 模型的損失函數(shù)到達(dá)收斂時(shí)所消耗的優(yōu)化迭代次數(shù)，其觀測(cè)曲線如圖11 所示。從圖11 中可以看出，本文SRS 和DAES 模型均在50 次迭代內(nèi)均可收斂，并達(dá)到最小值，這證明了本文給出的優(yōu)化求解策略能夠滿足算法可靠性與快速性的應(yīng)用要求。

圖11 本文SRS和DAES模型的損失函數(shù)隨迭代次數(shù)變化曲線Fig.11 Curves of loss functions of SRS and DAES models with iteration times

3.6 適用性討論

從數(shù)據(jù)層面來說，影響本文方法性能的因素（即方法的適用性），主要體現(xiàn)在兩大方面：波段數(shù)和空間分辨率。具體地，（1）高光譜圖像的波段數(shù)，也稱光譜分辨率，直接影響基于SRS 和DAES 特征提取的高光譜圖像分類方法的效果。當(dāng)波段數(shù)太小時(shí)，即光譜分辨率不足，高光譜圖像光譜特性較弱，導(dǎo)致SRS 和DAES 提取的特征判別性不夠，從而降低了分類精度。當(dāng)波段數(shù)過度增加時(shí)，不僅會(huì)嚴(yán)重降低SRS 和DAES 方法的計(jì)算效率，而且波段間冗余信息會(huì)大量增加，進(jìn)一步影響SRS 和DAES 的特征輸出，影響分類結(jié)果。（2）空間分辨率也是影響SRS 和DAES 方法性能的一大因素。當(dāng)空間分辨率太低時(shí)，圖像中的細(xì)節(jié)信息往往比較模糊，且存在大量混合像元，空間特征較為貧乏，嚴(yán)重影響SRS 和DAES 輸出特征的判別性和可分性，進(jìn)一步影響分類性能。當(dāng)空間分辨率過大時(shí)，不僅會(huì)降低方法的計(jì)算效率，而且還會(huì)限制高光譜圖像的光譜分辨率，嚴(yán)重影響SRS 和DAES 的結(jié)果。綜上，充分考慮高光譜圖像數(shù)據(jù)的波段數(shù)與空間分辨率，能夠讓本文SRS 和DAES 方法實(shí)現(xiàn)更高水平的性能。

4 結(jié)論

本文關(guān)注特征提取與分類器之間的關(guān)系，提出了基于集成分類器機(jī)制的高光譜圖像特征提取方法，實(shí)現(xiàn)特征提取與分類器間的兼容性，使所提取特征能夠更好地被分類器計(jì)算，改善分類預(yù)測(cè)結(jié)果。本文給出了兩種具體形式：（1）以稀疏表示和支持向量機(jī)為例，將SVM 分類器特性集成到稀疏表示形式中，建立能夠與SVM 分類器相兼容的SRS 特征提取模型。（2）以深度自編碼網(wǎng)絡(luò)與softmax 函數(shù)為例，將softmax 分類器特性嵌入到深度自編碼網(wǎng)絡(luò)中，構(gòu)建能與softmax 分類器相兼容的DAES特征提取模型。此外，本文也給出了所構(gòu)建SRS 和DAES 模型的求解策略與優(yōu)化過程。在實(shí)驗(yàn)中，本文從參數(shù)分析、算法對(duì)比、消融實(shí)驗(yàn)、收斂性分析等方面對(duì)SRS 和DAES 算法的有效性和優(yōu)越性進(jìn)行了全面地分析驗(yàn)證。本文為高光譜圖像特征提取與分類提供了新思路，也為遙感監(jiān)測(cè)、醫(yī)學(xué)診斷等應(yīng)用提供了方法學(xué)支持。