基于焦點(diǎn)損失的半監(jiān)督高光譜圖像分類(lèi)

張凱琳，閻 慶*，夏 懿，章 軍，丁 云

（1. 安徽大學(xué)電氣工程與自動(dòng)化學(xué)院，合肥230601；2. 測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室（武漢大學(xué)），武漢430079）

（?通信作者電子郵箱*rubby_yan5996@sina.com）

0 引言

高光譜圖像（HyperSpectral Image，HSI）［1］包含數(shù)百個(gè)連續(xù)的窄光譜帶，跨越可見(jiàn)光到紅外光譜波段，光譜信息豐富，因此在諸如遙感數(shù)據(jù)分析［2］、土地覆蓋分類(lèi)［3］、城市區(qū)域的檢測(cè)［4］和環(huán)境科學(xué)［5］等許多應(yīng)用中發(fā)揮了至關(guān)重要的作用，其中高光譜分類(lèi)問(wèn)題［6］受到了學(xué)術(shù)界的極大關(guān)注。近年來(lái)深度學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)和圖像處理等領(lǐng)域取得了較好的效果［7-8］，與傳統(tǒng)機(jī)器學(xué)習(xí)相比具有表達(dá)能力強(qiáng)、適合處理大數(shù)據(jù)等優(yōu)點(diǎn)，已經(jīng)廣泛應(yīng)用于高光譜圖像分類(lèi)領(lǐng)域中?；谏疃葘W(xué)習(xí)的高光譜圖像分類(lèi)方法主要可以分為無(wú)監(jiān)督、監(jiān)督和半監(jiān)督三種類(lèi)型。無(wú)監(jiān)督分類(lèi)算法僅利用未標(biāo)記數(shù)據(jù)來(lái)傳達(dá)數(shù)據(jù)內(nèi)在信息，完成分類(lèi)。例如堆疊自編碼器［9］和深度置信網(wǎng)絡(luò)［10］已被用于從高光譜數(shù)據(jù)中提取深度特征。相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)，無(wú)監(jiān)督方法無(wú)需訓(xùn)練過(guò)程，可以直接利用數(shù)據(jù)進(jìn)行建模分析；然而，由于缺乏先驗(yàn)知識(shí)，無(wú)監(jiān)督方法的效果受到了一定的限制。

監(jiān)督分類(lèi)方法通過(guò)利用類(lèi)標(biāo)簽的先驗(yàn)知識(shí)，建立分類(lèi)判別規(guī)則來(lái)完成分類(lèi)任務(wù)。在監(jiān)督分類(lèi)方法中，深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［11］在光譜域中對(duì)高光譜圖像進(jìn)行分類(lèi)。和傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，CNN 不需要人工構(gòu)造特征，而且還具有一定的自學(xué)習(xí)能力，能夠從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到高度代表性的圖像特征；但CNN 只利用了光譜信息，對(duì)空間特征的關(guān)注不足。針對(duì)這些不足，近年來(lái)也有很多學(xué)者進(jìn)行了相應(yīng)的改進(jìn)。如三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN，3D-CNN）［12］和雙通道卷積神經(jīng)網(wǎng)絡(luò)（Dual-Channel CNN，DCCNN）［13］結(jié)合了空間信息和光譜信息，實(shí)現(xiàn)了“光譜合一”，與傳統(tǒng)的CNN 相比無(wú)論是視覺(jué)效果還是數(shù)值分析結(jié)果都取得了較大提升。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［14］把高光譜像素視為序列信息，然后通過(guò)網(wǎng)絡(luò)預(yù)測(cè)每個(gè)樣本的類(lèi)別，可以有效地處理高光譜數(shù)據(jù)并減少參數(shù)總數(shù)，對(duì)比其他算法獲得了更高的準(zhǔn)確度。

與傳統(tǒng)機(jī)器學(xué)習(xí)基于手工特征提取的方法不同，深度神經(jīng)網(wǎng)絡(luò)以端到端的方式執(zhí)行高光譜圖像的分類(lèi)。為了執(zhí)行端到端的分類(lèi)，這些基于深度學(xué)習(xí)的方法需要在訓(xùn)練期間利用大量標(biāo)記樣本來(lái)學(xué)習(xí)參數(shù)。監(jiān)督分類(lèi)算法借助于大量訓(xùn)練信息的指導(dǎo)，所以分類(lèi)精度比較高，因此在很多領(lǐng)域被廣泛使用，但是其效果在很大程度上取決于標(biāo)記樣本的數(shù)量和質(zhì)量。然而，眾所周知，對(duì)于高光譜圖像而言，對(duì)樣本的標(biāo)記工作非常困難且代價(jià)高昂，因此可利用的訓(xùn)練樣本數(shù)量非常有限。而這正是利用監(jiān)督分類(lèi)方法實(shí)現(xiàn)高光譜圖像分類(lèi)的難以克服的障礙之一。為了解決這個(gè)問(wèn)題，一些學(xué)者提出了半監(jiān)督深度學(xué)習(xí)方法［15-16］。半監(jiān)督方法是通過(guò)利用有限的標(biāo)記樣本和大量未標(biāo)記的樣本來(lái)減輕“小樣本問(wèn)題”。半監(jiān)督算法不僅可以利用標(biāo)記樣本傳遞的有限監(jiān)督信息，而且充分考慮到高光譜圖像中未標(biāo)記樣本提供的豐富信息，從而既克服了無(wú)監(jiān)督算法的低精度又緩解了監(jiān)督算法中對(duì)訓(xùn)練樣本的過(guò)分依賴、忽視了非標(biāo)記樣本在分類(lèi)任務(wù)中的巨大價(jià)值的問(wèn)題，對(duì)分類(lèi)性能的改善具有重要的意義。例如，李繡心等［17］構(gòu)造了一種能同步處理帶標(biāo)簽和未帶標(biāo)簽數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)將交叉熵?fù)p失函數(shù)和K-means 聚類(lèi)算法結(jié)合起來(lái)，進(jìn)而提高了分類(lèi)性能；Kipf等［18］提出了一種基于圖的半監(jiān)督學(xué)習(xí)方法，該方法能夠以圖作為輸入，可以學(xué)習(xí)到隱藏層的特征，從而達(dá)到較好的效果；Ma等［19］提出了一種基于多決策標(biāo)注和深度特征學(xué)習(xí)的半監(jiān)督分類(lèi)方法，以利用盡可能多的信息來(lái)實(shí)現(xiàn)分類(lèi)任務(wù)；Wu 等［16］提出了一種通過(guò)基于Dirichlet 過(guò)程的聚類(lèi)方法——C-DPMM，首先利用該聚類(lèi)算法獲得所有樣本的偽標(biāo)簽，再利用這些偽標(biāo)簽對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，最后使用標(biāo)記樣本對(duì)網(wǎng)絡(luò)進(jìn)行精調(diào)。Wu方法［16］利用了大量未標(biāo)記的數(shù)據(jù)，實(shí)現(xiàn)了參數(shù)的初始化并且可以有效防止過(guò)擬合。然而，該算法仍然有兩個(gè)缺點(diǎn):首先，該算法中使用的基于C-DPMM 的聚類(lèi)方法無(wú)法捕獲高光譜圖像的稀疏特征。高光譜圖像是一種高維數(shù)據(jù)，基于稀疏的方法在處理高光譜圖像方面［20-21］已經(jīng)表現(xiàn)出較大的優(yōu)勢(shì)。例如，Yan 等［20］提出了通過(guò)使用已知的監(jiān)督信息來(lái)估計(jì)未標(biāo)記樣本的類(lèi)概率，然后將類(lèi)概率引入到稀疏子空間聚類(lèi)（Sparse Subspace Clustering，SSC）模型中，以獲得更準(zhǔn)確的稀疏表示系數(shù)矩陣，從而可以獲得更好的聚類(lèi)結(jié)果。其次，因?yàn)楦吖庾V圖像的樣本分布存在不平衡的問(wèn)題，Wu等［16］所采用的交叉熵?fù)p失函數(shù)不能充分掌握高光譜樣本的分布不平衡的狀況，也嚴(yán)重制約了高光譜數(shù)據(jù)分類(lèi)精度的進(jìn)一步提高。

在深度學(xué)習(xí)領(lǐng)域，對(duì)目標(biāo)函數(shù)的改進(jìn)也是一個(gè)引人關(guān)注的課題。Wen 等［22］通過(guò)將交叉熵?fù)p失與中心損失結(jié)合起來(lái)，使學(xué)習(xí)的特征具有更好的泛化能力以及判別能力；Liu等［23］利用廣義大邊緣交叉熵?fù)p失（L-Softmax），可以讓學(xué)習(xí)的特征更加清晰；Lin 等［24］提出了通過(guò)焦點(diǎn)損失（Focal Loss）來(lái)解決分類(lèi)問(wèn)題中數(shù)據(jù)類(lèi)別不平衡以及判別難易程度差別的問(wèn)題。

最后，值得注意的是，高光譜圖像分類(lèi)的大多數(shù)算法只關(guān)注光譜特征，而對(duì)分類(lèi)任務(wù)同樣重要的空間特征往往被忽視了。馬爾可夫隨機(jī)場(chǎng)（Markov Random Fields，MRF）可以將光譜信息與空間信息相結(jié)合，鼓勵(lì)相鄰像素具有相同的類(lèi)別標(biāo)簽［25］，已被驗(yàn)證可以顯著提高高光譜圖像的分類(lèi)精度［26］。

基于文獻(xiàn)［16，24］方法，本文提出了一種新的基于焦點(diǎn)損失的半監(jiān)督判別卷積神經(jīng)網(wǎng)絡(luò)的算法?？紤]到高光譜圖像的稀疏性，本文選擇用稀疏子空間聚類(lèi)（SSC）代替基于Dirichlet的算法（C-DPMM）來(lái)實(shí)現(xiàn)聚類(lèi)。稀疏子空間聚類(lèi)是一種基于稀疏表達(dá)的優(yōu)秀聚類(lèi)方法，在人臉聚類(lèi)［27］、運(yùn)動(dòng)分割［28］都有廣泛的應(yīng)用。此外，引入了基于焦點(diǎn)損失的目標(biāo)函數(shù)來(lái)解決分類(lèi)問(wèn)題中數(shù)據(jù)分類(lèi)難度差異的問(wèn)題，以此來(lái)提高分類(lèi)性能。最后，本文比較了兩個(gè)框架的效果，其中一個(gè)框架將馬爾可夫隨機(jī)場(chǎng)作為圖像后處理，而另一個(gè)框架沒(méi)有進(jìn)行后處理，以此分析馬爾可夫隨機(jī)場(chǎng)在分類(lèi)任務(wù)中的效果。

1 相關(guān)工作

1.1 稀疏子空間聚類(lèi)

稀疏子空間聚類(lèi)（SSC）是一種將稀疏表示（Sparse Representation，SR）引入到子空間聚類(lèi)中的方法，為子空間聚類(lèi)提供了一種新的模式，已成功應(yīng)用于人臉識(shí)別［29］、運(yùn)動(dòng)分割［30］和圖像分割［31］。稀疏子空間聚類(lèi)是基于譜聚類(lèi)的子空間聚類(lèi)方法。通常，高維數(shù)據(jù)屬于某個(gè)低維子空間，因此可以在低維子空間中被線性表示。稀疏子空間聚類(lèi)的基本思想是數(shù)據(jù)的自表達(dá)屬性，即子空間集合中的每個(gè)數(shù)據(jù)點(diǎn)可以有效地被表示為來(lái)自同一子空間的其他樣本點(diǎn)的線性組合。因此，SSC 模型利用數(shù)據(jù)的自表達(dá)性來(lái)構(gòu)建稀疏表示模型，如式（1）所示:

其中:C的第i列向量是樣本yi的稀疏表示；diag(C) = 0是C的對(duì)角元素；E 是誤差矩陣；λ 是稀疏系數(shù)和噪聲矩陣之間的權(quán)衡參數(shù)。進(jìn)一步，通過(guò)式（2）實(shí)現(xiàn)系數(shù)C的歸一化:

根據(jù)歸一化后的稀疏系數(shù)C 構(gòu)建相似性矩陣，其中Q 是對(duì)稱(chēng)非負(fù)相似性矩陣。

最后，將譜聚類(lèi)應(yīng)用于相似矩陣Q，并獲得數(shù)據(jù)的聚類(lèi)結(jié)果。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）在許多應(yīng)用中都發(fā)揮著重要的作用，例如目標(biāo)跟蹤［32］、遙感成像［33］、行為識(shí)別［34］等。它是由卷積層（Convolution layer）、池化層（Pooling layer）、全連接層（Fully connected layer）組成。本文使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

在高光譜圖像分類(lèi)任務(wù)中，每個(gè)樣本是大小為k × k × d的三維塊，其中k × k是空間維度中的塊的大小，d是高光譜數(shù)據(jù)的波段數(shù)。在將樣本塊傳送到輸入層之前，樣本塊是三維向量。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Structure of CNN

1.3 焦點(diǎn)損失函數(shù)

目前目標(biāo)檢測(cè)的框架一般分為兩種:基于候選區(qū)域的兩階段的檢測(cè)框架［35］和基于回歸的單階段的檢測(cè)框架［36］。相對(duì)于兩階段的方法，單階段的方法具有快速、簡(jiǎn)單的特點(diǎn)，但是其準(zhǔn)確率會(huì)差一些。Lin 等［24］認(rèn)為是大量背景信息淹沒(méi)了重要信息，即簡(jiǎn)單樣本引導(dǎo)了梯度下降的方向?qū)е铝诉@個(gè)結(jié)果。于是Lin 等［24］提出了一種新的損失函數(shù)，即焦點(diǎn)損失來(lái)解決這一問(wèn)題。

對(duì)于二分類(lèi)的交叉熵?fù)p失（Cross Entropy，CE）函數(shù)，可以表示為:

其中:y ∈{± 1}表示數(shù)據(jù)的真實(shí)標(biāo)簽；p是y = 1時(shí)的類(lèi)估計(jì)概率。在二分類(lèi)中樣本標(biāo)簽y = 1和y = -1是互斥的，因此引入一個(gè)分段變量pt，表示為:

所以，二分類(lèi)的交叉熵?fù)p失就可以表示為:

CE(p，y) = CE(pt)= -log(pt) （6）

針對(duì)樣本不平衡問(wèn)題中產(chǎn)生的不同樣本分類(lèi)難度差異問(wèn)題，Lin 等［24］對(duì)損失函數(shù)的形式進(jìn)行了改進(jìn)，降低易分樣本的權(quán)重并專(zhuān)注于訓(xùn)練難分樣本。因此引入了超參數(shù)γ，它表示難易樣本權(quán)重差別的難度，γ 越大，差別也就越大，于是將焦點(diǎn)損失函數(shù)定義為:

針對(duì)數(shù)據(jù)集樣本不均衡的問(wèn)題，又引入一個(gè)權(quán)重參數(shù)α ∈[0，1]，為了標(biāo)記方便引入一個(gè)分段變量αt，αt可以表示為:

簡(jiǎn)單地對(duì)正負(fù)樣本的損失進(jìn)行加權(quán)，αt平衡了正負(fù)樣本的重要性。所以α-平衡焦點(diǎn)損失定義為:

2 基于焦點(diǎn)損失的半監(jiān)督深度學(xué)習(xí)框架

2.1 半監(jiān)督學(xué)習(xí)框架

本文提出的半監(jiān)督深度學(xué)習(xí)框架的結(jié)構(gòu)如圖2 所示。標(biāo)記數(shù)據(jù)表示為{XL，YL}，其中YL是XL的標(biāo)簽，未標(biāo)記的數(shù)據(jù)表示為XU。對(duì)于全部數(shù)據(jù)X，表示為{XL，XU}，X 的偽標(biāo)簽Z 可以由稀疏子空間聚類(lèi)（SSC）生成。本文算法的流程如下:

1）由稀疏子空間聚類(lèi)生成X的偽標(biāo)簽Z；

2）引入焦點(diǎn)損失函數(shù)代替交叉熵?fù)p失函數(shù)構(gòu)造預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，稱(chēng)為CNN1，并利用{X，Z}完成CNN1的訓(xùn)練；

3）在CNN1的基礎(chǔ)上構(gòu)建新的卷積神經(jīng)網(wǎng)絡(luò)CNN2；

4）使用帶標(biāo)記的數(shù)據(jù){XL，YL}來(lái)訓(xùn)練CNN2 中的全連接層和分類(lèi)層，這一步稱(chēng)為微調(diào)；

5）將分類(lèi)得到的結(jié)果，利用將馬爾可夫隨機(jī)場(chǎng)作為圖像后處理，以此分析馬爾可夫隨機(jī)場(chǎng)在分類(lèi)任務(wù)中的效果。

圖2 本文半監(jiān)督深度學(xué)習(xí)框架的結(jié)構(gòu)Fig. 2 Structure of the proposed semi-supervised deep learning framework

在高光譜樣本標(biāo)記困難的背景下，用全部樣本及其偽標(biāo)簽訓(xùn)練CNN1 可以充分利用大量未標(biāo)記數(shù)據(jù)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的預(yù)訓(xùn)練。雖然這些偽標(biāo)簽不能提供確切的監(jiān)督信息，但它們與真實(shí)地物標(biāo)簽具有一定的一致性。因此，可以通過(guò)CNN1 提取的特征來(lái)獲得對(duì)精確分類(lèi)有利的判別信息。

預(yù)訓(xùn)練和微調(diào)階段網(wǎng)絡(luò)模型如圖3 所示。其中CNN2 保持與CNN1 相同的體系結(jié)構(gòu)和參數(shù)，在去除焦點(diǎn)損失分類(lèi)層后加入了全連接層和交叉熵分類(lèi)層。通過(guò)引入焦點(diǎn)損失函數(shù)，使數(shù)據(jù)集樣本不均衡和訓(xùn)練困難的問(wèn)題得到改善。

圖3 預(yù)訓(xùn)練和微調(diào)階段的框架Fig. 3 Framework of pre-training and fine-tuning stages

2.2 焦點(diǎn)損失用于多分類(lèi)

對(duì)于多分類(lèi)的問(wèn)題，可以直接將交叉熵?fù)p失函數(shù)推廣為多分類(lèi)的形式。多分類(lèi)的交叉熵?fù)p失函數(shù)如下所示:

其中:pi表示的是第i 個(gè)樣本經(jīng)激活函數(shù)后得到的概率；yi表示的是第i個(gè)樣本真實(shí)標(biāo)簽。

交叉熵?fù)p失函數(shù)只對(duì)真實(shí)標(biāo)簽所對(duì)應(yīng)的某一個(gè)單類(lèi)進(jìn)行相應(yīng)計(jì)算，無(wú)法克服因數(shù)據(jù)集樣本分布不均衡產(chǎn)生的分類(lèi)難度差異的問(wèn)題。而高光譜分類(lèi)問(wèn)題很明顯是一個(gè)多分類(lèi)的問(wèn)題，因此受到二分類(lèi)中焦點(diǎn)損失函數(shù)可以克服樣本分類(lèi)難度差異的啟發(fā)，本文在多分類(lèi)的任務(wù)中也引入了焦點(diǎn)損失。其中n表示的是類(lèi)別數(shù)。多分類(lèi)的焦點(diǎn)損失可以表示為:

焦點(diǎn)損失在多分類(lèi)任務(wù)中的原理:

1）當(dāng)一個(gè)樣本被誤分類(lèi)時(shí)，則pi的值很小，調(diào)制因子(1-pi)接近1，損失不被影響；當(dāng)一個(gè)樣本被分得比較好時(shí)，則pi趨近于1，(1- pi)接近0，那么分得比較好的樣本的權(quán)值就被調(diào)低了。

2）超參數(shù)γ 平滑地調(diào)節(jié)了易分樣本調(diào)低權(quán)值的比例。增大超參數(shù)γ 能增強(qiáng)調(diào)制因子的影響。調(diào)制因子減少了易分樣本的損失貢獻(xiàn)，拓寬了樣例接收到低損失的范圍。

由以上分析可知，焦點(diǎn)損失函數(shù)中降低了易分樣本的權(quán)重而增大了難分的易錯(cuò)樣本的權(quán)重；因此在訓(xùn)練中更加關(guān)注到難分樣本的貢獻(xiàn)，從而解決了數(shù)據(jù)樣本不均衡數(shù)據(jù)集難以訓(xùn)練的問(wèn)題，可以進(jìn)一步提高分類(lèi)精度。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文算法在不同情景中的有效性，在兩個(gè)真實(shí)的高光譜圖像數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。使用以下三個(gè)評(píng)價(jià)指標(biāo)對(duì)性能進(jìn)行評(píng)估:總體準(zhǔn)確度（Overall Accuracy，OA）、平均準(zhǔn)確度（Average Accuracy，AA）和卡帕（Kappa）系數(shù)。OA 表示正確分類(lèi)的樣本的數(shù)量占所有樣本的比例；AA表示各個(gè)類(lèi)別分類(lèi)精度的平均值；Kappa 用來(lái)度量分類(lèi)結(jié)果與真實(shí)地表的一致程度。以上三個(gè)評(píng)價(jià)指標(biāo)的值越大，說(shuō)明分類(lèi)性能越好。

3.1 實(shí)驗(yàn)數(shù)據(jù)描述

本文實(shí)驗(yàn)采用兩個(gè)數(shù)據(jù)集:

1）Indian Pines 數(shù)據(jù)集，由機(jī)載可見(jiàn)光/紅外成像光譜儀AVIRIS（Airborne Visible Infrared Imaging Spectrometer）傳感器收集。該數(shù)據(jù)集有145× 145 像素，220 個(gè)光譜波段。實(shí)驗(yàn)選擇了75× 82 × 220 子集，其中包含6 個(gè)類(lèi)別的地物標(biāo)簽。其偽彩色圖和真實(shí)地物圖如圖4所示。

圖4 Indian Pines數(shù)據(jù)集的部分圖例Fig.4 Subset of Indian Pines dataset

2）Pavia University 數(shù)據(jù)集，由反射式成像光譜儀ROSIS（Reflection Optics System Imaging Spectrometer）傳感器獲得。該數(shù)據(jù)集有610 × 340 像素和103 個(gè)波段。在本文實(shí)驗(yàn)中，選擇了170 × 160 × 103 子集，其中包含9 類(lèi)地物標(biāo)簽。其偽彩色圖和真實(shí)地物圖如圖5所示。

將本文算法與CNN 和半監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)（Semi-Supervised CNN，SS-CNN）算法在上述兩個(gè)數(shù)據(jù)集中進(jìn)行了比較。CNN算法是一種比較常見(jiàn)的應(yīng)用于高光譜圖像分類(lèi)的算法，它只考慮了高光譜的空間信息。SS-CNN 算法同樣是將半監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)算法與稀疏子空間聚類(lèi)相結(jié)合，充分考慮到未標(biāo)記的數(shù)據(jù)對(duì)高光譜圖像分類(lèi)的貢獻(xiàn)，但SS-CNN算法在預(yù)訓(xùn)練階段的損失函數(shù)為交叉熵?fù)p失函數(shù)。在SS-CNN 的基礎(chǔ)上，本文提出了基于焦點(diǎn)損失的半監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)（Semi-Supervised Focal loss CNN，SSF-CNN）。通過(guò)對(duì)這兩種半監(jiān)督方法的對(duì)比可以驗(yàn)證本文在損失函數(shù)方面改進(jìn)的有效性。最后為了分析馬爾可夫隨機(jī)場(chǎng)在分類(lèi)任務(wù)中的效果，本文就是否對(duì)分類(lèi)結(jié)果采用馬爾可夫鏈進(jìn)行后處理進(jìn)行了一組對(duì)比實(shí)驗(yàn)。

圖5 Pavia University的部分圖例Fig.5 Subset of Pavia University dataset

3.2 Indian Pines數(shù)據(jù)集上的實(shí)驗(yàn)分析

為了在有限的訓(xùn)練樣本的情況下評(píng)估所提出的方法，對(duì)于Indian Pines 數(shù)據(jù)集，從數(shù)據(jù)集的每個(gè)類(lèi)別中隨機(jī)選擇10%的樣本用于訓(xùn)練，其余的用作測(cè)試。在該數(shù)據(jù)集上采用不同方法得到的結(jié)果如圖6所示。從圖6的視覺(jué)效果中可以看出:本文SSF-CNN 算法表現(xiàn)出更好的分類(lèi)效果，而CNN 和SSCNN 方法存在明顯的誤分，比如很多Corn-notill 類(lèi)的樣本被誤分為Soybean-mintill類(lèi)。此外，進(jìn)一步采用馬爾可夫隨機(jī)場(chǎng)針對(duì)分類(lèi)結(jié)果進(jìn)行了后處理。因?yàn)轳R爾可夫隨機(jī)場(chǎng)充分利用了樣本的空間相關(guān)性，促進(jìn)相鄰樣本被分為同一類(lèi)別。因此這種網(wǎng)絡(luò)框架，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)充分利用高光譜樣本的光譜相關(guān)性的同時(shí)又考慮到樣本的空間相關(guān)性，實(shí)現(xiàn)了“光譜合一”的效果。從圖6 可以看出，其分類(lèi)的視覺(jué)效果得到明顯的提升，進(jìn)一步減少了誤分和椒鹽噪聲的存在。

在表1 中給出了數(shù)據(jù)的定量分析。表1 的結(jié)果進(jìn)一步驗(yàn)證了從圖6 得出的結(jié)論，與CNN 相比，SSF-CNN 算法的OA、AA、Kappa 分別提高了2.5個(gè)百分點(diǎn)，5.52個(gè)百分點(diǎn)和3.46個(gè)百分點(diǎn)；與同是半監(jiān)督框架的SS-CNN 相比，OA、AA、Kappa 也分別提高了1.17 個(gè)百分點(diǎn)、1.89 個(gè)百分點(diǎn)和1.61 個(gè)百分點(diǎn)。而當(dāng)采用馬爾可夫隨機(jī)場(chǎng)作為分類(lèi)后處理后，本文SSF-CNNMRF 算法取得了更好的分類(lèi)結(jié)果，在6 個(gè)類(lèi)別上的分類(lèi)精度都 最 高，分 別 達(dá) 到95.12%、98.32%、99.78%、99.70%、98.29%和100%。就總體分類(lèi)評(píng)價(jià)指標(biāo)而言，SSF-CNN-MRF算 法 的OA、AA 和Kappa 分 別 達(dá) 到98.73%、98.54% 和98.24%?？梢钥闯?，在分類(lèi)任務(wù)中馬爾可夫隨機(jī)場(chǎng)作為圖像后處理是有益的，這是因?yàn)轳R爾可夫隨機(jī)場(chǎng)側(cè)重于高光譜圖像的空間信息，并與卷積神經(jīng)網(wǎng)絡(luò)提取的光譜信息相結(jié)合，進(jìn)一步提高了分類(lèi)性能。

表1 Indian Pines數(shù)據(jù)集上不同方法的分類(lèi)精度和運(yùn)行時(shí)間對(duì)比Tab. 1 Comparison of classification accuracy and running time of different methods on Indian Pines dataset

圖6 在Indian Pines數(shù)據(jù)集上的不同方法獲得的分類(lèi)圖和后處理圖Fig.6 Classification and post-processing images obtained by different methods on Indian Pines dataset

3.3 Pavia University數(shù)據(jù)集上的實(shí)驗(yàn)分析

對(duì)于Pavia University 數(shù)據(jù)集，本文從每個(gè)類(lèi)別中隨機(jī)選擇了40 個(gè)樣本進(jìn)行訓(xùn)練，其余的樣本用作測(cè)試。實(shí)驗(yàn)結(jié)果如圖7 所示。和上述實(shí)驗(yàn)結(jié)論類(lèi)似，圖7 表明本文提出的SSFCNN 和SSF-CNN-MRF 算法分別取得到了最優(yōu)的分類(lèi)結(jié)果。進(jìn)一步觀察可以發(fā)現(xiàn)，CNN 和SS-CNN 都較多地將Self-Blocking 類(lèi)和Bitumen 類(lèi)誤分為Gravel，而本文算法則明顯減少了這種誤分的發(fā)生。

與Indian Pines數(shù)據(jù)集上的實(shí)驗(yàn)類(lèi)似，馬爾可夫隨機(jī)場(chǎng)作為圖像后處理可以進(jìn)一步提高分類(lèi)精度。表2 中給出了實(shí)驗(yàn)結(jié)果的定量分析。由表2 可以發(fā)現(xiàn)，與CNN 相比，SS-CNN 和SSF-CNN 的OA分別增加1.77個(gè)百分點(diǎn)和2.61個(gè)百分點(diǎn)。這是因?yàn)镾S-CNN 和SSF-CNN 不僅利用了標(biāo)記的樣本，還使用了未標(biāo)記的樣本以增加可用的訓(xùn)練信息。當(dāng)使用馬爾可夫隨機(jī)場(chǎng)作為圖像后處理時(shí)，Pavia University 數(shù)據(jù)集的分類(lèi)效果得到了顯著的提升；與沒(méi)有使用馬爾可夫隨機(jī)場(chǎng)作為圖像后處理相比，CNN-MRF、SS-CNN-MRF 和SSF-CNN-MRF 的結(jié)果表明，OA 的增加分別為1.63個(gè)百分點(diǎn)、0.77個(gè)百分點(diǎn)和1.08個(gè)百分點(diǎn)，表明了馬爾可夫隨機(jī)場(chǎng)在提高分類(lèi)準(zhǔn)確性方面起著重要作用。由于高光譜地物復(fù)雜且具有不同的數(shù)據(jù)結(jié)構(gòu)，SSF-CNN-MRF 算法在分類(lèi)過(guò)程中無(wú)法保證每一種地物的分類(lèi)效果都很好，但是基于本文提出的半監(jiān)督框架的SSF-CNNMRF 算法在三個(gè)總體性能指標(biāo)OA、AA 和Kappa 上都是最高的。

圖7 在Pavia University數(shù)據(jù)集上的不同方法獲得的分類(lèi)圖和后處理圖Fig.7 Classification and post-processing images obtained by different methods on Pavia University dataset

3.4 超參數(shù)γ的選取過(guò)程

在SSF-CNN 和SSF-CNN-MRF 算法中有一個(gè)重要超參數(shù)γ，在本節(jié)中，分別在上述兩個(gè)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)，來(lái)選取效果最優(yōu)的超參數(shù)γ。實(shí)驗(yàn)結(jié)果如圖8所示。

在圖8中可以觀察到，對(duì)于上述兩個(gè)數(shù)據(jù)集，OA和γ之間的關(guān)系不是線性的，OA不是隨著γ的增加而增加。當(dāng)γ值為2時(shí)，在兩個(gè)數(shù)據(jù)集上都獲得了最佳的分類(lèi)結(jié)果。同時(shí)，可以觀察到，無(wú)論是否使用馬爾可夫隨機(jī)場(chǎng)作為圖像后處理，超參數(shù)γ 的變化趨勢(shì)都是相似的。此外，使用馬爾可夫隨機(jī)場(chǎng)作為圖像后處理時(shí)，兩個(gè)數(shù)據(jù)集上的SSF-CNN-MRF算法的分類(lèi)結(jié)果都得到顯著改善，再次表明馬爾可夫隨機(jī)場(chǎng)對(duì)于提高分類(lèi)結(jié)果是十分重要的。

表2 Pavia University數(shù)據(jù)集上不同方法的分類(lèi)精度和運(yùn)行時(shí)間對(duì)比Tab. 2 Comparison of classification accuracy and running time of different methods on Pavia University dataset

圖8 選取不同γ值獲得的分類(lèi)結(jié)果Fig.8 Classification results with different γ values

3.5 與經(jīng)典基于深度學(xué)習(xí)的高光譜圖像分類(lèi)方法的對(duì)比

為了進(jìn)一步評(píng)估本文提出的SSF-CNN-MRF 算法的性能，本文比較了三種基于深度學(xué)習(xí)的高光譜圖像分類(lèi)算法:2DCNN［37］、3D-CNN［12］和DC-CNN［13］。2D-CNN［37］方法是利用二維卷積提取高光譜圖像的空間信息，不考慮圖像的光譜信息；3D-CNN［12］方法是在2D-CNN 的基礎(chǔ)上實(shí)現(xiàn)的，可以提取高光譜的空間信息和光譜信息；DC-CNN［13］是利用一維卷積神經(jīng)網(wǎng)絡(luò)提取光譜特征，并利用二維卷積神經(jīng)網(wǎng)絡(luò)提取與空間相關(guān)的分層特征。對(duì)比方法都是目前在高光譜分類(lèi)領(lǐng)域比較常用的效果較好的方法。通過(guò)對(duì)比實(shí)驗(yàn)，可以充分說(shuō)明本文改進(jìn)的高光譜圖像半監(jiān)督分類(lèi)方法使分類(lèi)精度進(jìn)一步得到了提高。實(shí)驗(yàn)選擇相同比例的訓(xùn)練樣本，選擇方法和前面的實(shí)驗(yàn)相同。

幾種深度學(xué)習(xí)方法在兩個(gè)數(shù)據(jù)集上獲得的分類(lèi)如圖9 所示。從圖9 可以看出:與其他方法相比，本文方法的視覺(jué)分類(lèi)效果是最好的。如圖9（a）所示，對(duì)于Indian Pines 數(shù)據(jù)集，其他算法將Corn-notill 類(lèi)誤分為Soybean-mintill 類(lèi)，而本文SSDCNN-MRF 算法的這種誤分明顯得到了抑制；如圖9（b）所示，在Pavia University 數(shù)據(jù)集上因?yàn)楦鞣N方法得到的分類(lèi)精度都比較高，從視覺(jué)上觀察本文方法的優(yōu)勢(shì)并不明顯。因此后續(xù)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)一步進(jìn)行了數(shù)值分析。

Indian Pine 數(shù)據(jù)集的定量實(shí)驗(yàn)結(jié)果如表3 所示。可以看出:與其他方法相比，本文SSF-CNN-MRF 算法得到了最佳的分類(lèi)結(jié)果。表3 中的定量分析再一次驗(yàn)證了從視覺(jué)效果上得出的結(jié)論。在Indian Pines 數(shù)據(jù)集上，本文提出的SSF-CNNMRF 算法在6 個(gè)類(lèi)別中有5 個(gè)類(lèi)別都更接近真實(shí)標(biāo)簽的精度。和前一個(gè)實(shí)驗(yàn)情況類(lèi)似，由于高光譜波段之間存在的信息冗余性，可能無(wú)法有效提取純凈且高質(zhì)量的光譜和空間信息，無(wú)法保證每一種地物的分類(lèi)效果都最好，但是與2DCNN［37］、3D-CNN［12］和DC-CNN［13］相比，該算法的OA 分別增加了2.22個(gè)百分點(diǎn)、0.92個(gè)百分點(diǎn)和0.34個(gè)百分點(diǎn)。

對(duì)于Pavia University 數(shù)據(jù)集，在表4中給出了具體對(duì)比結(jié)果。與其他深度學(xué)習(xí)方法相比，本文方法得到的OA、AA 和Kappa 均取得了最好的結(jié)果，這也說(shuō)明本文方法整體的分類(lèi)效果是最佳的。

表3 Indian Pines數(shù)據(jù)集上不同深度學(xué)習(xí)分類(lèi)方法的分類(lèi)精度和運(yùn)行時(shí)間對(duì)比Tab. 3 Comparison of classification accuracy and running time between different deep learning classification methods on Indian Pines dataset

表4 Pavia University數(shù)據(jù)集上在不同深度學(xué)習(xí)分類(lèi)方法的分類(lèi)精度和運(yùn)行時(shí)間對(duì)比Tab. 4 Comparison of classification accuracy and running time between different deep learning classification methods on Pavia University dataset

圖9 不同深度學(xué)習(xí)分類(lèi)方法的分類(lèi)結(jié)果Fig. 9 Classification results obtained by different deep learning classification methods

從表1～4 中的實(shí)驗(yàn)運(yùn)行時(shí)間可看出，本文方法比其他方法時(shí)間復(fù)雜度更高，這是由于本文算法不僅利用了標(biāo)記樣本，而且還充分考慮到高光譜圖像中未標(biāo)記的樣本，所以不可避免地犧牲了時(shí)間性能。

4 結(jié)語(yǔ)

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）和稀疏子空間聚類(lèi)（SSC）的半監(jiān)督深度學(xué)習(xí)框架，用于高光譜圖像分類(lèi)。該框架首先利用稀疏子空間聚類(lèi)生成全部數(shù)據(jù)的偽標(biāo)簽，然后在一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN1）上進(jìn)行預(yù)訓(xùn)練，并利用標(biāo)記的訓(xùn)練樣本對(duì)另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN2）進(jìn)行微調(diào)，進(jìn)一步利用整個(gè)數(shù)據(jù)集提供的綜合結(jié)構(gòu)特征。此外，在預(yù)訓(xùn)練階段，通過(guò)引入新的目標(biāo)函數(shù)，解決了因?yàn)閿?shù)據(jù)分布不平衡帶來(lái)的樣本分類(lèi)難度差異和難以訓(xùn)練的問(wèn)題。最后，馬爾可夫隨機(jī)場(chǎng)（MRF）作為圖像后處理，鼓勵(lì)鄰近像素具有相同的標(biāo)簽，整個(gè)算法框架充分結(jié)合了光譜信息和空間信息，更有利于高光譜分類(lèi)。實(shí)驗(yàn)結(jié)果表明，本文方法在兩個(gè)高光譜圖像數(shù)據(jù)集上分類(lèi)性能優(yōu)于其他深度學(xué)習(xí)方法。針對(duì)訓(xùn)練樣本不足的情況，所采用的這種半監(jiān)督深度學(xué)習(xí)框架在實(shí)際遙感應(yīng)用中非常有意義。