利用同質區(qū)特性的高光譜圖像遷移學習分類

周紹光，吳 昊，趙嬋娟，陳仁喜

河海大學 地球科學與工程學院，南京211100

高光譜成像是一項重要的遙感技術，它可以收集從可見光到近紅外波長范圍的電磁光譜。由于具有豐富的光譜信息，高光譜遙感影像可以區(qū)分細微的光譜差異，已廣泛應用于許多領域。

成功應用高光譜影像的關鍵是精確的分類。已發(fā)表論文的統(tǒng)計結果表明，HSI分類（即根據其光譜特征將每個像素分配給一個特定的類別）是高光譜研究領域最活躍的一個方向。在HSI分類任務中，有限的可用訓練樣本始終是一個主要挑戰(zhàn)。及時地標記大量訓練樣本具有很大難度，遷移學習的基本思想便成為應對這一挑戰(zhàn)的潛在希望。

就遙感影像分類而言，遷移學習的目的是利用相似影像中豐富的標記樣本提高缺少標記樣本的新影像的分類精度。具有大量標記樣本的影像稱為源域，而缺少標記樣本的待分類影像稱為目標域。嚴格地講，利用相似影像實現新影像分類的任務屬于遷移學習的一個分支——領域自適應。源域影像和目標域影像具有一定的相似性，同時又有所不同，這是領域自適應方法存在的原因。

減小目標域和源域影像在特征空間的差異是達成遷移學習目的的最重要途徑。這一任務與分類所采用的特征息息相關。最早的高光譜分類主要限于使用光譜信息。隨著對空間信息重要性認識的不斷提高，高光譜影像分類開始同時利用光譜信息和空間信息。近年來，深度學習技術得以迅速發(fā)展，基于深度學習技術的高光譜影像分類已取得了令人鼓舞的效果。因此，在深度學習基礎上實現源域到目標域的信息遷移已成為眾多研究者的共同目標。

事實上，伴隨著著名的卷積神經網絡（CNN）[1]的提出，很快即出現了相應的遷移學習思想：利用具體需要分類的數據集（目標域）中少量樣本精調在龐大數據集（源域）上訓練而得的分類模型，通過精調后的分類模型預測目標域其他樣本的類別。這一方案簡單有效，多次被研究者用于高光譜數據的分類[2-4]。也有觀點認為這種簡單的精調無法減小源域和目標域間較大的數據偏移（Data Shift），因而，引入領域自適應中的最大平均差異（MMD）技術來解決問題[5-6]。MMD立足于減小無標簽樣本間特征分布的差異，選擇和訓練樣本需要一定的經驗，而且需要大量的目標域樣本以保證結果有效。

文獻[7]利用少量目標域標記樣本來克服無監(jiān)督領域自適應的缺點。該方法利用經典的卷積孿生網巧妙地設計了深度領域自適應網絡結構，利用源域樣本和極少的目標域有標記樣本對其進行訓練，減少了源域和目標域同類樣本間的距離，同時增加不同樣本間的距離，實現兩個域間特征的語義對齊。此方法采用的損失函數簡稱為CCSA（Classification and Contrastive Semantic Alignment）。

目標域每類只有一個標記樣本的情況稱為oneshot，這是有監(jiān)督遷移的極端情況，近期廣受關注[8-10]。實驗已經證明CCSA在one-shot條件下也能取得良好的效果，而且，目標域標記樣本每增加1個，分類精度都會顯著提高。從這一研究成果可以推斷：如果能夠有效地擴增目標域每類1個實際標記樣本，一定可以提高遷移學習的效果。本文研究重點是對one-shot情況進行樣本擴增，以探索目標域每類1個真實標記樣本情況下所能獲取的最高分類精度。樣本擴增是訓練CNN場景分類模型時出現的概念，通過對已有的標記圖像進行旋轉、變形及平移等形式的變換來增加訓練樣本數量。傳統(tǒng)方法無法用于處理像素分類的光譜特征數據，所以，本文提出了基于同質區(qū)的擴增方法，新方法的樣本擴增效果與獲取同質區(qū)的圖像分割方法密切相關。

在圖像處理領域，圖像分割是一個重要的經典課題，已提出了大量的圖像分割算法[11-14]。本文同質區(qū)生成過程牽涉到在兩種不同特點的區(qū)域上進行圖像分割，一個是原始的遙感影像本身；二是地物邊緣附近不規(guī)則區(qū)域。第一類區(qū)域適合使用普通圖像分割算法；第二類區(qū)域則適合使用可以形成小斑塊的超像素分割法。本文在第一類區(qū)域使用Meanshift算法[11]，因為其穩(wěn)定性和魯棒性較好，原理簡單，需要設置的參數較少。擴增樣本需要同質區(qū)斑塊具有高純度。通常認為Meanshift算法生成的斑塊緊湊度不好、斑塊所包含語義信息較少、包含陰影區(qū)容易產生欠分割。但緊湊度和語義信息不影響樣本的擴增，陰影區(qū)與光照區(qū)分開可以避免妨礙樣本擴增的過分割現象出現。對比研究[15]表明：SEEDS算法[12]可以保持影像中主要邊緣，運行效率較高，其斑塊不規(guī)則的特點并不影響訓練樣本擴增。因此選擇SEEDS算法對第二類區(qū)域進行超像素分割。

經過廣泛地分析和比較，發(fā)現CCSA具有原理簡單，網絡結構清晰，容易訓練且效果良好的特點。本研究提出基于同質區(qū)的樣本擴增方案對CCSA進行改進，以達到在目標域每類僅有1個實際標記點時提高分類精度的目的。

1 同質區(qū)獲取及訓練樣本擴增

1.1 基于均值漂移和SEEDS超像素分割的同質區(qū)生成

根據Mean Shift和SEEDS各自的優(yōu)缺點，本文將這兩種分割方法結合，實現對目標圖像不同尺度的分割，并對分割結果進行提純操作，從而最終獲取高質量的同質區(qū)。下面對分割操作的具體步驟進行詳細闡述。

（1）高光譜遙感影像波段數眾多，不宜直接應用分割算法。首先采用Du提出的基于波段相似性度量的非監(jiān)督波段選擇方法[16]對目標圖像進行特征選擇，分別選取目標圖像的三個信息量最豐富但各自最不相似的波段，作為新的顏色特征向量并進行歸一化處理。

（2）利用均值漂移算法對圖像進行初始分割：均值漂移技術能夠估計相似像素的局部密度梯度，這一估計環(huán)節(jié)被反復執(zhí)行，相似像素會收斂于同一極大值，將收斂于同一極大值且滿足鄰近條件的像素點合并為同一超像素，完成整個分割過程。

（3）對初始分割結果進行提純：均值漂移算法得到的初始分割斑塊的面積較大，常常出現欠分割現象，與此同時，同質區(qū)會含有雜質像素點。位于地物邊域緣區(qū)的同質區(qū)斑塊會跨越多個類別。本文借助mean shift的思想設計了一種斑塊提純方案，該方案可以篩選出初始分割塊中比較純凈的區(qū)域，同時剔除不夠準確的部分，獲取高純度的同質區(qū)。下面的同質區(qū)提純算法給出了具體的實現步驟。其中迭代次數T取值范圍[3，7]，q取值范圍[0.5，0.8]，本文實驗中T取5；q取0.6。

同質區(qū)提純算法

步驟2

步驟4重新計算高純度點集的特征均值xˉc

步驟5重復步驟2~步驟4迭代計算T次

輸出：P1

（4）對剩余的影像部分進行小尺度超像素分割：上述的均值漂移分割和提純方案可以有效獲取高光譜圖像中純度較高的同質區(qū)斑塊，但同時會產生不屬于高純度同質區(qū)的細碎斑塊，這些剩余部分多處在地物的邊緣附近或者多類地物混合區(qū)。這類區(qū)域復雜多變，本文采用SEEDS超像素分割算法對提純后的剩余部分進行分割處理。超像素斑塊面積較小，極少會混入噪聲點，因此，每一超像素都可視作為提純后的斑塊。本步驟結束后，每一斑塊都是高純度同質區(qū)。本文的同質區(qū)獲取總體流程圖如圖1所示。

圖1 本文分割方法的總體流程圖Fig.1 Flow chart of segmentation method in this paper

1.2 分割結果評價指標

本文選用兩種廣泛使用的評價指標對分割結果進行質量評價，分別是可獲得分割準確率（Achievable Segmentation Accuracy，ASA）[17]和欠分割錯誤率（Under segmentation Error，UE）[18]。其中，ASA表示超像素分割斑塊能夠達到的最大分割準確率，是一種從最終分割結果反面評價超像素的方法，也可以稱其為純度。而UE則是從正面直接評價超像素分割好壞的方法，它可以根據分割斑塊“溢出”真實區(qū)域邊界的比例來衡量超像素塊的邊緣貼合度。兩種評價指標從不同角度出發(fā)，可以更全面地對最終的分割結果進行質量評價和精度評定。兩種指標的具體計算方法分別如公式（1）和（2）所示：

其中，G表示真實的地物分布，S為分割算法得到的超像素塊，|?|則表示這些超像素塊中包含的所有像素點個數。有些超像素塊中沒有真實標記點，有些超像素塊中只有部分像素點有真實標記，上述兩個指標只針對有標記樣本進行統(tǒng)計和結果評價。

1.3 基于同質區(qū)的訓練樣本擴增原理

提純后的初始分割板塊和超像素斑塊均為純度很高的同質區(qū)，可以用于擴增訓練樣本。利用同質區(qū)擴增訓練樣本的最簡單方案是：選擇同質區(qū)內一點，獲取其類別信息，然后將同區(qū)內所有像點賦以同樣的類別。

圖2 展示了初始分割斑塊提純的情況。圖2（a）是一個分割所得的斑塊，其中的“+”表示此同質區(qū)斑塊中主體類別像素，占據同質區(qū)的絕大部分；“x”及“o”則表示不同于主體類別的錯分入斑塊的噪聲點。圖2（b）是提純后的斑塊，其中的噪聲點多數被剔除，但仍有少量殘留。

圖2 分割斑塊提純Fig.2 Segmentation patches purification

利用隨機手段選定的有真實標記的樣本點必然處于某一高純度同質區(qū)內，如圖3（a）中紅色圓圈包圍的點。此點屬于斑塊內的主體類別，按照簡單擴增方案，同質區(qū)內所有點都會被賦予主體類別（如圖3（b）所示），都會被作為具有偽標簽的擴增樣本點。由于斑塊內絕大部分點被標記的類別與其真實類別一致，所以，這樣的擴增樣本點用于監(jiān)督訓練有益無害。圖3（c）中隨機選中了高純度同質區(qū)內的噪聲點，按照簡單擴增原則，此時的擴增結果應該如圖3（d）所示，絕大部分像點均被賦以與實際情況不同的錯誤標簽。這樣的偽標簽樣本用于訓練模型無疑會破壞分類模型的質量，這樣的擴增還不如沒有擴增。

圖3 簡單準則擴增效果Fig.3 Simple guidelines augmentation results

盡管高純度同質區(qū)斑塊內噪聲點極少，但還是存在選中噪聲點的可能。為了盡量減少錯誤擴增發(fā)生的可能性，利用源域和目標域有實際標記的樣本訓練一個分類模型，并預測目標域所有像素的類別。將同質區(qū)斑塊內擁有最多像素的預測類別稱為斑塊預測類別，如圖4所示。假如隨機選擇的真實樣本點的類別與其所在斑塊的預測類別一致，則進行簡單方案擴增；否則，不進行樣本擴增。圖5給出的是選中樣本點類別與斑塊預測類別一致的情況，最后給出了擴增的結果。

圖4 斑塊預測類別Fig.4 Predict classes of patches

圖5 具有斑塊預測類別制約的訓練樣本擴增Fig.5 Augmentation of training samples with constraints of predict class of patch

在以上每一幅示意圖中的高純度同質區(qū)內，都繪制了所有像點的實際類別，但除了選中標記點外，這些類別信息不可以使用，只能將其當作未標記點。繪出實際類別的目的是為了理解算法原理的方便。

2 基于同質區(qū)和孿生卷積神經網絡的半監(jiān)督遷移學習

2.1 孿生卷積神經網絡模型構建

具有雙重分支且權重共享的網絡結構稱為孿生神經網絡（Siamese Neutral Network，SNN）[19]，當孿生神經網絡的分支為卷積神經網絡時，便稱之為孿生卷積神經網絡（Siamese Convolutional Neutral Network，SCNN）。與傳統(tǒng)的卷積神經網絡相比，孿生卷積神經網絡最大的特點是將原來的單一串聯網絡改成了具有兩個結構相同、權值共享的并行子分枝的新網絡，如圖6所示。

圖6 孿生卷積神經網絡示意圖Fig.6 SCNN model

X1和X2是網絡模型的輸入數據，亦被稱為配對數據（Paired Data）。GW(X1)和GW(X2)分別表示X1和X2的映射函數表示兩個輸入數據經過孿生網絡輸出之后的相似性度量，例如歐式距離。該網絡一般使用對比損失函數作為其訓練過程中的損失函數[20]，使原本相近的同類樣本在新的目標特征空間中保持其原本的特性；而使得原本差異較大的樣本可以分離更遠。這一特點適合于特征降維，但改進后也適合于遷移學習。

建立在孿生卷積神經網絡基礎上的模型需要的訓練樣本數量較少，因為輸入網絡的數據是同類或異類的樣本對，數量不多的標記樣本也可以組合出數量龐大的訓練用樣本對。

2.2 網絡模型構建

為達成遷移學習的目的，使用圖7所示的孿生卷積神經網絡模型架構。

圖7 本文使用的孿生卷積神經網絡模型架構Fig.7 SCNN model used in this paper

嵌入函數g通過卷積神經網絡（CNN）建模，該網絡主要由初始卷積層和全連接層組成。其中，孿生網的兩個分支，一個用于訓練源域，另一個則用于目標域。由于gs=gt=g，CNN的參數將在兩個分支中共享。此外，源域分支使用額外的全連接層來建模h，構建分類損失函數。模型中主要有兩類損失函數：分類損失函數和對比損失函數，對比損失函數又分為同類樣本間的對齊損失函數和不同類樣本間的分離損失函數。最終的總體損失函數分為以下三部分。

（1）分類損失函數：

（2）同類樣本間的對齊損失函數：

（3）不同類樣本間的分離損失函數：

最終，總體損失函數可表示為：

其中，E[]?表示統(tǒng)計期望，?可以是任何適當的損失函數（例如多分類問題中使用的交叉熵函數），當Xs和Xt的分布不同時，僅使用源域數據訓練得到的深度模型fs會降低目標域的性能。d為兩個域的嵌入空間中的距離度量（如歐式距離），一旦對齊，模型便具有模糊樣本域屬性的特點。k則為Xs和Xt在嵌入空間分布的相似度度量，當相似時，會導致分類精度降低，故k起到一個懲罰的作用。γ為權衡系數，用來控制分類損失函數和對比損失函數各自所占的權重。

針對本研究的具體情況，具體化后的網絡結構如圖8所示。主要分為特征提取、分類識別和相似度計算三個部分。在特征提取部分，孿生卷積神經網絡左右兩個分支的結構完全一致，由一系列卷積層、池化層及全連接層組成。

圖8 本文使用的孿生卷積神經網絡結構示意圖Fig.8 Specific SCNN model used in this paper

通過上述的網絡結構，輸入的源域圖像和目標域圖像被映射到相應的特征空間。使用歐式距離（Euclidean Distance）作為兩個領域的圖像輸出特征相似度指標，并通過對齊損失函數拉近兩個領域中同類樣本間距離，通過分離損失函數擴大不同類樣本間距離。

為了保證訓練后源域分支能夠實現準確分類，在源域分支之后又添加了額外的網絡層來建立分類模型。

這種基于孿生卷積神經網的遷移思想具有兩個優(yōu)點：首先是原理直觀易懂，通過源域和目標域樣本的配對訓練使得兩個域的同類樣本在特征空間內彼此接近，而異類樣本間距離則盡可能加大，從而使得特征空間內以源域信息分類目標域數據變得簡單易行；其次是這種遷移思想的普遍實用性。許多現有的遷移學習方法應用于遙感影像時往往沒有明顯的效果，而基于孿生網的方法則對幾乎所有實驗影像的分類效果都有一定程度的提升。因此，本文以這種網絡結構作為基礎，研究目標域訓練樣本擴增及訓練樣本配對措施變化對遷移學習分類效果的提升力度。

2.3 配對樣本的生成

訓練孿生網絡需要足夠數量的訓練樣本對，包括同類樣本對和異類樣本對。為了方便，將源域及目標域樣本標記集合分別記為假設兩個域共有C類地物。

首先講述經典樣本對構建方法。同類樣本對的構建相對簡單。從源域和目標域樣本集的每個類別中隨機抽取Nperclass1個樣本構建總共Nsame個同類樣本對，其中。經典構建過程的偽代碼如下：

其中函數randomly_draw_Nperclass_samples(ind)表示從集合ind中隨機抽取Nperclass個樣本，下同。

簡而言之，就是從源域和目標域每類樣本中分別抽取Nperclass1個樣本，配成Nperclass1個樣本對，隨后將C個類別的樣本對集取并得到最終的同類樣本對集SamPair。

異類樣本對的構建過程與上述步驟有所不同。先從源域樣本集的某個類別中隨機抽取Nperclass2個樣本，再從目標域不包含此類的樣本子集內隨機抽取Nperclass2個樣本，配成Nperclass2個樣本對。最后將C次配對所得的樣本對集并到一起，得到總共Ndiff個異類樣本對，其中具體配對過程的偽代碼如下：

上述經典的孿生網訓練方案中，Nsame=Ndiff，也即同類與異類樣本對的比例為1∶1。CCSA方法中，目標域每類只有一個樣本。構建同類樣本時，源域每一有標記樣本均與目標域的那個同類樣本配對，就是說CCSA方法的同類樣本對數Nsame就等于源域有標記樣本總數。這樣才能保證生成足夠數量的訓練樣本對。與此同時，CCSA方法將源域每一樣本與目標域所有異類樣本配對，并從中隨機抽取3對，所以Ndiff=3Nsame。

經典方案涉及到的每個域均提供了較多數量的標記點，需要通過隨機抽樣才能限制配對數量的爆炸；而CCSA方法的目標域每類僅有一點，只有通過遍歷配對才能湊夠訓練網絡所需的樣本對數。由于基于同質區(qū)的擴增措施增加了目標域有標記樣本的數量，本研究更接近經典方案的情況。但是CCSA方法生成異類樣本對的做法給了人們一點啟發(fā)：讓每一源域樣本與多個異類目標域樣本配對有益于擴大不同類樣本間的特征差異，提高總體分類精度。本文構建異類樣本對時，任一隨機選中的源域樣本都與目標域的每一異類進行一次隨機配對，配對過程的偽代碼為：

3 實驗結果與分析

3.1 實驗數據與環(huán)境

為了合理評價本文方法的有效性以及對不同數據和區(qū)域的適應性，本文采用了兩組具有不同相似程度（不同數據偏移程度）的高光譜測試數據集進行相關實驗。分別為同一場景圖像中的兩塊不相交的子區(qū)域：Source和Target，以及兩幅跨場景圖像：PC和PU。

第一組數據集是來自ROSIS-3傳感器在帕維亞城市上空采集的高光譜遙感影像[17]，圖9為該數據的完整影像。選取兩塊不相交的子區(qū)域作為參與遷移實驗，分別命名為Source圖像和Target圖像。

圖9 第一組數據集的全圖假彩色影像圖Fig.9 False color image of first data set

它們各自的大小分別為172×123像素和350×350像素，光譜范圍為0.43 μm到0.86 μm，空 間 分辨率為1.3 m。該數據包含115個光譜波段，實際分類時為避免噪聲波段產生影響，去除了12個噪聲波段，保留其中103個波段進行分類。圖10為Source及Target假彩色影像圖及相應的實際地面參考數據。這兩幅圖像共享四類地物，分別為：道路、植被、陰影和建筑。

圖10 Source和Target的假彩色圖像與真實地物分布Fig.10 False-color image and ground truth of Source and Target

表1 統(tǒng)計了這兩幅圖像的各類樣本數量，Target圖像中包含的標記樣本數量遠多于Source。實驗中將Source作為源域圖像，Target作為目標域圖像。

表1 第一組數據集的各類樣本數量統(tǒng)計Table 1 Number of samples in each class of first dataset

第二組數據集是同一傳感器拍攝的兩塊不同地區(qū)的高光譜影像圖，分別來自意大利帕維亞城市中心（Pavia Center）和帕維亞大學（Pavia University），均由成像光譜儀ROSIS-3拍攝所得，簡稱PC和PU圖像。該數據集的光譜范圍、空間分辨率、光譜波段與第一組數據一樣。兩幅影像尺寸分別為1 096×492和610×340個像素，有七種公共地物類別。

為了表述方便將兩組數據的地物類別重新統(tǒng)一定義，將標簽1至7對應的實際地物分別定義為樹、瀝青路、自封磚、瀝青建筑、草地、裸土和陰影，具體情況如圖11所示。表2為第二組數據集的各類樣本統(tǒng)計。

表2 第二組數據集的訓練與測試樣本Table 2 Training and test samples of second dataset

圖11 PC和PU的假彩色圖像與真實地物分布Fig.11 False-color image and ground truth of PC and PU

本文實驗在Windows10系統(tǒng)下基于Python3和MATLAB實現。在Python3環(huán)境中，利用Keras庫（以TensorFlow為后端）進行孿生卷積神經網絡的訓練和分類，其余部分均在MATLAB環(huán)境下完成。下文分類實驗結果均為10次獨立實驗的平均值。

3.2 目標圖像的分割結果展示和質量評價

本節(jié)實驗對本文的分割提純過程以及基于多尺度分割方法獲取得的三幅影像同質區(qū)進行效果展示。超像素分割時，斑塊數目設置準則是使斑塊平均面積約為40個像素。圖12、13和14分別為Target、PC和PU三幅圖像的分割提純過程以及最終分割結果。從圖中可以看出，三幅圖像經提純后均獲取了較多大面積同質區(qū)塊，剔除了許多地物邊緣處的過分割區(qū)域，在剩余殘留影像區(qū)域進行SEEDS超像素分割，可以精準細致地劃分這部分復雜多變的區(qū)域。

圖12 Target圖像分割結果Fig.12 Segmentation result of Target

圖13 PC圖像分割結果Fig.13 Segmentation result of PC

圖14 PU圖像分割結果Fig.14 Segmentation result of PU

表3 為三幅影像分割結果的同質區(qū)斑塊數和兩種分割評價指標數值?？梢钥闯觯喝跋竦那贩指铄e誤率均低于0.05%；可達分割準確率均在99.7%以上，證明了本文提出的分割-提純方案的有效性。

表3 三幅實驗影像分割結果評價Table 3 Evaluation of segmentation results of three experimental images

3.3 目標圖像分類的實驗結果與分析

分類實驗中，源域圖像每類地物隨機選取300個標記樣本，目標域圖像每類隨機選取1個標記樣本作為原始訓練數據；目標域圖像所有剩余標記樣本用作測試。訓練樣本用于訓練本文方法和幾種參照方法，訓練模型用于預測測試樣本類別，通過分析對比各項指標來評定各種方法性能的優(yōu)劣。

除了本文提出的同質區(qū)和孿生卷積神經網絡的半監(jiān)督遷移學習（SCNN-HR），實驗中的對比方法包括基于線性支持向量機的SRC、SVM1、SVM2和CCSA。其中，SRC僅利用源域圖像中的訓練樣本，未使用目標域的標記樣本，基于樣本光譜特征訓練支持向量機模型，在未進行遷移學習的情況下，直接對目標圖像進行分類。SVM1的訓練樣本中加入了目標域的標記單樣本；SVM2則是在源域訓練樣本中加入了目標域單樣本及基于同質區(qū)的擴增樣本；CCSA為最新的半監(jiān)督遷移學習方法，利用源域訓練樣本和目標域標記單樣本，基于樣本的空譜聯合特征訓練孿生神經網，并對目標圖像進行分類。CCSA與本文方法最為接近，但其在目標域只用了每類一個標記樣本，源域、目標域樣本配對策略也不一樣。

本文方法與CCSA使用的均是空譜聯合特征，即將一個像素的所有波段的鄰域子圖像全部作為其特征（見圖15）。鄰域窗口尺寸取5×5，這一尺寸幾乎可用于所有影像，能夠達到利用空間信息的目的，又不會造成分類結果的邊緣模糊。鄰域的每一波段展開為一列向量，5×5鄰域展開成25×1的向量。用于遷移學習實驗的數據為102個波段，所以，每一像素的特征數據均為25×102的矩陣，孿生網每一分支的輸入層尺寸均為25×102×1。

圖15 空譜聯合特征的提取Fig.15 Extraction of spatial-spectral feature

表4 和圖16分別給出了本文方法SCNN-HR與對比方法對第一組數據的實驗結果和分類效果圖。

表4 第一組數據集分類結果評價（Source→Target）Table 4 Evaluation of classification results of first dataset（Source→Target）

圖16 第一組數據集的分類效果圖對比（Source→Target）Fig.16 Classification results of first dataset（Source→Target）

SRC方法直接使用源域的標記樣本進行訓練，不采取任何遷移學習的手段，分類精度最低。而如果只有目標域每類一個標記樣本，即SVM1方法，也無法獲得分類精度提升，因為訓練樣本中源域的數據信息占主導位置，少量的目標域地物信息無法影響模型的訓練，且源域和目標域之間存在一定的差異，故無法取得理想的分類結果。SVM2由于加入了較多擴增而得的目標域標記樣本信息，雖然未進行兩個領域之間的遷移，其分類精度也能提升3%左右。半監(jiān)督遷移學習方法CCSA的分類結果與SVM2大致相當。本文方法利用同質區(qū)對目標域單樣本進行擴增，并利用孿生卷積神經網絡拉近源域數據和目標域數據間的距離，在三種分類評價指標中均取得了最好結果，其總體精度和平均精度分別為82.35%和82.38%，比CCSA方法高出了約2%~3%，Kappa系數則高出0.04。

表5 和圖17為第二組數據集PC→PU時各方法得到的分類結果和相應的分類效果圖。在該組實驗中，本文方法的分類精度最高，總體分類精度達到了70.10%；相比于直接利用源域數據進行分類的SRC高出約11個百分點；對比未使用遷移方法的SVM2來說，有了4個百分點的精度提升。與半監(jiān)督分類方法CCSA相比，總體分類精度和平均精度高出了5~6個百分點，具有明顯的優(yōu)勢。分類效果圖顯示：相比于其他方法，本文方法對于裸土和草地這兩種地物的區(qū)分性更好，包含的噪聲點也更少。

表5 第二組數據集分類結果評價（PC→PU）Table 5 Evaluation of classification results of second dataset（PC→PU）

圖17 第二組數據集的分類效果圖對比（PC→PU）Fig.17 Classification results of second dataset（PC→PU）

表6 和圖18為不同方法在PU→PC時得到的分類結果和分類效果圖。本文方法的總體精度達到了87.58%；比基準方法SRC高出了約13個百分點；比未使用遷移方法的SVM2高出了4個百分點；同時，相比半監(jiān)督分類方法CCSA來說，也有2個百分點的精度提升。分類效果圖顯示：本文方法分出的瀝青澆筑完整性最高，基本接近真實地物分布。

圖18 第二組數據集的分類效果圖對比（PU→PC）Fig.18 Classification results of second dataset（PU→PC）

表6 第二組數據集分類結果評價（PU→PC）Table 6 Evaluation of classification results of second dataset（PU→PC）

4 結束語

孿生神經網絡的結構適合目標域標記點極少情況下的遷移學習，但遷移分類效果不甚理想。本文研究了一種基于同質區(qū)和孿生神經網絡結構的半監(jiān)督遷移分類方法，借助分割所得的目標域同質區(qū)擴增標記樣本，結合空譜聯合特征實現網絡模型訓練。實驗結果表明：改進措施明顯提升了高光譜數據的分類效果，基本滿足地物識別和信息提取的需求。兩組數據的實驗結果同時證明本文探索的方法針對源域和目標域間偏移程度不同的高光譜圖像均具有適應性。