基于多核極限學習機的遙感影像林地信息提取

王傳立，張曉芳，唐 鼐，袁 夢，文益君，郭 瑞

（中南林業(yè)科技大學 計算機與信息工程學院，湖南 長沙 410004）

林地資源是地球寶貴的財富，對人類的生活和發(fā)展起著不可或缺的作用；同時，林地資源是森林資源的主要成分，在調(diào)節(jié)氣候、空氣凈化、產(chǎn)生人類必需的氧氣等方面具有重要的作用。但由于我國人口密集，森林往往與居民區(qū)交織在一起，傳統(tǒng)的林地信息提取方法不方便對林地資源進行二次管理、開發(fā)，因而，通過高光譜遙感影像準確高效地識別林地信息有利于更好的管理和開發(fā)林地資源。

高光譜遙感技術已廣泛的應用于林業(yè)、農(nóng)業(yè)[1-4]，特別是應用于林業(yè)、農(nóng)業(yè)的地物識別，以及林地資源的林地信息提取。特別是，近年來基于機器學習的數(shù)據(jù)分類方法已取得了顯著的效果，眾多學者已將機器學習方法成功地應用于高光譜影像的分類。如主成分分析（PCA）[5]、K近鄰（KNN）[6]、支持向量機（SVM）[7-8]、極限學習機（ELM）[9]、半監(jiān)督學習（SSL）[10]、BP神經(jīng)網(wǎng)絡[11]、卷積神經(jīng)網(wǎng)絡（CNN）[12-13]等方法。但是由于高光譜影像波段多，導致影像數(shù)據(jù)維度高，使得傳統(tǒng)機器學習分類模型的訓練速度慢、分類精度不高。隨著極限學習機理論[14]的提出，因其高效的分類速度，以及良好的分類效果，越來越多的學者開始關注基于極限學習機的高光譜遙感影像分類。

雖然，基于單核的極限學習機[15]在高光譜遙感影像上取得了顯著的分類效果。但單核極限學習機只用一個特征矩陣來表達波段信息，因此，有些相似的地物不能夠有效的進行區(qū)分，造成了該模型的分類精度不能進一步地提升。與此同時，由于高光譜影像樣本數(shù)量的有限性，用基于大數(shù)據(jù)的分類方法來提高光譜遙感影像的分類精度，不是非常的切實可行。為了更好地利用高光譜遙感影像提取林地信息，本文以Indian Pines遙感影像和芷江林場遙感影像為數(shù)據(jù)源，首先利用多核特征提取方法對林地信息進行多核特征提取，從多角度充分表達林地的光譜信息，然后利用多核極限學習機理論[16]在提取得到的多核特征上訓練網(wǎng)絡分類模型，從而可以方便地利用多核極限學習機分類模型對林地信息進行開發(fā)、管理，更好地發(fā)揮林地資源的作用。

1 算法原理與分析

1.1 基本極限學習機

極限學習機（ELM）算法對于單隱層神經(jīng)網(wǎng)絡，隨機設定神經(jīng)元的輸入權重W和偏置b后，不改變權重和偏置，巧妙的將神經(jīng)網(wǎng)絡訓練問題轉化為一個最小二乘問題，最后求得問題的解析解，大大縮短了網(wǎng)絡的訓練時間。本節(jié)中相關字母、符號的解釋見表1。

對于圖1中的單隱層神經(jīng)網(wǎng)絡，假設有n個任意的樣本{(Xi，tj)}∈Rn×Rm，對于一個有L個隱層節(jié)點的單隱層神經(jīng)網(wǎng)絡可以表示為：

表1 參數(shù)含義Table1 Parameter meaning

圖1 單隱層神經(jīng)網(wǎng)絡Fig.1 Structure of ELM

單隱層神經(jīng)網(wǎng)絡學習的目標是使得輸出的誤差最小，可以用公式表示為：

利用最小二乘理論，公式（2）的矩陣表達為：

傳統(tǒng)的一些算法用梯度下降法來求解這樣的問題，但是基于梯度的學習算法需要在迭代的過程中不斷調(diào)整所有參數(shù)，導致訓練的時間過長。而ELM算法，最優(yōu)網(wǎng)絡結構參數(shù)可以通過對H求偽逆得到。且可證明求得的解的范數(shù)是最小且唯一。

1.2 多核極限學習機

假定n個樣本，通過m個核映射函數(shù)gi映射得到m個特征表達，βi是對應核函數(shù)gi的ELM的輸出權重，根據(jù)文獻[16]，多核ELM網(wǎng)絡同時優(yōu)化組合的輸出權重矩陣范數(shù)和訓練誤差，多核ELM的優(yōu)化式子為：

其中，β=[β，β，…，β]，是多個核函數(shù)融合矩陣的網(wǎng)絡輸出權重，ξp是第i個樣本的訓練誤差，C為平衡因子，γp是第p個核函數(shù)對應的特征表達矩陣的融合系數(shù)，yi是第i個樣本標簽。

顯然公式(6)是一個凸優(yōu)化問題，常用的優(yōu)化方法為：拉格朗日乘子法，公式(6)的拉格朗日乘子方程為：

其中α和τ是拉格朗日乘子，對公式(7)使用KKT條件，求出MK-ELM最優(yōu)結構參數(shù)α和核融合系數(shù)γ為：

其中，K(··γ)表示對多個基核通過融合系數(shù)γ融合后的核矩陣，最后得到輸出權重βp。

2 高光譜遙感影像分類實驗

2.1 高光譜遙感影像數(shù)據(jù)集

在本節(jié)中，用Indian pine高光譜數(shù)據(jù)集來訓練多核極限學習網(wǎng)絡模型，驗證多核極限學習機（MK-ELM）在高光譜遙感影像分類的有效性。然后用MK-ELM方法對芷江林場遙感影像進行林地信息的提取。Idian pines可以從https://purr.purdue.edu/publications/1947/1下載。芷江林場通過GF-2衛(wèi)星獲得。

Indian pines數(shù)據(jù)集是公共可用的高光譜數(shù)據(jù)集，經(jīng)常用來評估分類算法的性能。Indian pines數(shù)據(jù)集三分之二是農(nóng)場，三分之一是林場和湖泊。其高光譜圖像有145*145個像素，220個光譜數(shù)據(jù)帶，總共地物有16類，遙感影像的地物實況如圖2所示，每一類的樣本數(shù)見表2。芷江林場遙感影像有747 *512個像素，224個光譜數(shù)據(jù)帶，該遙感影像中主要包括河流或湖泊、馬路或橋梁、居民區(qū)、農(nóng)田、森林等5類地物，高光譜遙感數(shù)據(jù)影像如圖3所示，每類樣本數(shù)見表3。

圖2 Indian pines地面實況Fig.2 The ground truth of Indian pines

圖3 芷江林場遙感影像Fig.3 The ground truth of Zhijiang forest farm

表2 Indian pines數(shù)據(jù)集類別信息Table2 Indian pines data set’s category information

表3 芷江林場數(shù)據(jù)集類別信息Table3 Zhijiang data set’scategory information

2.2 實驗和參數(shù)設置

為了評估多核極限學習機的性能，使用不同核函數(shù)的單核極限學習機（K-ELM）和使用多個核函數(shù)的單核極限學習機(MK-ELM)對Indian pines數(shù)據(jù)集進行對比實驗，最后用MK-ELM實現(xiàn)對芷江林場的林業(yè)信息提取。

在單核極限學習機中，使用了高斯核（K-ELM rbf）、多項式核（K-ELM poly）、Sigmod核（K-ELM sigmod）3個核函數(shù)，其具體的表達式見表4。在單核學習機實驗時，高斯核的結構參數(shù)取值范圍為[0.001,10]，平衡因子取值范圍為[0.01,1024]。多項式核的結構參數(shù)取值范圍為[10,1500]，平衡因子取值范圍為[0.01,1024]，并且所有涉及的參數(shù)都通過交叉驗證方式選取。本文中多核極限學習機采用5個核進行特征表達，具體為：3個高斯核、1個多項式核、1個sigmod核。初始隨機選取5個不同的融合系數(shù)，進行特征表達，然后通過多核極限學習機理論優(yōu)化結構參數(shù)，確定融合系數(shù)。

表4 核函數(shù)表達式Table4 Kernel function expression

本文中所有的實驗都在Matlab R2016a軟件上進行。把Indian pines數(shù)據(jù)集和芷江林場遙感影像數(shù)據(jù)集作為輸入，隨機選取50%的樣本作為訓練數(shù)據(jù)，剩下的樣本作為測試數(shù)據(jù)。為了說明分類效果，本研究采取整體正確度（OA）、Kappa系數(shù)做性能指標。其中OA指的是測試集合中正確分類的像素百分比，Kappa系數(shù)指的是被修正的像素占像素總數(shù)的百分比。

2.3 實驗結果和分析

采用MK-ELM和K-ELM（rbf）、K-ELM（poly）、K-ELM（sigmod）對Indian pine數(shù)據(jù)集進行分類，并將結果進行對比分析，結果如表5所示。表5中展示每一類地物的分類精度、整體精度（OA）以及Kappa系數(shù)，同時將MK-ELM算法對芷江林場進行林地信息提取，提取的結果如圖4所示。

表5 Indian pines數(shù)據(jù)集分類不同算法比較Table5 Indian pines data set classification algorithmcomparison

圖4 芷江林場分類結果Fig.4 Classi fication results of Zhijiang forest farm

從表4中可以看出，在單核極限學習機分類中，對于Corn-mintill、Hay-windwed、Otas、Corn-mintill而言，K-ELM（poly）區(qū)分精度明顯高于K-ELM(rbf)，但對于Soybeans-no till、Stonesteel towers而言，K-ELM（poly）區(qū)分精度明顯低于K-ELM(rbf)。這表明在單核學習機中，對于核函數(shù)的選取很關鍵。與單核極限學習機K-ELM（rbf）、K-ELM（poly）、K-ELM（sigmod）算法相比，MK-ELM在Alfalfa、Hay-windwed、Woods這幾類地物的區(qū)分精度明顯有所提高，表示MK-ELM對林地信息提取的精度更高，效果好，更適用于林地分類。但Otas、Stone-steel towers的分類精度低于單核學習機，表明MK-ELM不能較好地區(qū)分建筑物。單核學習機中分類精度最高的是K-ELM（poly），其整體精度為78.1%，Kappa系數(shù)為75%，而MK-ELM的整體精度為80.2%，Kappa系數(shù)高達78%。MK-ELM的分類整體精度和Kappa系數(shù)相對于單核學習機均有所提高，這表明MK-ELM算法對于遙感影像的分類更優(yōu)于K-ELM算法。將MK-ELM運用到芷江林場林業(yè)信息提取，其分類精度高達89.1%，Kappa高達86%。圖4可以很清晰地區(qū)分林地、馬路或橋梁、農(nóng)田、河流或湖泊、居民區(qū)。對比圖3和圖4可以發(fā)現(xiàn)，MK-ELM對于林地的分類效果很明顯，但對于居民區(qū)存在錯分現(xiàn)象，比如將森林中的土地錯分為居民區(qū)。

總之，多核極限學習相對于單核學習機，對高光譜遙感影像的整體分類精度明顯有所提高，對Alfalfa、Hay-windwed、Woods這幾類地物的錯分率明顯降低對芷江林場的林地信息提取效果優(yōu)良，能明顯地區(qū)分林地、農(nóng)田、居民、橋梁或馬路、湖泊或河流。

3 結論與討論

針對單核極限學習機對高光譜遙感影像特征表達能力不足以及在訓練網(wǎng)絡時核函數(shù)難以選取的問題，本文采取核方法，從不同的特征表達角度，生成了高光譜遙感影像的多核特征。然后借鑒多核極限學習機理論，生成了最優(yōu)的核特征融合系數(shù)以及極限學習機網(wǎng)絡結構參數(shù)。

對Indian Pines遙感影像分類實驗結果表明：單核極限學習機中，最優(yōu)的是K-ELM（poly），其整體精度為78%，Kappa系數(shù)為75%。而MKELM的分類整體精度為80%，Kappa系數(shù)高達78%，高于最好的單核極限學習機的效果。并且，MK-ELM 在 Alfalfa，Hay-windwed，Woods這三類地物的區(qū)分精度明顯有所提高，表明MKELM網(wǎng)絡能更好的提取林地信息。用MK-ELM對芷江林場影像進行林地信息提取的實驗結果表明：MK-ELM對于林地的分類效果很明顯，可以很清晰地區(qū)分林地、馬路或橋梁、農(nóng)田、河流或湖泊，林地分類精度高達89.1%，Kappa系數(shù)高達86%。

雖然多核極限學習機相對于傳統(tǒng)的單核極限學習機在高光譜遙感影像上對林地的區(qū)分取得了不錯的效果，但該網(wǎng)絡模型由于對核融合系數(shù)的1范數(shù)約束，造成了核系數(shù)的稀疏性，也就是有部分核特征并沒有被融合，造成了該網(wǎng)絡模型對部分特定地物的識別能力不足，比如在芷江林場的林地信息提取實驗中，部分居民區(qū)被錯誤地當作林地提取了出來。

另外，在對高光譜遙感影像提取多核特征時，只關注了光譜特征包含的信息，而沒有過多的考慮光譜間的相關性，比如地物的紋理特征、結構特征。而這些特征從經(jīng)驗上來看會對林地信息的提取有很大的幫助。在今后的工作中，應充分考慮光譜地物的結構特征重新設計一個非稀疏的多核極限學習機林地信息提取模型。