旋轉(zhuǎn)森林與極限學(xué)習(xí)相結(jié)合的遙感影像分類方法

肖東升，魯恩銘，劉福臻

(西南石油大學(xué) 土木工程與建筑學(xué)院，成都 610500)

0 引言

遙感影像分類是采用樣本數(shù)據(jù)訓(xùn)練生成預(yù)測(cè)模型，該模型具有較強(qiáng)的泛化性，并依據(jù)生成的預(yù)測(cè)模型對(duì)待分類的遙感數(shù)據(jù)進(jìn)行目標(biāo)分類[1]。隨著遙感和信息技術(shù)的發(fā)展，衛(wèi)星在軌數(shù)量不斷增多，每日產(chǎn)生海量的遙感數(shù)據(jù)。如何在海量的遙感數(shù)據(jù)中自動(dòng)提取信息成為海內(nèi)外學(xué)者研究的熱點(diǎn)問題。

影像分類技術(shù)已經(jīng)在不同領(lǐng)域得到廣泛應(yīng)用。但采用不同的分類方法對(duì)于同一個(gè)區(qū)域進(jìn)行分類處理，獲得的分類結(jié)果差別很大，目前分類方法的泛化性較差[2]。選擇適合單一分類算法的特征和規(guī)則，未能充分利用影像上其他有效信息，存在一定的局限性，最終導(dǎo)致分類結(jié)果精度難以滿足實(shí)際工程應(yīng)用的需要。集成多分類器方法能夠充分挖掘單一分類器的優(yōu)勢(shì)，同時(shí)能夠綜合利用多種分類器的優(yōu)勢(shì)提高算法的泛化能力和分類精度[3]。集成多分類器是利用存在較大差異的多個(gè)基分類器，采用某種集成策略進(jìn)行優(yōu)化組合，構(gòu)造優(yōu)于單個(gè)分類器的融合分類器，獲得最終分類器集成[4]。組合的方法逐漸應(yīng)用在遙感影像分類領(lǐng)域中并取得了良好分類效果[5]。因此，國(guó)內(nèi)外學(xué)者從下面2個(gè)基本方面提高分類效果：一是采用差別較大的訓(xùn)練樣本提高基分類器的差別，即提高同質(zhì)基分類器的性能；二是采用預(yù)測(cè)模型結(jié)果差別較大的基分類器，即集成異質(zhì)分類器[6]。同質(zhì)類型的分類器集成主要是通過訓(xùn)練集的不同構(gòu)建集成分類器，比較常見的集成策略有隨機(jī)子空間[7](random subspace method，RSM)、Bagging[8]、旋轉(zhuǎn)森林[9-10](rotation forest)以及AdaBoost[11]等。對(duì)于這類分類器，如果采用穩(wěn)定性較好的分類學(xué)習(xí)算法，表現(xiàn)出來的集成結(jié)果可能相對(duì)基分類器的效果不明顯，甚至有可能影響最終的分類性能的提高。如Kim Myoung等提出的采用多層感知機(jī)作為AdaBoost的基分類，獲得較好的實(shí)驗(yàn)效果[12]。Rodriguez等人提出旋轉(zhuǎn)森林算法，該方法采用決策樹作為基分類器，對(duì)于地物光譜負(fù)責(zé)的遙感影像會(huì)過于適應(yīng)噪聲，導(dǎo)致過擬合現(xiàn)象[13]。Han等人采用徑向基函數(shù)用于DECORATE(diverse ensemble creation by oppositional relabeling of artificial training examples)算法很好地解決了分類問題中的過擬合問題[14]。Huang等人提出ELM(extreme learning machine)算法，通過給定輸入權(quán)重以及隱含層的偏置值，僅訓(xùn)練網(wǎng)絡(luò)的輸出權(quán)值來解決分類問題中的過擬合問題，但單個(gè)ELM神經(jīng)網(wǎng)絡(luò)對(duì)于復(fù)雜遙感影像進(jìn)行分類時(shí)，泛化能力表現(xiàn)較差[15]。因此，為解決原始RF采用決策樹作為基分類器對(duì)遙感數(shù)據(jù)分類時(shí)容易出現(xiàn)過擬合現(xiàn)象以及單個(gè)ELM算法對(duì)復(fù)雜數(shù)據(jù)泛化能力較差問題，本文提出一種結(jié)合RF和ELM算法的多分類器混合集成的遙感影像分類方法。該方法能夠利用RF方法對(duì)ELM神經(jīng)網(wǎng)絡(luò)進(jìn)行集成，可以較好地提高ELM算法的泛化能力，提高2種算法的互補(bǔ)性，有較高的泛化能力與識(shí)別精度。

1 RF與ELM結(jié)合方法

1.1 ELM算法

極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)是針對(duì)單個(gè)隱藏層的前饋型神經(jīng)網(wǎng)絡(luò)(single-hidden layer feedforward neural network，SLFNs)的監(jiān)督型學(xué)習(xí)方法[16]。相對(duì)于傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢、學(xué)習(xí)率選擇敏感等缺點(diǎn)，EML方法通過輸入層與隱藏層之間的權(quán)值以及隱藏層神經(jīng)元的閾值，且在訓(xùn)練過程中無需調(diào)整，僅僅設(shè)置隱含層神經(jīng)元的個(gè)數(shù)，便可求解一個(gè)最優(yōu)范數(shù)。與傳統(tǒng)訓(xùn)練方法相比極限學(xué)習(xí)機(jī)法具有訓(xùn)練參數(shù)少、訓(xùn)練速度快、泛化性能好等優(yōu)點(diǎn)。

通常，單個(gè)隱藏層的前饋型神經(jīng)網(wǎng)絡(luò)模型在求解最優(yōu)目標(biāo)時(shí)需要設(shè)置多個(gè)隱藏神經(jīng)元。假設(shè)存在N個(gè)任意的樣本數(shù)據(jù)(xi，yi)，其中xi、yi分別表示訓(xùn)練樣本的特征向量和該樣本的標(biāo)簽。對(duì)于給定ELM網(wǎng)絡(luò)的輸入層、隱層和輸出層的節(jié)點(diǎn)數(shù)分別為n、r、m，那么極限學(xué)習(xí)機(jī)可以表示為[17]：

(1)

式中：g為隱層神經(jīng)元的激活函數(shù)；ωi為第i輸入網(wǎng)絡(luò)層隱藏結(jié)點(diǎn)連接的權(quán)重向量；βi=[βi1，βi2，…βin]T是為第i輸出層網(wǎng)絡(luò)層隱藏結(jié)點(diǎn)的輸出權(quán)值向量；yk是網(wǎng)絡(luò)輸出值；bi為隱層偏置值；g為隱層神經(jīng)元的激活函數(shù)。ELM在開始訓(xùn)練時(shí)，固定輸入權(quán)重ωi和隱層偏置值bi隨機(jī)產(chǎn)生，只需訓(xùn)練βi，如式(2)[18]所示：

式中：H為極限學(xué)習(xí)機(jī)隱層節(jié)點(diǎn)輸出矩陣；Y為期望輸出矩陣；βi為輸出權(quán)值向量。中間的隱含神經(jīng)元層與最終輸出層間的連接權(quán)重向量通過最小二乘方法求解方程組min||Hβ-Y||獲得最優(yōu)解。求解出βi即完成極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)訓(xùn)練過程。因此，對(duì)于給定訓(xùn)練樣本集、激活函數(shù)以及隱單元個(gè)數(shù)，ELM算法主要包括3步：

①任意指定輸入的權(quán)重w和隱含層神經(jīng)元的閾值b向量；

②計(jì)算隱含層輸出矩陣H；

③計(jì)算輸出的權(quán)重向量β=H-1Y。

1.2 RF-ELM方法

由于決策樹算法具有對(duì)數(shù)據(jù)間的變換比較敏感特性，因此決策樹被絕大數(shù)的集成方法選著作基分類器，但對(duì)遙感數(shù)據(jù)分類時(shí)容易出現(xiàn)過擬合現(xiàn)象，同時(shí)處理速度較慢。由1.1節(jié)中極限學(xué)習(xí)的訓(xùn)練過程與式(2)可知，極限學(xué)習(xí)機(jī)在構(gòu)建模型時(shí)對(duì)訓(xùn)練數(shù)據(jù)集嚴(yán)重依賴，采用差異數(shù)據(jù)會(huì)獲得不同的權(quán)重向量β，對(duì)于給定不同的2個(gè)隨機(jī)值ω和b在相同的數(shù)據(jù)集上計(jì)算輸出權(quán)重β值存在一定的差異，所以容易訓(xùn)練出具有一定差異的 ELM 模型，因此滿足基分類器構(gòu)造集成分類器的基礎(chǔ)條件。

設(shè)X為N*M維的訓(xùn)練數(shù)據(jù)集，Y為N*1維每個(gè)實(shí)例對(duì)應(yīng)的類標(biāo)，F(xiàn)表示訓(xùn)練數(shù)據(jù)的屬性集，E1、E2、…El為l個(gè)基分類器，以旋轉(zhuǎn)森林選取訓(xùn)練樣本為前提并結(jié)合極限學(xué)習(xí)作為基分類器構(gòu)建集成學(xué)習(xí)分類模型。具體步驟如下：

②用Fij表示采用訓(xùn)練數(shù)據(jù)集的第j個(gè)子屬性集訓(xùn)練第i個(gè)基分類器Ei構(gòu)建的模型，對(duì)訓(xùn)練數(shù)據(jù)屬性集進(jìn)行自動(dòng)采樣，抽取為原數(shù)據(jù)集的75%數(shù)據(jù)子集Xij，對(duì)Xij樣本數(shù)據(jù)在Fij對(duì)應(yīng)特征子集中數(shù)據(jù)通過主成分特征變換進(jìn)行特征提取，獲得nj個(gè)特征子集的主成分變換系數(shù)Cij=[a1ij，a2ij…ajij]。

③將計(jì)算得到的K個(gè)主成分系數(shù)存儲(chǔ)在Ri矩陣內(nèi)，依據(jù)系數(shù)矩陣對(duì)原始數(shù)據(jù)屬性進(jìn)行排序獲得Ri[19]。

(3)

④對(duì)原始訓(xùn)練數(shù)據(jù)集X采用③計(jì)算得到的Ri進(jìn)行主成分變換分析獲得數(shù)據(jù)，并在變換后的數(shù)據(jù)上訓(xùn)練極限學(xué)習(xí)機(jī)Ei獲得對(duì)應(yīng)的基分類器。

⑤重復(fù)步驟①～步驟④訓(xùn)練獲得L個(gè)極限學(xué)習(xí)基分類器。

2 實(shí)驗(yàn)與分析

2.1 模型集成驗(yàn)證

選取公共UIC測(cè)試數(shù)據(jù)庫(kù)中Balance Scale、 Hepatitis、Tic-tac-toe 3個(gè)數(shù)據(jù)集，從每個(gè)數(shù)據(jù)集中任意抽取70%原數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩下的30%作為檢驗(yàn)數(shù)據(jù)，重復(fù)采用70%的訓(xùn)練數(shù)據(jù)，依次運(yùn)行25次單個(gè)極限學(xué)習(xí)(ELM)模型、RF-ELM模型，計(jì)算測(cè)試結(jié)果的平極差、均方差、平均準(zhǔn)確率以及分類時(shí)間。實(shí)驗(yàn)結(jié)果見表1。同時(shí)交叉驗(yàn)證實(shí)驗(yàn)結(jié)果如表2所示。在公共數(shù)據(jù)集上實(shí)驗(yàn)，本文算法構(gòu)造RF-ELM 模型旋轉(zhuǎn)矩陣時(shí)選擇的子特征屬性個(gè)數(shù)為5，極限學(xué)習(xí)的隱層神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)個(gè)數(shù)設(shè)置為50。

表1 不同模型對(duì)比實(shí)驗(yàn)

表2 交叉驗(yàn)證實(shí)驗(yàn)對(duì)比結(jié)果

由表1可知，文中提出改進(jìn)的RF-ELM模型無論在處理訓(xùn)練數(shù)據(jù)集的模型構(gòu)建，還是在檢驗(yàn)數(shù)據(jù)集的預(yù)測(cè)模型結(jié)果都比單個(gè)極限學(xué)習(xí)模型的效果好；RF-ELM模型25次預(yù)測(cè)結(jié)果的方差和極差的平均值遠(yuǎn)小于單個(gè)極限學(xué)習(xí)模型，離散程度較小說明RF-ELM模型實(shí)驗(yàn)結(jié)果的穩(wěn)定，算法的魯棒性較好；模型的運(yùn)算效率較高。表2給出的交叉驗(yàn)證實(shí)驗(yàn)結(jié)果，RF-ELM準(zhǔn)確率最高。在公共數(shù)據(jù)集上改進(jìn)的RF-ELM模型方法提高了極限學(xué)習(xí)算法的穩(wěn)定性與預(yù)測(cè)精度。

2.2 遙感影像實(shí)驗(yàn)

為了驗(yàn)證改進(jìn)的 RF-ELM 模型方法能夠有效地解決原始RF 中容易出現(xiàn)過擬合現(xiàn)象以及單個(gè)ELM算法對(duì)復(fù)雜數(shù)據(jù)泛化能力較差問題，將本文所提方法對(duì)北京市順義區(qū)和成都市新都區(qū)的Landsat-8衛(wèi)星遙感影像上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

1)實(shí)驗(yàn)1。實(shí)驗(yàn)1中采用北京順義地區(qū)影像是大小為2 000像素×2 000像素的真彩色遙感影像，包括7個(gè)波段，空間分辨率為30 m的多光譜數(shù)據(jù)。對(duì)預(yù)處理后的影像利用eCognition軟件進(jìn)行多尺度分割獲取分割矢量，考慮到尺度越小像斑數(shù)越多，分割尺度取100，形狀因子取0.3，緊致度因子取0.5，分割后獲取像斑數(shù)目為10 632個(gè)。圖1為研究區(qū)域432波段合成的真彩色影像。對(duì)像斑進(jìn)行特征提取，再選取843個(gè)類別屬性像斑作為訓(xùn)練樣本集，類別包括：水域、荒裸地、道路、建筑區(qū)、耕地、林地。

圖1 順義區(qū)Landsat-8真彩色影像

基于RF-ELM模型方法的高分辨率遙感影像分類結(jié)果如圖2所示?？梢钥闯?，RF-ELM模型對(duì)每種地物都有很好的分類效果。表3給出了幾何RF-EML模型方法對(duì)每種地物的分類精度。從各算法得到的分類精度對(duì)比可以看出，RF算法、ELM算法以及Bag-ELM算法出現(xiàn)了分類精度都比較低的現(xiàn)象。而對(duì)比所提算法與 RF 算法得到的分類結(jié)果可以看出，RF-ELM 算法改善了 RF 中的過分類現(xiàn)象，得到的分類結(jié)果效果更好。

圖2 RF-ELM分類結(jié)果

類別制圖精度用戶精度漏分精度錯(cuò)分精度水域 94.7987.505.2112.50荒裸地90.9095.239.104.77道路 86.1193.9313.896.07建筑區(qū)95.0484.954.9615.05耕地 95.5096.594.503.41林地 81.1397.7218.872.28

2)實(shí)驗(yàn)2。實(shí)驗(yàn)2中采用的成都市新都地區(qū)2017年遙感影像，影像大小為1 000像素×800像素的真彩色遙感影像，包括7個(gè)波段，空間分辨率為30 m的多光譜數(shù)據(jù)。利用eCognition軟件進(jìn)行多尺度分割獲取分割矢量，分割尺度取90，形狀因子取0.4，緊致度因子取0.6，分割后獲取像斑數(shù)目為6 542個(gè)。圖3為研究區(qū)域432波段合成的真彩色影像。對(duì)像斑進(jìn)行特征提取，再選取586個(gè)類別屬性像斑作為訓(xùn)練樣本集，類別包括：水域、荒裸地、道路、建筑區(qū)、耕地、林地。

圖3 新都區(qū)Landsat-8真彩色影像

基于RF-ELM模型方法的高分辨率遙感影像分類結(jié)果如圖4所示?？梢钥闯觯琑F-ELM模型對(duì)每類地物都有很好的分類效果，表4給出了幾何RF-EML模型方法對(duì)每種地物的分類精度。通過2組實(shí)驗(yàn)證明本文提出算法的有效性。

圖4 RF-ELM分類結(jié)果

類別制圖精度用戶精度漏分精度錯(cuò)分精度水域93.9886.825.6813.01荒裸地92.0492.418.725.24道路87.5294.2511.587.18建筑區(qū)92.3482.915.0714.16耕地96.0594.605.403.94林地82.4296.8519.735.46

將本文方法分類的精度同RF、ELM以及Bag-ELM方法進(jìn)行對(duì)比(表5)。從表5中可以看出，本文方法總體分類精度、Kappa系數(shù)最高。

綜合實(shí)驗(yàn)1和實(shí)驗(yàn)2可以得出以下結(jié)論：①RF-ELM模型相比于RF算法、ELM算法分類器具有更高的分類精度。ELM算法分類結(jié)果的總分精度和Kappa系數(shù)都是最低，運(yùn)行效率最高，這是由于單個(gè)ELM算法對(duì)復(fù)雜遙感影像數(shù)據(jù)泛化能力較差問題導(dǎo)致，但是具有訓(xùn)練速度快、自學(xué)習(xí)能力強(qiáng)等特點(diǎn)。以決策樹作為基分類器，但對(duì)遙感數(shù)據(jù)分類時(shí)容易出現(xiàn)過擬合現(xiàn)象，同時(shí)處理速度較慢，RF算法的分類精度較RF-ELM方法的分類精度低，計(jì)算效率低。因此，結(jié)合RF與ELM算法避免RF算法容易出現(xiàn)過擬合現(xiàn)象同時(shí)利用了ELM算法訓(xùn)練速度快、自學(xué)習(xí)能力強(qiáng)等特點(diǎn)，利用 RF 對(duì) ELM 進(jìn)行集成則可很好地提高算法的泛化性能，這體現(xiàn)了混合集成器組合方法在遙感分類應(yīng)用的優(yōu)勢(shì)。②RF-ELM方法相比于Bag-ELM方法總分類精度實(shí)驗(yàn)1高出1.61%，Kappa系數(shù)高出0.05，實(shí)驗(yàn)2高出1.86%，Kappa系數(shù)高出0.07，分類精度有所提高，這是因?yàn)镽F算法是在Bagging基礎(chǔ)上做的改進(jìn)，使得RF算法的偏差要小于Bagging算法的偏差[20]，使得RF-ELM得到的組合模型的預(yù)測(cè)偏差要小于Bag-ELM的預(yù)測(cè)偏差提高分類的正確率，因此RF-ELM的分類精度最高。通過2組實(shí)驗(yàn)驗(yàn)證了所提RF-ELM算法可改善原始RF 中存在的過擬合現(xiàn)象。③旋轉(zhuǎn)森林作為基分類器具有處理速度較慢、單個(gè)ELM算法訓(xùn)練速度快的特點(diǎn)。經(jīng)過本文改進(jìn)后的RF-ELM算法對(duì)于一幅大小為2 000像素×2 000像素的影像數(shù)據(jù)，整個(gè)分類流程僅需消耗時(shí)間約為2.32 s，計(jì)算效率較高。

表5 不同分類方法精度對(duì)比

3 結(jié)束語(yǔ)

針對(duì)RF、ELM算法在復(fù)雜遙感影像數(shù)據(jù)上分類不夠理想的問題，提出了旋轉(zhuǎn)森林與極限學(xué)習(xí)相結(jié)合高分辨率遙感影像分類方法。該方法以RF為集成框架對(duì)訓(xùn)練集進(jìn)行特征提取，增強(qiáng)基分類器間的差異，然后再選用具有自組織自適應(yīng)性的極限學(xué)習(xí)快速學(xué)習(xí)特點(diǎn)，特別適用于對(duì)數(shù)量較大的影像的處理，最后以Landsat-8影像為例對(duì)多種分類方法進(jìn)行對(duì)比，驗(yàn)證了本文方法具有更好的分類性能。