基于多分類器組合的高光譜圖像波段選擇方法

李士進(jìn)，常純，余宇峰，王亞明

(河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇南京210098)

隨著遙感技術(shù)和成像光譜儀的發(fā)展，高光譜圖像的分辨率不斷提高，應(yīng)用需求越來越廣泛，但其波段數(shù)多、數(shù)據(jù)量龐大等特點(diǎn)給高光譜圖像的分類、識別等帶來了很大的困難。利用全部波段數(shù)據(jù)進(jìn)行分類等處理不但處理困難，而且由于大量冗余信息的存在和部分噪音波段或信噪比很低的波段數(shù)據(jù)的影響還會降低分類或識別精度[1]。因此，在保證地物識別率的情況下，進(jìn)一步挖掘發(fā)現(xiàn)具有鑒別信息的波段，減少數(shù)據(jù)量、節(jié)省計(jì)算資源的降維處理非常必要。特征提取和特征選擇是高光譜圖像的2種主要降維方法。由于高光譜圖像的每一個(gè)波段都對應(yīng)著一幅相應(yīng)波段的圖像，通過線性或非線性變換，將高維特征空間映射到低維空間的特征提取的方法會使提取出來的特征失去原有的物理意義，所以特征提取的方法并不適用于高光譜圖像的降維。而波段選擇是從高光譜圖像所有波段中選擇最具鑒別力的波段子集，既能大大降低高光譜圖像的數(shù)據(jù)維數(shù)，又能比較完整地保留分類鑒別信息，是目前高光譜降維處理的主流方法[2，3－11]。

針對高光譜波段選擇問題，研究人員提出了各種方法。Serpico等提出了一種局部極值約束的離散二進(jìn)制空間搜索方法用于高光譜波段選擇[2]。后來，Serpico等繼續(xù)開展了研究[12]，提出了針對分類正確率最優(yōu)化的連續(xù)波段選擇方法，他們把若干相鄰波段進(jìn)行平均，提出了s－bands的概念。該方法取得了較高的分類正確率，但這是一種特征提取和波段選擇的混合算法，涉及的波段數(shù)遠(yuǎn)大于一般方法所選擇的波段。Bazi等提出了基于遺傳算法和支持向量機(jī)的高光譜波段選擇方法[4]，在搜索最佳鑒別波段過程中，同時(shí)對SVM參數(shù)進(jìn)行了優(yōu)化。Sotoca等提出了基于確定性去火的隨機(jī)搜索方法用于波段選擇[5]，在搜索過程中，他們盡可能地考慮了波段之間的無關(guān)性。Guo等[6]發(fā)現(xiàn)特征選擇時(shí)只保留與類別信息最相關(guān)的波段存在一定的問題，特別是特征之間相關(guān)性較大時(shí)更加嚴(yán)重。他們提出了一種快速的貪心優(yōu)化策略進(jìn)行波段選擇，但從最終的分類結(jié)果看不是很理想。戴宏亮與戴道清[7]提出了智能遺傳算法同時(shí)優(yōu)化全間隔自適應(yīng)模糊支持向量機(jī)參數(shù)集和波段選擇中的大量參數(shù)，構(gòu)成一種智能分類器，進(jìn)行高光譜遙感圖像分類。吳昊等[8]將分組的概念引入波段選擇中，利用條件互信息將波段分成若干組，再使用支持向量機(jī)和遺傳算法相結(jié)合的搜索算法(GA－SVM)搜索出相對最優(yōu)的波段組合。Yang等提出了最小估計(jì)豐度協(xié)方差(MEAC)的波段選擇方法[9]，在選擇過程中估計(jì)候選波段與已經(jīng)選擇波段的豐度協(xié)方差矩陣的跡。葛亮等為使無監(jiān)督的波段選擇能夠更好地保留高光譜圖像的鑒別信息，提出一種基于波段聚類的高光譜圖像波段選擇方法[10]。王立國與魏芳潔提出一種結(jié)合遺傳算法和蟻群算法的高光譜圖像波段選擇方法[11]。該算法首先利用遺傳算法以較快的尋優(yōu)能力獲得幾組較優(yōu)解，以此來初始化蟻群算法的初始信息素列表，然后用蟻群算法以較高的求精解能力獲得最優(yōu)波段組合。Li等[12]將時(shí)間序列模式匹配的思想運(yùn)用到高光譜波段選擇中，先通過提取光譜曲線中重要點(diǎn)作為候選波段集，然后再利用分支定界法搜索最優(yōu)波段子集。

雖然目前高光譜波段選擇的方法很多，但由于原始波段數(shù)目一般高達(dá)數(shù)百個(gè)，以往基于搜索算法的波段選擇方法往往只保留一組最佳波段組合，而其余未選中的波段則被拋棄。這對于最后的分類任務(wù)意味著較多的鑒別信息損失，因而波段選擇后的分類正確率還有較大提升空間。

本文從提高圖像分類正確率角度出發(fā)，提出一種新的波段選擇方法，將多分類器組合的思想運(yùn)用于高光譜波段選擇中。本文重新定義的高光譜波段選擇問題為:給定待選擇的最大波段數(shù)目N，如何選擇k組波段子集，使組合后的分類正確率更高，每組波段子集的波段數(shù)為n，這k組波段子集中包含的不同波段總數(shù)不超過N。以往的波段選擇研究都是從選擇一組最優(yōu)波段子集角度出發(fā)，最大化該組被選中波段的分類正確率。本文則基于初步選擇出的多個(gè)不同較優(yōu)波段子集，構(gòu)成多個(gè)特征子空間進(jìn)行多分類器組合，從分類器互補(bǔ)性及多樣性角度重新選擇出滿足最大波段數(shù)約束的最佳波段組合，進(jìn)一步提高分類正確率。

具體地，首先多次采用基于遺傳算法的波段選擇算法獲得若干組相對較優(yōu)的波段子集，再基于這些波段子集分別訓(xùn)練支持向量機(jī)得到若干個(gè)基分類器，然后通過多分類器組合方法對這些基分類器進(jìn)行組合。在組合之前，根據(jù)最大波段數(shù)目約束條件進(jìn)行了多分類器選擇，從而實(shí)現(xiàn)最后的波段選擇。具體采用基于差異性度量的帶有波段數(shù)目約束的分類器選擇算法選出部分較優(yōu)分類器組合，得到一組互補(bǔ)性及錯(cuò)誤多樣性較好的分類器。最后采用基于局部分類精度的動態(tài)分類器選擇組合方法，根據(jù)每個(gè)分類器對測試樣本鄰域中若干訓(xùn)練樣本的分類正確率從多個(gè)分類器中選出最優(yōu)的一個(gè)分類器作為決策判斷分類器，獲得最終分類結(jié)果。

本文提出的波段選擇方法有兩輪搜索選擇過程，第1輪采用常規(guī)搜索方法獲得多個(gè)較優(yōu)波段子集，在第2輪則采用多分類器組合思想，選擇若干具有較強(qiáng)互補(bǔ)性與多樣性的波段子集，使更多的具有鑒別力的波段能在第2輪組合選擇中獲得被選中的機(jī)會。較之傳統(tǒng)一次(最優(yōu))選擇方法，本文方法在有效地規(guī)避了高光譜數(shù)據(jù)高維特征問題的同時(shí)，保留了更多的鑒別信息，明顯提高了分類精度。

1 多分類器組合方法

波段選擇優(yōu)劣的評判標(biāo)準(zhǔn)除了選擇的波段數(shù)外，往往是通過最終的分類正確率來衡量，針對高光譜數(shù)據(jù)波段間相關(guān)性高的特點(diǎn)，本文將多分類器組合的思想引入高光譜波段選擇中。多分類器組合是根據(jù)各個(gè)分類器的整體性能將每個(gè)分類器的輸出按某種方式“組合”到一起，并達(dá)到“共識”[13]。同時(shí)，多分類器系統(tǒng)的性能很大程度上取決于成員分類器的差異性，為了選出具有較強(qiáng)錯(cuò)誤差異性的分類器組合，本文研究了聚類選擇法以及基于局部分類精度的動態(tài)分類器選擇兩種組合方法。另外，多分類器組合方法可以根據(jù)單個(gè)分類器輸出類型分為抽象級、排序級和度量級3類，本文選擇基于抽象級的幾種分類器組合方法，如多數(shù)投票法、行為知識空間法對基于不同特征子空間訓(xùn)練的分類器進(jìn)行組合。

1.1 多數(shù)投票法(majority voting)

投票法是最常用的抽象級分類器組合方法，其遵循的原則是“少數(shù)服從多數(shù)”。多數(shù)投票規(guī)則[13]將最多數(shù)分類器一致分類的類別作為待分類樣本的類別。當(dāng)出現(xiàn)多個(gè)類別獲得的投票數(shù)目相同時(shí)，一般隨機(jī)選擇其中一個(gè)類別作為最終的結(jié)果。此外，考慮到不同分類器的分類正確率，也可以對各個(gè)結(jié)果按照分類器不同表現(xiàn)設(shè)置不同的權(quán)重，進(jìn)行加權(quán)投票。

1.2 行為知識空間法(behavior－knowledge space，BKS)

很多分類器組合方法都需要假設(shè)分類器之間相互獨(dú)立。在無法滿足該假設(shè)的情況下，可以考慮從知識空間獲得信息，它能同步記錄所有分類器對每個(gè)訓(xùn)練樣本的決策。由于知識空間記錄了所有分類器的行為，所以也被稱為“行為知識空間”，簡稱BKS[14]。使用該方法時(shí)，訓(xùn)練集中的樣本被劃分成不同的模式，這些模式是根據(jù)所有分量分類器分類結(jié)果的不同組合來定義的。當(dāng)一個(gè)未知樣本需要進(jìn)行分類時(shí)，所有分量分類器對分類結(jié)果的組合都是已知的，由此確定對應(yīng)的模式。然后根據(jù)該模式中的樣本實(shí)際類別，把未知樣本歸入出現(xiàn)次數(shù)最多的類別。

1.3 聚類 － 選擇法(clustering－selection)

聚類－選擇算法訓(xùn)練過程如下:

1)利用訓(xùn)練數(shù)據(jù)集Z訓(xùn)練L個(gè)基分類器C1，C2，…，CL，初始化聚類數(shù) K;

2)通過K－均值方法將Z聚成K類(不考慮樣本集的真實(shí)類別)，通過計(jì)算每個(gè)簇中的樣本均值得到聚類中心 V1，V2，…，VK;

對于該算法，如何選擇一個(gè)合適的K值是很重要的問題，本文實(shí)驗(yàn)對參數(shù)K做了大范圍的搜索，詳見實(shí)驗(yàn)分析。

1.4 局部精度估計(jì)的動態(tài)分類器選擇(DCS－LA)

DCS－LA方法[16]的主要特點(diǎn)是對于待分類樣本X*，從已有的基分類器C1，C2，…，CL中動態(tài)挑選合適的一個(gè)或多個(gè)對其進(jìn)行分類，或者樣本所在鄰域內(nèi)最優(yōu)的分類器來對其進(jìn)行分類，它是一種特殊的分類器集成方法，其主要步驟為:

1)如果所有的分類器Cj返回X*相同的類別ω，則該測試樣本被賦予類別ω，算法結(jié)束，否則轉(zhuǎn)2);

2)計(jì)算每個(gè)基分類器的局部分類精度LAj，kX(*)，j=1，2，…，N，k為X*鄰域內(nèi)訓(xùn)練樣本數(shù);

3)確定局部分類精度最高的基分類器Cj，使，并將Cj的輸出作為X*的類別，算法結(jié)束。

從以上步驟可以看出DCS－LA的分類正確率主要取決于局部分類精度估計(jì)，本文采用基于先驗(yàn)知識的局部精度。該方法將局部分類精度的局部鄰域RkX(*)內(nèi)被正確分類的訓(xùn)練樣本比例。假設(shè)Rk(X*)內(nèi)有k個(gè)訓(xùn)練樣本，其中有kT個(gè)樣本被Cj正確分類，則分類器Cj對X*的局部分類精度為

由于在選擇分類器時(shí)沒有考慮分類器Cj對測試樣本X*的分類結(jié)果，所以一般稱之為先驗(yàn)局部精度估計(jì)。

2 多分類器組合的高光譜波段選擇方法

傳統(tǒng)的波段選擇需要在整個(gè)原始波段空間進(jìn)行搜索，本文針對高光譜圖像波段多且相關(guān)性高等特點(diǎn)，提出將多分類器組合的思想運(yùn)用于高光譜波段選擇中，通過遺傳算法搜索得到K組較優(yōu)波段組合，使用這K組波段組合分別訓(xùn)練K個(gè)基分類器，然后從這K個(gè)分類器中選出部分差異性較大的分類器進(jìn)行組合，實(shí)現(xiàn)波段選擇的目標(biāo)。最后分類測試時(shí)采用基于局部分類精度的動態(tài)分類器選擇方法(DCS_LA)得到最后的分類結(jié)果。

上述過程中，存在兩次多分類器組合過程。在第1次分類器選擇時(shí)，采用基于錯(cuò)誤多樣性度量的帶波段數(shù)目約束的多分類器選擇方法。在多分類器組合研究中，研究人員[17－18]已經(jīng)發(fā)現(xiàn)從基分類器中去除一些作用不大和性能不好的分類器，剩下的少量分類器能夠獲得更好的預(yù)測效果。因此本文在高光譜波段選擇多分類器組合過程中，也進(jìn)行了分類器選擇。由于本文的目的是通過多分類器組合實(shí)現(xiàn)波段選擇，因此希望選擇的分類器數(shù)目較少，這樣最終的波段總數(shù)才能更加符合用戶要求。

以往的多分類器選擇研究中，主要考慮分類器之間的互補(bǔ)性和多樣性，特別是錯(cuò)誤多樣性(error diversity，亦稱為差異性)。Aksela 和 Laaksonen[19]分析比較了各種錯(cuò)誤多樣性指標(biāo)，發(fā)現(xiàn)同誤多樣性指標(biāo)(same－fault measure)具有不俗的表現(xiàn)。該指標(biāo)考慮2個(gè)分類器如果犯相同錯(cuò)誤的概率較小，則組合后獲得正確分類結(jié)果的可能性更大。由于高光譜波段選擇多分類器組合過程中不但需要獲得更高的分類正確率，而且希望組合后參與分類的波段總數(shù)盡可能少，因此在最小化相同錯(cuò)誤概率的同時(shí)，還要最大化同時(shí)正確的概率。因此，提出如下錯(cuò)誤多樣性指標(biāo):

在選擇分類器過程中，分別考察候選分類器與各個(gè)已經(jīng)選擇分類器之間的錯(cuò)誤多樣性，選擇與已經(jīng)選擇分類器錯(cuò)誤多樣性指標(biāo)之和最小的分類器。算法1 帶波段數(shù)目約束的多分類器選擇算法輸入:給定選擇波段總數(shù)上限total，K組波段數(shù)目為 n 的分類器集合

輸出:分類器集合S。

1)初始化S為空集;

2)根據(jù)每個(gè)分類器在訓(xùn)練集上的分類精度選取分類精度最高的第一個(gè)分類器，記為Ci，將Ci加入S，S=S∪ { Ci}，同時(shí)從U中減去 Ci，U=U{ Ci};

3)根據(jù)式(2)計(jì)算U中每個(gè)分類器Cp和S中已經(jīng)選取的各個(gè)分類器Cq的多樣性SFp，q;

4)對于 U中每個(gè)分類器 Cp，P=1，2，… ，為集合U中分類器數(shù)目，計(jì)算其與S中已經(jīng)選取的各個(gè)分類器的錯(cuò)誤多樣性之和:

式中:SFp，q為分類器Cp、Cq之間的錯(cuò)誤多樣性度量值，Cq為S中已經(jīng)被選取的各個(gè)分類器，表示已選分類器集合中分類器數(shù)目;

5)挑選Scorep最小的分類器，記為Cj，計(jì)算Cj和S中各分類器對應(yīng)波段的并集Sall，如果Sall的波段總數(shù)|Sall|＜ =total，則將Cj加入S，S=S∪{Cj}，從U中減去Cj，U=U{ Cj} ，轉(zhuǎn)(2)，否則轉(zhuǎn)6)

6)算法結(jié)束，返回S。

在對測試樣本進(jìn)行分類時(shí)，由于前面選擇得到了若干分類器，可以采用多分類器組合的方法確定其最終類別。通過比較分析各種常見分類器組合方法(具體見實(shí)驗(yàn)部分)，最終采用基于局部分類精度的動態(tài)分類器選擇(DCS－LA)方法進(jìn)行組合。根據(jù)文獻(xiàn)[16]中的基于局部分類精度估計(jì)的方法，對于每個(gè)測試樣本，利用1.4節(jié)中基于先驗(yàn)知識的局部精度估計(jì)方法計(jì)算S中各分類器在該樣本鄰域的局部精度(local accuracy，LA)，選出LA最高的分類器作為其最終的決策分類器。分類過程如下。

算法2 基于局部分類精度的動態(tài)分類器選擇的分類算法

輸出:測試樣本x的類標(biāo)簽y

1)針對測試樣本x，基于不同特征空間(對應(yīng)組合分類器S中不同的成員分類器)尋找它的k個(gè)最近鄰訓(xùn)練樣本點(diǎn)，通過每一個(gè)分類器對k個(gè)最近鄰樣本點(diǎn)進(jìn)行分類;

2)選擇出S中局部分類精度最高的分類器Cj，作為該樣本的最終分類器;

3)利用Cj對x進(jìn)行分類，得到的類別標(biāo)簽y即為最終分類結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

本文采用的高光譜圖像測試數(shù)據(jù)集為Indian Pine數(shù)據(jù)集[1]。原始Indian Pine數(shù)據(jù)集包含220個(gè)連續(xù)的波段，其中18個(gè)波段由于受大氣影響而被丟棄，因此剩下202個(gè)有效波段。該圖像數(shù)據(jù)包含玉米區(qū)、樹林、黃豆以及牧場等9種類別的樣本，測試樣本與訓(xùn)練樣本不是隨機(jī)分配，而是對每類分別定義空間不相交的測試區(qū)與訓(xùn)練區(qū)，以盡可能減少它們的相關(guān)性，最終實(shí)驗(yàn)數(shù)據(jù)包括訓(xùn)練樣本5 012個(gè)，測試樣本3 728 個(gè)[3]。

3.1 對比實(shí)驗(yàn)1

為了比較出對高光譜數(shù)據(jù)波段選擇具有最優(yōu)效果的多分類器組合方法，本文實(shí)現(xiàn)了四組多分類器組合方法，分別是多數(shù)投票法、行為知識空間法、K均值聚類選擇法以及基于局部分類精度估計(jì)的動態(tài)分類器選擇法。在進(jìn)行多分類器組合之前，首先通過文獻(xiàn)[8]中方法，即利用條件互信息將202個(gè)有效波段分成12組，再使用GA－SVM的方法搜索出相對較優(yōu)的波段子集，多次利用該方法獲取10組波段子集后，將這些相對較優(yōu)的波段子集訓(xùn)練成10個(gè)基分類器(10組分類器含有波段總數(shù)為47，每個(gè)子集12個(gè)波段)，然后使用上述4種多分類器組合方法對這10個(gè)基分類器進(jìn)行組合。

表1 4種不同分類器組合方法的分類精度Table 1 The classification accuracy based on classifiers combination methods of four different

表1給出了4種多分類器組合方法的分類精度比較。4組實(shí)驗(yàn)都選取所有10個(gè)基分類器，共47個(gè)波段。從表1中可以看出，行為知識空間法，即BKS方法比多數(shù)投票法效果稍差，這主要是因?yàn)閷τ诟吖庾V數(shù)據(jù)具有“同譜異物”的特點(diǎn)，分類時(shí)測試樣本輸出模式與訓(xùn)練樣本的輸出模式匹配時(shí)，相同模式有很多是同樣被錯(cuò)誤分類的，即相同錯(cuò)誤的分類器的差異性不夠明顯，直接導(dǎo)致了分類結(jié)果趨向錯(cuò)誤分類的那一部分。本文實(shí)驗(yàn)中采用的K－均值聚類對參數(shù)K做了(10，500)范圍的搜索，最后當(dāng)K為200時(shí)，取得85.3%最佳的效果。聚類選擇方法作為無監(jiān)督學(xué)習(xí)方法，沒有考慮訓(xùn)練樣本的類別分布，所以在分類中很難占有優(yōu)勢。顯然，DCS－LA的分類精度最高，說明通過該算法對多分類器進(jìn)行組合比較有效。在分類器選擇過程中，還可以調(diào)整選擇的分類器數(shù)目，即對應(yīng)選擇的波段數(shù)目，詳見對比實(shí)驗(yàn)2。

3.2 對比實(shí)驗(yàn)2

為了進(jìn)一步驗(yàn)證多分類器組合算法對波段選擇的有效性，本文進(jìn)行了5組實(shí)驗(yàn)，分別選擇不同波段總數(shù)限制的多個(gè)分類器，然后進(jìn)行基于DCS－LA組合方法的分類測試，表2給出了這幾種情況的詳細(xì)分類精度。從表2中可以看出，通過確定分類器組合總體多樣性，即對應(yīng)波段總數(shù)上限total，選擇的分類器組合數(shù)目也不相同，選取的波段數(shù)目也各不相同。當(dāng)波段總數(shù)為50時(shí)，即對全部10個(gè)基分類器進(jìn)行組合時(shí)，分類結(jié)果最好，正確率達(dá)到了88.71%。而選擇波段不超過30個(gè)時(shí)，只選擇了4個(gè)分類器，此時(shí)分類正確率為88.39%，明顯高于利用所有202個(gè)波段進(jìn)行分類的精度83.2%;而與10個(gè)分類器全部參與組合的正確率也很接近，表明在本文研究的高光譜波段選擇中，動態(tài)選擇參與組合的分類器確實(shí)比較有效，既減少了參與組合的分類器，也達(dá)到了波段選擇的目的。

表2 基于不同波段數(shù)目約束的動態(tài)分類器選擇的分類精度Table 2 The classification accuracy of dynamic classifier selection based on different numbers of bands

3.3 對比實(shí)驗(yàn)3

為了證明本文算法較之傳統(tǒng)搜索算法的優(yōu)點(diǎn)，使用另外2種常用的全局波段空間搜索的高光譜波段選擇方法與本文算法進(jìn)行比較這兩種方法分別是遺傳算法的波段選擇方法和文獻(xiàn)[12]中的自適應(yīng)分支定界法搜索的波段選擇方法。在此，采用兩種方法同樣分別搜索12、20、30、40、50 個(gè)波段進(jìn)行最后的分類，由于遺傳算法的隨機(jī)性，對每一組波段分別搜索3次，取3次分類結(jié)果進(jìn)行平均得到平均分類精度，如表3。

表3 遺傳算法、分支定界法以及本文算法的平均分類精度Table 3 The average classification accuracy of GA，BB and the proposed algorithm

從表3可以看出，當(dāng)波段數(shù)目分別為12、20、30、40、50時(shí)，本文算法在分類正確率上具有明顯的優(yōu)勢，其中，遺傳算法在波段數(shù)目為40時(shí)達(dá)到最高分類正確率84.34%，自適應(yīng)分支定界法在波段數(shù)目為30時(shí)達(dá)到最高分類正確率85.20%，而本文算法使用局部分類精度的動態(tài)分類器選擇，在對應(yīng)波段數(shù)目為30時(shí)，達(dá)到了88.39%的分類正確率，明顯高于其他2種直接搜索一組最優(yōu)波段子集的方法，因此本文方法具有較強(qiáng)的競爭力。

3.4 討論

多分類器組合在遙感圖像分類，特別是高光譜圖像分類中得到了廣泛關(guān)注[20]。Skurichina and Duin[21]研究了基于多次特征選擇的多分類器組合方法，他們采用多次序貫選擇特征子集的方法獲得多個(gè)基分類器，每次從前一次選擇余下的特征中選擇次優(yōu)的特征子集，最后將所有基分類器進(jìn)行組合集成。該方法與本文方法的不同有2點(diǎn):1)所有特征參與了最后的分類決策，每個(gè)特征都被分配到一個(gè)基分類器;2)所有分類器都參與了決策融合。文獻(xiàn)[22]研究了多支持向量機(jī)集成的高光譜圖像分類方法。該方法通過波段間相關(guān)性將波段分組，然后構(gòu)建多個(gè)支持向量機(jī)分類器;最后的分類結(jié)果是以多個(gè)支持向量機(jī)的輸出再輸入另一個(gè)支持向量機(jī)后得到的輸出。該方法也是所有波段都參與了分類決策。Du等[23]研究了基于證據(jù)融合的多分類器組合方法及其在高光譜圖像分類中的應(yīng)用。該文采用的基分類器有馬氏距離分類器、多層前向神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)以及決策樹。同樣，該文關(guān)注的是多分類器集成在高光譜圖像分類中的適應(yīng)性，并未考慮波段選擇問題。

4 結(jié)束語

本文提出了一種基于多分類器組合的高光譜波段選擇方法，通過多次采用遺傳算法搜索出相對較優(yōu)的若干組波段組合，然后分別將這些波段組合訓(xùn)練成若干基分類器，再使用基于錯(cuò)誤多樣性度量的分類器選擇算法選擇出其中符合最大波段數(shù)約束的部分分類器，達(dá)到波段選擇的目的。在此基礎(chǔ)上，采用DCS－LA動態(tài)分類器選擇方法，選取具有最高LA的分類器的輸出作為最后分類結(jié)果，通過實(shí)驗(yàn)驗(yàn)證了多分類器組合的波段選擇方法的有效性。

多分類器組合研究是當(dāng)前模式識別領(lǐng)域的研究熱點(diǎn)之一，本文提出了基于多分類器組合方法來應(yīng)對高光譜數(shù)據(jù)高維度且波段相關(guān)性高的問題。多分類器組合的作用主要在于降低高維波段搜索問題及提升分類性能，而真正有效地提高分類準(zhǔn)確率還依賴于成員分類器的整體差異性的增大。差異性的研究是多分類器組合系統(tǒng)研究的關(guān)鍵問題之一，目前還沒有被廣泛接受的理論與方法。定義新的差異性度量并以此來構(gòu)造和訓(xùn)練多分類器組合系統(tǒng)，更好地提高多分類器組合的有效性是下一步需要研究的方向。

[1]LANDGREBE D A.Signal theory methods in multispectral remote sensing[M].John Wiley ＆ Sons，2005:5－12.

[2]SERPICO S B，BRUZZONE L.A new search algorithm for feature selection in hyperspectral remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing，2001，39(7):1360－1367.

[3]BAZI Y，MELGANI F.Toward an optimal SVM classification system for hyperspectral remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing，2006，44(11):3374－3385.

[4]SOTOCA J M，PLA F.Hyperspectral data selection from mutual information between image bands[M].Berlin:Springer，2006:853－861.

[5]GUO B，DAMPER R I，GUNN S R，et al.A fast separability－based feature－selection method for high－dimensional remotely sensed image classification[J].Pattern Recognition，2008，41(5):1653－1662.

[6]戴宏亮，戴道清.基于ETAFSVM的高光譜遙感圖像自動波段選擇和分類[J].計(jì)算機(jī)科學(xué)，2009，36(4):268－272.DAI Hongliang，DAI Daoqing.Automatic band selection and classification of hyperspectral remote sensing images based on ETAFSVM[J].Computer Science，2009，36(4):268－272.

[7]吳昊，李士進(jìn)，林林，等.多策略結(jié)合的高光譜圖像波段選擇新方法[J].計(jì)算機(jī)科學(xué)與探索，2010，4(5):464－472.WU Hao，LI Shijin，LIN Lin，et al.Multiple－strategy combination based approach to band selection for hyper－spectral image classification[J].Journal of Frontiers of Computer Science and Technology，2010，4(5):464－472.

[8]YANG He，DU Qian，SU Hongjun，et al.An efficient method for supervised hyperspectral band selection[J].IEEE Geosci Remote Sensing Lett，2011，8(1):138－142.

[9]葛亮，王斌，張立明.基于波段聚類的高光譜圖像波段選擇[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2012，24(11):1447－1454.GE Liang，WANG Bing，ZHANG Liming.Band selection based on band clustering for hyperspectral imagery[J].Journal of Computer－Aided Design ＆ Computer Graphics，2012，24(11):1447－1454.

[10]王立國，魏芳潔.結(jié)合遺傳算法和蟻群算法的高光譜圖像波段選擇[J].中國圖象圖形學(xué)報(bào)，2013，18(2):235－242.WANG Liguo，WEI Fangjie.Band selection for hyperspectral imagery based on combination of genetic algorithm and ant colony algorithm[J].Journal of Image and Graphics，2013，18(2):235－242.

[11]LI Shijin，ZHU Yuelong，WAN Dingsheng，et al.Spectral similarity－preserving hyperspectral band selection[J].Remote Sensing Letters，2013，4(10):969－978.

[12]SERPICO S B，MOSER G.Extraction of spectral channels from hyperspectral images for classification purposes[J].IEEE Transactions on Geoscience and Remote Sensing，2007，45(2):484－495.

[13]ZHOU Z H.Ensemble Methods:Foundations and algorithms[M].Boca Raton:CRC Press，2012.

[14]KUNCHEVA L I.Switching between selection and fusion in combining classifiers:an experiment[J].IEEE Transactions on Systems，Man，and Cybernetics，Part B:Cybernetics，2002，32(2):146－156.

[15]KUNCHEVA L I，WHITAKER C J.Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy[J].Machine Learning，2003，51(2):181－207.

[16]WOODS K，KEGELMEYER JR W P，BOWYER K.Combination of multiple classifiers using local accuracy estimates[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(4):405－410.

[17]ZHOU Z H，WU J X，TANG W.Ensembling neural networks:many could be better than all[J].Artificial Intelligence，2002，137(1/2):239－263.

[18]張春霞，張講社.選擇性集成學(xué)習(xí)算法綜述[J].計(jì)算機(jī)學(xué)報(bào)，2011，34(8):1399－1410.ZHANG Chunxia，ZHANG Jiangshe.A survey of selective ensemble learning algorithms[J].Chinese Journal of Computers，2011，34(8):1399－1410.

[19]AKSELA M，LAAKSONEN J.Using diversity of errors for selecting members of a committee classifier[J].Pattern Recognition，2006，39(4):608－623.

[20]BENEDIKTSSON J A，CHANUSSOT J，F(xiàn)AUVEL M.Multiple classifier systems in remote sensing:from basics to recent developments[C]//Proceedings of the 7th International Conference on Multiple Classifier Systems.:Berlin:Springer－Verlag，2007:501－512.

[21]MARINA S，ROBERT P W.Combining feature subsets in feature selection[C]//Proceedings of the 5th International Conference on Multiple Classifier Systems.Berlin，2005:165－175.

[22]XAVIER C，BJ?RN W，JON A B，et al.Ensemble strategies for classifying hyperspectral remote sensing data[C]//Proceedings of the 9th International Conference on Multiple Classifier Systems，Berlin:Springer－Verlag，2009:62－71.

[23]DU Peijun，ZHANG Wei，SUN Hao.Multiple classifier combination for hyperspectral remote sensing image classification[C]//Proceedings of the 9th International Conference on Multiple Classifier Systems，Berlin，2009:52－61.