主動(dòng)學(xué)習(xí)策略融合算法在高光譜圖像分類中的應(yīng)用

崔穎，徐凱，陸忠軍，劉述彬，王立國(guó)

（1. 哈爾濱工程大學(xué)信息與通信工程學(xué)院，黑龍江 哈爾濱 150001；2. 黑龍江省農(nóng)業(yè)科學(xué)院遙感技術(shù)中心，黑龍江 哈爾濱 150086）

1 引言

高光譜圖像分類已經(jīng)成為高光譜圖像的重要應(yīng)用之一。對(duì)于高光譜圖像分類，普通用戶對(duì)其內(nèi)容的判別是有難度的，通常需要一位專家或借助同一場(chǎng)景的高分辨率遙感圖像來完成，這使圖像分類中用于訓(xùn)練的樣本比較有限，如何在較少的人工成本基礎(chǔ)上，用最少的訓(xùn)練樣本，最大限度地提高分類器性能成為圖像分類的關(guān)鍵。

機(jī)器學(xué)習(xí)中的主動(dòng)學(xué)習(xí)方法通過其優(yōu)越的挑選策略，能夠在極大地減少人工成本的同時(shí)，獲取最有價(jià)值的樣本進(jìn)行標(biāo)注，相較于隨機(jī)標(biāo)注而言，主動(dòng)學(xué)習(xí)算法擁有無可比擬的優(yōu)勢(shì)[1]。在主動(dòng)學(xué)習(xí)挑選策略方面，Mitra等[2]提出了基于邊緣取樣（MS）的主動(dòng)學(xué)習(xí)方法，用于面向?qū)ο蟮亩喙庾V遙感圖像分割。為了解決多分類的問題，Joshi等[3]提出了基于多類別后驗(yàn)概率差異最小化的方法BvSB，該算法能夠有效度量哪些樣本對(duì)分類器邊界影響最大。Tuia等[4]提出了基于熵值的熵值裝袋（EQB）的主動(dòng)學(xué)習(xí)算法，該算法獨(dú)立于分類器，且在遙感數(shù)據(jù)集上表現(xiàn)出較好的性能，但 EQB會(huì)傾向于選擇有較多預(yù)測(cè)類別數(shù)的樣本，為了解決此問題，李寵等[5]提出了改進(jìn)EQB算法的均值熵值裝袋查詢（aEQB）。

在半監(jiān)督學(xué)習(xí)方面，Li等[6]提出了結(jié)合半監(jiān)督的主動(dòng)學(xué)習(xí)方法，將主動(dòng)學(xué)習(xí)過程產(chǎn)生的價(jià)值樣本用來加速分類器的訓(xùn)練，和偽標(biāo)簽一起輔助分類器進(jìn)行高效的分類。Wan等[7]提出了基于主動(dòng)學(xué)習(xí)的偽標(biāo)簽校驗(yàn)框架，極大地提高了半監(jiān)督學(xué)習(xí)中偽標(biāo)簽的置信度，并在高光譜圖像中得到驗(yàn)證。Wang等[8]借鑒文獻(xiàn)[7]的框架，提出了主動(dòng)學(xué)習(xí)與聚類相結(jié)合的偽標(biāo)簽校驗(yàn)的方法，進(jìn)一步提高了偽標(biāo)簽的置信度。王立國(guó)等[9]將主動(dòng)學(xué)習(xí)和差分算法進(jìn)行結(jié)合，通過主動(dòng)學(xué)習(xí)方法選取置信度較高的偽標(biāo)記樣本，并通過差分進(jìn)化算法交叉變異偽標(biāo)記樣本擴(kuò)充標(biāo)記樣本集，來提升模型分類性能。Samiappan等[10]提出了Co-Training與主動(dòng)學(xué)習(xí)算法進(jìn)行組合的半監(jiān)督算法，緩解了 Self-Training中容易產(chǎn)生的數(shù)據(jù)傾斜問題而導(dǎo)致的分類器持續(xù)惡化的情況。王立國(guó)等[11]提出了使用Tri-Training和主動(dòng)學(xué)習(xí)的邊緣策略（MS）結(jié)合，解決了初始有標(biāo)簽樣本數(shù)量較少導(dǎo)致分類器差異性能不足的問題。趙建華等[12]提出了基于投票熵改進(jìn)的主動(dòng)學(xué)習(xí)算法，能夠減少主動(dòng)學(xué)習(xí)過程中可能產(chǎn)生的孤立點(diǎn)和冗余點(diǎn)，再和半監(jiān)督算法結(jié)合迭代，縮小了計(jì)算規(guī)模，提升了算法穩(wěn)定性。

現(xiàn)在的方法大都是對(duì)單一策略進(jìn)行衍生研究，或是對(duì)空間信息和光譜信息的聯(lián)合組合[13]，沒有考慮2種策略結(jié)合作為新的基礎(chǔ)策略及進(jìn)行之后的深度改造的方法。使用單一策略對(duì)樣本多次采樣時(shí)會(huì)出現(xiàn)抖動(dòng)的現(xiàn)象，對(duì)于需要采樣穩(wěn)定的場(chǎng)景而言，采樣存在標(biāo)記風(fēng)險(xiǎn)，即更大程度浪費(fèi)人力在標(biāo)注非最優(yōu)價(jià)值的樣本。

本文借鑒集成學(xué)習(xí)中的模型權(quán)重組合，對(duì)主動(dòng)學(xué)習(xí)2種基礎(chǔ)策略進(jìn)行融合，充分發(fā)揮多種主動(dòng)學(xué)習(xí)策略在不同數(shù)據(jù)集和不同階段的優(yōu)勢(shì)，減少挑選未標(biāo)記樣本過程中不同策略的抖動(dòng)現(xiàn)象。實(shí)驗(yàn)表明，算法能夠更快收斂，并可將抖動(dòng)頻率降低為原來的16.7%，人工耗費(fèi)成本率降低最高至25.4%，極大降低人工標(biāo)記成本，使整體策略在一定程度上達(dá)到基策略模型的最優(yōu)。

2 基于策略融合的主動(dòng)學(xué)習(xí)方法

基于策略融合的主動(dòng)學(xué)習(xí)方法受集成學(xué)習(xí)的啟發(fā)，進(jìn)行主動(dòng)學(xué)習(xí)的策略組合，將單一差異化模型組合加權(quán)成一個(gè)融合策略模型，以下將該算法簡(jiǎn)稱為ESAL（ensemble strategy active learning）。

2.1 主動(dòng)學(xué)習(xí)算法框架

主動(dòng)學(xué)習(xí)算法主要分成2個(gè)部分：一部分是學(xué)習(xí)引擎，也就是分類器G；另一部分是抽樣引擎Q，即如何選擇價(jià)值樣本。主動(dòng)學(xué)習(xí)算法的意義在于使用策略在未標(biāo)記樣本集合中選擇最有價(jià)值的實(shí)例，將其交給專家S進(jìn)行標(biāo)注，然后將標(biāo)記樣本增加到下一次迭代的訓(xùn)練集T中，使分類器進(jìn)行迭代訓(xùn)練。典型的主動(dòng)學(xué)習(xí)的迭代框架如圖1所示。

2.1.1 aEQB策略

圖1 典型的主動(dòng)學(xué)習(xí)的迭代框架

主動(dòng)學(xué)習(xí)算法中的一個(gè)分支是基于委員會(huì)策略算法，其過程可分為如下幾步。首先將原始訓(xùn)練集分為K個(gè)子訓(xùn)練集，每個(gè)訓(xùn)練集都是由裝袋方法進(jìn)行挑選出樣本。然后，每個(gè)訓(xùn)練集都被用于模型的訓(xùn)練，并對(duì)未標(biāo)記樣本池中的樣本進(jìn)行類別預(yù)測(cè)，對(duì)每個(gè)樣本xi∈U，都有K個(gè)標(biāo)簽，便可以計(jì)算出樣本xi標(biāo)記類別ω的概率，該概率可用來評(píng)估未標(biāo)記樣本的xi類不確定度，樣本的熵值計(jì)算如式(1)所示[4]。

其中，是第i個(gè)樣本所判斷的標(biāo)簽類，是樣本xi的預(yù)測(cè)類別為ω的概率。

熵越大，則表明分類器對(duì)此樣本的分類存在更大的不確定性，選擇具有最大信息熵的樣本作為最有價(jià)值的樣本讓專家進(jìn)行標(biāo)注，然后再添加到現(xiàn)有的訓(xùn)練樣本中進(jìn)行下一次迭代訓(xùn)練。但有研究者[14]發(fā)現(xiàn)，在多分類問題上，熵有時(shí)并不能代表樣本的不確定度，有時(shí)較小熵的樣本分類不確定度會(huì)高于熵稍大的樣本。韓松來等[15]從理論方面證明了信息熵具有多值偏向問題，即分類器的訓(xùn)練迭代預(yù)判過程中，會(huì)更關(guān)注于復(fù)雜的樣本而忽視較少預(yù)測(cè)類別數(shù)的樣本區(qū)域，這會(huì)導(dǎo)致之后加入的訓(xùn)練樣本類別分布不均，產(chǎn)生數(shù)據(jù)傾斜問題。李寵等[5]借鑒Quinlan等[16]提出的信息增益比率度量方法，提出了均值裝袋查詢（aEQB），通過加入一個(gè)分類信息的項(xiàng)來懲罰多值屬性，aEQB的描述如式(2)所示[5]。

其中，H(xi)是式(1)中的樣本信息熵，Ni是委員會(huì)成員預(yù)測(cè)樣本xi的類別總數(shù)，滿足1 ≤Ni≤N，N是所有類別數(shù)目。

2.1.2 BvSB策略

主動(dòng)學(xué)習(xí)的另一個(gè)比較常用的策略是基于邊緣的主動(dòng)學(xué)習(xí)算法，基本思想是從每次未標(biāo)記樣本池中挑選出最靠近決策邊界的樣例進(jìn)行標(biāo)注，所以策略本身非常適合于SVM這類最小化分類間隔的分類器。SVM由于其內(nèi)在的高度泛化性能，分類特征可以由一部分支持向量進(jìn)行表示，所以未標(biāo)記樣本距離分類超平面的距離可以很好地評(píng)估一個(gè)數(shù)據(jù)點(diǎn)的信息量。一般情況下，越處于決策邊界的點(diǎn)，分類器越難進(jìn)行處理，人工標(biāo)記該點(diǎn)所帶來的價(jià)值遠(yuǎn)比遠(yuǎn)離分類間隔面的樣本要大，而BvSB方法只考慮樣本分類可能性最大的2個(gè)類別，如式(3)所示[3]。

其中，樣本xi的最優(yōu)標(biāo)號(hào)和次優(yōu)標(biāo)號(hào)的概率分別為p(yBest|xi)和p(ySecond-Best|xi)，通過判斷一個(gè)樣本的最優(yōu)和次優(yōu)概率差值的最小值來獲取該樣本對(duì)于決策邊界的敏感程度，從而判斷出該樣本的不確定度。相較于熵值裝袋算法而言，BvSB更直觀地估計(jì)出未標(biāo)記樣本的不確定度，而且對(duì)噪聲具有天然的處理性能，因?yàn)锽vSB只關(guān)注概率最大的2類，但也正是策略對(duì)分類邊界的敏感性，所適用的算法多為SVM。

2.2 多策略融合的主動(dòng)學(xué)習(xí)算法

集成學(xué)習(xí)[17,18]的思路是通過訓(xùn)練多個(gè)分類器，把所有分類結(jié)果進(jìn)行某種組合（比如投票）決定分類結(jié)果，通過使用多個(gè)決策者共同決策一個(gè)實(shí)例的分類從而提高分類器的泛化能力。

對(duì)于ESAL算法，也應(yīng)當(dāng)滿足2點(diǎn)，即策略的差異化和如何對(duì)策略進(jìn)行整合。策略的差異指BvSB和aEQB這2個(gè)策略在根本選擇樣本層面上具有差異。策略結(jié)果加權(quán)相當(dāng)于對(duì)某個(gè)單一策略取出最有價(jià)值待標(biāo)記樣本的個(gè)數(shù)。假設(shè)每次迭代待標(biāo)記的樣本個(gè)數(shù)為N個(gè)，而BvSB貢獻(xiàn)出的樣本個(gè)數(shù)為B個(gè)，aEQB策略貢獻(xiàn)出的樣本個(gè)數(shù)為E個(gè)，滿足式(4)～式(6)。

其中，Wb和We為 BvSB和 aEQB的分配權(quán)重參數(shù)，參數(shù)對(duì)算法的影響會(huì)在實(shí)驗(yàn)部分進(jìn)行討論。而R是隨機(jī)跳變因子，若B∩E非空，即在挑選出最有價(jià)值的樣本相同時(shí)，會(huì)存在N-的空缺個(gè)數(shù)，R的作用在于隨機(jī)挑選符合閾值范圍內(nèi)的價(jià)值樣本作為補(bǔ)充，值得注意的是，R并非每次存在，而是根據(jù)迭代結(jié)果來確定，ESAL策略框架如圖2所示。

策略融合的本質(zhì)上只是對(duì)挑選策略后的樣本進(jìn)行合并組合，遵循了集成模型的簡(jiǎn)單易用的特點(diǎn)，對(duì)模型的改造而言成本極低，提出的融合方案可橫向再次擴(kuò)充更多的策略進(jìn)行組合，對(duì)于策略的計(jì)算方案可采用并行多進(jìn)程的技術(shù)進(jìn)行實(shí)現(xiàn)，理論上實(shí)現(xiàn)的時(shí)間相較于單模型略有提升。融合策略的主動(dòng)學(xué)習(xí)挑選步驟如算法1所示。

圖2 ESAL策略框架

算法1 融合策略的主動(dòng)學(xué)習(xí)樣本挑選方法

輸入 帶有極少數(shù)隨機(jī)標(biāo)記的樣本

輸出 大量具有標(biāo)記價(jià)值的標(biāo)記標(biāo)簽

Step1 利用初始樣本訓(xùn)練初始模型

Step2 利用未標(biāo)記的測(cè)試樣本進(jìn)行測(cè)試，使用式(2)和式(3)進(jìn)行并行化的策略提取價(jià)值樣本

Step3 根據(jù)式(4)～式(6)進(jìn)行有價(jià)值樣本的合并，并進(jìn)行標(biāo)記

Step4 利用原始標(biāo)記樣本和Step3中挑選的樣本更新原始訓(xùn)練集

Step5 如模型符合條件，則算法結(jié)束，否則返回Step1

融合策略的主動(dòng)學(xué)習(xí)樣本挑選算法偽代碼如下。

輸入 標(biāo)記樣本T，無標(biāo)記樣本U，期望精度p，每次迭代標(biāo)記個(gè)數(shù)N，策略A權(quán)重Wa，策略B權(quán)重Wb

輸出 符合p要求的標(biāo)簽

Repeat：

1) 使用T訓(xùn)練模型Model

2) 使用U當(dāng)作測(cè)試集，進(jìn)入Model進(jìn)行分類預(yù)測(cè)

3) 使用策略 A進(jìn)行未標(biāo)記樣本的篩選并得出最優(yōu)價(jià)值未標(biāo)記樣本排序LA，使用策略B進(jìn)行未標(biāo)記樣本的篩選并得出最優(yōu)價(jià)值未標(biāo)記樣本排序LB

4) 在LA有序列表中取出前NWa個(gè)，為A策略做出的貢獻(xiàn)認(rèn)為有價(jià)值的未標(biāo)記索引NA，在LB有序列表中取出前NWb個(gè)，為B策略做出的貢獻(xiàn)認(rèn)為有價(jià)值的未標(biāo)記索引NB

5) ifNA∩NB非空

R=Number(N-NANB)//即A、B策略產(chǎn)生同樣的候選樣本，而未達(dá)到每次迭代需求，則需要追加跳變因子R

Rindex= Random(LA-NWa,LB-NWb)// 隨機(jī)挑選A、B策略中排名靠前卻未選擇的樣本

else

R =0

6) 選出的N個(gè)候選樣本集進(jìn)行專家標(biāo)注

7)T = T+N//更新標(biāo)簽集合

8)U = U - N

until 分類精度達(dá)到預(yù)期p

3 實(shí)驗(yàn)數(shù)據(jù)及指標(biāo)

3.1 實(shí)驗(yàn)數(shù)據(jù)及設(shè)置

AVIRIS數(shù)據(jù)集是Indian Pines實(shí)驗(yàn)區(qū)高光譜遙感圖像數(shù)據(jù)。其波長(zhǎng)范圍為400～2 500 nm，光譜分辨率為10 nm，空間分辨率為17 m，波段數(shù)目為220個(gè)，共包含16種地物。實(shí)驗(yàn)中第104～108、150～163以及第200波段為水吸收波段而被移除，剩下的200個(gè)波段，本次用于研究實(shí)驗(yàn)數(shù)據(jù)使用且將數(shù)目較多的9種典型地物作為樣本。其中，50%的數(shù)據(jù)集用于訓(xùn)練樣本集和候選樣本集，實(shí)驗(yàn)選擇每類5個(gè)為初始樣本集，剩下的作為未標(biāo)記集，用于后續(xù)迭代添加標(biāo)簽，每次向訓(xùn)練集中添加根據(jù)策略選出來的10個(gè)樣本，算法共迭代100次，總共進(jìn)行10次，實(shí)驗(yàn)取均值。

KSC數(shù)據(jù)集是美國(guó)佛羅里達(dá)州KSC實(shí)驗(yàn)區(qū)高光譜遙感圖像數(shù)據(jù)，光譜波段數(shù)量為224個(gè)，空間分辨率為18 m，去掉水吸收波段和48個(gè)噪聲波段，剩下的176個(gè)波段作為研究對(duì)象。共有13類典型地物樣本點(diǎn)5 211個(gè)，本次實(shí)驗(yàn)選用類別樣本數(shù)目較多的10種地物，其中，50%的數(shù)據(jù)集用于訓(xùn)練樣本集和候選樣本集，這其中選擇每類5個(gè)為初始樣本集，剩下的作為未標(biāo)記集，用于后續(xù)迭代添加標(biāo)簽。算法共迭代100次，每次向訓(xùn)練集中添加根據(jù)策略選出來的10個(gè)樣本，總共進(jìn)行10次實(shí)驗(yàn)。

為了保證實(shí)驗(yàn)的可靠性，所采用的是以徑向基函數(shù)為核函數(shù)的 SVM 分類器。aEQB算法中的k值選擇為7，即有7個(gè)分類器模型構(gòu)成的委員會(huì)[5]。為了充分汲取2種基礎(chǔ)算法的優(yōu)勢(shì)，實(shí)驗(yàn)中使用權(quán)重We=Wb=0.5。算法及實(shí)驗(yàn)平臺(tái)選擇為Python，算法包來自Scikit-learn，實(shí)驗(yàn)機(jī)為MacBook Pro 2016 8 GB 2.9 GHz。

3.2 評(píng)價(jià)參數(shù)

除去最基礎(chǔ)的總體分類精度（OA）、平均分類精度（AA）和Kappa系數(shù)外，新增2個(gè)評(píng)價(jià)指標(biāo)，從多個(gè)角度衡量算法有效性。

3.2.1 人工標(biāo)記成本

主動(dòng)學(xué)習(xí)的原則是盡可能使用較少的標(biāo)記樣本使模型獲得相同的訓(xùn)練效果，使用標(biāo)記樣本的個(gè)數(shù)來表示人工成本，衡量主動(dòng)學(xué)習(xí)在迭代階段所產(chǎn)生的消耗。因?yàn)椴捎门砍槿〉募夹g(shù)，所以人工標(biāo)記成本的最小單位為h，即批處理樣本的個(gè)數(shù)。如果要計(jì)算模型達(dá)到精度為p時(shí)，模型所需要的訓(xùn)練樣本個(gè)數(shù)的人工標(biāo)記成本計(jì)算如式(7)所示。

其中，P(N)是第N次迭代時(shí)模型的精度。p值可以指定為OA、AA或Kappa系數(shù)。舉例說明，若要求模型達(dá)到OA要求為0.80時(shí)，計(jì)算主動(dòng)學(xué)習(xí)各個(gè)樣本的成本消耗，那么h=10，p=0.80，假設(shè)N=15時(shí)符合上述條件，代入式(7)，人工標(biāo)記成本為

3.2.2 抖動(dòng)指標(biāo)

策略結(jié)合算法另一個(gè)解決的是基策略算法的抖動(dòng)不穩(wěn)定現(xiàn)象，所以這里定義抖動(dòng)指標(biāo)，2種基礎(chǔ)算法發(fā)生一次趨勢(shì)反轉(zhuǎn)，則指標(biāo)計(jì)數(shù)加1。

4 實(shí)驗(yàn)結(jié)果

4.1 Indian Pines和KSC實(shí)驗(yàn)結(jié)果分析

圖3和圖4顯示了Indian Pines數(shù)據(jù)和KSC數(shù)據(jù)實(shí)驗(yàn)過程中各類精度曲線爬升情況。從 Indian Pines和KSC的實(shí)驗(yàn)結(jié)果上來看，3種挑選樣本方式的效果要比隨機(jī)挑選樣本效果好，充分證明了樣本挑選策略的有效性。橫向比較3種挑選樣本方式的算法，ESAL算法無論是在OA、AA還是Kappa系數(shù)上，都要領(lǐng)先于其他2種基礎(chǔ)的算法。

圖3 Indian Pines總體分類精度

在Indian Pines數(shù)據(jù)集中，隨機(jī)選擇RS方法進(jìn)行的主動(dòng)學(xué)習(xí)迭代在最后收斂時(shí)總體分類精度只能到達(dá)82.33%，而其余的2種主動(dòng)學(xué)習(xí)方法在最后都能收斂在85%以上，而提出的融合策略的算法在100次迭代后達(dá)到86.35%，處于領(lǐng)先地位。在KSC數(shù)據(jù)集上，ESAL也有更好的精度表現(xiàn)與更快的收斂速度，在40次迭代時(shí)，已收斂到93.4%，在10次迭代時(shí)已超過2種基礎(chǔ)主動(dòng)學(xué)習(xí)方法的0.7%，且一直表現(xiàn)穩(wěn)定。從平均分類精度上來看，BvSB和aEQB又出現(xiàn)了隨迭代次數(shù)波動(dòng)的現(xiàn)象，而融合策略的算法則依舊保持較快的收斂速度和較穩(wěn)定的增幅，在第7次迭代中，達(dá)到最大為 1.1%的增幅，且在后續(xù)迭代過程中保持一定領(lǐng)先優(yōu)勢(shì)。最終算法收斂于88.95%，高于2種基礎(chǔ)的主動(dòng)學(xué)習(xí)算法。

圖4 KSC總體分類精度曲線

在算法去抖方面，ESAL始終保持穩(wěn)定的狀態(tài)。Indian Pines數(shù)據(jù)集下，AA的第5次迭代的過程中，ESAL相較于其他2種算法提高了1.7%，之后的迭代的過程中，也始終領(lǐng)先于2種基礎(chǔ)算法。并且2種基礎(chǔ)策略在迭代過程中出現(xiàn)抖動(dòng)現(xiàn)象，2種算法的領(lǐng)先開始不斷反轉(zhuǎn)，而ESAL始終保持優(yōu)秀的穩(wěn)定性。KSC數(shù)據(jù)集下，從AA爬升階段看，BvSB和aEQB又出現(xiàn)了隨迭代次數(shù)波動(dòng)的現(xiàn)象，而ESAL則依舊保持較快的收斂速度和較穩(wěn)定的增幅，在第7次迭代中，達(dá)到最大為1.1%的增幅，且在后續(xù)迭代過程中保持一定領(lǐng)先優(yōu)勢(shì)。最終ESAL算法收斂于88.95%，高于2種基礎(chǔ)的主動(dòng)學(xué)習(xí)算法。

2種數(shù)據(jù)集的抖動(dòng)次數(shù)如表1所示。從表1可以看出，Indian Pines和KSC數(shù)據(jù)在實(shí)驗(yàn)過程中，單一基礎(chǔ)策略并非一直能夠保持領(lǐng)先狀態(tài)，而是出現(xiàn)交替領(lǐng)先的情況，這種情況即為抖動(dòng)現(xiàn)象，這里，統(tǒng)計(jì)的是3種衡量指標(biāo)下總的波動(dòng)次數(shù)，而使用融合策略的方法，能夠極大地減少抖動(dòng)次數(shù)，始終保持更高的精度和更快的收斂速度。

表1 抖動(dòng)次數(shù)

4.2 人工標(biāo)記成本分析

對(duì)于主動(dòng)學(xué)習(xí)算法，傳統(tǒng)的評(píng)價(jià)指標(biāo)并不能很好地表現(xiàn)出算法的優(yōu)劣，從主動(dòng)學(xué)習(xí)根本目標(biāo)出發(fā)，本文提出了標(biāo)記成本來衡量主動(dòng)學(xué)習(xí)算法間的人工損耗。以2組數(shù)據(jù)在p設(shè)定為OA時(shí)，各種算法的人工標(biāo)記成本如圖5所示。在使分類器獲得相同分類效果時(shí)，ESAL算法所需的標(biāo)記樣本始終保持在2種基礎(chǔ)算法之下。表2和表3分別顯示了各個(gè)OA下，不同算法所需要的標(biāo)記個(gè)數(shù)。

在Indian Pines數(shù)據(jù)集中，當(dāng)OA=0.82時(shí)，ESAL相比較于BvSB和aEQB算法而言，標(biāo)記成本分別減少了50個(gè)和80個(gè)，相對(duì)于2種算法的標(biāo)記樣本數(shù)為485個(gè)、515個(gè)，ESAL將成本率降低了10.3%和15.5%（減少的個(gè)數(shù)與原先需要的個(gè)數(shù)的比值），效果明顯。而在KSC數(shù)據(jù)集中，以O(shè)A=0.93為例，標(biāo)記成本相較于2種基礎(chǔ)算法依舊減少了50個(gè)和80個(gè)，但由于KSC本身標(biāo)記成本較低，故降低的成本率高達(dá)17.54%和25.4%，效果突出，并且在標(biāo)記成本的曲線中，單一策略的波動(dòng)現(xiàn)象也被很好地表現(xiàn)出來。不同的數(shù)據(jù)集在不同的爬升階段，不同的訓(xùn)練樣本將會(huì)影響策略的效果，如 Indian Pines集數(shù)據(jù)下，aEQB在迭代后期的表現(xiàn)就比BvSB來得更好，而在KSC數(shù)據(jù)集下則并非如此，但ESAL始終保持最低的標(biāo)記成本和最穩(wěn)定的表現(xiàn)效果。

圖5 不同算法的對(duì)應(yīng)OA下的標(biāo)記成本比較

表2 Indian Pines數(shù)據(jù)集標(biāo)記成本數(shù)量

表3 KSC數(shù)據(jù)集標(biāo)記成本數(shù)量

4.3 權(quán)重參數(shù)對(duì)算法的影響

在使用策略融合時(shí)，2種策略的權(quán)重配比會(huì)對(duì)實(shí)驗(yàn)效果產(chǎn)生一定的影響。以O(shè)A作為閾值指標(biāo)為例，權(quán)重與人工標(biāo)記成本間的關(guān)系如圖6所示。

圖6 不同算法的對(duì)應(yīng)OA下的標(biāo)記成本比較

其中，W表示BvSB策略在挑選樣本中所占的比例，如本文中，每次挑選的聯(lián)合樣本個(gè)數(shù)為10，當(dāng)W=0.1時(shí)表示BvSB和aEQB分別挑選1個(gè)和9個(gè)，以此類推。

從圖6中可知，當(dāng)W=0.5時(shí)，在2種數(shù)據(jù)集中幾乎保持最低狀態(tài)。分析原因可能在于算法需要盡可能地汲取 2個(gè)基礎(chǔ)策略帶來的優(yōu)勢(shì)而不是單純偏向于單一算法。當(dāng)W=0.1時(shí)，表明BvSB只取了1個(gè)，實(shí)驗(yàn)結(jié)果也顯示曲線會(huì)更加擬合單純使用BvSB策略的算法，而當(dāng)W=0.9時(shí)，曲線也基本擬合aEQB算法的趨勢(shì)，表現(xiàn)出實(shí)驗(yàn)參數(shù)的合理性。

從2個(gè)實(shí)驗(yàn)數(shù)據(jù)集中可以看出，配比參數(shù)的影響程度表現(xiàn)不一，但都居于W=0.5左右。尤其是在KSC數(shù)據(jù)上，曲線的抖動(dòng)較為明顯，分析原因可能在于 KSC數(shù)據(jù)的分類難度較小，較少的樣本即能達(dá)到收斂效果，但對(duì)于更高精度的要求，合理的參數(shù)能夠更快地突破精度瓶頸。

5 結(jié)束語

本文借鑒集成學(xué)習(xí)的思想對(duì)主動(dòng)學(xué)習(xí)2種基礎(chǔ)策略進(jìn)行組合改進(jìn)，提出了一種新的權(quán)重組合策略。通過對(duì)BvSB和aEQB這2種策略的權(quán)重融合，為挑選樣本策略引入了差異因素，使整體的組合策略在挑選時(shí)集合2種基礎(chǔ)策略最優(yōu)判斷的同時(shí)，達(dá)到2種策略的平衡。通過與標(biāo)準(zhǔn)的基礎(chǔ)策略的對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，所提算法能夠極大地降低策略抖動(dòng)頻率，提高策略的穩(wěn)定程度，在獲取相同精度閾值的前提下，降低了人工標(biāo)記成本。在以后的工作中，可以嘗試對(duì)其他主動(dòng)學(xué)習(xí)基礎(chǔ)策略的多次融合。在半監(jiān)督算法上，可以繼續(xù)研究利用該融合策略當(dāng)作新的基礎(chǔ)策略參與到半監(jiān)督算法應(yīng)用中。

參考文獻(xiàn)：

[1]WEI D M M C. Active learning via multi-view and local proximity co-regularization for hyperspectral image classification[J]. IEEE Journal of Selected Topics in Signal Processing,2011,5(3):618-628.

[2]MITRA P,UMA SHANKAR B,PAL S K. Segmentation of multispectral remote sensing images using active support vector machines[J]. Pattern Recognition Letters,2004,25(9): 1067-1074.

[3]JOSHI A J,PORIKLI F,PAPANIKOLOPOULOS N. Multi-class active learning for image classification[C]//2009 IEEE Symposium on The Computer Vision and Pattern Recognition.2009: 2372-2379.

[4]TUIA D,VOLPI M,COPA L,et al. A Survey of active learning algorithms for supervised remote sensing image classification[J]. IEEE Journal of Selected Topics in Signal Processing,2011,5(3): 606-617.

[5]李寵,谷瓊,蔡之華. 改進(jìn)的主動(dòng)學(xué)習(xí)算法及在高光譜分類中的應(yīng)用[J]. 華中科技大學(xué)學(xué)報(bào),2013,41(11): 274-278.LI C,GU Q,CAI Z H. Improved active learning algorithm and its application in hyperspectral classification[J]. Journal of Huazhong University of Science and Technology,2013,41(11): 274-278.

[6]LI M,WANG R,TANG K. Combining semi-supervised and active learning for hyperspectral image classification[C]// 2013 IEEE Symposium on The Computational Intelligence and Data Mining(CIDM). 2013: 89-94.

[7]WAN L,TANG K,LI M,et al. Collaborative active and semisupervised learning for hyperspectral remote sensing image classification[J]. IEEE Transactions on Geoscience and Remote Sensing,2015,53(5): 2384-2396.

[8]WANG Z,DU B,ZHANG L,et al. A novel semisupervised active-learning algorithm for hyperspectral image classification[J].IEEE Transactions on Geoscience and Remote Sensing,2017,55(6):3071-3083.

[9]王立國(guó),李陽(yáng). 融合主動(dòng)學(xué)習(xí)的高光譜圖像半監(jiān)督分類[J]. 哈爾濱工程大學(xué)學(xué)報(bào),2017,38(8): 1322-1327.WANG L G,LI Y. Semi-supervised classification for hyperspectral image collaborating with active learning algorithm[J]. Journal of Harbin Engineering University,2017,38(8):1322-1327.

[10]SAMIAPPAN S,MOORHEAD R J. Semi-supervised co-training and active learning framework for hyperspectral image classification[C]//the Geoscience and Remote Sensing Symposium (IGARSS),2015:401-404.

[11]王立國(guó),楊月霜,劉丹鳳. 基于改進(jìn)三重訓(xùn)練算法的高光譜圖像半監(jiān)督分類[J]. 哈爾濱工程大學(xué)學(xué)報(bào),2016,37(6): 849-854.WANG L G YANG Y S,LIU D F. Semi-supervised classification for hyperspectral image based on improved tri-training method[J]. Journal of Harbin Engineering University,2016,37(6):849-854.

[12]趙建華,劉寧. 結(jié)合主動(dòng)學(xué)習(xí)策略的半監(jiān)督分類算法[J]. 計(jì)算機(jī)應(yīng)用研究,2015,32(8): 2295-2298.ZHAO J H,LIU N. Semi-supervised classification algorithm based on active learning strategies[J].Application Research of Computers,2015,32(8):2295-2298.

[13]ZHANG Z,PASOLLI E,CRAWFORD M M,et al. An active learning framework for hyperspectral image classification using hierarchical segmentation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2016,9(2): 640-654.

[14]陳榮,曹永鋒,孫洪. 基于主動(dòng)學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的多類圖像分類[J].自動(dòng)化學(xué)報(bào),2011,37(8): 954-962.CHEN R,CAO Y F,SUN H. Multi-class image classification with active learning and semi-supervised learning[J]. Acta Automatica Sinica,2011,37(8): 954-962.

[15]韓松來,張輝,周華平. 基于關(guān)聯(lián)度函數(shù)的決策樹分類算法[J]. 計(jì)算機(jī)應(yīng)用,2005,25(11): 2655-2657.HAN S L,ZHANG H,ZHOU H P. Association function algorithm for decision tree[J]. Journal of Computer Applications,2005,25(11):2655-2657.

[16]QUINLAN J R. Induction of decision trees[J]. Machine Learning,1986,1(1): 81-106.

[17]LIU Y,YAO X. Ensemble learning via negative correlation[J]. Neural Networks,1999,12(10): 1399-1404.

[18]DIETTERICH T G. Ensemble learning[J]. The Handbook of Brain Theory and Neural Networks,2002,2: 110-125.