改進(jìn)貝葉斯ARTMAP的遷移學(xué)習(xí)遙感影像分類算法

韓 敏,楊 雪

(大連理工大學(xué)電子信息與電氣工程學(xué)部,遼寧大連 116023)

?

改進(jìn)貝葉斯ARTMAP的遷移學(xué)習(xí)遙感影像分類算法

韓 敏,楊 雪

(大連理工大學(xué)電子信息與電氣工程學(xué)部,遼寧大連 116023)

遙感分類旨在從圖像光譜中提取資源環(huán)境監(jiān)測可用的地理信息,然而基于模式分類的圖像處理技術(shù)受光譜漂移影響而缺乏歷史樣本重復(fù)利用的有效策略,制約著有限目標(biāo)樣本下遙感分類精度的提高.針對該問題,本文構(gòu)建了基于改進(jìn)的貝葉斯ARTMAP神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)遙感影像分類算法,通過提高諧振匹配性來抑制類別擴(kuò)散,利用節(jié)點(diǎn)的離散增量期望最大化參數(shù)更新策略,將歷史遙感樣本中的地物分類先驗(yàn)信息遷移到目標(biāo)模型當(dāng)中.實(shí)驗(yàn)結(jié)果表明本文方法能有效利用歷史遙感數(shù)據(jù)彌補(bǔ)缺少目標(biāo)訓(xùn)練數(shù)據(jù)的不足,相比于其他樣本利用策略大幅提高遙感影像分類精度.

遙感分類;信息提取;遷移學(xué)習(xí);ARTMAP;神經(jīng)網(wǎng)絡(luò)

1 引言

難以快速采集充足而準(zhǔn)確的樣本數(shù)據(jù)已成為遙感影像分類應(yīng)用面臨的最大問題.同時,現(xiàn)有算法缺乏重復(fù)利用歷史樣本的有效策略,導(dǎo)致歷史樣本資源的浪費(fèi)[1].如何將歷史數(shù)據(jù)中的先驗(yàn)知識遷移到目標(biāo)模型當(dāng)中,是提高遙感影像分類效率與精度的新的切入點(diǎn).

傳統(tǒng)的分類算法無法對歷史數(shù)據(jù)展開有效應(yīng)用的主要原因是:歷史樣本光譜特性與待分類影像的光譜特性不服從相同的概率統(tǒng)計分布(光譜漂移現(xiàn)象)[2].遷移學(xué)習(xí)是近年來提出解決域適應(yīng)問題的機(jī)器學(xué)習(xí)理論[3,4],如基于Adaboost的遷移學(xué)習(xí)算法[5]、半監(jiān)督的域適應(yīng)遷移成分分析方法[6]、支持向量機(jī)的遷移學(xué)習(xí)理論[7,8].但目前遙感影像方面的遷移學(xué)習(xí)研究成果還較少[9],如吳田軍提出遙感影像對象級分類的遷移學(xué)習(xí)方法[10];以及Liu提出的基于案例推理時空信息重用的遙感影像分類方法[11].但是上述方法均需要大量的遙感數(shù)據(jù)積累以及復(fù)雜的數(shù)據(jù)管理方案來建立系統(tǒng),如何直接地將歷史遙感影像中的有效信息遷移到目標(biāo)模型中,從而降低影像分類對目標(biāo)影像中有標(biāo)記樣本的依賴仍需要進(jìn)一步的研究.

本研究中以貝葉斯ARTMAP[12]為具體模型來重點(diǎn)探討遷移學(xué)習(xí)在遙感影像分類中的問題.提出基于改進(jìn)的貝葉斯ARTMAP的遷移學(xué)習(xí)遙感影像分類算法(Transfer Learning using Improved Bayesian ARTMAP,TL-IBAM).首先改進(jìn)貝葉斯ARTMAP諧振機(jī)制,降低類別擴(kuò)散的影響,之后將歷史遙感影像數(shù)據(jù)下得到的網(wǎng)絡(luò)參數(shù)作為遷移學(xué)習(xí)中的先驗(yàn)信息,在目標(biāo)影像的樣本信息支撐下,以離散增量形式實(shí)現(xiàn)參數(shù)期望最大化,將歷史數(shù)據(jù)中的知識遷移到目標(biāo)模型中,實(shí)現(xiàn)貝葉斯ARTMAP網(wǎng)絡(luò)的遷移學(xué)習(xí).

2 貝葉斯ARTMAP神經(jīng)網(wǎng)絡(luò)

貝葉斯ARTMAP[12]由輸入模塊ARTa和輸出模塊ARTb組成,中間由映射域進(jìn)行連接,其本身的特性使其能夠不斷地學(xué)習(xí)新的模式,其訓(xùn)練算法可由圖1簡要描述,參數(shù)說明見表1,具體論述參見文獻(xiàn)[13].

表1 參變量列表

x：M維輸入向量nj：激活次數(shù)|Σj|：節(jié)點(diǎn)超體積y：輸出類標(biāo)Wab：映射矩陣Smax：警戒參數(shù)μj：均值向量waj：ARTa節(jié)點(diǎn)jPmin：諧振參數(shù)Σj：協(xié)方差矩陣wbk：ARTb節(jié)點(diǎn)kNa：節(jié)點(diǎn)個數(shù)

貝葉斯ARTMAP神經(jīng)網(wǎng)絡(luò)能夠根據(jù)數(shù)據(jù)的復(fù)雜程度自適應(yīng)地調(diào)整網(wǎng)絡(luò)結(jié)構(gòu),更適合于處理非平穩(wěn)的遙感影像數(shù)據(jù)[14].但是,如果獲勝節(jié)點(diǎn)與輸出類別不匹配,便會過度調(diào)用匹配跟蹤機(jī)制,產(chǎn)生大量的中間層節(jié)點(diǎn)造成類別擴(kuò)散現(xiàn)象.產(chǎn)生過多的類別節(jié)點(diǎn)會退化分類精度[13],同時過多的節(jié)點(diǎn)給模型調(diào)整帶來巨大的負(fù)擔(dān),不利于先驗(yàn)信息的遷移學(xué)習(xí).因此,限制類別擴(kuò)散是保持ARTMAP網(wǎng)絡(luò)模型穩(wěn)定以及實(shí)現(xiàn)遷移學(xué)習(xí)的重要前提.

3 基于改進(jìn)貝葉斯ARTMAP的遷移學(xué)習(xí)

首先改進(jìn)貝葉斯ARTMAP神經(jīng)網(wǎng)絡(luò),在限制其類別擴(kuò)散的基礎(chǔ)上,利用離散增量形式實(shí)現(xiàn)期望最大化算法[15],將歷史數(shù)據(jù)中的先驗(yàn)信息遷移到目標(biāo)模型中,建立基于改進(jìn)貝葉斯ARTMAP神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)算法.

3．1 改進(jìn)諧振機(jī)制的貝葉斯ARTMAP

改進(jìn)模塊諧振判斷后,能夠確保獲勝節(jié)點(diǎn)與樣本輸出建立正確的關(guān)聯(lián),消除匹配跟蹤帶來的類別擴(kuò)散,從而降低節(jié)點(diǎn)個數(shù),提高模型的精度,這是進(jìn)一步遷移學(xué)習(xí)的前提基礎(chǔ).

3．2 改進(jìn)型貝葉斯ARTMAP的遷移學(xué)習(xí)算法

(1)

(2)

(3)

(4)

|lnP(Lc|μ″,Σ″,ξ″)-lnP(Lc|μ,Σ,ξ)|≤ε

(5)

式中,ε為收斂閾值,|·|表示取絕對值.當(dāng)滿足不等式的收斂標(biāo)準(zhǔn)時,則停止對樣本集Lc的遷移訓(xùn)練;否則將激活節(jié)點(diǎn)的遷移參數(shù)傳遞給網(wǎng)絡(luò)節(jié)點(diǎn)的描述參數(shù):ξj=ξ″j;μj=μ″j;(Σj)-1=(Σ″j)-1;|Σj|=|Σ″j|.利用新的描述參數(shù)重復(fù)對樣本集Lc的遷移訓(xùn)練,直至收斂.

至此算法完成了網(wǎng)絡(luò)的遷移學(xué)習(xí)過程.網(wǎng)絡(luò)的測試過程為基于貝葉斯判據(jù)[12]的類別歸屬確定.

4 仿真實(shí)驗(yàn)

此節(jié)首先改進(jìn)貝葉斯ARTMAP(IBAM)在抑制類別擴(kuò)散以及提高分類精度方面的有效性,在此基礎(chǔ)上證明基于改進(jìn)貝葉斯ARTMAP的遷移學(xué)習(xí)算法(TL-IBAM)在利用先驗(yàn)信息進(jìn)行遙感影像分類建模方面的實(shí)用性.

4．1 改進(jìn)貝葉斯ARTMAP分類實(shí)例

首先將使用標(biāo)桿數(shù)據(jù)驗(yàn)證改進(jìn)貝葉斯ARTMAP(IBAM)的精度及穩(wěn)定性,貝葉斯ARTMAP(BAM)[12]、模糊ARTMAP(FAM)[16]、ART-EMAP(AEM)[17]作為比較對象.每組數(shù)據(jù)進(jìn)行10次十折交叉檢驗(yàn),平均精度和標(biāo)準(zhǔn)差見表2.

表2 UCI數(shù)據(jù)仿真結(jié)果

從表2中可知,本文所提IBAM算法在實(shí)驗(yàn)數(shù)據(jù)上取得最優(yōu)結(jié)果,說明具有更高的分類精度,且通過比較標(biāo)準(zhǔn)差可以看出IBAM算法的結(jié)果更加穩(wěn)定,表現(xiàn)出更突出的分類性能.

其次,驗(yàn)證IBAM的遙感數(shù)據(jù)分類能力,以及抑制類別擴(kuò)散的能力.利用大連SPOT-5遙感數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn),影像分辨率為2.5m.在影像數(shù)據(jù)中選取400個數(shù)據(jù)點(diǎn)通過目視解譯賦予類標(biāo)來構(gòu)造樣本集,進(jìn)行10次十折交叉檢驗(yàn)來驗(yàn)證算法的精度.與BAM[12]、FAM[16]、AEM[17]、極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)、決策樹(Decision Tree,DT)以及BP神經(jīng)網(wǎng)絡(luò)進(jìn)行比較.其中IBAM與BAM的警戒參數(shù)均為Smax=10-12,FAM、AEM、AMIC的警戒參數(shù)分別為0.96、0.90、0.75,BP神經(jīng)網(wǎng)絡(luò)的最大迭代次數(shù)為1000.

表3 各分類算法精度及節(jié)點(diǎn)個數(shù)

從表3中可以看出,本文GIBAM算法在精度方面優(yōu)于其余算法.與此同時,本文所改進(jìn)的貝葉斯ARTMAP神經(jīng)網(wǎng)絡(luò)通過改變網(wǎng)絡(luò)諧振機(jī)制,抑制匹配跟蹤帶來的類別擴(kuò)散,相比于同類ARTMAPG神經(jīng)網(wǎng)絡(luò)而言節(jié)點(diǎn)個數(shù)更少,獲得最佳的算法性能.

4．2 遷移學(xué)習(xí)遙感影像分類實(shí)例

為驗(yàn)證所提TL-IBAM算法在遙感影像分類建模方面的實(shí)用性,首先利用393×236像素大小的2003年以及2007年大連SPOT-5遙感影像進(jìn)行實(shí)驗(yàn).兩期影像空間分辨率均為2.5m,包含藍(lán)、綠、紅、近紅外四個波段.

以圖2(a)作為歷史影像,圖2(b)作為當(dāng)前解譯的目標(biāo)影像.在圖2(a)中獲取了1078個有標(biāo)記樣本點(diǎn).從圖2(b)中獲取234個有標(biāo)記樣本點(diǎn),不完備的訓(xùn)練樣本集無法對復(fù)雜的光譜特征建立有效的模型,因此圖2(c)中僅利用目標(biāo)影像樣本的分類結(jié)果并不能令人滿意,特別是對建筑的識別誤分類較多.圖2(d)和圖2(e)分別給出了利用歷史數(shù)據(jù)獲得目標(biāo)影像分類結(jié)果以及混合歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)后獲得的目標(biāo)遙感影像分類結(jié)果,可以看出由于兩幅影像光譜特征的不一致性,在缺乏歷史數(shù)據(jù)的有效重用策略時,歷史數(shù)據(jù)的引入反而會降低分類的準(zhǔn)確性.本文所提的遷移學(xué)習(xí)算法TL-IBAM在少量有標(biāo)記樣本下輔以大量的歷史數(shù)據(jù),獲得2007年目標(biāo)影像的最優(yōu)分類結(jié)果(見圖2(f)).同時給出分類精度的定量評價指標(biāo),圖2(b)給出精度評價參考點(diǎn)的位置及大小,表4給出了總體精度以及Kappa系數(shù).

通過表4以及圖2的比較可以看出本文所提的遷移學(xué)習(xí)遙感影像分類方法獲得了最優(yōu)的分類結(jié)果,不僅分類準(zhǔn)確度高,而且地物類型的完整性強(qiáng).這主要是因?yàn)楸疚乃徇w移學(xué)習(xí)方法具有將歷史模型中的知識遷移到目標(biāo)模型中的能力,充分利用了歷史數(shù)據(jù)的有效信息,降低了對當(dāng)前影像中有標(biāo)記樣本的依賴,因此獲得更為準(zhǔn)確與完整的分類結(jié)果.

其次,利用遼河口濕地1776×2177×7大小的TM影像,驗(yàn)證TL-IBAM算法對大場景影像數(shù)據(jù)中的適用性.本組試驗(yàn)中擴(kuò)展了歷史數(shù)據(jù)的采樣范圍,如圖3(a)所示,分別從三幅遙感影像不同區(qū)域采集735、1764、1225個樣本.以2009年該地區(qū)遙感影像為目標(biāo)影像,從中采集980個樣本構(gòu)成當(dāng)前數(shù)據(jù)集,警戒參數(shù)設(shè)定為Smax=10-5.首先以1995年影像樣本作為歷史數(shù)據(jù)進(jìn)行學(xué)習(xí),之后在歷史數(shù)據(jù)中依次加入1987年與2004年樣本數(shù)據(jù),分別進(jìn)行學(xué)習(xí),比較不同歷史數(shù)據(jù)下的分類結(jié)果,遙感影像分類精度的定量指標(biāo)結(jié)果如表5所示.

表4 2007年大連SPOT-5遙感影像分類精度

表5 遼河口濕地TM遙感影像分類精度

圖3給出了全部3724個樣本作為歷史數(shù)據(jù),不同樣本利用策略下的分類結(jié)果.初始模型建立了62個節(jié)點(diǎn),在遷移過程中不斷對節(jié)點(diǎn)參數(shù)進(jìn)行更新,其中|Σj|>102的節(jié)點(diǎn)發(fā)生退化,最后獲得39個遷移節(jié)點(diǎn).利用對稱Kullback-Leibler (KL)散度[18]衡量各節(jié)點(diǎn)的遷移強(qiáng)度,水體、沼澤、水田、裸地、建筑類別中遷移強(qiáng)度最大節(jié)點(diǎn)的KL散度分別為68.5999,227.7071,48.8644,109.0713,30.5086,其中沼澤類遷移程度最大,建筑類的遷移程度最低.TL-IBAM算法建立了歷史數(shù)據(jù)的重用策略,較大程度上提高了大場景目標(biāo)影像的分類精度,其中增加歷史數(shù)據(jù)的規(guī)模有助于建立完備的先驗(yàn)信息,從而提高遷移學(xué)習(xí)的精度.

表6 計算時間比較

樣本數(shù)量(個)102103104105ELM運(yùn)行時間(s)0．0038780．0271580．31691613．909087TL?IBAM運(yùn)行時間(s)0．0183220．0629320．5417735．375229

TL-IBAM算法分類過程中運(yùn)行時間與樣本規(guī)模n及節(jié)點(diǎn)個數(shù)N線性相關(guān),以遼河口濕地影像數(shù)據(jù)為基礎(chǔ),比較不同數(shù)據(jù)量下的運(yùn)行時間(見表6),其中節(jié)點(diǎn)數(shù)為100.實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i5 760四核處理器,32位操作系統(tǒng),3.49GB內(nèi)存及2.80GHz主頻.可以看出所提算法在數(shù)據(jù)量較大時仍有較快的計算速度,就其分類效率上來講,所提算法同樣適用于大場景遙感影像的分類.

5 結(jié)論

圍繞利用有限樣本數(shù)據(jù)建立遙感影像分類模型的目標(biāo),本文在歷史數(shù)據(jù)的輔助下,提出了一種基于改進(jìn)貝葉斯ARTMAP的遷移學(xué)習(xí)遙感影像分類算法,其中改進(jìn)的貝葉斯ARTMAP神經(jīng)網(wǎng)絡(luò)有效抑制類別擴(kuò)散現(xiàn)象的產(chǎn)生,為實(shí)現(xiàn)ARTMAP的遷移學(xué)習(xí)提供了有利條件,而離散增量期望最大化算法將歷史數(shù)據(jù)中的先驗(yàn)知識作為遷移計算的起點(diǎn),在目標(biāo)影像的樣本數(shù)據(jù)指導(dǎo)下,調(diào)整貝葉斯ARTMAP節(jié)點(diǎn)描述參數(shù),實(shí)現(xiàn)了目標(biāo)影像的遷移學(xué)習(xí).仿真實(shí)驗(yàn)證明本文所提算法有效利用了模型先驗(yàn)信息,避免了遙感影像歷史樣本的浪費(fèi),降低了對目標(biāo)影像標(biāo)記樣本的依賴性,獲得了較好的分類性能.

[1]唐曉亮,韓敏.基于改進(jìn)型模糊 ARTMAP 網(wǎng)絡(luò)的 CBR 遙感圖像分類系統(tǒng)研究[J].中國圖象圖形學(xué)報,2007,12(6):1033-1040.

TANG Xiao-liang,HAN Min.A study of CBR system for remote sensing classification based on modified fuzzy ARTMAP neural network [J].Journal of Image and Graphics,2007,12(6):1033-1040.(in Chinese)

[2]DAUMé H,MARCU D.Domain adaptation for statistical classifiers [J].Journal of Artificial Intelligence Research,2011,26:101-126.

[3]PAN S J,YANG Q.A survey on transfer learning [J].IEEE Transactions on Knowledge and Data Engineering,2010,22(10):1345-1359.

[4]王皓,高陽,陳興國.強(qiáng)化學(xué)習(xí)中的遷移:方法和進(jìn)展 [J].電子學(xué)報,2008,36(12):39-43.

WANG Hao,CHEN Xing-guo.Transfer of reinforcement learning:the state of the art[J].Acta Electronica Sinica,2008,36(12):39-43.(in Chinese)

[5]于重重,田蕊,譚勵,等.非平衡樣本分類的集成遷移學(xué)習(xí)算法 [J].電子學(xué)報,2012,40(7):1358-1363.

YU Chong-chong,TIAN Rui,TAN Li and Xu-yan.Integrated transfer learning algorithmic for unbalanced samples classification [J].Acta Electronica Sinica,2012,40(7):1358-1363.(in Chinese)

[6]PAN S J,TSANG I W,et al.Domain adaptation via transfer component analysis [J].IEEE Transactions on Neural Networks,2011,22(2):199-210.

[7]倪彤光,王士同,應(yīng)文豪,鄧趙紅.遷移組概率學(xué)習(xí)機(jī) [J].電子學(xué)報,2013,41(11):2207-2215.

NI Tong-guang,WANG Shi-tong,YING Wen-hao,DENG Zhao-hong.Transfer group probabilities based learning machine [J].Acta Electronica Sinica,2013,41(11):2207-2215.(in Chinese)

[8]BRUZZONE L,MARCONCINI M.Toward the automatic updating of land-cover maps by a domain-adaptation SVM classifier and a circular validation strategy [J].IEEE Transactions on Geoscience and Remote Sensing,2009,47(4):1108-1122.

[9]ZHANG Y S,ZHENG X W,et al.Semi-supervised manifold learning based multigraph fusion for high-resolution remote sensing image classification [J].IEEE Geoscience and Remote Sensing Letters,2014,(11):464-468.

[10]吳田軍,駱劍承,夏列鋼,等.遷移學(xué)習(xí)支持下的遙感影像對象級分類樣本自動選擇方法[J].測繪學(xué)報,2014,43(9):908-916.

WU Tianjun,LUO Jiancheng,XIA Liegang,et al.An automatic sample collection method for object-oriented classification of remotely sensed imageries based on transfer learning [J].Acta Geodaetica et Cartographica Sinica,2014,43(9):908-916.(in Chinese)

[11]LIU Y,LI X.Domain adaptation for land use classification:A spatio-temporal knowledge reusing method [J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,98:133-144.

[12]VIGDOR B,LERNER B.The Bayesian ARTMAP [J].IEEE Transactions on Neural Networks,2007,18(6):1628-1644.

[13]TANG X,HAN M.Semi-supervised Bayesian ARTMAP [J].Applied Intelligence,2010,33(3):302-317.

[14]LEIVA-MURILLO J M,GMEZ-CHOVA L,et al.Multitask remote sensing data classification[J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(1):151-161.

[15]NG S K,MCLACHLAN G J.On the choice of the number of blocks with the incremental EM algorithm for the fitting of normal mixtures [J].Statistics and Computing,2003,13(1):45-55.

[16]CARPENTER G A,GROSSBERG S,et al.Fuzzy ARTMAP:A neural network architecture for incremental supervised learning of analog multidimensional maps [J].IEEE Transactions on Neural Networks,1992,3(5):698-713.

[17]CARPENTER G A,ROSS W D.ART-EMAP:A neural network architecture for object recognition by evidence accumulation [J].IEEE Transactions on Neural Networks,1995,6(4):805-818.

[18]COETZEE F M.Correcting the Kullback-Leibler distance for feature selection [J].Pattern Recognition Letters,2005,26(11):1675-1683.

韓 敏(通信作者) 女,1959年8月出生于吉林延吉.現(xiàn)為大連理工大學(xué)教授、博士生導(dǎo)師、模糊信息處理與機(jī)器智能研究所副所長.從事3S系統(tǒng)信息融合、神經(jīng)網(wǎng)絡(luò)理論及其應(yīng)用、復(fù)雜系統(tǒng)建模與預(yù)測的研究.

E-mail:minhan@dlut.edu.cn

楊 雪 女,1990年2月出生于河北秦皇島.現(xiàn)為大連理工大學(xué)電子信息與電氣工程學(xué)部碩士研究生.主要研究方向?yàn)檫b感影像信息提取.

Transfer Learning Using Improved Bayesian ARTMAP for Remote Sensing Image Classification

HAN Min,YANG Xue

(FacultyofElectronicInformationandElectricalEngineering,DalianUniversityofTechnology,Dalian,Liaoning116023,China)

Remote sensing classification aims at extracting available geographic information from image spectrum for resources and environment monitoring,but due to the spectral drift effect,the lack of effective strategies on historical sample reuse for image processing technology based on pattern classification restricts remote sensing classification accuracy with limited target samples.To solve this problem,this paper proposes a transfer learning algorithm for remote sensing classification using improved Bayesian ARTMAP neural network.More productive resonance matching is used to suppress the unattractive property of category proliferation,so that the incremental expectation maximization can be introduced to update parameters adaptively.The classification prior knowledge of the historical samples is transferred to the target model.The experimental results show that this method can effectively compensate for the lack of target training data by reusing the historical samples and significantly improve the accuracy of remote sensing image classification compared with other sample utilization strategy.

remote sensing classification;information extraction;transfer learning;ARTMAP;neural network

2015-01-14;

2015-04-29;責(zé)任編輯:覃懷銀

國家重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃(973計劃)項目(No.2013CB430403);國家自然科學(xué)基金項目(No.61374154)

TP751;TP181

A

0372-2112 (2016) 09-2248-06

??學(xué)報URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.09.033