基于集成學(xué)習(xí)的海岸帶變化檢測方法研究

王娟,趙吉祥,單春芝,高曉慧

(1.國家海洋局北海環(huán)境監(jiān)測中心 青島 266000;2.中國石油大學(xué)(華東)海洋與空間信息學(xué)院 青島 266000)

0 引言

海岸帶地區(qū)資源豐富,區(qū)位優(yōu)勢明顯,人類生產(chǎn)生活和經(jīng)濟活動相對密集,但該地域海陸相互作用復(fù)雜,生態(tài)環(huán)境脆弱。隨著經(jīng)濟的快速發(fā)展,海岸帶地區(qū)的各類生產(chǎn)建設(shè)活動日益頻繁,對資源環(huán)境造成了巨大壓力[1]。隨著全國海岸帶監(jiān)督管理的不斷加強,各省市分別出臺相應(yīng)的海岸帶開發(fā)利用及保護等條例,海岸帶及海域使用監(jiān)管空前嚴格。在我國自主研發(fā)的衛(wèi)星組網(wǎng)不斷完善的背景下,高時空分辨率的海岸帶及海域使用動態(tài)變化監(jiān)測已成為高效的監(jiān)管手段[2]?，F(xiàn)有的業(yè)務(wù)體系大多采用目視解譯方法,亟須開展相關(guān)的自動化變化監(jiān)測來提高工作效率和準確度。

變化檢測能夠從不同時期的遙感影像中確定地表的變化,自遙感技術(shù)誕生以來一直是眾多學(xué)者研究的焦點問題之一。李德仁[3]對比分析了7種變化檢測常用的手段,指出自動變化檢測是未來發(fā)展的方向。國內(nèi)外學(xué)者提出了大量的算法模型,從變化信息提取的角度主要分為閾值法、機器學(xué)習(xí)和深度學(xué)習(xí)3種方式。閾值法是指直接利用閾值分割差異影像從而提取變化信息,如魏立飛等[4]基于融合后的影像進行自適應(yīng)閾值確定,提取變化信息。Chehata N等[5]利用均值漂移分割算法提取風(fēng)暴后的受災(zāi)信息。閾值法簡單易行,但是在復(fù)雜情況下難以用一個單一的閾值提取變化信息,精度受限。深度學(xué)習(xí)近年來迅速發(fā)展,從最初的圖像識別、文本分析擴展至各個領(lǐng)域,部分學(xué)者利用深度學(xué)習(xí)方式提取變化信息,如張鑫龍等[6]構(gòu)建并訓(xùn)練了高斯-伯努利深度限制玻爾茲曼機模型,以提取變化和未變化區(qū)域深層特征,進而完成變化檢測。杜博等[7]提出深度慢特征分析用于遙感圖像的變化檢測,在測試數(shù)據(jù)集上取得了較好的效果。深度學(xué)習(xí)需要大量的訓(xùn)練樣本,同時一個模型的訓(xùn)練需要大量的參數(shù)調(diào)節(jié),在實際應(yīng)用中較難實現(xiàn)。

綜合來看,以機器學(xué)習(xí)為代表的算法模型構(gòu)建簡單,在小樣本狀態(tài)下能夠?qū)崿F(xiàn)變化信息的自動提取,相對于傳統(tǒng)算法和深度學(xué)習(xí)方法仍有優(yōu)勢。機器學(xué)習(xí)算法如支持向量機(Support Vector Machine,SVM)等將變化檢測問題轉(zhuǎn)變成分類問題,通過樣本訓(xùn)練模型識別提取變化信息,如李亮等[8]采用貝葉斯最小錯誤理論提取變化;王志盼等[9]利用SVM進行高分辨率遙感影像的建筑物變化檢測。集成學(xué)習(xí)是機器學(xué)習(xí)的一種,通過構(gòu)造多個學(xué)習(xí)器完成學(xué)習(xí)任務(wù),能夠獲得比單一分類器更加優(yōu)秀的性能,是機器學(xué)習(xí)近年來發(fā)展的熱點。本研究針對沿海試驗區(qū),利用兩種集成學(xué)習(xí)方式:隨機森林(Random Forest)和極端梯度提升(XGBoost),進行變化檢測試驗,并與經(jīng)典的變化檢測方法和傳統(tǒng)機器學(xué)習(xí)方式進行對比,驗證集成學(xué)習(xí)算法開展海岸帶地區(qū)變化檢測的優(yōu)勢。

1 研究方法

1.1 數(shù)據(jù)及預(yù)處理

獲取2018年10月和12月的兩景GF-1衛(wèi)星影像,覆蓋范圍為山東省蓬萊市某處在建港口,該處位于渤海黃海交界海域,臨近蓬萊閣風(fēng)景區(qū),與長島縣隔海相望。獲取的GF-1衛(wèi)星影像相隔兩月,為融合后三波段(紅、綠、藍)真彩色影像,分辨率2 m,像元數(shù)量1 550×2 156,經(jīng)過了初步大氣校正、地形校正和嚴格的圖像配準。

圖像在不同季節(jié)成像,由于外部原因造成的圖像間輻射差異和植被等地物自然變化帶來的季相差異將會給變化檢測造成嚴重干擾[10],本研究采用文獻[11]中的方法[11],選擇18個偽不變特征點(PIF)建立回歸模型對兩景影像進行相對輻射校正。經(jīng)過檢驗,兩幅影像在3個波段上的相關(guān)性指數(shù)均大于90%,說明回歸模型擬合效果較好,校正后影像如圖1所示。

圖1 相對輻射校正后影像

1.2 特征提取

1.2.1 紋理特征

高分辨率遙感影像光譜數(shù)量較少,空間紋理信息豐富,根據(jù)相關(guān)學(xué)者研究,在變化檢測中加入紋理特征能夠提高變化檢測的精度[12]?；叶裙采仃?GLCM)是一種基于統(tǒng)計的紋理特征描述方式,由Haralick等[13]在1973年提出。在灰度共生矩陣的基礎(chǔ)上,Haralick等人定義了14個紋理特征,根據(jù)Ulaby等[14]的研究,14個特征中只有4個不相關(guān)的特征:二階矩(Second Moment)、對比度(Contrast)、相關(guān)性(Correlation)和熵(Entropy)。

為進一步突出圖像紋理特征,除GLCM外,選用局部二值模型(LBP)進行進一步提取。LBP特征具有灰度不變性和旋轉(zhuǎn)不變性,可以作為灰度共生矩陣紋理特征的補充[15]。

本研究在0°、45°、90°和135°的方向上進行提取灰度共生矩陣的4個特征值:二階矩(Second Moment)、對比度(Contrast)、相關(guān)性(Correlation)和熵(Entropy),最后各自取4個方向上的平均值作為最終特征。由于圖像中部分地物尺度較小,選擇3×3窗口提取兩景影像的LBP紋理特征。

1.2.2 可見光波段差異植被指數(shù)(VDVI)

影像分別于10月和12月采集,植被覆蓋有明顯變化,因此選擇能夠突出綠色植被信息的特征進行提取。健康綠色植被在綠光和近紅外波段有較強反射作用,而在藍光和紅光波段有吸收作用,根據(jù)這一原理對植被識別主要依賴可見光-近紅外波段的組合變化,增強植被信息的同時使非植被信息最小化,如常見的歸一化植被指數(shù)NDVI、增強型植被指數(shù)EVI等[16]。

本實驗數(shù)據(jù)為融合完成的三波段真彩色影像,缺失紅外波段信息。因此選擇可見光波段差異植被指數(shù)VDVI進行提取,該指數(shù)利用綠色植被在不同波段的反射吸收特性,通過對波段的組合能夠增強植被信息,相關(guān)實驗證明VDVI指數(shù)對于綠色植被具有較好的提取效果[17]。計算如公式(1)所示。

式中:ρgreen代表綠色波段反射率;ρred代表紅色波段反射率;ρblue代表藍色波段反射率。

1.2.3 形態(tài)學(xué)建筑物指數(shù)(MBI)

該地區(qū)正在建設(shè)中,建筑物發(fā)生變化可能性較大,因此選擇相關(guān)特征突出建筑物信息。形態(tài)學(xué)建筑物指數(shù)(MBI)由黃昕等[18]提出,通過基本的形態(tài)學(xué)重建,對影像進行粒度分析和不同方向上的特征計算,能夠有效描述建筑物的特征(如亮度、大小、對比度和方向性等)。

首先提取影像各個波段中灰度值最大的像元組成亮度圖像,有研究表明建筑物的反射能夠產(chǎn)生較大的灰度值,如式(2)所示。

式中:Mk(x)為像素點x在波段k上的灰度值;b(x)為該像素點亮度。

在亮度圖像的基礎(chǔ)上利用形態(tài)學(xué)基本運算執(zhí)行形態(tài)學(xué)重建,如式(3)所示。

在不同方向求取運算結(jié)果后求平均,如式(4)所示。

由于高分辨率圖像中的建筑物顯示出不同大小、形狀、高度和面積的復(fù)雜空間模式,因此將多尺度THR建立在不同形態(tài)剖面上,能夠描述建筑的復(fù)雜空間特征,如形狀、大小等[19-20]。如式(5)所示。

式中:Δs是移動步長。

在DMP中取平均得到MBI如式(6),即為形態(tài)學(xué)建筑物指數(shù)。

綜上,兩景影像分別提取特征如表1所示。

表1 特征提取

1.3 隨機森林(Random Forest)

隨機森林(Random Forest)是一種基于決策樹結(jié)構(gòu)集成學(xué)習(xí)的方式,結(jié)合了Bagging算法(Bootstrap aggregating,引導(dǎo)聚集算法)和隨機子空間理論,集成眾多決策樹進行預(yù)測,通過各個決策樹的預(yù)測值進行平均或投票,得到最終的預(yù)測結(jié)果[21]。其是一個Bagging算法的擴展應(yīng)用,在以決策樹為基礎(chǔ)進行集成的基礎(chǔ)上引入了隨機屬性,使最終集成的泛化性能得到加強。

隨機森林首先采用基于自展法(Bootstrap)重采樣,產(chǎn)生多個訓(xùn)練集;由每個自助數(shù)據(jù)集生成一棵決策樹,由于采用了Bagging算法采樣的自助數(shù)據(jù)集僅包含部分原始訓(xùn)練數(shù)據(jù),將沒有被Bagging采用的數(shù)據(jù)稱為袋外(out-of-bag,OOB)數(shù)據(jù),把OOB數(shù)據(jù)用生成的決策樹進行預(yù)測,對每個OOB數(shù)據(jù)的預(yù)測結(jié)果錯誤率進行統(tǒng)計,得到的平均錯誤率即為隨機森林的錯誤估計率[22-23]。而OOB誤差估計作為泛化誤差估計的一個組成部分,相關(guān)研究表明其可以取代測試集進行誤差估計。同時由于隨機森林抽取樣本的隨機性,OOB數(shù)據(jù)作為評估學(xué)習(xí)器誤差的指標,在選擇不同特征時有不同的準確率,因此可以進行特征重要性的排序。

隨機森林整體流程如圖2所示。

圖2 隨機森林流程

1.4 極端梯度提升(XGBoost)

極端梯度提升(eXtreme Gradient Boosting,XGBoost)[24]是梯度提升決策樹(Gradient Boosting Decision Tree,GBDT)的改進型算法,不同于Random Forests的Bagging集成學(xué)習(xí),其采用Boosting集成學(xué)習(xí)方式,有多個具有關(guān)聯(lián)性的決策樹進行決策。XGBoost將損失函數(shù)進行泰勒多項式的二次展開,其目標函數(shù)相對于GBDT具有更高的準確定和更快地收斂速度[25]。XGBoost模型如公式(7)所示。

其目標函數(shù)如公式(8)所示。

式中:n為樣本數(shù);yi為樣本真實值;l為損失函數(shù);Ω為抑制函數(shù)復(fù)雜度的正則化項。

采用boosting的方法進行優(yōu)化,依次優(yōu)化每一棵樹的模型,在保留原有模型的基礎(chǔ)上進行下一級的優(yōu)化,如公式(9)所示。

最終樹優(yōu)化如公式(10)所示。

式中:c為前t-1棵樹的復(fù)雜度。

對函數(shù)進行泰勒二階展開,如式(11)所示。

最終優(yōu)化的損失函數(shù)如下:

式中:gi為損失函數(shù)一階導(dǎo)數(shù);hi為損失函數(shù)二階導(dǎo)數(shù)。

gi和hi是不依賴于損失函數(shù)的形式的,只要這個損失函數(shù)二次可微就可以了,后續(xù)在模型正則化的基礎(chǔ)上即可實現(xiàn)XGBoost的訓(xùn)練。

XGBoost可以通過計算相關(guān)特征在每棵樹中的分裂次數(shù)賦以對應(yīng)的權(quán)重,實現(xiàn)特征重要性的排序,如式(14)所示,特征j在整個模型中的重要性為特征在單棵樹中重要度的平均值衡量。

1.5 精度評價

采用準確率(ACC)、漏檢率(MA)和誤檢率(FA)3個指標進行變化檢測的精度評價,其中準確率表示正確檢測的像元(包括發(fā)生變化和未發(fā)生變化)占總像元的比例,漏檢率表示發(fā)生變化但是沒有檢測出的像元占發(fā)生變化總像元的比例,誤檢率表示實際沒有發(fā)生變化但是被錯誤檢測成變化像元占未發(fā)生變化總像元的比例。三者計算公式如下:

式中:NTP為正確檢測的變化像元數(shù)量;NFP為實際未變化但是檢測為變化的像元數(shù)量;NTN為正確檢測的未變化像元數(shù)量;NFN為實際變化但是檢測為未變化的像元數(shù)量。

2 實驗與結(jié)論

實驗主要由3部分構(gòu)成:①對兩時相影像進行預(yù)處理并提取特征,除傳統(tǒng)的光譜特征和紋理特征之外,考慮到本實驗區(qū)域和實驗數(shù)據(jù)的特點,加入人為構(gòu)造的VDVI和MBI指數(shù),分別反映植被變化信息和建筑物的變化信息;②構(gòu)建特征差異影像并選取樣本,選擇傳統(tǒng)的差值法對各特征構(gòu)建差異影像,結(jié)合原始影像選擇變化和未變化的樣本,開展基于像素級別的變化檢測方法研究;③分別利用隨機森林(Random Forest)、極端梯度提升(XGBoost)兩種集成學(xué)習(xí)方式和傳統(tǒng)的機器學(xué)習(xí)SVM進行變化檢測試驗,與經(jīng)典變化檢測方法(CVA和IRMAD)在精度和效率上進行對比分析。整體流程如圖3所示。

圖3 整體流程

分別采用Random Forest、XGBoost和SVM算法進行訓(xùn)練,其中為評估隨機森林中決策樹的數(shù)量對最終變化檢測結(jié)果的影響,對[10,90]區(qū)間范圍內(nèi)以5為動態(tài)變化步長進行實驗,計算30次OOB準確率的平均值進行可視化,如圖4所示,當決策樹個樹達到60時,隨機森林的OOB準確率達到98.6%,后續(xù)繼續(xù)增加決策樹個數(shù),OOB準確率并不會提升,同時模型訓(xùn)練效率會降低,因此在實驗中設(shè)置決策樹個數(shù)為60是合理的。

為驗證人工選取的VDVI和MBI特征在變化檢測中的作用,通過Random Forest和XGBoost進行特征的重要性排序,結(jié)果如圖5所示,特征差異對隨機樹森林模型的影響由大到小依次為:B3(藍光波段)、B1(紅光波段)、MBI、VDVI、Contrast、B2(綠光波段)、Entropy、Second Moment、LBP和Correlation。在XGB模型中,MBI特征重要性僅次于B3(藍光波段),VDVI特征重要程度較大部分紋理特征更高,因此人為構(gòu)造的VDVI和MBI特征在該地區(qū)的變化檢測中有效。

圖4 OOB準確率

圖5 特征重要性

為后續(xù)進行算法的比較分析,利用XGBoost進行訓(xùn)練時保持決策樹個數(shù)與隨機森林中決策樹個數(shù)一致。利用SVM進行訓(xùn)練時,采用五折交叉檢驗的方式,確定最優(yōu)化參數(shù)C=10,核函數(shù)選擇rbf。

傳統(tǒng)的變化檢測主要有變化矢量分析(CVA)、迭代加權(quán)多元檢測(IR-MAD)等方式,針對實驗區(qū)域,采用兩種傳統(tǒng)方式進行檢測。其中CVA變化檢測需要閾值分割,而閾值選取對最后的精度評定有重要影響,分別采用Otsu's、Tsai's和Kittler's自適應(yīng)閾值分割算法進行圖像的二值化分割,避免人為主觀性。在IR-MAD中,變化閾值設(shè)置為0.001,迭代至42次時閾值變化小于設(shè)定值。

以人工提取的變化信息作為參考影像,對上述算法進行評價,結(jié)果如表2所示。

表2 變化檢測精度評價

通過上述幾種方法的對比可以得到:

(1)在傳統(tǒng)的變化檢測方法中,檢測質(zhì)量嚴重依賴閾值的確定,如CVA變化檢測,通過不同的閾值確定方式得到的精度相差較大,基于Tasi's的閾值分割方式漏檢率明顯小于其他兩種閾值分割方式(Otsu's和Kittler's),誤檢率處于合理區(qū)間,因此在CVA-Tsai's變化檢測較其余方式(包括IRMAD)更具優(yōu)勢。

(2)3種機器學(xué)習(xí)變化檢測對比CVA-Tsai's優(yōu)勢明顯,Random Forest相對于CVA-Tsai's的52.42%的漏檢率明顯降低,同時誤檢率處于較合理的區(qū)間,其余兩種機器學(xué)習(xí)方式(XGBoost和SVM)在精度、漏檢率和誤檢率上明顯優(yōu)于CVA-Tsai's。

(3)XGBoost變化檢測方法的精度、漏檢率、誤檢率和效率明顯優(yōu)于Random Forest方式,相對于傳統(tǒng)的機器學(xué)習(xí)SVM方法,其漏檢率大幅下降近20%,誤檢率雖有上升,但其效率較SVM提升30余倍。綜合來看,XGBoost變化檢測方法相對于其他兩種機器學(xué)習(xí)方式優(yōu)勢明顯。

需要指出的是以上方法都是基于像素級別的變化檢測,檢測結(jié)果中存在較多椒鹽噪聲,因此通過聚類和濾波等后處理消除噪聲。

3 結(jié)束語

本研究以沿海地區(qū)某處在建港口為實驗區(qū),在變化復(fù)雜情況下進行了變化檢測實驗,利用原始光譜特征、紋理特征和人為構(gòu)造的VDVI、MBI指數(shù)構(gòu)建差異影像,分別使用兩種集成學(xué)習(xí)方式進行了變化檢測實驗,并與傳統(tǒng)的SVM方法和經(jīng)典變化檢測方法進行了對比。

經(jīng)實驗驗證,集成學(xué)習(xí)方式能夠?qū)崿F(xiàn)自動化的變化信息提取,其效率遠遠超過傳統(tǒng)的SVM方法,并且漏檢率和誤檢率等指標優(yōu)于經(jīng)典的變化檢測方式,在實驗中,XGBoost相對于Random Forest算法實現(xiàn)了較好的效果,同時經(jīng)實驗驗證,人為構(gòu)造的兩種特征在進行變化信息提取時均起到比傳統(tǒng)特征更加重要的作用。

需要指出的是,目前實際變化檢測工作中依舊以人工判斷提取變化區(qū)域為主,本研究方法可作為輔助參考,提升作業(yè)效率;由于本研究方法屬于像素級別的變化檢測,變化檢測結(jié)果中存在大量椒鹽噪聲,后續(xù)在面向?qū)ο蟮幕A(chǔ)上實現(xiàn)準確、自動化的變化檢測是進一步研究的方向。