許長青,陳振杰*,侯仁福
(1.南京大學地理與海洋科學學院,南京 210046;2.安徽省第一測繪院,合肥 230031)
(?通信作者電子郵箱chenzj@nju.edu.cn)
土地利用和土地覆蓋(Land Use and Land Cover,LULC)變化對全球能量平衡,水、碳和養(yǎng)分循環(huán),以及陸地生態(tài)系統(tǒng)多樣性等環(huán)境問題存在重要的影響[1],LULC 信息提取始終是遙感領域的熱門研究方向[2]。該信息可由地面調(diào)查或影像解譯獲得,后者因動態(tài)、豐富和廉價的信息源而成為LULC 信息獲取最為高效的手段[3]。隨著傳感器技術的飛速發(fā)展,遙感影像的數(shù)據(jù)量和可靠性均顯著提高,制約LULC 信息獲取的瓶頸已從如何獲得高質(zhì)量的影像數(shù)據(jù)轉換為如何實現(xiàn)大批量影像數(shù)據(jù)集高效且精確的自動化分類。
過去的幾十年中,大量學者致力于研究高效精確的遙感信息自動化提取方案。從最初嘗試使用最大似然法[4]建立地類分類概率模型,或使用無監(jiān)督聚類模型[5]等方法對影像信息單元按照數(shù)值相似性比較的方案進行歸類,發(fā)展到在先驗知識的基礎上,構建基于樹的監(jiān)督分類模型,如決策樹[6]、基于類型概率判別的最大似然估計[7]等。近年來,基于高性能計算和機器學習等技術,對海量遙感影像進行抽象信息提取和多維知識凝練,形成了融合先驗知識的LULC 分類模型,如構建基于區(qū)域性融合分割的隨機森林[8]、最大化影像特征差異的支持向量機[9]、多維知識學習的神經(jīng)網(wǎng)絡[10]和基于空間動態(tài)感知的深度卷積神經(jīng)網(wǎng)絡[11],極大地提高了遙感影像分類的效率和質(zhì)量[12-14]。然而,現(xiàn)有研究方案大多基于高精度的先驗知識提取和學習,此類先驗知識往往數(shù)量少、保密性強且代價高昂,難以滿足實際應用需求,因此如何獲取大量可用、廉價的先驗知識,并從中提取足量、高質(zhì)量的樣本訓練模型,獲得高精度的分類結果仍是制約LULC 自動化分類的重要因素。
樣本及其特征的自動優(yōu)選是遙感影像自動分類的關鍵。隨著對地觀測和國土調(diào)查的持續(xù)開展,各地已經(jīng)積累了豐富的LULC 歷史數(shù)據(jù)[15-16],這些數(shù)據(jù)可以為新的遙感影像分類提供先驗知識。然而,這些數(shù)據(jù)存在現(xiàn)勢性差、地類圖斑與實際土地覆被類型不一致等問題,多為不精準的先驗知識。為使用該類數(shù)據(jù)支撐高精度的LULC 分類工作,在采樣前需對異常先驗知識進行甄別,避免錯誤先驗知識對模型訓練的影響。此外,由于地類圖斑尺度、形狀差異顯著,如何適應圖斑的特征分布,自動避開地類圖斑邊緣,采集數(shù)量盡可能多、特征優(yōu)化的樣本,有待深入探究[17]。
針對以上問題,本文提出了一種融合不精準先驗知識的Landsat 8 OLI影像深度學習分類方法。該方法自動規(guī)避異常先驗知識,優(yōu)選樣本及其特征,獲得高質(zhì)量的影像樣本,配合深度學習方法實現(xiàn)高精度Landsat 8 OLI遙感影像分類。
本文分類數(shù)據(jù)源于Landsat 8 影像,先驗知識源于土地利用現(xiàn)狀圖,所提方案使用概率模型過濾不精準先驗知識,并融合知識輔助優(yōu)選圖斑采集區(qū)域,同時引入XGBoost(eXtreme Gradient Boosting)約簡圖斑特征,構建自動樣本提取流程,最后基于深度殘差網(wǎng)絡[18-19]搭建Landsat 8 OLI 影像LULC 分類模型,訓練并預測獲得研究區(qū)LULC 分類圖,形成完整的融合不精準先驗知識的Landsat 8 OLI 影像深度學習分類方法,其技術路線如圖1所示。
由于土地利用調(diào)查時間與遙感影像獲取時間不同和語義差異,地類圖斑與實際LULC 類型不完全一致,將土地利用現(xiàn)狀視為完全正確的先驗知識是不妥的。一般而言,經(jīng)語義處理后,發(fā)生變化的或類型錯誤的區(qū)域較少,即大部分先驗知識是正確的。
因此,針對不精準的先驗知識,本文使用概率模型識別和剔除錯誤先驗知識,避免其對于樣本標記的干擾。分析土地利用現(xiàn)狀圖中各種地類的像元特征值概率分布區(qū)間,獲取各特征值的正常值域分布范圍,進而識別異常先驗知識。具體方法如下:1)像元值頻率統(tǒng)計,統(tǒng)計各LULC 類型的像元DN值分布區(qū)間和頻率。2)離群數(shù)據(jù)處理,對遙感影像像元亮度值,按類型做數(shù)據(jù)縮尾處理,對各類型累計頻率在[0.005,0.995]范圍之外的像元做異常標記,初步去除特征值離群的地類像元。3)像元異常特征劃分,對于剔除特征值離群的剩余像元,按LULC 類型計算各影像特征的第一四分位數(shù)Q1和第三四分位數(shù)Q3,以劃定四分位距(InterQuartile Range,IQR)區(qū)間(式(1))[20],獲取每個特征正常值域范圍,特征值處于范圍外則將該特征視為像元的異常特征(式(2)),并統(tǒng)計像元的異常特征數(shù)量(式(3))。4)正確先驗知識篩選,對于每個地類像元,如果像元的異常特征數(shù)量在Q1-k*IQR和Q3+k*IQR之間,則該像元LULC 類型視為正確先驗知識,予以保留;否則視為不精準的先驗知識,剔除采樣區(qū)域(式(4))。
式(1)~(4)中:k為設定閾值,本文取1.5;m表示土地類型;n表示特征類型;i表示像元編號;W為正常像元特征標記;E為正常像元異常標記。
圖1 融合不精準先驗知識的Landsat 8 OLI影像深度學習分類方法技術路線圖Fig.1 Technology roadmap of deep learning classification method based on inaccurate prior knowledge for Landsat 8 OLI images
標記樣本的質(zhì)量和數(shù)量直接影響深度學習模型的最終精度和模型泛化能力[21],人工標記樣本效率低、先驗知識利用率不足。樣本自動選取是構建高效土地利用分類模型的最重途徑和基礎[22-23]。樣本自動選取需解決以下問題:1)如何避開圖斑邊緣,采集類型特征鮮明、樣本類型統(tǒng)一的高質(zhì)量影像樣本;2)如何對大小、形狀差異顯著的不規(guī)則圖斑進行采樣。
為解決上述問題,本文以篩選出的正確先驗知識為指導,自動獲得標記樣本數(shù)據(jù)集。通過對不規(guī)則圖斑迭代劃分最大內(nèi)接矩形,實現(xiàn)在不規(guī)則區(qū)域中采集規(guī)則樣本,在提高先驗知識使用率和樣本采集效率的同時,避免采集窗口中出現(xiàn)異類像元。主要流程如圖2 所示:1)采樣優(yōu)選區(qū)劃分。提取先驗知識正確的地類圖斑,以最小采樣單元(本文選擇實際地物大小為75 m×75 m 的超像素)作為采樣優(yōu)選區(qū)劃分閾值,去除采樣圖斑中面積小且分布雜亂區(qū)域。2)多尺度內(nèi)接矩形生成。首先生成圖斑的最大內(nèi)接矩形,然后對未劃入內(nèi)接矩形的區(qū)域迭代生成最大內(nèi)接矩形,直至內(nèi)接矩形小于最小采樣單元。使用獲得的多尺度內(nèi)接矩形作為樣本采集約束區(qū)域,避免采集圖斑邊緣區(qū)域,使用空間約束促進采集的同類樣本特征高相似度、異類樣本特征高差異性。3)樣本提取。按照從最大內(nèi)接矩形最短邊到最小采樣區(qū)間最短邊的采樣尺度順序進行樣本多尺度采樣,大尺寸樣本顧及地類全局結構特征,小尺寸樣本體現(xiàn)地類局部細節(jié)信息。采集窗口以半個窗口尺寸的滑動距離進行遍歷采集,首先多尺度提取各內(nèi)接矩形內(nèi)部的樣本,再完成相鄰內(nèi)接矩形間的樣本多尺度提取。4)樣本數(shù)據(jù)標準化。對應LULC 標記作獨熱編碼[24],最終獲得高類內(nèi)相似度、低類間相似度的遙感影像標記樣本。
圖2 融合先驗知識的樣本自動選取流程Fig.2 Process of automatic sample selection based on prior knowledge
深度學習雖可通過模型訓練自動生成一些特征向量,很大程度上簡化特征工程的工作量。然而這些特征往往是不可解釋的隱性特征,導致模型泛化能力低。因此,樣本特征約簡可通過提取重要特征舍棄不重要的、非共性特征,提高模型的運行效率和泛化能力[25]。本文選擇的影像特征為光譜、指數(shù)和紋理信息的組合,如表1 所示,均源于遙感影像多波段數(shù)據(jù)。遙感影像指數(shù)是對多波段數(shù)據(jù)的線性組合,用以提高地類影像特征的顯著性,利于網(wǎng)絡學習模型對數(shù)據(jù)的理解。紋理信息則可以反映目標區(qū)域周圍單元排列信息和單元間的聯(lián)系,是一種突出影像中同質(zhì)現(xiàn)象的視覺特征。所有數(shù)據(jù)均經(jīng)過特征標準化處理,其中單波段數(shù)據(jù)可生成一組紋理特征,即7類光譜特征,每類特征生成8組紋理特征數(shù)據(jù)。
由于7 類光譜特征生成的同一種紋理特征存在大量的冗余信息,為簡化特征維度和提取關鍵信息,本文使用主成分分析法選擇每類最大信息量的一維信息作為最終紋理特征,降低數(shù)據(jù)冗余量,提高模型運行效率。本文引入XGBoost 模型進行特征數(shù)據(jù)約簡[26]。該模型基于樹模型,可衡量特征在提升決策樹構建中的價值,評價特征的重要性。特征重要性篩選閾值為0.004,特征篩選率30.8%。
表1 特征類別說明Tab.1 Feature category description
深度殘差網(wǎng)絡(Deep Residual Network,DRN)是在卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)中加入快捷連接結構實現(xiàn)恒等映射,有效解決了加深網(wǎng)絡層數(shù)時出現(xiàn)的網(wǎng)絡能力退化問題[37],DRN 因極其深的結構擁有強大的信息表達能力,能夠完成復雜場景下的分類工作。因此,本文基于DRN 構建Landsat 影像LULC 分類模型。訓練模式基于五折交叉驗證方法,將樣本數(shù)據(jù)劃分為訓練數(shù)據(jù)和驗證數(shù)據(jù),按照類型均等分布原則保持各類型樣本數(shù)量平衡。每次訓練樣本數(shù)為256 個,卷積操作前對樣本進行批標準化處理以避免過擬合[38],每次訓練計算訓練精度和驗證精度。模型訓練30批次,每次保存最佳驗證精度的網(wǎng)絡模型,挑選所有批次中精度最優(yōu)模型作為預測模型。
本文構建兩種常見的分類模型作為對照組,包括最大似然法(Maximum Likelihood Estimation,MLE)和支持向量機(Support Vector Machine,SVM)。其中MLE 和SVM 基于ENVI5.3 平臺,CNN 和DRN 基于TensorFlow1.14.0 平臺。模型參數(shù)組合使用貝葉斯優(yōu)化確定,具體如表2所示。
表2 不同模型主要參數(shù)Tab.2 Main parameters of proposed models
固定尺度的影像樣本在數(shù)據(jù)采集和模型分類中,會因為尺寸限制損失大量的樣本鄰近像元的空間特征和語義信息[39],尤其對于像元空間信息有限的中低分辨率影像而言。因此本文采集多尺度樣本用作模型訓練,且同類同對象樣本間保持較高的空間重疊度(圖2),擴大樣本特征信息的同時也增加了樣本的多樣性。在模型預測過程中,為充分利用多尺度樣本信息,本文使用測試時增強(Test Time Augmentation,TTA)生成待檢測樣本的多個不同版本[40],包括對影像的放大、縮小、水平翻轉以及垂直翻轉操作,并對這些樣本進行預測,最后基于預測結果投票以確定多尺度樣本中重疊區(qū)域的土地類型,實現(xiàn)研究區(qū)全域影像多尺度分類。
本文的分類精度評價基于五折交叉驗證方式,重復實驗20 次,評價標準基于實驗平均精度,包括全圖分類精度和地類界線精度。全圖分類精度驗證通過逐像素對比研究區(qū)內(nèi)所有圖斑的分類結果與真實值,再基于差異面積計算得到分類圖斑精度評價指數(shù),包括分類圖斑精度、Kappa 系數(shù)和混淆矩陣。地類界線精度評價基于Hu 矩獲取地類界線特征[41-42](式(5)),添加反面積權重(式(6))和地類界線匹配模型,改進評價指數(shù)計算方式,以適應由多個復雜形狀構成的地類界線精度評價場景?;谠撛u價方案,本文隨機選擇多組地類圖斑,獲得反面積加權后預測的主要地類界線與真實的地類界線相似度,用以評價模型分類結果。
式(5)中:為A形狀第i個不變特征矩;Hu(A,B)表示A、B地塊界線的相似度。式(6)中:Sji表示第j個地塊中i個匹配形狀的真實值面積;D(ture,pred)表示反面積加權后的真實地類與分類結果的地類界線相似度,相似度越接近于0,表示兩地類界線越相似,即地類界線精度越高。
研究選取常州市新北區(qū)作為研究區(qū)域,該區(qū)域位于常州市北部,區(qū)域位于北緯31°48′~32°03′,東經(jīng)119°46′~120°01′。2014 年新北區(qū)轄河海、三井、龍虎塘3 個街道和春江、孟河、西夏墅、羅溪、薛家、新橋6 個鎮(zhèn),總面積439.16 km2。
為了獲得研究區(qū)清晰的影像數(shù)據(jù),本文選取常州市新北區(qū)完全無云的Landsat 8 OLI 影像數(shù)據(jù),影像條代號為119、行編號為038,成像時間為2014 年3 月16 日。本文使用Landsat 8 OLI 主要的7 個波段,且使用全色波段進行影像融合,最終影像分辨率為15 m。使用常州市新北區(qū)2009 年土地利用現(xiàn)狀數(shù)據(jù)作為先驗知識,2014 年土地利用現(xiàn)狀數(shù)據(jù)用于分類精度評估。該區(qū)域主要有5大類LULC 數(shù)據(jù),包括水域、農(nóng)田、林地、草地、不透水面,本文將土地利用現(xiàn)狀地類歸并為以上5類(表3)。
表3 土地類型分類框架Tab.3 Land type classification framework
本文首先對遙感影像進行預處理,識別并規(guī)避不精準先驗知識,基于自適應的樣本劃分方式提取樣本,使用XGBoost優(yōu)選影像特征,獲得樣本數(shù)據(jù)集。進而,使用深度網(wǎng)絡模型學習先驗知識,預測得到常州市新北區(qū)LULC 分類結果。利用1.5節(jié)中的精度評價方法,參考2014年土地利用現(xiàn)狀圖,可以得出本文方案獲得的LULC 分類圖斑精度為88.7%±0.020,Kappa 系數(shù)為0.842±0.013。其分類結果相較于傳統(tǒng)棋盤切片式采集方式的模型,分類精度有8.9%±0.036 的圖斑精度提升(2.4 節(jié))。這表明本文樣本采集方案得到的超像素數(shù)據(jù)集特征顯著、類別差異明顯,使用該數(shù)據(jù)可訓練出高精度的LULC分類模型,獲得高精度的LULC分類結果。
如圖3 分類結果混淆矩陣所示,本文方法獲得的各類型分類精度均能保持在83%以上,分類效果優(yōu)異。水域和不透水面與其他類型特征差異顯著,分類精度較高。而林地和草地數(shù)量少、分布零散,存在部分草地和林地被誤分進耕地的情況,因此草地和林地分類精度低于其他LULC類型。
圖3 DRN模型分類結果的混淆矩陣Fig.3 Confusion matrix of DRN model classification result
圖4 對比的谷歌影像為米級高分影像,由于數(shù)據(jù)有限,使用2013-12-12、2013-12-30 和2014-03-09 三幅影像拼接而成。圖4 中:(a)為研究區(qū)內(nèi)集中分布的林地,該區(qū)域內(nèi)林地依山生長,特征顯著,模型分類結果準確,其分類結果與2014 年土地利用現(xiàn)狀數(shù)據(jù)吻合。(b)為常州市新北區(qū)錄安洲,可以發(fā)現(xiàn)本文模型的不透水面分類結果與土地利用現(xiàn)狀圖存在明顯差異。通過對照谷歌高分影像,人工判定該區(qū)域南部為耕地類型,農(nóng)作物耕作痕跡明顯,土地利用現(xiàn)狀數(shù)據(jù)在此處存在誤差。(c)屬城鎮(zhèn)與農(nóng)田交接區(qū),兩者以河流為界,從分類情況可以看出,模型識別的河流略偏向于耕地一側,而與另一側的不透水面界限清晰,主要由于河流靠耕地一側多為淺灘和臨水植被,無人工堤壩,邊界難以界定。(d)為典型的中國南方農(nóng)村區(qū)域,耕地間遍布坑塘水面,并夾雜部分人工建筑,模型總體地類輪廓識別較為準確,且本文模型分類的高速環(huán)形匝道有清晰的結構,精度明顯高于土地利用現(xiàn)狀圖。(e)為城鎮(zhèn)開發(fā)區(qū)邊緣處,部分自然草地與待開發(fā)的建筑裸地并存,經(jīng)人工對照高分影像,草地分類結果準確性優(yōu)于土地利用現(xiàn)狀數(shù)據(jù)。(f)則為城市住宅區(qū),區(qū)域內(nèi)各LULC類型特征明顯,模型成功將住宅區(qū)、河流等主要地類分類,并正確識別出城市內(nèi)未進行開發(fā)的區(qū)域。
圖4 DRN模型的LULC分類結果Fig.4 LULC classification results of DRN model
表4和圖5~6選擇典型地類區(qū)域,計算預測地類輪廓與真實地類輪廓的相似程度,以評價模型分類結果,可以看出各類型輪廓相似性結果與全局分類精度類似,水域和不透水面由于其特征顯著,且呈規(guī)則形狀分布,輪廓相似程度較高,而耕地、林地和草地分布較散,特征不顯著且形狀復雜,因此輪廓相似度略低。各類型地類界線精度與2.2節(jié)分類精度吻合。
表5 統(tǒng)計使用先驗知識指導樣本采集工作對四種分類模型最終分類精度的影響。總體上,使用先驗知識指導樣本采集獲得的訓練數(shù)據(jù),由于不同地表覆蓋間顯性特征差異增強,模型的最終分類精度均有一定提升,表明本文方案可以有效提升常見的遙感影像分類模型精度。對比各組分類模型的精度提升結果可得,MLE 和SVM 使用本文方案采集的樣本,最終分類精度為68.3%±0.015和78.1%±0.013,與CNN 和DRN相比有明顯差距,且分類精度提升有限,主要由于模型相對較弱的表達能力和知識抽取能力,難以滿足遙感影像分類等復雜場景下的精細分類需求,因此在模型分類能力的限制下,樣本質(zhì)量的提升并不一定能導致模型分類精度的大幅提高。而對于CNN和DRN此類的神經(jīng)網(wǎng)絡模型,使用大量人工神經(jīng)元連接進行信息提取和判別,對復雜場景的適應能力要優(yōu)于傳統(tǒng)分類模型,在精細化分類的同時也對圖斑樣本的質(zhì)量更敏感。使用更高質(zhì)量的分類圖斑樣本后,CNN 和DRN 均有明顯的精度提升,最終分類精度為86.8%±0.006 和88.7%±0.011。因此,對于處理遙感影像分類的復雜場景下的分類問題,使用先驗知識指導樣本采集工作可以提高樣本質(zhì)量,有效提升模型分類精度,且在合理處理樣本后使用抽象能力更強的模型進行分類工作,會取得更顯著的精度提升和更優(yōu)異的分類結果。
圖5 真實地類輪廓Fig.5 Real land use contours
圖6 預測地類輪廓Fig.6 Predicted land use contours
表4 地類輪廓相似度評價Tab.4 Evaluation of similarity of land use contours
為進一步討論本文樣本采集方案的分類效果,本節(jié)在統(tǒng)一影像數(shù)據(jù)基礎上,設計常見的棋盤切片式和四叉樹劃分式樣本采集方案[43],對比提出的融合先驗知識的樣本采集方案,獲得的樣本圖斑均由DRN 模型分類。棋盤切片式采集方式將影像網(wǎng)格化處理,把現(xiàn)實地物視為規(guī)則化分布,故采樣窗口中包含大量異類樣本單元,影響樣本質(zhì)量。四叉樹劃分采集方案本質(zhì)為區(qū)域性的影像單元裂變、合并,其采樣窗口的變化是在滿足一定閾值下的整體變化,難以根據(jù)特性空間特征進行針對性調(diào)整。同時傳統(tǒng)采樣方案僅可用于樣本采集位置的選擇,對異常區(qū)域處理、多尺度樣本采集和樣本特征選擇方面均未涉及,因此獲得的樣本質(zhì)量較低,并不適用于地表情況復雜的遙感影像樣本提取工作。不同方案的分類結果如圖7 所示,本文方案從融合不精準先驗知識出發(fā),綜合設計各個采集步驟,相較傳統(tǒng)樣本采集方案,獲得的樣本類型特征更顯著,模型分類總體精度和各類型分類精度均有明顯提高,表明本文方案更適用于LULC影像樣本提取和分類工作。
表5 先驗知識輔助采集樣本對模型分類精度的提升Tab.5 Improvement of model classification accuracy brought by priori knowledge-aided sample collection
圖7 多樣本采集方案獲得的LULC分類結果對比Fig.7 Comparison of LULC classification results obtained by multiple sample collection schemes
本文融合不精準先驗知識,使用特征工程理論和概率模型,提出了適用于Landsat 8 OLI 影像深度學習分類方法。該方法可以自動規(guī)避先驗知識不精準區(qū)域,結合優(yōu)選的采樣區(qū)位和影像特征,可充分融合不精準的先驗知識,獲得高質(zhì)量的影像分類樣本。以常州市新北區(qū)為實驗區(qū),以2009 年土地利用調(diào)查數(shù)據(jù)為先驗知識,采用本文方法對2014 年Landsat 8 OLI 影像進行分類。實驗結果表明,融合不精準先驗知識的Landsat 8 OLI影像深度學習分類方法可獲得88.7%的全圖分類精度,Kappa 系數(shù)為0.842,并能獲取較高的地類界線精度。本文研究主要結論如下:
1)不精準的先驗知識可以作為LULC 自動化分類參考數(shù)據(jù)。本文方法使用概率模型對先驗知識不精準區(qū)域進行判別,可以自動感知先驗知識異常區(qū)域,并作合理規(guī)避,從而融合先驗知識中的精準信息,輔助模型訓練。
2)可變尺度和空間約束的影像樣本提取方式可以充分利用先驗知識,獲得類別特征顯著的超像素數(shù)據(jù)集。本文的自適應樣本區(qū)域選擇方法,使用先驗圖斑約束采樣,避免采集不同地類邊界區(qū)域和異類數(shù)據(jù)過多區(qū)域,能夠實現(xiàn)在尺度差異顯著的先驗知識區(qū)域提取空間特征顯著的樣本,獲得高類內(nèi)相似度、低類間相似度的超像素樣本數(shù)據(jù)集,可有效提高模型分類精度。
同時,本文影像分類方法可以在不精準先驗知識的支持下獲得高精度的LULC 分類結果,自動化率高且適用性強,但往往也會導致數(shù)據(jù)預處理流程的復雜化和模型運算的密集化,勢必會影響LULC 分類的實時性需求。因此,如何構建平衡精度和時效的分類方法仍需進一步的探索。