基于無(wú)人機(jī)影像的城市植被精細(xì)分類

林 怡,張文豪,宇 潔*,張翰超

基于無(wú)人機(jī)影像的城市植被精細(xì)分類

林 怡1,張文豪1,宇 潔1*,張翰超2

(1.同濟(jì)大學(xué)測(cè)繪與地理信息學(xué)院,上海 200092；2.中國(guó)測(cè)繪科學(xué)研究院攝影測(cè)量與遙感研究所,北京 100830)

針對(duì)傳統(tǒng)植被資源調(diào)查方法工作量大、成本高、效率低的問(wèn)題,利用高分辨率無(wú)人機(jī)遙感影像,聯(lián)合地物光譜-紋理-空間信息,構(gòu)建了一種適用于描述城市不同植被種類的多維特征空間,在此基礎(chǔ)上對(duì)三種應(yīng)用廣泛的分類算法(基于像素的、面向?qū)ο蟮闹С窒蛄繖C(jī)及深度學(xué)習(xí)Mobile-Unet語(yǔ)義分割模型)開(kāi)展了對(duì)比分析研究.結(jié)果表明:本文提出的聯(lián)合地物光譜-紋理-空間信息的特征空間構(gòu)建方法能夠有效地描述城市不同類型植被的特征差異,提升影像分割、植被分類的精度;在分類精度上,基于像素和面向?qū)ο蟮闹С窒蛄繖C(jī)分類結(jié)果的總體精度均超過(guò)90%,深度學(xué)習(xí)方法的總體分類精度為84%;在算法效率上,傳統(tǒng)機(jī)器學(xué)習(xí)方法也優(yōu)于深度學(xué)習(xí)方法.因此,得出結(jié)論針對(duì)城市小區(qū)域、小樣本的植被精細(xì)分類,傳統(tǒng)機(jī)器學(xué)習(xí)分類方法比深度學(xué)習(xí)方法效果更好.

無(wú)人機(jī)影像；城市植被；精細(xì)分類；多維特征空間；機(jī)器學(xué)習(xí)；深度學(xué)習(xí)

植被是城市環(huán)境的重要組成部分,是反映區(qū)域生態(tài)環(huán)境的標(biāo)志之一.根據(jù)現(xiàn)行的《城市綠地分類標(biāo)準(zhǔn)》(CJJ/T85-2017)[1],城市管理部門通常采用綠地率、人均綠地面積兩大綠化指標(biāo)作為評(píng)價(jià)城市綠地建設(shè)水平的標(biāo)準(zhǔn)[2].但實(shí)際評(píng)價(jià)中,因?yàn)椴煌脖活愋退锪坎煌?導(dǎo)致能實(shí)現(xiàn)的綠化作用與生態(tài)功能不盡相同[3].因此,需要針對(duì)不同植被類型進(jìn)行具體評(píng)價(jià).為此,植被類型的精細(xì)識(shí)別技術(shù)是研究的關(guān)鍵.城市公共植被的遙感精細(xì)分類及信息提取在城市土地利用變化、生態(tài)環(huán)境監(jiān)測(cè)、城市植被監(jiān)測(cè)以及城市規(guī)劃等各個(gè)領(lǐng)域都具有重要的研究意義和應(yīng)用價(jià)值.

傳統(tǒng)植被資源調(diào)查需要實(shí)地測(cè)量,工作量大、成本高且效率低下[4].隨著遙感與人工智能技術(shù)的發(fā)展,遙感影像的自動(dòng)化處理與解譯在植被調(diào)查工作中得到更廣泛的應(yīng)用.國(guó)內(nèi)外學(xué)者已經(jīng)在高分辨率遙感影像的基礎(chǔ)上,利用傳統(tǒng)基于像素的分類方法[5]、面向?qū)ο蠓诸惙椒╗6]和基于深度學(xué)習(xí)的語(yǔ)義分割方法(FCN[7]、SegNet[8]、U-Net[9]等)進(jìn)行了植被的提取研究,如Li等[10]對(duì)WorldView-2/3影像進(jìn)行面向?qū)ο蟮某鞘兄脖环诸?比較了支持向量機(jī)(SVM)和隨機(jī)森林(RF)方法的分類精度;徐知宇等[11]利用改進(jìn)的U-Net模型,對(duì)北京市3個(gè)典型綠地區(qū)域的高分二號(hào)影像進(jìn)行分類,總體分類精度達(dá)到92.73%.但衛(wèi)星影像實(shí)時(shí)性不高,影像質(zhì)量易受天氣影響,且對(duì)于城市不同類型的植被信息提取來(lái)說(shuō),其空間分辨率仍不夠高.因此,研究者們開(kāi)始利用分辨率更高、獲取信息更快的無(wú)人機(jī)進(jìn)行植被信息的獲取[12],為城市植被的精細(xì)管理開(kāi)拓了一條更為高效的途徑.

目前,越來(lái)越多的研究者嘗試將無(wú)人機(jī)數(shù)據(jù)與深度學(xué)習(xí)方法結(jié)合來(lái)實(shí)現(xiàn)植被精細(xì)提取,如楊蜀秦等[13]應(yīng)用改進(jìn)的語(yǔ)義分割網(wǎng)絡(luò)DeepLab V3+對(duì)無(wú)人機(jī)影像進(jìn)行三種農(nóng)作物的分類,與SVM算法相比取得了更好的分類效果,證明了深度學(xué)習(xí)算法的準(zhǔn)確性與有效性;Torres等[14]用無(wú)人機(jī)獲取的高分辨率影像和5個(gè)深度神經(jīng)網(wǎng)絡(luò)(SegNet, U-Net, FC- DenseNet,和兩個(gè)DeepLabv3+的變形網(wǎng)絡(luò))對(duì)巴西城市地區(qū)瀕臨滅絕的樹(shù)種進(jìn)行單樹(shù)種分類,該論文比較了多種語(yǔ)義分割網(wǎng)絡(luò)在進(jìn)行單樹(shù)種分割時(shí)的精度,并且證明該方法可以用于樹(shù)種的識(shí)別.在實(shí)際生活中,多樹(shù)種分類更具意義.如戴鵬欽等[15]將基于Res-U-Net的FCN模型應(yīng)用于無(wú)人機(jī)影像的林場(chǎng)樹(shù)種分類,實(shí)現(xiàn)不同樹(shù)種高精度識(shí)別;林志瑋等[16]基于無(wú)人機(jī)航拍圖像建立FC-DenseNet-103模型,將植被與非植被細(xì)分為13類實(shí)現(xiàn)精細(xì)的樹(shù)種識(shí)別,最終平均識(shí)別正確率達(dá)到75.67%; Schiefer等[17]采用U-Net模型對(duì)無(wú)人機(jī)森林影像進(jìn)行了13個(gè)植被類別的精細(xì)分類,其分類結(jié)果平均F1分?jǐn)?shù)為0.73.以上研究均證實(shí)了無(wú)人機(jī)影像與語(yǔ)義分割網(wǎng)絡(luò)結(jié)合對(duì)于精細(xì)植被分類的有效性.而Sothe等[18]同樣利用無(wú)人機(jī)數(shù)據(jù),但獲取的是高光譜影像并與點(diǎn)云數(shù)據(jù)融合,分別使用卷積神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林等三種方法對(duì)巴西南部亞熱帶森林的16類樹(shù)種分類,并對(duì)其精度和效率作比較.無(wú)論是無(wú)人機(jī)RGB影像還是高光譜影像,在這些大范圍植被分布區(qū)域都能以較高精度實(shí)現(xiàn)植被的精細(xì)分類任務(wù).

而城市植被具有分布較為分散、細(xì)碎,同一區(qū)域內(nèi)植被類型較為單一等特點(diǎn),與山區(qū)、林區(qū)、濕地[19]等研究區(qū)域相比,城市的植被分類研究還是有其特殊性的,而且城市植被精細(xì)分類的研究也并不多見(jiàn).因此,本研究以城市植被為對(duì)象,借鑒李艷等[20]、楊禮[21]采用的植被分類準(zhǔn)則,并結(jié)合不同植被類型的生態(tài)效益將植被分為喬木、小喬木、灌木、草地、水生植物等類別.其中灌木有兩種主要形態(tài),單株灌木和灌木叢,為了減小類內(nèi)差異,提升分類的準(zhǔn)確性,本研究將單株灌木和灌木叢區(qū)分為兩個(gè)植被類別.由此構(gòu)建了適合于城市植被的分類體系.

綜上,本文以小區(qū)域、小樣本的城市植被精細(xì)分類為目標(biāo),利用無(wú)人機(jī)影像,構(gòu)建適用于描述不同植被類型的多維特征空間(光譜-紋理-空間),在此基礎(chǔ)上對(duì)三種分類算法(基于像素的SVM、面向?qū)ο蟮腟VM以及基于深度學(xué)習(xí)的Mobile-Unet模型)進(jìn)行多方面對(duì)比分析.

1 研究區(qū)概況及數(shù)據(jù)

表1 分類地物形態(tài)

本文的研究區(qū)域?yàn)楹幽鲜〗棺魇袨I河花園小區(qū)(35.18°N, 113.25°E),面積約為0.2km2,地面平均高程為94.7m,區(qū)域內(nèi)植被物種豐富.經(jīng)過(guò)實(shí)地考察,區(qū)域內(nèi)部包括多種典型城市地物類別,依據(jù)之前研究中城市植被分類準(zhǔn)則、結(jié)合小區(qū)內(nèi)部的實(shí)際情況和不同植被的綠化效益,本研究將研究區(qū)域劃分10個(gè)類別(表1).其包含兩大區(qū)域：植被區(qū)域(喬木、小喬木、單株灌木、灌木叢、草地、水生植物,共6類),非植被區(qū)域(水體、建筑物、地面、其他,共4類).每種地物的形態(tài)描述見(jiàn)表1

本研究選用的無(wú)人機(jī)平臺(tái)是北方天圖TTA八旋翼無(wú)人機(jī),搭載SONY ILCE-5100三波段RGB數(shù)碼相機(jī),平均航高為175m,拍攝時(shí)間為2017年6月,夏季植被茂盛.共獲取研究區(qū)影像128張,每張影像大小為6000×4000像素.數(shù)據(jù)獲取時(shí)天氣晴朗,拍攝高度較低,建筑物和較高的樹(shù)木有一定程度畸變.

2 研究方法

2.1 無(wú)人機(jī)影像預(yù)處理

本研究利用Pix4D mapper軟件完成了無(wú)人機(jī)影像、POS數(shù)據(jù)和地面控制點(diǎn)等數(shù)據(jù)的預(yù)處理:導(dǎo)入數(shù)據(jù)、快速檢查、加入控制點(diǎn)、自動(dòng)空三、點(diǎn)云加密等,最終得到了研究區(qū)的正射影像(DOM)和數(shù)字表面模型(DSM),地面分辨率均為5cm.

2.2 聯(lián)合光譜-紋理-空間信息的多維特征空間構(gòu)建

如何構(gòu)建特征空間是遙感影像高精度信息提取的關(guān)鍵[19].本研究針對(duì)城市不同類型植被的特性,利用ENVI 5.3軟件對(duì)影像進(jìn)行了處理和運(yùn)算,構(gòu)建了一種聯(lián)合光譜-紋理-空間信息的多維特征空間,主要包含:正射影像RGB波段、植被指數(shù)集、紋理特征集和三維空間特征,共15維特征.

(1)植被指數(shù):由于本研究實(shí)驗(yàn)采用的無(wú)人機(jī)影像僅包含RGB三個(gè)波段,無(wú)法通過(guò)計(jì)算歸一化植被指數(shù)(NDVI)獲取植被信息,因此選擇可見(jiàn)光波段差異植被指數(shù)(VDVI)[22]、紅綠比值指數(shù)(RGRI)[23]、超綠超紅差分指數(shù)(EXGR)[24]三個(gè)指數(shù)參與植被信息的提取.3種指數(shù)計(jì)算式分別為(1)～(3):

(2)紋理特征:高分辨率無(wú)人機(jī)影像最大的優(yōu)勢(shì)是地物紋理清晰.由表1可知,不同植被類別的紋理有較大差異,這些差異使紋理成為進(jìn)行地物識(shí)別的一個(gè)重要特征.因此除植被指數(shù)外,本文也使用灰度共生矩陣(GLCM)提取紋理信息,其提出者Haralick進(jìn)一步定義了14種紋理特征參數(shù)[25],本研究選取了其中最常用的8個(gè)紋理特征:均值、方差、同質(zhì)性、對(duì)比度、相異性、熵、二階矩和相關(guān)性.

(3)三維空間特征:除上述植被指數(shù)、紋理等特征,研究還利用了無(wú)人機(jī)影像的另一優(yōu)勢(shì),即生成三維點(diǎn)云,進(jìn)而加密生成DSM.從而可以得到地物點(diǎn)的高度值,形成包含高度信息的三維空間特征.

2.3 三種分類方法比較

2.3.1 基于像素的SVM方法 傳統(tǒng)的遙感影像分類方法是基于像素的分類,以單個(gè)像素作為分類的單元,該方法的優(yōu)點(diǎn)是對(duì)中、低空間分辨率的遙感影像信息提取效果較好.在傳統(tǒng)基于像素的分類方法中,SVM方法以其所需樣本少、分類精度高、運(yùn)行時(shí)間短的優(yōu)勢(shì)而被廣泛應(yīng)用[26].SVM是Vapnik[27]提出的一種建立在統(tǒng)計(jì)學(xué)習(xí)理論的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則和VC維理論基礎(chǔ)上的新型機(jī)器學(xué)習(xí)方法,其核心思想就是把待學(xué)習(xí)樣本非線性映射到高維核空間,在高維核空間創(chuàng)建具有低VC維的最優(yōu)分類超平面[28]將不同類別區(qū)分開(kāi).

本研究在實(shí)地考察的基礎(chǔ)上,針對(duì)10種地物類別所占面積不同,按比例每類隨機(jī)選取4000到30000個(gè)樣本作為訓(xùn)練樣本和測(cè)試樣本.在構(gòu)建的聯(lián)合光譜-空間信息的多維植被特征空間基礎(chǔ)上,調(diào)用scikit-learn庫(kù)中的SVM函數(shù),選取核函數(shù)為徑向基函數(shù)的SVM模型進(jìn)行基于像素的植被分類.

2.3.2 面向?qū)ο蟮腟VM方法 基于像素的分類方法以像素為單位,因此無(wú)法有效利用像素之間存在的空間關(guān)系,尤其是高分辨率影像中豐富的空間、結(jié)構(gòu)和紋理信息往往被忽略,且易出現(xiàn)“椒鹽現(xiàn)象”[29].因此針對(duì)具有較低光譜分辨率但空間信息極為豐富的高分辨率遙感影像,面向?qū)ο蠓诸惙椒╗30]應(yīng)運(yùn)而生.對(duì)象是同質(zhì)相鄰像素的集合,以對(duì)象為分類基本單元不僅利用了其光譜信息,更加有效地利用了對(duì)象的空間幾何與紋理信息,使得分類效果更好、精度更高.與基于像素的SVM方法不同,此時(shí)進(jìn)入SVM分類器的是經(jīng)過(guò)分割后同質(zhì)對(duì)象.

面向?qū)ο蠓诸惖牡谝徊绞怯跋穹指?影像分割的效果會(huì)影響下一步分類的結(jié)果.實(shí)驗(yàn)發(fā)現(xiàn),植被顏色指數(shù)CIVE[31]有助于提升影像分割的效果,指數(shù)計(jì)算見(jiàn)式(4),因此研究將無(wú)人機(jī)正射影像RGB波段、DSM和CIVE影像共5個(gè)波段作為面向?qū)ο蠓诸惖妮斎?多次實(shí)驗(yàn)確定5個(gè)波段的權(quán)重分別為=1,=0,=0, CIVE=1, DSM=1.然后通過(guò)控制變量方法比較不同尺度參數(shù)的分割效果,最終確定尺度參數(shù)40、形狀參數(shù)0.2和緊致度參數(shù)0.5,利用eCognition軟件完成影像的多尺度分割.基于多尺度分割的結(jié)果,構(gòu)建聯(lián)合光譜-紋理-空間信息的多維特征空間,在實(shí)地考察的基礎(chǔ)上為10個(gè)地物類別選擇一定數(shù)量的對(duì)象作為訓(xùn)練和測(cè)試樣本.選取核函數(shù)為徑向基函數(shù)的SVM模型進(jìn)行面向?qū)ο蟮牟煌愋椭脖环诸?

2.3.3 基于深度學(xué)習(xí)的Mobile-Unet模型 在全卷積神經(jīng)網(wǎng)絡(luò)(FCN)的基礎(chǔ)上,Ronneberger等[9]提出了改進(jìn)的語(yǔ)義分割模型U-Net,其延續(xù)了FCN的思想,利用卷積層、池化層進(jìn)行特征提取,用反卷積層恢復(fù)為原圖像大小.

U-Net結(jié)構(gòu)見(jiàn)圖1,整個(gè)網(wǎng)絡(luò)由左右兩個(gè)部分組成,左側(cè)的壓縮通道和右側(cè)的擴(kuò)展通道,兩個(gè)部分通過(guò)網(wǎng)絡(luò)的跳躍連接實(shí)現(xiàn)低層特征與高層特征融合.U-Net的優(yōu)點(diǎn)是可以用少量的數(shù)據(jù)進(jìn)行訓(xùn)練得到不錯(cuò)的分割效果,十分符合小研究區(qū)范圍遙感影像分類任務(wù)的要求.

所用操作系統(tǒng)為Ubuntu18.04,采用Python語(yǔ)言,模型基于PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn),GPU為Nvidia GeForce RTX 2060 6G,由于實(shí)驗(yàn)條件的限制,本研究將U-Net的骨干網(wǎng)絡(luò)替換為輕量級(jí)的MobileNet[32],使得用更少的參數(shù)、更快的運(yùn)算速度,達(dá)到較好的結(jié)果.MobileNet的創(chuàng)新就是將VGG網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積層替換為深度可分離卷積層,該層就是把普通卷積層拆分成了一個(gè)深度卷積和一個(gè)逐點(diǎn)卷積.深度卷積是將卷積核拆分成為單通道形式,每一個(gè)特征圖對(duì)應(yīng)一個(gè)卷積核進(jìn)行卷積,得到和輸入特征圖通道數(shù)一致的輸出特征圖.然而,這樣一來(lái)特征圖的維度過(guò)少,可能無(wú)法提取足夠的信息,于是在深度卷積層后增加逐點(diǎn)卷積層,即用1×1的卷積核對(duì)特征圖進(jìn)行升維,使其輸出的特征圖維數(shù)和標(biāo)準(zhǔn)卷積層一致.最終網(wǎng)絡(luò)整體的參數(shù)量只有標(biāo)準(zhǔn)卷積的1/9左右.其優(yōu)勢(shì)在于使用較小的數(shù)據(jù)集也可以完成訓(xùn)練并達(dá)到較高的精度.

圖1 U-Net結(jié)構(gòu)

研究基于實(shí)地調(diào)查結(jié)果對(duì)無(wú)人機(jī)影像進(jìn)行了手動(dòng)類別標(biāo)注,得到標(biāo)簽圖像.將正射影像圖加上DSM影像構(gòu)成的四波段影像作為網(wǎng)絡(luò)的原始輸入,樣本尺寸為512×512像素,共100張.由于樣本量較小,因此采用數(shù)據(jù)增強(qiáng)算法增加樣本數(shù)量,最終共得到295個(gè)樣本標(biāo)簽對(duì),形成了一個(gè)小型無(wú)人機(jī)樣本數(shù)據(jù)集,如圖2.

本研究獲取的樣本數(shù)量較少,數(shù)據(jù)集規(guī)模較小,因此可以利用Mobile-Unet的優(yōu)勢(shì)進(jìn)行小樣本集的語(yǔ)義分割.網(wǎng)絡(luò)輸入影像大小為512×512像素,類別數(shù)為10.將數(shù)據(jù)集輸入模型中,以7:3的比例劃分訓(xùn)練集和驗(yàn)證集.運(yùn)用遷移學(xué)習(xí)的思想,使用ImageNet訓(xùn)練集的預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)作為模型參數(shù)的初始值進(jìn)行訓(xùn)練.學(xué)習(xí)率設(shè)置為0.0001,batch大小8,訓(xùn)練次數(shù)100,使用交叉熵函數(shù)作為網(wǎng)絡(luò)的損失函數(shù).

2.4 精度評(píng)價(jià)指標(biāo)

遙感分類精度評(píng)價(jià)一般是比較分類預(yù)測(cè)圖像與參考圖像的一致性,常用方法是混淆矩陣.本文采用混淆矩陣對(duì)分類后影像的全部像元進(jìn)行類別統(tǒng)計(jì),并將總體分類精度(overall accuracy, OA)、Kappa系數(shù)、用戶精度(落在該類別上的檢驗(yàn)點(diǎn),被正確分類為該類別的比率)和生產(chǎn)者精度(該類別的地面真實(shí)參考數(shù)據(jù)被正確分類的概率)作為評(píng)價(jià)指標(biāo).

總體分類精度是常用的一種精度評(píng)價(jià)指標(biāo),表示每一個(gè)像素正確分類的概率,被正確分類的像元沿著混淆矩陣的對(duì)角線分布.Kappa系數(shù)則是一個(gè)綜合指標(biāo),其同時(shí)考慮了對(duì)角線以外的各種漏分和錯(cuò)分像元,表示預(yù)測(cè)結(jié)果和實(shí)際分類結(jié)果是否一致,取值[-1,1].具體見(jiàn)式(5)、(6):

式中:x為正確分類的像元個(gè)數(shù),x+、+i為混淆矩陣各行、各列之和,為像元總數(shù),為類別數(shù).

3 實(shí)驗(yàn)與分析

3.1 聯(lián)合光譜-紋理-空間信息的多維空間

3.1.1 光譜特征 根據(jù)式(1)～(3)計(jì)算得到的植被指數(shù)如圖3所示.可以看出,VDVI可以很好的將植被與非植被區(qū)域區(qū)別開(kāi)來(lái),植被區(qū)域顏色較亮而非植被區(qū)域像素的灰度值較小顏色暗,但水體和植被區(qū)域難以區(qū)分.RGRI與VDVI的表現(xiàn)正相反,植被區(qū)域顏色較暗而非植被區(qū)域稍亮,但圖像中草地與樹(shù)木(喬木、小喬木、單株灌木、灌木叢)有一定的顏色差,因此在草、樹(shù)混雜的區(qū)域可以更好的區(qū)分二者.EXGR同樣可以區(qū)分植被與非植被,其優(yōu)勢(shì)在于對(duì)非植被區(qū)域的地物類別有更好的區(qū)分能力,但效果不如RGRI和VDVI圖像.這三種植被指數(shù)的另一個(gè)優(yōu)點(diǎn)在于不受原圖中陰影的影響,可以將陰影中的植被、甚至植被紋理很好的表現(xiàn)出來(lái),見(jiàn)圖4.

圖3 原始影像與可見(jiàn)光植被指數(shù)影像

圖4 陰影中植被的表現(xiàn)

3.1.2 紋理特征 為避免數(shù)據(jù)冗余,提升運(yùn)行效率,對(duì)無(wú)人機(jī)3波段影像中信息熵最大的紅波段進(jìn)行8個(gè)紋理特征的計(jì)算,得到8幅紋理特征影像.

3.1.3 三維空間特征 圖6是生成的具有不同地物高程信息DSM影像,圖中的灰度值代表地物的高度值,顏色越亮表示地物高度越高,反之則越低.

圖5 紋理特征影像

圖6 DSM影像

3.2 分類結(jié)果比較及精度評(píng)定

3.2.1 基于像素分類的結(jié)果與分析 經(jīng)過(guò)SVM分類及分類后處理,得到結(jié)果影像如圖7所示.

研究用混淆矩陣對(duì)結(jié)果進(jìn)行精度評(píng)價(jià),得到總體分類精度92.8%,Kappa系數(shù)值為0.917,具體精度指標(biāo)如表2所示,分類耗時(shí)4.75h.從混淆矩陣中可以看出,小喬木與單株灌木和草地類別之間存在錯(cuò)分情況,原因在于部分小喬木與單株灌木高度差別不大,部分樹(shù)木紋理相似導(dǎo)致混淆;而小喬木與草地間的錯(cuò)分在于一部分小喬木比較低矮且在影像上面積很小,因此無(wú)法正確區(qū)分被錯(cuò)誤分類為其背景類別,即草地.單株灌木與灌木叢之間的錯(cuò)分情況較為嚴(yán)重,兩者高度相當(dāng),且紋理信息十分相似,同為灌木類但在形態(tài)上差異較大,因此基于像素的分類方法很難將二者區(qū)別開(kāi)來(lái).由于該分類算法無(wú)法充分利用影像的紋理和結(jié)構(gòu)信息,會(huì)出現(xiàn)一棵喬木中心高的區(qū)域被分為喬木類,而四周低矮的部分則有可能被分為小喬木類的情況,出現(xiàn)“同物異類”現(xiàn)象導(dǎo)致分類精度下降.但總體來(lái)看,除單株灌木、灌木叢外,其余類別的類別精度均在79%以上,總體分類結(jié)果良好.

表2 基于像素分類混淆矩陣

3.2.2 面向?qū)ο蠓诸惖慕Y(jié)果與分析 經(jīng)過(guò)無(wú)人機(jī)正射影像的多尺度分割、SVM方法的訓(xùn)練和分類等步驟,最終得到面向?qū)ο蠓椒ǚ诸惖慕Y(jié)果,如圖8所示.分類的總體精度為93.1%,Kappa系數(shù)值為0.918,具體分類指標(biāo)如表3所示,面向?qū)ο蠓椒ǚ诸惡臅r(shí)4.267h.

從分類混淆矩陣表中可以看出,與基于像素的分類結(jié)果相比,小喬木、灌木叢和草地的分類精度略有提高,水生植物和水體的精度略有降低,而地面和其他兩個(gè)類別出現(xiàn)錯(cuò)分導(dǎo)致分類精度下降.喬木和單株灌木類別沒(méi)有大的變化,但單株灌木與灌木叢由于形狀不同,在影像分割時(shí)得以區(qū)分,因此混淆程度有所降低.綜上,面向?qū)ο蠛突谙袼氐姆诸惤Y(jié)果精度相差不大,而在6種植被類別的分類精度看來(lái),面向?qū)ο蟮姆诸愋Ч^好,很大程度上避免了“椒鹽現(xiàn)象”.

圖7 基于像素分類結(jié)果

圖8 面向?qū)ο蠓诸惤Y(jié)果

3.2.3 基于Mobile-Unet模型分類的結(jié)果與分析 在訓(xùn)練過(guò)程中,訓(xùn)練次數(shù)設(shè)置為100,隨著次數(shù)不斷增加,訓(xùn)練集和驗(yàn)證集的損失值不斷下降,精度提高.但迭代次數(shù)增加到一定大小時(shí),訓(xùn)練集的損失依然在減小,但驗(yàn)證集的損失不再下降,此時(shí)即出現(xiàn)了過(guò)擬合.為了避免過(guò)擬合的發(fā)生,在驗(yàn)證集的損失不再下降時(shí)停止訓(xùn)練.實(shí)驗(yàn)中訓(xùn)練次數(shù)增加至39時(shí)驗(yàn)證集損失不再下降,因此停止訓(xùn)練,訓(xùn)練集與驗(yàn)證集的損失值變化如圖9所示.

選擇3個(gè)沒(méi)有參與訓(xùn)練、驗(yàn)證區(qū)域的影像進(jìn)行切割并預(yù)測(cè),預(yù)測(cè)結(jié)果的混淆矩陣見(jiàn)表4,原圖、標(biāo)簽圖像與預(yù)測(cè)結(jié)果的比較如圖10所示,圖10(a)的精度為84.0%,圖10(b)的精度為83.8%,圖10(c)的精度為82.0%,預(yù)測(cè)的總體精度為83.3%,Kappa系數(shù)0.832,分類精度低于上述兩種機(jī)器學(xué)習(xí)方法,耗時(shí)6.533h.從預(yù)測(cè)圖像中可以看出,采用卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行植被分類也能取得很好的效果,但水生植被分類效果較差.

表3 面向?qū)ο蠓诸惢煜仃?/p>

圖9 訓(xùn)練集、驗(yàn)證集的損失曲線

3.2.4 三種方法性能比較 分析三種分類方法的性能指標(biāo)對(duì)比見(jiàn)表5.對(duì)比三種分類方法,可以看出在本論文的小樣本、小區(qū)域植被分類中,機(jī)器學(xué)習(xí)的方法優(yōu)于深度學(xué)習(xí)方法.一方面是機(jī)器學(xué)習(xí)分類中選取了實(shí)踐經(jīng)驗(yàn)中十分有效的特征構(gòu)成了聯(lián)合光譜-紋理-空間信息的多維特征空間,使得機(jī)器學(xué)習(xí)的精度得以提升;另一方面是深度學(xué)習(xí)方法受到小樣本和計(jì)算機(jī)性能的限制,導(dǎo)致其在精度和效率上難以發(fā)揮自身優(yōu)勢(shì).

表4 深度學(xué)習(xí)分類混淆矩陣(萬(wàn))

表5 三種分類方法結(jié)果對(duì)比

4 討論

通過(guò)以上三種分類算法的比較實(shí)驗(yàn),也可以分別看到幾種算法的不足.①基于像素的分類方法無(wú)法充分利用遙感影像的紋理、結(jié)構(gòu)信息,會(huì)產(chǎn)生“椒鹽現(xiàn)象”和“同物異類”現(xiàn)象,并且每次分類都需要手動(dòng)選取樣本,分類的效果常常取決于樣本的選擇,自動(dòng)化程度較低,因此本研究建立了聯(lián)合光譜-紋理-空間信息的多維特征空間,結(jié)果表明分類精度有一定的提升;②面向?qū)ο蟮姆诸惙椒梢猿浞掷糜跋竦募y理、結(jié)構(gòu)信息,能夠更好地識(shí)別具有規(guī)則形狀的地物,理論上應(yīng)該明顯高于基于像素方法的分類精度,但在高分影像的復(fù)雜場(chǎng)景中,很難準(zhǔn)確的對(duì)地物進(jìn)行分割,而分割結(jié)果的好壞直接影響到分類的精度,因此,面向?qū)ο蠓椒ǖ姆诸惥葍H比基于像元方法高0.3%,自動(dòng)化程度也不高;③基于深度學(xué)習(xí)“端到端”的方法能夠更好地實(shí)現(xiàn)自動(dòng)化且能夠處

理高分影像中復(fù)雜場(chǎng)景的分類,但對(duì)計(jì)算能力和樣本量的需求較高,更適用于大范圍、樣本數(shù)據(jù)量較大的植被分類問(wèn)題.本研究由于研究區(qū)較小,無(wú)法制作足夠數(shù)量的數(shù)據(jù)集,且實(shí)驗(yàn)條件有限,因此選擇了樣本需求量較小的U-Net和網(wǎng)絡(luò)參數(shù)量較少的MobileNet進(jìn)行結(jié)合的Mobile-Unet分割模型.實(shí)驗(yàn)結(jié)果表明,小樣本卷積神經(jīng)網(wǎng)絡(luò)提取出的特征并沒(méi)有人工選取的特征更有效.因此,分類精度也會(huì)低于一般的機(jī)器學(xué)習(xí)分類方法.

由于本研究受限于小樣本和缺乏可以遷移的遙感影像樣本數(shù)據(jù)集,基于深度學(xué)習(xí)方法的城市植被精細(xì)分類并不具有優(yōu)勢(shì).然而眾所周知,利用深度學(xué)習(xí)的方法進(jìn)行分類具有巨大的潛力.其一,傳統(tǒng)的分類方法,需要人工提取或選擇特征,且都是淺層特征,而深度學(xué)習(xí)方法可以提取高級(jí)語(yǔ)義特征,在大數(shù)據(jù)集的應(yīng)用上非常具有優(yōu)勢(shì);其二,一般的機(jī)器學(xué)習(xí)方法在每次分類時(shí)都需要針對(duì)具體應(yīng)用手動(dòng)選取樣本,泛化能力較差,而深度學(xué)習(xí)方法自己學(xué)習(xí)到的特征泛化能力更好,魯棒性更強(qiáng).未來(lái)可以不斷擴(kuò)展植被分類數(shù)據(jù)集,在更大范圍內(nèi)(如整個(gè)城市)、選擇效果更好的深度卷積網(wǎng)絡(luò)進(jìn)行植被分類研究,才能讓深度學(xué)習(xí)發(fā)揮其價(jià)值.

5 結(jié)論

5.1 本文使用的聯(lián)合光譜-紋理-空間信息的植被多特征空間能夠提高基于像素方法和面向?qū)ο蠓椒ㄟM(jìn)行植被精細(xì)分類的精度,同時(shí)CIVE植被指數(shù)的加入也提高了面向?qū)ο蠓椒ǖ某醪椒指钚Ч?

5.2 基于像素的SVM分類和面向?qū)ο蟮腟VM分類總體精度都達(dá)到90%以上,基于深度學(xué)習(xí)方法的Mobile-Unet模型分類總體精度約為83%,兩類基于SVM的分類方法均能夠很好地提取不同綠化效益的植被,在算法效率上,明顯要優(yōu)于Mobile-Unet模型.可見(jiàn),在研究區(qū)域小、數(shù)據(jù)量有限的情況下,無(wú)論從效率還是精度來(lái)看,傳統(tǒng)的基于機(jī)器學(xué)習(xí)的方法比深度學(xué)習(xí)方法更適用.

[1] CJJ/T 85-2017 城市綠地分類標(biāo)準(zhǔn)[S].

CJJ/T 85-2017 Standard for classification of urban green space [S].

[2] 白曉瓊,王 汶,林子彥,等.基于高空間分辨率遙感影像的三維綠度度量[J]. 國(guó)土資源遙感, 2019,31(4):53-59.

Bai X Q, Wang W, Lin Z Y, et al. Three-dimensional measuring for green space based on high spatial resolution remote sensing images [J]. Remote Sensing for Land and Resources, 2019,31(4):53-59.

[3] 費(fèi)鮮蕓.高分辨率遙感影像在城市綠地信息提取中的應(yīng)用研究 [D]. 泰安:山東農(nóng)業(yè)大學(xué), 2006.

Fei X Y. The study of urban green space surveying based on high resolution RS images [D]. Taian: Shandong Agricultural University, 2006.

[4] 趙康兵.高分辨率遙感影像技術(shù)應(yīng)用研究——以城市綠化精細(xì)化調(diào)查為例 [J]. 南京工程學(xué)院學(xué)報(bào)(自然科學(xué)版), 2019,17(4):50-56.

Zhao K B. Application of high resolutionremote sensing image technology—taking urban greening investigation as an example [J]. Journal of Nanjing Institute of Technology (Natural Science Edition), 2019,17(4):50-56.

[5] 顏梅春.高分辨率影像的植被分類方法對(duì)比研究[J]. 遙感學(xué)報(bào), 2007,(2):235-240.

Yan M C. Research and contrast on several vegetation-classification methods of high-resolution satellite image data [J]. Journal of Remote Sensing, 2007,(2):235-240.

[6] 韓文霆,張立元,張海鑫,等.基于無(wú)人機(jī)遙感與面向?qū)ο蠓ǖ奶镩g渠系分布信息提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2017,48(3):205-214.

Han W T, Zhang L Y, Zhang H X, et al. Extraction method of sublateral canal distribution information based on UAV remote sensing [J]. Transactions of the Chinese Society for Agricultural Machinery, 2017,48(3):205-214.

[7] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(4):640-651.

[8] Badrinarayanan V, Kendall A, Cipolla R.SegNet: A deep convoluntional encoder-decoder architecture for image segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,39(12):2481-2495.

[9] Ronneberger O, Fischer P, Brox T.U-Net: Convolutional networks for biomedicalimage segmentation [C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2015:234-241.

[10] Li D, Ke Y, GongH, et al. Object-based urban tree species classification using bi-temporal WorldView-2 and World View- 3images [J]. Remote Sensing, 2015,7(12):16917-16937.

[11] 徐知宇,周 藝,王世新,等.面向GF-2遙感影像的U-Net城市綠地分類[J]. 中國(guó)圖象圖形學(xué)報(bào), 2021,26(3):0700-0713.

Xu Z Y, Zhou Y, Wang S X, et al. U-Net for urban green space classification in Gaofen-2remote sensingimages [J]. Journal of Image and Graphics, 2021,26(3):0700-0713.

[12] 周 濤,胡振琪,韓佳政,等.基于無(wú)人機(jī)可見(jiàn)光影像的綠色植被提取 [J]. 中國(guó)環(huán)境科學(xué), 2021,41(5):2380-2390.

Zhou T, Hu Z Q, Han J Z, et al. Green vegetation extraction based on visible light image of UAV [J]. China Environmental Science, 2021, 41(5):2380-2390.

[13] 楊蜀秦,宋志雙,尹瀚平,等.基于深度語(yǔ)義分割的無(wú)人機(jī)多光譜遙感作物分類方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2021,52(3):185-192.

Yang S Q, Song Z S, Yin H P, et al. Crop classification method of UVA multispectral remote sensing based on deep semantic segmentation [J]. Transactions of the Chinese Society for Agricultural Machinery, 2021,52(3):185-192.

[14] Torres D L, Feitosa R Q, Happ P N, et al. Applying fully convolutional architectures for semantic segmentation of a single tree species in urban environment on high resolution UAV optical imagery [J]. Sensors, 2020,20(2):563.

[15] 戴鵬欽,丁麗霞,劉麗娟,等.基于FCN的無(wú)人機(jī)可見(jiàn)光影像樹(shù)種分類[J]. 激光與光電子學(xué)進(jìn)展, 2020,57(10):36-45.

Dai P Q, Ding L X, Liu L J, et al. Tree species identification based on FCN using the visible images obtained from an unmanned aerial vehicle [J]. Laser & Optoelectronics Progress, 2020,57(10):36-45.

[16] 林志瑋,涂偉豪,黃嘉航,等.基于FC-DenseNet的低空航拍光學(xué)圖像樹(shù)種識(shí)別[J]. 國(guó)土資源遙感, 2019,31(3):225-233.

Lin Z W, Tu W H, Huang J H, et al. Tree species recognition of UAV aerial images based on FC-DenseNet [J]. Remote Sensing for Land and Resources, 2019,31(3):225-233.

[17] Schiefer F, Kattenborn T, Frick A, et al.U-Net: Mapping forest tree species in high resolution UAV-based RGB-imagery by means of convolutional neural networks [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020,170:205-215.

[18] Sothe C, De Almeida C M, Schimalski M B, et al.Comparative performance of convolutional neural network, weighted and conventional support vector machine and random forest for classifying tree species using hyperspectral and photogrammetric data [J]. GIS & Remote Sensing, 2020,57(3):369-394.

[19] 左萍萍,付波霖,藍(lán)斐蕪,等.基于無(wú)人機(jī)多光譜的沼澤植被識(shí)別方法 [J]. 中國(guó)環(huán)境科學(xué), 2021,41(5):2399-2410.

Zuo P P, Fu B L, Lan F W, et al. Classification method of swamp vegetation using UAV multispectral data [J]. China Environmental Science, 2021,41(5):2399-2410.

[20] 李 艷,和太平.廣東省茂名市居住區(qū)綠地植物資源及應(yīng)用調(diào)查分析 [J]. 安徽農(nóng)業(yè)科學(xué), 2021,49(8):116-119.

Li Y, He T P.Investigation and application analysis of green land plantresources in residential area of Maoming city, Guangdong Province [J]. Journal of Anhui Agricultural Sciences, 2021,49(8):116- 119.

[21] 楊 禮.融合UAV遙感影像與SFM點(diǎn)云的樹(shù)木識(shí)別及參數(shù)提取 [D]. 焦作:河南理工大學(xué), 2018.

Yang L. Tree parameters extraction using UAV remote sensing image and SFM point cloud [D]. Jiaozuo: Henan Polytechnic University, 2018.

[22] 汪小欽,王苗苗,王紹強(qiáng),等.基于可見(jiàn)光波段無(wú)人機(jī)遙感的植被信息提取 [J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015,31(5):152-159.

Wang X Q, Wang M M, Wang S Q, et al. Extraction of vegetation information from visible unmanned aerial vehicle images [J]. Transactions of the Chinese Society of Agricultural Engineering, 2015,31(5):152-159.

[23] Verrelst J, Schaepman M E, Koetz B, et al.Angular sensitivity analysis of vegetation indices derived from CHRIS/PROBA data [J]. Remote Sensing of Environment, 2008,112(5):2341-2353.

[24] Meyer G E, Neto J C. Verification of color vegetation indices for automated crop imaging applications [J]. Computers & Electronics in Agriculture, 2008,63(2):282-293.

[25] 宋榮杰,寧紀(jì)鋒,劉秀英,等.基于紋理特征和SVM的QuickBird影像蘋(píng)果園提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2017,48(3):188-197.

Song R J, Ning J F, Liu X Y, et al. Apple orchard extraction with Quick Birdimagery based ontexture features and support vector machine [J]. Transactions of the Chinese Society for Agricultural Machinery, 2017,48(3):188-197.

[26] 鄭亞卿,楊張海,高凱旋,等.基于多時(shí)相Landsat-8的森林生態(tài)系統(tǒng)樹(shù)種精細(xì)分類[J]. 測(cè)繪與空間地理信息, 2021,44(6):158-161.

Zheng Y Q, Yang Z H, Gao K X, et al. Sophisticated classification of tree species in forest ecosystembased on multi-temporal Landsat-8 [J]. Geomatics & Spatial Information Technology, 2021,44(6):158-161.

[27] Vapnik V N. The nature of statistical learning theory [M]. New York: Springer-verlag, 1995.

[28] 邊肇祺,張學(xué)工.模式識(shí)別第二版[M]. 北京:清華大學(xué)出版社, 2000.

Bian Z Q, Zhang X G. Pattern recognition (The second edition) [M]. Beijing:Tsinghua University Press, 2000.

[29] 王志盼,沈 彥,王 亮,等.單類分類框架下的高分辨率遙感影像建筑物變化檢測(cè)算法 [J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2020,45(10): 1610-1618.

Wang Z P, Shen Y, Wang L, et al. High resolutionremote sensing image building change detection basedon one class classifier framework [J]. Geomatics and Information Science of Wuhan University, 2020,45(10):1610-1618.

[30] Baatz M, Schape A. Object-oriented and multi-scale image analysis in semantic networks [C]// Proceedings of the 2nd International Symposium on Operationalization of Remote Sensing, Enschede, Netherlands, 1999:16-20.

[31] 周小成,鄭 磊,黃洪宇.基于多特征優(yōu)選的無(wú)人機(jī)可見(jiàn)光遙感林分類型分類 [J]. 林業(yè)科學(xué), 2021,57(6):24-36.

Zhou X C, Zheng L, Huang H Y. Classification of forest stand based on multi-feature optimization of UAV visible light remote sensing [J]. Scientia Silvae Sinicae, 2021,57(6):24-36.

[32] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications [J]. arXiv:1704.04861, 2017.

Fine classification of urban vegetation based on UAV images.

LIN Yi1, ZHANG Wen-hao1, YU Jie1*, ZHANG Han-chao2

(1.College of Surveying and Geo-Informatics, Tongji University, Shanghai 200092, China；2.Institute of Photogrammetry and Remote Sensing, Chinese Academy of Surveying and Mapping, Beijing 100830, China)., 2022,42(6)：2852～2861

The fine classification and information extraction of urban public vegetation based on remote sensing methods hasgreat significance in urban land use change, urban ecological environment monitoring and urban planning. Aiming toreducethe heavy workload, high cost and enhancetheefficiency of traditional vegetation resource survey methods, a multi-dimensional feature space including spectral, spatial and texture features for describing different types of urban vegetation was proposed in this study. Then a comparison experiment of three typical classification algorithms (pixel-based, object-oriented support vector machine and deep learning semantic segmentation model-Mobile-Unet) was accomplished. The experimental results indicate that: The proposed spectrum-texture-spatial feature extraction method can describe different types of urban vegetation effectively, and improve the accuracy of image segmentation and vegetation classification significantly. In terms of classification accuracy, the overall accuracy of pixel-based and object-oriented support vector machine classification exceed 90%, while the overall accuracy of deep learning method is only 84%. In terms of efficiency, traditional machine learning methods are also superior to deep learning method. Therefore, for the fine classification of different vegetation in small urban areas with small samples, traditional machine learning classification methods are more effective than deep learning method.

unmanned aerial vehicle image；urban vegetation;fine classification；multi-dimensional feature space;machine learning;deep learning

TP751.1 ,X87

A

1000-6923(2022)06-2852-10

林 怡(1970-),女,浙江溫州人,研究員,博士,主要從事數(shù)字?jǐn)z影測(cè)量與城市、環(huán)境遙感研究.發(fā)表論文80余篇.

2021-11-17

地理信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金課題(SKLGIE2018- K-3-1);上海市“科技創(chuàng)新行動(dòng)計(jì)劃”科技攻關(guān)項(xiàng)目(20dz1201200);自然資源部測(cè)繪科學(xué)與地球空間信息技術(shù)重點(diǎn)實(shí)驗(yàn)室開(kāi)放研究基金課題(2020-2-3)

*責(zé)任作者, 助理教授, 2011_jieyu@#edu.cn