基于實(shí)例分割的高郁閉度林分單木樹冠無人機(jī)遙感提取

謝運(yùn)鴻，荊雪慧，孫 釗，丁志丹，李 睿，李豪偉，孫玉軍

(北京林業(yè)大學(xué)森林資源和環(huán)境管理國家林業(yè)和草原局重點(diǎn)開放性實(shí)驗(yàn)室，北京 100083)

樹冠是森林資源調(diào)查與監(jiān)測中重要的樹木測量指標(biāo)之一[1]，基于實(shí)地調(diào)查的樹冠測量雖然能夠提供可靠的相關(guān)信息[2-3]，但耗時(shí)耗力。因此，迫切需要一種快速、準(zhǔn)確地檢測樹冠的新思路。遙感技術(shù)在森林調(diào)查中的應(yīng)用提供了有效準(zhǔn)確的樹木測量，例如，無人機(jī)可以在高空間分辨率下探測到詳細(xì)的森林信息[4]。史結(jié)清等[5]指出，無人機(jī)遙感在高郁閉度或植被茂密的林分無法被充分利用，只能通過人工判讀獲取目標(biāo)林分的郁閉度，但因?yàn)楦哂糸]度林分中樹冠特征復(fù)雜，人工判讀也會(huì)存在一定的偏差。包括局部最大/最小檢測[6]、邊緣檢測[7]、分水嶺[8]、區(qū)域生長[9]和模板匹配[10]等傳統(tǒng)分割方法，無法充分挖掘或提取無人機(jī)圖像中的所有可用信息，利用新的方法快速、準(zhǔn)確、自動(dòng)測量和監(jiān)測森林屬性越來越引起人們的興趣。實(shí)例分割[11]是基于圖像深度學(xué)習(xí)的一種技術(shù)，它不再依賴于一致的光譜特征或基于規(guī)則的算法，并已被證明能夠超越經(jīng)典的遙感技術(shù)。在林業(yè)方面，深度學(xué)習(xí)已成功應(yīng)用于單木檢測[9]、植物病害和健康檢測[12]、森林樹種制圖[13]等等。Mask R-CNN作為基于掩碼區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)[14]，是近年來前沿的模型，它集成了目標(biāo)檢測任務(wù)和語義分割任務(wù)來執(zhí)行實(shí)例分割。本研究試驗(yàn)了基于無人機(jī)RGB影像和Mask R-CNN實(shí)例分割的一種適合高郁閉度人工純林單木樹冠提取的模型，比較低郁閉度與高郁閉度林分的樹冠提取效果，為高郁閉度單木樹冠提取提供新思路。

1 研究區(qū)概況與數(shù)據(jù)來源

本研究共選擇了2個(gè)研究區(qū)，高郁閉度林分的影像采集點(diǎn)位于福建省三明市將樂縣國有林場（26°41′ N，117°27′ E），低郁閉度林分的影像取自于江西省贛州市大余縣集體林區(qū)（25°21′ N，114°19′ E）。2個(gè)研究區(qū)均為杉木純林，其中于福建獲取影像總面積13.7 hm2，2021年7月使用大疆悟2無人機(jī)拍攝，影像地面采樣距離(GSD)為4 cm；于江西獲取影像總面積為27.8 hm2，2018年8月使用大疆精靈4Pro無人機(jī)拍攝，GSD為4 cm。影像均采用瑞士Pix4d公司的無人機(jī)數(shù)據(jù)處理軟件Pix4dmapper進(jìn)行圖像處理，合成的數(shù)字正射影像如圖1所示。各選取94份512 ×512像素的影像，分別包含3769、5170個(gè)樹冠，利用VIA軟件手動(dòng)勾繪單木樹冠邊緣以完成樹冠標(biāo)注，輸出的標(biāo)注和影像作為模型的樣本，分為訓(xùn)練集40張，驗(yàn)證集24張，測試集30張，示例樣本見圖1（d ～ g），數(shù)據(jù)集各參數(shù)統(tǒng)計(jì)見表1。

圖1 研究區(qū)概況示意圖(b和c分別為高郁閉度林分和低郁閉度林分無人機(jī)影像)Fig. 1 Survey map of the study area（b and c are UAV images of high canopy density forest and low canopy density forest, respectively）

表1 數(shù)據(jù)集參數(shù)統(tǒng)計(jì)Table 1 Parameters statistics of dataset

2 研究方法

2.1 實(shí)例分割模型：Mask R-CNN

Mask R-CNN作為Faster R-CNN[15]的擴(kuò)展模型，以Faster R-CNN為基礎(chǔ)在目標(biāo)檢測末端框架中加入1個(gè)掩膜分支，借助全連接層（FC）使得每個(gè)輸出建議框?qū)崿F(xiàn)實(shí)例分割。Mask R-CNN的架構(gòu)分為3個(gè)階段，第一階段通過主干網(wǎng)絡(luò)從輸入圖像中提取特征圖，分別選取7種主干網(wǎng)絡(luò)，如表2所示，第二階段將特征圖傳輸給區(qū)域建議網(wǎng)絡(luò)（RPN）生成興趣區(qū)域（RoIs），最后階段由RPN生成的ROIs映射至共享特征圖中提取相應(yīng)的目標(biāo)特征，經(jīng)過興趣區(qū)域?qū)R層（ROIAlign）對(duì)齊，然后分別輸出到FC和全卷積網(wǎng)絡(luò)（FCN）中進(jìn)行目標(biāo)分類和實(shí)例分割，在此過程中生成了分類置信度、邊界框和分割實(shí)例之間的掩膜。

表2 模型主干Table 2 Backbone of model

2.2 模型訓(xùn)練

模型訓(xùn)練環(huán)境為Windows 10操作系統(tǒng)，顯示核心（GPU）為NAVIDIA RTX2070，顯存為8 GB，中央處理器（CPU）為英特爾i7-9750，內(nèi)存為32 GB，基于Python3.6編程平臺(tái)，利用Pytorch搭建實(shí)例分割Mask R-CNN各個(gè)模型。各模型參數(shù)設(shè)置基本一致，學(xué)習(xí)率設(shè)置為0.00025，各部分損失權(quán)重初始值設(shè)為1，權(quán)重衰減系數(shù)設(shè)為0.0001，批量為1，置信度閾值設(shè)為0.7。模型輸出結(jié)果包括每張圖像中每個(gè)實(shí)例的類別預(yù)測、邊界框預(yù)測、置信度以及掩膜預(yù)測，模型的訓(xùn)練損失主要包括2個(gè)部分：RPN的訓(xùn)練損失和多分支預(yù)測網(wǎng)絡(luò)中的訓(xùn)練損失，訓(xùn)練過程中損失值穩(wěn)定后代表訓(xùn)練完成，所有模型迭代4000次后總損失值均達(dá)到穩(wěn)定狀態(tài)。

2.3 林分參數(shù)提取與精度評(píng)價(jià)

訓(xùn)練完成后，每個(gè)模型對(duì)應(yīng)1個(gè)權(quán)重文件，將預(yù)測圖像和權(quán)重文件輸入至模型中，實(shí)例分割結(jié)果經(jīng)過OpenCV工具包的轉(zhuǎn)換，在圖像中每個(gè)實(shí)例繪畫掩膜、邊界框和標(biāo)注類別，因?yàn)楸驹囼?yàn)實(shí)例只含單個(gè)類別而且圖像大小較小，在結(jié)果后處理過程中將不標(biāo)注類別。實(shí)例分割結(jié)果中的掩膜和邊界框是以數(shù)組的形式展現(xiàn)的，掩膜數(shù)組包含所有實(shí)例邊緣像素的圖像空間坐標(biāo)，邊界框數(shù)組涵蓋4個(gè)角點(diǎn)的圖像空間坐標(biāo)，由此可進(jìn)行林分參數(shù)提取。假設(shè)模型對(duì)一張影像（默認(rèn)xy像元一致，影像寬高為w和h） 預(yù)測出n株 樹，影像的地面采樣距離為gsd，第i（i≦n） 株單木的樹冠預(yù)測邊界框Bi=(y1,y2,y3,y4)， 類別為Ci（Ci值為0或1，0代表背景，1代表杉木），掩膜為Mi（Mi內(nèi)元素個(gè)數(shù)等于影像的高與寬的乘積，內(nèi)部元素值為0或1，0元素代表背景像素，1元素代表樹冠像素），整張圖像的預(yù)測結(jié)果S=((B1,C1,M1),…,(Bi,Ci,Mi),…,(Bn,Cn,Mn))。 則該影像中單木株樹N=n， 第i株單木東西冠幅EWi=∣y3-y1∣×gsd2， 第i株 單木南北冠幅SNi=∣y4-y2∣×gsd2，第i株 單木樹冠面積Gi=sum(Mi)×gsd2（ s um為元素求和函數(shù)），整張影像的林分郁閉度。采用交并比（IoU）、邊界框平均精度（Box-AP）和分割平均精度（Segm-AP）對(duì)樹冠實(shí)例分割結(jié)果進(jìn)行評(píng)價(jià)，采用均方根誤差和預(yù)測決定系數(shù)進(jìn)行單木參數(shù)和林分參數(shù)提取的評(píng)估。

3 結(jié)果

3.1 樹冠實(shí)例分割結(jié)果

7個(gè)模型的實(shí)例分割結(jié)果如圖2所示，c ～i為低郁閉度林分可視化結(jié)果，影像中林分稀疏，單木樹冠之間邊緣可明顯區(qū)分；l ～ r為高郁閉度林分可視化結(jié)果，由于林分密集，樹冠與樹冠之間重疊比例比低郁閉度林分高，相鄰樹冠之間較難區(qū)分邊緣，而且樹冠邊緣復(fù)雜，對(duì)樹冠分割是一項(xiàng)挑戰(zhàn)。各個(gè)模型均能夠分割相鄰樹冠，得到較為清晰的樹冠邊緣。對(duì)7個(gè)模型進(jìn)行精度評(píng)價(jià)，不同郁閉度各模型的Box-AP和Segm-AP值如圖3所示，低郁閉度測試集的Box-AP和Segm-AP平均值分別為55.89%、57.29%，比高郁閉度測試集的Box-AP平均值（46.00%）和Segm-AP平均值（44.45%）高出9.89%、12.84%。低郁閉度測試集中，分割性能最優(yōu)的模型為R50-DC5，Box-AP和Segm-AP值分別為57.63%、58.83%；高郁閉度測試集中，各模型AP值差異不明顯，分割性能最優(yōu)的模型為R101-DC5，Box-AP和Segm-AP值分別為47.93%、47.22%。

圖2 低/高郁閉度林分影像分割結(jié)果可視化（c ～ i, l ～ r分別為R50-C4、R50-DC5、R50-FPN、R101-C4、R101-DC5、R101-FPN和X101-FPN實(shí)例分割結(jié)果）Fig. 2 Visual segmentation results of low/high canopy density forest images(c ～ i, l ～ r are R50-C4, R50-DC5,R50-FPN, R101-C4, R101-DC5, R101-FPN and X101-FPN instance segmentation results)

圖3 AP圖Fig. 3 AP figure

3.2 單木參數(shù)提取

分別在7個(gè)模型測試集中抽取300個(gè)IoU≥0.5樹冠，進(jìn)行精度評(píng)價(jià)（見表3）。低郁閉度林分東西冠幅、南北冠幅和樹冠面積參數(shù)提取平均RMSE分別為0.161、0.179和0.341，平均R2分別為0.912、0.918和0.957，東西冠幅、南北冠幅和樹冠面積參數(shù)提取最優(yōu)模型分別為R101-FPN、R101-C4和R101-C4。ResNet101在樹冠提取性能優(yōu)于ResNet50，更深層次的殘差網(wǎng)絡(luò)對(duì)特征的準(zhǔn)確提取有著一定的優(yōu)勢，但是在低郁閉度林分中優(yōu)勢不明顯。高郁閉度林分東西冠幅、南北冠幅和樹冠面積參數(shù)提取平均RMSE分別為0.479、0.497和1.256，平均R2分別為0.806、0.762和0.936。隨著林分郁閉度的增加，影像中單木特征逐漸復(fù)雜，參數(shù)提取偏差變大，但是低/高郁閉度林分單木樹冠面積提取的R2僅相差0.021，說明實(shí)例分割模型在高郁閉度林分仍能夠做到較準(zhǔn)確提取樹冠參數(shù)。高郁閉度林分中各參數(shù)提取最佳模型均為R101-FPN，RMSE分別為0.369、0.395和1.079，R2分別為0.886、0.861和0.948，R101-FPN更適應(yīng)于高郁閉度林樹冠參數(shù)的提取。

表3 單木樹冠冠幅和面積提取評(píng)價(jià)Table 3 Evaluation table of crown width and area extraction of single tree

3.3 林分參數(shù)提取

各實(shí)例分割模型低、高郁閉度測試集的林分單木株數(shù)提取結(jié)果如圖4所示，縱坐標(biāo)為單木株數(shù)，折線的每個(gè)折點(diǎn)代表不同單木株數(shù)的等面積樣地。低郁閉度林分影像中各模型單木株數(shù)提取偏差均比高郁閉度低，且隨著林分單木株數(shù)的增加偏差也不會(huì)呈明顯的增加的趨勢，反觀高郁閉度林分單木株數(shù)提取結(jié)果，隨著林分單木株數(shù)的增加偏差呈一定的增加趨勢，代表株數(shù)密度越大，提取性能呈下降趨勢。R101-FPN模型在高郁閉度測試集的表現(xiàn)最好，根據(jù)圖4（m）中隨著樣地內(nèi)單木株數(shù)越來越多，參考株數(shù)與預(yù)測株數(shù)的偏差沒有呈現(xiàn)越來越大的趨勢，因此該模型對(duì)各株數(shù)密度的林分的提取有著一定的穩(wěn)定性。如圖5所示，在對(duì)測試集的林分郁閉度預(yù)測中，低、高郁閉度林分郁閉度預(yù)測性能最優(yōu)的模型均為R101-FPN，R2分別為0.873、0.865。綜上所述，在7個(gè)實(shí)例分割模型中，各郁閉度的林分參數(shù)提取綜合性能最優(yōu)的為R101-FPN模型。

圖4 低/高郁閉度林分單木株數(shù)預(yù)測散點(diǎn)圖（a～g, h～n分別為低/高郁閉度散點(diǎn)圖）Fig. 4 Scatter plots of single tree number prediction in low/ high canopy density forest(a～g, h～n are low/high canopy density scatterplots, respectively)

圖5 低/高郁閉度林分郁閉度預(yù)測散點(diǎn)圖（a～g, h～n分別為低/高郁閉度散點(diǎn)圖）Fig. 5 Scatter plots of canopy density number prediction in low/high canopy density forest(a～g, h～n are low/high canopy density scatterplots, respectively)

4 討論

依托7個(gè)Mask R-CNN實(shí)例分割模型，利用無人機(jī)遙感影像，展示了一種自動(dòng)化、準(zhǔn)確、計(jì)算高效的提取杉木純林單木樹冠的方法。與馮靜靜等[16]對(duì)組成結(jié)構(gòu)簡單且分辨率為0.2 m的青海云杉成熟純林進(jìn)行灰度梯度圖像分割方法的樹冠提取相比，本研究的高郁閉度復(fù)雜特征林分單木樹冠面積預(yù)測（以R101-FPN為例）R2與簡單特征青海云杉成熟純林灰度梯度圖像分割方法相當(dāng)，均為0.95，本研究的實(shí)例分割模型可以實(shí)行批量分割，容錯(cuò)率更高，更輕易獲得每個(gè)單木樹冠的冠幅、面積和林分的郁閉度參數(shù)。面對(duì)無人機(jī)影像中樹冠之間相互粘連的情況，傳統(tǒng)數(shù)字圖像處理的樹冠提取方法的圖像分割參數(shù)需要多次試驗(yàn)后手動(dòng)設(shè)定，且較難做到精準(zhǔn)提取單木和應(yīng)用于不同的場景。例如李明華等[17]對(duì)水杉人工林影像（分辨率為0.3 m）進(jìn)行分水嶺分割，樹冠面積預(yù)測R2高于0.9的區(qū)域只存在單木分布均一、樹冠之間有明顯間隙、樹木冠幅和長勢基本一致的林分。面對(duì)高郁閉度林分樹冠的提取，實(shí)例分割模型做到了一定精度的單木樹冠提取。影響實(shí)例分割模型提取樹冠精度的因素除了林分條件外，還有影像分辨率，在林分稀疏且結(jié)構(gòu)組成簡單、分辨率為亞米級(jí)的影像，各種分割方法[8,18-19]能夠做到單木計(jì)數(shù)和粗略的樹冠邊緣描繪，適用于不要求高精度的大范圍林分樹冠信息獲取。但是要求在林分樹冠特征復(fù)雜的動(dòng)態(tài)變化監(jiān)測[20]、樹冠形態(tài)檢測、建立以樹冠參數(shù)為基礎(chǔ)的林分模型等高精度研究試驗(yàn)中，性價(jià)比高且便捷的無人機(jī)則更適合，其分辨率為厘米級(jí)的影像與合適的方法能更精準(zhǔn)地描繪樹冠的邊緣，更準(zhǔn)確地進(jìn)行單木計(jì)數(shù)。無人機(jī)厘米級(jí)影像可以依靠神經(jīng)網(wǎng)絡(luò)提取更多的樹冠特征以及更多的樹冠邊緣信息，神經(jīng)網(wǎng)絡(luò)相比其他傳統(tǒng)圖像處理方法，能提取到更多特征信息從而做到精準(zhǔn)單木樹冠提取。本研究中也有不少模型對(duì)高郁閉度林分存在漏分割的現(xiàn)象，所以在后續(xù)工作中，將無人機(jī)航拍影像生成的數(shù)字表面模型與數(shù)字高程模型運(yùn)算而得的冠層高度模型加入實(shí)例分割的運(yùn)算中，冠層高度模型蘊(yùn)含豐富的樹冠3D信息，與之前的RGB影像2D信息結(jié)合或許將得到更高的單木樹冠提取精度。

5 結(jié)論

本研究試驗(yàn)了基于實(shí)例分割模型進(jìn)行從低到高郁閉度的杉木純林單木樹冠提取的方法，實(shí)現(xiàn)了高精度、自動(dòng)化樹冠提取。主要結(jié)論：1）7個(gè)實(shí)例分割對(duì)單木樹冠的提取精度能夠達(dá)到林業(yè)生產(chǎn)實(shí)踐的需求，所有模型對(duì)低郁閉度測試集的Box-AP和Segm-AP平均值分別為55.89%、57.29%，對(duì)高郁閉度測試集的Box-AP和Segm-AP平均值分別為46.00%、44.45%；2）低郁閉度林分東西冠幅、南北冠幅和樹冠面積參數(shù)提取平均RMSE分別為0.161、0.179和0.341，平均R2分別為0.912、0.918和0.957，高郁閉度林分東西冠幅、南北冠幅和樹冠面積參數(shù)提取平均RMSE分別為0.479、0.497和1.256，平均預(yù)測R2分別為0.806、0.762和0.936；3）R101-FPN模型在高郁閉度測試集的表現(xiàn)最好，對(duì)各株數(shù)密度的林分的提取有著一定的穩(wěn)定性；4）低郁閉度林分郁閉度預(yù)測性能最好的模型為R101-FPN，預(yù)測R2可達(dá)0.873，高郁閉度林分郁閉度預(yù)測性能最好的為R101-FPN模型，預(yù)測R2可達(dá)0.865；5）綜合各評(píng)價(jià)指標(biāo)，R101-FPN模型具有樹冠提取精度高的特點(diǎn)。