基于深度學(xué)習(xí)的無人機(jī)多光譜圖像柑橘樹冠分割

宋昊昕 尤號(hào)田 劉遙 唐旭 陳建軍

摘 要：樹冠信息的準(zhǔn)確獲取是研究柑橘樹生長(zhǎng)及產(chǎn)量預(yù)測(cè)的重要指標(biāo)，但復(fù)雜的樹木結(jié)構(gòu)給樹冠的準(zhǔn)確提取帶來一定影響，深度學(xué)習(xí)的快速發(fā)展為柑橘樹冠信息準(zhǔn)確獲取提供了可能。采用一種新的基于深度學(xué)習(xí)的柑橘樹冠自動(dòng)提取方法，即將消費(fèi)級(jí)無人機(jī)采集的多光譜圖像與一種新的深度學(xué)習(xí)模型U2-Net結(jié)合，通過對(duì)獲取的圖像進(jìn)行幾何變換以構(gòu)建柑橘樹冠圖像數(shù)據(jù)集。將U2-Net模型和當(dāng)前3種主流深度學(xué)習(xí)模型（即PSPNet、U-Net和DeepLabv3+）分別在3個(gè)典型試驗(yàn)分區(qū)進(jìn)行試驗(yàn)以提取柑橘樹冠信息，并對(duì)提取結(jié)果進(jìn)行對(duì)比分析。結(jié)果表明，在3個(gè)試驗(yàn)分區(qū)，U2-Net模型的柑橘樹冠提取精度最高，其中交并比（IoU）、總體精度（OA）和F1分?jǐn)?shù)（F1-score）分別為91.93%、92.34%和93.92%。與其他3種深度學(xué)習(xí)模型相比，U2-Net模型的IoU、OA和F1-socre分別提高了3.63%～8.31%、1.17%～5.25%和1.97%～4.91%。此外，U2-Net模型柑橘樹冠提取面積和測(cè)量面積之間具有較高的一致性，3個(gè)試驗(yàn)分區(qū)決定系數(shù)（R2）均高于0.93，且與其他3種深度學(xué)習(xí)模型相比，U2-Net模型的錯(cuò)誤率也較低，均方根誤差（RMSE）為1.35 m2，均方誤差（MRE）為8.15%。此研究將無人機(jī)多光譜圖像與U2-Net模型相結(jié)合的方法能夠?qū)崿F(xiàn)柑橘樹冠的精確提取，且提取樹冠輪廓完整性較好，可為柑橘動(dòng)態(tài)生長(zhǎng)變化監(jiān)測(cè)和產(chǎn)量預(yù)測(cè)提供基礎(chǔ)數(shù)據(jù)與技術(shù)支撐。

關(guān)鍵詞：柑橘；深度學(xué)習(xí)；U2-Net；樹冠分割；無人機(jī)影像

中圖分類號(hào)：S252.3;P237 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-8023（2023）03-0140-10

Abstract：Accurate acquisition of canopy information was an important indicator to study the growth and yield prediction of citrus trees， but the complex tree structure had a certain impact on the accurate extraction of canopy. The rapid development of deep learning provided the possibility for accurate acquisition of citrus canopy information. Based on this， an automatic extraction method of citrus canopy based on deep learning was adopted， which combined the multispectral images collected by consumer drones with a new deep learning model U2-Net， and constructed a dataset of citrus tree canopy by performing geometric transformation on the acquired images. The U2-Net model and the current three mainstream deep learning models （i.e. PSPNet， U-Net and DeepLabv3+） were tested in three typical sample regions to extract the citrus canopy， and the extracted results were compared. Results showed that： in the three sample regions， the U2-Net model had the highest extraction accuracy of citrus canopy， with the intersection over union （IoU）， overall accuracy （OA） and F1-score of 91.93%， 92.34% and 93.92%， respectively. Compared with the other three deep learning models， the IoU， OA and F1-socre of the U2-Net model were improved by 3.63%-8.31%， 1.17%-5.25% and 1.97%-4.91%， respectively. In addition， the U2-Net model had high consistency between the extraction area and the measured area of the citrus canopy， and the coefficient of determination （R2） of the three sample regions was higher than 0.93， and the error rate of the U2-Net model was lower than that of the other three deep learning models， with a root mean square error （RMSE） of 1.35 m2 and a mean relative error （MRE） of 8.15%. The results showed that the method of combining the U2-Net model with the multi-spectral image of the drones can realize the accurate extraction of citrus canopy， and the extracted canopy contour had a good integrity， which can provide basic data and technical support for the monitoring of citrus dynamic growth changes and yield prediction.

Keywords：Citrus; deep learning; U2-Net; canopy segmentation; drone imagery

基金項(xiàng)目：國(guó)家自然科學(xué)基金（41901370， 42261063）；廣西自然科學(xué)基金（2020GXNSFBA297096）；廣西科技基地和人才專項(xiàng)（桂科AD19110064）；桂林理工大學(xué)科研啟動(dòng)基金（GLUTQD2017094）；廣西八桂學(xué)者專項(xiàng)項(xiàng)目（何宏昌）

第一作者簡(jiǎn)介：宋昊昕，碩士研究生。研究方向?yàn)閿z影測(cè)量與遙感。E-mail： 2120201703@glut.edu.cn

*通信作者：尤號(hào)田，博士，副教授。研究方向?yàn)閿z影測(cè)量與遙感。E-mail： youht@glut.edu.cn

0 引言

柑橘作為我國(guó)南方廣泛種植的果樹，在增加農(nóng)民收入等方面發(fā)揮著重要作用。柑橘樹冠、產(chǎn)量等基礎(chǔ)數(shù)據(jù)的準(zhǔn)確獲取是實(shí)施精準(zhǔn)農(nóng)業(yè)的前提[1]。然而，目前獲取這些數(shù)據(jù)的標(biāo)準(zhǔn)方法仍主要依靠人工勞動(dòng)，費(fèi)時(shí)費(fèi)力。由于成本限制，大范圍調(diào)查通常只選擇幾棵進(jìn)行，抽樣偏差和測(cè)量的稀疏性可能導(dǎo)致數(shù)據(jù)不準(zhǔn)確[2]。因此，需要開發(fā)一種快速、可靠的技術(shù)，精確提取柑橘單木信息。

柑橘因樹冠相對(duì)較小，一般僅為2.5～5 m，因而導(dǎo)致絕大多數(shù)基于遙感數(shù)據(jù)的研究多局限于區(qū)域尺度，難以精細(xì)到單木尺度。無人機(jī)（Unmanned Aerial Vehicles， UAV）憑借飛行高度低、操作靈活且成本較低等優(yōu)點(diǎn)，可獲得高達(dá)厘米級(jí)的影像數(shù)據(jù)，為柑橘單木提取研究提供了可靠的數(shù)據(jù)源。束美艷等[3]基于UAV影像，利用分水嶺算法進(jìn)行柑橘單木樹冠分割，從而提取柑橘株數(shù)、樹高和冠幅投影面積等結(jié)構(gòu)參數(shù)信息。Koc-San等[4]基于UAV獲取多光譜影像生產(chǎn)數(shù)字表面模型，采用順序閾值、Canny 邊緣檢測(cè)和圓形霍夫變換算法提取柑橘樹冠邊界，結(jié)果最高精度可達(dá)80%。

除影像空間分辨率外，單木分割算法也是影響柑橘單木信息精確提取的另一關(guān)鍵因素。傳統(tǒng)分割算法雖已發(fā)展較為成熟，但在單木分割領(lǐng)域研究結(jié)果卻不令人滿意。陳周娟等[5]采用種子區(qū)域增長(zhǎng)算法和標(biāo)記控制分水嶺算法分別進(jìn)行單木冠幅提取，結(jié)果正確率分別為73.14%和63.43%。萬祖毅[6]利用面向?qū)ο蠓指罘椒ㄟM(jìn)行單木分割進(jìn)而提取柑橘株數(shù)，結(jié)果精度僅為84.45%。深度學(xué)習(xí)（Deep Learning， DL）作為一種新興的數(shù)據(jù)挖掘技術(shù)，現(xiàn)已廣泛應(yīng)用于圖像目標(biāo)檢測(cè)與分割研究[7]。如：Osco等[8]提出一種新的卷積神經(jīng)網(wǎng)絡(luò)，基于無人機(jī)多光譜圖像估計(jì)柑橘單木數(shù)量，結(jié)果準(zhǔn)確度高達(dá)95%，但該算法樹冠識(shí)別結(jié)果為圓形，無法精確分割樹冠的細(xì)節(jié)。韓蕊等[9]基于UAV多光譜影像，在VGG16模型的基礎(chǔ)上通過篩選對(duì)柑橘分類較為準(zhǔn)確的波段，之后基于篩選波段利用U-Net進(jìn)行柑橘單木樹冠分割，結(jié)果準(zhǔn)確率達(dá)91.99%，但該研究所選樣地郁閉度不高，隨著郁閉度的增加分割準(zhǔn)確率有所下降。王輝等[10]構(gòu)建了基于Mask R-CNN單株樹冠的識(shí)別與分割模型，雖能精準(zhǔn)快速識(shí)別并分割復(fù)雜環(huán)境下的單株柑橘樹冠，準(zhǔn)確率達(dá)到97%，但該模型測(cè)試圖像中僅有一棵柑橘樹，沒有進(jìn)行多棵柑橘樹的識(shí)別。綜上所述可知，先前研究所用主流深度學(xué)習(xí)模型雖能實(shí)現(xiàn)單木樹冠分割，但仍存在一定不足，主要是因?yàn)檫@些模型用于提取原始圖像全局語義細(xì)節(jié)的主干是VGG[11]、ResNet[12]和DensNet[13]等結(jié)構(gòu)。這些網(wǎng)絡(luò)結(jié)構(gòu)主要是為圖像分類任務(wù)而設(shè)計(jì)的，很容易忽略豐富的低級(jí)和中級(jí)語義特征，導(dǎo)致地物提取的完整性降低。而且這些應(yīng)用于遙感地物提取的深度學(xué)習(xí)模型通常需要使用大量的遙感數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。如果目標(biāo)對(duì)象的特征與這些數(shù)據(jù)集有很大差異，則總體提取效果相對(duì)較差。U2-Net模型是Qin等[14]2020年提出的一種新的深度學(xué)習(xí)模型，具有2個(gè)嵌套層的U形深度網(wǎng)絡(luò)，無須對(duì)大量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，即可獲得較高的精度，現(xiàn)已成功用于人像圖像處理和生物醫(yī)學(xué)圖像分割，但在復(fù)雜樹木單木分割方面研究則較少，將其與無人機(jī)多光譜影像協(xié)同應(yīng)用進(jìn)行柑橘單木分割潛能仍需進(jìn)一步探索與驗(yàn)證。

本研究利用UAV進(jìn)行柑橘多光譜影像數(shù)據(jù)采集，并對(duì)UAV圖像進(jìn)行處理以構(gòu)建柑橘樹冠檢測(cè)和分割數(shù)據(jù)集，利用U2-Net模型與PSPNet， U-Net和DeepLabv3+深度學(xué)習(xí)模型分別進(jìn)行單木樹冠提取并對(duì)不同模型提取結(jié)果進(jìn)行對(duì)比研究，以探究U-2-Net模型進(jìn)行單木樹冠分割的潛能，從而獲得精度較高的單木分割方法，為柑橘動(dòng)態(tài)生長(zhǎng)變化監(jiān)測(cè)和產(chǎn)量預(yù)測(cè)提供基礎(chǔ)數(shù)據(jù)與技術(shù)支撐。

1 材料與方法

1.1 研究區(qū)概況

本研究所用研究區(qū)位于廣西壯族自治區(qū)桂林市雁山鎮(zhèn)柑橘種植基地（110°17′57.624″ E，25°2′6.072″ N），該區(qū)域地勢(shì)相對(duì)平坦，高程變化較小，研究區(qū)內(nèi)柑橘種植年份不同，因而冠形結(jié)構(gòu)差異較大。為進(jìn)一步驗(yàn)證深度學(xué)習(xí)模型對(duì)不同冠形結(jié)構(gòu)柑橘單木分割的適用性，在研究區(qū)內(nèi)選擇了3塊不同冠形結(jié)構(gòu)的柑橘，具體如圖1所示，其中區(qū)域A的柑橘樹種植年份相對(duì)較短，樹冠較小，間距大，樹冠間沒有明顯重疊；區(qū)域B柑橘樹樹冠間存在少部分重疊和粘附；區(qū)域C柑橘樹樹冠相對(duì)較大，且樹冠間有明顯的重疊或粘附。

1.2 無人機(jī)圖像采集

2021年11月在晴朗無風(fēng)的天氣利用DJI Phantom 4多光譜無人機(jī)對(duì)柑橘樹進(jìn)行數(shù)據(jù)采集，該多光譜傳感器配備6個(gè)CMOS（1/2.9英寸），可同時(shí)獲得6張影像，其中包括1張RGB真彩色圖片以及5張不同波段的灰度圖片，即藍(lán)光（Blue，B）、綠光（Green，G）、紅光（Red，R）、紅邊（Red Edge，RE）和近紅外（Near Infrared，NIR）。飛行高度設(shè)置為135 m，航向和旁向重疊度分別設(shè)置為75%，整個(gè)研究區(qū)域共采集了RGB以及5個(gè)波段11 800張照片，使用Pix4D軟件對(duì)采集的圖像進(jìn)行拼接，以生成空間分辨率為7.14 cm的數(shù)字正射影像圖。通過對(duì)比發(fā)現(xiàn)，RNB（ RNB為R波段，NIR波段和B波段組合的圖像）波段組合的圖像與RGB圖像相比，更能清晰地顯示柑橘樹冠輪廓，如圖2所示，因此本研究采用RNB圖像。

1.3 數(shù)據(jù)集構(gòu)建與數(shù)據(jù)擴(kuò)充

首先將研究區(qū)域的正射影像分為410個(gè)子圖像，從中選擇395個(gè)子圖像，其中包含柑橘樹。為了讓U2-Net深度學(xué)習(xí)模型更有效地學(xué)習(xí)圖像中柑橘樹冠的光譜特征，使用LabelMe 3.1.6圖像注釋軟件在每個(gè)子圖像中手動(dòng)標(biāo)記柑橘樹冠得到真實(shí)標(biāo)簽。為獲得最佳精度，深度學(xué)習(xí)模型通常需要許多圖像作為訓(xùn)練數(shù)據(jù)集。然而，在研究區(qū)域采樣的圖像數(shù)量通常是有限的，這將導(dǎo)致模型訓(xùn)練期間的過度擬合[15]。因此，本研究使用數(shù)據(jù)增強(qiáng)方法對(duì)圖像執(zhí)行一系列變換，擴(kuò)大數(shù)據(jù)集中的樣本數(shù)量，增強(qiáng)模型的泛化能力，研究區(qū)域的原始UAV圖像通過旋轉(zhuǎn)、翻轉(zhuǎn)和縮放進(jìn)行幾何變換，如圖3所示。擴(kuò)充后最終獲得2 370幅圖像，按照9∶1的比例劃分訓(xùn)練集和測(cè)試集，幾何變換后的數(shù)據(jù)使模型能夠更好地獲取不同角度、大小和形狀的柑橘樹冠特征，并提高了在各種條件下的適應(yīng)性。

1.4 U2-Net深度學(xué)習(xí)模型

該模型的總體設(shè)計(jì)框架為2層嵌套的U形網(wǎng)絡(luò)結(jié)構(gòu)，如圖4所示。每級(jí)都遵循一個(gè)編碼器-解碼器（encoder-decoder）結(jié)構(gòu)，類似于U-Net模型中的結(jié)構(gòu)。U2-Net模型的最外層是由編碼器和解碼器塊組成的11個(gè)獨(dú)立的大型U形結(jié)構(gòu)，每個(gè)U形結(jié)構(gòu)填充小的殘差U形塊（ReSidual U-blocks，RSU）。在前4個(gè)編碼階段（En_1～4），通過增加卷積層數(shù)來擴(kuò)展感受野，獲得更多的局部和全局特征。其中，頂層編碼器En_5和En_6中的特征映射的分辨率相對(duì)較低，進(jìn)一步降低這些特征映射的下采樣（downsampling）導(dǎo)致有用特征信息的丟失。因此，在En_5和En_6階段中，用擴(kuò)展卷積代替了池和上采樣（Upsample）操作，這使En_5和En_6的特征映射與其輸入特征映射具有相同的高分辨率。解碼階段與編碼階段類似，采用逐步上采樣、合并和卷積對(duì)高分辨率特征圖進(jìn)行編碼，減少了直接上采樣造成的細(xì)節(jié)損失。模型還增加了一個(gè)不同尺度的特征圖融合模塊來生成顯著性概率圖。原理如下：以分辨率為288×288的圖像為例，U2-Net首先通過一個(gè)3×3卷積層和一個(gè)sigmoid函數(shù)，從En_6、De_5、De_4、De_3、De_2和De_1生成6側(cè)輸出顯著性概率圖（six side output saliency probability maps）：S（6）side（1×9×9）、S（5）side（1×18×18）、S（4）side（1×36×36）、S（3）side （1×72×72）、S（2）side（1×144×144）和S（1）side（1×288×288）。然后，分別以32、16、8、4、2和1的采樣率對(duì)不同大小的特征概率圖進(jìn)行上采樣，以獲得6個(gè)1×288×288特征圖，這些特征圖使用1×1卷積層和Sigmoid函數(shù)進(jìn)行融合。最后，以最小的誤差生成樹冠預(yù)測(cè)圖（288×288）。新的設(shè)計(jì)使網(wǎng)絡(luò)能夠提取多尺度特征，并且不降低特征映射分辨率或顯著增加內(nèi)存和計(jì)算成本的情況下增加整個(gè)模型架構(gòu)的深度。

1.4.1 RSU結(jié)構(gòu)

通過借鑒經(jīng)典的U-Net網(wǎng)絡(luò)，該模型設(shè)計(jì)了一種新的殘差U-block（RSU），用于在幀內(nèi)捕捉多尺度特征。RSU（Cin、M和Cout）的結(jié)構(gòu)如圖5所示，其中Cin和Cout分別表示特征映射輸入和輸出通道的數(shù)量，而M表示RSU內(nèi)部層中的通道數(shù)量，L表示編碼器中包含的層數(shù)量。RSU由3個(gè)主要部分組成： 1）位于最外層的卷積層首先將輸入特征映射x（H（圖像高度）、W（圖像寬度）和Cin）轉(zhuǎn)換為輸出通道為Cout的中間映射F1（x）。卷積層的作用是提取圖像的局部特征； 2）轉(zhuǎn)換后的中間映射F1（x）被輸入到層數(shù)為L(zhǎng)的U形結(jié)構(gòu)對(duì)稱編碼器-解碼器中。用U（F1（x））來展示這種結(jié)構(gòu)，其可以提取多尺度信息，并減少上采樣造成的上下文信息損失。L越大，RSU的層數(shù)越深，執(zhí)行的池化操作越多，感受野范圍越大，獲得的局部和全局上下文特征越豐富；3）局部特征和多尺度特征通過剩余連接融合。

1.4.2 損失

在訓(xùn)練過程中，模型輸出不僅包含最終的樹冠預(yù)測(cè)圖，還包含前6個(gè)不同尺度的特征圖（S（1）side—S（6）side）。因此，在訓(xùn)練模型的過程中，不僅要監(jiān)督網(wǎng)絡(luò)的最終輸出結(jié)果圖，還要監(jiān)督中間不同尺度的特征圖。因此，本研究采用了一種類似于整體嵌套邊緣檢測(cè)的深度監(jiān)控方法的深度監(jiān)督方法，如式（1）所示，每次迭代輸出7個(gè)損失（在公式中用Loss表示）。這些損失用于調(diào)整模型參數(shù)，以最小誤差描繪重疊樹冠。

式中：m為側(cè)數(shù)；l（m）side（M=6，如圖4中Sup1—Sup6所示） 是特征圖在上采樣過程中通過sigmoid激活函數(shù)之后得到對(duì)應(yīng)的預(yù)測(cè)概率圖S（m）side與真實(shí)標(biāo)簽計(jì)算得到的損失；lfuse是最終融合輸出顯著圖預(yù)測(cè)結(jié)果Sfuse和真實(shí)標(biāo)簽計(jì)算得到的損失；W（m）side和Wfuse是每個(gè)損失的權(quán)重。

對(duì)于每一項(xiàng)，使用標(biāo)準(zhǔn)二值交叉熵來計(jì)算損失（l），如式（2）所示。

式中：（i，j）分別是像素坐標(biāo)； H、W是圖像的高度和寬度；PG（i，j）和Ps（i，j）分別表示地面真值和預(yù)測(cè)顯著性概率圖的像素值。訓(xùn)練過程試圖將總損失Loss降至最低。在測(cè)試過程中，選擇融合輸出lfuse作為最終的顯著性圖。

1.5 評(píng)價(jià)指標(biāo)

交并比（intersection over union， IoU，公式中用IoU表示）經(jīng)常被用作語義分割任務(wù)的精度度量。在參考（reference， R）和預(yù)測(cè)（prediction， P）掩碼中，IoU由2個(gè)掩碼中的像素?cái)?shù)與像素總數(shù)的比率來指示。通過比較樣本的真實(shí)類別與模型的預(yù)測(cè)結(jié)果，可以將其分為以下4種情況：真陽性（true positive， TP，公式中用TP表示），其中柑橘冠的預(yù)測(cè)值與真實(shí)值一致；假陽性（false positive，F(xiàn)P，公式中用FP表示），實(shí)際情況是背景，但被錯(cuò)誤地預(yù)測(cè)為樹冠；假陰性（false negative， FN，公式中用FN表示），真實(shí)場(chǎng)景中的樹冠未正確識(shí)別；真陰性（true negative， TN，公式中用TN表示），背景與真實(shí)值一致。此外，精確度（Precision，公式中用Precision表示）和召回率（Recall，公式中用Recall表示）、總體準(zhǔn)確度（overall accuracy， OA，公式中用OA表示）和F1分?jǐn)?shù)（F1-Score，公式中用F1-Score表示）被用作評(píng)估模型的評(píng)估指標(biāo)。精確度、召回率、OA和F1分?jǐn)?shù)越高，預(yù)測(cè)值越接近真實(shí)值。公式如下：

選擇決定系數(shù)（R2）、平均相對(duì)誤差（mean relative error， MRE，公式中用MRE表示）和均方根誤差（root mean square error， RMSE，公式中用RMRE表示）測(cè)試U2-Net模型的可靠性，其中R2接近1，表明預(yù)測(cè)值和測(cè)量值相關(guān)性更高，MRE和RMRE越小，表明預(yù)測(cè)值越接近實(shí)測(cè)值。公式如下

2 結(jié)果與分析

本研究的硬件和軟件參數(shù)見表1。U2-Net模型的一個(gè)主要優(yōu)點(diǎn)是不需要基于大數(shù)據(jù)集的預(yù)訓(xùn)練模型。因此，本研究使用Xavier方法[16]初始化模型中的所有卷積層，并使用Adam優(yōu)化算法[17]調(diào)整模型訓(xùn)練過程。模型批量大?。╞atch size）設(shè)置為14，迭代次數(shù)（epoch）設(shè)置為300，損失權(quán)重設(shè)置為1，其余超參數(shù)設(shè)置為默認(rèn)值（初始學(xué)習(xí)率=0.003，betas=（0.9，0.999），eps=1×10-8，權(quán)值衰減=0）。根據(jù)給定的參數(shù)配置模型，并輸入數(shù)據(jù)集進(jìn)行迭代訓(xùn)練，總共需要18 h的訓(xùn)練時(shí)間。

2.1 基于U2-Net模型的樹冠分割結(jié)果

3個(gè)分區(qū)中使用U2-Net模型提取柑橘樹冠的結(jié)果如圖6所示。由圖6可知，所有試驗(yàn)分區(qū)均顯示出良好的提取結(jié)果。A、B試驗(yàn)分區(qū)柑橘樹冠密度較低，因此，樹木之間有很好的區(qū)別，樹冠的整體輪廓清晰，形狀與實(shí)際一致。B區(qū)柑橘樹的密度高于A區(qū)。盡管如此，該地區(qū)大多數(shù)樹冠之間仍存在一定差距，因此U2-Net模型也可以很好地區(qū)分單株樹冠，只有少數(shù)樹冠相互附著。相反，C區(qū)柑橘密度較高，導(dǎo)致樹冠重疊較多；因此，該分區(qū)的判別結(jié)果不如其他分區(qū)。根據(jù)不同分區(qū)的預(yù)測(cè)結(jié)果可以看出，郁閉度和樹木間距對(duì)U2-Net模型的影響最大。嚴(yán)重的樹冠遮蔭和較近的樹間距都使模型無法很好地區(qū)分每棵樹。

U2-Net模型在不同分區(qū)提取的冠數(shù)的定量評(píng)估結(jié)果見表2。3個(gè)分區(qū)獲得了較高的準(zhǔn)確率，F(xiàn)1分?jǐn)?shù)高于92.96%，OA超過91.23%。通過對(duì)各分區(qū)柑橘樹預(yù)測(cè)精度的分析，發(fā)現(xiàn)U2-Net在A、B分區(qū)表現(xiàn)優(yōu)異，其中柑橘樹密度較低，樹冠邊緣附著和重疊低，OA分別為96.15%和95.09%，F(xiàn)1分?jǐn)?shù)分別為97.94%和96.52%。隨著柑橘樹密度的增加，樹冠邊緣的粘連和重疊更加嚴(yán)重，導(dǎo)致U2-Net模型在C分區(qū)的性能略有下降，Precision為92.09%，OA為91.23%，F(xiàn)1分?jǐn)?shù)為92.96%?？梢钥闯?，U2-Net模型在低樹冠密度地區(qū)具有良好的適用性。3個(gè)分區(qū)的統(tǒng)計(jì)結(jié)果表明，IoU、OA和F1分?jǐn)?shù)的平均值分別為90.74%、94.15%和95.81%，表明該方法用于柑橘樹冠提取是可行的。

2.2 基于不同深度學(xué)習(xí)模型的樹冠分割結(jié)果

為了研究U2-Net模型的適用性，本研究將其圖像分割和提取結(jié)果與其他3種主流深度學(xué)習(xí)模型（即PSPNet、U-Net和DeepLabv3+）進(jìn)行了比較。DeepLabv3+，U-Net和PSPNet均使用VOC12+SBD預(yù)訓(xùn)練權(quán)重，所有4個(gè)模型使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練。測(cè)試可視化提取結(jié)果如圖7所示。由圖7可以看出，4種深度學(xué)習(xí)模型在同一試驗(yàn)區(qū)域的提取效果沒有明顯的誤分類現(xiàn)象，表明這些模型能夠很好地區(qū)分目標(biāo)特征和背景特征。然而，在觀察細(xì)節(jié)時(shí)，可以看到DeepLabV3+和U-Net的在B試驗(yàn)分區(qū)和C試驗(yàn)分區(qū)對(duì)相連樹冠識(shí)別的較差。與前2種模型相比，PSPNet模型具有更好的整體效果。但是該模型檢測(cè)出的柑橘樹冠一些部分有欠缺，與U2-Net模型相比存在遺漏現(xiàn)象。本研究使用的U2-Net模型顯著減少了誤分類和遺漏。雖然還存在一些缺陷，有幾個(gè)樹冠相互粘連，但樹冠邊緣分割的效果良好。

4個(gè)模型提取精度的定量分析結(jié)果見表3—表5。在A樣地中，4個(gè)模型的評(píng)價(jià)結(jié)果幾乎相同，每個(gè)模型的精度都較好，PSPNet模型的Recall與F1分?jǐn)?shù)最高，達(dá)到98.65%和97.95%，僅僅比U2-Net模型高0.54%和0.01%。U2-Net模型的IoU，Precision，OA結(jié)果更好。在B樣地中，柑橘樹比較密集，4個(gè)模型的精度都有所降低，PSPNet模型的降幅較大，IoU與Recall分別降低了10.19%和11.23%，U2-Net模型降幅最小，表現(xiàn)穩(wěn)定，整體結(jié)果依然比其他3個(gè)模型更好。在C樣地中，柑橘樹非常密集，4個(gè)模型結(jié)果差異更加明顯，雖然U-Net的Precision最高，為92.87%，但I(xiàn)oU指標(biāo)的表現(xiàn)不如其他3個(gè)模型。使用ResNet-101作為骨干網(wǎng)絡(luò)的DeepLabv3+，在總體準(zhǔn)確性方面優(yōu)于U-Net。雖然以RSU為骨干網(wǎng)絡(luò)的U2-Net模型的精度略低于U-Net模型，但在Recall、IoU、OA和F1分?jǐn)?shù)方面更具有優(yōu)勢(shì)。U2-Net模型與其他3種模型相比，IoU、OA和F1分?jǐn)?shù)分別提高了14.50%～17.33%、0.21%～9.24%和1.80%～9.06%，綜上所述，U2-Net模型可以在樣本數(shù)據(jù)較少的情況下實(shí)現(xiàn)更高的準(zhǔn)確度，能夠滿足實(shí)際應(yīng)用場(chǎng)景的準(zhǔn)確度要求。

2.3 柑橘樹冠面積提取結(jié)果

真實(shí)冠幅面積根據(jù)像素點(diǎn)測(cè)算，在labelme軟件中通過目視解譯手動(dòng)勾勒測(cè)試圖像的柑橘冠幅，生成只有冠幅和背景的標(biāo)簽文件，導(dǎo)入ArcMap查看每個(gè)冠幅對(duì)應(yīng)的像素?cái)?shù)，再乘以每個(gè)像素點(diǎn)的面積得到冠幅的真實(shí)面積。不同試驗(yàn)區(qū)使用U2-Net模型對(duì)冠面積提取進(jìn)行定量評(píng)估的結(jié)果見表6。A試驗(yàn)分區(qū)柑橘樹分布均勻，低樹冠密度，背景復(fù)雜度低，其RMSE和MRE分別為0.34 m2和2.27%，達(dá)到了最高的精度。B區(qū)的樹冠密度較高，但單株樹之間存在一定的差距，因此，附近樹木的陰影受影響較小，預(yù)測(cè)值接近測(cè)量值。RMSE和MRE分別為1.01 m2和7.72%。準(zhǔn)確度最差的是C區(qū)，由于樹冠密度很高，受陰影影響很大，RMSE和MRE在所有分區(qū)中最低，分別只有2.7 m2和14.67%。

比較3個(gè)試驗(yàn)分區(qū)中預(yù)測(cè)和測(cè)量的樹冠面積之間的關(guān)系，如圖8所示，2個(gè)試驗(yàn)分區(qū)A和B的R2大于0.95。大多數(shù)點(diǎn)分布在1∶1的直線周圍，表明U2-Net模型在這些區(qū)域提取的面積與測(cè)量值高度一致。然而，分區(qū)C的決定系數(shù)（R2）相對(duì)較低，只有0.93。由于該地區(qū)柑橘樹的嚴(yán)重重疊和粘附，大多數(shù)提取面積小于RMSE和MRE所示的測(cè)量值。

另一方面，不同試驗(yàn)分區(qū)的提取面積值通常與實(shí)測(cè)值接近。因此，U2-Net模型在提取柑橘樹冠面積方面具有較高的精度，能夠滿足林業(yè)調(diào)查中提高樹冠面積精度的要求，柑橘冠提取任務(wù)中4個(gè)模型的誤差如圖9所示。由此可以看出，U2-Net模型在RMSE和MRE中的錯(cuò)誤率最低，平均達(dá)到1.35和8.15%，表明其提取的面積值最接近測(cè)量值。U-Net模型的表現(xiàn)類似于U2-Net，RMSE值為1.71，MRE值為10.42%，而DeepLab V3+和PSPNet的表現(xiàn)更差，RMSE分別為4.24和6.19，MRE分別為16.63%和18.74%。因此，U2-Net的表現(xiàn)優(yōu)于其他3個(gè)模型。

3 結(jié)論與討論

研究利用UAV進(jìn)行柑橘多光譜影像數(shù)據(jù)采集，并對(duì)UAV圖像進(jìn)行處理以構(gòu)建柑橘樹冠檢測(cè)和分割數(shù)據(jù)集，利用U2-Net模型與PSPNet， U-Net和DeepLabv3+深度學(xué)習(xí)模型分別進(jìn)行單木樹冠提取，并對(duì)不同模型提取結(jié)果進(jìn)行對(duì)比研究，所得結(jié)論主要如下。

1）U2-Net模型在不同的試驗(yàn)分區(qū)中均取得了較好的柑橘單木檢測(cè)和分割結(jié)果，其中在試驗(yàn)分區(qū)A中，識(shí)別準(zhǔn)確率最高，準(zhǔn)確率和召回率分別為97.78%和98.11%。與3種主流的深度學(xué)習(xí)模型（PSPNet、U-Net和DeepLabv3+）相比，U2-Net模型在冠數(shù)提取方面具有更高的IoU，OA和F1分?jǐn)?shù)，平均值分別提高了6.20%～8.68%、0.93%～4.83%和2.03%～5.25%。

2）U2-Net模型在樹冠面積提取方面也表現(xiàn)良好，模型的預(yù)測(cè)面積更接近實(shí)測(cè)面積，3個(gè)樣地的R2均高于0.93。與3種主流的深度學(xué)習(xí)模型（PSPNet、U-Net和DeepLabv3+）相比，U2-Net模型的平均相對(duì)誤差和均方根誤差最低，分別為1.35和8.15%。

研究結(jié)果表明利用UAV多光譜圖像和U2-Net深度學(xué)習(xí)模型相結(jié)合的方法可以有效地提取柑橘單木樹冠，可為更高層次的應(yīng)用提供準(zhǔn)確的數(shù)據(jù)支持，但該方法仍有一些局限性，有待改進(jìn)。

1）通過分析不同試驗(yàn)分區(qū)的提取結(jié)果，發(fā)現(xiàn)，即使在中午進(jìn)行航空攝影，UAV圖像仍然無法完全避免光引起的陰影問題。由于陰影的存在，模型很難提取被陰影遮擋的柑橘樹冠，導(dǎo)致預(yù)測(cè)值低于測(cè)量值。

2）復(fù)雜的植被類型、密集重疊的樹冠和較小的樹木間距會(huì)阻礙樹冠的提取[18]。因此，在未來的研究中應(yīng)選擇更優(yōu)秀的模型在復(fù)雜的環(huán)境條件進(jìn)行柑橘單木樹冠提取研究，以克服陰影及復(fù)雜地形的影響，進(jìn)而提高柑橘單木樹冠的分割精度。

【參 考 文 獻(xiàn)】

[1]NARVAEZ F Y， REINA G， TORRES-TORRITI M， et al. A survey of ranging and imaging techniques for precision agriculture phenotyping[J]. IEEE/ASME Transactions on Mechatronics， 2017， 22（6）： 2428-2439.

[2]BARGOTI S， UNDERWOOD J P. Image segmentation for fruit detection and yield estimation in apple orchards[J]. Journal of Field Robotics， 2017， 34（6）： 1039-1060.

[3]束美艷，李世林，魏家璽，等.基于無人機(jī)平臺(tái)的柑橘樹冠信息提取[J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（1）：68-76.

SHU M Y， LI S L， WEI J X， et al. Extraction of Citrus crown parameters using UAV platform[J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（1）： 68-76.

[4]KOC-SAN D， SELIM S， ASLAN N， et al. Automatic citrus tree extraction from UAV images and digital surface models using circular Hough transform[J]. Computers and Electronics in Agriculture， 2018， 150： 289-301.

[5]陳周娟，程光，卜元坤，等.基于無人機(jī)傾斜影像的闊葉林單木參數(shù)提取[J].林業(yè)資源管理，2022（1）：132-141.

CHEN Z J， CHENG G， BU Y K， et al. Single tree parameters extraction of broad-leaved forest based on UAV tilting photography[J]. Forest Resources Management， 2022（1）： 132-141.

[6]萬祖毅.基于無人機(jī)遙感的柑橘果樹信息提取及應(yīng)用研究[D].重慶：西南大學(xué)，2020.

WAN Z Y. Research on information extraction and application of Citrus fruit trees based on UAV remote sensing[D]. Chongqing： Southwest University， 2020.

[7]WU J， YANG G， YANG H， et al. Extracting apple tree crown information from remote imagery using deep learning[J]. Computers and Electronics in Agriculture， 2020， 174： 105504.

[8]OSCO L P， ARRUDA M， JUNIOR J M， et al. A convolutional neural network approach for counting and geolocating citrus-trees in UAV multispectral imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 160： 97-106.

[9]韓蕊，慕濤陽，趙偉，等.基于無人機(jī)多光譜影像的柑橘樹冠分割方法研究[J].林業(yè)工程學(xué)報(bào)，2021，6（5）：147-153.

HAN R， MU T Y， ZHAO W， et al. Research on citrus crown segmentation method based on multi-spectral images of UAV[J]. Journal of Forestry Engineering， 2021， 6（5）： 147-153.

[10]王輝，韓娜娜，呂程序，等.基于MaskR-CNN的單株柑橘樹冠識(shí)別與分割[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（5）：169-174.

WANG H， HAN N N， LYU C X， et al. Recognition and segmentation of individual Citrus tree crown based on Mask R-CNN[J].Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（5）：169-174.

[11]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014， arXiv：1409.1556[cs.CV].

[12]HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 27-30， 2016， Las Vegas， NV， USA. IEEE， 2016： 770-778.

[13]HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26， 2017， Honolulu， HI， USA. IEEE， 2017： 2261-2269.

[14]QIN X， ZHANG Z， HUANG C， et al. U2-Net： going deeper with nested U-structure for salient object detection[J]. Pattern Recognition， 2020， 106： 107404

[15]SU D， KONG H， QIAO Y， et al. Data augmentation for deep learning based semantic segmentation and crop-weed classification in agricultural robotics[J]. Computers and Electronics in Agriculture， 2021， 190： 106418.

[16]GLOROT X， BENGIO Y. Understanding the difficulty of training deep feedforward neural networks[J]. Journal of Machine Learning Research - Proceedings Track， 2010.

[17]KINGMA D P， BA J. Adam： a method for stochastic optimization[EB/OL]. 2014， arXiv： 1412.6980[cs.LG].

[18]CASAPIA X T， FALEN L， BARTHOLOMEUS H， et al. Identifying and quantifying the abundance of economically important palms in tropical moist forest using UAV imagery[J]. Remote Sensing， 2019， 12（1）： 9.