基于無人機影像自動檢測冠層果的油茶快速估產(chǎn)方法

嚴恩萍，棘 玉，尹顯明，莫登奎

基于無人機影像自動檢測冠層果的油茶快速估產(chǎn)方法

嚴恩萍，棘 玉，尹顯明，莫登奎※

（1. 中南林業(yè)科技大學(xué)林業(yè)遙感大數(shù)據(jù)與生態(tài)安全湖南省重點實驗室，長沙 410004；2. 中南林業(yè)科技大學(xué)南方森林資源經(jīng)營與監(jiān)測國家林業(yè)與草原局重點實驗室，長沙 410004；3. 中南林業(yè)科技大學(xué)林學(xué)院，長沙 410004）

快速準確的產(chǎn)量估算對油茶經(jīng)營管理和可持續(xù)發(fā)展具有重要意義。該研究針對油茶快速估產(chǎn)的應(yīng)用現(xiàn)狀，提出一種基于無人機影像自動檢測冠層果的方法用于油茶快速估產(chǎn)。首先借助無人機航拍影像，通過隨機抽樣選取120株油茶樹進行無人機近景攝影和人工采摘稱量；然后利用Mask RCNN(Mask Region Convolutional Neural Networks)網(wǎng)絡(luò)開展基于近景影像的油茶冠層果自動檢測與計數(shù)；采用線性回歸和K最鄰近建立冠層果數(shù)與單株果數(shù)之間的關(guān)系，同時結(jié)合研究區(qū)典型樣木株數(shù)和平均單果質(zhì)量，構(gòu)建基于冠層果自動檢測的估產(chǎn)模型。結(jié)果表明：1）無人機超低空近景影像結(jié)合Mask RCNN網(wǎng)絡(luò)能夠有效檢測不同光照條件油茶果，平均F1值達89.91%；2）同傳統(tǒng)衛(wèi)星遙感相比，基于無人機近景攝影的冠層果自動檢測在作物產(chǎn)量估測方面顯示出明顯優(yōu)勢，Mask RCNN網(wǎng)絡(luò)預(yù)測的冠層果數(shù)與油茶樣木單株果數(shù)之間具有良好的一致性，擬合決定系數(shù)2達0.871；3）結(jié)合線性回歸和K最鄰近構(gòu)建的模型估產(chǎn)精度均較高，擬合決定系數(shù)2和標準均方根誤差NRMSE（Normalized Root Mean Square Error）分別在0.892～0.913和28.01%～31.00%之間，表明基于無人機影像自動檢測冠層果的油茶快速估產(chǎn)是一種切實可行的方法。研究結(jié)果可為油茶快速估產(chǎn)和智能監(jiān)測提供參考。

無人機；自動檢測；油茶；快速估產(chǎn)；冠層果

0 引 言

油茶是中國南方特有的木本油料樹種，含有豐富的不飽和脂肪酸和維生素E，在醫(yī)藥保健方面具有重要的應(yīng)用價值[1]。作為油茶產(chǎn)量的重要組成部分，油茶果數(shù)量和單果質(zhì)量是反映油茶產(chǎn)量的重要指標，因此快速獲取油茶果數(shù)量和單果質(zhì)量極為重要。傳統(tǒng)的油茶果數(shù)量和單果質(zhì)量獲取主要采用人工采摘計數(shù)稱量，消耗大量的人力物力財力。因此，開發(fā)一種高效準確的油茶果數(shù)量和單果質(zhì)量監(jiān)測方法具有重要意義。

國內(nèi)外學(xué)者對基于圖像分析技術(shù)的果實數(shù)量監(jiān)測開展了相關(guān)研究[2]，例如為克服外界復(fù)雜環(huán)境的影響，李昕等[3]提出基于多特征融合的油茶果識別方法；李立君等[4]提出基于改進凸殼理論的定位檢測算法。早期的果實監(jiān)測研究主要集中于蘋果[5-6]、柑橘[7]、西紅柿[8]、油茶[9]和番石榴[10]等。這些研究均采用基于像元的光譜響應(yīng)作為果實檢測的獨特特征，然而果實圖像存在顏色和形態(tài)多樣、遮擋重疊嚴重以及背景相似等問題，給油茶果的準確識別帶來挑戰(zhàn)。

隨著計算機技術(shù)的進步，深度學(xué)習(xí)理論廣泛用于基于果實數(shù)量監(jiān)測的作物估產(chǎn)。例如為提高油茶果識別的速度與精度，張習(xí)之等[11]提出基于改進卷積自編碼機神經(jīng)網(wǎng)絡(luò)的油茶果圖像識別方法；Koirala等[12]比較了6種現(xiàn)有深度學(xué)習(xí)算法在樹冠圖像中檢測芒果果實的性能，結(jié)果表明YOLO(You Only Look Once)算法檢測日間芒果圖像數(shù)據(jù)集的效果較好，F(xiàn)1分數(shù)達0.89。深度學(xué)習(xí)理論已被成功用于芒果[13]、柑橘[14]、番茄[15]和蘋果[16]等作物的產(chǎn)量估算。然而目前的研究均采用地面拍攝的近距離照片作為數(shù)據(jù)源，無法滿足大面積估產(chǎn)需求。

近年來，無人機遙感的發(fā)展為基于果實數(shù)量的大面積作物估產(chǎn)提供了條件。雖然衛(wèi)星遙感應(yīng)用于作物估產(chǎn)具有快速、無損、尺度大的優(yōu)勢[17]，但是由于空間分辨率的限制，無法獲取精確的果實數(shù)量[18]。同衛(wèi)星遙感相比，無人機遙感具有空間分辨率高、獲取速度快、操作簡單的優(yōu)點[19-20]，可選擇最優(yōu)作業(yè)時期獲取高分辨率航拍影像，實現(xiàn)基于果實數(shù)量的大面積作物估產(chǎn)[21]。例如Apolo等[22]基于無人機捕獲的柑橘園影像，采用Faster RCNN(Faster Region Convolutional Neural Networks)模型對柑橘類水果進行產(chǎn)量估算，模型估產(chǎn)精度較好，具有用于柑橘類相似作物產(chǎn)量估算的潛力。

鑒于此，本文擬開展基于冠層果自動檢測的油茶快速估產(chǎn)研究，以無人機近景航拍影像為數(shù)據(jù)源，通過Mask RCNN(Mask Region Convolutional Neural Networks)網(wǎng)絡(luò)從近景影像中自動檢測油茶冠層果數(shù)量，采用2種方法擬合Mask RCNN網(wǎng)絡(luò)預(yù)測的冠層果數(shù)與單株果數(shù)之間的關(guān)系，結(jié)合研究區(qū)油茶樣木株數(shù)和平均單果質(zhì)量，構(gòu)建基于冠層果自動檢測的估產(chǎn)模型，以期為大面積油茶林的快速估產(chǎn)提供新的研究思路。

1 材料與方法

1.1 研究區(qū)概況

試驗區(qū)位于湖南省中部的新邵縣陳家坊鎮(zhèn)江村，介于邵陽盆地和新漣盆地之間，屬典型的南方低矮丘陵，地處東經(jīng)111°08′～111°05′，北緯27°15′～27°38′之間（圖 1）。境內(nèi)春暖夏涼，四季分明，屬中亞熱帶大陸性季風濕潤氣候，年平均氣溫17.0 ℃，年均無霜期271 d，年降水量1 365.2 mm，油茶林面積300 hm2。江村油茶種植示范基地是新邵縣重點油茶產(chǎn)業(yè)基地，造林年度為2014年，總面積為59.18 hm2。

1.2 數(shù)據(jù)獲取與預(yù)處理

1.2.1 無人機影像數(shù)據(jù)

無人機影像數(shù)據(jù)包括航線規(guī)劃數(shù)據(jù)和近景攝影數(shù)據(jù)，其中前者用于獲取研究區(qū)油茶樣木的空間分布信息；后者用于油茶果樣本數(shù)據(jù)集的構(gòu)建，包括訓(xùn)練集、驗證集和測試集。兩種數(shù)據(jù)均采用大疆御Mavic 2 PRO四軸無人機獲取，航拍當日天氣晴朗、風速0.3～1.5 m/s、光線充足。搭載的傳感器為Hasselblad L1D-20C航拍相機，焦距為28 mm，光圈值為/2.8～/11。相機圖像分辨率為5 472 像素×3 648像素（JPEG格式）。

無人機航線規(guī)劃數(shù)據(jù)采集于2020年10月19日至21日，拍攝高度為100 m，速度5 m/s，鏡頭垂直于地面，航向重疊率70%，旁向重疊率分別為80%，像元大小2.75 cm×2.75 cm。具體數(shù)據(jù)處理流程包括：①剔除重疊率低、重復(fù)和模糊的照片；②通過Agisoft Metashape軟件加載和匹配影像，構(gòu)建密集點云，利用密集點云重建三維模型生成正射影像；③基于正射影像顯示的油茶林空間分布信息，利用隨機抽樣選取120株典型油茶樣木。

無人機近景攝影數(shù)據(jù)采集于2020年10月25日至26 日，拍攝高度距離油茶樣木空間位置正上方3 m，鏡頭垂直于地面，連續(xù)拍攝，獲取油茶樣木的完整冠幅，像元大小0.082 5 cm×0.082 5 cm。共拍攝1 000張油茶冠幅影像，剔除重復(fù)、模糊等無效影像，最后保留800張近景影像。

1.2.2 地面實測數(shù)據(jù)

地面實測數(shù)據(jù)主要用于油茶冠層果標注和估產(chǎn)模型的精度驗證。采集時間為2020年10月25日至26日，通過隨機抽樣選取120株典型樣木進行實地調(diào)查，記錄每株油茶樣木的編號、空間位置（經(jīng)度、緯度和海拔）、單株果數(shù)、單株產(chǎn)量和單果質(zhì)量，空間位置信息利用手持GPS采集，單株果數(shù)通過人工采摘計數(shù)獲取，單株產(chǎn)量采用電子秤實際稱量獲取，單果質(zhì)量由單株產(chǎn)量除以單株果數(shù)獲取。

2 研究方法

2.1 數(shù)據(jù)集構(gòu)建

油茶果樣本數(shù)據(jù)集的構(gòu)建包括數(shù)據(jù)標注、數(shù)據(jù)擴增和數(shù)據(jù)劃分3部分。①數(shù)據(jù)標注：為滿足網(wǎng)絡(luò)訓(xùn)練的要求，利用Labeme軟件對油茶果的最小外接矩形進行人工標注，保證每個標注框僅含有單個油茶果目標；②數(shù)據(jù)擴增：為提高網(wǎng)絡(luò)的泛化能力，從拍攝的照片中隨機抽取400張作為標注樣本，采用圖像旋轉(zhuǎn)、圖像移動、圖像縮放、圖像增強、噪聲注入、對比度變換等方法進行數(shù)據(jù)擴增（圖2），最后保留1 200張作為樣本數(shù)據(jù)集；③數(shù)據(jù)劃分：將擴充數(shù)據(jù)集按8∶1∶1分為訓(xùn)練集、測試集和驗證集。其中訓(xùn)練集用于訓(xùn)練模型參數(shù)，驗證集用于訓(xùn)練模型的超參數(shù)調(diào)優(yōu)，測試集用于評估模型的泛化能力。

注：混合變換指照片經(jīng)過上下翻轉(zhuǎn)，亮度/對比度變換以及像素值放大/縮小等處理。

2.2 Mask RCNN算法

本研究采用目前經(jīng)典的深度學(xué)習(xí)算法Mask RCNN網(wǎng)絡(luò)檢測油茶冠層果。該方法基于原有的Faster RCNN進行擴展，完成目標檢測的同時實現(xiàn)高質(zhì)量的實例分割[23]。Mask RCNN算法包含3個任務(wù)分支：目標分類、目標框坐標和目標區(qū)域的二值掩碼。本文首先通過深度殘差網(wǎng)絡(luò)ResNet提取特征圖像，同時通過FPN(Feature Pyramid Networks)對特征圖像進行多尺度特征融合，實現(xiàn)低維信息和高維特征的融合，避免高維語義信息的丟失；然后結(jié)合區(qū)域生成網(wǎng)絡(luò)RPN(Region Proposal Network)提取潛在的目標區(qū)域ROI (Regions of Interest)；利用ROI align層將ROI映射成固定維數(shù)的特征向量，其中2個分支經(jīng)過全連接層進行分類和目標框回歸，另1個分支經(jīng)過全卷積運算得到分割區(qū)域的二值掩碼[24]。具體Mask RCNN模型結(jié)構(gòu)如圖3所示。

本文油茶冠層果檢測的訓(xùn)練環(huán)境均為Google提供的云服務(wù)器Colaboratory，GPU為Tesla P100-PCIE-16 GB。訓(xùn)練網(wǎng)絡(luò)為基于PyTorch的Mask RCNN網(wǎng)絡(luò)，采用Python3.6語言編程實現(xiàn)網(wǎng)絡(luò)的訓(xùn)練和測試。訓(xùn)練參數(shù)為：初始學(xué)習(xí)率0.004，學(xué)習(xí)率下降系數(shù)0.1，一次訓(xùn)練迭代2個樣本，共進行54 000次迭代訓(xùn)練，第20 250次迭代和第27 000次迭代時學(xué)習(xí)率下降。分別輸出學(xué)習(xí)模型至文件夾，記錄訓(xùn)練日志。

由于精度評價需要同時考慮準確率和召回率，本研究采用F1值作為油茶冠層果識別的評價指標，具體表達式如下：

其中Precision代表精確率，%；Recall代表召回率，%；TP表示實際為油茶果且被模型預(yù)測為油茶果的樣本數(shù)；FP表示實際為背景但被模型預(yù)測為油茶果的樣本數(shù)；FN表示實際為油茶果但沒有被網(wǎng)絡(luò)識別為油茶果的樣本數(shù)。

2.3 估產(chǎn)模型構(gòu)建

2.3.1 單株果數(shù)估計

以Mask RCNN網(wǎng)絡(luò)預(yù)測的冠層果數(shù)為自變量，實測的單株果數(shù)為因變量，采用線性回歸和K最鄰近算法2種方法構(gòu)建冠層果數(shù)與單株果數(shù)之間的經(jīng)驗?zāi)Ｐ?。線性回歸（Linear Regression，LR）是利用回歸方程確定目標值與特征值之間線性關(guān)系的一種統(tǒng)計分析方法。本文采用的線性回歸滿足一元一次方程；K最鄰近（K-Nearest Neighbor，KNN）算法是經(jīng)典的模式識別方法，首先給定測試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)之間的距離，其次選定距離最近的個訓(xùn)練數(shù)據(jù)完成測試數(shù)據(jù)的預(yù)測。研究采用Python3.8語言構(gòu)建油茶樣木單株果數(shù)預(yù)測模型，K最鄰近算法共設(shè)置5個值，最大值為5，值為2（即歐氏距離）。

2.3.2 估產(chǎn)模型

本研究采用冠層果數(shù)擬合的單株果數(shù)，構(gòu)建油茶樣木產(chǎn)量估算模型。具體計算公式如下：

式中Yield為研究區(qū)單株油茶估測產(chǎn)量，kg；代表研究區(qū)油茶樣木編號；代表研究區(qū)油茶樣木的平均單果質(zhì)量；代表研究區(qū)隨機抽樣選取的10%典型油茶樣木株數(shù)；Q代表研究區(qū)第株油茶樣木的單株果數(shù)，通過冠層果數(shù)擬合獲取。

以線性回歸擬合為例，則Q的計算公式如下：

式中q代表研究區(qū)第株油茶樣木基于Mask RCNN網(wǎng)絡(luò)預(yù)測的冠層果數(shù)，和分別表示線性回歸的斜率和截距。

本文油茶樣木的平均單果質(zhì)量= 0.020 kg，樣木株數(shù)=120，線性回歸擬合中和取值分別為1.016和4.943。油茶樣木單株產(chǎn)量估算公式為：

2.3.3 模型精度評價

采用決定系數(shù)（2）和標準均方根誤差（Normalized Root Mean Square Error，NRMSE）對油茶產(chǎn)量的預(yù)測結(jié)果進行評價[25]。2反映預(yù)測產(chǎn)量與實測產(chǎn)量之間的擬合程度；NRMSE衡量預(yù)測產(chǎn)量與實測產(chǎn)量之間的標準化偏差程度，反映估測模型的可靠性，NRMSE越小，預(yù)測精度越高。計算公式如下：

3 結(jié)果與分析

3.1 樣本數(shù)據(jù)集處理

研究表明，不同大小的圖像對網(wǎng)絡(luò)的訓(xùn)練速度和特征提取均有一定影響。由于網(wǎng)絡(luò)結(jié)構(gòu)和硬件限制，Mask RCNN網(wǎng)絡(luò)訓(xùn)練時要求輸入特定尺寸的圖像，而無人機近景影像往往大于這個尺寸。因此為保證油茶果特征的提取精度，本文通過縮放裁剪操作使無人機影像滿足Mask RCNN網(wǎng)絡(luò)訓(xùn)練的輸入要求（如表1所示）。

表1 影像裁剪前后油茶果識別精度比較

由表1可知，裁剪前圖像的F1值僅為31.48%，召回率僅為19.15%，說明裁剪前預(yù)測結(jié)果非常不理想，難以實現(xiàn)目標的準確分割。裁剪后各項指標均有提升，其中F1值達到89.91%，提高了約58個百分點；召回率從19.15%提高到82.03%，說明適當?shù)膱D像裁剪操作，能夠?qū)崿F(xiàn)油茶果特征的準確提取，提高模型預(yù)測精度。

3.2 冠層果自動檢測

冠層果測試集為無人機近景圖像通過數(shù)據(jù)增強和隨機裁剪按比例隨機獲取，具體測試精度見表2。同時為更好地說明訓(xùn)練模型的泛化能力，選擇不同光照條件（陰天和晴天）的油茶果照片進行檢測，具體檢測結(jié)果如圖4所示。

表2 測試集冠層果平均檢測精度

由表2可知，測試集共有679個油茶果目標，本文方法識別的油茶果數(shù)目為560個，其中557個為油茶果目標，平均召回率為82.03%，平均準確率為99.46%，平均F1值為89.91%，說明Mask RCNN網(wǎng)絡(luò)的檢測精度較高，不僅能檢測目標油茶果的定位框，而且能準確識別油茶果的二值掩碼。

結(jié)合圖4分析可知，Mask RCNN網(wǎng)絡(luò)不僅適用于陰天采集的光照均勻圖像，同樣適用于晴天采集的強光照射圖像，F(xiàn)1值分別為89.64%和90.22%。強光照射可能導(dǎo)致油茶果目標表面光線極強，導(dǎo)致肉眼無法將油茶果目標正確識別，本文網(wǎng)絡(luò)能有效識別圖像中的油茶果目標，召回率為82.97%；該網(wǎng)絡(luò)同樣適用于陰天部分遮擋情況的油茶果識別，召回率為81.22%。另外部分青色和紅色小果與檢測背景相似，存在一定的漏識別現(xiàn)象，說明不同成熟度的果實顏色對油茶果檢測精度有一定影響。總體上，Mask RCNN網(wǎng)絡(luò)檢測油茶果的精度較高，能夠用于后續(xù)油茶樣木的快速估產(chǎn)。

注：原圖大小均為5 472像素×3 648像素，放大圖大小為684像素×456像素；矩形框上方的數(shù)字表示目標為油茶果的概率。

Note: The size of the original image is 5 472 pixels×3 648 pixels, and the size of the enlarged image is 684 pixels×456 pixels; the number above the rectangular box represents the probability that the target is a camellia oleifera fruit.

圖4 Mask RCNN網(wǎng)絡(luò)對不同光照條件油茶果的檢測效果

Fig.4 Detection effects of Mask RCNN network on camellia oleifera under different lighting conditions

3.3 樣木產(chǎn)量數(shù)據(jù)統(tǒng)計

根據(jù)油茶冠層果識別結(jié)果，對研究區(qū)120株油茶樣木的產(chǎn)量數(shù)據(jù)分別進行統(tǒng)計（表3）。分析可知，油茶樣木冠層果數(shù)和單株果數(shù)平均值分別為38和133，在2～153和8～532之間變化；單株產(chǎn)量和單果質(zhì)量平均值分別為2.652和0.020 kg，介于0.042～10.542和0.004～0.047 kg之間，說明研究區(qū)油茶樣木產(chǎn)量普遍不高，具有一定的改良空間。另外，4類油茶產(chǎn)量數(shù)據(jù)均表現(xiàn)出不同程度的差異性，變化范圍介于30.00%～96.42%之間，說明本文選擇的油茶樣木具有一定的代表性，可能受油茶結(jié)實大小年、油茶品種和種植環(huán)境等因素影響，統(tǒng)計的產(chǎn)量數(shù)據(jù)呈現(xiàn)出較強的變異性。

3.4 估產(chǎn)結(jié)果分析

3.4.1 單株果數(shù)估計

基于預(yù)測的冠層果數(shù)據(jù)，構(gòu)建冠層果數(shù)與單株果數(shù)之間的經(jīng)驗?zāi)Ｐ?，其?0株樣木數(shù)據(jù)用于模型構(gòu)建，預(yù)留的40株樣木數(shù)據(jù)用于精度驗證，具體結(jié)果如表4所示。

分析可知，2種方法的2均不低于0.871，NRMSE均低于38%；其中LR模型估算精度較高，2和NRMSE分別為0.888和36.23%；KNN模型精度略低于LR模型。說明采用Mask RCNN網(wǎng)絡(luò)預(yù)測的冠層果數(shù)與實測的單株果數(shù)之間存在良好的線性擬合關(guān)系，證明了基于冠層果數(shù)擬合樣木單株果數(shù)的有效性。

表3 研究區(qū)油茶樣木產(chǎn)量數(shù)據(jù)統(tǒng)計結(jié)果

SD: Standard deviation; CV: Coefficient of variation.

表4 基于冠層果數(shù)擬合的單株果數(shù)精度檢驗結(jié)果

NRMSE: Normalized Root Mean Square Error.

3.4.2 估產(chǎn)精度評價

基于冠層果數(shù)擬合的單株果數(shù)，利用公式（4）對研究區(qū)剩余的40株油茶樣木進行產(chǎn)量估測，估產(chǎn)精度驗證結(jié)果如圖5所示。

分析圖5可知，2種方法均取得較好的估產(chǎn)效果，2和NRMSE分別在0.892～0.913和28.01%～31.00%之間變化。估產(chǎn)精度方面，LR的估產(chǎn)精度略高于KNN，2和NRMSE分別為0.913和28.01%，說明基于冠層果數(shù)擬合的油茶樣木單株果數(shù)與單株產(chǎn)量之間存在良好的線性關(guān)系，本文方法具有較好的穩(wěn)定性和有效性。

4 討 論

4.1 油茶果樣本集擴增

相關(guān)研究表明，數(shù)據(jù)擴增是一種常用的數(shù)據(jù)增強方法，可在增加樣本數(shù)量的同時減少模型訓(xùn)練出現(xiàn)的過度擬合[26]?？紤]油茶果顏色與油茶葉片的相似性，以及無人機航拍的影像數(shù)量有限和環(huán)境的不確定性，難以滿足Mask RCNN網(wǎng)絡(luò)訓(xùn)練的樣本需求，研究采用圖像縮放、亮度、對比度、噪聲注入以及翻轉(zhuǎn)等方法，對已標注的樣本進行數(shù)據(jù)擴增，結(jié)果表明適當?shù)臄?shù)據(jù)擴增操作，能夠提高模型的泛化能力，減少復(fù)雜環(huán)境對油茶果識別造成的不良影響，提高油茶果的識別精度。這與已有學(xué)者采用數(shù)據(jù)增強技術(shù)擴充樣本數(shù)據(jù)集緩解過擬合的研究結(jié)論相似[27]，隨著研究的持續(xù)開展，后續(xù)將圍繞油茶果樣本數(shù)據(jù)集的標準化開展深入研究。

4.2 油茶果自動檢測的影響因素

本研究采用Mask RCNN網(wǎng)絡(luò)對不同光照條件的油茶冠層果進行識別，結(jié)果表明該網(wǎng)絡(luò)不僅能準確提取目標油茶果的定位框，還能準確繪制目標油茶果的二值掩碼，說明該網(wǎng)絡(luò)具有良好的準確性和穩(wěn)定性，檢測油茶果的精度均較高[28]，預(yù)測的油茶果數(shù)量能夠用于后續(xù)研究；已有研究表明，遮擋重疊、分布密集、背景相似以及表面陰影是影響目標對象精準識別的主要干擾因素[29]，本文通過采用全卷積神經(jīng)網(wǎng)絡(luò)FCN提取油茶果目標的準確特征，一定程度減少背景、遮擋、重疊和陰影等因素的干擾，實現(xiàn)油茶果目標的高效識別，這與已有學(xué)者采用全卷積神經(jīng)網(wǎng)絡(luò)檢測蘋果的研究結(jié)論相似[30]。隨著樣本數(shù)據(jù)集的積累，后續(xù)將圍繞遮擋、重疊、背景（如不同成熟度的果實顏色）以及陰影等影響因素開展深入研究，以期進一步提高油茶果自動檢測的精度。

4.3 估產(chǎn)模型精度比較

為提高作物產(chǎn)量的估算精度，本研究以無人機航拍影像為數(shù)據(jù)源，采用Mask RCNN網(wǎng)絡(luò)開展基于近景影像的油茶冠層果自動檢測與計數(shù)，然后利用2種方法建立預(yù)測的冠層果數(shù)與單株果數(shù)之間的關(guān)系，構(gòu)建基于冠層果自動檢測的估產(chǎn)模型，旨在為無人機遙感在大面積作物快速估產(chǎn)中的應(yīng)用提供一種新的思路。雖然由傳統(tǒng)衛(wèi)星遙感估算的作物產(chǎn)量在區(qū)域和國家尺度可以接受，但是不能精確到單株樣木的產(chǎn)量估算，主要受衛(wèi)星遙感空間分辨率的限制[18, 31-32]。同傳統(tǒng)衛(wèi)星遙感相比，基于無人機近景攝影的冠層果自動檢測在作物產(chǎn)量估測方面顯示出明顯的優(yōu)勢，因為來自無人機超低空近景拍攝的高清影像可以實現(xiàn)油茶樣木冠層果的準確檢測與計數(shù)。

研究表明，由Mask RCNN網(wǎng)絡(luò)檢測的油茶冠層果數(shù)與單株果數(shù)之間具有良好的一致性，可作為大面積油茶林產(chǎn)量估算的真值數(shù)據(jù)。另外受無人機超低空航拍數(shù)據(jù)的限制，本文只是利用隨機抽樣采集部分典型油茶樣木的高清影像，通過高清影像預(yù)測的冠層果數(shù)擬合單株果數(shù)，同時結(jié)合研究區(qū)油茶樣木株數(shù)和實測單果質(zhì)量，探索構(gòu)建基于冠層果自動檢測的估產(chǎn)模型的可行性。利用無人機超低空近景影像和實測產(chǎn)量數(shù)據(jù)開展大面積油茶林的精細化估產(chǎn)將是下一步的研究重點。眾所周知，油茶產(chǎn)量的估算精度受多種因素的影響，如油茶的生長年份、大小年和不同品種等。隨著研究的持續(xù)推進，后續(xù)將圍繞不同區(qū)域、不同年份、不同品種和不同種植密度開展試驗研究，以填補油茶估產(chǎn)模型研究的空白。

5 結(jié) 論

隨著無人機遙感的快速發(fā)展，基于冠層影像的農(nóng)作物估產(chǎn)得到了廣泛關(guān)注，然而鮮有基于冠層果自動檢測的油茶快速估產(chǎn)報道。鑒于此，研究以無人機航拍影像為數(shù)據(jù)源，通過隨機抽樣方法選取120株油茶樹進行無人機近景拍攝和人工采摘稱量；然后利用Mask RCNN開展油茶冠層果的自動檢測與計數(shù)；最后利用兩種方法擬合冠層果數(shù)和單株果數(shù)之間的關(guān)系，同時結(jié)合油茶樣木總株數(shù)和實測單果質(zhì)量，構(gòu)建基于冠層果自動檢測的估產(chǎn)模型。結(jié)果表明：

1）借助無人機超低空近景攝影，利用Mask RCNN網(wǎng)絡(luò)能夠有效識別不同光照條件的油茶果，平均F1值達89.91%，可作為后續(xù)產(chǎn)量估測的真值數(shù)據(jù)；

2）同傳統(tǒng)的衛(wèi)星遙感相比，基于無人機近景攝影的冠層果自動檢測在作物產(chǎn)量估測方面顯示出明顯的優(yōu)勢，Mask RCNN網(wǎng)絡(luò)預(yù)測的冠層果數(shù)與單株果數(shù)之間具有良好的一致性，決定系數(shù)2不低于0.871；

3）估產(chǎn)結(jié)果表明，結(jié)合2種方法（線性回歸和K最鄰近）構(gòu)建的模型估產(chǎn)精度均較高，擬合決定系數(shù)2和NRMSE分別在0.892～0.913和28.01%～31.00%間變化，說明基于冠層果自動檢測的油茶估產(chǎn)方法具有較高的穩(wěn)定性和適用性，是一種可推廣的作物估產(chǎn)方法。

[1] 張東生，金青哲，薛雅琳，等. 油茶籽油的營養(yǎng)價值及摻偽鑒定研究進展[J]. 中國油脂，2013，38(8)：47-50.

Zhang Dongsheng, Jin Qingzhe, Xue Yalin, et al. Nutritional value and adulteration identification of oil tea camellia seed oil[J]. China Oils and Fats, 2013, 38(8): 47-50. (in Chinese with English abstract)

[2] Gongal A, Amatya S, Karkee M, et al. Sensors and systems for fruit detection and localization: A review[J]. Computers and Electronics in Agriculture, 2015, 116: 8-19.

[3] 李昕，李立君，高自成，等. 基于偏好人工免疫網(wǎng)絡(luò)多特征融合的油茶果圖像識別[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(14)：133-137.

Li Xin, Li Lijun, Gao Zicheng, et al. Image recognition of camellia fruit based on preference for aiNET multi-features integration[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(14): 133-137. (in Chinese with English abstract)

[4] 李立君，陽涵疆. 基于改進凸殼理論的遮擋油茶果定位檢測算法[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(12)：285-292，346.

Li Lijun, Yang Hanjiang. Revised detection and localization algorithm for camellia oleifera fruits based on convex hull theory[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(12): 285-292, 346. (in Chinese with English abstract)

[5] Gongal A, Karkee M, Amatya S. Apple fruit size estimation using a 3D machine vision system[J]. Information Processing in Agriculture, 2018, 5(4): 498-503.

[6] Zhou R, Damerow L, Sun Y, et al. Using colour features of cv. ‘Gala’ apple fruits in an orchard in image processing to predict yield[J]. Precision Agriculture, 2012, 13(5): 568-580.

[7] Kurtulmus F, Lee W S, Vardar A. Green citrus detection using ‘eigenfruit’, color and circular Gabor texture features under natural outdoor conditions[J]. Computers and Electronics in Agriculture, 2011, 78(2): 140-149.

[8] Yamamoto K, Guo W, Yoshioka Y, et al. On plant detection of intact tomato fruits using image analysis and machine learning methods[J]. Sensors, 2014, 14(7): 12191-12206.

[9] 李昕，李立君，高自成，等. 改進類圓隨機Hough變換及其在油茶果實遮擋識別中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(1)：164-170.

Li Xin, Li Lijun, Gao Zicheng, et al. Revised quasi-circular randomized hough transform and its application in camellia-fruit recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(1): 164-170. (in Chinese with English abstract)

[10] Lin G C, Tang Y C, Zou X J, et al. Guava detection and pose estimation using a low-cost RGB-D sensor in the field[J]. Sensors, 2019, 19(2): 428.

[11] 張習(xí)之，李立君. 基于改進卷積自編碼機的油茶果圖像識別研究[J]. 林業(yè)工程學(xué)報，2019，4(3)：118-124.

Zhang Xizhi, Li Lijun. Research of image recognition of camellia oleifera fruit based on improved convolutional auto-encoder[J]. Journal of Forestry Engineering, 2019, 4(3): 118-124. (in Chinese with English abstract)

[12] Koirala A, Walsh K B, Wang Z, et al. Deep learning for real-time fruit detection and orchard fruit load estimation: Benchmarking of ‘MangoYOLO’[J]. Precision Agriculture, 2019, 20(6): 1107-1135.

[13] Wang Z, Walsh K, Koirala A. Mango fruit load estimation using a video based Mango YOLO-Kalman filter-hungarian algorithm method[J]. Sensors, 2019, 19(12): 2742.

[14] Zhuang J J, Luo S M, Hou C J, et al. Detection of orchard citrus fruits using a monocular machine vision-based method for automatic fruit picking applications[J]. Computers and Electronics in Agriculture, 2018, 152: 64-73.

[15] Rahnemoonfar M, Sheppard C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): 905.

[16] H?ni N, Roy P, Isler V. Apple counting using convolutional neural networks[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 2559-2565.

[17] Wu S R, Yang P, Chen Z X, et al. Estimating winter wheat yield by assimilation of remote sensing data with a four-dimensional variation algorithm considering anisotropic background error and time window[J]. Agricultural and Forest Meteorology, 2021, 301: 108345.

[18] 徐權(quán)，郭鵬，祁佳峰，等. 基于無人機影像的SEGT棉花估產(chǎn)模型構(gòu)建[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(16)：44-51.

Xu Quan, Guo Peng, Qi Jiafeng, et al. Construction of SEGT cotton yield estimation model based on UAV image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(16): 44-51. (in Chinese with English abstract)

[19] García-Martínez H, Flores-Magdaleno H, Ascencio-Hernández R, et al. Corn grain yield estimation from vegetation indices, canopy cover, plant density, and a neural network using multispectral and RGB images acquired with unmanned aerial vehicles[J]. Agriculture, 2020, 10(7): 277.

[20] 周小成，何藝，黃洪宇，等. 基于兩期無人機影像的針葉林伐區(qū)蓄積量估算[J]. 林業(yè)科學(xué)，2019，55(11)：117-125.

Zhou Xiaocheng, He Yi, Huang Hongyu, et al. Estimation of forest stand volume on coniferous forest cutting area based on two periods unmanned aerial vehicle images[J]. Scientia Silvae Sinicae, 2019, 55(11): 117-125. (in Chinese with English abstract)

[21] Zhou J, Zhou J F, Ye H, et al. Yield estimation of soybean breeding lines under drought stress using unmanned aerial vehicle-based imagery and convolutional neural network[J]. Biosystems Engineering, 2021, 204: 90-103.

[22] Apolo Apolo O E, Martínez-Guanter J, Egea G, et al. Deep learning techniques for estimation of the yield and size of citrus fruits using a UAV[J]. European Journal of Agronomy, 2020, 115: 126030.

[23] Khan M A, Akram T, Zhang Y D, et al. Attributes based skin lesion detection and recognition: A mask RCNN and transfer learning-based deep learning framework[J]. Pattern Recognition Letters, 2021, 143: 58-66.

[24] Lin T Y, Dollár P, Girshick R, et al. Feature Pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2117-2125.

[25] 嚴恩萍，趙運林，林輝，等. 基于地統(tǒng)計學(xué)和多源遙感數(shù)據(jù)的森林碳密度估算[J]. 林業(yè)科學(xué)，2017，53(7)：72-84.

Yan Enping, Zhao Yunlin, Lin Hui, et al. Estimation of forest carbon density based on geostatistics and multi-r esource remote sensing data[J]. Scientia Silvae Sinicae, 2017, 53(7): 72-84. (in Chinese with English abstract)

[26] Pinheiro P O, Collobert R, Dollar P. Learning to segment object candidates[J]. NIPAS’15: Proceedings of the 28thInternational Conference on Neural Information Processing System, 2015, 2: 1990-1998.

[27] 趙立新，侯發(fā)東，呂正超，等. 基于遷移學(xué)習(xí)的棉花葉部病蟲害圖像識別[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lyu Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

[28] Fan Z M, Xia W J, Liu X, et al. Detection and segmentation of underwater objects from forward-looking sonar based on a modified Mask RCNN[J]. Signal, Image and Video Processing, 2021, 15: 1135-1143.

[29] Jia W K, Tian Y Y, Luo R, et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot[J]. Computers and Electronics in Agriculture, 2020, 172: 105380.

[30] 王丹丹，何東健. 基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機器人疏果前蘋果目標的識別[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(3)：156-163.

Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156-163. (in Chinese with English abstract)

[31] Yu N, Li L, Schmitz N, et al. Development of methods to improve soybean yield estimation and predict plant maturity with an unmanned aerial vehicle based platform[J]. Remote Sensing of Environment, 2016, 187: 91-101.

[32] 劉煥軍，孟令華，張新樂，等. 基于時間序列Landsat 影像的棉花估產(chǎn)模型[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(17)：215-220.

Liu Huanjun, Meng Linghua, Zhang Xinle, et al. Estimation model of cotton yield with time series Landsat images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(17): 215-220. (in Chinese with English abstract)

Rapid estimation of camellia oleifera yield based on automatic detection of canopy fruits using UAV images

Yan Enping, Ji Yu, Yin Xianming, Mo Dengkui※

(1.,,410004,; 2.,,410004,; 3.,410004,)

Rapid and accurate yield estimation is of great significance to the management and sustainable development of Camellia oleifera production. The quantity and single fruit weight of camellia fruits are crucial indicators representing the Camellia yield. Therefore, a highly efficient and accurate monitoring of the quantity and single fruit weight of Camellia fruits can contribute to saving labor, material, and financial resources, as well as timely decision-making. Unmanned aerial vehicle (UAV) remote sensing has presented a high spatial resolution, fast data acquisition, and simple operation in recent years. An optimal operation period can be selected to obtain high-resolution aerial images, and thereby to realize the crop yield estimation in a large scale using the fruit numbers. However, only a few kinds of research are focused on the estimation of Camellia yield using UAV images and fruit number identification. In this study, a rapid yield estimation of Camellia oleifera was realized via the automatic detection of canopy fruit using UAV images. Firstly, a DJI Mavic 2 PRO UAV platform and Hasselblad L1D-20C camera were utilized to obtain UAV aerial images in the study area. 120 camellia oleifera trees were selected by random sampling for close-up UAV shooting, and manual picking, and weighing. A Mask RCNN framework was then employed to automatically detect and count the canopy fruits in the sample trees using UAV close-up images. Finally, two common Linear Regression (LR) and K-Nearest Neighbor (KNN) were used to build the relationship between the predicted fruit numbers of tree canopy and the measured. A yield estimation model was thus constructed using automatic detection of canopy fruits, according to the total numbers of sample trees and the average weight of single fruit. The results showed that: (1) There was an excellent performance of crop yield estimation via the automatic detection of canopy fruits using close-range photography of UAV, compared with the traditional method. (2) UAV ultra-low-altitude close-up images combined with Mask RCNN network effectively detected the camellia oleifera fruits under different lighting conditions, with an average F1 value of 89.91%. (3) There was well consistency between the predicted fruit numbers of tree canopy identified by Mask RCNN network and the measured, with2higher than 0.871. (4) The yield estimation results showed that the combined LR/KNN models presented a higher accuracy of yield estimation with2and NRMSE ranging from 0.892 to 0.913, and 28.01% to 31.00%, respectively. Consequently, the rapid yield estimation of Camellia oleifera sample trees can be achieved using automatic detection of canopy fruits from UAV images. The finding can provide highly versatile and great potential for rapid yield estimation and intelligent monitoring of the crops or trees in large areas.

UAV; automatic detection; Camellia oleifera; rapid yield estimation; canopy fruit

嚴恩萍，棘玉，尹顯明，等. 基于無人機影像自動檢測冠層果的油茶快速估產(chǎn)方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(16)：39-46.doi：10.11975/j.issn.1002-6819.2021.16.006 http://www.tcsae.org

Yan Enping, Ji Yu, Yin Xianming, et al. Rapid estimation of camellia oleifera yield based on automatic detection of canopy fruits using UAV images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 39-46. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.16.006 http://www.tcsae.org

2021-04-01

2021-07-14

國家自然科學(xué)基金項目（31901311，32071682）

嚴恩萍，博士，講師，研究方向為林業(yè)遙感與地理信息系統(tǒng)應(yīng)用。Email：Enpingyan@csuft.edu.cn

莫登奎，副教授，研究方向為林業(yè)遙感與人工智能應(yīng)用。Email：dengkuimo@csuft.edu.cn

10.11975/j.issn.1002-6819.2021.16.006

S127；S757.2

A

1002-6819(2021)-16-0039-08