多尺度特征融合的柑橘冠層施藥沉積量分類模型

陸健強，林佳翰，鄧小玲，蘭玉彬，邱洪斌，楊瑞帆，陳平福

多尺度特征融合的柑橘冠層施藥沉積量分類模型

陸健強1,2,3，林佳翰1，鄧小玲1,2,3，蘭玉彬1,2,3※，邱洪斌1，楊瑞帆1，陳平福1

（1. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院、人工智能學(xué)院，廣州 510642； 2. 國家精準農(nóng)業(yè)航空施藥技術(shù)國際聯(lián)合研究中心，廣州 510642； 3.嶺南現(xiàn)代農(nóng)業(yè)廣東實驗室，廣州 510642）

針對傳統(tǒng)農(nóng)作物冠層施藥沉積量分類模型分類準確率低、網(wǎng)絡(luò)模型參數(shù)量大且運算速度慢的問題，該研究提出一種改進的SPP-Net-Inception-v4模型。該模型通過構(gòu)建稀疏網(wǎng)絡(luò)結(jié)構(gòu)平衡各個模型子網(wǎng)間的計算量，利用3個Inception模塊生成施藥沉積量在柑橘冠層熱紅外圖像的稠密有效特征數(shù)據(jù)；在模型的卷積層與全連接層間創(chuàng)新性接入空間金字塔池化網(wǎng)絡(luò)（Spatial Pyramid Pooling Network, SPP-Net），進行一次歷遍提取熱紅外圖像特征信息，再通過空間池化操作融合3種池化方式提取的多尺度特征，實現(xiàn)柑橘冠層熱紅外圖像施藥沉積量表現(xiàn)特征的提取與融合。搭建多環(huán)境因素自主控制試驗環(huán)境，模擬無人機低空采集柑橘冠層熱紅外圖像，應(yīng)用3個分類模型進行對比試驗，試驗結(jié)果表明，SPP-Net-Inception-v4模型與Inception-v4和ResNet-152兩種模型相比，準確率分別提高1.58%和3.26%，模型訓(xùn)練完成凍結(jié)后占用計算機存儲空間大小分別降低13%和24%，表明SPP-Net-Inception-v4模型在降低模型規(guī)模的基礎(chǔ)上，提高了柑橘樹冠層施藥沉積量分類的準確率，可為精準農(nóng)業(yè)航空中無人機植保技術(shù)的進一步發(fā)展提供參考。

農(nóng)藥；模型；噴霧；柑橘；熱紅外圖像；多尺度特征；SPP-Net

0 引 言

隨著無人機在農(nóng)業(yè)航空領(lǐng)域的快速發(fā)展[1]，植保無人機正逐漸取代精準性差、效率低的人工植保方法，在現(xiàn)代農(nóng)業(yè)施藥技術(shù)上取得了跨越式的進步[2]。植保無人機以藥箱裝載藥劑，大面積作業(yè)時需往返補充藥液若干次以完成全部作物施藥，另一方面，植保無人機正常作業(yè)期間，旋翼產(chǎn)生的風場容易導(dǎo)致葉片霧滴附著率降低[3]，而且由于藥液雜質(zhì)等問題，施藥過程也會發(fā)生噴頭堵塞問題。可見，無人機施藥過程中漏噴、少噴或者藥液霧滴噴灑不均勻等作業(yè)情況時有發(fā)生。因此，精準快速分類果樹冠層的施藥沉積量，及時反饋作物藥液漏噴、少噴等問題，對進一步提高植保無人機在精準農(nóng)業(yè)航空領(lǐng)域的應(yīng)用有實際意義。

利用計算機視覺技術(shù)進行精準農(nóng)業(yè)中的圖像分類處理，一直是國內(nèi)外研究學(xué)者的研究熱點之一。2006年，Shi等[4]提出一種采用四元數(shù)分割圖像的算法，該算法可以實現(xiàn)分割紋理的目標，此方法在計算時不可避免會丟失圖像的某些紋理信息，且對訓(xùn)練集的要求較高。2016年，Yoo等[5]把原始圖片劃分成紋理與結(jié)構(gòu)兩大部分，實現(xiàn)高分辨圖像的紋理增強，通過結(jié)構(gòu)提取方法提取圖片結(jié)構(gòu)部分，最后紋理部分即為原圖片與結(jié)構(gòu)部分的差值，此過程比較復(fù)雜且容易出現(xiàn)誤差。2018年，Vani等[6]提出一種基于主紋理和主色通道的局部主紋理顏色模式的方法，利用Outex和Vistex數(shù)據(jù)庫中的彩色圖像對所提出的紋理顏色特征進行旋轉(zhuǎn)、光照和尺度不變性測試，用于智能化控制交通信號系統(tǒng)，當遇到霧天等極端天氣時，識別精準度低。2019年，張智韜等[7]提出通過溫度直方圖的技術(shù)手段來分類熱紅外圖像的，根據(jù)溫度直方圖變化得出果樹葉表面的施藥情況，此方法在分類后存在冠層特征數(shù)的選擇較為復(fù)雜的問題，實際操作難度較大。以上的識別方法主要是基于溫度直方圖、圖像的結(jié)構(gòu)和紋理，但大部分在實際操作中可行性不高。

近年來，深度學(xué)習中區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-Convolutional Neural Networks, R-CNN）系列在目標分類領(lǐng)域取得舉世矚目的突破，分類精度相比傳統(tǒng)方法大幅度提高，但這類方法存在處理速度慢的缺陷[8]。2012年，AlexNet模型由多倫多大學(xué)Alex Krizhevsky提出[9-10]，圖像分類模型再一次取得突破進展。自2016年起，YOLO算法系列被相繼提出[11]，與R-CNN系列相比，YOLO系列的優(yōu)勢為速度較快，對輸入的圖像尺寸要求嚴格，當圖像尺寸產(chǎn)生變化后，該方法的泛化能力表現(xiàn)較差[12]，而且對與熱紅外圖像中的某一塊小型的候選區(qū)域進行分類時的表現(xiàn)結(jié)果較差。

本研究以模擬無人機低空飛行采集的柑橘樹冠層施藥熱紅外圖像為研究對象，通過拓寬和加深網(wǎng)絡(luò)學(xué)習以及多尺寸特征提取融合，達到提高模型準確率的目的，旨在解決果樹施藥沉積量分類問題。試驗仿真植保無人機真實作業(yè)環(huán)境的大氣條件，結(jié)合3種數(shù)據(jù)增強方法構(gòu)建柑橘樹冠層施藥圖像數(shù)據(jù)集。針對柑橘樹冠層施藥沉積量表現(xiàn)的熱紅外圖像特征特點，本研究以平衡子網(wǎng)絡(luò)計算量基礎(chǔ)上產(chǎn)生稠密有效特征信息數(shù)據(jù)以及多尺度特征提取與融合為核心設(shè)計思想，提出一種改進的SPP-Net-Inception-v4模型。該分類模型通過降低特征描述瓶頸問題，結(jié)合空間金字塔池化方法，實現(xiàn)柑橘冠層熱紅外圖像施藥沉積量表現(xiàn)特征的提取與融合，以期提高柑橘樹冠層施藥沉積量分類的準確率。

1 材料與方法

1.1 數(shù)據(jù)采集

1.1.1 試驗平臺

數(shù)據(jù)采集試驗于2019年3－6月在廣東省華南農(nóng)業(yè)大學(xué)工程學(xué)院柑橘實驗基地進行。為模擬本試驗所需的各項無人機作業(yè)條件，設(shè)計了柑橘冠層施藥沉積量標定試驗平臺開展研究（圖1a）。該平臺主要由Vue Pro R 640紅外熱像儀（菲力爾，美國）、加熱器、加濕器、人造光源、溫濕度計、照度計、可升降不銹鋼固定架、密封塑料薄膜組成[13-14]。試驗平臺由密封塑料薄膜進行封閉，通過加熱器、加濕器、人造光源設(shè)置不同的環(huán)境參數(shù)[15]，具體數(shù)值由溫濕度計和照度計測量；紅外熱像儀固定在可升降不銹鋼固定架上，對柑橘樹進行不同高度的圖像數(shù)據(jù)采集；果樹冠層施藥沉積量利用霧滴測試紙進行標定，霧滴測試紙尺寸為40 mm×92.5 mm，均勻固定在柑橘樹葉片上（圖1b）。霧滴測試紙干燥區(qū)域呈黃色，遇水區(qū)域呈綠色，依此進行柑橘冠層施藥沉積量統(tǒng)計計算（圖1c）。

圖1 柑橘樹冠層施藥沉積量標定過程

1.1.2 數(shù)據(jù)采集試驗步驟

1）模擬植保無人機實際作業(yè)環(huán)境的大氣條件，利用加熱器、加濕器、人造光源設(shè)置試驗平臺的環(huán)境參數(shù)，具體設(shè)置溫度范圍為20～36 ℃，空氣相對濕度范圍為45%～65%，光照強度范圍為800～1 200 lx。

2）利用噴壺對柑橘樹進行植保施藥的模擬噴灑，施藥沉積量由固定在葉片上的霧滴測試紙標定。按一般農(nóng)作物施藥標準，15 L/hm2施藥量計算，農(nóng)藥沉積量理論值為0.15L/cm2?？紤]實際作業(yè)中液滴漂移等影響因素，本試驗定義果樹冠層的施藥情況為農(nóng)藥沉積量≥0.10L/cm2為施藥沉積效果良好，標簽為已施藥；農(nóng)藥沉積量<0.10L/cm2為植保作業(yè)產(chǎn)生漏噴、少噴現(xiàn)象，標簽為未施藥。

3）通過調(diào)節(jié)可升降不銹鋼固定架高度以模擬無人機在距離柑橘樹冠層頂端0.8、1.0和1.5 m高度處進行熱紅外圖像數(shù)據(jù)采集。紅外熱像儀每次采集前預(yù)熱30 s，采集圖像分辨率像素為640×512。

4）通過ImagePy軟件分析霧滴測試卡的標定圖像，進行柑橘冠層施藥沉積量圖像集的分類標定。

經(jīng)統(tǒng)計，試驗完畢共采集2 160張柑橘樹冠層熱紅外遙感有效圖片，其中在0.8、1.0和1.5 m處分別采集已施藥標簽的有效原始圖片480張（共1 440張），未施藥標簽的有效原始圖片240張（共720張）。

1.2 數(shù)據(jù)擴增

為防止訓(xùn)練數(shù)據(jù)量過少發(fā)生過擬合現(xiàn)象，本研究采用3種數(shù)據(jù)增強方法對柑橘樹冠層熱紅外圖像進行數(shù)據(jù)擴增，具體包括：

1）利用Rotate函數(shù)、Affine函數(shù)分別對柑橘樹冠層熱紅外圖像進行45°旋轉(zhuǎn)和仿射；

2）用Flip函數(shù)對柑橘樹冠層熱紅外圖像分別進行水平和垂直翻轉(zhuǎn)；

3）利用Affine函數(shù)對柑橘樹冠層熱紅外圖像進行圖像平移。

原始圖像集經(jīng)擴增最終增加為6 480張，利用中心裁剪法把圖像分辨率像素固定為299′299，并利用Sklearn庫設(shè)置隨機種子，按5∶1的比例將數(shù)據(jù)集切分為訓(xùn)練集和驗證集。其中訓(xùn)練集5 400張，包括1 800張未施藥標簽和3 600張已施藥標簽的熱紅外圖像；驗證集1 080張，包括360張未施藥標簽和720張已施藥標簽的熱紅外圖像。

1.3 SPP-Net-Inception-v4模型構(gòu)建

1.3.1 模型設(shè)計

SPP-Net-Inception-v4模型的設(shè)計核心在于構(gòu)建稀疏網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上產(chǎn)生稠密的有效數(shù)據(jù)，通過調(diào)節(jié)層尺寸[16]，改善網(wǎng)絡(luò)在柑橘冠層熱紅外圖像特征提取過程中出現(xiàn)的梯度彌散和網(wǎng)絡(luò)退化問題，進一步利用空間金字塔池化方法，對施藥沉積量在熱紅外圖像表現(xiàn)的熱輻射特征進行多尺度提取與融合。其設(shè)計目標是在增加網(wǎng)絡(luò)深度和寬度的同時，平衡各個模型子網(wǎng)間的計算量，提高模型對柑橘冠層施藥沉積量分類的準確率。

SPP-Net-Inception-v4模型整體網(wǎng)絡(luò)結(jié)構(gòu)圖（圖2），主要由Stem+SPP-Net、Inception-A+SPP-Net、Reduction-A+ SPP-Net、Inception-B+SPP-Net、Reduction-B+SPP-Net和Inception-C+SPP-Net六大模塊組成。Stem+SPP-Net模塊對輸入Inception模塊前的初始數(shù)據(jù)做多次卷積和2次池化預(yù)處理[17]，其中池化層的卷積與池化采取并行處理方式，防止柑橘冠層熱紅外圖像特征丟失；Inception-A+ SPP-Net、Inception-B+SPP-Net和Inception-C+SPP-Net 3個模塊分別在模塊輸出尺寸為35′35、17′17、8′8的圖像上進行不同大小卷積核的卷積操作，以提取施藥沉積量在柑橘冠層熱紅外圖像的不同表現(xiàn)特征；Reduction-A+SPP-Net和Reduction-B+SPP-Net 2個模塊分別實現(xiàn)模塊輸出尺寸從35′35至17′17、17′17至8′8的轉(zhuǎn)換操作，降低Inception模塊網(wǎng)絡(luò)層數(shù)增加所導(dǎo)致的計算量增大問題。SPP-Net-Inception-v4模型網(wǎng)絡(luò)具體的層結(jié)構(gòu)如表1所示。

注：299×299×3表示輸入圖像的尺寸；1×1×1 000表示輸出的向量大小。

表1 SPP-Net-Inception-v4模型的網(wǎng)絡(luò)層結(jié)構(gòu)

注：-表示該模塊類型無此參數(shù)；keep 0.8表示保留80%的數(shù)據(jù)。

Note: -indicates that this module type does not have this parameter; keep 0.8 means to keep 80% of the data.

1.3.2 多尺度特征融合

施藥沉積量在柑橘冠層熱紅外圖像表現(xiàn)的特征，包含大面積的柑橘樹總體熱紅外輻射信息，也包含葉片以及像素級的熱狀況信息。為提取上述柑橘冠層熱紅外圖像的多尺度特征，提升冠層施藥沉積量的準確率，SPP-Net-Inception-v4在模型的卷積層與全連接層間創(chuàng)新性接入SPP-Net網(wǎng)絡(luò)[18-19]，利用3種池化方式對柑橘冠層熱紅外圖像進行不同尺寸的特征提取。SPP-Net在整個柑橘冠層熱紅外圖像輸入卷積層只采取一次歷遍提取熱紅外圖像特征信息，通過空間池化操作融合所提取的多尺度特征，生成固定長度的特征矩陣向量[20-21]。SPP-Net-Inception-v4模型利用SPP-Net方法實現(xiàn)柑橘冠層熱紅外圖像施藥沉積量多尺寸表現(xiàn)特征的提取融合，增強模型泛化能力。SPP-Net在模型中的作用具體體現(xiàn)為：

1）可輸入任意尺寸圖像，輸出固定大小的特征向量[22-23]；

2）可調(diào)整不同的網(wǎng)絡(luò)結(jié)構(gòu)以獲取多種尺寸特征向量；

3）可對任意尺度所提取的特征矩陣進行池化操作，具有較強的魯棒性；

4）與所采用的網(wǎng)絡(luò)無關(guān)，可提升卷積神經(jīng)網(wǎng)絡(luò)的精度。

1.3.3 模型運行環(huán)境

計算機運行硬件環(huán)境：處理器為Intel Xeon(R) CPU E5-2620 v4 @ 2.1 0GHz ×16，內(nèi)存為64G，圖形處理器（Graphics Processing Unit, GPU）為GTX TIAN X。

軟件環(huán)境：操作系統(tǒng)為Ubuntu16.04，深度學(xué)習框架為Pytorch1.3.1[24-25]，編程語言為Python3.7，集成開發(fā)環(huán)境為Spyder。

1.4 結(jié)果評價方法

為了評價柑橘冠層施藥沉積量分類模型的擬合優(yōu)度，選擇模型大小和損失值（Loss）作為模型訓(xùn)練結(jié)果的評價指標。模型大小反映模型訓(xùn)練完成凍結(jié)后占用計算機儲存空間的大小，MB。損失值估量模型的預(yù)測值與真實值的擬合程度，損失值越小，代表模型的魯棒性越好，其計算如式（1）所示：

式中為第個樣本，y為第個樣本對應(yīng)的標簽，為模型輸出函數(shù)，為求和變量，為樣本總數(shù)。

采用準確率（Accuracy）作為模型對驗證集進行分類驗證試驗的評價指標，其計算如式（2）所示：

式中TP為被正確劃分為正例樣本的數(shù)據(jù)量，F(xiàn)P為被錯誤劃分為正例樣本的數(shù)據(jù)量，TN為被正確劃分為負例樣本的數(shù)據(jù)量，F(xiàn)N為被錯誤劃分為負例樣本的數(shù)據(jù)量。

2 結(jié)果與分析

為驗證SPP-Net-Inception-v4模型提升柑橘樹冠層施藥沉積量分類準確率的有效性，選擇Inception-v4模型[26]、ResNet-152模型[27]與SPP-Net-Inception-v4模型分別對本研究構(gòu)建的柑橘樹冠層熱紅外圖像數(shù)據(jù)集進行訓(xùn)練與驗證[28]。

2.1 3種模型訓(xùn)練結(jié)果分析

利用柑橘樹冠層熱紅外圖像數(shù)據(jù)訓(xùn)練集分別輸入SPP-Net-Inception-v4模型、Inception-v4模型和ResNet-152模型進行訓(xùn)練，模型訓(xùn)練的初始參數(shù)設(shè)置：迭代次數(shù)為5 000，學(xué)習率為0.01。3種模型的損失函數(shù)曲線圖（圖3），其中隨著迭代次數(shù)增大，3種模型的損失函數(shù)整體呈下降趨勢，表明本研究的柑橘樹冠層熱紅外圖像數(shù)據(jù)訓(xùn)練集數(shù)據(jù)量達到正常模型訓(xùn)練所需的數(shù)據(jù)量標準，3種模型均可有效提取已施藥和未施藥柑橘冠層熱紅外圖像的特征信息，具備模型收斂條件。詳細分析損失函數(shù)曲線可知，在前500次迭代過程中，3種模型的損失值快速下降且數(shù)值接近；在第500次迭代后，ResNet-152模型的損失函數(shù)開始逐漸收斂，表明ResNet-152模型對柑橘樹冠層熱紅外圖像數(shù)據(jù)的預(yù)測值準確度提高速度開始下降，Inception-v4模型和SPP-Net-Inception-v4模型的損失函數(shù)下降趨勢也均開始放緩，但SPP-Net-Inception-v4模型下降趨勢仍明顯比其他2種模型更快；在第3 000次迭代后，3種模型的損失函數(shù)曲線均已平緩收斂，最終SPP-Net-Inception-v4模型具有更小的損失值，表明與其他2種模型相比，SPP-Net-Inception-v4模型提取的特征更加全面精細，對不同施藥沉積量的柑橘冠層熱紅外圖像的區(qū)分度更高。

圖3 3種模型的損失函數(shù)曲線

3種模型的損失值和模型大小的評價結(jié)果如表2所示。訓(xùn)練結(jié)束，SPP-Net-Inception-v4模型最終收斂的評價指標與Inception-v4模型和ResNet-152模型相比，損失值分別降低73%和89%，模型大小分別降低13%和24%?？梢姡c傳統(tǒng)的分類模型相比，SPP-Net-Inception-v4模型提高了柑橘冠層熱紅外圖像數(shù)據(jù)訓(xùn)練集的擬合程度，降低了模型輸出與真實標簽的差異值；模型大小的降低反映了模型參數(shù)量的減少，表明SPP-Net-Inception-v4模型表達的柑橘冠層熱紅外圖像施藥沉積量多尺寸表現(xiàn)特征更加高效可靠。

表2 3種網(wǎng)絡(luò)模型的評價結(jié)果

2.2 3種模型準確率驗證結(jié)果分析

為驗證本研究分類柑橘樹冠層施藥沉積量的準確率，分別利用SPP-Net-Inception-v4模型、Inception-v4模型和ResNet-152模型對驗證集進行分類驗證試驗。試驗的迭代次數(shù)設(shè)置為5 000，3種模型在驗證集上的驗證準確率曲線圖如圖4所示。隨著迭代次數(shù)的增加，3種模型在驗證集上的準確率均呈上升趨勢，在第4 000次迭代后，ResNet-152模型的準確率逐漸收斂在90%附近，Inception-v4模型的準確率逐漸收斂在93%附近，表明這2種模型可在一定程度上表達柑橘樹冠層熱紅外圖像特征信息。SPP-Net-Inception-v4模型的準確率曲線在第1 200次迭代迅速上升后即逐漸收斂，比另外2種模型收斂速度更快。最終，模型準確率收斂在95%附近，表明模型利用空間金字塔3種池化方式，實現(xiàn)了柑橘冠層熱紅外圖像不同尺寸的特征提取與融合，提高了模型對施藥沉積量在柑橘冠層熱紅外圖像表現(xiàn)特征的表達能力，降低了模型的泛化誤差，對柑橘冠層施藥沉積量分類效果優(yōu)于Inception-v4模型和ResNet-152模型。

圖4 3種模型的準確率曲線圖

利用保存的最優(yōu)SPP-Net-Inception-v4模型進行驗證集分類預(yù)測結(jié)果統(tǒng)計（表3）。試驗結(jié)果表明，SPP-Net-Inception-v4模型基于多尺度特征融合的網(wǎng)絡(luò)設(shè)計，準確預(yù)測了大部分驗證集數(shù)據(jù)的施藥情況，模型的最優(yōu)收斂準確率為95.07%，比Inception-v4模型提高1.58%，比ResNet-152提高3.26%。驗證集的分類預(yù)測結(jié)果顯示，預(yù)測正確的已施藥和未施藥冠層熱紅外圖像（圖5a和圖5b），預(yù)測錯誤的已施藥和未施藥冠層熱紅外圖像（圖5c和圖5d）。通過綜合對比分析可知，預(yù)測正確與預(yù)測錯誤的柑橘冠層圖像均有局部特征不同程度相近的特點，說明模型特征擬合表達還有進一步提升的空間，另一方面也說明原始圖像與特征圖之間存在多尺度感受野大小未能完全匹配模型網(wǎng)絡(luò)寬度與深度變化的可能。

表3 SPP-Net-Inception-v4模型驗證集的分類預(yù)測結(jié)果

圖5 柑橘冠層施藥沉積量的分類預(yù)測結(jié)果

3 結(jié) 論

本研究提出了一種用于柑橘樹冠層施藥沉積量分類的SPP-Net-Inception-v4模型，通過與Inception-v4和ResNet-152模型的對比試驗，驗證了該模型的有效性，得出結(jié)論如下：

1）SPP-Net-Inception-v4模型利用多層的空間金字塔3種池化方式，對柑橘冠層圖像大面積熱紅外輻射信息、葉片以及像素級熱狀況信息的多尺寸特征進行提取融合，有效提高了模型對施藥沉積量在柑橘冠層熱紅外圖像表現(xiàn)特征的表達能力，增強了模型泛化能力，改善了農(nóng)業(yè)航空不同尺寸圖像在傳統(tǒng)深度學(xué)習模型應(yīng)用受限的問題。

2）SPP-Net-Inception-v4模型在拓寬和加深網(wǎng)絡(luò)結(jié)構(gòu)的同時，均衡了各子網(wǎng)的計算量，模型在驗證集上最優(yōu)收斂的準確率為95.07%，與Inception-v4和ResNet-152模型相比，分別提高了1.58%和3.26%，表明該模型針對柑橘冠層的施藥沉積量分類性能良好，可對植保無人機施藥技術(shù)以及國家農(nóng)業(yè)綠色發(fā)展工作中化肥農(nóng)藥的減施增效提供有益參考。

[1]蘭玉彬，陳盛德，鄧繼忠，等. 中國植保無人機發(fā)展形勢及問題分析[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報，2019，40(5)：217-225.

Lan Yubin, Chen Shengde, Deng Jizhong, et al. Development situation and problem analysis of plant protection unmanned aerial vehicle in China[J]. Journal of South China Agricultural University, 2019, 40(5): 217-225. (in Chinese with English abstract)

[2]Zhu Hang, Jiang Yu, Li Hongze, et al. Effects of application parameters on spray characteristics of multi-rotor UAV[J]. International Journal of Precision Agricultural Aviation, 2019, 2(1): 18-25.

[3]Lan Yubin, Chen Shengde. Current status and trends of plant protection UAV and its spraying technology in China[J]. International Journal of Precision Agricultural Aviation, 2018, 1(1): 1-9.

[4]Shi Lilong, Funt B. Quaternion color texture segmentation[J]. Computer Vision and Image Understanding, 2006, 107(1): 88-96.

[5]Yoo S B, Choi K, Jeon Y W, et al. Texture enhancement for improving single image super-resolution performance[J]. Image Communication, 2016, 46(8): 29-39.

[6]Vani R, Thendral N, Kavitha J C, et al. Intelligent traffic control system with priority to emergency vehicles[J]. 2018, 455(1): 20-23.

[7]張智韜，許崇豪，譚丞軒，等. 覆蓋度對無人機熱紅外遙感反演玉米土壤含水率的影響[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(8)：213-225.

Zhang Zhitao, Xu Chonghao, Tan Chenxuan, et al. Influence of coverage on soil moisture content of field corn inversed from thermal infrared remote sensing of UAV[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(8): 213-225. (in Chinese with English abstract)

[8]Liu Wei, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//Proceedings of European Conference on Computer Vision, Amsterdam, Netherlands, 2016.

[9]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. In Advances in Neural Information Processing Systems, 2017, 60(6): 84-90.

[10]張柏雯，林嵐，吳水才. 基于AlexNet模型的AD分類[J]. 北京工業(yè)大學(xué)學(xué)報，2020，46(1)：68-74.

Zhang Bowen, Lin Lan, Wu Shuicai. Efficient alzheimer's disease classification based on AlexNet model[J]. Journal of Beijing University of Technology, 2020, 46(1): 68-74. (in Chinese with English abstract)

[11]Redmon J, Divvala S, Girshick R, et al. You Only Look Once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016.

[12]柳毅恒. 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的自閉癥譜系障礙預(yù)測框架[D]. 北京：北京郵電大學(xué)，2018.

Liu Yiheng. An Autism Spectrum Disorder Prediction Framework Based on Recurrent Neural Network[D]. Beijing:Beijing University of Posts and Telecommunications, 2018. (in Chinese with English abstract)

[13]郭娜，劉思瑤，須暉，等. 霧滴沉積特性參數(shù)的圖像檢測算法改進[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(17)：176-182.

Guo Na, Liu Siyao, Xu Hui, et al. Improvement on image detection algorithm of droplets deposition characteristics[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(17): 176-182. (in Chinese with English abstract)

[14]何勇，吳劍堅，方慧，等. 植保無人機霧滴沉積效果研究綜述[J]. 浙江大學(xué)學(xué)報：農(nóng)業(yè)與生命科學(xué)版，2018，44(4)：392-398，515.

He Yong, Wu Jianjian, Fang Hui, et al. Research on deposition effect of droplets based on plant protection unmanned aerial vehicle: A review[J]. Journal of Zhejiang University: Agriculture & Life Sciences Edition, 2018, 44(4): 392-398, 515. (in Chinese with English abstract)

[15]薛新宇，蘭玉彬. 美國農(nóng)業(yè)航空技術(shù)現(xiàn)狀和發(fā)展趨勢分析[J]. 農(nóng)業(yè)機械學(xué)報，2013，44(5)：194-201.

Xue Xinyu, Lan Yubin. Agricultural aviation applications in USA[J]. Transactions of The Chinese Society for Agricultural Machinery, 2013, 44(5): 194-201. (in Chinese with English abstract)

[16]He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 346-361.

[17]Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, Inception-ResNet and the impact of residual connections on learning[C]//AAAI Conference on Artificial Intelligence, Phoenix, USA, 2016.

[18]張琦，張榮梅，陳彬. 基于深度學(xué)習的圖像識別技術(shù)研究綜述[J]. 河北省科學(xué)院學(xué)報，2019，36(3)：28-36.

Zhang Qi, Zhang Rongmei, Chen Bin. Research review of image recognition technology based on deep learning[J]. Journal of the Hebei Academy of Sciences, 2019, 36(3): 28-36. (in Chinese with English abstract)

[19]張景異，梁宸，吳攀，等. 基于改進Inception V4的面部表情識別算法的研究[J]. 光電技術(shù)應(yīng)用，2020，35(1)：56-63.

Zhang Jingyi, Liang Chen, Wu Pan, et al. Research on facial expression recognition algorithm based on improved Inception V4[J]. Electro-Optic Technology Application, 2020, 35(1): 56-63. (in Chinese with English abstract)

[20]David M W, Beveridge J R, Bruce A D. Inception and ResNet features are (almost) equivalent[J]. Cognitive Systems Research, 2020, 59(1): 312-318.

[21]張曰花，王紅，馬廣明. 基于深度學(xué)習的圖像識別研究[J]. 現(xiàn)代信息科技，2019，3(11)：111-112.

Zhang Yuehua, Wang Hong, Ma Guangming. Research on image recognition based on deep learning[J]. Modern Information Technology, 2019, 3(11): 111-112. (in Chinese with English abstract)

[22]戎輝，華一丁，張小俊，等. 基于遷移學(xué)習和AlexNet的駕駛員行為狀態(tài)識別方法[J]. 科學(xué)技術(shù)與工程，2019，19(28)：208-216.

Rong Hui, Hua Yiding, Zhang Xiaojun, et al. Driver behavior recognition method based on migration learning and AlexNet[J]. Science Technology and Engineering, 2019, 19(28): 208-216. (in Chinese with English abstract)

[23]楊敏. 基于深度學(xué)習級聯(lián)技術(shù)的隧道裂縫識別與分析算法研究[D]. 北京：北京郵電大學(xué)，2019.

Yang Min. Research of Tunnel Cracks Recognition and Analysis Based on Deep Learning Algorithm Cascade[D]. Beijing: Beijing University of Posts and Telecommunications, 2019. (in Chinese with English abstract)

[24]熊恒昌. 基于深度學(xué)習的實時目標檢測[D]. 長沙：湖南大學(xué)，2018.

Xiong Hengchang. Real-Time Object Detection Using Deep Learning[D]. Changsha: Hunan University, 2018. (in Chinese with English abstract)

[25]盧宏濤，張秦川. 深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺中的應(yīng)用研究綜述[J]. 數(shù)據(jù)采集與處理，2016，31(1)：1-17.

Lu Hongtao, Zhang Qinchuan. Summary of research on applications of deep convolutional neural network in computer vision[J]. Journal of Data Acquisition and Processing, 2016, 31(1): 1-17. (in Chinese with English abstract)

[26]朱榮. 計算機圖像處理技術(shù)在農(nóng)業(yè)項目中的應(yīng)用探析[J]. 電子元器件與信息技術(shù)，2020，4(2)：89-91.

Zhu Rong. Analysis of the application of computer image processing technology in agricultural projects[J]. Electronic Components and Information Technology, 2020, 4(2): 89-91. (in Chinese with English abstract)

[27]Szegedy C. On the number of 3-edge colorings of cubic graphs[J]. European Journal of Combinatorics, 2002, 23(1): 113-120.

[28]劉虎，周野，袁家斌. 基于多尺度雙線性卷積神經(jīng)網(wǎng)絡(luò)的多角度下車型精細識別[J]. 計算機應(yīng)用，2019，39(8)：2402-2407.

Liu Hu, Zhou Ye, Yuan Jiabin. Fine-grained vehicle recognition under multiple angles based on multi-scale bilinear convolutional neural network[J]. Journal of Computer Applications, 2019, 39(8): 2402-2407. (in Chinese with English abstract)

Classification model for citrus canopy spraying deposition based on multi-scale feature fusion

Lu Jianqiang1,2,3, Lin Jiahan1, Deng Xiaoling1,2,3, Lan Yubin1,2,3※, Qiu Hongbin1, Yang Ruifan1, Chen Pingfu1

(1.510642; 2.510642;3.510642)

There are relatively few studies on the spray quality of citrus tree canopy in China. In most cases, the method is that farmers observe the spray quality of citrus tree canopy up close in the orchard, which wastes manpower and material resources. Moreover, the observation effect is not ideal and may cause harm to human safety. Domestic conditions allow some orchards to judge the spray effect by observing the water-sensitive paper. This method does save a lot of manpower, and efficiency is significantly improved compared with the previous ones. However, this method is affected by the external environment, and the naked eyes cannot correctly determine the spray quality, which will cause certain errors. Therefore, this study explored new ways to solve these problems. In recent years, thermal imaging technology had shown great research promise in some emerging research areas, especially in agricultural production. In the field of precision agriculture, for example, high-resolution thermal imaging cameras, with the aid of advanced aerial photography technology, can quickly capture thermal images of the canopy before and after spray, which provides new ideas for precision agriculture spray detection technology. This study combined thermal imaging technology and computer vision technology to identify and classify the spray conditions of the plant canopy and accurately detected the spray quality of the leaves, which avoided the waste of pesticides and reduced the manual re-examination steps. Thereby reducing agricultural production costs and improving the economic benefits of agricultural products. In this study, the canopy of a citrus tree was used as a thermal image acquisition area. Inevitably, there are problems such as high noise, low contrast, and blurred feature information in the thermal image acquisition process. In response to the above problems, this study preprocessed the acquired thermal images and eliminated unreasonable data, and set the original data set to two labels (sprayed and unsprayed), and divided them into the training set and the test set. An improved SPP-Net-Inception-v4 model based on the Inception-v4 model and the SPP-Net target detection algorithm was proposed to achieve multi-feature fusion to enhance the feature extraction effect. The model took the construction of a sparse network structure to generate dense data as the core design idea. By introducing the Inception and Reduction modules, the feature description bottleneck problem was reduced; further, SPP-Net (Spatial Pyramid Pooling Network) was innovatively connected between the convolutional layer and the fully connected layer pooling network), which aimed to extract fixed-length feature vectors through the pyramid space pooling method to achieve the fusion of multi-scale features and extraction enhancement effect. Compared with the two models of Inception-v4 and ResNet-152, the experimental results showed that the accuracy of the improved SPP-Net-Inception-v4 model test set was 95.07%, which was 1.58% higher than the accuracy of the original Inception-v4 model and 3.26% higher than that of ResNet-152. Compared with Inception-v4 and ResNet-152, the SPP-Net-Inception-v4 model reduced the model size by 13% and 24%, respectively. The SPP-Net-Inception-v4 model could be used to detect the spray quality of chemicals in citrus fruit trees quickly as well as could improve the economic benefits of agricultural production, and would provide a reference for the further improvement of pesticide detection technology in precision agriculture.

pesticide; models; spray; citrus; thermal infrared image; multi-scale features; SPP-Net

陸健強，林佳翰，鄧小玲，等. 多尺度特征融合的柑橘冠層施藥沉積量分類模型[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(23)：70-76.doi：10.11975/j.issn.1002-6819.2020.23.008 http://www.tcsae.org

Lu Jianqiang, Lin Jiahan, Deng Xiaoling, et al. Classification model for citrus canopy spraying deposition based on multi-scale feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(23): 70-76. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.23.008 http://www.tcsae.org

2020-07-13

2020-08-25

廣東省重點領(lǐng)域研發(fā)計劃（2019B020214003）；國家自然科學(xué)資金（61675003）；廣東省普通高?！叭斯ぶ悄堋敝攸c領(lǐng)域?qū)ｍ棧?019KZDZX1001）

陸健強，博士，高級實驗師，主要從事農(nóng)業(yè)物聯(lián)網(wǎng)與無人機遙感圖像技術(shù)研究。Email：ljq@scau.edu.cn

蘭玉彬，博士，教授，主要從事精準農(nóng)業(yè)航空方向研究。Email：ylan@scau.edu.cn

10.11975/j.issn.1002-6819.2020.23.008

TP391.4

A

1002-6819(2020)-23-0070-07