基于小規(guī)模數(shù)據(jù)集的柑橘樹冠層施藥情況的分類模型

徐相華，林佳翰，陸健強(qiáng),3，陳宏澤，楊瑞帆

(1 華南農(nóng)業(yè)大學(xué) 工程基礎(chǔ)教學(xué)與訓(xùn)練中心，廣東 廣州 510642；2 華南農(nóng)業(yè)大學(xué) 電子工程學(xué)院/人工智能學(xué)院，廣東 廣州 510642；3 國(guó)家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國(guó)際聯(lián)合研究中心，廣東 廣州 510642)

柑橘種植業(yè)在我國(guó)經(jīng)濟(jì)作物領(lǐng)域中占有重要地位，隨著我國(guó)柑橘產(chǎn)業(yè)的快速發(fā)展，柑橘產(chǎn)量和種植面積不斷增加[1]。目前我國(guó)的柑橘生產(chǎn)作業(yè)以人工為主，對(duì)于果樹的農(nóng)藥噴施效果，大多仍由果農(nóng)根據(jù)以往經(jīng)驗(yàn)進(jìn)行辨別，缺乏科學(xué)準(zhǔn)確的判斷依據(jù)[2-4]。另外，受限于柑橘果園環(huán)境影響因素復(fù)雜和數(shù)據(jù)采集傳輸設(shè)備老化，在柑橘噴藥程度的智能化研究過程中，數(shù)據(jù)較少導(dǎo)致模型發(fā)生過擬合的可能性較大。針對(duì)上述問題，結(jié)合人工智能與熱紅外成像技術(shù)，本研究提出一種基于小規(guī)模數(shù)據(jù)集的快速無損的柑橘樹冠層施藥情況分類方法，具有一定的實(shí)際意義。

現(xiàn)階段，針對(duì)果樹的施藥研究主要集中在施藥前的檢測(cè)與施藥中的操作方面。姜紅花等[5]提出的雜草智能檢測(cè)方法，使用ResNet-101網(wǎng)絡(luò)提取特征，進(jìn)行雜草和背景的二分類，實(shí)現(xiàn)了實(shí)時(shí)精準(zhǔn)控制農(nóng)藥變量噴撒的要求。何志謙等[6]基于STM32設(shè)計(jì)的一款智能農(nóng)業(yè)噴藥機(jī)器人，通過多層系統(tǒng)包括主電路系統(tǒng)、飛控系統(tǒng)和噴藥系統(tǒng)的設(shè)計(jì)，實(shí)現(xiàn)了農(nóng)藥定量與變量噴撒，達(dá)到了精細(xì)化農(nóng)業(yè)的要求。有研究設(shè)計(jì)農(nóng)業(yè)智能機(jī)器人，通過機(jī)器人采集作業(yè)信息，進(jìn)行大數(shù)據(jù)分析，實(shí)現(xiàn)精準(zhǔn)噴藥，大幅度提高智能化水平[7-8]。而對(duì)于果樹施藥后，進(jìn)行快速無損檢測(cè)柑橘冠層施藥情況，精準(zhǔn)掌握施藥效果的研究較少。

本研究利用熱紅外成像技術(shù)可識(shí)別地物熱狀況信息的特點(diǎn)[9-10]，以VGG模型為核心設(shè)計(jì)思想，采用3×3卷積核參數(shù)卷積層與1×1池化核參數(shù)池化層疊加的方法，構(gòu)造VGG_C模型，相較ResNet模型和VGG模型，VGG_C模型可針對(duì)農(nóng)業(yè)中現(xiàn)有數(shù)據(jù)集較小的特點(diǎn)進(jìn)行優(yōu)化，通過多層卷積操作對(duì)柑橘樹冠層熱紅外圖像進(jìn)行特征提取，并在輸出端引入不確定性度量計(jì)算以及在下采樣模塊中插入Droupout方法，降低過擬合發(fā)生的概率，采用交叉熵?fù)p失函數(shù)更新模型權(quán)重參數(shù)，提高模型對(duì)不同噴施藥量的柑橘樹冠層熱紅外圖像的分類精度，實(shí)現(xiàn)柑橘樹冠層施藥情況的智能化分類檢測(cè)。最后，與ResNet模型和VGG模型進(jìn)行柑橘樹冠層施藥情況分類性能對(duì)比試驗(yàn)，驗(yàn)證VGG_C模型在小規(guī)模數(shù)據(jù)集上進(jìn)行分類研究的有效性，以期為智慧農(nóng)業(yè)實(shí)現(xiàn)柑橘樹施藥情況快速無損判斷提供有益參考。

1 模型構(gòu)建

1.1 柑橘樹冠層熱紅外圖像獲取

本試驗(yàn)采用 FLIR Vue R 640 紅外熱像儀，分別采集不同環(huán)境狀態(tài)下噴施農(nóng)藥的柑橘樹冠層及未噴施農(nóng)藥的柑橘樹冠層兩類紅外圖像。FLIR Vue R 640紅外熱像儀采用焦平面探測(cè)器，19 mm鏡頭，鏡頭尺寸為 45 mm×63 mm×45 mm，鏡頭質(zhì)量為128 g，波長(zhǎng)范圍為 7.5～13.5 μm，幀頻 9 Hz，像素大小為 17 μm，分辨率為 640×512。

為模擬農(nóng)事作業(yè)的真實(shí)場(chǎng)景[11]，提高數(shù)據(jù)的多樣性和可靠性，針對(duì)影響熱紅外圖像信息的3個(gè)主要環(huán)境因素：溫度、濕度和光照度，采用控制變量的方式，在不同環(huán)境參數(shù)以及相機(jī)與植物不同的間距下采集熱紅外圖像(表1)。

表 1 試驗(yàn)環(huán)境數(shù)據(jù)Table 1 Data of test environment

1.2 數(shù)據(jù)集構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)模型需要大量的數(shù)據(jù)支撐網(wǎng)絡(luò)訓(xùn)練，本研究采用空間幾何變換的方式，如翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)縮放等操作[12]，對(duì)獲取的柑橘樹冠層熱紅外圖像進(jìn)行數(shù)據(jù)增強(qiáng)，數(shù)據(jù)增強(qiáng)倍數(shù)為10，即1份數(shù)據(jù)對(duì)應(yīng)的熱紅外圖像平行擴(kuò)增9份熱紅外圖像，避免過多冗余數(shù)據(jù)導(dǎo)致訓(xùn)練效率下降。

采集原始柑橘樹冠層熱紅外圖像數(shù)據(jù)324張，其中未噴藥的原始圖像數(shù)據(jù)為110張，已噴藥的原始圖像數(shù)據(jù)為214張，經(jīng)10倍數(shù)據(jù)增強(qiáng)后的圖像數(shù)據(jù)為3 240張，其中未噴藥圖像1 100張，已噴藥圖像2 140張。生成的圖像數(shù)據(jù)集存放于目標(biāo)路徑下的2個(gè)子文件夾，命名為“dry”的文件夾存放未噴藥的原始圖像數(shù)據(jù)，命名為“wet” 的文件夾存放噴藥的原始圖像數(shù)據(jù)。部分圖像數(shù)據(jù)如圖1所示。

圖 1 部分圖像數(shù)據(jù)Fig.1 The part of image data

1.3 VGG_C模型設(shè)計(jì)與優(yōu)化

1.3.1 VGG_C 模型設(shè)計(jì) VGG_C 模型結(jié)構(gòu)如圖2所示。VGG_C模型由基礎(chǔ)模塊和下采樣模塊組成，如圖3所示，基礎(chǔ)模塊通過卷積核為3×3的卷積操作對(duì)柑橘樹冠層熱紅外圖像進(jìn)行特征提取，卷積核為1×1的卷積操作對(duì)局部特征進(jìn)行池化，獲取全局性特征，增加批歸一化(Batch normalization,BN)分支，防止梯度爆炸或消失。在原始圖像數(shù)據(jù)集不豐富的前提下，為了降低過擬合概率，下采樣模塊以基礎(chǔ)模塊為基礎(chǔ)，在批歸一化分支中引入Dropout方法[13-15]。VGG_C模型通過多層基礎(chǔ)模塊提取柑橘樹冠層熱紅外圖像的多尺度特征信息，結(jié)合下采樣模塊，實(shí)現(xiàn)對(duì)基礎(chǔ)模塊輸出的降采樣操作，降低模型計(jì)算量，提高模型運(yùn)行效率[16-18]。

圖 2 VGG_C模型結(jié)構(gòu)Fig.2 VGG_C model structure

圖 3 VGG_C模型組成模塊Fig.3 VGG_C model components

1.3.2 VGG_C 模型優(yōu)化 因訓(xùn)練數(shù)據(jù)較少，訓(xùn)練的網(wǎng)絡(luò)易出現(xiàn)過擬合現(xiàn)象，造成網(wǎng)絡(luò)泛化性能低下，增加了訓(xùn)練過程中對(duì)模型不確定性的校準(zhǔn)[19-20]。在本研究中，僅依靠網(wǎng)絡(luò)輸出的柑橘樹冠層施藥類別概率做決策，若分類網(wǎng)絡(luò)輸出已施藥的概率為0.9，則可認(rèn)為該柑橘樹冠層已施藥。因模型訓(xùn)練過程中對(duì)圖片進(jìn)行壓縮和數(shù)據(jù)采集傳感器存在誤差等原因造成不確定性的影響，網(wǎng)絡(luò)輸出的實(shí)際可信度值為0.1，即網(wǎng)絡(luò)的輸出不具有可信度。

針對(duì)上述問題，在網(wǎng)絡(luò)輸出端添加不確定性度量計(jì)算。不確定性度量是針對(duì)類別疏忽概率所設(shè)立的一個(gè)分支，僅存在于訓(xùn)練過程中，用于強(qiáng)迫網(wǎng)絡(luò)學(xué)習(xí)更具精度的類別概率預(yù)測(cè)。通過計(jì)算網(wǎng)絡(luò)輸出的施藥情況分類概率所對(duì)應(yīng)的不確定性，判斷分類結(jié)果與真實(shí)結(jié)果是否接近，進(jìn)而決定是否信任該輸出結(jié)果。計(jì)算網(wǎng)絡(luò)輸出的不確定性方法如下：

假設(shè)樣本的不確定性服從正態(tài)分布，對(duì)于給定的樣本(xi)所對(duì)應(yīng)的不確定性(zi)定義為

式中，P(zi|xi)表示樣本xi所對(duì)應(yīng)的不確定性，N表示正態(tài)分布，μi表示高斯分布的均值，表示高斯分布的方差。其中和 μi均依賴于網(wǎng)絡(luò)的輸出，μi=fθ1(xi)，σi=fθ2(xi)。其中 θ1、θ2分別表示與均值和方差相關(guān)的參數(shù)，f表示柑橘樹冠層施藥情況分類網(wǎng)絡(luò)。

1.4 模型評(píng)價(jià)指標(biāo)

為評(píng)價(jià)柑橘樹冠層施藥情況的分類準(zhǔn)確率，選擇損失值和準(zhǔn)確值作為模型訓(xùn)練結(jié)果的評(píng)價(jià)指標(biāo)。為自適應(yīng)調(diào)整模型優(yōu)度與學(xué)習(xí)率的關(guān)系，采用交叉熵?fù)p失函數(shù)計(jì)算模型迭代的損失函數(shù)值，交叉熵用于評(píng)估卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的概率分布與真實(shí)分布的差異情況，表示期望輸出與實(shí)際輸出的距離，當(dāng)交叉熵的值越小時(shí)，2個(gè)概率分布就越接近。在本研究中，期望輸出代表柑橘樹冠層施藥情況分類模型對(duì)輸入的柑橘樹冠層熱紅外圖像的預(yù)測(cè)分類結(jié)果，實(shí)際輸出代表輸入圖像的真實(shí)施藥情況。交叉熵?fù)p失函數(shù)(C)的公式為：

式中，y為期望輸出，a為神經(jīng)元的實(shí)際輸出，a的表達(dá)式為：

式中，σ()為激活函數(shù)，z為輸入經(jīng)過神經(jīng)網(wǎng)絡(luò)后的輸出，wj為第j個(gè)神經(jīng)層的權(quán)重值，xj為第j個(gè)神經(jīng)層的輸入，b為偏置值。當(dāng)期望輸出y與真實(shí)輸出a相接近時(shí)，損失函數(shù)的值逼近于0。

采用準(zhǔn)確率作為評(píng)估模型對(duì)驗(yàn)證集進(jìn)行分類結(jié)果的指標(biāo)。準(zhǔn)確率(Accuracy rate)的公式為：

式中，TP (True positive)為將正類樣本預(yù)測(cè)為正的數(shù)量，TN (True negative)為將負(fù)類樣本預(yù)測(cè)為負(fù)的數(shù)量，F(xiàn)P (False positive)為將負(fù)類預(yù)測(cè)誤報(bào)為正類的數(shù)量 (Type I error)，F(xiàn)N (False negative)為將正類預(yù)測(cè)誤報(bào)為負(fù)類的數(shù)量 (Type II error)。

2 驗(yàn)證試驗(yàn)及結(jié)果分析

為驗(yàn)證VGG_C模型在基于小規(guī)模數(shù)據(jù)集的柑橘樹冠層施藥情況分類應(yīng)用上的準(zhǔn)確性和可靠性，選擇VGG模型、ResNet模型[21]與VGG_C模型分別對(duì)本研究所構(gòu)建的柑橘樹冠層熱紅外圖像數(shù)據(jù)集進(jìn)行訓(xùn)練與驗(yàn)證。試驗(yàn)環(huán)境如下：開發(fā)語言為Python3.5；深度學(xué)習(xí)框架為Tensorflow 2.0.0框架，內(nèi)置Keras接口；運(yùn)算部分使用Google Colaboratory免費(fèi)提供的Tesla T4 GPU。根據(jù)文獻(xiàn)[22]的方法，通過Sklearn庫隨機(jī)地將原始柑橘樹冠層熱紅外圖像數(shù)據(jù)根據(jù)80%與20%的比例，劃分為訓(xùn)練集和驗(yàn)證集兩部分，保證分類結(jié)果的客觀性和準(zhǔn)確性。綜合考慮Google colab 平臺(tái)的GPU、CPU性能以及平臺(tái)可供使用的時(shí)間和額度，設(shè)置epoch為300。

2.1 模型訓(xùn)練結(jié)果

3種模型在訓(xùn)練集上的損失值和準(zhǔn)確率迭代曲線如圖4所示，隨著迭代次數(shù)的增加，3種模型的損失值和準(zhǔn)確率經(jīng)過快速下降和上升后，均在迭代次數(shù)為7次左右逐漸開始收斂，表明3種模型均具有有效快速地?cái)M合未噴藥和已噴藥的柑橘樹冠層熱紅外圖像的特征。分析整體曲線結(jié)果表明，VGG_C訓(xùn)練得到的柑橘樹冠層施藥情況分類模型具有更低的平均損失值和更高的平均準(zhǔn)確率，表明該模型可以更全面地提取圖像特征信息，對(duì)噴藥情況分類的準(zhǔn)確性和可靠性更高。經(jīng)統(tǒng)計(jì)，最終VGG_C模型收斂的損失值為0.44%、準(zhǔn)確率為95.3%。

圖 4 3種模型的損失函數(shù)和準(zhǔn)確率曲線圖Fig.4 The curves of loss function and accuracy rate of three models

2.2 VGG_C模型預(yù)測(cè)結(jié)果

為進(jìn)一步評(píng)估VGG_C柑橘樹冠層施藥情況分類模型對(duì)未知標(biāo)簽圖像的泛化能力，在模型訓(xùn)練完畢且保存成功后，調(diào)用已經(jīng)訓(xùn)練好的模型，反復(fù)多次隨機(jī)抽取驗(yàn)證集中648張圖像的部分圖像進(jìn)行預(yù)測(cè)，并輸出預(yù)測(cè)結(jié)果。圖5所示為預(yù)測(cè)輸出結(jié)果示例，每個(gè)預(yù)測(cè)框上方輸出預(yù)測(cè)結(jié)果與真實(shí)結(jié)果，可直觀地表現(xiàn)模型的預(yù)測(cè)結(jié)果。預(yù)測(cè)框如圖5a所示：預(yù)測(cè)結(jié)果(pred)為未施藥(dry)，實(shí)際結(jié)果(truth)為未施藥(dry)，預(yù)測(cè)結(jié)果為正確；圖5b所示：預(yù)測(cè)結(jié)果(pred)為已施藥(wet)，實(shí)際結(jié)果為未施藥(dry)，預(yù)測(cè)結(jié)果為錯(cuò)誤。

圖 5 預(yù)測(cè)試驗(yàn)結(jié)果示例Fig.5 Examples of predictive test results

進(jìn)行30次隨機(jī)抽取，每次抽取驗(yàn)證集中的12張圖片，共360張圖片進(jìn)行柑橘樹冠層施藥情況分類預(yù)測(cè)試驗(yàn)，經(jīng)統(tǒng)計(jì)，分類的平均準(zhǔn)確率為96.4%，進(jìn)一步驗(yàn)證了VGG_C模型在柑橘樹冠層施藥情況分類的準(zhǔn)確性和有效性。

3 結(jié)論

本研究通過采集模擬常見環(huán)境條件下的324張熱紅外圖像，并利用數(shù)據(jù)增強(qiáng)的手段，構(gòu)建了3 240張的柑橘樹冠層熱紅外圖像數(shù)據(jù)集。提出一種基于小規(guī)模數(shù)據(jù)集的柑橘樹冠層施藥情況分類模型?VGG_C模型，通過與ResNet和VGG模型的對(duì)比試驗(yàn)，得出結(jié)論如下：

1)VGG_C模型以VGG模型結(jié)構(gòu)為設(shè)計(jì)思想，通過多層卷積操作提取柑橘樹冠層熱紅外圖像的局部細(xì)節(jié)特征，結(jié)合多層池化操作融合生成全局整體信息，針對(duì)數(shù)據(jù)少導(dǎo)致過擬合的問題，在網(wǎng)絡(luò)輸出端創(chuàng)新性加入不確定性度量計(jì)算，排除過擬合產(chǎn)生的無效信息對(duì)模型精度的影響，有效提高模型在小規(guī)模數(shù)據(jù)集下對(duì)柑橘冠層施藥情況的精準(zhǔn)分類。

2)VGG_C模型準(zhǔn)確率可達(dá)95.3%，驗(yàn)證集的平均準(zhǔn)確率為96.4%，模型分類效果優(yōu)于傳統(tǒng)的ResNet模型和VGG模型，結(jié)果表明VGG_C模型對(duì)于判斷柑橘樹冠層熱紅外圖像未噴藥和已噴藥的施藥情況具有更為準(zhǔn)確的分類效果。

本研究結(jié)果可以輔助柑橘果園的管理，減少農(nóng)藥資源的浪費(fèi)和柑橘果園管理的人力、物力、財(cái)力資源的消耗。該模型可通過增加采集圖像的數(shù)量，完善樣本數(shù)據(jù)，并在不斷地測(cè)試中優(yōu)化已經(jīng)搭建的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，得到準(zhǔn)確率更高、更能夠適應(yīng)農(nóng)業(yè)應(yīng)用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，為柑橘果園乃至整個(gè)農(nóng)業(yè)的發(fā)展提供一定的參考依據(jù)。