融合ResNet與支持向量機(jī)的葡萄園冠層圖像葉片覆蓋度分類

代國(guó)威 陳稼瑜 樊景超

代國(guó)威，陳稼瑜，樊景超. 融合ResNet與支持向量機(jī)的葡萄園冠層圖像葉片覆蓋度分類［J］.江蘇農(nóng)業(yè)學(xué)報(bào)，2023，39（8）：1713-1721.

doi：10.3969/j.issn.1000-4440.2023.08.011

收稿日期：2022-10-12

基金項(xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2021YFF0704200）;中國(guó)農(nóng)業(yè)科學(xué)院院級(jí)基本科研業(yè)務(wù)費(fèi)項(xiàng)目（Y2022LM20）;中國(guó)農(nóng)業(yè)科學(xué)院科技創(chuàng)新工程項(xiàng)目（CAAS-ASTIP-2016-AII）

作者簡(jiǎn)介：代國(guó)威（1997-），男，四川德陽(yáng)人，碩士研究生，主要從事人工智能及農(nóng)業(yè)信息化研究。（Tel）15623225909；（E-mail）dgwstyle@foxmail.com

通訊作者：樊景超，（E-mail）fanjingchao@caas.cn

摘要：在視覺(jué)感知的基礎(chǔ)上，實(shí)現(xiàn)作物智能噴灑作業(yè)管理是智慧農(nóng)業(yè)重要的組成部分。針對(duì)葡萄園智能噴灑作業(yè)的需要，本研究構(gòu)建了一種融合殘差網(wǎng)絡(luò)（ResNet）和支持向量機(jī)模型的葡萄園冠層圖像葉片覆蓋度分類方法。在對(duì)葡萄園冠層圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)的基礎(chǔ)上，利用不同卷積層數(shù)的ResNet模型（ResNet-18、ResNet-34和ResNet-50）提取圖像特征向量，結(jié)合近鄰成分分析（NCA）算法及不同分類模型（Cubic SVM、RBF SVM、Linear SVM、DT、BT、Bayes、KNN、RF），篩選出最優(yōu)葡萄園冠層圖像葉片覆蓋度分類方法。結(jié)果表明：殘差網(wǎng)絡(luò)模型卷積層數(shù)的增加，有利于提高模型的分類精度；葡萄園冠層圖像葉片覆蓋度適宜的分類方法是利用ResNet-18、ResNet-34和ResNet-50各提取1 000個(gè)特征向量，進(jìn)一步利用NCA算法篩選出1 000個(gè)權(quán)重值較大的特征向量，并利用Cubic SVM模型進(jìn)行分類。該方法較好實(shí)現(xiàn)了模型訓(xùn)練時(shí)間和分類精度的平衡，既能大幅減少冗余的特征向量，縮短訓(xùn)練時(shí)間，還可以保證模型的分類精度。該方法下模型的分類準(zhǔn)確率、精確率、召回率分別達(dá)98.32%、97.41%、98.73%。本研究建立的葡萄園冠層圖像葉片覆蓋度分類方法為智慧化的果園管理提供了有效的技術(shù)支持。

關(guān)鍵詞：殘差網(wǎng)絡(luò)；支持向量機(jī)；近鄰成分分析；葡萄園冠層；葉片覆蓋度；分類

中圖分類號(hào)：TP391.4;S24????? 文獻(xiàn)標(biāo)識(shí)碼：A????? 文章編號(hào)：1000-4440（2023）08-1713-09

Leaf coverage classification of vineyard canopy images based on ResNet and support vector machines

DAI Guo-wei1，2 CHEN Jia-yu3 FAN Jing-chao1，2

（1.Agricultural Information Institute， Chinese Academy of Agricultural Sciences， Beijing 100081， China;2.National Agriculture Science Data Center， Beijing 100081， China;3.Jiyang College， Zhejiang A&F University， Zhuji 311800， China）

Abstract：On the basis of visual perception， the realization of crop intelligent spraying operation management is an important part of intelligent agriculture. Aiming at the needs of intelligent spraying operations in vineyards， this study constructed a vineyard canopy image leaf coverage classification method that combines residual network （ResNet） and support vector machine model. Based on the data enhancement of the existing vineyard canopy image data set， the ResNet models with different convolution layers （ResNet-18， ResNet-34 and ResNet-50） were used to extract image feature vectors. Combined with the nearest neighbor component analysis （NCA） algorithm and different classification models （Cubic SVM， RBF SVM， Linear SVM， DT， BT， Bayes， KNN， RF）， the optimal vineyard canopy image leaf coverage classification method was screened. The results showed that the increase of the number of convolution layers of the residual network model could improve the classification accuracy of the model. The suitable classification method of leaf coverage in vineyard canopy image was to extract 1 000 feature vectors by using ResNet-18， ResNet-34 and ResNet-50 respectively， and further use NCA algorithm to screen out 1 000 feature vectors with larger weight values， and use Cubic SVM model for classification. This method could realize a good balance between model training time and classification accuracy. It could not only greatly reduce redundant feature vectors， shorten training time， but also ensure the classification accuracy of the model. The classification accuracy， precision and recall rate of the model under this method were 98.32%， 97.41% and 98.73% respectively. The leaf coverage classification method of vineyard canopy image established in this study provides effective technical support for intelligent orchard management.

Key words：residual network；support vector machine；neighborhood component analysis；canopy of vineyard；leaf coverage;classification

葡萄是世界四大果樹(shù)之一，種植面積廣，經(jīng)濟(jì)效益高。根據(jù)國(guó)際葡萄和葡萄酒組織（OIV）的最新統(tǒng)計(jì)數(shù)據(jù)，近年來(lái)世界葡萄種植面積穩(wěn)定在約7.4×106 hm2[1]。噴灑肥料和農(nóng)藥是葡萄種植的主要工作，約占葡萄園每年總用工量的20%～30%[2]。由于人工噴灑作業(yè)效率低、工作量大，因此，智能化的葡萄園噴灑管理不但能實(shí)現(xiàn)葡萄產(chǎn)業(yè)提質(zhì)增效，同時(shí)還能保護(hù)種植者免受農(nóng)藥的為害。

智能噴灑系統(tǒng)一般包括作物生長(zhǎng)狀態(tài)的圖像采集、圖像數(shù)據(jù)分析及噴灑設(shè)備的控制等部分組成。其中圖像數(shù)據(jù)分析是系統(tǒng)中的關(guān)鍵。目前圖像數(shù)據(jù)分析大多利用機(jī)器學(xué)習(xí)模型得以實(shí)現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)作為一種通用的機(jī)器學(xué)習(xí)模型，已成功應(yīng)用于多種環(huán)境下的圖像識(shí)別[3-7]。翟先一等[8]基于改進(jìn)的YOLO卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)水下海參檢測(cè)；Dai等[9]通過(guò)圖像與文本跨模態(tài)特征融合技術(shù)識(shí)別枸杞害蟲(chóng)。增加卷積層數(shù)會(huì)提高模型的表達(dá)能力和準(zhǔn)確率，但在數(shù)據(jù)不足或卷積層數(shù)過(guò)多時(shí)，也容易出現(xiàn)訓(xùn)練時(shí)誤差增加、梯度消失和梯度爆炸等問(wèn)題[10-12]。2015年He等[13]提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)模型ResNet，較好地解決了模型深度增加時(shí)的過(guò)擬合問(wèn)題，推動(dòng)了深層網(wǎng)絡(luò)模型的發(fā)展。李頎等[14]采用殘差網(wǎng)ResNet-50作為特征提取主干層改進(jìn)Faster R-CNN，提高了對(duì)葡萄果粒與果穗的檢測(cè)準(zhǔn)確率。Saeed等[15]采用結(jié)合Inception和ResNet的Inception ResNet V2模型對(duì)番茄病害進(jìn)行預(yù)測(cè)，識(shí)別準(zhǔn)確率達(dá)99.22%。近年來(lái)，模型融合技術(shù)在圖像識(shí)別中得到了初步應(yīng)用。一般認(rèn)為模型融合能較好解決模型精度和訓(xùn)練時(shí)間的平衡，是智慧農(nóng)業(yè)模型開(kāi)發(fā)的新熱點(diǎn)[16]。Wang等[17]提出一種基于ResNeXt網(wǎng)絡(luò)和支持向量機(jī)（SVM）的草莓外觀品質(zhì)識(shí)別方法，利用ResNeXt提取草莓圖像的深層特征，然后將這些特征輸入到SVM中，進(jìn)而實(shí)現(xiàn)草莓外觀品質(zhì)的識(shí)別，識(shí)別準(zhǔn)確率比單純的ResNeXt模型提高了1.42%。Bal 等[18]利用具有5個(gè)卷積層和1個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型和SVM融合進(jìn)行蘋果產(chǎn)量預(yù)測(cè)，準(zhǔn)確率達(dá)99.70%，比單純利用CNN模型提高了9.71個(gè)百分點(diǎn)。

智能噴灑系統(tǒng)需要根據(jù)噴灑范圍內(nèi)植物長(zhǎng)勢(shì)進(jìn)行噴灑量的調(diào)整，以實(shí)現(xiàn)高效和節(jié)約化管理。針對(duì)葡萄園智能噴灑系統(tǒng)中噴灑范圍內(nèi)的冠層密度大小自動(dòng)化分類研究較少的現(xiàn)狀，提出一種融合殘差網(wǎng)絡(luò)與支持向量機(jī)的葡萄園冠層圖像精確分類方法，該方法利用3個(gè)不同卷積層數(shù)的ResNet模型（ResNet-18、ResNet-34、ResNet-50）提取葡萄園冠層圖像不同區(qū)域的特征向量，同時(shí)利用近鄰成分分析（NCA）算法降低特征向量維度，篩選獲取權(quán)重系數(shù)高的特征向量，并比較9種分類模型的分類精度，篩選出葡萄園冠層圖像葉片覆蓋度適宜的分類方法，以期為進(jìn)一步的葡萄園智能管理提供依據(jù)。

1? 材料與方法

1.1? 數(shù)據(jù)集的獲取與預(yù)處理

本試驗(yàn)采用葡萄園冠層圖像公開(kāi)數(shù)據(jù)集（https：//www.agridata.cn/data.html#/datadetail？id=290328）為數(shù)據(jù)源。該數(shù)據(jù)集包含475張圖像樣本，大小為640×480像素，JPG格式，由安裝在靜態(tài)機(jī)器人上的立體攝像機(jī)從葡萄園中采集。

數(shù)據(jù)集的每張圖像都經(jīng)過(guò)農(nóng)藝師利用Labelme軟件進(jìn)行手動(dòng)注釋，建立圖像不同區(qū)塊的屬性信息。由于Labelme標(biāo)注的信息含有較多的冗余數(shù)據(jù)，不利于機(jī)器學(xué)習(xí)，研究中為了方便僅保留不同區(qū)塊的類型信息。研究中設(shè)定葡萄園噴灑系統(tǒng)中具有3個(gè)噴頭，分別對(duì)應(yīng)冠層上部、中部和下部，因而葡萄園冠層圖像被分為上、中、下3個(gè)區(qū)域。為方便電控系統(tǒng)調(diào)節(jié)噴灑量，這些區(qū)域的大小應(yīng)該保持一致（圖1）。通過(guò)對(duì)葡萄冠層圖像數(shù)據(jù)觀察分析，葡萄冠層葉片覆蓋度可劃分為4個(gè)等級(jí)，分別為0、33%、66%與100%。當(dāng)區(qū)域沒(méi)有葡萄葉片時(shí)，冠層等級(jí)定義為0；當(dāng)有一些葉子，但葉片覆蓋面積低于區(qū)域總面積的一半時(shí)，定義為33%；如果區(qū)域50%及以上面積被葡萄葉覆蓋，但尚未完全覆蓋時(shí)，定義為66%，當(dāng)整個(gè)區(qū)域被葡萄葉完全覆蓋時(shí)，定義為100%。

1.2? 數(shù)據(jù)增強(qiáng)方法

神經(jīng)網(wǎng)絡(luò)要達(dá)到較好的分類效果，合適的樣本容量尤為重要?？紤]到環(huán)境與成本等因素，深度學(xué)習(xí)中常用數(shù)據(jù)增強(qiáng)的方法來(lái)豐富數(shù)據(jù)集，一方面可以提高模型的魯棒性，另一方面還能緩解模型的過(guò)擬合問(wèn)題[19-22]。當(dāng)然針對(duì)不同的研究對(duì)象及環(huán)境，使用的數(shù)據(jù)增強(qiáng)方法也存在一定的差異[23-27]。通用的圖像數(shù)據(jù)增強(qiáng)方法有平移、縮放、剪切、翻轉(zhuǎn)與旋轉(zhuǎn)等，但考慮葡萄園生長(zhǎng)環(huán)境中可能出現(xiàn)的霧氣、太陽(yáng)光照、陰影等現(xiàn)象[28]，本研究采用通用數(shù)據(jù)增強(qiáng)與自然環(huán)境變化特征的數(shù)據(jù)增強(qiáng)相結(jié)合的組合數(shù)據(jù)增強(qiáng)方法實(shí)現(xiàn)原始數(shù)據(jù)集的擴(kuò)充。具體的數(shù)據(jù)增強(qiáng)方法有水平鏡像翻轉(zhuǎn)、運(yùn)動(dòng)模糊變換、亮度對(duì)比度變換、數(shù)字噪聲變換、降低圖像質(zhì)量處理、泥飛濺變換、霧氣變換、太陽(yáng)光照變換、陰影變換。采用Python軟件和圖像增強(qiáng)數(shù)據(jù)庫(kù)Albumentations進(jìn)行圖像增強(qiáng)的實(shí)現(xiàn)[29]。

數(shù)據(jù)增強(qiáng)處理的參數(shù)設(shè)置如下：水平鏡像翻轉(zhuǎn)中旋轉(zhuǎn)角度為180°；運(yùn)動(dòng)模糊變換中模糊閾值設(shè)為5；亮度對(duì)比度處理中，對(duì)比度按照均值調(diào)整，其他參數(shù)均設(shè)置為0.1。數(shù)字噪聲處理中以圖像中隨機(jī)某個(gè)像素乘1.5，改變圖像原有屬性增加噪點(diǎn)；降低圖像質(zhì)量處理通過(guò)縮小和放大圖像實(shí)現(xiàn)。泥飛濺處理以模擬泥土飛濺導(dǎo)致的鏡頭遮擋，泥土正態(tài)分布的參數(shù)均值和方差分別設(shè)置為0.65和0.35。霧氣處理時(shí)使用隨機(jī)霧氣變換，使得背景模糊，霧氣圈透明度設(shè)為0.15，霧氣強(qiáng)度在0.1～0.5隨機(jī)取值。太陽(yáng)光照處理的參數(shù)設(shè)置為（0，0，1.0，0.5），其中，（0，0）為起始坐標(biāo)，（1.0，0.5）為結(jié)束坐標(biāo)。陰影處理中多邊形的參數(shù)邊設(shè)置為4，陰影數(shù)量在1～5浮動(dòng)，數(shù)據(jù)增強(qiáng)效果如圖2所示。

隨機(jī)組合以上具體的數(shù)據(jù)增強(qiáng)方法，各方法執(zhí)行機(jī)會(huì)概率設(shè)定為0.5。應(yīng)用組合數(shù)據(jù)增強(qiáng)方法在475張葡萄園冠層圖像中，每張圖像執(zhí)行5次增強(qiáng)，加上原始圖像，最終獲得2 850張圖像樣本構(gòu)成增強(qiáng)數(shù)據(jù)集。增強(qiáng)數(shù)據(jù)集按8∶2分為訓(xùn)練集和驗(yàn)證集，即訓(xùn)練集與驗(yàn)證集分別為2 280與570張圖像。

1.3? 葡萄園冠層圖像葉片覆蓋度分類相關(guān)算法

鑒于殘差網(wǎng)絡(luò)模型在圖像識(shí)別中的優(yōu)勢(shì)，本研究基于不同深度殘差網(wǎng)絡(luò)（ResNet-18、ResNet-34、ResNet-50）的圖像特征自動(dòng)化提取、近鄰成分分析（Neighborhood Component Analysis，NCA）算法的特征向量選擇及多項(xiàng)式核支持向量機(jī)（Cubic SVM）對(duì)葡萄園冠層圖像葉片覆蓋度特征進(jìn)行分類。

1.3.1? 殘差網(wǎng)絡(luò)（ResNet）??? 卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)模型中最受歡迎的架構(gòu)之一。傳統(tǒng)的CNN在處理圖像數(shù)據(jù)時(shí)面臨兩個(gè)主要問(wèn)題：一是隨著圖像像素?cái)?shù)量的增加，神經(jīng)元數(shù)量同步增加；二是全連接層網(wǎng)絡(luò)結(jié)構(gòu)未考慮圖像數(shù)據(jù)中的空間信息，因此傳統(tǒng)CNN不適合處理圖像數(shù)據(jù)。為了解決這些問(wèn)題，一些學(xué)者提出了深度CNN，它由多組卷積層計(jì)算、批量歸一化、激活操作和下采樣組成的多層結(jié)構(gòu)堆疊而成，是深度學(xué)習(xí)中最重要的圖像處理算法之一。深度CNN具有學(xué)習(xí)能力強(qiáng)、參數(shù)較少和訓(xùn)練方便的優(yōu)勢(shì)。深度CNN以數(shù)據(jù)驅(qū)動(dòng)的方式自動(dòng)學(xué)習(xí)及圖像特征提取，并且提取的圖像特征具有平移不變性，這是其適合處理圖像數(shù)據(jù)的主要原因。深度CNN目前已被廣泛應(yīng)用于圖像分類、圖像處理、圖像檢測(cè)等方面[30-34]。

然而，深度CNN的卷積層加深會(huì)導(dǎo)致訓(xùn)練精度下降，網(wǎng)絡(luò)結(jié)構(gòu)變得難以優(yōu)化。為克服這個(gè)問(wèn)題，He等[13]提出了深層殘差網(wǎng)絡(luò)。深層殘差網(wǎng)絡(luò)具有卷積層、池化層、激活層和全連接層等結(jié)構(gòu)，其核心思想是將每一層的信息直接輸出，不會(huì)隨著網(wǎng)絡(luò)層數(shù)的增加而導(dǎo)致性能退化。通過(guò)增加網(wǎng)絡(luò)層數(shù)，深層殘差網(wǎng)絡(luò)在一定程度上提高了準(zhǔn)確率，同時(shí)保持了特征提取的完整性。在本研究中，采用逐漸增加深度的ResNet-18、ResNet-34和ResNet-50作為預(yù)訓(xùn)練的深度殘差網(wǎng)絡(luò)，這些網(wǎng)絡(luò)能夠保持較高的特征抽象能力。

1.3.2? 近鄰成分分析（NCA）算法??? 特征選擇是機(jī)器學(xué)習(xí)的關(guān)鍵步驟之一。特征選擇的目的在于提高分類模型的分類速度和模型性能。近鄰成分分析（NCA）算法是機(jī)器學(xué)習(xí)中常用的特征選擇器，是歐氏距離測(cè)量的一種替代算法[35]。NCA中利用馬氏距離生成權(quán)重，使用一種類似于K最近鄰（K-nearest neighbor，KNN）的技術(shù)來(lái)尋找若干區(qū)域，區(qū)域中所有數(shù)據(jù)點(diǎn)共享相同標(biāo)簽，且具有相同標(biāo)簽的數(shù)據(jù)點(diǎn)之間的距離低于具有不同標(biāo)簽的數(shù)據(jù)點(diǎn)之間的距離。NCA中通過(guò)距離來(lái)確定權(quán)重，較低的權(quán)重表示冗余特征，較高的權(quán)重定義為信息特征。

1.3.3? 多項(xiàng)式核支持向量機(jī)（Cubic SVM）??? 支持向量機(jī)（SVM）是一種機(jī)器學(xué)習(xí)算法，通過(guò)對(duì)數(shù)據(jù)的學(xué)習(xí)訓(xùn)練，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的分類或建模[36]。SVM在可分離數(shù)據(jù)、不可分離數(shù)據(jù)和非線性數(shù)據(jù)等3類數(shù)據(jù)的分類上有較多應(yīng)用。對(duì)于可分離數(shù)據(jù)，SVM通過(guò)選擇最佳超平面來(lái)完成分類；對(duì)于不可分離數(shù)據(jù)，SVM使用軟邊界實(shí)現(xiàn)數(shù)據(jù)的分類；對(duì)于非線性數(shù)據(jù)，SVM利用帶核函數(shù)的非線性變換進(jìn)行處理，即基于核函數(shù)再生理論，在多維空間中找到一個(gè)超平面，保留簡(jiǎn)單SVM超平面分離的所有基本特征[37]。與線性SVM相比，多項(xiàng)式核SVM更適合處理困難的分類工作。本研究中利用3次多項(xiàng)式核支持向量機(jī)（Cubic SVM）處理非線性數(shù)據(jù)。

1.4? 葡萄園冠層圖像葉片覆蓋度分類方法比較

1.4.1? 特征向量生成方式篩選??  利用ResNet-18、ResNet-34和ResNet-50各自提取的1 000個(gè)特征向量、合并后得到的3 000個(gè)特征向量及合并后再利用NCA算法提取的1 000個(gè)優(yōu)化特征向量，分別利用Cubic SVM分類模型進(jìn)行分類（表1），比較不同深度殘差網(wǎng)絡(luò)特征向量生成方式及NCA算法對(duì)分類精度及訓(xùn)練時(shí)間的影響，篩選出合適的特征向量生成方式。

1.4.2? 不同分類模型比較??? 在篩選出合適的特征向量生成方式的基礎(chǔ)上，進(jìn)一步利用不同的機(jī)器學(xué)習(xí)分類模型，包括多項(xiàng)式核支持向量機(jī)（Cubic SVM）、高斯核支持向量機(jī)（RBF SVM）、線性支持向量機(jī)（Linear SVM）、決策樹(shù)（Decision tree，DT）、高斯貝葉斯（Gaussian Naive Bayes，GNB）、袋裝樹(shù)（Bagged tree，BT）、K最近鄰（K-Nearest neighbor，KNN）、余弦K最近鄰（Cosine KNN）和隨機(jī)森林（Random forest，RF），進(jìn)行葡萄園冠層圖像葉片覆蓋度分類，比較不同分類模型下的分類精度，篩選出適宜的分類模型。

1.4.3? 消融驗(yàn)證試驗(yàn)??? 為比較不同深度ResNet網(wǎng)絡(luò)生成的特征向量及NCA算法對(duì)葡萄冠層圖像葉面積覆蓋度分類的影響，開(kāi)展的消融試驗(yàn)如表2所示。試驗(yàn)1～3分別直接利用ResNet-18、ResNet-34和ResNet-50模型進(jìn)行分類；試驗(yàn)4～6分別利用ResNet-18、ResNet-34和ResNet-50網(wǎng)絡(luò)模型各自輸出3 000個(gè)特征向量的基礎(chǔ)上，基于NCA算法選擇1 000個(gè)優(yōu)化特征向量，再利用Cubic SVM進(jìn)行分類；試驗(yàn)7利用ResNet-18與ResNet-34網(wǎng)絡(luò)模型分別輸出1 500個(gè)特征向量，基于NCA算法選擇1 000個(gè)優(yōu)化特征向量，再利用Cubic SVM進(jìn)行分類；試驗(yàn)8利用ResNet-18、ResNet-34和ResNet-50網(wǎng)絡(luò)模型各自輸出1 000個(gè)特征向量的基礎(chǔ)上，基于NCA算法選擇1 000個(gè)優(yōu)化特征向量，再利用Cubic SVM進(jìn)行分類。

1.5? 試驗(yàn)平臺(tái)及參數(shù)設(shè)置

本試驗(yàn)在移動(dòng)圖形工作站進(jìn)行，主要算法由微軟VSCode和Python3.9執(zhí)行，采用Pytorch深度學(xué)習(xí)框架，使用圖形處理器（GPU）加速圖像處理，圖像繪制選擇Matplotlib。操作系統(tǒng)采用Windows11專業(yè)工作站版，英特爾酷睿i7-11800H處理器，存儲(chǔ)器選擇第四代DDR4，32.00 GB內(nèi)存，顯卡NVIDIA GeForce RTX 3060 Laptop，6 GB顯存。

基于殘差網(wǎng)絡(luò)模型提取葡萄冠層圖像特征研究中，輸入圖像模式被轉(zhuǎn)換為RGB，殘差網(wǎng)絡(luò)輸入層大小設(shè)定為224×256，通道數(shù)為3。為統(tǒng)一殘差網(wǎng)絡(luò)模型提取特征向量的輸出大小，凍結(jié)ResNet-18、ResNet-34與ResNet-50模型主干特征提取層的權(quán)重參數(shù)，并設(shè)置全連接層輸出大小為1 000；ResNet-50使用IMAGENET1K_V2權(quán)重參數(shù)，ResNet-18與ResNet-34采用IMAGENET1K_V1權(quán)重參數(shù)。

1.6? 模型性能評(píng)價(jià)指標(biāo)

本研究中使用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）與Kappa系數(shù)等4個(gè)常用的指標(biāo)評(píng)價(jià)模型的性能。算法如下：

Accuracy=? TP+TN? TP+FP+TN+FN? ??（1）

Precision=? TP? TP+FP? ??（2）

Recall=? TP? TP+FN? ??（3）

Kappa=? pa-pg? 1-pg??? （4）

式中，TP表示正確劃分為正樣本的個(gè)數(shù)；FP表示錯(cuò)誤劃分為正樣本的個(gè)數(shù)；FN表示錯(cuò)誤劃分為負(fù)樣本的個(gè)數(shù)；TN表示正確劃分為負(fù)樣本的個(gè)數(shù)。pa表示預(yù)測(cè)正確的樣本量除以總樣本數(shù)，可稱之為總分類精度；pg為實(shí)際樣品數(shù)量與預(yù)測(cè)的樣品數(shù)量的乘積除以樣本總數(shù)的平方。

2? 結(jié)果與分析

2.1? 不同分類模型的分類性能

基于增強(qiáng)后的葡萄冠層圖像數(shù)據(jù)，依據(jù)表1不同特征向量生成模型，模型訓(xùn)練時(shí)間和測(cè)試精度如表3所示。從表3中可以看出，基于ResNet-50模型提取1 000個(gè)特征向量的分類效果高于ResNet-18模型和ResNet-34模型。基于ResNet-18、ResNet-34、ResNet-50模型各提取1 000個(gè)特征向量再進(jìn)行分類，準(zhǔn)確率達(dá)到了97.42%，然而訓(xùn)練時(shí)間卻持續(xù)了170.91 s。雖然準(zhǔn)確率比基于ResNet-50模型提取1 000個(gè)特征向量的分類準(zhǔn)確率提高了0.63%，但訓(xùn)練時(shí)間卻多了107.90 s。而基于ResNet-18、ResNet-34、ResNet-50模型各提取1 000個(gè)特征向量再利用NCA算法篩選得到特征權(quán)重較大的前1 000個(gè)特征向量再進(jìn)行分類，準(zhǔn)確率達(dá)到98.32%，訓(xùn)練時(shí)間比ResNet-50模型僅多19.41 s，比基于ResNet-18、ResNet-34、ResNet-50模型得到的3 000個(gè)特征向量未經(jīng)PCA算法篩選直接分類節(jié)約了51.8%的訓(xùn)練時(shí)間，準(zhǔn)確率提高了0.90個(gè)百分點(diǎn)。

基于ResNet-18、ResNet-34、ResNet-50模型各提取1 000個(gè)特征向量，利用NCA算法篩選得到權(quán)重較大的前1 000個(gè)特征向量，再利用不同分類模型進(jìn)行分類，分類結(jié)果如表4所示。從表中可以看出，Cubic SVM模型的準(zhǔn)確率和Kappa值分別為98.32%和0.932，優(yōu)于其他分類模型；其次為RBF SVM模型和RF模型，準(zhǔn)確率分別為98.01%和97.95%，而Linear SVM模型分類精度相對(duì)較低，為97.45%。綜上，利用ResNet-18、ResNet-34、ResNet-50特征向量生成模型分別提取1 000個(gè)特征向量，再利用NCA算法篩選1 000個(gè)權(quán)重較大的特征向量以消除冗余的特征向量，既顯著提高了分類的準(zhǔn)確率，又降低了訓(xùn)練時(shí)間。Cubic SVM分類模型為葡萄園冠層圖像葉片覆蓋度最適分類模型。

2.2? 消融驗(yàn)證結(jié)果分析

依據(jù)表2消融驗(yàn)證試驗(yàn)設(shè)計(jì)方案進(jìn)行驗(yàn)證，結(jié)果如表5所示。僅利用ResNet-18、ResNet-34、ResNet-50模型分類時(shí)，分類準(zhǔn)確率僅為82.15%、89.78%、91.62%，而基于ResNet-18、ResNet-34、ResNet-50模型各提取3 000個(gè)特征向量結(jié)合NCA算法和Cubic SVM模型后，分類的準(zhǔn)確率分別達(dá)到94.32%、94.85%、97.16%，精確率和召回率亦有較大提升。同時(shí)亦可以看出，隨著ResNet模型深度的增加，分類的準(zhǔn)確率逐步提升。ResNet-50模型生成特征向量后結(jié)合NCA算法和Cubic SVM模型的分類準(zhǔn)確率高于ResNet-18與ResNet-34結(jié)合生成特征向量后融合NCA算法和Cubic SVM模型的分類準(zhǔn)確率，但低于ResNet-18、ResNet-34和ResNet-50結(jié)合生成特征向量后融合NCA算法和Cubic SVM模型的分類準(zhǔn)確率，說(shuō)明單個(gè)ResNet-18模型或ResNet-34模型提取的特征向量代表性比ResNet-50模型要差，但ResNet-18模型或ResNet-34模型對(duì)ResNet-50模型起一定的補(bǔ)充作用。本研究中，ResNet模型提取的特征向量結(jié)合Cubic SVM模型后，分類準(zhǔn)確率一般都在90%以上，說(shuō)明本研究利用3種不同深度的ResNet模型提取葡萄園冠層圖像的特征向量獲得了不同尺度與多個(gè)維度的圖像特征，具有較高的代表性和合理性?；赗esNet-18、ResNet-34、ResNet-50模型提取3 000個(gè)特征向量結(jié)合NCA算法獲取1 000個(gè)權(quán)重較大的特征向量比分別基于上述模型直接獲取1 000個(gè)特征向量，再結(jié)合Cubic SVM模型的分類結(jié)果要略高（表3、表5），說(shuō)明擴(kuò)大輸出特征值與使用NCA篩選權(quán)重較大的特征向量能夠提升分類準(zhǔn)確率，但可能要增加分類時(shí)間。另外，ResNet-50模型無(wú)論是單獨(dú)使用還是與Cubic SVM模型結(jié)合使用，所獲得的性能表現(xiàn)在同等試驗(yàn)條件下都表現(xiàn)最優(yōu)，這說(shuō)明較深的ResNet網(wǎng)絡(luò)結(jié)構(gòu)能夠提取更加深層的特征。

試驗(yàn)編號(hào)X1、X2、X3、X4、X5、X6、X7、X8見(jiàn)表2。

2.3? 數(shù)據(jù)增強(qiáng)性能分析

不同數(shù)據(jù)集下，驗(yàn)證集預(yù)測(cè)效果如表6所示。從表中可以看出，利用增強(qiáng)數(shù)據(jù)集的平均準(zhǔn)確率達(dá)98.32%，比利用原始數(shù)據(jù)集的提高8.68個(gè)百分點(diǎn)；平均精確率與平均召回率分別提高8.23個(gè)百分點(diǎn)和9.87個(gè)百分點(diǎn)。數(shù)據(jù)增強(qiáng)后4類葉片覆蓋度的葡萄冠層圖像的識(shí)別準(zhǔn)確率均有不同程度的提高，其原因在于增強(qiáng)數(shù)據(jù)集中包含在機(jī)械抖動(dòng)、環(huán)境干擾等因素下得到的數(shù)據(jù)，因而其圖像特征更為豐富。

3? 結(jié)? 論

為了適應(yīng)果園智慧化管理的需求，本研究在圖像增強(qiáng)的基礎(chǔ)上，基于ResNet網(wǎng)絡(luò)模型、NCA算法及SVM模型，通過(guò)不同的特征向量提取方式及分類模型比較試驗(yàn)和消融試驗(yàn)，提出了葡萄園冠層圖像葉片覆蓋度分類方法，結(jié)論如下：

①ResNet-18、ResNet-34與ResNet-50組合提取的特征向量具有相互補(bǔ)充的作用，捕獲的特征信息具備多尺度的特性。組合特征向量及NCA算法的應(yīng)用既節(jié)約了訓(xùn)練時(shí)間又能提高分類器的分類精度。Cubic SVM作為最優(yōu)SVM分類器取得了98.32%準(zhǔn)確率，與距離度量和集成學(xué)習(xí)分類器相比，該分類器具有明顯優(yōu)勢(shì)。

②原始數(shù)據(jù)圖像經(jīng)過(guò)組合增強(qiáng)處理后，分類結(jié)果的準(zhǔn)確率平均提高8.68個(gè)百分點(diǎn)，表明原始圖像組合增強(qiáng)處理提高了ResNet網(wǎng)絡(luò)模型的泛化和魯棒性。相較于傳統(tǒng)的數(shù)據(jù)增強(qiáng)方案，組合數(shù)據(jù)增強(qiáng)處理能夠提高特征的表達(dá)能力，并適應(yīng)自然環(huán)境下自動(dòng)化噴灑裝備的高效作業(yè)。

③融合ResNet與Cubic SVM對(duì)葡萄冠層進(jìn)行精確分類體現(xiàn)出了一定的優(yōu)勢(shì)，平均準(zhǔn)確率與精確率都得到了提高。

在冠層葉片覆蓋度感知的基礎(chǔ)上，進(jìn)一步進(jìn)行噴灑量的設(shè)計(jì)，進(jìn)而實(shí)現(xiàn)農(nóng)藥與肥料的精準(zhǔn)管控，因此，本研究對(duì)果園的智慧化管理具體一定的參考意義。當(dāng)然本研究中冠層圖像葉片覆蓋度的分類標(biāo)準(zhǔn)有點(diǎn)少，在今后的研究中，還需要優(yōu)化算法，實(shí)現(xiàn)更為精細(xì)的冠層圖像葉片覆蓋度預(yù)測(cè)。

參考文獻(xiàn)：

[1]? ZHU M， LIU Z， ZENG Y， et al. Nordihydroguaiaretic acid reduces postharvest berry abscission in grapes[J]. Postharvest Biology and Technology，2022，183：111748.

[2]BALTAZAR A R， SANTOS F N， MOREIRA A P， et al. Smarter robotic sprayer system for precision agriculture[J]. Electronics，2021，10（17）：2061.

[3]胡玲艷，周? 婷，劉? 艷，等. 基于輕量級(jí)網(wǎng)絡(luò)自適應(yīng)特征提取的番茄病害識(shí)別[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2022，38（3）：696-705.

[4]MALLIKARJUNA S B， SHIVAKUMARA P， KHARE V， et al. Multi-gradient-direction based deep learning model for arecanut disease identification[J]. CAAI Transactions on Intelligence Technology，2022，7（2）：156-166.

[5]趙恒謙，楊屹峰，劉澤龍，等. 農(nóng)作物葉片病害遷移學(xué)習(xí)分步識(shí)別方法[J]. 測(cè)繪通報(bào)，2021（7）：34-38.

[6]YANG J， ZHANG T， FANG C， et al. A defencing algorithm based on deep learning improves the detection accuracy of caged chickens [J]. Computers and Electronics in Agriculture，2023，204：107501.

[7]李科岑，王曉強(qiáng)，林? 浩，等. 深度學(xué)習(xí)中的單階段小目標(biāo)檢測(cè)方法綜述[J]. 計(jì)算機(jī)科學(xué)與探索，2022，16（1）：41-58.

[8]翟先一，魏鴻磊，韓美奇，等. 基于改進(jìn)YOLO卷積神經(jīng)網(wǎng)絡(luò)的水下海參檢測(cè)[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2023，39（7）：1543-1553.

[9]DAI G， FAN J， DEWI C. ITF-WPI： Image and text based cross-modal feature fusion model for wolfberry pest recognition[J]. Computers and Electronics in Agriculture，2023，212：108129.

[10]SHE J， ZHAN W， HONG S， et al. A method for automatic real-time detection and counting of fruit fly pests in orchards by trap bottles via convolutional neural network with attention mechanism added[J]. Ecological Informatics，2022，70：101690.

[11]CHEN X， CHENG Z， WANG S， et al. Atrial fibrillation detection based on multi-feature extraction and convolutional neural network for processing ECG signals[J]. Computer Methods and Programs in Biomedicine，2021，202：106009.

[12]TSALERA E， PAPADAKIS A， SAMARAKOU M， et al. Feature extraction with handcrafted methods and convolutional neural networks for facial emotion recognition[J]. Applied Sciences，2022，12（17）：8455.

[13]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. IEEE：Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.

[14]李? 頎，楊? 軍. 基于多分辨率特征融合的葡萄尺寸檢測(cè)[J].江蘇農(nóng)業(yè)學(xué)報(bào)，2022，38（2）：394-402.

[15]SAEED A， ABDEL-AZIZ A A， MOSSAD A， et al. Smart detection of tomato leaf diseases using transfer learning-based convolutional neural networks[J]. Agriculture，2023，13（1）： 139.

[16]KOK Z H， MOHAMED S A R， ALFATNI M S M， et al. Support vector machine in precision agriculture： a review[J]. Computers and Electronics in Agriculture，2021，191：106546.

[17]WANG G， ZHENG H， LI X. ResNeXt-SVM： a novel strawberry appearance quality identification method based on ResNeXt network and support vector machine[J]. Journal of Food Measurement and Characterization，2023，17（5）：4345-4356.

[18]BAL F， KAYAALP F. A novel deep learning-based hybrid method for the determination of productivity of agricultural products： Apple case study[J]. IEEE Access，2023，11：7808-7821.

[19]LIU B， TAN C， LI S， et al. A data augmentation method based on generative adversarial networks for grape leaf disease identification[J]. IEEE Access，2020，8：102188-102198.

[20]AL-WESABI F N， ALBRAIKAN A A， HILAL A M， et al. Artificial intelligence enabled apple leaf disease classification for precision agriculture[J]. Cmc-Computers Materials & Continua，2022，70（3）：6223-6238.

[21]李? 頎，陳哲豪. 基于改進(jìn)單次多目標(biāo)檢測(cè)器的果面缺陷冬棗實(shí)時(shí)檢測(cè)[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2022，38（1）：119-128.

[22]LI L， QIAO J， YAO J， et al. Automatic freezing-tolerant rapeseed material recognition using UAV images and deep learning[J]. Plant Methods，2022，18：5.

[23]KARTHIKEYAN M， RAJA D. Deep transfer learning enabled DenseNet model for content based image retrieval in agricultural plant disease images[J]. Multimedia Tools and Applications， 2023，82：36067-36090.

[24]LI K， WANG J， JALIL H， et al. A fast and lightweight detection algorithm for passion fruit pests based on improved YOLOv5[J]. Computers and Electronics in Agriculture，2023，204：107534.

[25]SINGH P， SINGH P， FAROOQ U， et al. CottonLeafNet： cotton plant leaf disease detection using deep neural networks[J]. Multimedia Tools and Applications，2023，82：37151-37176.

[26]QIAN S， DU J， ZHOU J， et al. An effective pest detection method with automatic data augmentation strategy in the agricultural field[J]. Signal， Image and Video Processing，2023，17（2）：563-571.

[27]NAN Y， ZHANG H， ZENG Y， et al. Faster and accurate green pepper detection using NSGA-II-based pruned YOLOv5l in the field environment[J]. Computers and Electronics in Agriculture，2023，205：107563.

[28]KHALIFA N E， LOEY M， MIRJALILI S. A comprehensive survey of recent trends in deep learning for digital images augmentation[J]. Artificial Intelligence Review， 2022，55：2352-2377.

[29]BUSLAEV A， IGLOVIKOV V I， KHVEDCHENYA E， et al. Albumentations： fast and flexible image augmentations[J]. Information，2020，11（2）：125.

[30]WENG Z， MENG F， LIU S， et al. Cattle face recognition based on a Two-Branch convolutional neural network[J]. Computers and Electronics in Agriculture，2022，196：106871.

[31]DAI G， HU L， FAN J， et al. A deep learning-based object detection scheme by improving yolov5 for sprouted potatoes datasets[J]. IEEE Access，2022，10：85416-85428.

[32]儲(chǔ)? 鑫，李? 祥，羅? 斌，等. 基于改進(jìn)YOLOv4算法的番茄葉部病害識(shí)別方法[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2023，39（5）：1199-1208.

[33]DAI G， HU L， FAN J. Da-actnn-yolov5： hybrid yolo v5 model with data augmentation and activation of compression mechanism for potato disease identification[J]. Computational Intelligence and Neuroscience，2022，2022：1-16.

[34]阮子行，黃? 勇，王? 夢(mèng)，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的番茄品質(zhì)分級(jí)方法[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2023，39（4）：1005-1014.

[35]KOC M， SUT S K， SERHATLIOGLU I， et al. Automatic prostate cancer detection model based on ensemble VGGNet feature generation and NCA feature selection using magnetic resonance images[J]. Multimedia Tools and Applications，2022，81（5）：7125-7144.

[36]TAO T， WEI X. A hybrid CNN-SVM classifier for weed recognition in winter rape field[J]. Plant Methods，2022，18（1）：29.

[37]ZENONE T， VITALE L， FAMULARI D， et al. Application of machine learning techniques to simulate the evaporative fraction and its relationship with environmental variables in corn crops[J]. Ecological Processes，2022，11（1）：758-771.

（責(zé)任編輯：石春林）