基于卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)機圖像自動識別研究*

雷雪梅，張光強，姚旗，劉偉渭，邱帥

(1. 四川化工職業(yè)技術(shù)學(xué)院智能制造學(xué)院，四川瀘州，646000； 2. 國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心，北京市，100089； 3. 西北農(nóng)林科技大學(xué)農(nóng)學(xué)院，陜西咸陽，712100； 4. 西南交通大學(xué)機械工程學(xué)院，成都市，610031； 5. 西南大學(xué)人工智能學(xué)院，重慶市，400715)

0 引言

目前，以通訊網(wǎng)絡(luò)和互聯(lián)網(wǎng)為基礎(chǔ)，通過衛(wèi)星定位裝置、農(nóng)機作業(yè)工況傳感器、圖像傳感器等感知農(nóng)機實時運行狀態(tài)，實現(xiàn)對農(nóng)機裝備集群作業(yè)的智能化識別、定位、監(jiān)測和管理的物聯(lián)網(wǎng)技術(shù)得到了快速發(fā)展和實踐應(yīng)用[1-2]。為了鼓勵農(nóng)戶實施農(nóng)業(yè)機械化作業(yè)，國家在多個省份相繼展開農(nóng)機作業(yè)補貼。然而在政策實施過程中，存在農(nóng)機作業(yè)質(zhì)量層次不齊、虛報作業(yè)面積、虛報農(nóng)機補貼等情況，為了減少這種情況的出現(xiàn)，政府相關(guān)部門通過無線通訊和網(wǎng)絡(luò)技術(shù)實現(xiàn)監(jiān)管農(nóng)機作業(yè)質(zhì)量[3-5]。其中，利用圖像識別技術(shù)自動識別農(nóng)機機具類型和作業(yè)狀態(tài)，能夠降低人工抽檢強度、加強監(jiān)管力度、提高系統(tǒng)智能化水平，是農(nóng)機作業(yè)監(jiān)管系統(tǒng)的關(guān)鍵技術(shù)之一。

圖像識別技術(shù)在農(nóng)業(yè)科技方面有著非常廣泛的應(yīng)用，如病蟲害識別[6-7]、果實品種識別[8-9]、產(chǎn)量估計[10-11]、農(nóng)機路徑規(guī)劃[12]等都改變了傳統(tǒng)的生產(chǎn)方式，提高了工作效率?；诰矸e神經(jīng)網(wǎng)絡(luò)的圖像識別算法[13-14]是以視覺系統(tǒng)的特征分層機制為依據(jù)，模擬神經(jīng)元之間的連接來自動提取圖像特征，通過多層迭代、特征抽象、最終實現(xiàn)分類識別。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如LeNet[15]、AlexNet[16]等，由卷積層、池化層、全連接層組成。卷積層使用不同的卷積核提取多種圖像特征，池化層在保留主要信息的同時對特征圖進(jìn)行降維處理，通過多次的卷積—池化連接，提取的圖像特征從具體的邊緣信息到抽象的語義信息，再經(jīng)過全連接層的迭代，實現(xiàn)分類識別[17-19]。卷積神經(jīng)網(wǎng)絡(luò)算法不需要手工提取特征，在圖像識別[20-21]、語音識別[22-23]、自然語言處理[24-25]等方向已經(jīng)有了非常好的應(yīng)用效果。彭明霞等[26]采用Faster R-CNN方法對棉花雜草進(jìn)行了識別，其平均目標(biāo)識別準(zhǔn)確率達(dá)到了95.5%。盧偉等[27]采用卷積神經(jīng)網(wǎng)絡(luò)方法檢測拖拉機駕駛員面部特征，用于識別駕駛員的疲勞狀態(tài)，其模型識別準(zhǔn)確率為98.9%?？讘c好等[28]以拖拉機運行速度與發(fā)動機轉(zhuǎn)速等信息為基礎(chǔ)，采用卷積神經(jīng)網(wǎng)絡(luò)對拖拉機工況進(jìn)行了識別檢測，其準(zhǔn)確率可以達(dá)到93.3%。然而采用卷積神經(jīng)網(wǎng)絡(luò)對農(nóng)機圖像識別報道文獻(xiàn)較少。

本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別技術(shù)，研究大量農(nóng)機機具圖像的自動分類方法。對農(nóng)機機具圖像進(jìn)行預(yù)處理，構(gòu)建農(nóng)機機具圖像標(biāo)注數(shù)據(jù)集，設(shè)計卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)農(nóng)機機具圖像的自動識別。

1 構(gòu)建農(nóng)機機具圖像標(biāo)注數(shù)據(jù)集

1.1 圖像收集與整理

本文以農(nóng)機機具圖像作為識別對象，在農(nóng)機作業(yè)過程中，車載攝像頭每隔2 min拍攝一次作業(yè)機具圖像并通過GPRS無線網(wǎng)絡(luò)上傳到監(jiān)管系統(tǒng)中。通過分析農(nóng)業(yè)機具作業(yè)圖像，整理出多種作業(yè)背景下的播種機、翻轉(zhuǎn)犁、起壟機、深松機和旋耕機5種類型的常用機具圖像。構(gòu)建了容量為73 970張的農(nóng)機機具圖像數(shù)據(jù)集，其中，55 000張圖像用于構(gòu)建訓(xùn)練集，18 970張圖像用于構(gòu)建驗證集，二者互相獨立且無重疊。每種類型的機具圖像數(shù)量均按照收集的原始圖像比例設(shè)置，同時為滿足網(wǎng)絡(luò)輸入要求，所有圖像尺寸均轉(zhuǎn)換為64像素×64像素大小，表1為數(shù)據(jù)集中不同機具類型圖像數(shù)量的具體分布情況。

表1 農(nóng)機機具圖像數(shù)量分布Tab. 1 Quantity distribution of agricultural machinery image

1.2 標(biāo)注數(shù)據(jù)集

卷積神經(jīng)網(wǎng)絡(luò)算法屬于監(jiān)督分類，需要對大量數(shù)據(jù)集進(jìn)行標(biāo)注。本研究采用Tensorflow平臺對農(nóng)機機具圖像數(shù)據(jù)集進(jìn)行標(biāo)注。首先，將整理好的訓(xùn)練集和驗證集存放在兩個文件夾下，每個文件夾包含前述的5種圖像類型，即播種機、翻轉(zhuǎn)犁、起壟機、深松機和旋耕機，并分別建立對應(yīng)的文件夾標(biāo)簽。然后，使用Tensorflow的內(nèi)置函數(shù)將每張圖片轉(zhuǎn)換成固定長度的二進(jìn)制數(shù)據(jù)，其中第一個字節(jié)為圖像標(biāo)簽，剩余64×64×3字節(jié)是圖像信息。最終，本文將訓(xùn)練集和驗證集分別轉(zhuǎn)換為兩個獨立的二進(jìn)制文件，得到完成標(biāo)注的農(nóng)機機具圖像數(shù)據(jù)集。

1.3 農(nóng)機機具圖像預(yù)處理

與其他研究領(lǐng)域的圖像數(shù)據(jù)相比較，農(nóng)機作業(yè)環(huán)境較為惡劣，獲取的機具圖像質(zhì)量較差、圖像背景復(fù)雜、圖像拍攝角度存在差異。圖像預(yù)處理不僅可以消除背景、顏色及尺寸差異等噪聲的影響，還能減少網(wǎng)絡(luò)訓(xùn)練計算量，提高算法效率和網(wǎng)絡(luò)準(zhǔn)確率。本文針對農(nóng)機機具圖像存在的問題，分別進(jìn)行了圖像裁剪、圖像色彩調(diào)整和運動模糊消除3個方面的圖像預(yù)處理。

1.3.1 圖像裁剪

原始機具圖像是由不同地區(qū)的不同農(nóng)機作業(yè)監(jiān)控裝置拍攝獲得，因此存在圖像尺寸差異。由于神經(jīng)網(wǎng)絡(luò)采用固定的輸入節(jié)點，將機具圖像輸入給神經(jīng)網(wǎng)絡(luò)之前，需要統(tǒng)一圖像尺寸。本文采用雙線性插值法將機具圖像裁剪為64像素×64像素。雙線性插值法的核心思想是在x與y方向分別進(jìn)行一次線性插值計算，相比于最鄰近插值的粗糙以及雙立方插值的計算量過大，該算法處理效果較穩(wěn)定、計算難度低。

1.3.2 圖像色彩調(diào)整

在訓(xùn)練農(nóng)機機具圖像識別網(wǎng)絡(luò)時，通過調(diào)整機具圖像的色相、亮度、對比度等屬性，能夠使訓(xùn)練后的網(wǎng)絡(luò)盡可能少地受到無關(guān)因素的影響。本文采用Tensorflow API提供的圖像預(yù)處理函數(shù)brightnes函數(shù)對原始機具圖像進(jìn)行處理。經(jīng)過圖像預(yù)處理，局部亮度偏高的圖像(圖1(a))、色相差的圖像(圖1(b))、對比度低的圖像(圖1(c))等，被恢復(fù)為清晰的農(nóng)機機具圖像(圖1(d)，圖1(e)，圖1(f))。

圖1 機具圖像調(diào)整色彩前后對比圖Fig. 1 Comparison of machine and tool images before and after color adjustment

1.3.3 運動模糊消除

農(nóng)機機具圖像是在農(nóng)機作業(yè)過程中由車載攝像頭拍攝獲得，因此經(jīng)常會出現(xiàn)運動模糊的機具圖像。所謂運動模糊是指拍攝相機和被攝景物之間存在相對運動而造成的圖像模糊。模糊圖像的處理方法主要有圖像超分辨率重構(gòu)、圖像增強、圖像復(fù)原3種。其中，圖像復(fù)原是根據(jù)圖像退化的先驗知識建立一個退化型，以該網(wǎng)絡(luò)為基礎(chǔ)，采用各種逆退化處理算法逐步進(jìn)行恢復(fù)，從而達(dá)到改善圖像質(zhì)量的目的。

圖2 機具圖像去除運動模糊前后對比圖Fig. 2 Comparison of machine and tool images before and after removing motion blur

本文采用了圖像復(fù)原方法中的維納濾波算法對運動模糊機具圖像進(jìn)行預(yù)處理，將運動模糊的播種機(圖2(a))、深松機(圖2(b))、翻轉(zhuǎn)犁(圖2(c))，處理為清晰的農(nóng)機機具圖像(圖2(d)，圖2(e)，圖2(f))。

2 農(nóng)機機具圖像自動識別算法

2.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，共7層，包含4個卷積層和3個全連接層。其中，前2個卷積層后面連接池化層，最后1個全連接層使用Softmax函數(shù)做分類。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 Structure of convolutional neural network

若Xi表示卷積神經(jīng)網(wǎng)絡(luò)的第i層特征圖，網(wǎng)絡(luò)輸入X0為64×64×3的原始圖像，則卷積層Xi的計算過程可描述為

(1)

其中，Wi表示第i層卷積核的權(quán)值向量；運算符號?代表卷積核與第i層圖像或特征圖進(jìn)行卷積操作，卷積的結(jié)果與神經(jīng)元偏移量bi相加；然后通過非線性的激勵函數(shù)f(x)得到第i層的特征圖，本文卷積神經(jīng)網(wǎng)絡(luò)中選用Relu函數(shù)作為非線性激勵函數(shù)，它具有收斂性能好、計算復(fù)雜度低等特點。常用的池化方式有平均池化和最大池化，本研究采用了最大池化法。若Xi是池化層，則Xi的計算過程可描述為

Xi=Maxpooling(Xi-1)

(2)

表2為卷積神經(jīng)網(wǎng)絡(luò)詳細(xì)設(shè)計參數(shù)。

C1層采用了32個5×5×3的卷積核，步長為1，對輸入圖像卷積之后提取出32種特征，得到32個60×60的特征圖，再經(jīng)過S1層得到32個29×29的特征圖。C2層有64個5×5×32的卷積核，對第S1層輸出特征圖做卷積，得到64個29×29的特征圖，再經(jīng)過S2層得到64個14×14的特征圖。C3層有128個5×5×64的卷積核，對第S2層輸出特征圖做卷積，得到128個14×14的特征圖；C4層使用256個5×5×128的卷積核，對C3層輸出特征圖做卷積，得到256個14×14的特征圖，輸出給F5層。F5層采用384個神經(jīng)元，對256個14×14的特征圖進(jìn)行全連接處理；F6層采用192個神經(jīng)元，對256個神經(jīng)元進(jìn)行全連接處理；F7層使用softmax函數(shù)將特征向量處理結(jié)果分為5類。

表2 卷積神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)計Tab. 2 Design of convolution neural network parameters

2.2 減少過擬合

卷積神經(jīng)網(wǎng)絡(luò)模型對訓(xùn)練集識別率很高，而對于驗證集識別率很低的情況稱為過擬合，通常是由于模型過于復(fù)雜，訓(xùn)練數(shù)據(jù)不足或訓(xùn)練集圖像分布不均勻。本研究采用了增強數(shù)據(jù)集和模型正則化的方法來減少過擬合。

2.2.1 增強數(shù)據(jù)集

在本研究中，采用了2種方法增強數(shù)據(jù)集：增加數(shù)據(jù)集的數(shù)量和提高數(shù)據(jù)集的豐富性。數(shù)據(jù)集的豐富性能夠保證模型對不同背景條件的機具圖像都有良好的識別能力。通過采用隨機裁剪和垂直翻轉(zhuǎn)的方法來增大數(shù)據(jù)集的數(shù)量，具體方法如下：首先，在64×64大小的圖像中心位置和4個邊角等5個區(qū)域分別提取60×60區(qū)域用作訓(xùn)練，這樣將數(shù)據(jù)集擴大了5倍；由于設(shè)備安裝方式的不同，導(dǎo)致有部分機具圖像是上下顛倒的，為了平衡這部分?jǐn)?shù)據(jù)，提高模型對其識別能力，對所有圖像進(jìn)行垂直翻轉(zhuǎn)，在保證數(shù)據(jù)豐富性的同時，又將數(shù)據(jù)集擴大了2倍。

2.2.2 模型正則化

正則化是降低模型復(fù)雜度的一種方法，通過給損失函數(shù)加上約束項來對參數(shù)引入先驗分布，控制損失函數(shù)的優(yōu)化傾向于選擇較小參數(shù)的方向。本文所用的L2正則化就是在損失函數(shù)后面加一個正則化項，得到新的損失函數(shù)

(3)

式中：C0——原始的代價函數(shù)；

所有參數(shù)ω平方和除以訓(xùn)練集樣本大小n，再乘以正則系數(shù)λ，λ的作用即是權(quán)衡正則項與原始代價函數(shù)C0的比重。按照梯度下降法更新參數(shù)的規(guī)則，先對新的損失函數(shù)求導(dǎo)，然后得到參數(shù)更新值

(4)

2.3 提高模型訓(xùn)練效率

2.3.1 歸一化圖像

圖像歸一化是計算機視覺中對數(shù)據(jù)集預(yù)處理的常用方法之一，主要利用圖像的不變矩尋找一組參數(shù)使其能夠消除其他變換函數(shù)對圖像變換的影響，也就是轉(zhuǎn)換成唯一的標(biāo)準(zhǔn)形式來增強圖像的仿射變換。在卷積神經(jīng)網(wǎng)絡(luò)算法中，將像素值為0～255的UNIT型數(shù)據(jù)歸一化到0～1之間，可以簡化計算，加快網(wǎng)絡(luò)收斂性能，提高網(wǎng)絡(luò)計算精度。歸一化方法有離差歸一化和標(biāo)準(zhǔn)差歸一化，本研究中使用標(biāo)準(zhǔn)差歸一化

(5)

式中：μ——所有像素的均值；

σ——所有像素的標(biāo)準(zhǔn)差。

歸一化后的圖像滿足均值為0，標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布。神經(jīng)網(wǎng)絡(luò)是以樣本在事件中的統(tǒng)計概率來進(jìn)行訓(xùn)練和預(yù)測的，將數(shù)據(jù)歸一化到0～1之間統(tǒng)計概率分布，使得樣本所有像素的均值為0，并且其標(biāo)準(zhǔn)差一致，可以提高網(wǎng)絡(luò)學(xué)習(xí)速度，加快網(wǎng)絡(luò)收斂。

2.3.2 多GPU訓(xùn)練

本文設(shè)計的機具識別網(wǎng)絡(luò)模型需要訓(xùn)練的參數(shù)有2×105，處理完所有圖片需要進(jìn)行上億次加乘運算，傳統(tǒng)的CPU單線處理需要4～5 d的時間才能使模型達(dá)到收斂，效率太低不利于修改參數(shù)和調(diào)整網(wǎng)絡(luò)。GPU計算模塊專為處理大規(guī)模、高密度浮點數(shù)據(jù)而設(shè)計，其帶寬大、數(shù)據(jù)并行計算的優(yōu)勢極大地提高了運算速度，減少了運算時間。本文采用2塊GPU并行運算的方式訓(xùn)練網(wǎng)絡(luò)模型，如圖4所示。

圖4 GPU計算模型Fig. 4 Model of GPU calculation

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是最小化網(wǎng)絡(luò)的損失函數(shù)。原始圖像經(jīng)過前向傳輸后得到預(yù)測值，使用平方誤差代價函數(shù)計算預(yù)測值與實際值之間的差異，第n個樣本的誤差函數(shù)可表示為

(6)

式中：tkn——第n個樣本對應(yīng)標(biāo)簽的第k維；

ykn——第n個樣本對應(yīng)的網(wǎng)絡(luò)輸出的第k個輸出；

c——分類數(shù)目。

訓(xùn)練過程中，使用隨機梯度下降方法將loss值反向傳播，逐層更新網(wǎng)絡(luò)參數(shù)。參數(shù)更新規(guī)則為

(7)

(8)

式中：η——學(xué)習(xí)率。

將初始學(xué)習(xí)率η設(shè)為0.01，一次訓(xùn)練的數(shù)據(jù)集大小(batchsize)為128，以0均值，標(biāo)準(zhǔn)差0.01的高斯分布初始化每層權(quán)重Wi，神經(jīng)元偏置量bi的初始值為0。以8個線程將數(shù)據(jù)分批、獨立地分布在2塊GPU上，2個GPU共享模型參數(shù)，同步運算。由于GPU之間傳輸數(shù)據(jù)比較慢，計算得到的參數(shù)全部存儲在CPU上，并在CPU上更新所有參數(shù)。

3 試驗與分析

3.1 模型訓(xùn)練試驗與結(jié)果分析

本文網(wǎng)絡(luò)模型在2塊NVIDIA GeForce GTX 1080 GPU上訓(xùn)練，迭代100 000次之后，損失函數(shù)收斂到0.01。將本文所建的農(nóng)機機具圖像標(biāo)注數(shù)據(jù)集在LeNet-5和ResNet-50上分別進(jìn)行訓(xùn)練，與本文所用機具識別網(wǎng)絡(luò)進(jìn)行對比，3個網(wǎng)絡(luò)的參數(shù)配置及訓(xùn)練結(jié)果見表3。

表3 3種卷積神經(jīng)網(wǎng)絡(luò)性能比較Tab. 3 Performance comparison of three convolutional neural networks

從表3的對比結(jié)果分析：LeNet-5結(jié)構(gòu)簡單，網(wǎng)絡(luò)層數(shù)少，輸入圖像小，所需訓(xùn)練時間最少，但是其識別準(zhǔn)確率較低，僅有81%，無法滿足實際應(yīng)用需求；ResNet-50網(wǎng)絡(luò)和本文卷積神經(jīng)網(wǎng)絡(luò)識別準(zhǔn)確率均超過98%，滿足實際應(yīng)用需求，但是ResNet-50網(wǎng)絡(luò)比較復(fù)雜，參數(shù)較多，其訓(xùn)練時間需要58 h，相比之下，本文的機具識別網(wǎng)絡(luò)訓(xùn)練時間比較少，只有30 h，并且測試一張圖片的效率也高于ResNet-50。綜上所述，從網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)、訓(xùn)練時間、識別準(zhǔn)確率及效率上來說，本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)適用于農(nóng)機機具圖像識別，可滿足實際監(jiān)管需求。

3.2 模型測試試驗與結(jié)果分析

為了描述網(wǎng)絡(luò)的實際應(yīng)用性能，本文從2021年9月江蘇省農(nóng)機深松作業(yè)圖像中挑選出5種機具類型圖像各200張對模型進(jìn)行測試，并從召回率、魯棒性2個方面對模型進(jìn)行評價。

3.2.1 ROC曲線與AUC

ROC曲線的橫坐標(biāo)為假陽性率(False Positive Rate，F(xiàn)PR)，縱坐標(biāo)為真陽性率(True Positive Rate，TPR)，該曲線下各部分的面積求和即為AUC。在圖像識別評價精度指標(biāo)中，ROC曲線能夠盡量降低不同測試集帶來的干擾，更加客觀地衡量網(wǎng)絡(luò)本身的性能。

FPR和TPR的計算方法分別為

(9)

(10)

式中：P——真實的正樣本的數(shù)量；

N——真實的負(fù)樣本的數(shù)量；

TP——P個正樣本中被分類器預(yù)測為正樣本的個數(shù)；

FP——N個負(fù)樣本中被分類器預(yù)測為正樣本個數(shù)。

AUC可通過對ROC曲線下各部分的面積求和得到，且ROC曲線是由坐標(biāo)為{(x1,y1)，(x2,y2)，…，(xm,ym)}的點按順序連接而形成，則AUC的計算為

(11)

式中：xi、yi——上述假陽性率(FPR)、真陽性率(TPR)取值。

ROC曲線經(jīng)常作為二分類最重要的指標(biāo)之一，對于本文多分類，將m個測試樣本(m=2 600)，n個類別(n=13)。在訓(xùn)練完成后，計算出每個測試樣本在各類別下的概率，得到一個[m，n]形狀的矩陣Q，每一行按類別標(biāo)簽排序，表示一個測試樣本在各類別下概率值。相應(yīng)地，將每個測試樣本的類別轉(zhuǎn)換為類似二進(jìn)制的形式，每個位置按標(biāo)簽排序，用來標(biāo)記是否屬于對應(yīng)的類別，由此也可以獲得一個[m，n]的標(biāo)簽矩陣L。每種類別下，都可以得到m個測試樣本為該類別的概率(矩陣Q中的列)。所以，根據(jù)概率矩陣Q和標(biāo)簽矩陣L中對應(yīng)的每一列，可以計算出各個閾值下的假陽性率(FPR)和真陽性率(TPR)，從而繪制出一條ROC曲線。這樣總共可以繪制出n條ROC曲線。最后對n條ROC曲線取平均，得到最終的ROC曲線和AUC。本次農(nóng)機機具識別網(wǎng)絡(luò)測試試驗中，農(nóng)機機具圖像分類的ROC曲線與AUC如圖5所示。

在圖5中，試驗結(jié)果表明ROC曲線下的AUC均值為92%，且曲線靠近左上角，說明本文的機具識別網(wǎng)絡(luò)分類的真陽性率很高，分類錯誤較少，該網(wǎng)絡(luò)對5種機具圖像的分類能力符合實際應(yīng)用需求；同時ROC曲線是光滑的，說明農(nóng)機機具識別網(wǎng)絡(luò)訓(xùn)練后沒有出現(xiàn)太大的過擬合。

圖5 農(nóng)機機具圖像ROC曲線與AUC圖Fig. 5 ROC curve and AUC diagram of agricultural machinery and tools

3.2.2 混淆矩陣和F1-score

在圖像識別評價精度中，混淆矩陣主要用于比較真實結(jié)果和實際預(yù)測值。若M[t，p]表示混淆矩陣，第t行代表真實類別，每一行的總數(shù)代表該類別的真實數(shù)量。第p列代表預(yù)測類別，每一列的總數(shù)表示預(yù)測為該類別的數(shù)量；矩陣中的值，實際為t類的樣本被判定為p類的數(shù)量。

F1-score用于評價分類網(wǎng)絡(luò)性能，它考慮測試的精確度P和召回率R來計算分?jǐn)?shù)，公式如式(12)所示。

(12)

采用農(nóng)機機具識別網(wǎng)絡(luò)對測試集的5類機具圖像進(jìn)行測試試驗，試驗結(jié)果的可視化混淆矩陣如表4所示。

表4 混淆矩陣Tab. 4 Confusion matrix

分別計算機具類別A～E的精確度、召回率和F1-score，計算結(jié)果見表5。其中，精確度表示該類別混淆矩陣對角線的值除以該類別對應(yīng)列總和；召回率表示該類別混淆矩陣對角線的值除以該類別對應(yīng)行總和，F(xiàn)1-score值作為參數(shù)指標(biāo)精確度和召回率的調(diào)和平均。

在表5中，農(nóng)機機具識別網(wǎng)絡(luò)在測試集上精確度的平均值為98.47%，說明網(wǎng)絡(luò)對負(fù)樣本的區(qū)分能力很強；召回率的平均值為98.37%，說明網(wǎng)絡(luò)對正樣本的識別能力很強；F1-score的平均值為98.41%，說明分類網(wǎng)絡(luò)對大部分機具類型、作業(yè)場景、非機具圖像以及光影干擾等都能準(zhǔn)確識別，具有良好的魯棒性、穩(wěn)健性、實用性較強，滿足實際應(yīng)用的要求。

表5 精確度、召回率和F1值Tab. 5 Precision, recall and F1-score %

3.2.3 討論

識別錯誤的機具圖像如圖6所示，分析原因如下。

1) 采集圖像時，由于攝像頭傾斜等原因只拍到機具的一部分導(dǎo)致識別錯誤，圖6(f)和圖6(g)將翻轉(zhuǎn)犁識別為起壟機，圖6(o)將旋耕機識別為深松機。

2) 機具表面存在土壤、秸稈、人、草等，遮擋了大部分機具，圖6(l)和圖6(m)將旋耕機識別為翻轉(zhuǎn)犁，圖6(k)將深松機識別為起壟機。

3) 部分機具外形相似，如圖6(k)將深松機識別為翻轉(zhuǎn)犁，該類型的深松機和翻轉(zhuǎn)犁均為三角框架形式，差別只在其安裝的深松鏟。

4) 數(shù)據(jù)集收集不夠全面，如播種機圖6(a)、圖6(b)、圖6(c)、圖6(d)圖像均會出現(xiàn)識別錯誤，此種現(xiàn)象的情況較少，可能是其紋理、顏色比例與其他機具相似，所以識別錯誤。

上述分析說明，模型仍存在不足之處：當(dāng)機具圖像有大面積遮擋或只拍攝到部分機具時，識別能力較弱。

圖6 識別錯誤農(nóng)機機具圖像Fig. 6 Misrecognition image of agriculture machine

4 結(jié)論

1) 構(gòu)建了包括播種機、翻轉(zhuǎn)犁、起壟機、深松機和旋耕機5種類型的農(nóng)機機具圖像標(biāo)注數(shù)據(jù)集，其中訓(xùn)練集55 000張，驗證集18 970張，該數(shù)據(jù)集可以用于研究農(nóng)機機具的自動識別、檢測、跟蹤等智能化應(yīng)用。針對農(nóng)機機具圖像存在的質(zhì)量問題，分別進(jìn)行了圖像裁剪、圖像色彩調(diào)整和運動模糊消除3個方面的圖像預(yù)處理。

2) 根據(jù)實際應(yīng)用需求和數(shù)據(jù)特點，設(shè)計了能夠自動識別農(nóng)機機具的卷積神經(jīng)網(wǎng)絡(luò)。在2塊GPU上訓(xùn)練了近80 000張機具圖像，識別準(zhǔn)確率超過98%，單張圖片識別效率達(dá)0.1 s。訓(xùn)練集和驗證集識別率均超過98%，說明網(wǎng)絡(luò)對環(huán)境變化、光影干擾、小區(qū)域前景遮擋具有良好的魯棒性，訓(xùn)練集和驗證集樣本不重疊，說明網(wǎng)絡(luò)有良好的泛化能力。

3) 與經(jīng)典網(wǎng)絡(luò)LeNet-5和ResNet-50相比，本文設(shè)計的農(nóng)機機具識別網(wǎng)絡(luò)在保持較高識別準(zhǔn)確率與效率的同時，結(jié)構(gòu)相對簡單，參數(shù)較少，所需訓(xùn)練時間較短。

4) 在訓(xùn)練集和驗證集外，隨機挑選5種類型的圖像各200張作為測試集，設(shè)計測試試驗驗證模型的實用性，測得模型對各類機具圖像識別精確度平均值為98.47%，召回率平均值為98.37%，F(xiàn)1-score平均值為98.41%，表明模型實用性較強；并分析了錯誤識別的原因。

綜上所述，本文根據(jù)農(nóng)機機具原始圖像構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)算法的農(nóng)機機具圖像標(biāo)注數(shù)據(jù)集，設(shè)計卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并訓(xùn)練模型實現(xiàn)了農(nóng)機機具的自動識別，能夠較好地滿足實際應(yīng)用需求。