基于改進(jìn)InceptionV3算法的小麥雜質(zhì)識(shí)別研究

摘要：為解決傳統(tǒng)人工識(shí)別小麥效率低、主觀性高的問(wèn)題，提出一種基于改進(jìn)的CBAM-InceptionV3小麥雜質(zhì)識(shí)別方法。搭建機(jī)器視覺(jué)在線檢測(cè)平臺(tái)采集動(dòng)態(tài)圖像數(shù)據(jù)，采用數(shù)據(jù)集增強(qiáng)、圖像預(yù)處理和KS分類(lèi)方法對(duì)小麥雜質(zhì)圖像進(jìn)行處理；選用GoogLeNet、ResNet34、InceptionV3三種模型對(duì)圖像數(shù)據(jù)集進(jìn)行分類(lèi)訓(xùn)練。以InceptionV3模型為基礎(chǔ)，引入注意力機(jī)制CBAM，增強(qiáng)模型對(duì)信息的敏感度，提升模型的識(shí)別準(zhǔn)確率。將改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)CBAM-InceptionV3模型與加入CA模塊的CA-InceptionV3、InceptionV3兩種模型進(jìn)行對(duì)比試驗(yàn)。結(jié)果表明，InceptionV3模型在測(cè)試集上準(zhǔn)確率為83.5%、F1-Score為82.41%，CA-InceptionV3模型在測(cè)試集上準(zhǔn)確率為92.3%、F1-Score值為92.29%，CBAM-InceptionV3在測(cè)試集上準(zhǔn)確率為92.9%、F1-Score值為92.92%。CBAM-InceptionV3模型對(duì)測(cè)試集的平均預(yù)測(cè)時(shí)間為0.045張/s，明顯優(yōu)于其他兩種模型。

關(guān)鍵詞：小麥雜質(zhì)；卷積神經(jīng)網(wǎng)絡(luò)；分類(lèi)識(shí)別；CBAM-InceptionV3；可視化

中圖分類(lèi)號(hào)：S126; S512; TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2024） 04-0108-09

收稿日期：2022年9月8日" 修回日期：2023年3月21日

基金項(xiàng)目：重慶市技術(shù)創(chuàng)新與應(yīng)用發(fā)展專(zhuān)項(xiàng)重點(diǎn)項(xiàng)目（cstc2019jscx—gksbX0001）

第一作者：林燕翔，女，1997年生，重慶人，碩士研究生；研究方向?yàn)橹悄軝z測(cè)與控制。E-mail： yanxianglin97@126.com

通訊作者：李光林，男，1963年生，四川平昌人，博士，教授，博導(dǎo)；研究方向?yàn)閭鞲衅髋c智能檢測(cè)。E-mail： liguanglin@swu.edu.cn

Research on wheat impurity identification based on improved InceptionV3 algorithm

Lin Yanxiang1， Shen Yin2， Li Guanglin1

（1. College of Engineering and Technology， Southwest University， Chongqing， 400715， China；

2. College of Medical Information， Chongqing Medical University， Chongqing， 400016， China）

Abstract：

In order to solve the problem of low efficiency and high subjectivity of traditional wheat identification， an improved CBAM-InceptionV3 wheat impurity identification method was proposed. Firstly， a machine vision online detection platform was built to collect dynamic image data， and the wheat impurity image was processed by data set enhancement， image preprocessing and KS classification. Then， GoogLeNet， ResNet34 and InceptionV3 models were used to classify and train the image data set. Secondly， based on InceptionV3 model， CBAM was introduced to enhance the sensitivity of the model to information and improve the recognition accuracy of the model. The improved convolutional neural network CBAM-InceptionV3 model is compared with CA-InceptionV3 and InceptionV3 models added in CA module. The results show that the accuracy of InceptionV3 model on test set is 83.5% and F1-Score is 82.41%， and the accuracy of CA-InceptionV3 model on test set is 92.3% and F1-Score is 92.29%. CBAM-InceptionV3 has 92.9% accuracy and 92.92% F1-Score on the test set. The average prediction time of CBAM-InceptionV3 model for the test set is 0.045 pieces/s， which is significantly better than the other two models.

Keywords：

wheat impurity; convolutional neural network; classification and recognition; CBAM-InceptionV3; visualization

0 引言

小麥作為我國(guó)的主要糧食作物和重要的商品糧和儲(chǔ)備糧，其品質(zhì)直接影響人民生活。小麥雜質(zhì)是影響品質(zhì)的重要因素之一，同時(shí)也是衡量聯(lián)合收割機(jī)作業(yè)質(zhì)量的重要指標(biāo)。隨著科學(xué)技術(shù)的發(fā)展，圖像處理技術(shù)、光譜分析和深度學(xué)習(xí)在小麥品質(zhì)檢測(cè)中得到了普遍的應(yīng)用。Neethirajan［1］、蘇憶楠［2］、Singh［3］、劉歡［4］等使用高光譜成像技術(shù)對(duì)小麥進(jìn)行檢測(cè)。樊超［5］、何紅霞［6］、孟惜［7］、劉光宗［8］等使用傳統(tǒng)圖像處理技術(shù)結(jié)合分類(lèi)器對(duì)小麥品質(zhì)、不完善粒、雜質(zhì)分類(lèi)識(shí)別。然而光譜分析方法中不同物質(zhì)具有不同特征譜線，同時(shí)需要提取物質(zhì)內(nèi)部的化合物，且光譜分析儀操作復(fù)雜，價(jià)格昂貴。傳統(tǒng)的圖像處理技術(shù)由特征提取算法與機(jī)器學(xué)習(xí)算法組成，前期數(shù)據(jù)集容易受外界因素的影響，降維等操作增加了算法的復(fù)雜度，降低了識(shí)別效率。在實(shí)際應(yīng)用中，光譜分析方法、傳統(tǒng)圖像處理技術(shù)相對(duì)于深度學(xué)習(xí)方法很難快速地識(shí)別雜質(zhì)類(lèi)型，無(wú)法滿足聯(lián)合收割作業(yè)快速檢測(cè)小麥雜質(zhì)類(lèi)別的要求。

近年來(lái)，深度學(xué)習(xí)已經(jīng)受到了模式識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域的高度關(guān)注，卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個(gè)分支，如AlexNet、GoogLeNet、ResNet等分類(lèi)網(wǎng)絡(luò)，YOLO-v5、SSD、Faster R-CNN等目標(biāo)檢測(cè)網(wǎng)絡(luò)，F(xiàn)CN、U-Net、SegNet等分割網(wǎng)絡(luò)，由于其快速準(zhǔn)確可靠的特點(diǎn)在農(nóng)業(yè)生產(chǎn)檢測(cè)識(shí)別中得到廣泛應(yīng)用。在農(nóng)產(chǎn)品檢測(cè)識(shí)別中，卷積神經(jīng)網(wǎng)絡(luò)用于對(duì)農(nóng)作物［9-12］、食品［13-17］、害蟲(chóng)［18］、農(nóng)機(jī)［19］等進(jìn)行分類(lèi)識(shí)別。對(duì)小麥的識(shí)別中，祝詩(shī)平等［20］設(shè)計(jì)了基于CNN小麥籽粒完整性圖像檢測(cè)系統(tǒng)對(duì)兩類(lèi)籽粒進(jìn)行研究，識(shí)別性能最佳的AlexNet模型測(cè)試集識(shí)別準(zhǔn)確率為98.02%，識(shí)別速率為0.827 ms/粒，100粒小麥的檢測(cè)時(shí)間為26.3 s平均識(shí)別準(zhǔn)確率為96.67%；曹婷翠等［21］運(yùn)用CNN深度模型，實(shí)現(xiàn)小麥不完善粒識(shí)別，提出的方法相對(duì)于傳統(tǒng)的圖像處理識(shí)別方法，識(shí)別率提高15個(gè)百分點(diǎn)，相對(duì)于常規(guī)CNN模型，識(shí)別率提高5%，對(duì)于引入噪聲以及亮度改變的圖像，識(shí)別率也達(dá)到90%以上，設(shè)計(jì)的雙面識(shí)別方案有效地降低了識(shí)別的錯(cuò)誤率；張博［22］構(gòu)建了殘差CNN識(shí)別模型用于小麥籽粒識(shí)別，識(shí)別正確率達(dá)96.3%；宋懷波等［23］研究了基于YOLO v5-MDC的重度粘連小麥籽粒檢測(cè)方法，該模型的精確率為93.15%，召回率為99.96%，平均精度均值為99.46%；Singh等［24］采用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）和遷移學(xué)習(xí)方法用于檢測(cè)小麥葉片的健康狀況，訓(xùn)練模型準(zhǔn)確率高達(dá)98%；武威［25］使用Fater R-CNN模型處理復(fù)雜背景圖像，解決小麥籽粒分割與計(jì)數(shù)問(wèn)題。

這些都表明深度學(xué)習(xí)在農(nóng)業(yè)領(lǐng)域應(yīng)用前景廣闊，然而利用機(jī)器視覺(jué)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)方法對(duì)小麥雜質(zhì)的研究仍處于初步探索階段，需要進(jìn)一步的研究?；诖?，本文采用機(jī)器視覺(jué)和改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)CBAM-InceptionV3方法對(duì)小麥雜質(zhì)進(jìn)行識(shí)別研究，搭建機(jī)器視覺(jué)在線檢測(cè)平臺(tái)，利用數(shù)據(jù)集增強(qiáng)、圖像預(yù)處理和KS分類(lèi)方法對(duì)小麥雜質(zhì)圖像進(jìn)行處理，并建立圖像數(shù)據(jù)集，同時(shí)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)CBAM-InceptionV3，并利用梯度類(lèi)激活映射方法（Grad-CAM）實(shí)現(xiàn)可視化分析，以實(shí)現(xiàn)小麥雜質(zhì)的快速檢測(cè)識(shí)別。

1 機(jī)器視覺(jué)硬件平臺(tái)

根據(jù)試驗(yàn)要求，先構(gòu)建基于機(jī)器視覺(jué)技術(shù)的小麥雜質(zhì)檢測(cè)系統(tǒng)，所研制檢測(cè)系統(tǒng)包括輸送單元、步進(jìn)電機(jī)、條形LED光源、送料口以及圖像采集部分與圖像分析計(jì)算機(jī)軟硬件部分，總體結(jié)構(gòu)示意圖如圖1所示。雜質(zhì)小麥經(jīng)送料口進(jìn)入傳送單元，經(jīng)過(guò)橫桿掃平后進(jìn)行圖像采集（橫桿位于傳輸單元上方1 cm處，它起到了平鋪小麥的作用）。在線采集雜質(zhì)小麥圖像時(shí)傳送帶要選擇合適的速度，速度過(guò)大直接造成圖像數(shù)據(jù)集模糊不清。經(jīng)反復(fù)試驗(yàn)對(duì)比，傳送單元速度調(diào)整為4 cm/s，相機(jī)采集圖片的速度為4 s/張。選擇條形光源能使雜質(zhì)小麥?zhǔn)芄庹站鶆?，避免綠色傳輸單元拍攝出反光圖片。

2 樣本采集與處理

2.1 數(shù)據(jù)集采集

圖像采集系統(tǒng)主要包含相機(jī)、支架、載物臺(tái)、光源、計(jì)算機(jī)。其中相機(jī)為丹麥JAI工業(yè)相機(jī)的APEX系列中AP-3200-PGE型，分辨率為2 064像素×1 544像素，12 fps，接口為GigE。鏡頭為日本興和（Kowa）的Lens LM12HC型號(hào)，采用12 mm固定焦距，光圈范圍為F1.4～F16，所采集的原始圖像均為RGB圖像，圖片格式為bmp，該相機(jī)采集的原始數(shù)據(jù)集大小為12.2 MB，分辨率為2 080像素×1 544像素，在不影響數(shù)據(jù)集清晰度的情況下，訓(xùn)練前期將單張圖片的長(zhǎng)寬各縮小為原來(lái)的一半，分辨率為1 040像素×772像素，單張圖片大小為2.29 MB，格式為jpg。

根據(jù)聯(lián)合收割機(jī)過(guò)程中小麥雜質(zhì)來(lái)源，將小麥數(shù)據(jù)集分為4種類(lèi)型（圖2），原始的雜質(zhì)小麥數(shù)據(jù)集共計(jì)4 000張隨機(jī)，為了試驗(yàn)樣本的代表性和均勻性，采用KS分類(lèi)方法，將數(shù)據(jù)集按7∶3劃分成訓(xùn)練集和驗(yàn)證集。訓(xùn)練集用于訓(xùn)練模型，共計(jì)2 800張；驗(yàn)證集用來(lái)驗(yàn)證模型的準(zhǔn)確率，共計(jì)1 200張。為了減少訓(xùn)練的迭代次數(shù)，提高訓(xùn)練分類(lèi)的準(zhǔn)確率，對(duì)原有的數(shù)據(jù)訓(xùn)練集和驗(yàn)證集樣本進(jìn)行數(shù)據(jù)集增強(qiáng)，分別對(duì)各類(lèi)樣本進(jìn)行隨機(jī)旋轉(zhuǎn)、亮度增強(qiáng)、對(duì)比度增強(qiáng)、顏色增強(qiáng)操作，原始的數(shù)據(jù)集擴(kuò)充為原來(lái)的4倍。訓(xùn)練集共計(jì)11 200張雜質(zhì)小麥圖像數(shù)據(jù)集，驗(yàn)證集共計(jì)4 800張雜質(zhì)小麥圖像數(shù)據(jù)集（表1）。

2.2 數(shù)據(jù)預(yù)處理

試驗(yàn)數(shù)據(jù)集均為在線采集，采集過(guò)程中會(huì)受到光照不均、運(yùn)動(dòng)模糊等因素的干擾，影響圖像質(zhì)量、降低分類(lèi)識(shí)別的準(zhǔn)確率，因此需對(duì)所有數(shù)據(jù)集進(jìn)行光照調(diào)節(jié)、消除運(yùn)動(dòng)模糊。采用維納濾波［26］圖像復(fù)原算法解決運(yùn)動(dòng)模糊的問(wèn)題、采用伽馬變換［27］算法解決光照不均勻的問(wèn)題，圖3為四種類(lèi)型數(shù)據(jù)集先后經(jīng)過(guò)伽馬變化、維納濾波前后對(duì)比圖。

3 改進(jìn)InceptionV3模型

3.1 基礎(chǔ)網(wǎng)絡(luò)的選擇

提升網(wǎng)絡(luò)性能最直接最安全的方法就是增加網(wǎng)絡(luò)深度（網(wǎng)絡(luò)層次數(shù)量）和寬度（神經(jīng)元數(shù)量），兩種方法容易存在過(guò)擬合、梯度消失、梯度彌散等問(wèn)題，解決此類(lèi)問(wèn)題需要在增加網(wǎng)絡(luò)寬度和深度的同時(shí)減少參數(shù)。傳統(tǒng)LeNet和AlexNet等分類(lèi)網(wǎng)絡(luò)，參數(shù)量多、易存在梯度消失等問(wèn)題，而Inception系列在增加網(wǎng)絡(luò)寬度深度的同時(shí)減少了參數(shù)量，將其用于GoogLeNet、InceptionV2、InceptionV3到InceptionV4等分類(lèi)網(wǎng)絡(luò)，模型的性能大幅度提升。

GoogLeNet只有22層，但參數(shù)數(shù)量卻是AlexNet的1/12，將全連接層和一般的卷積轉(zhuǎn)化為稀疏矩陣解決模型加深引起的網(wǎng)絡(luò)過(guò)擬合；V2和V3在V1的基礎(chǔ)上改變Inception結(jié)構(gòu)、加入BN、輔助分類(lèi)器等，性能大幅提升。InceptionV3在很多分類(lèi)識(shí)別場(chǎng)景中得到了成功的應(yīng)用。為了選取合適的卷積神經(jīng)網(wǎng)絡(luò)用于小麥雜質(zhì)的識(shí)別，選擇了兩種經(jīng)典網(wǎng)絡(luò)GoogLeNet和ResNet34與InceptionV3進(jìn)行比較。如圖4所示為三種網(wǎng)絡(luò)在同一批數(shù)據(jù)集上訓(xùn)練集（參數(shù)設(shè)置相同）。

由圖4（a）可知GoogLeNet和ResNet34的損失分別為0.684和0.082，InceptionV3的損失在前期波動(dòng)稍大，但達(dá)到平穩(wěn)狀態(tài)很快且損失相對(duì)較小最終穩(wěn)定在0.005左右，分類(lèi)誤差相對(duì)較小、收斂時(shí)間短。圖4（b）中相同周期訓(xùn)練下ResNet34和InceptionV3模型驗(yàn)證集準(zhǔn)確率均達(dá)到了99%，而GoogLeNet模型驗(yàn)證集準(zhǔn)確率為89.6%，綜合考慮訓(xùn)練集損失和驗(yàn)證集準(zhǔn)確率，InceptionV3的性能相對(duì)其他兩種網(wǎng)絡(luò)更高，符合在線快速檢測(cè)的要求。

3.2 CBAM-InceptionV3網(wǎng)絡(luò)模型

表2為CBAM-InceptionV3網(wǎng)絡(luò)模型的參數(shù)設(shè)置。以InceptionV3模型為基礎(chǔ)，引入注意力機(jī)制CBAM，如圖5所示。

CBAM模塊主要添加在InceptionV3模型的Block5和MaxPooling3之間，該模塊的添加能夠使模型更加注意數(shù)據(jù)集感興趣的區(qū)域，提升模型的分類(lèi)準(zhǔn)確率。網(wǎng)絡(luò)的輸入圖片大小為299像素×299像素×3通道，經(jīng)過(guò)五個(gè)模塊Block，CBAM模塊等部分，最終輸出四分類(lèi)，Block3、Block4、Block5中Inception模塊的結(jié)構(gòu)設(shè)計(jì)如圖6所示。輔助分類(lèi)器位于Block4和Block5之間，它主要由一個(gè)池化層、兩個(gè)卷積層、Dropout、Linear組成，輔助分類(lèi)器的作用一是對(duì)模型做融合，二是增加網(wǎng)絡(luò)反向傳播的梯度信號(hào)，提供正則化。

3.3 CBAM（Convolutional Block Attention Module）

CBAM［28］結(jié)構(gòu)如圖7所示。CBAM包含兩個(gè)獨(dú)立的子模塊，通道注意力模塊（Channel Attention Module，CAM）和空間注意力模塊（Spatial Attention Module，SAM），分別進(jìn)行通道注意力機(jī)制與空間注意力機(jī)制的處理。這樣不僅能夠節(jié)約參數(shù)和計(jì)算力，還能保證其能夠作為即插即用的模塊集成到現(xiàn)有的網(wǎng)絡(luò)架構(gòu)，通過(guò)CBAM模塊自適應(yīng)地細(xì)化中間特征映射。以中間特征圖F∈RC×H×W作為輸入CBAM依次推斷出一個(gè)1D通道注意力圖Mc（F）∈RC×1×1和一個(gè)2D空間注意力圖MS（F1）∈R1×H×W，總的推導(dǎo)過(guò)程如式（1）所示。

4 試驗(yàn)結(jié)果與分析

4.1 試驗(yàn)環(huán)境及參數(shù)設(shè)置

整個(gè)試驗(yàn)的運(yùn)行環(huán)境為Ubuntu20.04（64位）操作系統(tǒng)，使用2張Tesla顯卡，內(nèi)存為125 GB，搭載Intel（R） Xeon（R） Gold 6242R CPU @ 3.10GHz處理器，Anaconda3，CUDA10.1編程平臺(tái)，cuDNN10.1，基于開(kāi)源深度學(xué)習(xí)框架Pytorch開(kāi)發(fā)環(huán)境，Pytorch版本為1.7.1，使用Python3.6.5編程語(yǔ)言。將InceptionV3與卷積神經(jīng)網(wǎng)絡(luò)CBAM-InceptionV3、CA-InceptionV3分別對(duì)同一批數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練時(shí)將三種網(wǎng)絡(luò)參數(shù)以及超參數(shù)等設(shè)置相同，如Batch-size設(shè)置為32、學(xué)習(xí)率設(shè)置為0.002、訓(xùn)練周期設(shè)置為100epoch、損失函數(shù)和優(yōu)化算法均相同。

4.2 模型訓(xùn)練數(shù)據(jù)分析

如圖8所示，迭代訓(xùn)練100個(gè)周期后，隨著訓(xùn)練周期的不斷增加，訓(xùn)練集的分類(lèi)誤差逐漸降低，三種網(wǎng)絡(luò)的損失曲線在50個(gè)周期之后逐漸收斂，并且在一個(gè)穩(wěn)定的范圍內(nèi)波動(dòng)。

雖然三種模型訓(xùn)練集損失最終分別為0.014、0.013、0.005，但CBAM-InceptionV3、CA-InceptionV3模型損失曲線穩(wěn)定后位于InceptionV3網(wǎng)絡(luò)曲線的下方，說(shuō)明在相同的訓(xùn)練周期中，改進(jìn)的網(wǎng)絡(luò)最先達(dá)到收斂；從驗(yàn)證集準(zhǔn)確率曲線可知，在前期訓(xùn)練中三種網(wǎng)絡(luò)準(zhǔn)確率波動(dòng)較大，隨著訓(xùn)練周期的增加，準(zhǔn)確率也在一定的范圍內(nèi)波動(dòng)，三種曲線相差不大。綜上所述，從訓(xùn)練效率、驗(yàn)證集準(zhǔn)確率的角度來(lái)看該網(wǎng)絡(luò)具有很好的效果。

4.3 模型測(cè)試數(shù)據(jù)分析

由于不同類(lèi)別的小麥雜質(zhì)在訓(xùn)練集和驗(yàn)證集中差距較大、數(shù)據(jù)樣本不平衡，僅憑訓(xùn)練集上的準(zhǔn)確率和損失函數(shù)不足以描述模型的泛化能力和實(shí)際應(yīng)用性能，為了進(jìn)一步證明CBAM-InceptionV3模型的優(yōu)越性能，將其與CA-InceptionV3、InceptionV3網(wǎng)絡(luò)模型進(jìn)行測(cè)試實(shí)驗(yàn)來(lái)驗(yàn)證模型泛化能力。訓(xùn)練集上的圖片都是經(jīng)過(guò)預(yù)處理的圖片，文中將未經(jīng)過(guò)預(yù)處理、視角范圍不同、加噪的圖片作為測(cè)試集，4種雜質(zhì)小麥圖像各選250張，共計(jì)1 000張。采用準(zhǔn)確率（Accuracy）和F1值（F1-Score）精確率（Precision）、召回率（Recall）［30］對(duì)模型進(jìn)行評(píng)價(jià)。

縱軸為測(cè)試數(shù)據(jù)集的真實(shí)值，橫軸為被網(wǎng)絡(luò)預(yù)測(cè)的值，通過(guò)圖中顏色的深淺程度可以判斷分類(lèi)識(shí)別的結(jié)果。通過(guò)模型的二分類(lèi)混淆矩陣可以計(jì)算出多分類(lèi)模型的準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1值（F1-Score）。從表3可以看出，三種網(wǎng)絡(luò)模型在同一批測(cè)試集上的準(zhǔn)確率分別為83.5%、92.9%、92.3%，平均F1-Score分別為82.41%、92.92%、92.29%。

從單類(lèi)F1-Score來(lái)看InceptionV3對(duì)麥殼、麥穗、正常小麥的識(shí)別均低于其他兩種網(wǎng)絡(luò)，且對(duì)正常小麥的識(shí)別最低為65.95%。由于采集的數(shù)據(jù)集中正常小麥作為對(duì)照組，其他三種數(shù)據(jù)集的背景均為正常小麥，雜質(zhì)識(shí)別過(guò)程中背景雜亂、雜質(zhì)圖片外觀相似均會(huì)導(dǎo)致InceptionV3網(wǎng)絡(luò)對(duì)正常小麥類(lèi)識(shí)別率較低。由于CBAM模塊、CA模塊更加關(guān)注輸入圖片有意義的東西，在InceptionV3網(wǎng)絡(luò)中添加CBAM模塊即CBAM-InceptionV3模型，它對(duì)雜質(zhì)識(shí)別總體準(zhǔn)確率比未改進(jìn)InceptionV3提高了9.4%、平均F1-Score提高了10.51%；在InceptionV3網(wǎng)絡(luò)中添加CA模塊即CA-InceptionV3模型對(duì)雜質(zhì)識(shí)別總體準(zhǔn)確率比未改進(jìn)InceptionV3提升了8.8%、平均F1-Score提升了9.88%。CBAM-InceptionV3模型相比CA-InceptionV3模型總體準(zhǔn)確率提升了0.6%，平均F1-Score提升了0.63%。CBAM-InceptionV3模型對(duì)測(cè)試集的平均預(yù)測(cè)時(shí)間為0.045張/s，明顯低于其他兩種模型。因此，改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)CBAM-InceptionV3模型相比CA-InceptionV3、InceptionV3具有較好的應(yīng)用效果。

4.4 分類(lèi)結(jié)果可視化

為探究改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型分類(lèi)的機(jī)理，采用特征圖可視化和梯度類(lèi)激活映射（Grad Class Activation Mapping，Grad-CAM）［31］方法。

Grad-CAM在CAM的基礎(chǔ)上克服了只能在最后一個(gè)特征圖之后使用全局平均池化和線性層做分類(lèi)的缺陷，以熱力圖的形式展現(xiàn)圖片中做分類(lèi)決策的局部位置。展示模型預(yù)測(cè)小麥雜質(zhì)分類(lèi)的判斷依據(jù)，Grad-CAM可視化計(jì)算過(guò)程如下。

5 結(jié)論

該研究以小麥雜質(zhì)（麥殼、麥穗、秸稈、正常小麥）為研究對(duì)象，基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)CBAM-InceptionV3的分類(lèi)算法探究對(duì)小麥雜質(zhì)分類(lèi)識(shí)別，通過(guò)比較研究分析神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及識(shí)別效果，驗(yàn)證深度學(xué)習(xí)用于小麥雜質(zhì)分類(lèi)識(shí)別的可行性。

1）" 搭建機(jī)器視覺(jué)在線檢測(cè)平臺(tái)，采用數(shù)據(jù)集增強(qiáng)算法、圖像預(yù)處理和KS分類(lèi)方法對(duì)4 000張圖片進(jìn)行處理，并選用GoogLeNet、ResNet34、InceptionV3三種模型對(duì)同一批數(shù)據(jù)集進(jìn)行對(duì)比試驗(yàn)訓(xùn)練，結(jié)果表明InceptionV3優(yōu)于GoogLeNet和ResNet34模型。

2） 提出一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)CBAM-InceptionV3模型，該模型比InceptionV3模型對(duì)小麥雜質(zhì)分類(lèi)識(shí)別測(cè)試集準(zhǔn)確率提高9.4%、平均F1-Score提高10.51%；在InceptionV3模型基礎(chǔ)上加入CA模塊即CA-InceptionV3模型相比InceptionV3模型對(duì)小麥雜質(zhì)分類(lèi)識(shí)別測(cè)試集準(zhǔn)確率提高8.8%，平均F1-Score提高9.88%。三種模型均使用卷積層加BN層加激活函數(shù)的卷積模塊、Dropout策略、RMSProp優(yōu)化算法等優(yōu)化方法。預(yù)測(cè)時(shí)間上，CBAM-InceptionV3模型對(duì)測(cè)試集的平均預(yù)測(cè)時(shí)間為0.045張/s，明顯低于其他兩種模型。改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)CBAM-InceptionV3模型提高泛化能力和準(zhǔn)確率，具有良好的應(yīng)用前景。

3）nbsp; 利用Grad-CAM對(duì)模型進(jìn)行可視化，最后以熱力圖的形式展現(xiàn)圖片中做分類(lèi)決策的局部位置，更有利于在線快速識(shí)別。

參 考 文 獻(xiàn)

［1］ Neethirajan S， Jayas D S， White N D G. Detection of sprouted wheat kernels using soft X-ray image analysis ［J］. Journal of Food Engineering， 2007， 81（3）： 509-513.

［2］ 蘇憶楠. 基于機(jī)器視覺(jué)和高光譜圖像技術(shù)的糧食水分檢測(cè)及雜質(zhì)與不完善粒識(shí)別方法研究［D］. 杭州： 浙江大學(xué)， 2011.

Su Yinan. Research on grain water content detection and impurities recognition method based on machine vision and hyperspectral imaging technique ［D］. Hangzhou： Zhejiang University， 2011.

［3］ Singh C B， Jayas D S， Paliwal J， et al. Identification of insect-damaged wheat kernels using short-wave near-infrared hyperspectral and digital colour imaging ［J］. Computers and Electronics in Agriculture， 2010， 73（2）： 118-125.

［4］ 劉歡， 王雅倩， 王曉明， 等. 基于近紅外高光譜成像技術(shù)的小麥不完善粒檢測(cè)方法研究［J］. 光譜學(xué)與光譜分析， 2019， 39（1）： 223-229.

Liu Huan， Wang Yaqian， Wang Xiaoming， et al. Study on detection method of wheat unsound kernel based on near-infrared hyperspectral imaging technology ［J］. Spectroscopy and Spectral Analysis， 2019， 39（1）： 223-229.

［5］ 樊超， 夏旭， 石小鳳， 等. 基于圖像處理的小麥品種分類(lèi)研究［J］. 河南工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2011， 32（5）： 74-78.

Fan Chao， Xia Xu， Shi Xiaofeng， et al. Wheat variety classification based on image processing ［J］. Journal of Henan University of Technology （Natural Science Edition）， 2011， 32（5）： 74-78.

［6］ 何紅霞. 基于機(jī)器視覺(jué)的小麥種子品種分類(lèi)模型研究［D］. 合肥： 安徽農(nóng)業(yè)大學(xué)， 2018.

He Hongxia. Study on classification model of wheat seed varieties based on machine vision ［J］. Hefei： Anhui Agricultural University， 2018.

［7］ 孟惜. 基于圖像處理的小麥籽粒飽滿度檢測(cè)及品種識(shí)別［D］. 保定： 河北農(nóng)業(yè)大學(xué)， 2017.

Meng Xi. Detection of wheat grain saturation and identification of varieties based on image processing ［D］. Baoding： Heibei Agricultural University， 2017.

［8］ 劉光宗. 小麥含水率、容重、雜余數(shù)字化檢測(cè)方法研究［D］. 合肥： 安徽農(nóng)業(yè)大學(xué)， 2020.

Liu Guangzong. Study on digital detection method of wheat moisture content， test weight and miscellaneous ［D］. Hefei： Anhui Agricultural University， 2020.

［9］ 陳進(jìn)， 韓夢(mèng)娜， 練毅， 等. 基于U-Net模型的含雜水稻籽粒圖像分割［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（10）： 174-180.

Chen Jin， Han Mengna， Lian Yi， et al. Segmentation of impurity rice grain images based on U-Net model ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（10）： 174-180.

［10］ 馬志艷， 張徐康， 楊光友. 基于改進(jìn)Mask R-CNN的水稻莖稈雜質(zhì)分割方法研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（6）： 145-150.

Ma Zhiyan， Zhang Xukang， Yang Guangyou. Research on segmentation method of rice stem impurities based on improved Mask R-CNN ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（6）： 145-150.

［11］ Sa I， Ge Z， Dayoub F， et al. Deepfruits： A fruit detection system using deep neural networks ［J］. Sensors， 2016， 16（8）： 1222.

［12］ 陳進(jìn)， 張帥， 李耀明， 等. 聯(lián)合收獲機(jī)水稻破碎籽粒及雜質(zhì)在線識(shí)別方法［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（6）： 137-144.

Chen Jin， Zhang Shuai， Li Yaoming， et al. Research on online identification system of rice broken impurities in combine harvester ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（6）： 137-144.

［13］ 張思雨， 張秋菊， 李可. 采用機(jī)器視覺(jué)與自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)花生仁品質(zhì)［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（4）： 269-277.

Zhang Siyu， Zhang Qiuju， Li Ke. Detection of peanut kernel quality based on machine vision and adaptive convolution neural network ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（4）： 269-277.

［14］ Rong D， Wang H， Xie L， et al. Impurity detection of juglans using deep learning and machine vision ［J］. Computers and Electronics in Agriculture， 2020， 178： 105764.

［15］ 趙德安， 吳任迪， 劉曉洋， 等. 基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋(píng)果定位［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（3）： 164-173.

Zhao Dean， Wu Rendi， Liu Xiaoyang， et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（3）： 164-173.

［16］ 劉小剛， 范誠(chéng)， 李加念， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的草莓識(shí)別方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2020， 51（2）： 237-244.

Liu Xiaogang， Fan Cheng， Li Jianian， et al. Identification method of strawberry based on convolutional neural network ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（2）： 237-244.

［17］ 傅隆生， 馮亞利， Elkamil Tola， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的田間多簇獼猴桃圖像識(shí)別方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（2）： 205-211.

Fu Longsheng， Feng Yali， Elkamil Tola， et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（2）： 205-211.

［18］ 張博， 張苗輝， 陳運(yùn)忠. 基于空間金字塔池化和深度卷積神經(jīng)網(wǎng)絡(luò)的作物害蟲(chóng)識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（19）： 209-215.

Zhang Bo， Zhang Miaohui， Chen Yunzhong. Crop pest identification based on spatial pyramid pooling and deep convolution neural network ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（19）： 209-215.

［19］ Zhang Z， Liu H， Meng Z， et al. Deep learning-based automatic recognition network of agricultural machinery images ［J］. Computers and Electronics in Agriculture， 2019， 166： 104978.

［20］ 祝詩(shī)平， 卓佳鑫， 黃華， 等. 基于CNN的小麥籽粒完整性圖像檢測(cè)系統(tǒng)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2020， 51（5）： 36-42.

Zhu Shiping， Zhuo Jiaxin， Huang Hua， et al. Wheat grain integrity image detection system based on CNN ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（5）： 36-42.

［21］ 曹婷翠， 何小海， 董德良， 等. 基于CNN深度模型的小麥不完善粒識(shí)別［J］. 現(xiàn)代計(jì)算機(jī)（專(zhuān)業(yè)版）， 2017（36）： 9-14.

Cao Tingcui， He Xiaohai， Dong Deliang， et al. Identification of unsound kernels in wheat based on CNN deep model ［J］. Modern Computer （Professional Edition）， 2017（36）： 9-14.

［22］ 張博. 基于深度學(xué)習(xí)的小麥外觀品質(zhì)機(jī)器視覺(jué)檢測(cè)研究［D］.咸陽(yáng)： 西北農(nóng)林科技大學(xué)， 2019.

Zhang Bo. Machine vision inseption of wheat apprearance quality based on deep learning ［D］. Xianyang： Northwest A amp; F University， 2019.

［23］ 宋懷波， 王云飛， 段援朝， 等. 基于YOLO v5-MDC的重度粘連小麥籽粒檢測(cè)方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2022， 53（4）： 245-253.

Song Huaibo， Wang Yunfei， Duan Yuanchao， et al. Detection method of severe adhesive wheat grain based on YOLO v5-MDC model ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（4）： 245-253.

［24］ Singh A， Arora M. CNN based detection of healthy and unhealthy wheat crop ［C］. 2020 International Conference on Smart Electronics and Communication （ICOSEC）. IEEE， 2020： 121-125.

［25］ 武威. 基于機(jī)器視覺(jué)技術(shù)的稻麥籽粒外觀品質(zhì)評(píng)測(cè)研究［D］. 揚(yáng)州： 揚(yáng)州大學(xué)， 2021.

Wei Wu. Research on appearance quality evaluation of rice and wheat grains based on machine vision technology ［D］. Yangzhou： Yangzhou University， 2021.

［26］ Zhang X， Qiao Y， Meng F， et al. Identification of maize leaf diseases using improved deep convolutional neural networks ［J］. IEEE Access， 2018， 6： 30370-30377.

［27］ Tsai C M. Adaptive local power-law transformation for color image enhancement ［J］. Applied Mathematics amp; Information Sciences， 2013， 7（5）： 2019.

［28］ Woo S， Park J， Lee J Y， et al. CBAM： Convolutional block attention module ［J］. Springer， Cham， 2018.

［29］ Ashiquzzaman A， Tushar A K， Dutta S， et al. An efficient method for improving classification accuracy of handwritten Bangla compound characters using DCNN with dropout and ELU ［C］. 2017 Third International Conference on Research in Computational Intelligence and Communication Networks （ICRCICN）. IEEE， 2017： 147-152.

［30］ Hripcsak G， Rothschild A S. Technical brief： agreement， the F-Measure， and reliability in information retrieval ［J］. Hripcsak， Rothschilsd， Agreement in Information Retrieval， 2005， 12（3）： 296-298.

［31］ Selvaraju R R， Cogswell M， Das A， et al. Grad-cam： Visual explanations from deep networks via gradient-based localization ［C］. Proceedings of the IEEE International Conference on Computer Vision. 2017： 618-626.