基于GoogLeNet的玉米籽粒破損及霉變?cè)诰€辨識(shí)方法*

林杰，王發(fā)贏，姚艷春，，崔春曉，盛振哲，曲殿偉

(1.山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院,山東淄博,255000;2.山東省旱作農(nóng)業(yè)機(jī)械及信息化重點(diǎn)實(shí)驗(yàn)室,山東淄博,255000;3.山東五征集團(tuán)有限公司,山東日照,276825)

0 引言

支持向量機(jī)[1-3]、神經(jīng)網(wǎng)絡(luò)[4-6]等計(jì)算機(jī)視覺(jué)技術(shù)及算法已廣泛應(yīng)用于農(nóng)作物分類,卷積神經(jīng)網(wǎng)絡(luò)[7-8]作為深度學(xué)習(xí)的一種代表算法,廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)等領(lǐng)域,其自動(dòng)提取目標(biāo)特征的優(yōu)勢(shì)在復(fù)雜圖像分類中得到體現(xiàn)。國(guó)內(nèi)利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)檢測(cè)與分類農(nóng)作物[9-10]開(kāi)展了相關(guān)研究[11-12]。陳文博等[13]以稻米品種識(shí)別與碎米檢測(cè)為目的,對(duì)比VGG19[14]和GoogLeNet[15]神經(jīng)網(wǎng)絡(luò),結(jié)果表明,GoogLeNet在稻米檢測(cè)中識(shí)別準(zhǔn)確率可達(dá)96.46%,相比于VGG19驗(yàn)證精度提高了1.46%。侯俊銘等[16]研究了在線實(shí)時(shí)分類蓖麻種子損傷,采用SGDM類優(yōu)化器更新網(wǎng)絡(luò)獲得更優(yōu)分類性能,種殼缺失蓖麻種子的識(shí)別準(zhǔn)確率高達(dá)96.67%。蘇寶峰等[17]基于注意力機(jī)制改進(jìn)多品種葡萄分類的識(shí)別算法,并使用Grad-CAM方法對(duì)特征圖進(jìn)行可視化處理,對(duì)卷積層提取的特征進(jìn)行可視化解釋,克服了復(fù)雜背景導(dǎo)致的辨識(shí)困難等問(wèn)題,其測(cè)試集準(zhǔn)確率為88.75%,平均召回率為89.17%。徐巖等[18]選取了登海518、浚單20、鄭單958玉米品種,使用Keras深度學(xué)習(xí)框架搭建了CNN模型,平均識(shí)別率達(dá)到95.49%。權(quán)龍哲等[19]研究了玉米粒選和分類,搭建了輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò),對(duì)優(yōu)良、剔除玉米籽粒胚面與胚乳面4大類玉米籽粒分類,通過(guò)調(diào)整樣機(jī)參數(shù)達(dá)到最優(yōu)性能,玉米籽粒檢測(cè)準(zhǔn)確率達(dá)到96.50%,有效分選率達(dá)到97.51%。以上研究表明,在農(nóng)作物種粒的分類鑒別中,卷積神經(jīng)網(wǎng)絡(luò)具有準(zhǔn)確率高、適應(yīng)性強(qiáng)等優(yōu)點(diǎn)[20]。

綜上,玉米籽粒圖像切片處理主要針對(duì)單一背景與理想光線條件下的圖像,一般先對(duì)圖像進(jìn)行二值化處理,提取玉米籽粒輪廓后,直接對(duì)圖像進(jìn)行切割,該處理方法對(duì)成像環(huán)境要求高,在切割玉米籽粒圖像時(shí),容易出現(xiàn)圖像信息丟失等問(wèn)題,難以應(yīng)用在大規(guī)模玉米籽粒分選作業(yè)場(chǎng)景。

因此,本文提出一種基于HSV顏色空間閾值分割的玉米籽粒圖像切片算法,該算法在HSV顏色模式下分割閾值,提取到玉米籽粒輪廓后,擴(kuò)大切割尺寸,對(duì)于固定閾值分割造成圖像信息丟失等問(wèn)題具有補(bǔ)償作用。該算法創(chuàng)建完好、破損及霉變玉米籽粒數(shù)據(jù)集,并以GoogLeNet為試驗(yàn)?zāi)Ｐ?訓(xùn)練切片處理與未經(jīng)圖像切片的數(shù)據(jù)集,基于Grad-CAM可視化方法[21-22]顯示模型關(guān)注區(qū)域,驗(yàn)證了GoogLeNet識(shí)別破損及霉變玉米籽粒的可行性以及圖像切片算法的有效性。

1 數(shù)據(jù)集制作

1.1 玉米籽粒圖像采集

本文選取完好、破損及霉變玉米籽粒作為研究對(duì)象,其中,破損粒樣本一部分由完好粒經(jīng)壓力機(jī)破碎獲得,另一部分由玉米果穗經(jīng)過(guò)脫粒機(jī)脫粒獲得;霉變粒樣本通過(guò)人工霉變處理獲得,即先將完好玉米籽粒置于潮濕陰暗環(huán)境中,待其表面產(chǎn)生霉斑后,再將其置于陽(yáng)光下暴曬獲得干燥的霉變玉米籽粒樣本。在恒定光源照射的條件下,搭建圖像采集裝置,完成了圖像采集工作。其中,玉米籽粒圖像采集裝置主要由排種器、限位開(kāi)關(guān)、傳送輪盤、工位、相機(jī)等硬件設(shè)備組成。工作時(shí),步進(jìn)電機(jī)驅(qū)動(dòng)傳送輪盤間歇運(yùn)動(dòng),當(dāng)傳送輪盤上的工位觸發(fā)限位開(kāi)關(guān),工位停止于排種口下方,排種器排出單粒玉米籽粒落入工位內(nèi),前序工位停止于相機(jī)正下方,相機(jī)拍攝工位內(nèi)的玉米籽粒,循環(huán)后不斷獲取圖像。獲得完好玉米籽粒圖像1 456張,破損玉米籽粒圖像1 160張,霉變玉米籽粒308張。玉米籽粒圖像采集流程如圖1所示。

圖1 玉米籽粒圖像采集過(guò)程

1.2 玉米籽粒圖像預(yù)處理

1.2.1 玉米籽粒圖像分割閾值確定

為確定玉米籽粒圖像分割的上、下邊界閾值,對(duì)RGB顏色模型圖像進(jìn)行模型轉(zhuǎn)換,獲得HSV顏色模型圖像。將H、S、V分量的各自最小值作為圖像分割閾值的下限值,其最大值作為圖像分割閾值的上限值。通過(guò)調(diào)整HSV顏色模型下圖像H、S、V分量大小,觀察玉米籽粒圖像分割效果,確保清晰分割出玉米籽粒整體輪廓,記錄下此時(shí)的閾值,最終設(shè)定下邊界閾值為[Hmin,Smin,Vmin]=[0,44,7],上邊界閾值為[Hmax,Smax,Vmax]=[36,255,255]。玉米籽粒圖像分割閾值的獲取流程如圖2所示,閾值分割效果如圖3所示。

圖2 圖像分割閾值的獲取

圖3 閾值分割效果

1.2.2 玉米籽粒圖像切片

為了建設(shè)一支高效廉潔的監(jiān)管隊(duì)伍，局黨組始終把黨風(fēng)廉政建設(shè)放在首位，突破性地開(kāi)創(chuàng)了黨風(fēng)廉政建設(shè)全程記實(shí)工作程序。3年來(lái)，全局受理行政許可申請(qǐng)5.8萬(wàn)余件，無(wú)一名干部職工發(fā)生違法違紀(jì)行為。局黨組把“不看文憑看水平、不看學(xué)歷看能力、不看年齡看本領(lǐng)”作為用人原則，努力培養(yǎng)各方面工作的業(yè)務(wù)尖子和復(fù)合型人才，帶動(dòng)了整個(gè)隊(duì)伍的風(fēng)清氣正，爭(zhēng)先創(chuàng)優(yōu)，以及執(zhí)法能力、執(zhí)法水平的穩(wěn)步提升。

玉米籽粒圖像切片處理流程如圖4所示。

圖4 玉米籽粒圖像切片流程

由玉米籽粒圖像可以發(fā)現(xiàn),圖像存在冗余信息多、目標(biāo)區(qū)域占比小、目標(biāo)位置不固定等問(wèn)題。為減少圖像中冗余信息對(duì)玉米籽粒圖像識(shí)別分類的干擾,并提高目標(biāo)區(qū)域在整張圖像中占比,提升模型的識(shí)別準(zhǔn)確率,采用如下方法對(duì)圖像進(jìn)行處理:首先,將原始圖像RGB顏色模型轉(zhuǎn)換為HSV模型,設(shè)置圖像分割閾值,獲取掩碼圖像,即低于下邊界閾值或高于上邊界閾值的像素值置為0,其余像素值全部置為255;然后,調(diào)用OpenCV庫(kù)函數(shù)對(duì)二值化圖像(掩碼圖像)提取輪廓并獲取玉米籽粒輪廓最小外接矩形(圖4中黃色矩形框)四個(gè)頂點(diǎn)坐標(biāo),即(Xmin,Y1),(X1,Ymax),(Xmax,Y2),(X2,Ymin);最后,在原始圖像上計(jì)算出裁剪矩形框(圖4中紅色矩形框)的頂點(diǎn)坐標(biāo),并進(jìn)行裁剪,獲得最終切片圖像。

1.3 數(shù)據(jù)集組成

通過(guò)相機(jī)采集的原始玉米籽粒圖像共2 924張,其中破損粒圖像1 160張,完好粒圖像1 456張,霉變粒圖像308張。為確保神經(jīng)網(wǎng)絡(luò)能正常進(jìn)行訓(xùn)練,得到可靠的訓(xùn)練數(shù)據(jù),數(shù)據(jù)集按7∶3劃分為訓(xùn)練集與驗(yàn)證集。同時(shí),設(shè)置對(duì)照數(shù)據(jù)集,將圖像切片處理作為變量,用于模型訓(xùn)練試驗(yàn)中對(duì)比評(píng)價(jià)圖像切片方法的效果。方案A使用原始數(shù)據(jù)集,由相機(jī)采集獲得;方案B訓(xùn)練集是由方案A訓(xùn)練集經(jīng)過(guò)圖像切片獲得。數(shù)據(jù)集組成如表1所示。

表1 數(shù)據(jù)集組成

2 GoogLeNet模型試驗(yàn)及分析

2.1 網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)介

GoogLeNet的創(chuàng)新在于提出并應(yīng)用了Inception模組(產(chǎn)生稠密數(shù)據(jù)的稀疏網(wǎng)絡(luò)結(jié)構(gòu)),其網(wǎng)絡(luò)結(jié)構(gòu)中包含了9個(gè)Inception模塊級(jí)聯(lián),均采用1×1、3×3、5×5不同大小的卷積核提取特征,獲得大小不同的感受野,最后通過(guò)并行操作,融合不同尺度的特征,增加了網(wǎng)絡(luò)的深度和寬度,同時(shí),為避免通道數(shù)快速增長(zhǎng),加入1×1的卷積核實(shí)現(xiàn)降維。Inception模組網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 Inception模組結(jié)構(gòu)

2.2 模型試驗(yàn)及分析

2.2.1 試驗(yàn)環(huán)境

本試驗(yàn)采用Pytorch深度學(xué)習(xí)框架,Python作為編程語(yǔ)言,在PyCharm編程環(huán)境中運(yùn)行相關(guān)程序訓(xùn)練網(wǎng)絡(luò)模型;硬件方面,工作臺(tái)搭載Intel(R) Core(TM) i9-8950HK CPU@2.90GHz處理器,顯卡為NVIDIA Quadro P4200。

2.2.2 訓(xùn)練試驗(yàn)與分析

訓(xùn)練時(shí)采用定學(xué)習(xí)率方式,設(shè)置學(xué)習(xí)率為0.001,批尺寸大小為32,將交叉熵?fù)p失函數(shù)(Cross Entropy Loss)作為誤差計(jì)算函數(shù),選用SGD優(yōu)化器,采用隨機(jī)梯度下降算法,動(dòng)量參數(shù)設(shè)置momentum為0.9,迭代輪數(shù)設(shè)置為150。在同一試驗(yàn)環(huán)境下,設(shè)置相同超參數(shù),使用訓(xùn)練方案A與方案B,分別訓(xùn)練GoogLeNet。訓(xùn)練曲線如圖6和圖7所示。

圖6 訓(xùn)練集準(zhǔn)確率曲線

圖7 驗(yàn)證集準(zhǔn)確率曲線

由圖6可知,兩種方案的訓(xùn)練準(zhǔn)確率最終均趨近于1,但方案B的訓(xùn)練準(zhǔn)確率收斂速度快于方案A,且震蕩幅度較小,相較于方案A更快、更平穩(wěn)地趨近于1。由圖7可以看出,使用方案B訓(xùn)練的GoogLeNet相較于方案A,其驗(yàn)證集準(zhǔn)確率收斂時(shí)更加平穩(wěn),并且獲得較高的準(zhǔn)確率。表2為GoogLeNet不同訓(xùn)練方案對(duì)應(yīng)驗(yàn)證集準(zhǔn)確率與玉米籽粒識(shí)別準(zhǔn)確率。

表2 驗(yàn)證集準(zhǔn)確率與各類別識(shí)別準(zhǔn)確率

由表2可知,由訓(xùn)練方案B獲得的GoogLeNet模型相較于方案A,其性能得到全面提升,訓(xùn)練方案B相較于方案A在驗(yàn)證集準(zhǔn)確率上提高了7.99%,在破損粒、完好粒、霉變粒的辨識(shí)結(jié)果中,其準(zhǔn)確率分別提升了17.56%、2.07%、1.08%。

2.2.3 討論

在模型的訓(xùn)練試驗(yàn)中發(fā)現(xiàn),未經(jīng)切片處理的破損粒識(shí)別準(zhǔn)確率遠(yuǎn)低于霉變粒識(shí)別準(zhǔn)確率,切片處理后的破損粒與霉變粒識(shí)別準(zhǔn)確率仍存在一定差距,分析主要存在以下可能原因。

1) 霉變粒與完好粒、破損粒的顏色特征差異性較大,識(shí)別霉變粒相對(duì)容易,模型不易出現(xiàn)誤判,主要影響其識(shí)別準(zhǔn)確率的因素是成像環(huán)境中冗余信息的干擾。

2) 識(shí)別未經(jīng)切片處理的破損粒圖像主要存在兩個(gè)影響其識(shí)別準(zhǔn)確率的因素,一是破損粒自身特征相較于完好粒的特征區(qū)別不明顯,識(shí)別其本身具有一定難度;二是成像環(huán)境中存在一些無(wú)關(guān)特征,會(huì)影響網(wǎng)絡(luò)對(duì)玉米籽粒有效特征的提取。

經(jīng)切片處理后的圖像,主要是排除了成像環(huán)境的影響因素,但區(qū)分破損粒與完好粒相似特征的問(wèn)題并未得到完全解決,因此,破損粒與霉變粒的識(shí)別準(zhǔn)確率都有不同程度的提升,但仍然存在一定差距。進(jìn)一步提升破損粒的識(shí)別率,需擴(kuò)充或增強(qiáng)訓(xùn)練集,使網(wǎng)絡(luò)充分學(xué)習(xí)特征;或優(yōu)化改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu),提升網(wǎng)絡(luò)對(duì)破損粒特征的提取能力。

3 Grad-CAM可視化分析

為進(jìn)一步驗(yàn)證本文所提出的玉米籽粒圖像切片方法有利于GoogLeNet提取玉米籽粒關(guān)鍵特征,引入Grad-CAM可視化方法對(duì)GoogLeNet提取的玉米籽粒特征進(jìn)行可視化解釋,在網(wǎng)絡(luò)結(jié)構(gòu)中前三層卷積層與inception5b模塊后分別使用Grad-CAM可視化方法,即先計(jì)算目標(biāo)層梯度,計(jì)算每一張?zhí)卣鲌D的均值,再取出目標(biāo)層的激活值與均值相乘,根據(jù)加權(quán)結(jié)果繪制出熱力圖,與原圖重疊后,可以根據(jù)顏色深淺來(lái)判定模型的感興趣區(qū)域,顏色越深的位置,代表模型在此位置的注意力越集中,越關(guān)注此區(qū)域的特征。

在訓(xùn)練方案A與方案B的驗(yàn)證集中抽取的3類玉米籽粒圖像,其中每類圖像抽取兩張,分別對(duì)其加載由兩種訓(xùn)練方案獲得的兩組GoogLeNet權(quán)重文件,并在目標(biāo)層使用Grad-CAM可視化方法。各層的可視化結(jié)果如圖8、圖9所示。

圖8 模型A可視化結(jié)果

圖9 模型B可視化結(jié)果

由圖8可知,前3層卷積層的熱力圖顏色變化不均勻,且inception5b層的熱力圖深色區(qū)域并非完全與玉米籽粒所在位置重合,甚至存在完全不重合的情況,表明模型A提取有效特征的能力較差,受到圖像冗余信息干擾大,關(guān)注區(qū)域較為分散,可解釋模型A驗(yàn)證集準(zhǔn)確率較低。由圖9可知,各卷積層的熱力圖深色區(qū)域均集中在玉米籽粒輪廓或霉斑位置,說(shuō)明該模型所提取的特征與預(yù)期特征一致,表明使用本文提出的圖像切片處理方法處理數(shù)據(jù)集,經(jīng)過(guò)訓(xùn)練后得到的模型B,在各卷積層都能夠提取到有效的特征,關(guān)注區(qū)域均集中在玉米籽粒所在區(qū)域,這也是模型B相較于模型A在驗(yàn)證集上準(zhǔn)確率較高的原因,同時(shí)也驗(yàn)證了本文提出的玉米籽粒圖像切片方法有助于GoogLeNet提取玉米籽粒的有效特征,減少了無(wú)效特征的干擾。

4 結(jié)論

訓(xùn)練試驗(yàn)中設(shè)置了相同學(xué)習(xí)率、損失函數(shù)和優(yōu)化器,并設(shè)置同樣的批尺寸和迭代次數(shù),使用未經(jīng)切片處理的訓(xùn)練方案A與切片處理的訓(xùn)練方案B訓(xùn)練GoogLeNet,對(duì)比兩組方案的驗(yàn)證集準(zhǔn)確率。

1) 使用圖像切片處理的玉米籽粒數(shù)據(jù)集,訓(xùn)練后獲得的網(wǎng)絡(luò)模型在其驗(yàn)證集準(zhǔn)確率上可達(dá)到93.74%,相較于未經(jīng)圖像處理獲得的網(wǎng)絡(luò)模型提升了7.99%,且在破損粒、完好粒、霉變粒辨識(shí)中準(zhǔn)確率有全面的提高,分別達(dá)到90.18%、95.16%和100%。

2) 經(jīng)過(guò)圖像切片處理的模型,對(duì)玉米籽粒關(guān)鍵特征的注意力更加集中,受目標(biāo)區(qū)域外的特征干擾較小,本文提出的玉米籽粒圖像切片方法可克服復(fù)雜背景的干擾,有助于GoogLeNet提取玉米籽粒關(guān)鍵特征,可有效提高破損及霉變玉米籽粒的辨識(shí)精度。