宋懷波 王云飛 段援朝 宋 磊 韓夢(mèng)璇
(1.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院,陜西楊凌 712100;2.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室,陜西楊凌 712100)
千粒質(zhì)量是小麥產(chǎn)量預(yù)估的重要指標(biāo),小麥籽粒的精確檢測(cè)是其重要內(nèi)容。同時(shí),籽粒檢測(cè)可為小麥育種、表型分析、破損及霉變籽粒分選等提供重要支撐。利用人工方法進(jìn)行小麥籽粒檢測(cè)費(fèi)時(shí)費(fèi)力,而機(jī)器視覺(jué)方法因其具有高效、快速等特點(diǎn),已成為小麥籽粒檢測(cè)的首選方法[1-4],但小麥籽粒的粘連會(huì)造成檢測(cè)較大誤差,重度粘連會(huì)導(dǎo)致檢測(cè)精度急劇下降。如何實(shí)現(xiàn)重度粘連下小麥籽粒的精確檢測(cè)已成為相關(guān)研究的熱點(diǎn),越來(lái)越受到重視。
為了有效實(shí)現(xiàn)粘連小麥籽粒的檢測(cè),部分學(xué)者通過(guò)設(shè)計(jì)特征提取算法對(duì)圖像進(jìn)行分割,將籽粒與背景分開(kāi)[5-7]。該過(guò)程使用的主要圖像處理算法包括大津法[8]、腐蝕膨脹算法[9]、分水嶺算法[10-12]、小波分析法[13]等。LIU等[14]對(duì)原始小麥籽粒圖像使用大津法獲得二值圖像,利用籽粒與背景像素分布特點(diǎn)分割粘連籽粒,其算法單幅圖像檢測(cè)時(shí)間最大為1 s,最大錯(cuò)誤率為2.10%,檢測(cè)效果較好。馮麗娟等[15]對(duì)圖像提取籽粒顏色、形態(tài)、紋理特征并利用稀疏表示方法進(jìn)行檢測(cè),算法平均識(shí)別準(zhǔn)確率為96.70%,但在相似品種間易發(fā)生誤檢現(xiàn)象。張恒敢等[16]對(duì)圖像二值化處理后采用腐蝕膨脹算法實(shí)現(xiàn)了粘連籽粒的分割,算法平均識(shí)別準(zhǔn)確率為98.83%,但外界環(huán)境光源的變化會(huì)對(duì)識(shí)別率造成一定影響。上述方法均需手動(dòng)設(shè)計(jì)特征,并依據(jù)目標(biāo)的變化而重新設(shè)計(jì)特征參數(shù),普適性有待改進(jìn)。
近年來(lái),一些學(xué)者利用機(jī)器學(xué)習(xí)的思想,通過(guò)模型訓(xùn)練自動(dòng)學(xué)習(xí)籽粒特征進(jìn)行檢測(cè)[17-19]。EBRAHIMI等[20]提出了針對(duì)小麥籽粒顏色、形態(tài)、紋理等特征的ICA-ANN網(wǎng)絡(luò)用于籽粒檢測(cè),準(zhǔn)確率為77.22%。樊超等[21]提取16個(gè)特征信息輸入自主設(shè)計(jì)的單隱層人工神經(jīng)網(wǎng)絡(luò),籽粒檢測(cè)的準(zhǔn)確率為93.13%。左衛(wèi)剛等[22]設(shè)計(jì)了適合于小麥籽粒分割的FFBP-ANN網(wǎng)絡(luò),分類準(zhǔn)確率為99.94%。祝詩(shī)平等[23]對(duì)比了LeNet、AlexNet、VGG、ResNet等4種卷積神經(jīng)網(wǎng)絡(luò),并采用檢測(cè)籽粒完整度準(zhǔn)確率最高的AlexNet網(wǎng)絡(luò)進(jìn)行籽粒檢測(cè),單粒識(shí)別耗時(shí)0.83 ms,平均準(zhǔn)確率為98.02%。WU等[24]利用Faster R-CNN模型進(jìn)行了小麥籽粒檢測(cè),其模型最大錯(cuò)誤率為3.02%,單幅圖像檢測(cè)時(shí)間最長(zhǎng)為2 s。相較于傳統(tǒng)的機(jī)器視覺(jué)算法,該類方法不需要手動(dòng)設(shè)計(jì)特征提取算法,僅需對(duì)神經(jīng)網(wǎng)絡(luò)的深度、寬度、結(jié)構(gòu)進(jìn)行設(shè)計(jì),通過(guò)訓(xùn)練得到神經(jīng)元的最佳特征提取參數(shù),泛化性更好。
YOLO v5作為YOLO系列的卷積神經(jīng)網(wǎng)絡(luò),具有檢測(cè)效率高、準(zhǔn)確率高、模型占用內(nèi)存小等特點(diǎn)[25-30],MDC模塊是針對(duì)傳統(tǒng)深度分離卷積模塊提出的混合深度分離卷積模塊,其融合多個(gè)卷積核于一個(gè)卷積操作中,在不損失模型精度的同時(shí)減少了模型參數(shù),同時(shí)其還融合了SE模塊,提高了特征圖的通道聯(lián)系[31]。本研究結(jié)合MDC模塊的優(yōu)點(diǎn),對(duì)YOLO v5網(wǎng)絡(luò)特征提取骨干部分予以改進(jìn),以使網(wǎng)絡(luò)參數(shù)減少,用于重度粘連小麥籽粒的檢測(cè)之中,以期為研發(fā)適合于移動(dòng)端的便攜式千粒質(zhì)量檢測(cè)設(shè)備奠定基礎(chǔ)。
本研究所用小麥為豫麥,包括矮抗58、汝麥0319、鄭麥7698等3個(gè)品種。圖像采集裝置如圖1a所示,由4部分構(gòu)成,包括1個(gè)升降平臺(tái)、1個(gè)攝像裝置、2個(gè)補(bǔ)光燈、1臺(tái)計(jì)算機(jī)。如圖1b所示,裝置底端到拍攝裝置距離為260 mm,升降平臺(tái)如圖1c所示,可升降高度范圍為45~220 mm,補(bǔ)光燈平行于拍攝裝置前后對(duì)稱安裝,以減少陰影的影響,數(shù)據(jù)采集時(shí)作為光源可提供波長(zhǎng)400~700 nm的光線,攝像裝置為華為Honor8x Max手機(jī)攝像頭,拍攝圖像分辨率為4 608像素×3 456像素。
圖1 圖像采集裝置Fig.1 Data acquisition device1、4.補(bǔ)光燈 2.拍攝裝置 3.升降平臺(tái)
傳統(tǒng)小麥籽粒分割算法多集中在對(duì)2~20粒粘連籽粒的分割上[5-16],對(duì)于更多粘連籽粒分割效果不佳,故而,本研究在借鑒前人研究結(jié)果的基礎(chǔ)上,以圖像局部區(qū)域包含2~10粒籽粒粘連定義為輕度粘連,局部區(qū)域包含11~20粒籽粒粘連定義為中度粘連,局部區(qū)域包含20粒以上籽粒粘連的定義為重度粘連。
為使模型學(xué)習(xí)到更多的粘連小麥籽粒特征,應(yīng)輸入盡可能多的小麥籽粒圖像進(jìn)行訓(xùn)練,同時(shí),圖像中應(yīng)包含小麥籽粒的輕度、中度、重度粘連情況。因此,實(shí)驗(yàn)時(shí)隨機(jī)選取一定數(shù)量的小麥籽粒撒在升降平臺(tái)上,通過(guò)輕微晃動(dòng)使小麥隨機(jī)分布,防止因人為意愿而產(chǎn)生單一粘連情況圖像。同時(shí),為探究光源和拍攝距離對(duì)檢測(cè)效果的影響,在拍攝時(shí)使用補(bǔ)光燈分別提供紅(波長(zhǎng)605~700 nm)、黃(波長(zhǎng)580~595 nm)、藍(lán)(波長(zhǎng)450~480 nm)、綠(波長(zhǎng)500~560 nm)4種光照環(huán)境,并通過(guò)調(diào)節(jié)升降平臺(tái)使攝像裝置在距離小麥籽粒5、10、15 cm,3種不同高度下拍攝原始圖像。最終獲取了3 942幅粘連小麥籽粒圖像,如圖2所示,圖像數(shù)據(jù)集數(shù)目統(tǒng)計(jì)見(jiàn)表1。
圖2 不同粘連程度圖像Fig.2 Images of different adhesive degrees
表1 小麥籽粒圖像數(shù)據(jù)集統(tǒng)計(jì)Tab.1 Statistics of wheat grain data set 幅
從粘連小麥籽粒圖像數(shù)據(jù)集中可以看出,每幅圖像包含隨機(jī)數(shù)量的籽粒,并且包含了輕度粘連、中度粘連、重度粘連等情況,如圖2所示(3幅圖中小麥粒數(shù)均為91粒),本研究所用數(shù)據(jù)集共包含輕度粘連圖像563幅,中度粘連圖像1 126幅,重度粘連圖像2 253幅。
如圖3所示,數(shù)據(jù)集同時(shí)還包含了3種拍攝距離、4種光照條件共12類小麥籽粒圖像。綜上,該數(shù)據(jù)集包含了較多的粘連小麥籽粒特征,可以有效地保證模型的訓(xùn)練學(xué)習(xí),增強(qiáng)模型的泛化性。
圖3 圖像數(shù)據(jù)集Fig.3 Image data set
對(duì)獲取的3 942幅小麥籽粒圖像,按照4∶1∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,測(cè)試集數(shù)目略高于驗(yàn)證集,最終訓(xùn)練集2 524幅圖像,驗(yàn)證集630幅圖像,測(cè)試集788幅圖像。訓(xùn)練集與驗(yàn)證集用于模型訓(xùn)練與單次訓(xùn)練結(jié)果的評(píng)估,測(cè)試集用于最終模型的檢測(cè)效果評(píng)估。
YOLO系列網(wǎng)絡(luò)模型為有監(jiān)督學(xué)習(xí)模型,訓(xùn)練中的教師信號(hào)為圖像中小麥籽粒的坐標(biāo)與類別,通過(guò)LabelImg軟件對(duì)數(shù)據(jù)集進(jìn)行人工標(biāo)注坐標(biāo)與類別,獲取與數(shù)據(jù)集圖像一一對(duì)應(yīng)的標(biāo)簽文件。YOLO網(wǎng)絡(luò)中數(shù)據(jù)增強(qiáng)過(guò)程如圖4所示,對(duì)圖像進(jìn)行隨機(jī)縮放、裁剪、排布的方式進(jìn)行拼接以豐富目標(biāo)與背景實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。
圖4 數(shù)據(jù)增強(qiáng)Fig.4 Data enhancement
YOLO v5網(wǎng)絡(luò)包括l、m、s、x共4個(gè)版本,不同版本間的區(qū)別在于模型深度,隨模型深度的增加進(jìn)行特征提取操作的次數(shù)越多,模型的參數(shù)也隨之增多,在增強(qiáng)圖像語(yǔ)義信息提取的同時(shí)會(huì)帶來(lái)較大的計(jì)算量。
本研究小麥籽粒為單一目標(biāo)且其個(gè)體在圖像中所占像素少,檢測(cè)的任務(wù)主要在于其坐標(biāo)信息而非類別信息,因而選取淺層模型有助于提升檢測(cè)速度。本研究選用YOLO v5s網(wǎng)絡(luò)模型為原始檢測(cè)模型,為減少計(jì)算量,將原始圖像壓縮到640像素×640像素并輸入網(wǎng)絡(luò),同時(shí)為加快訓(xùn)練速度,模型參數(shù)設(shè)置為網(wǎng)絡(luò)在擁有1 000萬(wàn)幅圖像的ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練后的權(quán)重,進(jìn)行微調(diào)訓(xùn)練。
網(wǎng)絡(luò)的特征提取模塊結(jié)構(gòu)如圖5所示,其中:CBH模塊對(duì)輸入特征圖進(jìn)行卷積后歸一化再經(jīng)過(guò)激活函數(shù)處理后輸出,是網(wǎng)絡(luò)的基礎(chǔ)模塊。Bottle neck模塊對(duì)輸入特征圖進(jìn)行兩次CBH操作后與初始輸入特征圖疊加后再輸出,起到融合不同深度特征信息的作用。Cross Stage Partial模塊(CSP)的作用為提高模型的特征提取能力,CSP1_1模塊用于特征提取骨干部分,其將輸入特征圖經(jīng)過(guò)CBH、Bottle neck、卷積操作后與原始特征圖卷積后的輸出進(jìn)行通道疊加,再經(jīng)過(guò)歸一化、激活函數(shù)、CBH操作后輸出。CSP2_1模塊用于預(yù)測(cè),其與CSP1_1的區(qū)別在于將Bottle neck模塊替換為CBH模塊。
圖5 特征提取模塊結(jié)構(gòu)圖Fig.5 Structure diagram of feature extraction module
本研究的主要模型改進(jìn)如下:
(1)已有研究表明,特征提取時(shí)使用不同大小卷積核可以提高模型訓(xùn)練效果,并提出了混合深度可分離卷積(Mixed depthwise convolutional,MDC)[31],其過(guò)程如圖6所示,其中,H1、W1、Channel 1分別為輸入特征圖的高、寬和通道數(shù),H2、W2、Channel 2分別為輸出特征圖的高、寬和通道數(shù),K×K表示卷積核尺寸。本研究將普通卷積替換為混合深度可分離卷積,將輸入特征圖通道分為多個(gè)部分使用不同卷積核對(duì)其進(jìn)行卷積操作,極大地降低了模型參數(shù)。
圖6 混合深度可分離卷積與普通卷積對(duì)比Fig.6 Comparisons of MDC and ordinary convolution
(2)在混合深度可分離卷積的基礎(chǔ)上結(jié)合其他特征提取模塊構(gòu)造MDC模塊,結(jié)構(gòu)如圖7所示,其對(duì)輸入特征圖進(jìn)行了CBR、Mixed depthwise block(MdBlock)、SE、卷積歸一化(CB)操作。與CBH模塊不同,CBR模塊使用ReLU6激活函數(shù)以提高模型特征提取能力。MdBlock對(duì)輸入特征圖進(jìn)行混合深度可分離卷積、歸一化、ReLU6激活函數(shù)操作后輸出,達(dá)到提高模型特征提取能力的目的。
圖7 MDC模塊結(jié)構(gòu)Fig.7 MDC module structure
(3)SE模塊過(guò)程如圖8所示,H3、W3、Channel 3分別為輸入特征圖高、寬和通道數(shù),H4、W4、Channel 4分別為輸出特征圖高、寬和通道數(shù),其對(duì)輸入特征圖通過(guò)池化操作得到各層通道的權(quán)重,對(duì)各層通道乘以對(duì)應(yīng)權(quán)重,增強(qiáng)了特征圖的通道相關(guān)性。CB模塊用于增強(qiáng)特征提取能力。
圖8 SE模塊結(jié)構(gòu)Fig.8 SE module structure
網(wǎng)絡(luò)的最終結(jié)構(gòu)如圖9所示,通過(guò)串聯(lián)多個(gè)特征提取模塊提取圖像特征,在網(wǎng)絡(luò)的預(yù)測(cè)輸出部分,通過(guò)上采樣操作將深層特征圖放大至淺層特征圖尺寸并與其進(jìn)行融合,疊加了深層分類信息與淺層坐標(biāo)信息,選取網(wǎng)絡(luò)中3種不同尺寸特征圖用于預(yù)測(cè)大、中、小目標(biāo)位置與類別。最終修改后的模型,相對(duì)于原始網(wǎng)絡(luò)減少了3.69×105個(gè)訓(xùn)練參數(shù)。
圖9 網(wǎng)絡(luò)結(jié)構(gòu)Fig.9 Network structure
訓(xùn)練流程如圖10所示,在每步訓(xùn)練中原始圖像和標(biāo)簽文件同時(shí)輸入,原始圖像經(jīng)過(guò)模型預(yù)測(cè)后數(shù)據(jù)與標(biāo)簽計(jì)算得到損失值,再反傳回模型優(yōu)化權(quán)重參數(shù),經(jīng)過(guò)多步訓(xùn)練降低損失值,增強(qiáng)檢測(cè)性能。最終模型在測(cè)試集上測(cè)試得到實(shí)驗(yàn)結(jié)果。
圖10 訓(xùn)練流程圖Fig.10 Training flow chart
網(wǎng)絡(luò)模型以Python 3.8編程語(yǔ)言實(shí)現(xiàn),軟件平臺(tái)為PyCharm,采用Pytorch框架。CPU為Intel Core i3-4160,擁有雙核四線程,最大頻率為3.6 GHz,顯卡為Quadro P2000,擁有1 024個(gè)CUDA核心用于模型的加速訓(xùn)練,內(nèi)存12 GB,主板為華碩B85M-F,Windows 10系統(tǒng)。
為評(píng)估訓(xùn)練所得模型的檢測(cè)效果,選取平均精度均值(mAP)、精確率P、召回率R作為網(wǎng)絡(luò)學(xué)習(xí)的評(píng)價(jià)指標(biāo)。置信度作為檢測(cè)效果的評(píng)價(jià)指標(biāo),置信度使用Softmax函數(shù)計(jì)算,在0~100%之間,代表單個(gè)籽粒檢測(cè)準(zhǔn)確性,越接近于1表明檢測(cè)結(jié)果越準(zhǔn)確。
P表示小麥籽粒的個(gè)數(shù)在所識(shí)別目標(biāo)中所占比率,R表示在所有小麥籽粒中被識(shí)別出來(lái)的比率。這兩個(gè)指標(biāo)值越高,表明訓(xùn)練所得模型檢測(cè)性能越好。mAP為精確率-召回率曲線與坐標(biāo)軸圍成的面積,其值越大則檢測(cè)效果越好。
2.3.1訓(xùn)練結(jié)果
本文網(wǎng)絡(luò)的訓(xùn)練結(jié)果如圖11所示,經(jīng)過(guò)500次訓(xùn)練,損失值降至0.04,最終模型的精確率為93.15%,召回率為99.96%,mAP(重疊率為0.5)為99.46%。從訓(xùn)練結(jié)果可看出,該模型精確率、召回率較高,損失值較低,實(shí)現(xiàn)了收斂。
圖11 訓(xùn)練結(jié)果Fig.11 Training results
2.3.2檢測(cè)效果
2.3.2.1不同粘連程度時(shí)的檢測(cè)效果
在黃色光源、拍攝高度為5 cm、籽粒個(gè)數(shù)均為91個(gè)的條件下,隨機(jī)選取輕度粘連、中度粘連、重度粘連圖像各1幅輸入最終模型,檢測(cè)效果如圖12所示,3幅圖像均無(wú)漏檢情況發(fā)生,并且對(duì)于重度粘連的小麥籽粒檢測(cè)置信度均在85%以上。
圖12 不同粘連程度時(shí)的檢測(cè)效果Fig.12 Detection effects under different degrees of adhesion
2.3.2.2不同光源時(shí)的檢測(cè)效果
在拍攝高度5 cm、籽粒個(gè)數(shù)均為100個(gè)的重度粘連情況下,在紅、黃、藍(lán)、綠4種光照條件下隨機(jī)各選取1幅圖像輸入最終模型,檢測(cè)效果如圖13所示,4幅圖像中小麥籽粒均無(wú)漏檢情況發(fā)生,目標(biāo)檢測(cè)置信度均在80%以上,模型均取得了較好的檢測(cè)效果。
圖13 不同光源時(shí)檢測(cè)效果Fig.13 Detection effects under different light sources
2.3.2.3不同拍攝高度時(shí)的檢測(cè)效果
在黃色光源、均為重度粘連、籽粒個(gè)數(shù)均為90個(gè)的情況下,選取在5、10、15 cm 3種拍攝高度下的圖像輸入網(wǎng)絡(luò)中,檢測(cè)結(jié)果如圖14所示,拍攝高度5 cm的圖像檢測(cè)效果最好,置信度均在90%以上;拍攝高度10 cm的圖像無(wú)漏檢情況,此時(shí)檢測(cè)置信度均在85%以上,較5 cm高度時(shí)的效果略差;拍攝高度15 cm的圖像存在個(gè)別籽粒的漏檢現(xiàn)象,如圖14c圈出位置所示,雖然存在漏檢現(xiàn)象,但此時(shí)的籽粒檢測(cè)置信度仍然在80%以上,表明本文算法在不同拍攝高度時(shí)均具有較好的檢測(cè)效果。
圖14 不同拍攝高度時(shí)的檢測(cè)效果Fig.14 Detection effects at different shooting heights
2.3.3籽粒數(shù)量對(duì)檢測(cè)準(zhǔn)確性的影響
從測(cè)試集中選取不同籽粒個(gè)數(shù)圖像進(jìn)行準(zhǔn)確性檢測(cè),各幅圖像中包含籽粒數(shù)在0~350之間,對(duì)各幅圖像中小麥籽粒個(gè)數(shù)以及輸入模型后的預(yù)測(cè)個(gè)數(shù)進(jìn)行統(tǒng)計(jì),分析不同規(guī)模小麥籽粒檢測(cè)效果,結(jié)果如圖15所示。當(dāng)籽粒個(gè)數(shù)在100粒以內(nèi)時(shí),沒(méi)有發(fā)生漏檢情況,當(dāng)籽粒個(gè)數(shù)在100~200粒時(shí),出現(xiàn)輕微漏檢,最大漏檢數(shù)為3個(gè),當(dāng)籽粒個(gè)數(shù)在200~300粒時(shí),出現(xiàn)較為嚴(yán)重的漏檢,最大漏檢數(shù)為9個(gè),當(dāng)籽粒個(gè)數(shù)大于300粒時(shí)出現(xiàn)較大誤差。
圖15 不同籽粒個(gè)數(shù)檢測(cè)準(zhǔn)確性Fig.15 Accuracy of different grain sizes detection
2.3.4不同籽粒規(guī)模檢測(cè)時(shí)間
不同籽粒規(guī)模圖像檢測(cè)時(shí)間如圖16所示,對(duì)于單幅圖像平均檢測(cè)時(shí)間為0.03 s,最大檢測(cè)時(shí)間為0.08 s。
圖16 不同籽粒規(guī)模檢測(cè)時(shí)間Fig.16 Detection time of different grain sizes
由實(shí)驗(yàn)結(jié)果可以看出,所訓(xùn)練模型對(duì)重度粘連小麥籽粒具有較好的檢測(cè)效果,同時(shí)發(fā)現(xiàn),不同拍攝高度、不同光源環(huán)境對(duì)圖像檢測(cè)結(jié)果具有一定的影響,通過(guò)對(duì)其分析進(jìn)行了討論。同時(shí),探究了網(wǎng)絡(luò)訓(xùn)練次數(shù)的影響以及不同算法的對(duì)比。
為驗(yàn)證網(wǎng)絡(luò)訓(xùn)練次數(shù)及不同檢測(cè)算法是否對(duì)檢測(cè)效果有影響,將模型訓(xùn)練次數(shù)由500次降低為50次并在相同條件下與其他檢測(cè)網(wǎng)絡(luò)進(jìn)行了對(duì)比,對(duì)照網(wǎng)絡(luò)為YOLO v5s、RetinaNet和YOLO v4,評(píng)估指標(biāo)為最終訓(xùn)練模型的精確率P、檢測(cè)時(shí)間t以及模型所占內(nèi)存,結(jié)果如表2所示。
表2 不同檢測(cè)算法對(duì)比Tab.2 Comparison of different detection algorithms
從表2可看出,減少模型訓(xùn)練次數(shù)至50次,模型的精度相較于模型迭代500次下降了4.74個(gè)百分點(diǎn),由此可見(jiàn)特征學(xué)習(xí)次數(shù)對(duì)模型效果的提升有較大影響。同時(shí)通過(guò)對(duì)比,本文所改進(jìn)網(wǎng)絡(luò)在模型所占內(nèi)存和檢測(cè)時(shí)間上均為最優(yōu)。
對(duì)比YOLO v5-MDC模型與YOLO v5s模型,二者mAP均高于99%,能夠滿足檢測(cè)任務(wù)需要;YOLO v5-MDC平均檢測(cè)時(shí)間為30 ms,YOLO v5s為40 ms,改進(jìn)模型檢測(cè)速度更快;YOLO v5-MDC所占空間為13.4 MB,比原始模型減小了0.6 MB。本研究經(jīng)過(guò)實(shí)驗(yàn),證明了MDC模塊在模型輕量化上的作用,對(duì)于常規(guī)的卷積、池化、激活函數(shù)結(jié)構(gòu)均可以考慮使用MDC結(jié)構(gòu)進(jìn)行替換以使模型輕量化。
對(duì)于開(kāi)發(fā)小麥籽粒檢測(cè)嵌入式設(shè)備,需要考慮模型的可移植性、檢測(cè)效率以及準(zhǔn)確度,受到嵌入式設(shè)備芯片算力的影響,其模型加載與模型檢測(cè)時(shí)間更長(zhǎng)。而本研究提出的YOLO v5-MDC網(wǎng)絡(luò),有效解決了大規(guī)模籽粒檢測(cè)中重度粘連小麥籽粒的檢測(cè)問(wèn)題,并且其所占空間小,檢測(cè)速度快,可為嵌入式設(shè)備開(kāi)發(fā)提供技術(shù)支持。
為驗(yàn)證因圖像拍攝距離而導(dǎo)致的目標(biāo)像素尺寸不同是否會(huì)對(duì)檢測(cè)結(jié)果有影響,在黃色光源、相同籽粒個(gè)數(shù)(分別為40、80、120、160、200粒)、均為重度粘連條件下,僅改變輸入圖像拍攝距離這一變量進(jìn)行測(cè)試,結(jié)果如表3所示。從表3可以看出,隨著拍攝高度的增加,小麥籽粒在圖像中所占像素減少,精確率隨之下降。
表3 不同拍攝高度的檢測(cè)效果Tab.3 Detection effect of different shooting heights
為驗(yàn)證不同光源是否對(duì)檢測(cè)結(jié)果有影響,在拍攝高度均為5 cm、相同籽粒個(gè)數(shù)(分別為40、80、120、160、200粒)、均為重度粘連條件下,僅改變光源進(jìn)行檢測(cè),結(jié)果如表4所示。從表4可以看出,綠色光源檢測(cè)平均精確率最高,為98.00%,黃色光源為97.80%,藍(lán)色光源為97.20%,紅色光源下檢測(cè)效果最差,平均準(zhǔn)確率為96.20%,可見(jiàn),綠色光源更適宜作為檢測(cè)光源。
表4 不同光源的檢測(cè)效果Tab.4 Detection effect of different light sources
(1)最終訓(xùn)練完成的模型精確率P為93.15%,召回率R為99.96%,平均精度均值(重疊率為0.5)為99.45%,單幅圖像平均檢測(cè)時(shí)間為0.03 s,最大檢測(cè)耗時(shí)0.08 s,取得了較好的檢測(cè)效果與泛化特性,并且模型所占內(nèi)存僅為13.4 MB,易于移植。
(2)在實(shí)驗(yàn)過(guò)程中,針對(duì)算法出現(xiàn)檢測(cè)精確率下降這一現(xiàn)象進(jìn)行了原因分析,最終驗(yàn)證模型的檢測(cè)效果受訓(xùn)練次數(shù)、圖像拍攝距離以及光源的影響,結(jié)果表明訓(xùn)練次數(shù)越多,模型檢測(cè)效果越好;在拍攝高度5 cm時(shí)檢測(cè)效果最佳,平均檢測(cè)精確率為98.60%;綠色光源更適合于進(jìn)行小麥籽粒的檢測(cè),檢測(cè)精確率為98.00%。