摘要:針對目前咖啡豆存在分級困難、識別準(zhǔn)確率低的問題,提出一種融合注意力機(jī)制的ShuffleNet V1咖啡豆分級模型(ECA—ShuffleNet MLP)。模型以ShuffleNet V1為主干網(wǎng)絡(luò),刪去輸入層的最大池化層,在ShuffleNet Unit第二個(gè)普通卷積后加入ECA注意力機(jī)制,同時(shí)添加一個(gè)多層感知器模塊(MLP)作為分類頭,并采用Fusion Loss作為損失函數(shù)。相比AlexNet、VGG16、 MobileNet V1、MobileNet V2、ResNet34和ResNet50模型,在自建咖啡豆數(shù)據(jù)集上的試驗(yàn)結(jié)果表明:ECA—ShuffleNe MLP模型的咖啡豆分級平均準(zhǔn)確率為97.84%,分別提高8.49、5.41、3.85、2.71、4.16和3.20個(gè)百分點(diǎn)。在公開咖啡豆數(shù)據(jù)集上的試驗(yàn)結(jié)果表明:ECA—ShuffleNet MLP模型分級平均準(zhǔn)確率分別提高3.75、1.00、10.00、2.75、0.08和1.25個(gè)百分點(diǎn)。在自制咖啡豆分級分揀試驗(yàn)平臺上的試驗(yàn)結(jié)果表明:當(dāng)輸送帶運(yùn)行速度為50 mm/s時(shí),識別準(zhǔn)確率和抓取成功率為84.00%和82.67%。ECA—ShuffleNet MLP模型具有分級準(zhǔn)確率高和模型輕量化的優(yōu)點(diǎn),易于部署在硬件設(shè)備上,具有較好的泛用性。
關(guān)鍵詞:咖啡豆;深度學(xué)習(xí);分級;注意力機(jī)制;多層感知器
中圖分類號:TP391.41; TS273; S571.2" " " 文獻(xiàn)標(biāo)識碼:A" " " 文章編號:2095?5553 (2025) 04?0194?10
Research on coffee beans grading based on the improved ShuffleNet V1
Zhao Yuqing Jiao Yujie Li Hong Wang Tianyun Li Jiashun Zhang Yue
(1. Faculty of Mechanical and Electrical Engineering, Yunnan Agricultural University, Kunming, 650201, China;
2. Faculty of Transportation Engineering, Kunming University of Science and Technology, Kunming, 650093, China;
3. Yunnan Key Laboratory of Coffee, Kunming, 650201, China; 4. Key Laboratory for Crop Production and Smart Agriculture of Yunnan Province, Kunming, 650201, China; 5. College of Big Data, Yunnan Agricultural University, Kunming, 650201, China)
Abstract: Aiming at the current problems of grading difficulties and low recognition accuracy of coffee beans, a ShuffleNet V1 coffee bean grading model (ECA—ShuffleNet MLP) incorporating attention mechanism is proposed. The ECA—ShuffleNet MLP model uses ShuffleNet V1 as the backbone network, deletes the maximum pooling layer in the input layer, adds the efficient channel attention (ECA) mechanism after the second ordinary convolution of the ShuffleNet Unit, and finally adds a multi?layer perceptron module (MLP) as a classification head and Fusion Loss as a loss function. The experimental results on the self?constructed coffee bean dataset show that the average accuracy of the ECA—ShuffleNe MLP model for grading coffee beans was 97.84%, which compared to the AlexNet, VGG16, MobileNet V1, MobileNet V2, ResNet34, and ResNet50 models, improved by 8.49, 5.41, 3.85, 2.71, 4.16, and 3.20 percentage points. Experimental results on the publicly available coffee bean dataset show that compared to the above models, the ECA—ShuffleNet MLP model graded average accuracy improved by 3.75, 1.00, 10.00, 2.75, 0.08, and 1.25 percentage points. The experimental results on the homemade coffee bean grading and sorting test platform show that the recognition accuracy and grasping success rate are 84.00% and 82.67% when the conveyor belt running speed is 50 mm/s. The ECA—ShuffleNet MLP model has a good grading accuracy and light weight, and it is easy to be deployed on hardware devices with good generalizability.
Keywords: coffee beans; deep learning; grading; efficient channel attention; multi?layer perceptron
0 引言
咖啡是云南重要的支柱產(chǎn)業(yè)[1],也是咖啡主產(chǎn)區(qū)農(nóng)戶的主要經(jīng)濟(jì)來源之一[2]。2023年,云南省咖啡種植面積約80 khm2,占全國的98%,總產(chǎn)量146 kt,但咖啡精品化率僅22.70%。為推動(dòng)咖啡產(chǎn)業(yè)高質(zhì)量發(fā)展,急需提高精品咖啡率和咖啡精深加工率,咖啡豆的分選是實(shí)現(xiàn)上述目標(biāo)的重要手段之一。目前常用的咖啡豆分選法有人工和機(jī)械兩種。人工分選存在分選效率低、主觀性強(qiáng)[3]的問題,而機(jī)械化分選易產(chǎn)生破損豆[4]。為解決上述問題,需要一種智能、高效、低損的分級檢測技術(shù),提高云南咖啡豆精品率、精深加工率,提升咖農(nóng)的經(jīng)濟(jì)效益。
智能分級檢測方法一般采用人工選擇咖啡豆特征來構(gòu)建分級模型,具有較強(qiáng)的主觀性。如Pizzaia等[5]在特征提取后使用多層感知器(MLP)神經(jīng)網(wǎng)絡(luò)對阿拉比卡咖啡樣本進(jìn)行分類。Subramanian等[6]集成Arduino Mega板實(shí)現(xiàn)圖像處理和機(jī)器學(xué)習(xí)技術(shù),運(yùn)用K—近鄰算法來確定咖啡豆品質(zhì)和缺陷類型。Waliyansyah等[7]對圖像進(jìn)行數(shù)字處理之后提取出4種不同的特征,并對不同咖啡分類模型進(jìn)行評估,使用支持向量機(jī)(SVM)得到的分類結(jié)果最好。趙玉清等[8]采用機(jī)器視覺技術(shù)提取3類特征,使用SVM進(jìn)行缺陷分級,準(zhǔn)確度達(dá)84.9%。但是,上述智能檢測方法過于依賴人工選擇特征,主觀性較強(qiáng)。
深度學(xué)習(xí)技術(shù)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域,側(cè)重于用神經(jīng)網(wǎng)絡(luò)模型來表示數(shù)據(jù),具有可自動(dòng)學(xué)習(xí)、靈活性高的優(yōu)點(diǎn)[9]。將深度學(xué)習(xí)與圖像處理技術(shù)結(jié)合,可以實(shí)現(xiàn)對咖啡豆的分級檢測,并且不損傷咖啡豆樣品[10, 11]。Chang等[12, 13]提出了一種基于深度學(xué)習(xí)的缺陷豆識別方案(DL—DBIS),準(zhǔn)確率為80%;另外提出了一種用于咖啡豆缺陷檢測的多尺度缺陷檢測深度學(xué)習(xí)模型,識別準(zhǔn)確率達(dá)96%。上述檢測方法應(yīng)用深度學(xué)習(xí)理論對咖啡豆進(jìn)行識別和分類,通過不斷迭代自主學(xué)習(xí),自動(dòng)提取特征,省去了人工特征選擇環(huán)節(jié)[14]。但是這些模型都只應(yīng)用于咖啡分級或缺陷檢測,沒有將其結(jié)合起來。
此外一些研究者將注意力機(jī)制引入到農(nóng)業(yè)應(yīng)用的分級模型中,廣泛應(yīng)用的是通道注意力機(jī)制(CAM),如ECA注意力機(jī)制[15]、SE注意力機(jī)制(SENet)[16]、CA注意力機(jī)制[17]等。周春欣等[18]將ECA嵌入ResNet34主干網(wǎng)絡(luò)和特征金字塔(FPN)的輸出端,提出的大豆檢測模型準(zhǔn)確率達(dá)97.39%。劉莫塵等[19]將CBAM注意力機(jī)制(CBAM)模塊和Slim—neck模塊引入YOLOv8—Pose中,對紅熟期的草莓識別精確率達(dá)98.14%。研究者又將其引入咖啡分級領(lǐng)域中,張成堯等[20]研究出一種基于YOLOv5的CBAM注意力咖啡瑕疵豆檢測方法,單粒識別準(zhǔn)確率達(dá)99%。紀(jì)元浩等[21]將注意力機(jī)制和深度可分離卷積融入ResNet50咖啡缺陷檢測模型中,模型準(zhǔn)確率達(dá)91.1%。注意力機(jī)制的引入提高了模型的魯棒性和泛用性。
為找到適合嵌入式設(shè)備的模型,研究者開始研發(fā)規(guī)模小、性能好、響應(yīng)快的模型,相繼提出各種輕量級架構(gòu)[22],如ShuffleNet、MobileNet等。國內(nèi)有研究者將改進(jìn)后的輕量型模型應(yīng)用于農(nóng)業(yè)領(lǐng)域,如葉建華等[23]使用改進(jìn)MobileNet輕量級檢測網(wǎng)絡(luò)對咖啡豆進(jìn)行缺陷檢測,平均準(zhǔn)確率達(dá)96.13%。王志強(qiáng)等[24]引入多尺度特征融合模塊和CA注意力機(jī)制到MobileNet V2番茄葉片病害識別模型,準(zhǔn)確率達(dá)94.11%。王飛云等[25]搭建的ShuffleNet網(wǎng)絡(luò)對發(fā)芽馬鈴薯的檢測準(zhǔn)確率達(dá)97.8%。但高準(zhǔn)確率的輕量級咖啡豆分級和缺陷檢測算法仍存在空缺。
目前咖啡豆主要采用振動(dòng)篩和色選機(jī)進(jìn)行分級,尚未發(fā)現(xiàn)成熟的基于機(jī)器人的智能分級裝備。張立杰等[26]研發(fā)出基于改進(jìn)型SSD卷積神經(jīng)網(wǎng)絡(luò)的設(shè)備,采用機(jī)器人對蘋果進(jìn)行分級分選,分級準(zhǔn)確率達(dá)96%。張文蓉等[27]開發(fā)一種基于機(jī)器視覺的分級包裝設(shè)備,分級準(zhǔn)確率達(dá)95.62%。Chopra等[28]集成了光譜學(xué)和機(jī)器學(xué)習(xí)的方法,開發(fā)了一套自動(dòng)識別水果類別和等級的設(shè)備,準(zhǔn)確率達(dá)82%。
為提高咖啡豆分級檢測效率和準(zhǔn)確率,本文提出一種融合注意力機(jī)制且便于部署在設(shè)備上的輕量級咖啡豆分級模型(ECA—ShuffleNet MLP),在自建咖啡豆數(shù)據(jù)集及公開咖啡豆數(shù)據(jù)集上進(jìn)行試驗(yàn),最后將該模型嵌入自建的咖啡豆分級分揀試驗(yàn)平臺進(jìn)行試驗(yàn)。為后續(xù)咖啡豆分級系統(tǒng)的研發(fā)及推廣應(yīng)用提供基礎(chǔ)。
1 咖啡豆數(shù)據(jù)集構(gòu)建
1.1 圖像采集
以阿拉比卡(Arabica)咖啡豆作為研究樣本,所有樣本產(chǎn)地為云南省普洱市。樣本均由全球認(rèn)證咖啡品質(zhì)鑒定師人工分級,分級標(biāo)準(zhǔn)[29]如表1所示。
樣本咖啡豆共9 268顆,其中正常豆有7 894顆,缺陷豆1 374顆。正常豆包括:一級咖啡豆2 460顆,二級咖啡豆2 601顆、三級咖啡豆2 833顆。
咖啡豆樣本圖像采用X86工業(yè)相機(jī)采集,拍照高度為140 mm。拍攝背景采用純白色。在正午自然光照條件下,同時(shí)用4個(gè)LED燈進(jìn)行補(bǔ)光。感光度值設(shè)置為100,快門速度為1/100,采用自動(dòng)白平衡。
1.2 圖像預(yù)處理和數(shù)據(jù)集劃分
每一個(gè)咖啡豆樣本圖像為鏡頭直接拍攝,咖啡豆只占該樣本圖像極少部分,如圖1所示。
為獲得研究的感興趣區(qū),對樣本圖像進(jìn)行預(yù)處理。預(yù)處理方法為[8]:首先剪裁掉原始圖像的不重要部分,如補(bǔ)光燈邊框和傳送帶邊緣。然后將圖像進(jìn)行灰度化,用高斯濾波去除噪聲干擾。接著用Gamma變換修正異?;叶戎担鰪?qiáng)圖像整體細(xì)節(jié)。為增強(qiáng)咖啡生豆圖像被模糊了的細(xì)節(jié)以及加強(qiáng)邊緣和輪廓,采用Canny算子找到邊緣,對找到的邊緣像素進(jìn)行銳化,并疊加在原圖上,讓原圖中咖啡豆的邊緣更加清晰。利用圖像中目標(biāo)與背景在灰度特性上的差異,經(jīng)多次試驗(yàn),選擇固定閾值為170與255,采用二值化閾值方法將灰度圖像轉(zhuǎn)換為二值圖像,實(shí)現(xiàn)圖像分割;將圖像進(jìn)行黑白反轉(zhuǎn),增強(qiáng)特征區(qū)域;運(yùn)用3次開閉運(yùn)算填充空隙、消除邊緣毛刺;通過輪廓尋找咖啡豆圖像最大輪廓,得到生咖啡豆的最小外接矩;為減少誤差,將最小外接矩的寬、高各擴(kuò)展10個(gè)像素進(jìn)行裁剪,得到224像素×224像素大小的感興趣區(qū),如圖2所示。
將4個(gè)等級咖啡豆按照8∶2劃分為訓(xùn)練集和測試集。具體樣本數(shù)分配如表2所示,其中用于訓(xùn)練的樣本圖像7 416張,用于測試的樣本圖像1 853張。
為防止過擬合,對訓(xùn)練集中的樣本圖像進(jìn)行增強(qiáng),以提升模型魯棒性和泛化能力。圖像增強(qiáng)處理采用3種方法:0°~180°隨機(jī)旋轉(zhuǎn)、垂直翻轉(zhuǎn)和水平翻轉(zhuǎn)。經(jīng)過增強(qiáng)后訓(xùn)練集增加為原來的4倍,共29 664張圖片。
1.3 咖啡豆分級分揀試驗(yàn)平臺
自建咖啡豆分級分揀試驗(yàn)平臺(簡稱分級分揀平臺)由上料與傳輸裝置、機(jī)器視覺系統(tǒng)和并聯(lián)機(jī)器人系統(tǒng)3部分構(gòu)成。具體由振動(dòng)上料裝置、輸送帶、視覺檢測裝置、控制主機(jī)、機(jī)器人本體和控制軟件組成。振動(dòng)上料裝置將咖啡豆按隊(duì)列間隔上料到輸送帶上,輸送帶將咖啡豆運(yùn)送到機(jī)器視覺區(qū)域。視覺系統(tǒng)自動(dòng)采集圖像,識別咖啡豆級別并定位咖啡豆,將咖啡豆的位置信息轉(zhuǎn)換為機(jī)器人坐標(biāo)系中的位置。機(jī)器人根據(jù)位置信息進(jìn)行抓取分析和計(jì)算,當(dāng)咖啡豆被輸送到機(jī)器人的工作空間后,由電控氣吸執(zhí)行器進(jìn)行抓取,并放置到相應(yīng)的收集箱中。分級分揀平臺結(jié)構(gòu)組成如圖3所示。
機(jī)器視覺系統(tǒng)由海康威視MV-SI638-08GM智能視覺相機(jī)和補(bǔ)光燈組成,智能視覺相機(jī)具體參數(shù)如表3所示。
2 ECA—ShuffleNet MLP模型構(gòu)建
2.1 ShuffleNet V1模型
ShuffleNet V1是一個(gè)輕量型卷積神經(jīng)網(wǎng)絡(luò),輸入端采用一個(gè)普通卷積連接一個(gè)最大池化層,由重復(fù)堆疊的ShuffleNet Unit1和ShuffleNet Unit2組成其主體結(jié)構(gòu)。主體結(jié)構(gòu)后面連接一個(gè)池化層,用一個(gè)全連接層來輸出。ShuffleNet模型中的通道混洗(CS)和可分離深度卷積(DWConv)可增加模型的表達(dá)能力,降低計(jì)算量。ShuffleNet V1結(jié)構(gòu)如圖4所示。
2.2 ECA注意力模塊
注意力機(jī)制(AM)能幫助模型捕獲重要信息并忽略不相關(guān)或不重要的信息,以此提升網(wǎng)絡(luò)模型的整體性能。ECA注意力機(jī)制在不改變維度的情況下,對特征圖進(jìn)行全局平均池化(GAP),以消除因維度變化對特征提取和通道注意力學(xué)習(xí)產(chǎn)生的不利影響。該機(jī)制中的K次快速卷積實(shí)現(xiàn)了通道之間的信息流動(dòng)和交互。K的數(shù)值和通道數(shù)C的映射成正比,如式(1)所示。
2.3 ECA—ShuffleNet Unit
ShuffleNet V1的基本單元根據(jù)步長分為兩種,一是步長為1的ShuffleNet Unit1,二是步長為2的ShuffleNet Unit2。為保證通道數(shù)的一致性,ECA注意力機(jī)制在ShuffleNet Unit1和ShuffleNet Unit2兩個(gè)Unit中的插入位置應(yīng)是相同的。ECA注意力機(jī)制在兩個(gè)Unit中的插入位置有3種:ECA—A、ECA—B和ECA—C。ECA—A是在通道混洗后增加ECA注意力機(jī)制,這種方式能提取出全局特征;ECA—B是在第2個(gè)普通卷積后添加ECA注意力機(jī)制,這種方式不僅可以提取出全局特征也可提取出局部特征;ECA—C是在特征融合后,在使用ReLU激活函數(shù)前添加ECA注意力機(jī)制,這種方式能提取更多的局部特征。
選擇ECA—B插入方式,這種方式能更好地提取出全局和局部特征。ECA—ShuffleNet Unit結(jié)構(gòu)如圖6所示。圖6(a)是ECA—ShuffleNet Unit1單元結(jié)構(gòu),其處理過程:輸入的特征圖分別進(jìn)入左、右兩個(gè)分支進(jìn)行處理,右邊分支先經(jīng)過一個(gè)1×1的普通卷積后接BN層和ReLU激活函數(shù),之后進(jìn)行通道混洗,接著再經(jīng)過一個(gè)3×3的深度可分離卷積和BN層,后接一個(gè)1×1卷積和BN層。左邊分支則是一個(gè)殘差結(jié)構(gòu)。左、右分支處理完后將結(jié)果進(jìn)行疊加融合,最后經(jīng)過一個(gè)ReLU激活函數(shù)后輸出。圖6(b)是ECA—ShuffleNet Unit2單元結(jié)構(gòu)。其處理過程:輸入的特征圖分別進(jìn)入左、右兩個(gè)分支進(jìn)行處理,右邊分支與ShuffleNet Unit1的右分支處理過程一樣,但左邊分支則是一個(gè)3×3的平均池化層。左、右分支處理完,將兩個(gè)分支結(jié)果按通道數(shù)相加,完成特征融合,最后同樣經(jīng)過一個(gè)ReLU激活函數(shù)后輸出。
2.4 Fusion Loss
Fusion將Focal Loss和Cross—Entropy Loss進(jìn)行融合,在得到每個(gè)樣本的Focal Loss和Cross—Entropy Loss平均值后,使用weight focal和weight ce分別對兩種損失取得的平均值進(jìn)行加權(quán),將加權(quán)后的數(shù)值相加,得到組合損失值。Fusion Loss能在不影響識別精度的情況下大幅度降低損失,提升模型的性能[30]。
Fusion Loss通過懲罰預(yù)測錯(cuò)誤的樣本,讓模型更加準(zhǔn)確地學(xué)習(xí)目標(biāo)類別,幫助處理類別不平衡問題,將重心快速聚焦在難區(qū)分樣本上,計(jì)算如式(2)所示。
2.5 多層感知器
多層感知器(Multi?Layer Perceptron)是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò),由幾種不同層級(輸入層、隱藏層和輸出層)間互聯(lián)的節(jié)點(diǎn)組成,每層都和前后層完全連接[31],并行聚合多個(gè)神經(jīng)元[32]。多層感知器可以進(jìn)行高度的并行處理,擁有良好的容錯(cuò)性,有非常強(qiáng)的適應(yīng)能力和學(xué)習(xí)能力。研究中使用的多層感知器計(jì)算如式(3)所示,其結(jié)構(gòu)如圖7所示。
2.6 ECA—ShuffleNet MLP模型
ECA—ShuffleNet MLP網(wǎng)絡(luò)由4個(gè)stage、1個(gè)池化層和1個(gè)MLP分類頭組成。該網(wǎng)絡(luò)首先用24個(gè)3×3普通卷積進(jìn)行特征提取,隨后采用3個(gè)stage組成主體結(jié)構(gòu),后接上一個(gè)池化層,最后采用1個(gè)MLP模塊作為分類頭進(jìn)行分類。stage2、stage3、stage4分別采用不同數(shù)量的ECA—ShuffleNet Unit1和ECA—ShuffleNet Unit2來構(gòu)成不同的網(wǎng)絡(luò)結(jié)構(gòu),單元數(shù)分別為(1、3)、(1、7)、(1、3)。ECA—ShuffleNet MLP網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。
ECA—ShuffleNet MLP刪去原ShuffleNet V1 輸入層的最大池化層以保留更多的特征信息。在ShuffleNet Unit1和ShuffleNet Unit2中引入ECA注意力機(jī)制,以提升模型準(zhǔn)確性和穩(wěn)定性。引入MLP分類頭和Fusion Loss損失函數(shù)以提升模型準(zhǔn)確率,大幅降低模型的損失。
3 試驗(yàn)與結(jié)果分析
3.1 試驗(yàn)環(huán)境
試驗(yàn)計(jì)算機(jī)為英特爾至強(qiáng)Gold 6230R處理器,搭載NVIDIA RTX A6000顯卡,所有模型采用Pytorch1.13.1深度學(xué)習(xí)框架進(jìn)行搭建,運(yùn)行平臺為jupyter,以Python3.9作為編程語言。
模型訓(xùn)練采用AdamW優(yōu)化器,學(xué)習(xí)率初始值設(shè)置為0.000 1,學(xué)習(xí)率調(diào)整采用StepLR調(diào)整器,每50個(gè)epoch學(xué)習(xí)率減半,共進(jìn)行200個(gè)epoch的訓(xùn)練,設(shè)置批次大小batchsize為32。
3.2 評價(jià)指標(biāo)選取
試驗(yàn)選用平均損失(Average Loss)、平均準(zhǔn)確率(Average Accuracy)、參數(shù)大?。≒arams)、理論浮點(diǎn)運(yùn)算次數(shù)(Theo FLOPs)、F1值和檢測速度FPS作為模型評價(jià)指標(biāo),試驗(yàn)采用Fusion Loss來衡量預(yù)測值與真實(shí)值的概率分布。準(zhǔn)確率Accuracy和F1值計(jì)算如式(4)~式(7)所示。
3.3 ECA注意力機(jī)制最佳插入位置驗(yàn)證試驗(yàn)
對ShuffleNet V1的0.5×、1.0×、2.0×三種架構(gòu)進(jìn)行對比后,得到三種架構(gòu)下,模型準(zhǔn)確率為87.69%、94.88%、92.45%,因此,選擇準(zhǔn)確率最高的1.0×架構(gòu)作為后續(xù)試驗(yàn)改進(jìn)的基礎(chǔ)。在ShuffleNet V1 1.0架構(gòu)基礎(chǔ)上,對2.3節(jié)所述的3個(gè)ECA插入位置進(jìn)行試驗(yàn),驗(yàn)證ECA最佳插入位置,試驗(yàn)結(jié)果如表4所示。準(zhǔn)確率最高的是在第2個(gè)普通卷積后添加ECA注意力機(jī)制,即ECA—B架構(gòu)。
3.4 ECA—ShuffleNet MLP與ShuffleNet V1對比
ECA—ShuffleNet MLP在測試集上的準(zhǔn)確率(Accuracy)和損失值(Loss)的試驗(yàn)結(jié)果如圖9、圖10所示,可以看出原模型ShuffleNet V1的準(zhǔn)確率和損失變化曲線變化劇烈,從100層開始才開始慢慢收斂,穩(wěn)定性不夠。改進(jìn)后的ECA—ShuffleNet MLP模型準(zhǔn)確率和損失曲線更平緩,大約50層開始就漸漸收斂,識別的平均準(zhǔn)確率峰值更高,損失明顯減少。
3.5 ECA—ShuffleNet MLP消融試驗(yàn)
為評價(jià)刪除輸入端池化層對模型性能的影響,進(jìn)行消融試驗(yàn)1,試驗(yàn)結(jié)果如表5所示。在ECA—ShuffleNet MLP結(jié)構(gòu)中添加輸入端池化層后的平均準(zhǔn)確率是95.08%,刪去輸入端池化層后的平均準(zhǔn)確率是96.88%。準(zhǔn)確率提高1.80%,損失降低33.74%。試驗(yàn)結(jié)果表明,刪去池化層可以得到性能更強(qiáng)的模型,后續(xù)消融試驗(yàn)全部在刪去池化層的基礎(chǔ)上進(jìn)行驗(yàn)證。
為試驗(yàn)?zāi)P驮谟袩oFusion Loss、MLP分類頭和ECA注意力機(jī)制模塊情況下,模型的穩(wěn)定性和準(zhǔn)確率變化,采用消融試驗(yàn)2來進(jìn)行驗(yàn)證,試驗(yàn)結(jié)果如表6所示,僅使用Fusion Loss的ShuffleNet V1 1.0 分級模型準(zhǔn)確率增加1.46%,損失降低20.05%。與使用Fusion Loss,增加MLP分類頭的模型對比,改進(jìn)后的模型準(zhǔn)確率增加1.56%,AP值和AR值增加1.71%和1.51%。使用ECA注意力模塊和Fusion Loss的模型,準(zhǔn)確率增加2.20%,AP值和AR值增加1.44%和1.68%。使用MLP分類頭和ECA注意力模塊的模型,準(zhǔn)確率增加2.1%,AP值和AR值增加1.96%和2.52%。同時(shí)使用ECA注意力模塊、Fusion Loss和MLP分類頭,準(zhǔn)確率增加2.96%,AP值和AR值增加2.95%和3.05%,Params僅增加0.49 M,對參數(shù)量沒有太大影響。通過上述消融試驗(yàn)可知,ECA注意力機(jī)制、Fusion Loss和MLP分類頭的引入同時(shí)提高模型準(zhǔn)確性,減少損失。
3.6 不同F(xiàn)usion Loss權(quán)重對模型影響對比試驗(yàn)
將ECA—ShuffleNet MLP模型中的MLP模塊和ECA注意力機(jī)制去除,對Fusion Loss的兩種不同權(quán)重weight ce和weight focal進(jìn)行對比試驗(yàn),試驗(yàn)結(jié)果如表7所示。
由表7可知,采用0.70的weight ce和0.30的weight focal的模型的平均準(zhǔn)確率為96.34%、F1值為96.34%、AP值為96.50%、AR值為96.18%時(shí)最佳。
3.7 不同分類頭對模型性能影響對比試驗(yàn)
為驗(yàn)證MLP分類器的性能,采用支持向量機(jī)(SVM)、K近鄰算法(KNN)、高斯樸素貝葉斯(GNB)作為對比,試驗(yàn)結(jié)果如表8所示。采用MLP分類頭的模型性能最佳,平均準(zhǔn)確率為97.84%,AP值為97.94%,AR值為97.74%,相比其他分類頭的ECA—ShuffleNet MLP模型,該模型平均準(zhǔn)確率提高2.40、5.21和20.43個(gè)百分點(diǎn),F(xiàn)1值提高2.41、5.30和20.28個(gè)百分點(diǎn)。
3.8 ECA—ShuffleNet MLP在數(shù)據(jù)集上的對比試驗(yàn)
1) 自建數(shù)據(jù)集。將ECA—ShuffleNet MLP模型與AlexNet、VGG16、 MobileNet V1、MobileNet V2、ResNet34和ResNet50模型進(jìn)行對比試驗(yàn),各模型平均準(zhǔn)確率變化如圖11和圖12所示,試驗(yàn)結(jié)果如表9所示。
ECA—ShuffleNet MLP模型的性能最佳,其平均準(zhǔn)確率為97.84%,AP值為98.50%,AR值為97.19%,相比AlexNet、VGG16、 MobileNet V1、MobileNet V2、ResNet34和ResNet50模型,該模型平均準(zhǔn)確率提高8.49、5.41、3.85、2.71、4.16和3.20個(gè)百分點(diǎn),AP值增加8.36、5.49、4.06、2.66、4.66和2.68個(gè)百分點(diǎn),AR值增加3.48、1.17、1.95、1.85、3.99和1.63個(gè)百分點(diǎn)。ECA—ShuffleNet MLP模型的Params值是所有試驗(yàn)?zāi)P椭凶钚〉模銽heo FLOPs值也遠(yuǎn)小于其他模型。
2) 公共數(shù)據(jù)集。將ECA—ShuffleNet MLP模型與AlexNet、VGG16、MobileNet V1、MobileNet V2、ResNet34和ResNet50模型在公開數(shù)據(jù)集(Kaggle數(shù)據(jù)集)上進(jìn)行對比試驗(yàn),結(jié)果如表10所示。
ECA—ShuffleNet MLP模型平均準(zhǔn)確率為99.50%,相比上述其他模型,平均準(zhǔn)確率分別提高3.75、1.00、10.00、2.75、0.08和1.25個(gè)百分點(diǎn)。在公共數(shù)據(jù)集的對比試驗(yàn)結(jié)果表明,該模型具有較好的泛化性能。
3.9 咖啡豆分級分揀試驗(yàn)
將訓(xùn)練好的ECA—ShuffleNet MLP模型嵌入咖啡豆分級分揀試驗(yàn)平臺進(jìn)行運(yùn)行試驗(yàn)。該試驗(yàn)平臺中并聯(lián)機(jī)器人的工作空間長度為300 mm,完成一次分揀運(yùn)動(dòng)(分揀完第一顆咖啡生豆并運(yùn)動(dòng)到第二顆咖啡生豆所在位置)的時(shí)間最短為1.15 s,所以傳送帶最高速度為260.87 mm/s。該試驗(yàn)平臺的傳送帶最高速度擋位為400 mm/s、最低速度擋位為50 mm/s,每50 mm/s為一個(gè)擋位。因此,試驗(yàn)采用5種不同的傳輸速度 (50 mm/s、100 mm/s、150 mm/s、200 mm/s、250 mm/s),分別進(jìn)行300次分級抓取試驗(yàn)。試驗(yàn)中,視覺系統(tǒng)每秒采集7幀圖像,并聯(lián)機(jī)器人的末端執(zhí)行器垂直方向位移均為30 mm,運(yùn)行速度均為500 mm/s。抓取結(jié)果如表11所示。
輸送帶運(yùn)行速度為50 mm/s時(shí),識別準(zhǔn)確率和抓取成功率最高,為84.00%和82.67%。輸送帶運(yùn)行速度為250 mm/s時(shí),識別成功率和抓取成功率降為60.66%和57.67%。從分級分揀試驗(yàn)結(jié)果來看,該模型具有較好的硬件匹配適用性,但隨著輸送帶運(yùn)行速度加快,試驗(yàn)臺上料裝置的振動(dòng)加劇,識別準(zhǔn)確率和抓取成功率有所降低。
4 結(jié)論
提出一種基于ShuffleNet V1基礎(chǔ)架構(gòu)改進(jìn)的ECA—ShuffleNet MLP咖啡豆分級檢測模型。
1) 在自建咖啡豆數(shù)據(jù)集上的平均分級準(zhǔn)確率、F1值分別達(dá)97.84%、97.84%。相比AlexNet、VGG16、MobileNet V1、MobileNet V2、ResNet34和ResNet50模型,改進(jìn)的ECA—ShuffleNet MLP咖啡豆分級檢測模型主要的分級檢測性能指標(biāo)、參數(shù)大小、理論浮點(diǎn)運(yùn)算次數(shù)均有明顯改善。
2) 在公開咖啡豆數(shù)據(jù)集上的平均分級準(zhǔn)確率、F1值分別達(dá)99.50%、99.49%。相比AlexNet、VGG16、MobileNet V1、MobileNet V2、ResNet34和ResNet50模型,改進(jìn)的ECA—ShuffleNet MLP咖啡豆分級檢測模型主要的分級檢測性能指標(biāo)更優(yōu),具有較好的泛化性能。
3) 改進(jìn)的ECA—ShuffleNet MLP咖啡豆分級檢測模型在咖啡豆分級分揀試驗(yàn)平臺上分級識別準(zhǔn)確率最高達(dá)84%,具有較好的硬件匹配適用性。
參 考 文 獻(xiàn)
[ 1 ] 黃家雄, 李維銳, 夏兵, 等. 云南咖啡產(chǎn)業(yè)高質(zhì)量發(fā)展對策初探[J]. 熱帶農(nóng)業(yè)科技, 2022, 45(3): 21-29.
Huang Jiaxiong,Li Weirui,Xia Bing,et al. Strategies on how to promote the development of coffee industry with high quality in Yunnan Province [J]. Tropical Agricultural Science amp; Technology, 2022, 45(3): 21-29.
[ 2 ] 李爽,丁百仁. 新時(shí)代保山市咖啡產(chǎn)業(yè)發(fā)展現(xiàn)狀與策略[J]. 林業(yè)調(diào)查規(guī)劃, 2022, 47(4): 115-119.
Li Shuang, Ding Bairen. Development status and countermeasures of coffee industry in Baoshan City in the new era [J]. Forest Inventory and Planning, 2022, 47(4): 115-119.
[ 3 ] 張秀花, 靜茂凱, 袁永偉, 等. 基于改進(jìn) YOLOv3—Tiny 的番茄苗分級檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38(1): 221-229.
Zhang Xiuhua, Jing Maokai, Yuan Yongwei, et al. Tomato seedling classification detection using improved YOLOv3—Tiny [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(1): 221-229.
[ 4 ] 萬龍, 龐宇杰, 張若宇, 等. 機(jī)采籽棉收購環(huán)節(jié)含雜率快速檢測系統(tǒng)研制[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2021, 37(6): 182-189.
Wan Long, Pang Yujie, Zhang Ruoyu, et al. Rapid measurement system for the impurity rate of machine?picked seed cotton in acquisition [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(6): 182-189.
[ 5 ] Pizzaia J P L, Salcides I R, Almeida G M, et al. Arabica coffee samples classification using a multilayer perceptron neural network [C]. 2018 13th IEEE International Conference on Industry Applications (INDUSCON). IEEE, 2018: 80-84.
[ 6 ] Subramanian K S, Vairachilai S, Gebremichael T. Features extraction and dataset preparation for grading of ethiopian coffee beans using image analysis techniques [C]. Information and Communication Technology for Intelligent Systems: Proceedings of ICTIS 2018, Volume 1. Springer Singapore, 2019: 287-298.
[ 7 ] Waliyansyah R R, Hasbullah U H A. Comparison of tree method, support vector machine, Na?ve Bayes, and logistic regression on coffee bean image [J]. EMITTER International Journal of Engineering Technology, 2021, 9(1): 126-136.
[ 8 ] 趙玉清, 楊慧麗, 張悅, 等. 基于特征組合與SVM的小粒種咖啡缺陷生豆檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38nbsp; (14): 295-302.
Zhao Yuqing, Yang Huili, Zhang Yue, et al. Detection of defective Arabica green coffee beans based on feature combination and SVM [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(14): 295-302.
[ 9 ] 常禧龍, 梁琨, 李文濤. 深度學(xué)習(xí)優(yōu)化器進(jìn)展綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2024, 60(7): 1-12.
Chang Xilong, Liang Kun, Li Wentao. A review of the development of deep learning optimizer [J]. Computer Engineering and Applications, 2024, 60(7): 1-12.
[10] 張紅濤, 朱洋, 譚聯(lián), 等. 利用機(jī)器視覺識別麥粒內(nèi)米象發(fā)育規(guī)律與齡期[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2020, 36(2): 201-208.
Zhang Hongtao, Zhu Yang, Tan Lian, et al. Identifying larval development of Sitophilus oryzae in wheat grain using computer vision [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(2): 201-208.
[11] 趙露露, 鄧寒冰, 周云成, 等.基于自生成標(biāo)簽的玉米苗期圖像實(shí)例分割[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2023, 39(11): 201-211.
Zhao Lulu, Deng Hanbing, Zhou Yuncheng, et al. Instance segmemtation model of maize seeding images based on automatic generated labels [J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(11): 201-211.
[12] Chang S J, Huang C Y. Deep learning model for the inspection of coffee bean defects [J]. Applied Sciences, 2021, 11(17): 8226.
[13] Chang S J, Liu K H. Multiscale defect extraction neural network for green coffee bean defects detection [J]. IEEE Access, 2024.
[14] 李頎, 強(qiáng)華. 基于雙目視覺與深度學(xué)習(xí)的番茄本體特征檢測系統(tǒng)[J]. 南方農(nóng)業(yè)學(xué)報(bào), 2020, 51(1): 237-244.
Li Qi, Qiang Hua. Tomato ontology feature detection system based on binocular vision and deep learning [J]. Journal of Southern Agriculture, 2020, 51(1): 237-244.
[15] Wang Q, Wu B, Zhu P, et al. ECA—Net: Efficient channel attention for deep convolutional neural networks [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 11534-11542.
[16] Hu J, Shen L, Sun G. Squeeze?and?excitation networks [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.
[17] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 13713-13722.
[18] 周春欣, 霍怡之, 杜有海, 等. 基于改進(jìn)的RetinaNet大豆外觀品質(zhì)無損檢測[J]. 中國糧油學(xué)報(bào), 2024, 39(9): 172-180.
Zhou Chunxin, Huo Yizhi, Du Youhai, et al. Non?destructive detection of soybean appearance quality based on improved RetinaNet [J]. Journal of the Chinese Cereals and Oils Association, 2024, 39(9): 172-180.
[19] 劉莫塵, 褚鎮(zhèn)源, 崔明詩, 等. 基于改進(jìn)YOLO v8—Pose的紅熟期草莓識別和果柄關(guān)鍵點(diǎn)檢測[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 1-12 [2024-04-10].
Liu Mochen, Chu Zhenyuan, Cui Mingshi, et al. Red ripe strawberry recognition and stem detection based on improved YOLO v8—Pose [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 1-12 [2024-04-10].
[20] 張成堯, 張艷誠, 張宇乾, 等. 基于YOLOv5的咖啡瑕疵豆檢測方法[J]. 食品與機(jī)械, 2023, 39(2): 50-56, 75.
Zhang Chengyao, Zhang Yancheng, Zhang Yuqian, et al. Detection method of defective coffee beans based on YOLOv5 [J]. Food amp; Machinery, 2023, 39(2): 50-56, 75.
[21] 紀(jì)元浩, 許金普, 嚴(yán)蓓蓓, 等. 基于改進(jìn)ResNet50模型的咖啡生豆質(zhì)量和缺陷檢測方法 [J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2024, 45(4): 237-243.
Ji Yuanhao, Xu Jinpu, Yan Beibei, et al. A method for detecting quality and defects in raw coffee beans based on improved ResNet50 model [J]. Journal of Chinese Agricultural Mechanization, 2024, 45(4): 237-243.
[22] 王軍, 馮孫鋮, 程勇. 深度學(xué)習(xí)的輕量化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)研究綜述[J]. 計(jì)算機(jī)工程, 2021, 47(8): 1-13.
Wang Jun, Feng Suncheng, Cheng Yong. Survey of research on lightweight neural network structures for deep learning [J]. Computer Engineering, 2021, 47(8): 1-13.
[23] 葉建華, 唐輝, 羅奮翔, 等. 基于改進(jìn)MobileNet的咖啡豆缺陷檢測[J]. 福建工程學(xué)院學(xué)報(bào), 2023, 21(3): 257-263.
Ye Jianhua, Tang Hui, Luo Fenxiang, et al. Coffee bean defect detection based on improved MobileNet [J]. Journal of Fujian University of Technology, 2023, 21(3): 257-263.
[24] 王志強(qiáng), 于雪瑩, 楊曉婧, 等. 基于WGAN和MCA—MobileNet的番茄葉片病害識別 [J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54(5): 244-252.
Wang Zhiqiang, Yu Xueying, Yang Xiaojing, et al. Tomato leaf diseases recognition based on WGAN and MCA—MobileNet [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54 (5): 244-252.
[25] 王飛云, 呂程序, 吳金燦, 等. 基于Shuffle—Net的發(fā)芽馬鈴薯無損檢測方法 [J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2022, 53(S1): 309-315.
Wang Feiyun, Lü Chengxu, Wu Jincan, et al. Non?destructive detection of sprouting potatoes based on Shuffle—Net [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(S1): 309-315.
[26] 張立杰, 周舒驊, 李娜, 等. 基于改進(jìn)SSD卷積神經(jīng)網(wǎng)絡(luò)的蘋果定位與分級方法 [J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54 (6): 223-232.
Zhang Lijie, Zhou Shuhua, Li Na, et al. Apple location and classification based on improved SSD convolutional neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(6): 223-232.
[27] 張文蓉, 王朋, 鐘鳴, 等. 基于視覺的茭白自動(dòng)分級包裝設(shè)備研究與開發(fā) [J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2021, 42 (12): 114-120.
Zhang Wenrong, Wang Peng, Zhong Ming, et al. Research and development on the automatic sorting and packing equipment of Zizania based on vision [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(12): 114-120.
[28] Chopra H, Singh H, Bamrah M S, et al. Efficient fruit grading system using spectrophotometry and machine learning approaches [J]. IEEE Sensors Journal, 2021, 21(14): 16162-16169.
[29] DB53/T 149.7—2023, 小粒種咖啡第7部分: 生豆分級[S].
[30] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection [C]. Proceedings of the IEEE International Conference on Computer Vision, 2017: 2980-2988.
[31] Frate D F, Pacifici F, Schiavon G, et al. Use of neural networks for automatic classification from high?resolution images [J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(4): 800-809.
[32] Xu P, Yang R, Zeng T, et al. Varietal classification of maize seeds using computer vision and machine learning techniques [J]. Journal of Food Process Engineering, 2021, 44(11): e13846.