基于YOLOv5網(wǎng)絡(luò)的缺陷硬糖智能分揀系統(tǒng)研究

朱婷婷，程 磊，王錦亞，居榮華，倪 超

（南京林業(yè)大學(xué) 機(jī)械電子工程學(xué)院，南京 210037）

0 引言

糖果作為日常消費(fèi)品，是世界食品零售市場的重要組成部分。中國糖果產(chǎn)業(yè)在世界食品市場中占據(jù)重要地位，2019年中國糖消費(fèi)量為1580萬噸，消費(fèi)量位居全球第三［1］。硬糖作為糖果中的一個(gè)品類，是將糖漿經(jīng)高溫熬煮制得，其糖體形態(tài)固定、堅(jiān)硬而質(zhì)脆。硬糖的品質(zhì)受熬制溫度、熬制時(shí)間、配料等因素影響［2］。對于國內(nèi)糖果廠來說，生產(chǎn)高品質(zhì)的硬糖是其提高產(chǎn)業(yè)競爭力和爭奪國際糖果市場的關(guān)鍵。然而，在熬制硬糖過程中，由于進(jìn)料不足、吸濕、產(chǎn)生氣泡等原因會導(dǎo)致硬糖產(chǎn)生表面凹陷、體積形變等缺陷［3］。為此，大多數(shù)糖果廠通常采用檢查員目視識別，并手工挑出生產(chǎn)線上缺陷硬糖的方法保證產(chǎn)出硬糖的質(zhì)量。但是這種人工操作耗時(shí)低效、勞動強(qiáng)度大，且無法保證一致性。

近年來，機(jī)器視覺在智能分選中得到廣泛應(yīng)用，其中基于深度學(xué)習(xí)的圖像識別和目標(biāo)檢測技術(shù)更是在這一領(lǐng)域取得了較好的成果［4］。例如，王德鎮(zhèn)等［5］分析了深度學(xué)習(xí)在小漿果分選中的應(yīng)用，具有魯棒性好、檢測速度快等優(yōu)勢；孫美艷等［6］采用機(jī)器視覺技術(shù)，通過決策樹算法獲得了面團(tuán)發(fā)酵過程的可視化樹，從而準(zhǔn)確地控制發(fā)酵時(shí)間，對智能烘培技術(shù)的發(fā)展有著重要意義；宋超［7］通過對比K-means結(jié)合支持向量機(jī)的傳統(tǒng)方法和深度學(xué)習(xí)方法檢測雞蛋裂紋，發(fā)現(xiàn)基于深度學(xué)習(xí)的缺陷識別率高于傳統(tǒng)方法近3%；FAN等［8］使用卷積神經(jīng)網(wǎng)絡(luò)對蘋果進(jìn)行缺陷分揀和檢測，準(zhǔn)確率達(dá)到92%；王淑青等［9］使用YOLOv4神經(jīng)網(wǎng)絡(luò)檢測小龍蝦質(zhì)量，準(zhǔn)確率達(dá)到97.8%。因此，將機(jī)器視覺引入食品生產(chǎn)行業(yè)，可以提高生產(chǎn)效率、降低勞動強(qiáng)度、改善生產(chǎn)自動化程度［10］。

針對人工分選缺陷硬糖效率低、漏檢等弊端，本文設(shè)計(jì)一種全自動硬糖分選系統(tǒng)，將機(jī)器視覺和深度學(xué)習(xí)引入缺陷硬糖的檢測分選過程，提出基于卷積神經(jīng)網(wǎng)絡(luò)的缺陷硬糖智能分選方法，配套工業(yè)相機(jī)采集生產(chǎn)線上硬糖圖片進(jìn)行檢測識別，并通過噴閥剔除缺陷硬糖。該智能分選系統(tǒng)旨在代替人工分選，并提高分選效率，實(shí)現(xiàn)硬糖缺陷識別與分選的全自動化。

1 分選系統(tǒng)設(shè)計(jì)

1.1 分選系統(tǒng)的硬件組成

硬糖智能分選系統(tǒng)的硬件結(jié)構(gòu)如圖1所示，主要由AI計(jì)算機(jī)（Jetson Xavier NX）、工業(yè)相機(jī)、開孔面光源、可編程邏輯控制器（PLC）及噴閥機(jī)構(gòu)等組成。其中，AI計(jì)算機(jī)與工業(yè)相機(jī)通過千兆網(wǎng)線連接，與PLC通過RS-485連接。

圖1 系統(tǒng)結(jié)構(gòu)示意圖Fig.1 The structure diagram of the sorting system

AI計(jì)算機(jī)為整個(gè)系統(tǒng)的“大腦”，負(fù)責(zé)進(jìn)行圖像處理及深度學(xué)習(xí)網(wǎng)絡(luò)的計(jì)算，并把識別結(jié)果傳輸給PLC。系統(tǒng)選用基于NVIDIA VoltaTM架構(gòu)的Jetson Xavier NX，其配備384個(gè)NVIDIA CUDA核心和48個(gè)Tensor核心，可為邊緣提供性能高達(dá)21TOPs的加速AI計(jì)算，能夠并行運(yùn)行多個(gè)現(xiàn)代神經(jīng)網(wǎng)絡(luò)。

工業(yè)相機(jī)作為分揀系統(tǒng)的“眼睛”，是機(jī)器視覺系統(tǒng)中必不可少的部分，其本質(zhì)功能是將光信號轉(zhuǎn)換成電信號。工業(yè)相機(jī)具有非常高的幀速率和優(yōu)秀的圖像質(zhì)量，使其在機(jī)器視覺系統(tǒng)中越來越多的替代CCD相機(jī)［11］。系統(tǒng)選用?？低暪旧a(chǎn)的MV-CA050-10GC型面陣工業(yè)相機(jī)，以及MVL-HF0824M-10MP型1 000萬分辨率工業(yè)鏡頭。工業(yè)相機(jī)的參數(shù)如表1所示。

表1 工業(yè)相機(jī)參數(shù)表Tab.1 Parameters table of industrial camera

噴閥機(jī)構(gòu)由噴閥和40個(gè)噴嘴組成，由PLC控制高低電平實(shí)現(xiàn)噴閥開啟和關(guān)閉，1 s可進(jìn)行50次開關(guān)操作。40個(gè)噴嘴分別對應(yīng)傳送帶橫截面的40個(gè)劃分區(qū)域，以確保精準(zhǔn)地?fù)舸騻魉蛶先我馕恢玫娜毕萦蔡恰?/p>

1.2 分選系統(tǒng)原理與工作流程

硬糖智能分選系統(tǒng)的工作流程如圖2所示。振料盤作為上料機(jī)構(gòu)，通過振動將冷卻后的硬糖分散地撒落在傳送帶上，傳送帶以2 m/s的速度運(yùn)行。首先，硬糖將向前輸送至采集箱中，為了防止外界環(huán)境光對采集圖像產(chǎn)生影響，采集箱采用封閉設(shè)計(jì)以保證不透光，包含工業(yè)相機(jī)和開孔面光源等。然后，工業(yè)相機(jī)將拍攝的硬糖圖片通過千兆網(wǎng)口傳送至AI計(jì)算機(jī)，計(jì)算機(jī)運(yùn)行部署好的基于YOLOv5網(wǎng)絡(luò)的缺陷硬糖分類算法對圖片進(jìn)行識別，并將檢測結(jié)果及缺陷硬糖的坐標(biāo)信息通過Modbus通信協(xié)議發(fā)送給PLC，PLC將根據(jù)計(jì)數(shù)編碼器脈沖在缺陷硬糖到達(dá)噴嘴區(qū)域時(shí)開啟噴閥。當(dāng)硬糖到達(dá)傳送帶末端時(shí)，沒有缺陷的硬糖將因?yàn)閼T性飛出并落入正常硬糖收集框，而具有缺陷的硬糖將在飛行過程中被上方噴嘴噴出的氣流改變飛行軌跡，落入缺陷硬糖收集框。至此，系統(tǒng)剔除缺陷硬糖，將缺陷硬糖與沒有缺陷的硬糖進(jìn)行分選。

圖2 系統(tǒng)工作流程圖Fig.2 Flow chart of the sorting system

2 基于YOLOv5網(wǎng)絡(luò)的缺陷硬糖分選算法

YOLOv5網(wǎng)絡(luò)是 YOLO（You Only Look Once）架構(gòu)系列的最新網(wǎng)絡(luò)［12］，由Ultralytics公司于2020年5月提出，具有檢測精度高、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)，最快檢測速度可達(dá)到每秒140幀。同時(shí)，YOLOv5網(wǎng)絡(luò)模型的權(quán)重文件大小比YOLOv4小了近90%，因此非常適合被部署到嵌入式設(shè)備上進(jìn)行實(shí)時(shí)檢測。目前，在交通運(yùn)輸?shù)阮I(lǐng)域已經(jīng)取得了較好的應(yīng)用［13］。

根據(jù)采集到的糖果圖像特點(diǎn)，對YOLOv5卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行修改，實(shí)現(xiàn)對缺陷硬糖的檢測和分類，然后將訓(xùn)練好的缺陷硬糖檢測算法部署到Jetson Xavier NX計(jì)算機(jī)上，處理工業(yè)相機(jī)拍攝的硬糖圖像，實(shí)現(xiàn)對缺陷硬糖的檢測和識別。YOLOv5網(wǎng)絡(luò)模型的結(jié)構(gòu)主要由Backbone、Neck、Detect 3個(gè)部分組成，如圖3所示。其核心思想是將輸入圖像劃分為若干個(gè)網(wǎng)格，每個(gè)網(wǎng)格負(fù)責(zé)預(yù)測目標(biāo)框的回歸坐標(biāo)及置信度，過濾置信度較低的目標(biāo)框并對保留的目標(biāo)進(jìn)行非極大值預(yù)測處理，最終得到預(yù)測結(jié)果［14］。

圖3 YOLOv5網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.3 The structure of YOLOv5 network model

2.1 Backbone網(wǎng)絡(luò)

Backbone網(wǎng)絡(luò)包含F(xiàn)ocus和CSPNet結(jié)構(gòu)。Focus結(jié)構(gòu)使用切片和卷積操作將輸入的3通道圖像分割成3×320×320的4個(gè)切片，以減少模型計(jì)算量，加快訓(xùn)練速度。CSPNet結(jié)構(gòu)旨在更好地提取圖像的深層特征，通過進(jìn)行局部跨層融合，利用不同層的特征信息來獲取更豐富的特征圖［15］。

2.2 Neck網(wǎng)絡(luò)

Neck網(wǎng)絡(luò)是一系列混合圖像特征的聚合層，采用FPN+PAN的結(jié)構(gòu)。FPN是通過上采樣的方法傳遞和融合信息，從而獲得預(yù)測的特征圖。由于該網(wǎng)絡(luò)的特征提取采用了自上而下的特征金字塔網(wǎng)絡(luò)，因此能夠提高低層特征的傳輸，增強(qiáng)對不同尺度目標(biāo)的檢測，可以精確地識別具有不同尺寸和比例的目標(biāo)對象［16］。

2.3 Detect網(wǎng)絡(luò)

Detect網(wǎng)絡(luò)用于模型的最終檢測部分，包括Bounding box損失函數(shù)和非極大值抑制（Non-Maximum Suppression，NMS）。它將錨框應(yīng)用于從上一層輸出的特征圖，并輸出一個(gè)包含目標(biāo)對象的類別概率和目標(biāo)框坐標(biāo)的向量。YOLOv5中使用GIOULoss作為損失函數(shù)，增加相交尺度的衡量，解決邊界框有時(shí)不重合的問題。如A表示真實(shí)標(biāo)注的目標(biāo)框面積，B表示算法預(yù)測目標(biāo)框面積，C表示包含A與B的最小矩形框面積，D表示A與B最大重疊的矩形框面積，則損失函數(shù)如下式所示。

其中，IOU表示D與C的比值；Δ表示C中除去D部分的面積。針對眾多目標(biāo)框的選擇，模型采用加權(quán)NMS操作選取最優(yōu)選擇結(jié)果。

3 數(shù)據(jù)收集與算法訓(xùn)練

3.1 硬糖缺陷分類標(biāo)準(zhǔn)

本文收集了4種不同品類的硬糖，人為地將這些硬糖分為3種類別，分別為正常硬糖、形狀規(guī)整但含有洞或者坑的硬糖、輪廓破碎且形狀不規(guī)則的硬糖。各類硬糖圖像具體如圖4所示。

圖4 硬糖缺陷分類示意圖Fig.4 Schematic diagram of classification of defective hard candies

3.2 圖像數(shù)據(jù)收集與標(biāo)注

檢測缺陷硬糖的網(wǎng)絡(luò)模型使用自制數(shù)據(jù)集進(jìn)行訓(xùn)練，該數(shù)據(jù)集根據(jù)工業(yè)相機(jī)拍攝硬糖生產(chǎn)過程中包含缺陷硬糖樣本的圖片制作而成。由于訓(xùn)練數(shù)據(jù)集樣本的數(shù)量和多樣性決定檢測算法模型的訓(xùn)練效果和泛化能力，因此為了避免因相機(jī)采集的圖像數(shù)據(jù)較少而導(dǎo)致模型過擬合，采用圖像增強(qiáng)方法，將圖像隨機(jī)旋轉(zhuǎn)、鏡像翻轉(zhuǎn)和改變亮度來擴(kuò)充數(shù)據(jù)集，使得訓(xùn)練后的檢測網(wǎng)絡(luò)模型能夠滿足對不同位置、角度和亮度下的硬糖的檢測要求，具有較好的識別效果，保證模型的魯棒性。通過圖像增強(qiáng)后共得到同一品類硬糖圖像400張，包含了該品類硬糖3種類別的硬糖樣本。

在訓(xùn)練基于YOLOv5網(wǎng)絡(luò)缺陷硬糖檢測算法前需要對數(shù)據(jù)集進(jìn)行標(biāo)注。選擇使用LableImage數(shù)據(jù)標(biāo)注軟件標(biāo)注缺陷硬糖的位置及其缺陷種類。標(biāo)注有洞或者坑的硬糖為類別0，標(biāo)簽為hole；標(biāo)注輪廓破碎且形狀不規(guī)則的硬糖為類別1，標(biāo)簽為defect。數(shù)據(jù)標(biāo)注完成后保存YOLO數(shù)據(jù)格式的文本文件用于模型訓(xùn)練。

3.3 基于YOLOv5網(wǎng)絡(luò)缺陷硬糖檢測算法訓(xùn)練

基于YOLOv5網(wǎng)絡(luò)缺陷硬糖檢測算法在試驗(yàn)室服務(wù)器上進(jìn)行訓(xùn)練，訓(xùn)練平臺配有Intel i7-8700 3.20GHz 的 CPU、Nvidia RTX 2080Ti 的 GPU以及16G的顯存。YOLOv5網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)設(shè)置：輸入圖像大小為640×640，Batch-size大小為32，最大迭代次數(shù)為300，動量因子為0.9，權(quán)重衰減系數(shù)為0.000 5，初始學(xué)習(xí)率為0.01。

采用召回率（recall）和精準(zhǔn)率（precision）作為缺陷硬糖檢測算法的評價(jià)指標(biāo)。召回率是指樣本中的正確類別被預(yù)測正確的概率，即：

其中，TP表示將正確類別預(yù)測為正確類別的個(gè)數(shù)；FN表示將正確類別預(yù)測為負(fù)類別的個(gè)數(shù)。

精準(zhǔn)率是指數(shù)據(jù)集中預(yù)測正確的正樣本總數(shù)與實(shí)際正樣本總數(shù)的比值，即：

其中，F(xiàn)P表示將負(fù)類別預(yù)測為正確類別的個(gè)數(shù)。

采用上述圖像構(gòu)成的訓(xùn)練集對缺陷檢測算法進(jìn)行訓(xùn)練，訓(xùn)練得到的召回率和精準(zhǔn)率如圖5所示。在經(jīng)過250次迭代后，模型趨于收斂，模型的召回率達(dá)到0.97，說明模型能夠精準(zhǔn)地檢測出具有缺陷的硬糖。

圖5 模型性能評估Fig.5 Performance evaluation of the proposed model

4 生產(chǎn)現(xiàn)場測試

缺陷硬糖智能分選系統(tǒng)的機(jī)械部分由南通某公司制造，通過將訓(xùn)練完成的YOLOv5網(wǎng)絡(luò)模型部署至AI計(jì)算機(jī)上，剔除有缺陷的硬糖，分選出沒有缺陷的硬糖。經(jīng)過測試，該模型部署在Jetson Xavier NX上后對每張?zhí)枪麍D像的平均檢測速度達(dá)到35 ms，符合工業(yè)生產(chǎn)實(shí)時(shí)性強(qiáng)、速度快的需求。

為進(jìn)一步驗(yàn)證系統(tǒng)的實(shí)際使用效果，在工業(yè)生產(chǎn)現(xiàn)場對系統(tǒng)進(jìn)行測試。根據(jù)之前人工篩檢的結(jié)果，在硬糖的實(shí)際生產(chǎn)過程中，具有缺陷的硬糖出現(xiàn)的概率約為5%。為提高測試難度，將含缺陷的硬糖占比提高到10%，同時(shí)提高上料速度。具體為在200顆硬糖中混入20顆具有缺陷的硬糖，通過振料盤將硬糖散落到傳送帶上，使其隨傳送帶運(yùn)送至視覺系統(tǒng)工作區(qū)域，分選系統(tǒng)對缺陷硬糖的檢測效果如圖6所示。

圖6 測試中的缺陷硬糖檢測結(jié)果Fig.6 Detection results of defective hard candies during the testing process

在實(shí)際測試中發(fā)現(xiàn)，由于上料速度提高，導(dǎo)致傳送帶上硬糖分布較密集，氣流在擊打缺陷硬糖的同時(shí)可能會將其周圍的正常硬糖連同打出，此現(xiàn)象稱為“帶出”。通常采用帶出率來衡量分選系統(tǒng)這一性能，即帶出的正常硬糖數(shù)與整體分選正常硬糖數(shù)的百分比。經(jīng)過5次測試，系統(tǒng)分選結(jié)果如表2所示。系統(tǒng)的召回率在95%～100%之間，5次整體召回率達(dá)到98%；帶出率在1.67%～2.22%，5次整體帶出率為1.78%。在實(shí)際生產(chǎn)中缺陷硬糖出現(xiàn)的概率大約為5%，且傳送帶上硬糖更加分散，因此實(shí)際使用中帶出率會更低。綜上所述，分選系統(tǒng)性能能夠達(dá)到硬糖實(shí)際生產(chǎn)的工業(yè)需求。

表2 現(xiàn)場測試結(jié)果Tab.2 Results of the proposed model in the field testing

5 結(jié)語

本文提出了一種基于YOLOv5卷積神經(jīng)網(wǎng)絡(luò)的缺陷硬糖智能分選系統(tǒng)，通過YOLOv5網(wǎng)絡(luò)模型完成對缺陷硬糖的檢測識別，結(jié)合噴閥實(shí)現(xiàn)對缺陷硬糖的分揀。經(jīng)過生產(chǎn)現(xiàn)場的測試，缺陷硬糖召回率達(dá)到95%以上，帶出率低于2.22%。檢測精度高、實(shí)時(shí)性好、工作速度快，具有高度自動化和智能化水平，有效解決了人工分選存在的效率低、成本高、錯(cuò)誤率高等問題，可以滿足食品生產(chǎn)工業(yè)中的需求，具有一定的應(yīng)用和推廣價(jià)值。