基于改進(jìn)YOLOv5的試劑卡印刷缺陷檢測(cè)算法

劉國(guó)慶，方成剛，黃德軍，龍超

基于改進(jìn)YOLOv5的試劑卡印刷缺陷檢測(cè)算法

劉國(guó)慶1，方成剛1*，黃德軍2，龍超1

（1.南京工業(yè)大學(xué) 機(jī)械與動(dòng)力工程學(xué)院，南京 211800；2.南京紫城工程設(shè)計(jì)有限公司，南京 211800）

針對(duì)試劑卡生產(chǎn)企業(yè)采用人工分選印刷缺陷的試劑卡存在效率低、成本高、易漏檢的問(wèn)題，提出一種基于深度神經(jīng)網(wǎng)絡(luò)YOLOv5s的改進(jìn)試劑卡印刷缺陷檢測(cè)算法YOLOv5s-EF。通過(guò)圖像預(yù)處理算法獲得高質(zhì)量的缺陷圖像數(shù)據(jù)集，在YOLOv5s的主干特征提取網(wǎng)絡(luò)中添加高效通道注意力（Efficient Channel Attention, ECA）機(jī)制，增強(qiáng)特征圖中重要特征的表示能力；引入焦點(diǎn)損失函數(shù)（Focal Loss）來(lái)緩解正負(fù)樣本不均衡的影響；結(jié)合印刷區(qū)域的定位結(jié)果，二次精確定位并構(gòu)建方位特征向量，提出一種特征向量相似度匹配方法。實(shí)驗(yàn)結(jié)果表明，本文提出的試劑卡印刷缺陷檢測(cè)算法在測(cè)試集上的檢測(cè)平均準(zhǔn)確度可以達(dá)到97.3%，速度為22.6幀/s。相較于其他網(wǎng)絡(luò)模型，本文提出的方法可以實(shí)現(xiàn)對(duì)多種印刷缺陷的識(shí)別與定位，模型具有較好的檢測(cè)速度和魯棒性，有利于提高企業(yè)生產(chǎn)的智能化水平。

缺陷檢測(cè)；YOLOv5s；深度學(xué)習(xí)；高效通道注意力機(jī)制；焦點(diǎn)損失函數(shù)

檢測(cè)試劑卡是一種醫(yī)療產(chǎn)品，因其操作簡(jiǎn)單，非專業(yè)醫(yī)療技術(shù)人員也能輕松掌握，同時(shí)可為患者提供快速的檢測(cè)服務(wù)，得到了廣泛應(yīng)用。檢測(cè)試劑卡可分為上蓋、底蓋、試劑條三部分。盡管在生產(chǎn)過(guò)程中有完整成熟的工藝流程，且有專業(yè)技術(shù)人員進(jìn)行把控，但在大批量生產(chǎn)時(shí)由于現(xiàn)有工藝的限制，印刷標(biāo)志仍可能會(huì)出現(xiàn)露白、缺損、漏印、偏移、歪斜等缺陷，進(jìn)而影響試劑卡的正常使用，甚至造成檢測(cè)結(jié)果錯(cuò)誤等嚴(yán)重影響。

基于機(jī)器視覺(jué)的缺陷檢測(cè)方法因穩(wěn)定性高、不受人為因素干擾等優(yōu)點(diǎn)被廣泛應(yīng)用于印刷缺陷檢測(cè)領(lǐng)域。常用的圖像缺陷檢測(cè)算法主要有圖像差分法、歸一化互相關(guān)系數(shù)法、直方圖分析法[1]。但這些方法對(duì)灰度變化、旋轉(zhuǎn)、形變以及遮擋等影響因素比較敏感，且不易對(duì)缺陷直接定位，具有一定的局限性。很多學(xué)者因此提出了不同的方法，胡方尚等[2]將二叉決策樹(shù)與向量支持機(jī)相結(jié)合，采用改進(jìn)的多類分類算法實(shí)現(xiàn)印刷缺陷的準(zhǔn)確識(shí)別，但其對(duì)檢測(cè)精度要求高，對(duì)難分割的缺陷檢出率較低。馮秋歌等[3]通過(guò)提取SIFT特征點(diǎn)，并設(shè)計(jì)濾波算子的方法，對(duì)印刷字符出現(xiàn)的漏印、字符缺失、污漬進(jìn)行檢測(cè)，但算法魯棒性較差，無(wú)法識(shí)別更加復(fù)雜的缺陷。

近年來(lái)，由于計(jì)算機(jī)硬件技術(shù)的不斷發(fā)展，使得深度學(xué)習(xí)等神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像處理、目標(biāo)檢測(cè)領(lǐng)域有了迅速的發(fā)展，基于深度學(xué)習(xí)的圖像識(shí)別已經(jīng)廣泛應(yīng)用于缺陷檢測(cè)等領(lǐng)域。以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regions with CNN Features，R-CNN）[4]、Fast R-CNN、Faster R-CNN等算法為代表的兩階段算法（Two-Stage)），以YOLO（You Only Look Once）系列[5-7]、單激發(fā)多盒檢測(cè)器（Single-Shot MultiBox Detector SSD）、RetinaNet等算法為代表的單階段算法（One-Stage）在缺陷檢測(cè)領(lǐng)域都得到了廣泛應(yīng)用。

周瑋等[8]利用濾波抑噪等方法對(duì)采集圖像進(jìn)行預(yù)處理，結(jié)合YOLOv3與AlexNet網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)包裝袋字符噴碼缺陷的定位與識(shí)別，但模型復(fù)雜計(jì)算量較大。Feng等[9]將可見(jiàn)光圖像分割與紅外圖像故障定位相結(jié)合，使用YOLOv5與殘差神經(jīng)網(wǎng)絡(luò)（ResNet）實(shí)現(xiàn)了對(duì)大型光伏電站中光伏組件缺陷的快速檢測(cè)，準(zhǔn)確率達(dá)到95%。王恩芝等[10]在YOLOv5的主干網(wǎng)絡(luò)上添加卷積注意力模塊，并結(jié)合自適應(yīng)空間特征融合的方法增強(qiáng)網(wǎng)絡(luò)的特征融合能力，在紡織品表面的缺陷檢測(cè)中達(dá)到98.8%的精度。但該算法嚴(yán)重依賴大量有明顯差異的樣本，對(duì)樣本集較少的情況，其魯棒性較差。

本文研究的試劑卡缺陷可分為形狀缺陷和位置缺陷。露白、缺損、漏印等形狀缺陷由改進(jìn)的YOLOv5s網(wǎng)絡(luò)直接檢出，網(wǎng)絡(luò)輸出結(jié)果結(jié)合后續(xù)圖像處理算法對(duì)偏移、歪斜等位置缺陷進(jìn)行檢測(cè)。試劑卡的露白缺陷特征細(xì)小而隱蔽，且容易受到光照變化的影響而與正常圖像混淆。樣本數(shù)量少導(dǎo)致的數(shù)據(jù)樣本不均衡等原因使得原始YOLOv5算法對(duì)露白缺陷檢出率不高，精度以及速度無(wú)法達(dá)到現(xiàn)代化生產(chǎn)線的檢測(cè)要求。為了解決上述問(wèn)題，本文提出一種針對(duì)試劑卡印刷缺陷的檢測(cè)算法，在YOLOv5s中引入Focal Loss損失函數(shù)，并嵌入ECA機(jī)制使得網(wǎng)絡(luò)更加關(guān)注缺陷目標(biāo)的特征，進(jìn)一步加速收斂并提升性能。針對(duì)YOLO系列目標(biāo)檢測(cè)算法無(wú)法識(shí)別目標(biāo)位置和角度偏移的問(wèn)題，設(shè)計(jì)一種可以對(duì)試劑卡的形狀與位置缺陷進(jìn)行檢測(cè)的算法。

1 預(yù)處理

本文算法流程如圖1所示，由工業(yè)相機(jī)采集試劑卡圖像后需要經(jīng)過(guò)預(yù)處理，以增強(qiáng)目標(biāo)特征。在與模板圖像配準(zhǔn)后制作缺陷數(shù)據(jù)集訓(xùn)練改進(jìn)的YOLOv5s網(wǎng)絡(luò)模型，通過(guò)該模型對(duì)缺損、露白、漏印3種缺陷進(jìn)行識(shí)別，同時(shí)輸出印刷區(qū)域坐標(biāo)信息。利用圖像處理算法精確定位印刷字符的位置，并構(gòu)建方位特征向量，通過(guò)相似度計(jì)算判定是否有偏移和歪斜缺陷，從而實(shí)現(xiàn)對(duì)試劑卡常見(jiàn)缺陷的快速檢測(cè)。

圖1 本文算法流程

1.1 圖像增強(qiáng)

工業(yè)相機(jī)直接采集的圖像由于工廠環(huán)境復(fù)雜、光照變化大等因素易引起噪聲和圖像模糊。為了使露白缺陷更易被檢出，需要對(duì)圖像進(jìn)行增強(qiáng)處理突出缺陷特征。首先選擇中值濾波的方法去除噪聲的干擾。然后進(jìn)行圖像銳化以突出灰度的過(guò)渡部分，增強(qiáng)圖像邊緣信息提高對(duì)比度。對(duì)圖像采用二值化處理方法，考慮到光照變化，因此選用最大類間方差法（OTSU）。未經(jīng)拉普拉斯銳化的露白特征明顯少于銳化后的圖像，最后通過(guò)Hough直線檢測(cè)進(jìn)行傾斜校正，并提取試劑卡ROI。各類試劑卡缺陷部分圖像具體如圖2所示。

圖2 試劑卡缺陷分類示意圖

1.2 圖像配準(zhǔn)

在試劑卡圖像的實(shí)際采集過(guò)程中，由于攝像機(jī)的機(jī)械振動(dòng)、傳感器噪聲等因素，導(dǎo)致獲取的圖像與標(biāo)準(zhǔn)模板存在一定差異[11]。為了降低這種差異，避免對(duì)后續(xù)方位特征向量的提取造成不良影響，有必要將待檢測(cè)圖像與標(biāo)準(zhǔn)模板進(jìn)行圖像配準(zhǔn)。

配準(zhǔn)過(guò)程中首先使用ORB（Oriented FAST and Rotated BRIEF）算法提取2幅圖像的特征點(diǎn)，保留最匹配的特征點(diǎn)并計(jì)算描述子。然后通過(guò)漢明距離（Hamming Distance）度量2個(gè)特征點(diǎn)描述子的相似度。最后通過(guò)暴力匹配法（Brute Force）篩選漢明距離滿足要求的特征點(diǎn)，建立匹配特征對(duì)。采用隨機(jī)抽樣一致（Random Sample Consensus，RANSAC）算法剔除誤匹配點(diǎn)對(duì)，優(yōu)化后的特征點(diǎn)對(duì)如圖3a所示。選擇3對(duì)最優(yōu)匹配的特征點(diǎn)計(jì)算校正待測(cè)圖像的單應(yīng)性矩陣。

通過(guò)式（2）進(jìn)行仿射變換，將待檢測(cè)圖像變換到標(biāo)準(zhǔn)圖像的坐標(biāo)系上實(shí)現(xiàn)圖像的配準(zhǔn)。配準(zhǔn)前后圖像如圖3b、c所示。

圖3 配準(zhǔn)結(jié)果

Fig.3 Registration results

2 改進(jìn)YOLOv5算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

YOLO（You Only Look Once）系列算法的核心思想是將目標(biāo)的邊界框、置信度和類別視為數(shù)值回歸的問(wèn)題。YOLOv5算法的網(wǎng)絡(luò)結(jié)構(gòu)包括輸入、Backbone主干網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)和Head預(yù)測(cè)頭部[12]。本文擬提出一種實(shí)現(xiàn)模型輕量化的設(shè)計(jì)方法，在保證檢測(cè)精度的同時(shí)，盡可能減少模型大小和計(jì)算量，因此選擇YOLOv5s進(jìn)行改進(jìn)。Backbone主干網(wǎng)絡(luò)將原先使用的Focus模塊替換為6×6大小的卷積層，在得到同等大小下采樣特征圖的同時(shí)降低了浮點(diǎn)運(yùn)算量。采用SPPF模塊代替原先的空間金字塔池化（Spatial Pyramid Pooling，SPP），將并行的最大池化層改為串行，縮小了卷積核的大小，顯著提高了運(yùn)行速度。結(jié)合跨階段局部網(wǎng)絡(luò)（Cross Stage Partial Network，CSPNet），從同一個(gè)特征圖中提取不同尺度的特征，提高檢測(cè)精度。隨后的特征金字塔網(wǎng)絡(luò)（feature Pyramid Network，F(xiàn)PN）將高層特征通過(guò)下采樣的方式向下傳遞，路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）將低層特征向上傳遞，兩者特征在傳遞過(guò)程中不斷融合，從而增強(qiáng)網(wǎng)絡(luò)的特征提取能力[13]。Head預(yù)測(cè)頭部輸出預(yù)測(cè)邊界框，并使用非極大值抑制（Non-Maximum Suppression，NMS）去除冗余框，得到最終檢測(cè)目標(biāo)的邊界框。

2.2 改進(jìn)損失函數(shù)

YOLOv5s的損失函數(shù)由置信度損失（Confidence Loss，obj）、分類損失（Classification Loss，cls）和邊框回歸損失（Bounding Box Regression Loss，box）三部分組成。使用二元交叉熵作為置信度和分類的損失函數(shù)[14]，交叉熵?fù)p失定義如下：

式中：為交叉熵?fù)p失，正樣本時(shí)=1，負(fù)樣本時(shí)=0；為激活函數(shù)的輸出，0<<1。

YOLOv5s在進(jìn)行目標(biāo)檢測(cè)時(shí)會(huì)生成大量的先驗(yàn)框，但只有少數(shù)區(qū)域包含檢測(cè)目標(biāo)，這些大量產(chǎn)生在圖片背景區(qū)域的先驗(yàn)框會(huì)導(dǎo)致正負(fù)樣本不均勻。在交叉熵?fù)p失計(jì)算中，每個(gè)訓(xùn)練樣本的權(quán)重是相等的，大量負(fù)樣本會(huì)提高網(wǎng)絡(luò)計(jì)算量并使檢測(cè)精度下降。為此本文引入焦點(diǎn)損失函數(shù)（Focal Loss）代替置信度損失，通過(guò)降低易分類樣本的權(quán)重，使模型更專注于困難樣本[15]，F(xiàn)ocal Loss的計(jì)算見(jiàn)式（4）。

本文選擇CIoU_Loss[16]作為邊框回歸損失，綜合考慮了預(yù)測(cè)框與真實(shí)框之間的重疊率、中心點(diǎn)距離、長(zhǎng)寬比，加速了網(wǎng)絡(luò)的收斂，并得到更高的回歸定位精度，有效提高了缺陷目標(biāo)在遮擋情況下的檢出率。其公式如下：

2.3 ECA注意力機(jī)制

通道注意力更加注重各個(gè)通道的相關(guān)性對(duì)網(wǎng)絡(luò)的影響，并可在網(wǎng)絡(luò)訓(xùn)練的不斷迭代中獲得不同通道的權(quán)重系數(shù)，從而提高目標(biāo)特征的權(quán)重。SE（Squeeze-Excitation）模塊[17]是一種常用的通道注意力機(jī)制，但其先降維再升維的操作不利于捕獲不同通道之間的關(guān)系，且結(jié)構(gòu)復(fù)雜帶來(lái)較重的計(jì)算負(fù)擔(dān)。Wang等[18]在改進(jìn)SE模塊的基礎(chǔ)上提出了ECA（Efficient Channel Attention）模塊，其核心思想是不降維的局部跨通道交互策略以及自適應(yīng)確定一維卷積核的大小，降低復(fù)雜度的同時(shí)帶來(lái)性能的提升。

ECA模塊首先對(duì)輸入特征圖進(jìn)行全局平均池化（Global Average Pooling, GAP），獲得未降維的特征；再通過(guò)大小為的一維卷積核獲取跨通道交互信息；最后使用sigmoid函數(shù)生成各通道的權(quán)重占比，將原始輸入特征與通道權(quán)重結(jié)合從而加強(qiáng)露白、缺損的特征，其結(jié)構(gòu)如圖4所示。ECA模塊用一維卷積操作代替全連接層，避免了對(duì)特征通道的壓縮，卷積核的大小代表了局部跨通道交互的覆蓋率，根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的變化自適應(yīng)改變，如式（8）所示。

本文將ECA模塊嵌入PAN結(jié)構(gòu)中的concat之后，對(duì)融合后的不同尺度特征圖進(jìn)行重要特征的加強(qiáng)，以獲得更高的缺陷目標(biāo)檢出率。改進(jìn)后的YOLOv5s-EF算法框架如圖5所示。

圖5 改進(jìn)的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

3 印刷缺陷識(shí)別

3.1 特征提取與構(gòu)建特征向量

待檢測(cè)圖像在送入YOLOv5s-EF網(wǎng)絡(luò)之前已進(jìn)行配準(zhǔn)校正。由于網(wǎng)絡(luò)輸出的印刷區(qū)域定位框是一個(gè)只能表示大致位置的水平矩形，無(wú)法檢出位置缺陷。所以需要在定位框的基礎(chǔ)上進(jìn)行二次精準(zhǔn)定位，并提取方位特征向量，將其與標(biāo)準(zhǔn)模板進(jìn)行相似度判定，從而判斷是否存在偏移和歪斜缺陷。具體流程如下：

1）印刷區(qū)域定位框裁剪。根據(jù)YOLOv5s-EF給出的定位框位置信息，對(duì)圖像相應(yīng)位置進(jìn)行裁剪。

2）二次精確定位。對(duì)于連通域完整的水滴和箭頭標(biāo)志圖像塊，用Canny算子提取輪廓邊緣，檢測(cè)到輪廓后使用cv.minAreaRect函數(shù)獲得連通域的最小外接矩形，從而實(shí)現(xiàn)精確定位。對(duì)于2塊字符彼此獨(dú)立的區(qū)域，則采用形態(tài)學(xué)梯度運(yùn)算中的基本梯度并進(jìn)行膨脹處理，最后計(jì)算最小外接矩形。二次定位的結(jié)果如圖6所示。

圖6 二次定位結(jié)果

3.2 缺陷檢測(cè)

待檢測(cè)圖像的露白、缺損、漏印缺陷可由YOLOv5s-EF網(wǎng)絡(luò)直接檢出，偏移、歪斜缺陷可以在提取印刷區(qū)域方位特征向量后，將其與標(biāo)準(zhǔn)模板的方位向量進(jìn)行比較，判斷的具體方法如下。

1）偏移缺陷。計(jì)算最小外接矩形4個(gè)頂點(diǎn)和中心點(diǎn)與標(biāo)準(zhǔn)模板中對(duì)應(yīng)點(diǎn)的平均距離。如果平均距離超過(guò)閾值，則認(rèn)為存在偏移缺陷。計(jì)算式見(jiàn)式（10）。

式中：P、P為待測(cè)圖像上印刷區(qū)域方位特征向量點(diǎn)的橫縱坐標(biāo)；Q、Q為標(biāo)準(zhǔn)模板圖像上相應(yīng)點(diǎn)的坐標(biāo)；t、t為最小外接矩形的高和寬。

式中：1、2、P的坐標(biāo)分別為(1,1)、(2,2)、(2,1)。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)平臺(tái)

本文采用自制試劑卡缺陷數(shù)據(jù)集進(jìn)行訓(xùn)練，搭建OpenCV深度學(xué)習(xí)平臺(tái)，處理器為AMD Ryzen 7 5800H，32 G運(yùn)行內(nèi)存，顯卡為NVIDIA GEFORCE RTX3060。試劑卡缺陷檢測(cè)模型在PyTorch框架下構(gòu)建，開(kāi)發(fā)環(huán)境為python 3.8，opencv版本為4.5.1.48。

4.2 數(shù)據(jù)集與模型訓(xùn)練

本文數(shù)據(jù)集來(lái)自現(xiàn)場(chǎng)拍攝，選用西安維視公司生產(chǎn)的MV-EM510M/C型CCD相機(jī)，最高分辨率為2 456×2 058。采集包括無(wú)缺陷、字符露白、缺損，印刷偏移、歪斜、漏印等5種常見(jiàn)的缺陷圖像共1 200張，各類試劑卡缺陷種類的數(shù)量分布如圖7所示。針對(duì)數(shù)據(jù)量不足的問(wèn)題，采用平移、旋轉(zhuǎn)、對(duì)比度調(diào)節(jié)等方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充[19]，擴(kuò)充后的數(shù)據(jù)集共有4 800張圖像，將其按照6∶2∶2的比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集進(jìn)行模型訓(xùn)練。輸入圖像大小為640×640，訓(xùn)練中優(yōu)化器使用隨機(jī)梯度下降，訓(xùn)練批次為32，動(dòng)量為0.937，權(quán)重衰減系數(shù)為0.000 5。初始學(xué)習(xí)率為0.01，并采用Warm-up的方法預(yù)熱，最后采用余弦退火算法更新學(xué)習(xí)率，訓(xùn)練迭代次數(shù)為200。

圖7 數(shù)據(jù)集種類及其數(shù)量分布

4.3 評(píng)價(jià)指標(biāo)

為了驗(yàn)證YOLOv5s-EF的性能，本文采用深度學(xué)習(xí)常用評(píng)價(jià)指標(biāo)，如平均精度（Average Precision,P）、平均精度均值（mean Average Precision,mAP）和檢測(cè)速度等。P指P-R曲線的面積，mAP的值則是通過(guò)所有類別的P求均值得到，計(jì)算方法如式（15）、（16）所示[20]。

4.4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證在損失函數(shù)中引入Focal Loss能否加速網(wǎng)絡(luò)的收斂，使用改進(jìn)前后的網(wǎng)絡(luò)在相同數(shù)據(jù)集上進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程中損失變化如圖8所示，其中點(diǎn)線為原始YOLOv5s的損失，虛線為引入Focal Loss后的損失變化情況。由圖8可以看出，前50輪損失值下降較快，隨后逐漸趨于平緩；在引入焦損函數(shù)代替置信度和分類損失后，在各輪都獲得了更低的損失值，同時(shí)相較原始模型更快收斂，最終損失值穩(wěn)定在0.016左右，訓(xùn)練過(guò)程均未出現(xiàn)過(guò)擬合現(xiàn)象。

圖8 改進(jìn)前后損失曲線

為了驗(yàn)證本文提出的試劑卡缺陷檢測(cè)算法的性能，對(duì)原始數(shù)據(jù)集中的1 200張圖像進(jìn)行重復(fù)實(shí)驗(yàn)，并統(tǒng)計(jì)各類缺陷的檢出率，如表1所示。

表1 本文算法對(duì)各類缺陷檢測(cè)性能統(tǒng)計(jì)

Tab.1 Performance statistics of various defects detected by the present algorithm

由表1可以看出，本文算法在測(cè)試集上的總檢出率可以達(dá)到97.3%，各類缺陷的檢出率均可達(dá)到96%以上，表現(xiàn)出較好的穩(wěn)定性，可以滿足當(dāng)前對(duì)試劑卡印刷缺陷的檢測(cè)要求。YOLOv5s-EF網(wǎng)絡(luò)結(jié)合位置缺陷檢測(cè)算法完整檢測(cè)一張圖片的速度平均值為22.6幀/s，滿足實(shí)時(shí)性要求。

圖9為YOLOv5s-EF在測(cè)試集上的缺陷檢測(cè)結(jié)果。由圖9可以看出，模型對(duì)各印刷區(qū)域的檢測(cè)效果較好，其中露白（Loubai）和缺損（Defect）缺陷的置信度均超過(guò)0.9。對(duì)露白特征較少的缺陷也能精準(zhǔn)的識(shí)別，可見(jiàn)ECA注意力機(jī)制的添加有效增強(qiáng)了模型對(duì)缺陷細(xì)小特征的提取能力，以及與正常字符的區(qū)分能力。

圖9 改進(jìn)YOLOv5s實(shí)驗(yàn)結(jié)果

4.5 實(shí)驗(yàn)對(duì)比分析

為驗(yàn)證添加注意力機(jī)制和引入Focal Loss損失函數(shù)對(duì)檢測(cè)結(jié)果的影響，本文在實(shí)驗(yàn)中設(shè)置原始網(wǎng)絡(luò)結(jié)構(gòu)+交叉熵?fù)p失函數(shù)（YOLOv5s）、添加ECA注意力機(jī)制+交叉熵?fù)p失函數(shù)（YOLOv5s-E）、添加ECA注意力機(jī)制+Focal loss損失函數(shù)（YOLOv5s-EF）3組實(shí)驗(yàn)進(jìn)行對(duì)比，對(duì)比結(jié)果如表2所示。

表2 不同模型的檢測(cè)性能對(duì)比

Tab.2 Comparison of detection performance of different models

添加ECA注意力機(jī)制后，mAP由93.5%增加到95.3%，增加了1.8%。其中露白缺陷的檢測(cè)效果提升較大，露白的P提升了2.1%，缺損的AP值也提升了1.5%。主要是因?yàn)槁栋兹毕菔芄庹兆兓绊戄^大、特征不顯著等使得原始算法易將其誤判為正常圖像。高效通道注意力機(jī)制的添加使得網(wǎng)絡(luò)更加關(guān)注特征圖中通道位置上的關(guān)鍵信息，更好地提取缺陷特征，從而提高了檢測(cè)的準(zhǔn)確率。同時(shí)也導(dǎo)致檢測(cè)速度降低了8.5幀/s，但仍然滿足實(shí)時(shí)性的要求。使用Focal Loss代替交叉熵?fù)p失函數(shù)后mAP值進(jìn)一步增加到95.9%，增加了0.6%；露白的P提高了1.5%?？梢?jiàn)因子有效平衡了正負(fù)樣本的權(quán)重，因子則減少了易分類樣本的損失，使模型更加專注于學(xué)習(xí)難分類樣本。缺損的p略有下降，主要原因是數(shù)據(jù)集中缺損樣本的數(shù)量較多，特征較露白缺陷更易識(shí)別，引入Focal loss后其損失權(quán)重占比有所下降。綜上，引入Focal Loss更有利于提高模型檢測(cè)精度，加速網(wǎng)絡(luò)收斂。

表3對(duì)比分析了當(dāng)前主流的目標(biāo)檢測(cè)算法與本文算法在試劑卡表面缺陷數(shù)據(jù)集上的性能。在包括了合格、露白、缺損共900張圖像上，用平均精度均值以及檢測(cè)速度來(lái)衡量各算法的性能。

表3 改進(jìn)YOLOv5s與其他目標(biāo)檢測(cè)模型性能比較結(jié)果

Tab.3 Performance comparison results of improved YOLOv5s and other target detection models

由表3可知，在同樣的測(cè)試集上，YOLOv5s-EF的平均精度為95.9%，比Faster RCNN、SSD、YOLOv5s算法分別提高了5.7%、7.5%、2.4%，檢測(cè)精度為各算法中最高。從檢測(cè)速度看，YOLOv5s-EF平均每秒可以檢測(cè)36.3張圖片，因其添加了ECA注意力機(jī)制，增加了算法的部分計(jì)算量，使其較YOLOv5s算法降低了9.3幀/s。雖然幀率有所降低，但mAP提高了2.4%。YOLOv5s-EF較Faster RCNN提升了27.15幀/s，而較SSD則有所降低，但其檢測(cè)精度更高。綜上，本文提出的改進(jìn)算法能獲得很好的檢測(cè)精度、平均精度均值，滿足試劑卡缺陷檢測(cè)對(duì)精度的要求，同時(shí)在檢測(cè)時(shí)間上仍有較大優(yōu)勢(shì)。

為了進(jìn)一步驗(yàn)證YOLOv5s-EF的穩(wěn)定性，采用PASCAL VOC 2007數(shù)據(jù)集對(duì)改進(jìn)模型進(jìn)行訓(xùn)練。數(shù)據(jù)集共9 963張圖片，包含20個(gè)種類。在相同實(shí)驗(yàn)環(huán)境下使用改進(jìn)前后的算法進(jìn)行實(shí)驗(yàn)，檢測(cè)性能數(shù)據(jù)如表4所示。從表4可以看出，所提方法的mAP較原始算法的提高了4.2%。ECA注意力機(jī)制的添加增強(qiáng)了網(wǎng)絡(luò)的檢測(cè)能力，同時(shí)檢測(cè)速度有所下降，客觀反映了所提算法具有較好的泛化性和穩(wěn)定性。

表4 實(shí)驗(yàn)對(duì)比結(jié)果

Tab.4 Experimental comparison results

5 結(jié)語(yǔ)

針對(duì)生產(chǎn)線上試劑卡露白等缺陷的特征細(xì)小而隱蔽，難以在復(fù)雜環(huán)境下進(jìn)行高精度檢測(cè)的問(wèn)題，提出一種試劑卡缺陷檢測(cè)算法。該方法在原YOLOv5s模型的基礎(chǔ)上，通過(guò)嵌入ECA注意力機(jī)制，使網(wǎng)絡(luò)更加關(guān)注目標(biāo)特征，以獲得更高的缺陷目標(biāo)檢出率；采用Focal loss代替原有的置信度損失函數(shù)來(lái)緩解正負(fù)樣本不平衡的問(wèn)題，加速網(wǎng)絡(luò)的收斂。本文算法在測(cè)試集上的總檢出率可以達(dá)到97.3%，速度為22.6幀/s，表現(xiàn)出較好的穩(wěn)定性，實(shí)現(xiàn)了多類試劑卡缺陷的高精度快速檢測(cè)。下一步將圍繞如何將試劑卡缺陷檢測(cè)算法部署在工控機(jī)上，并對(duì)模型進(jìn)行進(jìn)一步的剪枝和性能改進(jìn)，以實(shí)現(xiàn)生產(chǎn)線上試劑卡缺陷的實(shí)時(shí)檢測(cè)。

[1] 胡宜笑. 印刷品缺陷檢測(cè)研究與應(yīng)用[D]. 長(zhǎng)沙: 湖南大學(xué), 2020: 27-28.

HU Yi-xiao. Research and Application of Printing Defect Detection[D]. Changsha: Hunan University, 2020: 27-28.

[2] 胡方尚, 郭慧. 基于改進(jìn)多類支持向量機(jī)的印刷缺陷檢測(cè)[J]. 華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2017, 43(1): 143-148.

HU Fang-shang, GUO Hui. Printing Defects Inspection Based on Improved Multi-Class Support Vector Machine[J]. Journal of East China University of Science and Technology (Natural Science Edition), 2017, 43(1): 143-148.

[3] 馮秋歌, 吳祿慎, 王曉輝. 基于視覺(jué)的印刷字符缺陷自動(dòng)檢測(cè)方法[J]. 南昌大學(xué)學(xué)報(bào)(工科版), 2018, 40(4): 385-389.

FENG Qiu-ge, WU Lu-shen, WANG Xiao-hui. Design of Automatic Printing Character Defects Detection System Based on Machine Vision[J]. Journal of Nanchang University (Engineering & Technology), 2018, 40(4): 385-389.

[4] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587.

[5] REDMON J, DIVVALA S, GIRSHICK R, et al. You only Look Once: Unified, Real-Time Object Detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 779-788.

[6] REDMON J, FARHADI A. YOLO9000: Better, Faster, Stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Honolulu, 2017: 6517-6525.

[7] REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[EB/OL]. 2018: arXiv: 1804.02767. https:// arxiv.org/abs/1804.02767

[8] 周瑋, 門耀華, 辛立剛. 基于機(jī)器視覺(jué)的柔性包裝袋噴碼缺陷檢測(cè)研究[J]. 包裝工程, 2022, 43(9): 249-256.

ZHOU Wei, MEN Yao-hua, XIN Li-gang. Inspection of Coding Defects in Flexible Packaging Bags Based on Machine Vision[J]. Packaging Engineering, 2022, 43(9): 249-256.

[9] FENG Hong, JIE Song, HANG Meng, et al. A Novel Framework on Intelligent Detection for Module Defects of PV Plant Combining the Visible and Infrared Images[J]. Solar Energy, 2022, 236: 406-416.

[10] 王恩芝, 張團(tuán)善, 劉亞. 基于改進(jìn)Yolo v5的織物缺陷檢測(cè)方法[J]. 輕工機(jī)械, 2022, 40(2): 54-60.

WANG En-zhi, ZHANG Tuan-shan, LIU Ya. Fabric Defect Detection Method Based on Improved Yolo V5[J]. Light Industry Machinery, 2022, 40(2): 54-60.

[11] 胡方尚, 郭慧, 邢金鵬, 等. 基于印刷缺陷檢測(cè)的圖像配準(zhǔn)方法研究[J]. 光學(xué)技術(shù), 2017, 43(1): 16-21.

HU Fang-shang, GUO Hui, XING Jin-peng, et al. Image Registration Based on Label Printing Defect Detection[J]. Optical Technique, 2017, 43(1): 16-21.

[12] 楊其晟, 李文寬, 楊曉峰, 等. 改進(jìn)YOLOv5的蘋果花生長(zhǎng)狀態(tài)檢測(cè)方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2022, 58(4): 237-246.

YANG Qi-sheng, LI Wen-kuan, YANG Xiao-feng, et al. Improved YOLOv5 Method for Detecting Growth Status of Apple Flowers[J]. Computer Engineering and Applications, 2022, 58(4): 237-246.

[13] 于娟, 羅舜. 基于YOLOv5的違章建筑檢測(cè)方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2021, 57(20): 236-244.

YU Juan, LUO Shun. Detection Method of Illegal Building Based on YOLOv5[J]. Computer Engineering and Applications, 2021, 57(20): 236-244.

[14] 李志軍, 楊圣慧, 史德帥, 等. 基于輕量化改進(jìn) YOLOv5 的蘋果樹(shù)產(chǎn)量測(cè)定方法[J]. 智慧農(nóng)業(yè)(中英文), 2021(2): 100-114.

LI Zhi-jun, YANG Sheng-hui, SHI De-shuai, et al. Yield Estimation Method of Apple Tree Based on Improved Lightweight YOLOv5[J]. Smart Agriculture, 2021(2): 100-114.

[15] YING Zhi-ping, LIN Zhong-tao, WU Zhen-yu, et al. A Modified-YOLOv5s Model for Detection of Wire Braided Hose Defects[J]. Measurement, 2022, 190: 406-416.

[16] ZHENG Zhao-hui, WANG Ping, REN Dong-wei, et al. Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation[J]. IEEE Transactions on Cybernetics, 2021, 26(8): 1-13.

[17] HU J, SHEN L, SUN G. Squeeze-and-Excitation Networks[C]// USA: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.

[18] WANG Q L, WU B G, ZHU P F, et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks[C]// 2020 IEEE CVF Conference on Computer Vision and Pattern Recognition (CVPR), Piscataway, 2020: 11531-11539.

[19] 周宇杰, 徐善永, 黃友銳, 等. 基于改進(jìn)YOLOv4的輸送帶損傷檢測(cè)方法[J]. 工礦自動(dòng)化, 2021, 47(11): 61-65.

ZHOU Yu-jie, XU Shan-yong, HUANG You-rui, et al. Conveyor Belt Damage Detection Method Based on Improved YOLOv4[J]. Industry and Mine Automation, 2021, 47(11): 61-65.

[20] 王靜, 孫紫雲(yún), 郭蘋, 等. 改進(jìn)YOLOv5的白細(xì)胞檢測(cè)算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2022, 58(4): 134-142.

WANG Jing, SUN Zi-yun, GUO Ping, et al. Improved Leukocyte Detection Algorithm of YOLOv5[J]. Computer Engineering and Applications, 2022, 58(4): 134-142.

Reagent Card Printing Defect Detection Algorithm Based on Improved YOLOv5

LIU Guo-qing1, FANG Cheng-gang1*, HUANG De-jun2, LONG Chao1

(1. School of Mechanical and Power Engineering, Nanjing Tech University, Nanjing 211800, China; 2. Nanjing Zicheng Engineering Design Co., Ltd., Nanjing 211800, China)

The work aims to propose an improved reagent card printing defect detection algorithm YOLOv5s-EF based on deep neural network YOLOv5s to solve the problems of low efficiency, high cost and easy to miss detection in manual sorting of reagent cards with printing defects in reagent card manufacturers. High-quality defect image data sets were obtained by image preprocessing algorithm. Efficient Channel Attention (ECA) mechanism was added to the backbone feature extraction network of YOLOv5s to enhance the representation ability of important features in feature maps. Focal loss function was introduced to alleviate the influence of imbalance between positive and negative samples. Combined with the positioning results of the printing area, a method of similarity matching of feature vectors was proposed, which was based on the quadratic accurate positioning and the construction of azimuth feature vectors. The experimental results showed that the average detection accuracy of the reagent card printing defect detection algorithm proposed in this paper could reach 97.3% and the speed was 22.6 FPS on the test set. Compared with other network models, it can identify and locate various printing defects. The model has good detection speed and robustness, which is beneficial to improve the intelligent level of enterprise production.

defect detection; YOLOv5s; deep learning; ECA mechanism; focal loss function

TP391

A

1001-3563(2023)17-0197-09

10.19554/j.cnki.1001-3563.2023.17.024

2022-12-30

責(zé)任編輯：曾鈺嬋