面向智能手機(jī)玻璃蓋板缺陷檢測(cè)的YOLOv3改進(jìn)和應(yīng)用

伍濟(jì)鋼， 成 遠(yuǎn)， 邵 俊， 陽(yáng)德強(qiáng)

(湖南科技大學(xué) 機(jī)械設(shè)備健康維護(hù)湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 湘潭 411201)

1 引 言

智能手機(jī)玻璃蓋板位于手機(jī)屏幕最外層，是屏幕的堅(jiān)實(shí)外殼和觸摸媒介。隨著人工智能的快速發(fā)展和5G時(shí)代的到來，智能手機(jī)已成為必備工具[1]，人們對(duì)智能手機(jī)的品質(zhì)要求也越來越高。智能手機(jī)玻璃蓋板在生產(chǎn)過程中不可避免地會(huì)產(chǎn)生各類缺陷，如崩邊、劃痕、臟污、坑點(diǎn)等。為了滿足用戶對(duì)智能手機(jī)高品質(zhì)的要求，生產(chǎn)企業(yè)必須對(duì)智能手機(jī)玻璃蓋板進(jìn)行100%的高標(biāo)準(zhǔn)質(zhì)檢?，F(xiàn)階段的大批量生產(chǎn)中主要還是依靠質(zhì)檢工人借助強(qiáng)光燈、放大鏡等工具進(jìn)行目視檢測(cè)，受人的身體素質(zhì)和經(jīng)驗(yàn)等的影響，存在檢測(cè)效率低、成本高、誤檢率高、勞動(dòng)強(qiáng)度大等問題。因此，研究可替代人工的手機(jī)玻璃蓋板缺陷檢測(cè)方法具有重要意義。

智能手機(jī)玻璃蓋板缺陷檢測(cè)對(duì)自動(dòng)檢測(cè)方法提出了以下要求：(1) 檢測(cè)方法柔性好，能夠適應(yīng)各種類型各種形態(tài)的缺陷；(2) 檢測(cè)方法泛化能力強(qiáng)，能適應(yīng)缺陷特征不明顯、多尺度等特點(diǎn)；(3) 檢測(cè)方法實(shí)時(shí)性好，能適應(yīng)大批量生產(chǎn)的節(jié)拍；(4) 良率高，可完全替代人工檢測(cè)。目前，傳統(tǒng)方法大多采用機(jī)器視覺的差影法[2-3]、背景消除法[4]和閾值分割法[5-7]等進(jìn)行智能手機(jī)玻璃蓋板缺陷檢測(cè)。傳統(tǒng)方法一般只能針對(duì)某一類缺陷或有周期性紋理的缺陷進(jìn)行檢測(cè)，無法滿足柔性檢測(cè)要求。同時(shí)，這些方法受噪聲影響較大，導(dǎo)致檢測(cè)精度不高。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法[8-11]通過搭建各種不同的網(wǎng)絡(luò)結(jié)構(gòu)，搭配使用強(qiáng)大的訓(xùn)練算法自適應(yīng)地學(xué)習(xí)圖像高級(jí)語(yǔ)義信息的表示[12]，在檢測(cè)精度和效率方面相對(duì)于傳統(tǒng)方法有了較大的提升。目前也開始將深度學(xué)習(xí)的方法應(yīng)用至手機(jī)玻璃蓋板缺陷檢測(cè)[13-14]，這些方法可以實(shí)現(xiàn)對(duì)手機(jī)玻璃蓋板的柔性檢測(cè)，但存在模型參數(shù)量大、檢測(cè)時(shí)間與精度無法均衡等問題。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，YOLOv3[15]算法在缺陷檢測(cè)方面表現(xiàn)出較好的檢測(cè)精度和檢測(cè)速度。巫明秀等利用改進(jìn)YOLOv3實(shí)現(xiàn)對(duì)棉花異性纖維進(jìn)行檢測(cè)[16]。李維剛[17]等利用YOLOv3算法對(duì)帶鋼表面的壓入氧化鐵皮、斑塊、裂紋等缺陷進(jìn)行了檢測(cè)。陳宏彩等人[18]將YOLOv3算法用于醫(yī)藥玻璃瓶缺陷檢測(cè)上，能有效檢測(cè)玻璃瓶上的管端殘損、氣線、氣泡、劃傷、污漬和結(jié)石等缺陷。盡管YOLOv3算法能對(duì)表面缺陷進(jìn)行柔性檢測(cè)，但要求缺陷特征明顯且尺度跨度不大，在檢測(cè)實(shí)時(shí)性方面有待進(jìn)一步提高。

本文首次將YOLOv3引入到智能手機(jī)玻璃蓋板缺陷檢測(cè)。針對(duì)缺陷檢測(cè)的實(shí)際特點(diǎn)和具體要求，對(duì)YOLOv3算法進(jìn)行了改進(jìn)，在特征提取網(wǎng)絡(luò)方面增加了通道注意力機(jī)制SENet[19]以解決缺陷特征不明顯的問題，在特征檢測(cè)網(wǎng)絡(luò)方面增加了104×104維度大小的特征圖以解決缺陷多尺度的問題，將卷積網(wǎng)絡(luò)批量歸一化(Batch Normalization，BN)層的縮放因子系數(shù)作為重要性因子進(jìn)行模型剪枝以提高缺陷檢測(cè)速度。將改進(jìn)的YOLOv3算法應(yīng)用于智能手機(jī)玻璃蓋板缺陷檢測(cè)。從智能手機(jī)玻璃蓋板制造企業(yè)獲得了涵蓋崩邊、坑點(diǎn)、臟污和劃痕等4類缺陷的生產(chǎn)現(xiàn)場(chǎng)圖片15 914張，14 321張經(jīng)標(biāo)注后作為訓(xùn)練集，1 593張作為測(cè)試集，對(duì)本文提出的方法和FasterR-CNN、YOLOv3、YOLOv4等算法進(jìn)行對(duì)比實(shí)驗(yàn)和分析。

2 YOLOv3算法介紹

2.1 YOLOv3檢測(cè)原理

YOLOv3由Redmon在2018年提出，算法仿照特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN)設(shè)計(jì)類別與位置預(yù)測(cè)，采用3個(gè)不同尺度特征圖層來完成對(duì)不同大小的目標(biāo)檢測(cè)。在檢測(cè)時(shí)，通過將包含檢測(cè)目標(biāo)的圖片劃分成S×S的網(wǎng)格，網(wǎng)格的寬和高記為cx、cy，當(dāng)目標(biāo)物體的中心落到某一個(gè)網(wǎng)格(Grid cell)當(dāng)中時(shí)，該網(wǎng)格輸出相對(duì)于網(wǎng)格左上角的相對(duì)中心點(diǎn)坐標(biāo)(σ(tx),σ(ty))，以及相對(duì)寬tw和相對(duì)高th，通過所在網(wǎng)格的實(shí)際位置，寬和高得到最終的目標(biāo)預(yù)測(cè)框[20]，具體如圖1所示。

圖1 YOLOv3預(yù)測(cè)框示意圖Fig.1 Schematic diagram of YOLOv3 prediction box

圖1中，紅色框?yàn)閷?shí)際預(yù)測(cè)框，虛線框?yàn)殄^框。YOLOv3在經(jīng)過運(yùn)算之后，得到預(yù)測(cè)框中心點(diǎn)坐標(biāo)(bx,by)、寬bw和高bh，其中：

bx=cx+σ(tx)，

(1)

by=cy+σ(ty)，

(2)

bw=pwetw，

(3)

bh=pheth，

(4)

2.2 YOLOv3網(wǎng)絡(luò)框架

YOLOv3算法采用Darknet-53網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)，對(duì)3種不同尺度的特征圖層進(jìn)行檢測(cè)，YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)模型Fig.2 Structure model of the YOLOv3 network

在YOLOv3進(jìn)行檢測(cè)過程中，會(huì)產(chǎn)生3種不同尺度類型的特征圖，其大小分別為13×13，26×26，52×52，每個(gè)維度的特征圖對(duì)應(yīng)不同的感受野和錨框。其中13×13的特征圖感受野較大，所對(duì)應(yīng)的錨框大小也最大，適合較大尺寸物體檢測(cè)。52×52的特征圖感受野最小，對(duì)應(yīng)錨框也最小，適合對(duì)小物體進(jìn)行檢測(cè)。

3 YOLOv3算法改進(jìn)

3.1 添加通道注意力機(jī)制SENet

手機(jī)玻璃蓋板缺陷具有特征不明顯、缺陷尺度較小的特點(diǎn)?；赮OLOv3算法對(duì)手機(jī)玻璃蓋板進(jìn)行缺陷檢測(cè)的特征提取過程中，沒有考慮圖像各個(gè)通道的重要性程度，使網(wǎng)絡(luò)對(duì)于無關(guān)信息和重要信息以同樣權(quán)重進(jìn)行提取，導(dǎo)致小目標(biāo)缺陷及特征不明顯的缺陷檢測(cè)精度較低。通道注意力機(jī)制SENet通過對(duì)卷積特征中通道的相互關(guān)系進(jìn)行建模，對(duì)卷積神經(jīng)網(wǎng)絡(luò)特定層中的通道響應(yīng)進(jìn)行重新賦權(quán)，以增強(qiáng)網(wǎng)絡(luò)對(duì)有用信息的提取。因此，本文結(jié)合SENet對(duì)YOLOv3特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn)。

SENet包含3個(gè)主要部分：壓縮(Squeeze)、激勵(lì)(Excitation)、權(quán)重賦值。壓縮操作對(duì)經(jīng)轉(zhuǎn)換操作后得到的特征圖進(jìn)行編碼，將每個(gè)通道上W×H二維特征圖uc壓縮為一個(gè)具有全局感受野的實(shí)數(shù)zc，這個(gè)實(shí)數(shù)即代表該通道的原始權(quán)重，采用全局平均池化公式得到，計(jì)算公式為：

(5)

激活操作采用包含多層的多層感知機(jī)對(duì)得到的通道原始權(quán)重進(jìn)行歸一化處理，多層感知機(jī)由全連接層和ReLU激活函數(shù)和全連接層與Sigmoid激活函數(shù)組成，最終得到各通道的權(quán)重為sc，其計(jì)算公式為：

sc=Fex(z,w)=
σ(g(z,w))=σ(w2δ(w1z))，

(6)

式(6)中：δ函數(shù)是ReLU激活函數(shù)，σ是Sigmoid激活函數(shù)。

(7)

?表示逐元素相乘，通過以上方式實(shí)現(xiàn)對(duì)通道的權(quán)重賦值?；窘Y(jié)構(gòu)如圖3所示。

圖3 SENet基本結(jié)構(gòu)Fig.3 Basic structure of SENet

3.2 改進(jìn)特征檢測(cè)網(wǎng)絡(luò)

手機(jī)玻璃蓋板的缺陷中，尺度跨度較大且小目標(biāo)缺陷較多。YOLOv3算法采用3個(gè)不同尺度的特征圖對(duì)圖像進(jìn)行檢測(cè)，特征圖的尺寸大小分別為原圖像大小的1/8、1/16、1/32。其中適合檢測(cè)小目標(biāo)的特征圖對(duì)應(yīng)寬和高為原始圖像的1/8，故YOLOv3對(duì)于像素大小在8×8范圍內(nèi)的目標(biāo)檢測(cè)效果不佳，容易出現(xiàn)漏檢或誤檢現(xiàn)象，影響檢測(cè)精確度。

因此，本文對(duì)YOLOv3算法的特征檢測(cè)網(wǎng)絡(luò)進(jìn)行改進(jìn)。改進(jìn)的檢測(cè)層在原始13×13、26×26、52×52維度的特征圖基礎(chǔ)上，繼續(xù)進(jìn)行4倍下采樣，得到尺度大小為104×104的特征圖，利用更淺層的特征信息，提升對(duì)小目標(biāo)檢測(cè)效果。結(jié)合通道注意力模塊，得到改進(jìn)后的YOLOv3網(wǎng)絡(luò)記為YOLOv3-improve1，如圖4所示。

圖4 YOLOv3-improve1檢測(cè)網(wǎng)絡(luò)Fig.4 YOLOv3-improve1 detection network

圖4中，Conv為5層卷積層，其由3×3和1×1的卷積交替而成，不同之處是它們有著不同的卷積核大小。藍(lán)色實(shí)線框?yàn)閅OLOv3的特征提取網(wǎng)絡(luò)，紅色虛線框?yàn)樵黾拥臋z測(cè)層。改進(jìn)后的YOLOv3有4個(gè)維度的特征圖，分別是13×13，26×26，52×52，104×104。其中104×104的特征圖是改進(jìn)網(wǎng)絡(luò)之后得到的，它融合了網(wǎng)絡(luò)第109層所包含的深層信息，以及第11層的淺層信息，在小目標(biāo)檢測(cè)方面有更進(jìn)一步的提升。

3.3 YOLOv3模型剪枝改進(jìn)

在大批量生產(chǎn)中，為滿足生產(chǎn)節(jié)拍的需求，對(duì)檢測(cè)算法提出了實(shí)時(shí)性的要求。采用YOLOv3算法進(jìn)行檢測(cè)時(shí)，其網(wǎng)絡(luò)參數(shù)較多，計(jì)算量大，工業(yè)現(xiàn)場(chǎng)的計(jì)算機(jī)終端運(yùn)算能力有限。因此，必須在保證檢測(cè)精度的情況下，減少模型運(yùn)算，從而提升檢測(cè)速度。本文借鑒Liu[21]提出的Network Slimming思想，對(duì)YOLOv3進(jìn)行通道剪枝和層剪枝。

對(duì)于網(wǎng)絡(luò)通道剪枝，根據(jù)卷積網(wǎng)絡(luò)中BN層的縮放因子γ系數(shù)作為重要性因子。γ越小，說明此通道越不重要，可對(duì)其進(jìn)行剪枝。算法整體的目標(biāo)優(yōu)化函數(shù)如下：

(8)

式(8)中：第一項(xiàng)為模型預(yù)測(cè)損失，第二項(xiàng)是關(guān)于γ的正則項(xiàng)，λ是權(quán)衡兩項(xiàng)的超參數(shù)，一般賦值為1e-4或1e-5，表達(dá)式為g(*)，即L1范數(shù)。整體剪枝過程如圖5所示。

圖5 YOLOv3模型剪枝過程圖Fig.5 Diagram of the pruning process of YOLOv3 model

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)

本文實(shí)驗(yàn)平臺(tái)為超微infreesys服務(wù)器，操作系統(tǒng):Ubuntu 18.04LTS;CPU：Intel W2123;內(nèi)存：32 G;顯卡：NVDIA Geforce RTX2080Ti×2;顯存：16 GB×2;深度學(xué)習(xí)框架：Pytorch。

從某智能手機(jī)玻璃蓋板制造企業(yè)獲得了涵蓋崩邊、坑點(diǎn)、臟污和劃痕等4類缺陷的生產(chǎn)現(xiàn)場(chǎng)圖片15 914張，對(duì)所有采集到的照片采用labelImg軟件進(jìn)行標(biāo)記，崩邊標(biāo)記為chipped edge，坑點(diǎn)標(biāo)記為pit point，劃痕標(biāo)記為scratching，臟污標(biāo)記為soiling，根據(jù)YOLOv3所要求的VOC數(shù)據(jù)集格式制作本研究的數(shù)據(jù)集。在所有數(shù)據(jù)集中，由于總數(shù)量較大，選取9∶1比例將數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，測(cè)試數(shù)據(jù)集有1 593張，可以較好地評(píng)估模型效果。訓(xùn)練數(shù)據(jù)集照片有14 321張，相比于其他比例進(jìn)行劃分，9∶1比例得到的訓(xùn)練數(shù)據(jù)集可以更加適合模型的訓(xùn)練。4類典型的缺陷如圖6所示。

本文在YOLOv3算法特征提取網(wǎng)絡(luò)增加通道注意力機(jī)制，然后在特征檢測(cè)網(wǎng)絡(luò)中增加104×104大小的特征圖得到改進(jìn)的YOLOv3算法稱為YOLOv3-improve1，在YOLOv3-improve1基礎(chǔ)上進(jìn)行模型剪枝得到的算法稱為YOLOv3-improve2。利用Faster R-CNN、YOLOv3、YOLOv4、YOLOv3-improve1、YOLOv3-improve2算法對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試。其中每批次訓(xùn)練樣本數(shù)量batch設(shè)置為16，subdivision為8。網(wǎng)絡(luò)輸入圖像大小設(shè)為416×416×3，其中3為圖像通道數(shù)，動(dòng)量momentum設(shè)置為0.9。YOLOv3算法有3層檢測(cè)層，每層分配3個(gè)錨框，則總共需要9個(gè)錨框，而YOLOv3-improve1、YOLOv3-improve2算法有4層檢測(cè)層，每層設(shè)置3個(gè)錨框，總共需要12個(gè)錨框，且它們的錨框尺寸相等。根據(jù)K-means聚類算法聚類出相關(guān)的錨框信息如表1所示。

圖6 智能手機(jī)玻璃蓋板典型缺陷圖Fig.6 Smartphone cover glass typical defect map

表1 各算法的錨框尺寸表Tab.1 Table of anchor box sizes for each algorithm

4.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)對(duì)3個(gè)算法進(jìn)行訓(xùn)練，訓(xùn)練epochs為500，參數(shù)優(yōu)化方式采用Adam方式。3個(gè)算法訓(xùn)練的損失值由邊界框損失值、坐標(biāo)損失值、分類損失值、置信度損失值組成，其3個(gè)算法總的損失值對(duì)比曲線如圖7所示。

圖7中YOLOv3-improve2算法的損失值是進(jìn)行微調(diào)訓(xùn)練時(shí)得到的損失值，故其初始損失值相對(duì)于其他兩個(gè)算法低，但訓(xùn)練過程中趨勢(shì)與另兩個(gè)算法類似。由圖7可知，改進(jìn)的YOLOv3-improve1算法和YOLOv3-improve2算法的損失值接近，且下降過程平緩，而YOLOv3算法在進(jìn)行訓(xùn)練過程中出現(xiàn)震蕩情況，震蕩波動(dòng)較大。在訓(xùn)練中，YOLOv3-improve1和YOLOv3-improve2算法整體比YOLOv3算法的損失值低。由以上分析可得，改進(jìn)的算法比YOLOv3效果更佳。

為了對(duì)比YOLOv3、YOLOv3-improve1、YOLOv3-improve2算法性能，對(duì)比3個(gè)算法的均值平均精度值mAP，其對(duì)比曲線圖如圖8所示。3個(gè)算法的相關(guān)信息，以及訓(xùn)練的每個(gè)類別平均精度和mAP值的混淆矩陣如表2所示。

圖7 訓(xùn)練損失值對(duì)比圖Fig.7 Comparison of training loss values

圖8 訓(xùn)練mAP值對(duì)比圖Fig.8 Comparison of training mAP values

表2 平均精度實(shí)驗(yàn)結(jié)果對(duì)比表Tab.2 Comparison table of experimental results of AP (%)

由圖8可得，在訓(xùn)練mAP中，YOLOv3-improve1和YOLOv3-improve2算法整體比YOLOv3算法高，且YOLOv3算法在訓(xùn)練中表現(xiàn)不穩(wěn)定。

由表2可知，YOLOv3-improve1算法其mAP值相較于YOLOv3算法增加了3.3%，YOLOv3-improve2算法在YOLOv3-improve1算法上進(jìn)行了模型剪枝，其mAP值比YOLOv3-improve1算法低了0.3%，同時(shí)YOLOv3-improve1和YOLOv3-improve2相較于YOLOv3算法每類別的檢測(cè)精度都有所提升，尤其是對(duì)崩邊和坑點(diǎn)等小目標(biāo)缺陷提升更為明顯。

對(duì)比本文算法與Faster R-CNN、YOLOv3、YOLOv4等算法的檢測(cè)mAP與檢測(cè)速度，結(jié)果如表3所示。

表3 不同算法檢測(cè)性能對(duì)比Tab.3 Comparison of the detection performance of different algorithms

由表3可知，本文提出的YOLOv3-improve2算法檢測(cè)精確度比Faster R-CNN算法提升了6.8%，檢測(cè)速度提升了27.5 fps。相較于YOLOv4算法，檢測(cè)精確度提升了0.8%，檢測(cè)速度提升了4.9 fps。相較于YOLOv3算法，改進(jìn)特征提取網(wǎng)絡(luò)，進(jìn)行了模型剪枝，檢測(cè)速度提升了6.7 fps，檢測(cè)精度提升了3%。相較于YOLOv3-improve1算法，由于進(jìn)行了模型剪枝，在損失少部分精度的前提下，其檢測(cè)速度大幅提升。由以上分析可得，本文提出的算法，在檢測(cè)速度和精度上較其他算法有了不同程度的提升，較好地平衡了檢測(cè)速度和檢測(cè)精度。

利用訓(xùn)練得到的YOLOv3-improve2網(wǎng)絡(luò)模型對(duì)1 000張智能手機(jī)玻璃蓋板圖像進(jìn)行檢測(cè)，其中包含有缺陷照片110張，無缺陷照片890張。檢測(cè)結(jié)果數(shù)據(jù)顯示，無缺陷照片檢測(cè)出無缺陷共計(jì)804張，檢測(cè)準(zhǔn)確率92.6%。有缺陷照片準(zhǔn)確檢測(cè)出缺陷類別及位置的照片有91張，檢測(cè)準(zhǔn)確率82.3%，總檢測(cè)準(zhǔn)確率89.5%，精確率為51%，召回率為82.3%，F(xiàn)1值為0.63。部分缺陷檢測(cè)結(jié)果圖如圖9所示。

由此可知，本文提出的YOLOv3-improve2算法可以實(shí)現(xiàn)對(duì)智能手機(jī)玻璃蓋板良品和缺陷品的準(zhǔn)確檢測(cè)。

圖9 智能手機(jī)玻璃蓋板缺陷檢測(cè)效果Fig.9 Smartphone cover glass defect detection effect

5 結(jié) 論

本文首次將改進(jìn)YOLOv3算法引入智能手機(jī)玻璃蓋板缺陷檢測(cè)。針對(duì)缺陷特征不明顯的問題，在特征提取網(wǎng)絡(luò)中增加了通道注意力機(jī)制SENet，針對(duì)缺陷多尺度問題，在特征檢測(cè)網(wǎng)絡(luò)中增加了104×104維度大小的特征圖，為提高檢測(cè)速度，以卷積網(wǎng)絡(luò)BN層的縮放因子系數(shù)作為重要性因子進(jìn)行模型剪枝。從某智能手機(jī)玻璃蓋板制造企業(yè)拍攝涵蓋崩邊、劃痕、坑點(diǎn)、臟污缺陷的大量照片制成訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集，對(duì)本文提出的方法和Faster R-CNN、YOLOv3、YOLOv4等算法進(jìn)行對(duì)比實(shí)驗(yàn)和分析。結(jié)果表明，本算法在各方面表現(xiàn)均優(yōu)于其他深度學(xué)習(xí)算法，不僅實(shí)時(shí)性好，而且檢測(cè)精度高，滿足智能手機(jī)玻璃蓋板工業(yè)生產(chǎn)現(xiàn)場(chǎng)缺陷高精度、高效檢測(cè)的需要。