基于YOLOv2網(wǎng)絡(luò)模型的手機鏡片缺陷實時檢測方法*

王國鵬 王習東 王保昌 王恒濤

基于YOLOv2網(wǎng)絡(luò)模型的手機鏡片缺陷實時檢測方法*

王國鵬1王習東1王保昌2王恒濤1

（1.三峽大學計算機與信息學院，湖北 宜昌 443002 2.三峽大學理學院，湖北 宜昌 443002）

針對手機鏡片缺陷檢測采用人工目視法存在效率低、誤檢率高、易受主觀影響；且現(xiàn)有的機器視覺法存在成本高和應(yīng)用場景為靜態(tài)圖片等問題，提出一種基于YOLOv2網(wǎng)絡(luò)模型的手機鏡片缺陷實時檢測方法。首先，對手機鏡片缺陷檢測數(shù)據(jù)集樣本進行歸一化處理；然后，調(diào)整網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)，并將數(shù)據(jù)集送入YOLOv2網(wǎng)絡(luò)模型進行迭代訓(xùn)練，分析訓(xùn)練過程的性能曲線，得到最優(yōu)權(quán)重；最后，對驗證集樣本進行檢測分析。實驗結(jié)果表明：該檢測方法的實時檢測速度可達14幀/s；缺陷定位精度高，檢測準確率為96.13%；可滿足低成本條件下，手機鏡片缺陷實時檢測的需求。

YOLOv2；手機鏡片檢測；機器視覺；歸一化處理

0 引言

目前，國內(nèi)多數(shù)手機鏡片制造工廠采用人工目視法檢測鏡片缺陷。該方法的檢測環(huán)境為長時間亮光照射，對人眼造成損傷，且效率低、誤檢率高，易受檢測人員主觀因素影響，人工成本也較高[1]。近年來，隨著機器視覺技術(shù)的發(fā)展，其在鏡片缺陷檢測方面的應(yīng)用也逐漸深入[2]。朱建峰采用優(yōu)化精密顯微鏡等儀器點光源投影照明的方案,實現(xiàn)鏡片面狀疵病的最佳成像效果,分析鏡片疵病形狀和大小，對各疵病種類分別編寫對應(yīng)的圖像處理算法進行識別，檢測準確率達95.48%[3]。朱虹兆基于深度學習訓(xùn)練出一種退化的YOLO網(wǎng)絡(luò)，實現(xiàn)對樹脂鏡片樣本缺陷的識別，驗證集的缺陷識別準確率達95.97%[4]。

隨著卷積神經(jīng)網(wǎng)絡(luò)在目標檢測和圖像識別領(lǐng)域的蓬勃發(fā)展[5],目標檢測模型YOLO以算法實現(xiàn)快捷、靈活，泛化性能高等特點成為應(yīng)用研究的熱點[6]。

在上述檢測方法的基礎(chǔ)上，本文利用YOLOv2網(wǎng)絡(luò)模型，提出一種手機鏡片缺陷實時檢測方法。首先，制作并標注手機鏡片缺陷檢測數(shù)據(jù)集，并對樣本圖片進行歸一化處理；然后，調(diào)整YOLOv2網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)，并將數(shù)據(jù)集送入YOLOv2網(wǎng)絡(luò)模型進行訓(xùn)練，分析訓(xùn)練過程性能曲線，得到最優(yōu)的網(wǎng)絡(luò)權(quán)重數(shù)據(jù)；最后，對驗證集樣本進行檢測分析。

1 網(wǎng)絡(luò)模型

1.1 網(wǎng)絡(luò)模型選取

R-CNN系列算法為雙階段結(jié)構(gòu)網(wǎng)絡(luò)，檢測速度無法滿足實時性需求。YOLOv1預(yù)測框機制和損失計算等方面不夠成熟[7]，導(dǎo)致對特征形態(tài)尺寸小的目標定位精度低，不適合手機鏡片缺陷檢測。YOLOv2是由REDMON等于2017年提出的單階段結(jié)構(gòu)網(wǎng)絡(luò)[8]，核心思想是將目標檢測問題轉(zhuǎn)化為分類回歸問題[9]，并引入Anchor機制，改善網(wǎng)絡(luò)模型訓(xùn)練過程中的召回率，增強圖像細粒度特征分類能力，適用于檢測特征形態(tài)尺寸小的目標，且檢測速度快，可實現(xiàn)目標實時檢測。

考慮到本檢測方法后期將部署在FPGA開發(fā)板上。該開發(fā)板成本較低，計算資源相對有限，故網(wǎng)絡(luò)模型選用對小尺寸目標檢測精度高、實時檢測速度快和網(wǎng)絡(luò)結(jié)構(gòu)輕量級的YOLOv2。

1.2 YOLOv2網(wǎng)絡(luò)模型

YOLOv2網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

圖1　YOLOv2網(wǎng)絡(luò)模型結(jié)構(gòu)

YOLOv2網(wǎng)絡(luò)模型由CBL、MCN、Route和Reorg 4類組件構(gòu)成。其中，CBL為YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)的最小組件，由Conv（卷積運算）、BN和LeakyReLU組成。Conv實現(xiàn)特征提取，得到特征圖。批歸一化BN層對特征圖像素做線性變換，加快訓(xùn)練收斂過 程[10]。激活函數(shù)對特征圖像素做非線性變換，增強網(wǎng)絡(luò)非線性擬合能力，除最后輸出層使用Sigmoid函數(shù)外，其余皆使用Leaky ReLU函數(shù)。

MCN為降采樣組件，由最大池化層MAX和個CBL構(gòu)成。最大池化層實現(xiàn)特征圖的降采樣，減小特征圖規(guī)模及保持其功能特性不變。

Route為路由層，將多維度的特征信息進行融合。

Reorg為重排序?qū)?，實現(xiàn)特征的重新排序，將較大尺寸的特征圖分成多張小尺寸的特征圖。卷積核步長為2的重排序示意圖如圖2所示。

圖2　卷積核步長為2的重排序示意圖

2 實驗及結(jié)果

2.1 數(shù)據(jù)集及實驗環(huán)境

選取手機鏡片常見的4種缺陷（花瓣傷、膠洞、裂痕、膜裂）為研究對象，制作數(shù)據(jù)集。使用Labelimg軟件標注手機鏡片缺陷檢測數(shù)據(jù)集。YOLOv2網(wǎng)絡(luò)需要大量的樣本圖片，本文通過數(shù)據(jù)增強（旋轉(zhuǎn)變換、仿射變換、圖像增強和添加噪聲等），既增加了樣本數(shù)量，又變換了手機鏡片缺陷的方向和大小，還增強樣本圖像噪聲的魯棒性[11]。手機鏡片缺陷檢測數(shù)據(jù)集劃分如表1所示。實驗設(shè)備配置如表2所示。

表1　手機鏡片缺陷檢測數(shù)據(jù)集劃分

表2　實驗設(shè)備配置

2.2 訓(xùn)練網(wǎng)絡(luò)參數(shù)

YOLOv2訓(xùn)練網(wǎng)絡(luò)參數(shù)：為平衡訓(xùn)練效果和顯存占用壓力，每次迭代批量送入網(wǎng)絡(luò)的圖片數(shù)量為64張，每次批量送入訓(xùn)練器的份數(shù)為8；為提升訓(xùn)練速度，避免過擬合，動量常數(shù)為0.9，權(quán)重衰減正則系數(shù)為0.000 5；隨著迭代增加，為使網(wǎng)絡(luò)模型學習更加有效，初始學習率為0.001，訓(xùn)練總迭代次數(shù)為200次；學習率調(diào)整策略為steps步進式，當?shù)螖?shù)達到160和180次時，學習率分別衰減至0.000 1和0.000 01；將Region層的類別數(shù)改為4，同時對應(yīng)地將最后一個卷積層的卷積核數(shù)目改為45。

2.3 訓(xùn)練過程變化曲線

本文采用GIoU_Loss作為模型訓(xùn)練損失函數(shù)，直接把設(shè)為回歸的Loss[12]。

訓(xùn)練過程中GIoU_Loss變化曲線如圖3所示。

圖3　GIoU_Loss變化曲線

由圖3可知，當訓(xùn)練模型迭代至90次時，損失函數(shù)收斂在0.01附近。

召回率（）是所有正樣本中預(yù)測正確的比例，計算公式為

式中，樣本分類說明如表3所示。

表3　樣本分類說明

訓(xùn)練過程中，模型的召回率變化曲線如圖4所示。

圖4　召回率變化曲線

由圖4可知，當訓(xùn)練模型迭代至70次時，召回率的數(shù)值趨近于0.96。

從圖3和圖4的訓(xùn)練過程變化曲線分析可知，所訓(xùn)練的YOLOv2網(wǎng)絡(luò)模型權(quán)重效果理想。

2.4　實驗結(jié)果與分析

模型訓(xùn)練完成后，調(diào)用YOLOv2網(wǎng)絡(luò)模型的USB攝像頭檢測器，收斂后的檢測速度達14幀/s，滿足實時檢測的需求。缺陷實時檢測結(jié)果如圖5所示。

圖5　手機鏡片缺陷實時檢測結(jié)果

圖5(a)模型正確框中2個花瓣傷缺陷；圖5(b)模型正確框中1個膠洞缺陷；圖5(c)模型正確框中2個裂痕缺陷；圖5(d)模型正確框中1個膜裂缺陷。目標框上方的數(shù)據(jù)為預(yù)測類別的標簽和置信度。從檢測結(jié)果來看：該網(wǎng)絡(luò)模型能較好地預(yù)測并區(qū)分4種缺陷；同時在多缺陷共存的情況下，沒有出現(xiàn)缺陷漏檢情況。

準確率是指樣本中模型正確檢測出的缺陷數(shù)占各類別樣本總數(shù)的百分比。本實驗采用平均準確率來衡量模型檢測的實際性能，計算公式為

式中，為YOLOv2網(wǎng)絡(luò)模型對驗證集中每張樣本各缺陷類別檢測的準確率；為驗證集樣本數(shù)。

YOLOv2網(wǎng)絡(luò)模型對驗證集樣本進行手機鏡片缺陷檢測后的結(jié)果如表4所示。

表4　YOLOv2網(wǎng)絡(luò)模型驗證集的手機鏡片缺陷檢測結(jié)果

分析表4可知：檢測準確率最低的手機鏡片缺陷為花瓣傷；由于花瓣傷特征形態(tài)尺寸較小，特征形態(tài)與背景的差異也較小，導(dǎo)致其提取特征相對簡單，檢測準確率相對較低。

本文檢測方法與文獻[3]和文獻[4]中的2種機器視覺檢測方法進行性能對比，結(jié)果如表5所示。

由表5可知：本文方法的準確率為96.13%，分別比另外2種方法提高了0.65%和0.16%；本文方法在檢測準確率、應(yīng)用場景和成本方面均優(yōu)于另外2種方法，滿足低成本條件下手機鏡片缺陷實時檢測的需求。

3　結(jié)論

為滿足實時檢測應(yīng)用場景對檢測速度、準確率和穩(wěn)定性的需求，本文提出一種基于YOLOv2網(wǎng)絡(luò)模型的手機鏡片缺陷實時檢測方法。實驗結(jié)果表明：該方法實時檢測速度可達14幀/s，相比于鏡片制造工廠人工目視法的1.1幀/s提高了近13倍，達到實時檢測的目的；且該檢測方法的缺陷定位精度高，檢測準確率為96.13%。本文在PC端上實現(xiàn)并驗證了此方法的可行性，后期將該檢測方法部署在FPGA開發(fā)板上，對實時檢測進行硬件加速，以實現(xiàn)移動端低成本低功耗的鏡片缺陷檢測。

[1] 孫力,劉晨,姚紅兵.基于機器視覺的樹脂鏡片水印疵病檢測[J].江蘇大學學報(自然科學版),2018,39(4):425-430.

[2] 林磊,臧鐵鋼.基于機器視覺的樹脂鏡片表面疵病邊緣檢測[J].機械制造與自動化,2021,50(2):230-232,240.

[3] 朱建峰.基于機器視覺技術(shù)的樹脂鏡片面狀疵病檢測研究[D].鎮(zhèn)江:江蘇大學,2019.

[4] 朱虹兆.基于退化YOLO網(wǎng)絡(luò)的樹脂鏡片缺陷識別方法研究[D].哈爾濱:哈爾濱理工大學,2019.

[5] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet Large Scale Visual Recognition Challenge[J]. International Journal of Computer Vision, 2015,115(3):211-252.

[6] 陳文峰,張學習,蔡述庭,等.基于YOLO v3和傳感器融合的機器人定位建圖系統(tǒng)[J].自動化與信息工程,2021,42(2):34-38,48.

[7] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[J]. IEEE, 2016.

[8] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2017:6517-6525.

[9] 陳友升,周介祺,梁敏健,等.基于YOLOv5視覺感知的實時叉車駕駛操作行為識別方法[J].自動化與信息工程,2021,42 (3):21-26.

[10] 劉建偉,趙會丹,羅雄麟,等.深度學習批歸一化及其相關(guān)算法研究進展[J].自動化學報,2020,46(6):1090-1120.

[11] 俞彬.基于生成對抗網(wǎng)絡(luò)的圖像類別不平衡問題數(shù)據(jù)擴充方法[D].廣州:華南理工大學,2018.

[12] REZATOFIGHI H, TSOI N, GWAK JY, et al. Generalized intersection over union: a metric and a loss for bounding box regression[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019.

Real Time Detection Method of Mobile Phone Lens Defects Based on YOLOv2 Network Model

Wang Guopeng1Wang Xidong1Wang Baochang2Wang Hengtao1

(1.College of Computer and Information, China Three Gorges University, Yichang 443002, China 2.College of Science, China Three Gorges University, Yichang 443002, China)

For the defect detection of mobile phone lens, the manual visual method has the advantages of low efficiency, high false detection rate and easy to be affected by subjectivity; and the existing machine vision methods have the problems of high cost and static pictures. A real time detection method of mobile phone lens defects based on YOLOv2 network model is proposed. Firstly, the samples of mobile phone lens defect detection data set are normalized. Then, the training parameters of the network model are adjusted, and the data set is sent to the YOLOv2 network model for iterative training. The performance curve of the training process is analyzed, and the optimal weight is obtained. Finally, the verification set samples are tested and analyzed. The experimental results show that the real-time detection speed of this method can reach 14 frames/s; the defect location accuracy is high, and the detection accuracy is 96.13%. It can meet the needs of real-time detection of mobile phone lens defects under low-cost conditions.

YOLOv2; mobile phone lens detection; machine vision; normalized processing

TP391.41

A

1674-2605(2021)05-0005-05

10.3969/j.issn.1674-2605.2021.05.005

王國鵬，男，1998年生，碩士研究生，主要研究方向：計算機視覺、數(shù)據(jù)分析。E-mail: minalinsky2333@qq.com

王習東（通信作者），男，1976年生，博士，講師，碩士生導(dǎo)師，主要研究方向：光電檢測技術(shù)及系統(tǒng)、弱磁檢測、FPGA應(yīng)用開發(fā)。E-mail: xdwang@ctgu.edu.cn

基金項目：湖北省自然科學基金面上類項目（2018CKB914）；湖北省教育廳自然科學研究計劃項目（B2017027）。