基于改進(jìn)YOLOv4算法的鋁材表面缺陷識(shí)別方法研究

欒明慧 李松松 李晨 王宇恒 郭忠宇

摘? 要：文章針對(duì)鋁材表面缺陷識(shí)別原始算法精度低與提取突出特征能力弱的問題，提出一種改進(jìn)的YOLOv4算法。首先，為提高對(duì)小目標(biāo)缺陷的檢測(cè)能力，改進(jìn)了多尺度預(yù)測(cè)，增強(qiáng)更淺層的細(xì)粒度特征信息融合;其次，對(duì)鋁材標(biāo)注數(shù)據(jù)樣本采用K-means聚類，獲取更適合缺陷目標(biāo)的先驗(yàn)框。實(shí)驗(yàn)結(jié)果表明，在檢測(cè)速度基本不變的前提下，改進(jìn)YOLOv4算法的平均精度達(dá)到95.02%，比原始的YOLOv4算法提高了1.42%，比YOLOv3提高了2.34%，比Faster R-CNN提高了11.48%。

關(guān)鍵詞：鋁材表面缺陷;YOLOv4;多尺度預(yù)測(cè);K-means算法

中圖分類號(hào)：TP391.4? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）23-0096-05

Research on Aluminum Surface Defect Identification Methods Based on Improved YOLOv4 Algorithm

LUAN Minghui， LI Songsong， LI Chen， WANG Yuheng， GUO Zhongyu

（School of Information Engineering， Dalian Ocean University， Dalian? 116023， China）

Abstract： Aiming at the problems of low accuracy of the original algorithm for aluminum surface defect recognition and weak ability to extract prominent features， an improved YOLOv4 algorithm is proposed in this paper. First， in order to improve the defect detection ability of small targets， improve multi-scale prediction and enhance the fusion of shallower fine-grained feature information; secondly， use K-means clustering for aluminum labeling data sample to obtain priori frame that is more suitable for defect target. The experimental results show that on the premise of basically unchanged detection speed， the average accuracy of the improved YOLOv4 algorithm reaches 95.02%， which is 1.42% higher than the original YOLOv4 algorithm， 2.34% higher than YOLOv3 and 11.48% higher than Faster R-CNN.

Keywords： aluminum surface defect; YOLOv4; multi-scale prediction; K-means algorithm

0? 引? 言

鋁材具有良好的導(dǎo)電導(dǎo)熱性，具有較高的硬度和延展性，比不具備磁性的同體積金屬材料更輕，廣泛應(yīng)用于化工、交通、建筑、國防等領(lǐng)域，在我國現(xiàn)代化進(jìn)程中發(fā)揮著至關(guān)重要的作用。表面質(zhì)量作為鋁材產(chǎn)品質(zhì)量的重要評(píng)價(jià)指標(biāo)，也成為很多企業(yè)挑選鋁材產(chǎn)品的主要因素。為了保證產(chǎn)品質(zhì)量和美觀程度，鋁材表面的缺陷無損檢測(cè)已成為不可或缺的重要環(huán)節(jié)[1]。

在早期，對(duì)工業(yè)產(chǎn)品的缺陷檢測(cè)主要是通過人眼去觀察，對(duì)檢測(cè)人員有較高的能力要求且檢測(cè)受主觀因素影響較大，因此人眼檢測(cè)難以滿足需求，容易造成缺陷的誤檢、漏檢[2]。隨著計(jì)算機(jī)技術(shù)、圖像處理技術(shù)的飛速發(fā)展，利用機(jī)器視覺手段進(jìn)行缺陷檢測(cè)得到了較為廣泛的應(yīng)用[3]。傳統(tǒng)的機(jī)器視覺檢測(cè)方式需要人工設(shè)定規(guī)則參與圖像的特征提取，操作過程煩瑣，不能滿足工業(yè)檢測(cè)需求。近年來，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要分支，在機(jī)器視覺檢測(cè)領(lǐng)域成為一種新的檢測(cè)方向，本文將采用深度學(xué)習(xí)算法進(jìn)行表面缺陷檢測(cè)。

目前，深度學(xué)習(xí)檢測(cè)算法分為兩類：一類是兩階段檢測(cè)算法，這種算法首先產(chǎn)生候選區(qū)域，其次在候選區(qū)域進(jìn)行分類和回歸，具有良好的精測(cè)精度，錯(cuò)識(shí)別和漏識(shí)別率較低，但提取過程復(fù)雜致使速度較慢，典型代表有R-CNN、Fast R-CNN、Faster R-CNN算法;另一類是一階段檢測(cè)算法，該算法直接對(duì)物體的類別概率和位置坐標(biāo)值進(jìn)行預(yù)測(cè)，通過端到端的檢測(cè)即可直接得到最終的檢測(cè)結(jié)果，與兩階段檢測(cè)算法相比檢測(cè)速度更快，典型代表有YOLO、SSD等。一階段檢測(cè)算法隨網(wǎng)絡(luò)結(jié)構(gòu)的不斷更新與優(yōu)化，檢測(cè)速度及檢測(cè)準(zhǔn)確性均得到了極大的提高，廣泛應(yīng)用于金屬表面缺陷檢測(cè)。徐鏹等[4]采用一種改進(jìn)后的YOLOv3網(wǎng)絡(luò)模型對(duì)鋼板表面缺陷進(jìn)行檢測(cè)，使用MobileNet代替Darknet-53減少網(wǎng)絡(luò)模型參數(shù)，并引入空洞卷積和Inception結(jié)構(gòu)，在測(cè)試集上達(dá)到了較好的準(zhǔn)確度。Ferguson等人[5]采用三種深度學(xué)習(xí)算法基于X射線圖像對(duì)鑄造缺陷進(jìn)行檢測(cè)，分析了兩種主干網(wǎng)絡(luò)，結(jié)果表明SSD算法結(jié)合VGG特征提取網(wǎng)絡(luò)在檢測(cè)速度上有明顯優(yōu)勢(shì);方葉祥等[6]采用YOLOv3算法對(duì)鋼材表面的壓痕與劃痕缺陷進(jìn)行檢測(cè)，在輸入端對(duì)圖像進(jìn)行直方圖均值化預(yù)處理，并基于權(quán)重優(yōu)化了算法的損失函數(shù)，結(jié)果顯示改進(jìn)后的算法對(duì)壓痕檢測(cè)精度提高為92%、劃痕檢測(cè)精度提高為90%。

YOLOv4作為YOLO中更優(yōu)的目標(biāo)檢測(cè)算法，在殘差網(wǎng)絡(luò)的基礎(chǔ)上引入CSPNet結(jié)構(gòu)，形成了更深的網(wǎng)絡(luò)層次，在保持一階段算法檢測(cè)速度的優(yōu)勢(shì)下，提高了檢測(cè)目標(biāo)的準(zhǔn)確性，因此本文將YOLOv4算法應(yīng)用于鋁材表面缺陷檢測(cè)中。為解決鋁材表面缺陷數(shù)據(jù)寬高比差異偏大和目標(biāo)較小的問題，為提高缺陷識(shí)別效果以及增強(qiáng)原始算法的提取突出特征能力，提出一種基于改進(jìn)YOLOv4算法的鋁材表面缺陷識(shí)別方法。

1? YOLOv4算法

YOLOV4[7]是在YOLOv3的基礎(chǔ)之上，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)并融合大量的訓(xùn)練技巧，達(dá)到了精度與速度的更優(yōu)平衡。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示，主干網(wǎng)絡(luò)CSPDarknet-53中的特征層是由5個(gè)殘差結(jié)塊構(gòu)成的，殘差結(jié)構(gòu)中殘差單元個(gè)數(shù)分別為1、2、8、8、4。殘差單元中引入了CSPNet結(jié)構(gòu)，增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，能夠在保持準(zhǔn)確性的同時(shí)降低計(jì)算量，減少內(nèi)存需求。頸部網(wǎng)絡(luò)分為SPP結(jié)構(gòu)和PANet結(jié)構(gòu)。SPP結(jié)構(gòu)通過最大池化增大感受野，加強(qiáng)了全局特征和局部特征的融合。而PANet結(jié)構(gòu)是對(duì)三個(gè)特征層進(jìn)行特征融合，通過從底至上路徑傳遞強(qiáng)定位特征信息，加強(qiáng)了淺層信息融合，并且實(shí)現(xiàn)了特征的反復(fù)提取。頭部網(wǎng)絡(luò)與YOLOv3頭部部分原理相同，包括網(wǎng)絡(luò)輸出、loss計(jì)算與預(yù)測(cè)結(jié)果。

2? 改進(jìn)的YOLOv4算法

2.1? 改進(jìn)多尺度預(yù)測(cè)

圖像輸入到Y(jié)OLOv4主干網(wǎng)絡(luò)中歸一化為416×416，分別經(jīng)過5次下采樣后，所得到的特征圖大小依次為208、104、52、26、13。網(wǎng)絡(luò)深度由淺至深，YOLOv4選取3個(gè)特征尺度進(jìn)行結(jié)果預(yù)測(cè)。但在鋁材表面缺陷數(shù)據(jù)中不同類型缺陷尺度變化較大，其中存在噴流小缺陷，所占像素小，在經(jīng)過多次卷積操作和池化操作后，會(huì)削弱甚至丟失小目標(biāo)的特征信息，使小目標(biāo)的檢測(cè)能力并不突出。

針對(duì)淺層信息利用不夠充分的問題，為增強(qiáng)YOLOv4主干網(wǎng)絡(luò)輸出的淺層特征層的信息融合，能夠更多地獲取有利于小目標(biāo)檢測(cè)的細(xì)節(jié)信息，提出了由3尺度預(yù)測(cè)增大至4尺度預(yù)測(cè)。如圖2所示，改進(jìn)YOLOv4的網(wǎng)絡(luò)結(jié)構(gòu)中設(shè)定的4個(gè)尺度大小分別為104×104、52×52、26×26和13×13。增加的104×104細(xì)粒度特征檢測(cè)層融入PANet結(jié)構(gòu)中，最后預(yù)測(cè)頭數(shù)量也由3個(gè)增加至4個(gè)。由于新增加了104×104的特征層，需要計(jì)算出更精確的先驗(yàn)框，增加了檢測(cè)圖片的先驗(yàn)框數(shù)量，改進(jìn)算法具有更優(yōu)的檢測(cè)精度。

2.2? K-means先驗(yàn)框聚類

YOLOv4算法包含三個(gè)特征層共9個(gè)先驗(yàn)框，改進(jìn)的YOLOv4算法增加檢測(cè)層后為4個(gè)尺寸的特征層，需要12個(gè)先驗(yàn)框，并且需要在鋁材數(shù)據(jù)集上重新計(jì)算。此外，鋁材金屬表面缺陷中存在缺陷目標(biāo)寬高比差異較大的情況，VOC數(shù)據(jù)集上的部分anchor并不合理。本文采用K-means算法[8]依據(jù)鋁材表面缺陷數(shù)據(jù)聚類計(jì)算anchor。

如圖3所示，K-means算法聚類得到聚類中心，橫坐標(biāo)與縱坐標(biāo)代表先驗(yàn)框的寬和高，菱形點(diǎn)代表聚類對(duì)象，五角星代表聚類中心。由圖3可以看出，以輸入圖像尺寸416×416為基準(zhǔn)聚類先驗(yàn)框，聚類后的先驗(yàn)框更符合鋁材數(shù)據(jù)的目標(biāo)，與各特征層目標(biāo)有更大的重合面積，提高缺陷的檢測(cè)精度。

3? 實(shí)驗(yàn)結(jié)果與分析

3.1? 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)的硬件配置為：Inter（R） Core（TM）i5-10600KF CPU@4.10 GHz的處理器，16 GB的內(nèi)存;軟件配置：操作系統(tǒng)為Windows10（64位），驅(qū)動(dòng)顯卡為NVIDIA和CUDA。

3.2? 數(shù)據(jù)處理

本文中鋁材表面缺陷類型包括桔皮、擦花、不導(dǎo)電、噴流、角位漏底、雜色、漏底、起坑八種。由于每類原始缺陷圖像數(shù)量有限，且深度學(xué)習(xí)方法需要大量數(shù)據(jù)的支撐，為防止出現(xiàn)過擬合的問題，進(jìn)行水平、垂直和水平垂直翻轉(zhuǎn)變換以實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)的目的。擴(kuò)增后圖片總數(shù)量為9 600張，隨機(jī)選取8 160張圖片作為訓(xùn)練集，選取1 440張圖片作為測(cè)試集。YOLOv4在訓(xùn)練中采用Mosaic算法，選用四張圖片拼成一張圖片輸入網(wǎng)絡(luò)中，并根據(jù)混合區(qū)域調(diào)整標(biāo)簽信息，不但間接提高了batch_size，而且豐富了物體檢測(cè)背景，在GPU資源有限的條件下增強(qiáng)網(wǎng)絡(luò)魯棒性和泛化能力。

3.3? 結(jié)果對(duì)比

為研究增加多尺度預(yù)測(cè)、K-Means算法聚類改進(jìn)方法對(duì)YOLOv4算法檢測(cè)精度以及小缺陷檢測(cè)能力的影響，通過對(duì)比實(shí)驗(yàn)，在1 440張測(cè)試圖片上對(duì)檢測(cè)速度（Time）和平均精度均值（mAP）進(jìn)行計(jì)算，其中IOU閾值為0.5。

原始YOLOv4算法與改進(jìn)后的YOLOv4算法對(duì)各種類型缺陷預(yù)測(cè)結(jié)果對(duì)比情況如圖4所示。由圖4可以看出，大部分缺陷的平均檢測(cè)精度都有所提升，噴流的平均檢測(cè)精度提高1.78%，桔皮的平均檢測(cè)精度提高2.22%，尤其是小目標(biāo)擦花的檢測(cè)精度提高了9.8%。

如表1所示，原始算法和改進(jìn)后算法整體上精度和時(shí)間對(duì)比情況。從表1中可以看出，增加檢測(cè)層并重新聚類先驗(yàn)框后的YOLOv4算法在測(cè)試集上的mAP值達(dá)到95.02%，比原始的YOLOv4算法提高了1.42%。原始算法的圖片檢測(cè)時(shí)間為0.025 s，在改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)后單張圖片的檢測(cè)時(shí)間為0.027 s，略微有所增加。隨著檢測(cè)層的增加，會(huì)使參數(shù)量增加，網(wǎng)絡(luò)的計(jì)算更復(fù)雜，從而影響算法的計(jì)算效率。但從整體上看，改進(jìn)前后單張圖片的檢測(cè)時(shí)間差異不大，對(duì)模型的檢測(cè)速度影響不大。

對(duì)上述結(jié)果進(jìn)行分析，增加為4尺度預(yù)測(cè)，更加充分地利用了淺層網(wǎng)絡(luò)的細(xì)節(jié)特征，加深了淺層特征與深層語義特征的融合，增強(qiáng)了特征提取，同時(shí)又改善了小目標(biāo)特征丟失的問題，提高了鋁材表面的缺陷檢測(cè)能力。在鋁材自身數(shù)據(jù)集上聚類先驗(yàn)框，先驗(yàn)框之間的尺寸差異更加明顯，對(duì)不同尺寸的復(fù)雜缺陷目標(biāo)更具有針對(duì)性，減少錯(cuò)檢、漏檢情況的發(fā)生，更有利于鋁材表面缺陷的識(shí)別與檢測(cè)。

常見目標(biāo)檢測(cè)算法與改進(jìn)后的YOLOv4算法在鋁材表面缺陷數(shù)據(jù)集上的檢測(cè)性能對(duì)比情況如表2所示?？梢园l(fā)現(xiàn)在檢測(cè)精度方面，本文算法比YOLOv3算法、Faster R-CNN算法分別提高了2.34%、11.48%。主要原因是鋁材表面缺陷目標(biāo)種類存在多樣性且寬高比差異大，F(xiàn)aster R-CNN收斂速度慢導(dǎo)致訓(xùn)練效率較低，特征融合程度差導(dǎo)致檢測(cè)精度略低;相較于YOLOv3，YOLOv4為更優(yōu)一階段算法，同時(shí)本文對(duì)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行優(yōu)化，實(shí)現(xiàn)更好的收斂速度和準(zhǔn)確性，進(jìn)一步增強(qiáng)了算法對(duì)缺陷的檢測(cè)能力。在檢測(cè)速度方面，一階段算法與二階段算法的區(qū)別在于沒有經(jīng)過候選區(qū)域，直接端到端進(jìn)行結(jié)果預(yù)測(cè)，縮短網(wǎng)絡(luò)計(jì)算時(shí)間。改進(jìn)后的YOLOv4增加檢測(cè)尺度會(huì)增加參數(shù)的計(jì)算，但對(duì)算法檢測(cè)時(shí)間影響并不大，滿足一階段算法檢測(cè)速度的要求。

4? 結(jié)? 論

針對(duì)原始YOLOv4在鋁材表面缺陷檢測(cè)應(yīng)用中的不足，改進(jìn)了多尺度預(yù)測(cè)，并使用K-means算法對(duì)鋁材表面缺陷數(shù)據(jù)進(jìn)行聚類，在訓(xùn)練時(shí)采用Mosaic數(shù)據(jù)增強(qiáng)，在訓(xùn)練過程中豐富鋁材缺陷的檢測(cè)背景。實(shí)驗(yàn)結(jié)果表明，在保證一階段檢測(cè)速度的優(yōu)勢(shì)下，缺陷檢測(cè)的效果有一定程度的提升，精度均值由93.60%提升至95.02%，且檢測(cè)性能優(yōu)于YOLOv3、FasterR-CNN算法。實(shí)現(xiàn)了對(duì)鋁材表面缺陷的高效檢測(cè)，為金屬質(zhì)量的智能化檢測(cè)提供了新方向。

參考文獻(xiàn)：

[1] 彭向前.產(chǎn)品表面缺陷在線檢測(cè)方法研究及系統(tǒng)實(shí)現(xiàn) [D].武漢：華中科技大學(xué)，2008.

[2] 昊貴芳，徐科，楊朝霖.鋼板表面質(zhì)量在線監(jiān)測(cè)技術(shù) [M].北京：科學(xué)出版社，2010：102.

[3] 吳曉君，唐婷，張林，等.基于機(jī)器視覺技術(shù)的表面缺陷在線檢測(cè)系統(tǒng)設(shè)計(jì) [J].自動(dòng)化與儀表，2016，31（4）：72-76.

[4] 徐鏹，朱洪錦，范洪輝，等.改進(jìn)的YOLOv3網(wǎng)絡(luò)在鋼板表面缺陷檢測(cè)研究 [J].計(jì)算機(jī)工程與應(yīng)用，2020，56（16）：265-272.

[5] FERGUSON M，AK R，LEE Y T，et al. Automatic localization of casting defects with convolutional neural networks [C]//2017 IEEE International Conference on Big Data （Big Data）.Boston：IEEE，2017：1726-1735.

[6] 方葉祥，甘平，陳俐.金屬表面缺陷檢測(cè)的改進(jìn)YOLOv3算法研究 [J].機(jī)械科學(xué)與技術(shù)，2020，39（9）：1390-1394.

[7] BOCHKOVSKIY A，WANG C Y，LIAO H Y M. YOLOv4：Optimal Speed and Accuracy of Object Detection [J/OL].arXiv：2004.10934 [cs.CV].（2020-04-23）.https：//arxiv.org/abs/2004.10934.

[8] REDMON J，F(xiàn)ARHADI A. YOLO9000：Better，F(xiàn)aster，Stronger [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：6517-6525.

作者簡介：欒明慧（1996.12—），女，滿族，遼寧朝陽人，碩士研究生在讀，主要研究方向：檢測(cè)技術(shù)與自動(dòng)化裝置;通訊作者：李松松（1973.10—），女，漢族，遼寧凌源人，教授，碩士生導(dǎo)師，博士，主要研究方向：超聲無損檢測(cè)技術(shù)、無損檢測(cè)信號(hào)及圖像處理技術(shù)。