基于改進(jìn)YOLOv7的金屬表面缺陷檢測方法

冷浩 夏驕雄

摘? 要： 針對金屬表面缺陷檢測中不同缺陷之間存在相似性以及小目標(biāo)缺陷的問題，提出一種基于改進(jìn)YOLOv7的金屬表面缺陷檢測算法。首先通過構(gòu)建更大的高效層聚合網(wǎng)絡(luò)（V-ELAN）模塊來有效增強(qiáng)網(wǎng)絡(luò)對不同缺陷間差異較小的學(xué)習(xí)能力。其次在Neck部分結(jié)合空間通道雙重注意力機(jī)制，提升對圖像中小目標(biāo)特征提取能力，減少無用特征的干擾；采用Alpha IOU損失函數(shù)替換原來的CIOU損失函數(shù)，加速網(wǎng)絡(luò)收斂，提高網(wǎng)絡(luò)的魯棒性。最后引入深度可分離卷積，在降低網(wǎng)絡(luò)的參數(shù)量和計算量的同時盡可能減少精度損失。結(jié)果表明，改進(jìn)后的YOLOv7網(wǎng)絡(luò)模型較原來YOLOv7網(wǎng)絡(luò)模型提升了3.6%，且mAP達(dá)到79.0%，模型大小減少了4.4%，檢測效果要優(yōu)于原網(wǎng)絡(luò)模型和其他主流目標(biāo)檢測網(wǎng)絡(luò)模型。

關(guān)鍵詞： 金屬表面缺陷檢測； YOLOv7； 小目標(biāo)檢測； 注意力機(jī)制； 損失函數(shù)

中圖分類號：TP399? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2023）09-48-06

Metal surface defect detection method based on improved YOLOv7

Leng Hao1， Xia Jiaoxiong2

（1. School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China;

2. Committee of Shanghai Academy of Educational Sciences of the Communist Party of China）

Abstract： Aiming at the similarity between different defects and small object defects in metal surface defect detection， an improved YOLOv7-based metal surface defect detection algorithm is proposed. Firstly， a larger V-ELAN module is constructed to enhance the learning ability of the network for different defects. Secondly， in the Neck part， the dual attention mechanism of spatial channel is combined to improve the ability of feature extraction of small objects and reduce the interference of useless features. The Alpha IOU loss function is used to replace the CIOU loss function to accelerate the convergence of the network and improve the robustness of the network. Finally， the depth separable convolution is introduced to minimize the accuracy loss while reducing the number of parameters and computation of the network. The results show that the improved YOLOv7 network model is 3.6% higher than the original YOLOv7 network model， the mAP reaches 79.0%， the model size is reduced by 4.4%， and the detection effect is better than the original network model and other mainstream object detection network models.

Key words： metal surface defect detection; YOLOv7; small object detection; attention mechanisms; loss function

0 引言

在工業(yè)實際生產(chǎn)過程中，由于加工不當(dāng)、設(shè)計偏差、環(huán)境惡劣以及其他因素導(dǎo)致產(chǎn)生的金屬表面缺陷（如折痕、壓痕、油斑、異物、沖孔等）往往是造成重大安全事故的元兇[1]。對金屬表面缺陷的檢測，傳統(tǒng)的檢測方法是人工檢測，但由于人的勞動強(qiáng)度大、生產(chǎn)效率低以及對人員的專業(yè)知識要求高等原因，導(dǎo)致檢測的效率大大折扣。因此，開發(fā)一種有效、準(zhǔn)確的檢測方法勢在必行。

近年來，隨著深度學(xué)習(xí)的發(fā)展，越來越多的研究將深度學(xué)習(xí)用在缺陷檢測，并取得了不錯的效果。目前，主要有以Faster RCNN[2]為代表的兩階段目標(biāo)檢測算法和以SSD[3]和YOLO[4]為代表的一階段目標(biāo)檢測算法。Faster RCNN在精度上遠(yuǎn)超其他算法，但由于需要在候選區(qū)域篩選，導(dǎo)致速度上存在不足，而兼顧速度和精度的YOLO算法則為金屬表面缺陷檢測提供了更好的方案。程等人[5]對YOLOv3算法進(jìn)行改進(jìn)，利用將第11層淺層特征與網(wǎng)絡(luò)深層特征進(jìn)行融合的方式來對圖片中的小缺陷目標(biāo)進(jìn)行檢測，雖能更好地檢測出小目標(biāo)缺陷，但卻忽略了不同缺陷之間存在相似性。方等人[6]提出一種更改損失函數(shù)和改進(jìn) k-means++聚類的YOLOv3算法進(jìn)行了缺陷檢測，卻忽略了對小目標(biāo)缺陷的改進(jìn)。李等人[7]通過引入輕量型GhostNet網(wǎng)絡(luò)代替YOLOv5主干網(wǎng)絡(luò)中的殘差模塊，來減少網(wǎng)絡(luò)的計算量和網(wǎng)絡(luò)參數(shù)量，雖然速度得到了較大提升，但沒有考慮不同缺陷之間存在相似性以及小目標(biāo)缺陷的問題。

針對前人研究的不足以及存在的問題，本文以YOLOv7為基礎(chǔ)，構(gòu)建了V-ELAN模塊來增強(qiáng)網(wǎng)絡(luò)對不同缺陷間差異較小的學(xué)習(xí)能力，在neck部分結(jié)合空間通道雙重注意力機(jī)制（ShuffleAttention，SA），提升對圖像中小目標(biāo)特征提取能力，并且采用alpha IOU損失函數(shù)替換原來的CIOU損失函數(shù)，加速網(wǎng)絡(luò)收斂，最后引入深度可分離卷積（Depthwise Separable Convolution）降低網(wǎng)絡(luò)的參數(shù)量和計算量。下面我們先簡要介紹YOLOv7模型的相關(guān)理論基礎(chǔ)，然后重點(diǎn)介紹V-ELAN模塊和關(guān)鍵創(chuàng)新，最后通過對比實驗和消融實驗證明本文算法的有效性。

1 相關(guān)工作

1.1 YOLOv7-x網(wǎng)絡(luò)結(jié)構(gòu)

YOLO系列算法作為一階段目標(biāo)檢測算法的代表，在速度和精度之間達(dá)到了非常好的平衡，YOLOv7[8]是當(dāng)前YOLO系列中的最先進(jìn)的算法，在速度和精度上都超過以往的YOLO系列，相比較于其他YOLO系列，YOLOv7通過采用更加高效的聚合網(wǎng)絡(luò)ELAN、更加有效的標(biāo)簽分配方法、模型重參數(shù)化方法以及輔助頭訓(xùn)練，在速度和精度上都遠(yuǎn)超同類檢測器。YOLOv7網(wǎng)絡(luò)主要包括輸入端（Input）、主干網(wǎng)絡(luò)（Backbone）、頸部（Neck）、預(yù)測頭（Head）四個部分，Backbone部分主要由ELAN模塊、CBS模塊、MPConv模塊組成。CBS模塊由卷積層、BN層和SiLU激活函數(shù)組成，MPConv模塊有兩個分支，一個分支進(jìn)行Max Pooling后再接一個卷積進(jìn)行通道數(shù)調(diào)整，另外一個分支先接一個步長為2的3×3卷積進(jìn)行寬高調(diào)整，后接一個卷積調(diào)整通道數(shù)，最后把兩個分支進(jìn)行concat連接，來提高網(wǎng)絡(luò)的特征提取能力。ELAN模塊主要借鑒VoVNet[9]和CSPNet[10]的思想，通過控制最大最長梯度路徑，使網(wǎng)絡(luò)能夠?qū)W到更多的特征，具有更強(qiáng)的魯棒性。

Neck部分整體架構(gòu)和YOLOv4、YOLOv5一樣，采用的是PAN結(jié)構(gòu)，主要包括SPPCSPC模塊、MPConv模塊以及ELAN模塊。SPPCSPC模塊是在SPP模塊的基礎(chǔ)上進(jìn)行改進(jìn)，SPP層的作用是增大感受野，使算法可以適應(yīng)不同分辨率的圖像。SPPCSPC模塊一條分支在經(jīng)過多次卷積后進(jìn)行多次并行的Max Pooling操作，這幾個不同尺度的Max Pooling有四種感受野，主要用來區(qū)分不同目標(biāo)的物體，另外一條分支進(jìn)行普通卷積處理，最后將這兩條分支合并，這樣不僅能夠減少計算量，同時也增大了感受野，避免由于對圖像操作所導(dǎo)致的圖像失真問題。Head部分還是基于錨框的，主要使用三個不同尺寸的檢測頭，分別檢測大、中、小物體。YOLOv7目前主要提供YOLOv7、YOLOv7-x、YOLOv7-W6、YOLOv7-E6、YOLOv7-D6幾個版本，本文選用YOLOv7-x作為基線改進(jìn)，具體結(jié)構(gòu)如圖1所示。

YOLOv7損失函數(shù)整體上和YOLOv5差不多，主要包括置信度損失、分類損失和坐標(biāo)損失。其中置信度損失和分類損失采用的是BCEWithLogitsLoss，坐標(biāo)損失采用的是CIOU損失。在正負(fù)樣本選取上與YOLOv5一致，但額外采取了SimOTA的策略，在訓(xùn)練過程中給每個GT自適應(yīng)地動態(tài)分配k個正樣本，從而自動決定每個GT需要從哪個特征圖來檢測。

2 YOLOv7-x算法改進(jìn)

2.1 V-ELAN模塊

在YOLOv7網(wǎng)絡(luò)中，ELAN模塊結(jié)合了CSPNet和VoVNet的思想，一條分支進(jìn)行常規(guī)卷積操作，另一條分支采用VoVNet中的OSA模塊思路，在進(jìn)行一系列常規(guī)卷積的操作后，在最后一層會一次性聚合前面的所有層，最后和另一個分支進(jìn)行concat連接，再經(jīng)過一個常規(guī)卷積進(jìn)行通道數(shù)調(diào)整。通過控制最短最長梯度路徑，來使網(wǎng)絡(luò)學(xué)習(xí)到更多不同的特征，從而達(dá)到更好的效果。具體結(jié)構(gòu)如圖2所示。

由于金屬表面缺陷種類眾多，而且不同缺陷間差異較小，不容易分辨，從而造成誤檢。在受到CenterMask[11]的啟發(fā)后，本文提出一個新的結(jié)構(gòu)V-ELAN，來增強(qiáng)網(wǎng)絡(luò)對不同缺陷間差異較小的學(xué)習(xí)能力。V-ELAN引入ResNet的殘差連接和SENet[12]的SE模塊，將輸入直接加到輸出上，增加短路連接，由于SE模塊中間的FC層會造成信息丟失，所以將其去掉。V-ELAN相比ELAN不僅加強(qiáng)了對不同缺陷特征的學(xué)習(xí)能力，而且能夠訓(xùn)練更深網(wǎng)絡(luò)。V-ELAN具體結(jié)構(gòu)如圖3所示。

2.2 Shuffle Attention注意力模塊

注意力機(jī)制主要分為兩種，一種是通道注意力，另一種是空間注意力，二者主要用于捕獲通道間依賴關(guān)系和圖像像素對間的關(guān)系，同時使用會有更好的效果，但也會帶來計算量的增加。Shuffle Attention（SA）[13]卻能很好地結(jié)合二者，在提升效果的同時不會帶來額外的計算量。SA在設(shè)計上使用組卷積來降低計算量，首先將輸入的特征圖分為g組，在每個組里使用Shuffle Unit處理，Shuffle Unit通過Concate方式將組內(nèi)的信息進(jìn)行融合，最后使用ChannelShuffle對組進(jìn)行重排，實現(xiàn)不同組之間信息流通，將融合后的特征圖作為SA的輸出。具體結(jié)構(gòu)如圖4所示。

由于金屬表面存在小目標(biāo)缺陷難以檢測，從而出現(xiàn)小目標(biāo)漏檢現(xiàn)象的發(fā)生，通過向YOLOv7的Neck部分添加SA模塊可以有效地提高模型對小目標(biāo)缺陷的檢測，提高模型的檢測性能。

2.3 深度可分離卷積

深度可分離卷積是由Depthwise卷積和Pointwise卷積兩部分組成，主要是用來減少模型的參數(shù)量和計算量，從而提高模型的檢測速度。Depthwise卷積是一個卷積核負(fù)責(zé)處理一個通道，而Pointwise卷積和常規(guī)卷積類似，使用1×1卷積調(diào)整通道數(shù)。具體結(jié)構(gòu)如圖5所示。

對常規(guī)卷積來說，假設(shè)輸入大小為DX×DY×M，使用大小為DK×DK×M的N個卷積核進(jìn)行計算，得到輸出特征圖尺寸為N×DH×DW。

普通卷積的計算量和參數(shù)量：

[QC=DKDKMNDHDW]? ⑴

[PC=DKDKMN]? ⑵

深度可分離卷積的計算量和參數(shù)量：

[QD=DKDKMDHDW+MNDHDW]? ⑶

[PD=DKDKM+NM]? ⑷

普通卷積與深度可分離卷積的計算量之比k：

[k=N+DKDK]? ⑸

從式⑸可以看出，深度可分離卷積要比普通卷積快N+DKDK倍。

由于YOLOv7大量使用常規(guī)卷積會導(dǎo)致檢測速度下降，因此，在Head部分加入深度可分離卷積可以有效提升檢測速度，大大降低參數(shù)量和計算量。

2.4 Alpha IOU

邊框回歸是物體檢測中的重要環(huán)節(jié)，通過預(yù)測目標(biāo)物體的bbox來定位圖像中需要檢測的物體。最常用的是IOULoss，通過真實框和預(yù)測框的交并比來求損失，但當(dāng)預(yù)測框和真實框不相交時， IOULoss為0，就無法反映出兩個框的距離遠(yuǎn)近。GIOU[14]通過引入預(yù)測框和真實框的最小外接矩形來解決IOULoss存在的問題，但當(dāng)預(yù)測框和真實框重合時，即二者是包含關(guān)系時，GIOU會退化成IOU。針對GIOU出現(xiàn)的問題，DIOU[15]通過最小化預(yù)測框和真實框中心點(diǎn)的標(biāo)準(zhǔn)化距離來加速損失的收斂。雖然DIOU通過直接最小化預(yù)測框和真實框中心點(diǎn)距離加速收斂，但卻忽略了一個重要因素“長寬比”，CIOU[16]通過在DIOU的懲罰項基礎(chǔ)上加了一個影響因子，這個因子將預(yù)測框和真實框的長寬比考慮進(jìn)去，從而提升回歸精確度。

Alpha IOU[17]是對前面所有IOU的一種加速收斂的改進(jìn)，用于精確邊界框回歸。通過引入一個Alpha指數(shù)項，對現(xiàn)有的IOU損失進(jìn)行統(tǒng)一冪化，加速收斂。通過調(diào)節(jié)Alpha，從而更加靈活地實現(xiàn)不同水平的邊界框回歸精度，當(dāng)Alpha為3時，增加了高IOU目標(biāo)的損失和梯度，進(jìn)而提高邊界框回歸精度。YOLOv7坐標(biāo)損失使用的是CIOU，具體定義如下：

[LCIOU=1-IoU+ρ2（b，bgt）c2+βv]? ⑹

為了加速損失收斂，提高邊界框回歸精度，本文使用Alpha IOU損失函數(shù)代替CIOU損失函數(shù)，具體定義如下：

[LαCIOU=1-IoUα+ρ2α（b，bgt）c2α+（βv）α]? ⑺

結(jié)合上述改進(jìn)，最后得到的基于YOLOv7-x算法改進(jìn)結(jié)構(gòu)如圖6所示。

3 實驗結(jié)果及分析

3.1 實驗平臺和數(shù)據(jù)集

實驗所使用的軟件環(huán)境是：操作系統(tǒng)CentOS 7，Python3.8，Pytorch1.12.1，CUDA11.3，CPU Core（TM） i5-7500，GPUTesla A100，網(wǎng)絡(luò)輸入的圖像大小640×640，學(xué)習(xí)率使用的是0.01，優(yōu)化器是SGD，batch size為16，訓(xùn)練次數(shù)epoch為300。

實驗選擇的數(shù)據(jù)集是公開數(shù)據(jù)集 GC10-DET[18]，該數(shù)據(jù)集包含十類金屬表面缺陷，分別是沖孔、焊縫、月牙彎、水斑、油斑、絲斑、異物、壓痕、折痕、腰折，總共有2294張圖像，圖像的大小為2048×1000。數(shù)據(jù)集示例如圖7所示。

由于實驗數(shù)據(jù)集樣本過少，各個缺陷類別間存在不平衡。因此需要通過常用數(shù)據(jù)增強(qiáng)，對數(shù)據(jù)集進(jìn)行擴(kuò)充，將原來數(shù)據(jù)集擴(kuò)充到4600張，其中選取3910張作為訓(xùn)練集，690張作為測試集。

3.2 實驗評價指標(biāo)

為了驗證改進(jìn)算法的有效性，實驗采用所有類別的平均精度均值mAP@0.5（mean Average Precision，IoU閾值取大于0.5）、單張圖片的耗時以及模型的參數(shù)量進(jìn)行評估，mAP是指對所有類的平均精度（AP）求平均，其中準(zhǔn)確率（Precision）、召回率（Recall）、AP、mAP的表示如下：

[P=TPTP+FP]? ⑻

[R=TPTP+FN]? ⑼

[AP=01P（R）dR]? ⑽

[mAP=1ci=1cAPi]? ⑾

其中，TP表示預(yù)測正確的正樣本，TN表示預(yù)測正確的負(fù)樣本，F(xiàn)P表示預(yù)測錯誤的正樣本，F(xiàn)N表示預(yù)測錯誤的負(fù)樣本。c表示類別數(shù)。

3.3 消融實驗

為了驗證改進(jìn)YOLOv7x算法的有效性，實驗在GC10-DET數(shù)據(jù)集上進(jìn)行。消融實驗結(jié)果見表1。其中V-ELAN、SA、DWConv、AlphaiOU為本文改進(jìn)點(diǎn)，Params為模型的參數(shù)量大小，所有結(jié)果均在輸入大小為640×640下計算得到。從表1中可以看出，第一組實驗使用YOLO v7x作為基準(zhǔn)時，其mAP為75.4%，第二組實驗是將YOLOv7x中的ELAN替換為V-ELAN后，mAP提升了2.3%，第三組實驗是在第二組實驗的基礎(chǔ)上融合空間通道雙重注意力機(jī)制（SA）后，mAP提升了1.7%。第四組實驗是在第三組實驗基礎(chǔ)上將Head部分的常規(guī)卷積替換為深度可分離卷積，雖然mAP下降了0.6%，但模型大小相比實驗三減少了23.7%，相比實驗一模型大小減少了4.4%，且mAP增加了3.6%。YOLOv7x改進(jìn)前后精確率和召回率如表2所示，其中P為平均精確率，R為平均召回率。

從表2可以看出，改進(jìn)的YOLOv7x相比YOLOv7x，平均精確率提升了4.1%，平均召回率提升了3%。圖8為改進(jìn)YOLOv7x算法在測試集上的效果，可以看到對于一些小目標(biāo)缺陷的檢測還是不錯的，但由于生產(chǎn)環(huán)境以及光照的影響，部分缺陷的檢測效果不佳。

3.4 改進(jìn)YOLOv7x算法與其他算法的對比

為了驗證改進(jìn)YOLOv7x算法的有效性，將其與其他經(jīng)典主流算法進(jìn)行對比，實驗結(jié)果如表3所示。

從表3可以看出，改進(jìn)的YOLOv7x算法在mAP和模型大小都遠(yuǎn)超F(xiàn)aster RCNN和YOLOv3等經(jīng)典算法。相對于YOLOv5x，mAP提升了1.5%的同時，模型大小減少了17.5%。相對于YOLOv7x，mAP提升了3.6%且模型大小減少了4.4%。試驗結(jié)果表明，本文改進(jìn)算法還是十分有效的。

4 結(jié)束語

本文針對目前金屬表面缺陷檢測中存在的問題進(jìn)行了分析，針對不同缺陷之間存在相似性的問題，通過構(gòu)建V-ELAN模塊，來增強(qiáng)網(wǎng)絡(luò)對不同缺陷間差異較小的學(xué)習(xí)能力，在neck部分結(jié)合空間通道雙重注意力機(jī)制（Shuffle Attention， SA），提升對圖像中小目標(biāo)特征提取能力，并且采用Alpha IOU損失函數(shù)替換原來的CIOU損失函數(shù)，加速網(wǎng)絡(luò)收斂，最后引入深度可分離卷積，在降低網(wǎng)絡(luò)的參數(shù)量和計算量的同時，盡可能較小減少精度損失。試驗結(jié)果表明，本文改進(jìn)算法效果優(yōu)于原來網(wǎng)絡(luò)及其他主流網(wǎng)絡(luò)。由于目前模型大小還不足以達(dá)到工業(yè)部署的要求，下一步將會考慮進(jìn)行網(wǎng)絡(luò)輕量化相關(guān)研究。

參考文獻(xiàn)（References）：

[1] 韓九強(qiáng).機(jī)器視覺技術(shù)及應(yīng)用[M].北京：高等教育出版社，2009.

[2] Ren S， He K， Girshick R， et al. Faster r-cnn： Towards real-time object detection with region proposal networks[J].Advances in neural information processing systems，2015，28.

[3] Liu W， Anguelov D， Erhan D， et al. Ssd： Single shot?multibox detector[C]//Computer Vision-ECCV 2016： 14th European Conference，Amsterdam，The Netherlands， October 11-14， 2016， Proceedings， Part I 14. Springer International Publishing，2016：21-37.

[4] Redmon J， Divvala S， Girshick R， et al. You only lookonce：Unified， real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2016：779-788.

[5] 程婧怡，段先華，朱偉.改進(jìn)YOLOv3的金屬表面缺陷檢測研究[J].計算機(jī)工程與應(yīng)用，2021，57（19）：252-258.

[6] 方葉祥，甘平，陳俐.金屬表面缺陷檢測的改進(jìn)YOLOv3算法研究[J].機(jī)械科學(xué)與技術(shù)，2020，39（9）：1390-1394.

[7] 李衍照，于鐳，田金文.基于改進(jìn)YOLOv5的金屬焊縫缺陷檢測[J].電子測量技術(shù)，2022，45（19）：70-75.

[8] Wang C Y， Bochkovskiy A， Liao H Y M. YOLOv7：Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[J]. arXiv preprint arXiv：2207.02696，2022.

[9] Lee Y， Hwang J， Lee S， et al. An energy andGPU-computation efficient backbone network for real-time object detection[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops，2019.

[10] Wang C Y， Liao H Y M， Wu Y H， et al. CSPNet： A newbackbone that can enhance learning capability of CNN[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops，2020：390-391.

[11] Lee Y， Park J. Centermask： Real-time anchor-freeinstance segmentation[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition，2020：13906-13915.

[12] Hu J， Shen L， Sun G. Squeeze-and-excitationnetworks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2018：7132-7141.

[13] Howard A G， Zhu M， Chen B， et al. Mobilenets： Efficientconvolutional neural networks for mobile vision applications[J].arXiv preprint arXiv：1704.04861，2017.

[14] Rezatofighi H， Tsoi N， Gwak J Y， et al. Generalizedintersection over union： A metric and a loss for bounding box regression[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition，2019：658-666.

[15] Zheng Z， Wang P， Liu W， et al. Distance-IoU loss： Fasterand better learning for bounding box regression[C]//Proceedings of the AAAI conference on artificial intelligence，2020，34（7）：12993-13000.

[16] Zheng Z， Wang P， Ren D， et al. Enhancing geometricfactors in model learning and inference for object detection and instance segmentation[J].IEEE Transactions on Cybernetics，2021.

[17] He J， Erfani S， Ma X， et al. Alpha-IoU： A Family ofPower Intersection over Union Losses for Bounding Box Regression[J]. Advances in Neural Information Processing Systems，2021，34：20230-20242.

[18] Lv X， Duan F， Jiang J， et al. Deep metallic surface defect?detection： The new benchmark and detection network[J].Sensors，2020，20（6）：1562.