基于改進(jìn)YOLOv5的鋼材表面缺陷檢測(cè)

吳敵　李明輝　馬文凱　李睿童　李艷

摘要：針對(duì)當(dāng)前鋼材表面缺陷種類(lèi)多、形態(tài)復(fù)雜等原因?qū)е碌臋z測(cè)精度低的問(wèn)題，本文提出了一種基于改進(jìn)YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)的缺陷檢測(cè)方法.首先，對(duì)于在檢測(cè)中小目標(biāo)缺陷易被漏檢、錯(cuò)檢的問(wèn)題，增加了小目標(biāo)檢測(cè)層；其次，對(duì)于缺陷圖像表現(xiàn)的背景復(fù)雜，且部分缺陷交叉、重疊等問(wèn)題，引入了Transformer encoder block模塊和Convolutional block attention model（CBAM）模塊，使網(wǎng)絡(luò)能更加有效地對(duì)抗復(fù)雜背景信息，專(zhuān)注于目標(biāo)對(duì)象的檢測(cè)；最后，使用NEU-DET數(shù)據(jù)集對(duì)該改進(jìn)模型進(jìn)行了實(shí)驗(yàn).結(jié)果表明，相較于原YOLOv5模型，該方法在缺陷檢測(cè)方面的精度提升了6.5%；相較于Faster-RCNN模型，其精度提高了約10%.因此，該方法在鋼材表面缺陷檢測(cè)上，具有較好的檢測(cè)精度和效率.

關(guān)鍵詞：目標(biāo)檢測(cè)； 鋼材表面缺陷； YOLOv5； 注意力機(jī)制

中圖分類(lèi)號(hào)：TP391.4文獻(xiàn)標(biāo)志碼： A

Surface defect detection of steel based on improved Yolov5

WU Di1， LI Ming-hui1*， MA Wen-kai1， LI Rui-tong1， LI Yan2（1.College of Mechanical and Electrical Engineering， Shaanxi University of Science & Technology， Xi′an 710021， China; 2.School of Electrical and Control Engineering， Shaanxi University of Science & Technology， Xi′an 710021， China）

Abstract：In order to solve the problem of low detection accuracy caused by the variety and complexity of the surface defects of steel，we proposed a defect detection method based on improved YOLOV5 object detection network.Firstly，a small target detection layer is added to the problem that small defects are often to be missed and misdetected.Then，the Transformer encoder block module and the Convolutional block attention model（CBAM） are used to deal with the complex background of the defect image，which makes the network more effective against complex background information and more focus on object detection.Finally，the improved model is tested on NEU-DET datasets.The results show that the precision of the proposed method is 6.5% higher than that of the original YOLOv5 model and about 10% higher than that of the Faster-RCNN model.The experimental results show that the method has good accuracy and efficiency in steel surface defect detection.

Key words：object detection； steel surface defects； YOLOv5； attention mechanism

0引言

鋼鐵行業(yè)是國(guó)民經(jīng)濟(jì)發(fā)展的支柱性產(chǎn)業(yè)，我國(guó)的鋼鐵年產(chǎn)量逐年上升，目前已位居全球第一，占全球鋼鐵總產(chǎn)量的半壁江山，2020年我國(guó)粗鋼產(chǎn)量達(dá)10.65億噸［1］.結(jié)合2019年的數(shù)據(jù)來(lái)看，中國(guó)的鋼鐵行業(yè)仍處于上升發(fā)展時(shí)期，但以生產(chǎn)規(guī)模及效益所代表的舊的發(fā)展動(dòng)力已經(jīng)略顯乏力，行業(yè)總體盈利水平增長(zhǎng)緩慢.因此，對(duì)于鋼鐵企業(yè)而言，需要考慮獲取新動(dòng)力，不斷使產(chǎn)業(yè)鏈升級(jí)向高端水平邁進(jìn).除了提升裝備水平外，更要通過(guò)引入新技術(shù)使行業(yè)從基礎(chǔ)制造向智能制造轉(zhuǎn)型，以實(shí)現(xiàn)優(yōu)質(zhì)、高效、綠色的行業(yè)發(fā)展目標(biāo).

目前，在鋼材表面缺陷檢測(cè)作業(yè)方面，常用的檢測(cè)方法有以下四種：（1）人工檢測(cè)法；（2）渦流檢測(cè)法［2］ ；（3）紅外檢測(cè)法［3］ ；（4）漏磁檢測(cè)法［4］.其中，后面三種因?yàn)榧夹g(shù)或成本等原因得不到廣泛的應(yīng)用.而目前采用最多的還是人工檢測(cè)方式.但這種檢測(cè)方式耗費(fèi)人力，且效率較低.近年來(lái)，隨著機(jī)器視覺(jué)、深度學(xué)習(xí)等技術(shù)飛速發(fā)展，而其相關(guān)應(yīng)用也越來(lái)越廣.目前也有了許多有關(guān)機(jī)器視覺(jué)在缺陷檢測(cè)方面的研究.基于機(jī)器視覺(jué)的檢測(cè)方法不僅成本低，效率高，而且通過(guò)逐漸的研究改進(jìn)能獲得接近人工的檢測(cè)精度.

針對(duì)鋼板及熱軋鋼或冷軋帶鋼的表面缺陷檢測(cè)問(wèn)題，目前已有許多使用傳統(tǒng)圖像檢測(cè)或深度學(xué)習(xí)方法進(jìn)行的研究.徐科等［5］通過(guò)Tetrolet變換將鋼板圖像分解成子帶，并提取子帶的矩陣特征，最后通過(guò)支持向量機(jī)對(duì)降維后的特征矢量進(jìn)行分類(lèi).胡聯(lián)亭［6］對(duì)于鋼板表面缺陷圖像首先使用包括濾波算法，直方圖均衡化以及Sobel邊緣檢測(cè)算子對(duì)圖像進(jìn)行預(yù)處理，之后使用Fisher判別準(zhǔn)則提取貢獻(xiàn)度較大的特征維度，最后提出AdaBoost.BK算法對(duì)缺陷進(jìn)行識(shí)別，最高達(dá)到了85.89%的分類(lèi)精度.以上方法雖然在鋼材的表面缺陷檢測(cè)上表現(xiàn)出了一定的效果，但其無(wú)論是在圖像的特征提取還是在特征識(shí)別方面使用的都是傳統(tǒng)算法，這導(dǎo)致模型的檢測(cè)精度較低且提升困難.

近年來(lái)，人工神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等技術(shù)的興起，其在圖像處理領(lǐng)域取得了許多驚人的成就.因此，也有許多的研究學(xué)者將深度學(xué)習(xí)技術(shù)與缺陷檢測(cè)工作相結(jié)合，取得了許多較好的結(jié)果［7］.楊水山［8］提出基于CNN的帶鋼表面缺陷檢測(cè)算法，實(shí)現(xiàn)了對(duì)帶鋼表面是否具有缺陷的判斷，準(zhǔn)確率達(dá)到99.99%以上.李鑫燦［9］在研究中對(duì)U-Net語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出基于分組卷積和特征均勻重組的殘差網(wǎng)絡(luò)結(jié)構(gòu)來(lái)實(shí)現(xiàn)多尺度的特征提取，通過(guò)過(guò)渡特征和密集連接改進(jìn)得到缺陷精細(xì)分割網(wǎng)絡(luò)Nabla-net，并引入注意力機(jī)制使空間能夠進(jìn)行自適應(yīng)調(diào)整以及深度監(jiān)督機(jī)制實(shí)現(xiàn)網(wǎng)絡(luò)剪枝.師偉婕等［10］則做了U-Net和Res-UNet在鋼鐵圖像缺陷檢測(cè)工作上的對(duì)比，結(jié)果顯示Res-UNet在鋼鐵圖像的缺陷位置和缺陷類(lèi)別的識(shí)別方面更準(zhǔn)確.

以上方法有的專(zhuān)注于目標(biāo)缺陷分類(lèi)，有的專(zhuān)注于圖像的分割，卻未將二者結(jié)合，在進(jìn)行缺陷分類(lèi)的同時(shí)做到有效定位.這將極大限制其在工業(yè)生產(chǎn)中的應(yīng)用.方葉祥等［11］在金屬表面的缺陷研究中使用了改進(jìn)的YOLOv3算法，主要改進(jìn)包括使用直方圖均衡化對(duì)圖像進(jìn)行預(yù)處理，使用數(shù)據(jù)增強(qiáng)方法模擬現(xiàn)實(shí)工作環(huán)境以及優(yōu)化損失函數(shù)來(lái)提高模型對(duì)表面缺陷分類(lèi)的準(zhǔn)確性.劉洋［12］為了提高鋼材瑕疵檢測(cè)的速度，提出了基于Tiny-YOLOv3的R-Tiny-YOLOv3算法，該算法加入了殘差網(wǎng)絡(luò)以及空間金字塔池化SPP模塊最后選擇CIOU作為損失函數(shù)，該算法對(duì)鋼材瑕疵檢測(cè)精度達(dá)到71.5%，檢測(cè)速度達(dá)到39.8幀每秒，能夠滿足嵌入設(shè)備的實(shí)時(shí)檢測(cè)需求.

以上研究通過(guò)不同的方式分別改進(jìn)了缺陷檢測(cè)模型各個(gè)方面的性能，但其在針對(duì)鋼鐵表面的獨(dú)特性缺陷上缺乏針對(duì)性的處理，特別是對(duì)小目標(biāo)缺陷及鋼材表面復(fù)雜紋理背景圖像的識(shí)別和處理能力不足.這導(dǎo)致了缺陷檢測(cè)種類(lèi)的不全面以及部分缺陷類(lèi)型的檢測(cè)精度低，從而導(dǎo)致了模型整體性能的不理想.本文針對(duì)以上問(wèn)題，首先引入小目標(biāo)檢測(cè)層，增強(qiáng)檢測(cè)網(wǎng)絡(luò)對(duì)小目標(biāo)缺陷的檢測(cè)能力.此外，還將原網(wǎng)絡(luò)中的部分CSP結(jié)構(gòu)替換為T(mén)ansformer encoder block，并加入CBAM （Convolutional block attention module）模塊以處理復(fù)雜的背景紋理信息.

1相關(guān)工作

1.1鋼材缺陷檢測(cè)背景

基于機(jī)器視覺(jué)方法的缺陷檢測(cè)流程如下，首先通過(guò)工業(yè)相機(jī)獲取鋼材表面的圖像，在對(duì)圖像進(jìn)行簡(jiǎn)單的標(biāo)號(hào)排序等預(yù)處理后將處理后的圖像輸入相應(yīng)算法模型，由目標(biāo)檢測(cè)算法給出圖片中缺陷的種類(lèi)以及位置，再通過(guò)之前記錄的信息反向推算出相應(yīng)缺陷在實(shí)際鋼材中位置.整個(gè)流程可以由一整套自動(dòng)化程序?qū)崿F(xiàn)，而本次研究的重點(diǎn)便在于其關(guān)鍵的目標(biāo)檢測(cè)算法.

在鋼材生產(chǎn)加工的過(guò)程中，由于工藝不足或者操作失誤會(huì)在鋼材表面留下各種缺陷.通常鋼材表面的缺陷有以下七種：裂紋缺陷、劃傷、折疊缺陷、耳子（突起）缺陷特征、結(jié)疤（重皮）缺陷、焊疤缺陷、端部毛刺缺陷.

由以上可見(jiàn)鋼材表面的缺陷種類(lèi)多樣.不同種類(lèi)的缺陷特征差異較大導(dǎo)致不同缺陷在檢測(cè)時(shí)的精度差異較大，部分小目標(biāo)缺陷檢測(cè)的精度不理想，同時(shí)鋼鐵表面缺陷圖像的背景復(fù)雜，紋理混亂，檢測(cè)目標(biāo)之間也會(huì)出現(xiàn)覆蓋交叉的情況，具體情況如圖1所示.本文針對(duì)以上問(wèn)題，結(jié)合鋼材檢測(cè)的實(shí)際特點(diǎn)和具體要求，在YOLOv5網(wǎng)絡(luò)模型的基礎(chǔ)上進(jìn)行補(bǔ)充修改和調(diào)整，進(jìn)行實(shí)驗(yàn).并對(duì)比其他網(wǎng)絡(luò)在相同條件下的實(shí)驗(yàn)結(jié)果.

1.2目標(biāo)檢測(cè)模型

目前，基于深度學(xué)習(xí)理論的目標(biāo)檢測(cè)算法主要可分為兩條技術(shù)路線：Anchor based（基于候選框）和Anchor free（不基于候選框）.其中，Anchor based方法中又可以分為One-stage（單階段檢測(cè)）和two-stage（二階段檢測(cè)）.其中屬于單階段檢測(cè)的SSD、YOLO算法以及二階段檢測(cè)方法中的RCNN、Faster RCNN等都在表面缺陷檢測(cè)中有廣泛的應(yīng)用.YOLOv5網(wǎng)絡(luò)是在YOLOv3，YOLOv4的基礎(chǔ)上進(jìn)一步優(yōu)化而來(lái)，在保證檢測(cè)精度的前提下YOLOv5迭代出四個(gè)不同版本，使YOLOv5在使用起來(lái)更加靈活方便.王淑青等［13］的研究表明，YOLOv5在缺陷檢測(cè)方面較其他網(wǎng)絡(luò)如Faster RCNN、SSD、YOLOv4有更優(yōu)異的表現(xiàn).

以YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)為例，如圖2所示，其中黃色框中的為網(wǎng)絡(luò)本體，藍(lán)色框中的為對(duì)網(wǎng)絡(luò)中模塊的分解說(shuō)明.其結(jié)構(gòu)可分為4個(gè)部分：

（1）輸入端（input）.YOLOv5在輸入端采用Mosaic數(shù)據(jù)增強(qiáng)，自適應(yīng)圖像縮放來(lái)增強(qiáng)網(wǎng)絡(luò)推理的能力并提高效率，使其對(duì)不同的輸入具有較強(qiáng)的適應(yīng)性；

（2）主干網(wǎng)絡(luò)（backbone）.在主干網(wǎng)絡(luò)中YOLOv5使用Focus結(jié)構(gòu)和CSP結(jié)構(gòu)來(lái)提取輸入圖像數(shù)據(jù)中的特征信息，該設(shè)計(jì)有效降低了計(jì)算成本和內(nèi)存成本并增強(qiáng)了卷積網(wǎng)絡(luò)的學(xué)習(xí)能力；

（3）融合網(wǎng)絡(luò)（Neck）.Neck部分主要是對(duì)之前提取的特征進(jìn)行整理使其能夠被更好的利用從而提取出更有效的特征，此處YOLOv5采用FPN+PAN的結(jié)構(gòu)，從自頂向下和自底向上兩個(gè)方向出發(fā)，同時(shí)增強(qiáng)了語(yǔ)義信息和位置信息的提取，同時(shí)還設(shè)計(jì)了的CSP2結(jié)構(gòu)，進(jìn)一步加強(qiáng)了網(wǎng)絡(luò)的特征融合能力；

（4）檢測(cè)頭（Prediction）.檢測(cè)頭一般都是對(duì)損失函數(shù)的設(shè)計(jì) ，損失函數(shù)又可以分為分類(lèi)損失函數(shù)（Classificition Loss）和回歸損失函數(shù)（Bounding Box Regeression Loss），YOLOv5在此處采用CIOU_Loss作為回歸損失函數(shù)，最后采用加權(quán)NMS（非極大值抑制）來(lái)篩選目標(biāo)框.

2基于改進(jìn)YOLOv5的目標(biāo)檢測(cè)

2.1增加小目標(biāo)檢測(cè)層

由于鋼材表面缺陷種類(lèi)較多，形態(tài)特征較復(fù)雜，在檢測(cè)過(guò)程中常有小目標(biāo)缺陷被漏檢或錯(cuò)檢.對(duì)此，本文在原有的三個(gè)檢測(cè)層的基礎(chǔ)上增加小目標(biāo)檢測(cè)層，通過(guò)對(duì)小范圍內(nèi)圖像特征的識(shí)別，來(lái)增加網(wǎng)絡(luò)對(duì)小目標(biāo)檢測(cè)的能力.具體方案如圖3所示.圖3中的紅色錨框?yàn)樵煎^框，分別為P3，P4，P5.其中，P3用于淺層的特征圖，由于淺層特征圖包含較多的低層級(jí)信息，適合用于檢測(cè)小目標(biāo)，所以這一特征圖所用的錨框尺度較小；P5應(yīng)用于深層特征圖，其特征圖中具有更多高層級(jí)的信息，如輪廓、結(jié)構(gòu)等信息，適合用于大目標(biāo)的檢測(cè)，所以這一特征圖所用的錨框尺度較大；同理，P4介于這兩個(gè)尺度之間，用來(lái)檢測(cè)中等大小的目標(biāo).而圖中藍(lán)色錨框?yàn)楦鶕?jù)缺陷情況添加的更小的錨框，以此解決圖像中更小缺陷目標(biāo)的檢測(cè)問(wèn)題.

2.2Transformer encoder block模塊和CBAM模塊根據(jù)目前研究［14］表明，Tansformer encoder block模塊以及CBAM［15］結(jié)構(gòu)都更有利于捕獲全局信息，抵抗混亂的信息，有效處理復(fù)雜背景.Transformer encoder block其結(jié)構(gòu)如圖4所示，主要包含兩個(gè)子層，第一個(gè)子層是一個(gè)多頭注意力層，第二層是一個(gè)全連接層，二者使用殘差網(wǎng)絡(luò)連接.其中的LayerNorm和Dropout結(jié)構(gòu)可以幫助網(wǎng)絡(luò)收斂，有效防止網(wǎng)絡(luò)過(guò)擬合.而多頭注意力結(jié)構(gòu)不僅可以幫助當(dāng)前節(jié)點(diǎn)關(guān)注當(dāng)前的像素，而且還可以有效獲得上下文的語(yǔ)義.本文使用該transformer encoder block 模塊取代了圖2網(wǎng)絡(luò)中的部分CONV模塊以及CSP2_1模塊.本文將該模塊應(yīng)用在backbone的末端及neck部分，此時(shí)圖片信息的分辨率較低，可以在有效提取特征信息的同時(shí)降低計(jì)算和存儲(chǔ)開(kāi)銷(xiāo).

CBAM（Convolutional block attention module）是一個(gè)簡(jiǎn)單有效的注意力模塊，可以集成到CNN體系結(jié)構(gòu)當(dāng)中，并且可以以端到端的方式訓(xùn)練.對(duì)于給定的特征數(shù)據(jù)，CBAM沿通道和空間這兩個(gè)獨(dú)立維度依次推斷注意力圖.然后將注意力圖和輸入的圖像特征相乘，進(jìn)行自適應(yīng)特征細(xì)化.CBAM模塊的結(jié)構(gòu)如圖5所示，使用兩個(gè)順序子模塊用于細(xì)化通過(guò)CBAM的特征圖，同時(shí)還使用了殘差網(wǎng)絡(luò)的結(jié)構(gòu)來(lái)增強(qiáng)對(duì)特征的提取.該模塊主要應(yīng)用在neck部分，配合Transformer encoder block 模塊和Conv模塊來(lái)加強(qiáng)網(wǎng)絡(luò)的性能.改進(jìn)后的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖6所示.

3實(shí)驗(yàn)結(jié)果與分析

3.1數(shù)據(jù)來(lái)源

本次鋼材表面缺陷檢測(cè)實(shí)驗(yàn)采用東北大學(xué)鋼材表面缺陷數(shù)據(jù)集（NEU-DET）［16］，該數(shù)據(jù)集包含了6種常見(jiàn)的鋼材表面缺陷：crazing（細(xì)裂紋）、inclusion（雜質(zhì)）、patches（斑塊）、pitted surface（表面麻點(diǎn)）、rolled-in scale（滾軋鱗片）、scratches（劃痕），具體表現(xiàn)如圖7所示.數(shù)據(jù)集中的圖像分辨率為200×200像素，一共1 800張圖片，本次實(shí)驗(yàn)將其劃分為訓(xùn)練集1 422張，驗(yàn)證集378張.

3.2實(shí)驗(yàn)設(shè)置

在本文的實(shí)驗(yàn)環(huán)境，使用NVIDIA GTX1050Ti GPU進(jìn)行訓(xùn)練和測(cè)試，CUDA的版本是11.3，cuDNN的版本是8.2.1，Pytorch的版本是1.10.2，硬件和軟件環(huán)境的詳細(xì)信息如表1所示.

3.3實(shí)驗(yàn)相關(guān)的評(píng)價(jià)指標(biāo)

關(guān)于目標(biāo)檢測(cè)領(lǐng)域的評(píng)價(jià)指標(biāo)首先要考慮檢測(cè)框的準(zhǔn)確度，該指標(biāo)主要由IoU指標(biāo)衡量，即檢測(cè)框和目標(biāo)框面積的交并比，如圖8所示.實(shí)際運(yùn)算中根據(jù)IoU大小判斷預(yù)測(cè)是否有效，一般當(dāng)IoU≥0.5時(shí)判定為預(yù)測(cè)正確.

而對(duì)檢測(cè)結(jié)果的劃分可以用圖9 中的混淆矩陣表示.根據(jù)預(yù)測(cè)結(jié)果和實(shí)際情況的組合可分為以下四種情況TP（實(shí)際的和預(yù)測(cè)的標(biāo)簽都是“真”），F(xiàn)N（實(shí)際標(biāo)簽為“真”，預(yù)測(cè)標(biāo)簽為“假”），F(xiàn)P（實(shí)際標(biāo)簽為“假”，預(yù)測(cè)標(biāo)簽為“真”），TN（實(shí)際的和預(yù)測(cè)的標(biāo)簽都是“假”）.根據(jù)以上四種情況的統(tǒng)計(jì)結(jié)果可以得到以下三個(gè)指標(biāo)（公式（1）～（3））.精度（Precision，P）、召回率（Recall，R）和準(zhǔn)確率（Aaccuracy，A）.在此基礎(chǔ)上的綜合評(píng)價(jià)指標(biāo)為平均精度 （Average Precision，AP）和平均精度均值 （mean AP over clasess，mAP）.其中AP表示同一類(lèi)別下，所有檢測(cè)結(jié)果的平均精度，而mAP則表示所有檢測(cè)類(lèi)別平均精度的均值.

3.4結(jié)果討論

為證明本文改進(jìn)后模型的檢測(cè)效果，以及驗(yàn)證具體改進(jìn)措施起到的作用，本次實(shí)驗(yàn)除了設(shè)置原YOLOv5s網(wǎng)絡(luò)組以及Faster-RCNN網(wǎng)絡(luò)組（分別稱(chēng)作V5-0和FF-RCNN）作為對(duì)照組外，還設(shè)置了三組消融實(shí)驗(yàn)組：（1）增加小目標(biāo)檢測(cè)層組；（2）增加Transformer encoder block模塊和CBAM結(jié)構(gòu)組；（3）最終優(yōu)化組.為方便描述，將以上三組消融實(shí)驗(yàn)組依次稱(chēng)作V5-1、V5-2、V5-3.

其中，實(shí)驗(yàn)的總體結(jié)果如表2所示.根據(jù)表中的數(shù)據(jù)顯示，優(yōu)化后的網(wǎng)絡(luò)（V5-3）相對(duì)于原網(wǎng)絡(luò)（V5-0），mAP大約有6%的提升，相對(duì)于Faster-RCNN網(wǎng)絡(luò)提升了大約10%.與消融實(shí)驗(yàn)組（V5-1和V5-2）的結(jié)果進(jìn)行對(duì)比表明，針對(duì)于原網(wǎng)絡(luò)做出的改進(jìn)措施都起到了良好的效果，相對(duì)于原網(wǎng)絡(luò)大約提升了5%～6%的精度.

具體的消融實(shí)驗(yàn)結(jié)果見(jiàn)圖10所示.根據(jù)圖10的檢測(cè)結(jié)果顯示，改進(jìn)方法一通過(guò)增加小目標(biāo)檢測(cè)層的方法能夠有效提高對(duì)于rolled-in_scale（軋制氧化皮）和scratches（劃痕）這兩種缺陷的檢測(cè)能力；而方法二則通過(guò)引入注意力模塊的方式有效增強(qiáng)了網(wǎng)絡(luò)對(duì)crazing（細(xì)裂紋），pitted -surface （表面點(diǎn)蝕），軋制氧化皮（rolled-in scale）這些缺陷的識(shí)別，證明了其對(duì)復(fù)雜背景信息有效的處理能力.最后，最終優(yōu)化組能夠?qū)煞N優(yōu)化方案的優(yōu)點(diǎn)有效結(jié)合，使其在絕大多數(shù)的情況下的檢測(cè)結(jié)果都能優(yōu)于二者，做到了有效的取長(zhǎng)補(bǔ)短.

算法的收斂情況如圖11所示.根據(jù)圖中曲線顯示，改進(jìn)后的網(wǎng)絡(luò)相對(duì)于原網(wǎng)絡(luò)有明顯的改進(jìn).其中最優(yōu)的權(quán)重在V3網(wǎng)絡(luò)第230次迭代時(shí)產(chǎn)生.

圖12展示了部分檢測(cè)結(jié)果（左為原標(biāo)記圖片，右為檢測(cè)結(jié)果圖片）.圖中檢測(cè)結(jié)果顯示，優(yōu)化后的檢測(cè)網(wǎng)絡(luò)的檢測(cè)結(jié)果與數(shù)據(jù)集標(biāo)注結(jié)果高度吻合.

4結(jié)論

本文使用一種基于YOLOv5的改進(jìn)網(wǎng)絡(luò)對(duì)鋼材表面缺陷進(jìn)行檢測(cè)，使用NEU-DET數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證.該方法通過(guò)增加小目標(biāo)檢測(cè)層來(lái)增強(qiáng)對(duì)小目標(biāo)缺陷的檢測(cè)效果，同時(shí)通過(guò)引入Transformer encoder block模塊和CBAM模塊，使網(wǎng)絡(luò)更有效的對(duì)抗復(fù)雜背景，更有效聚焦于任務(wù)目標(biāo)的檢測(cè).

實(shí)驗(yàn)表明，本文中所提的改進(jìn)模型相較于原模型，在總體平均檢測(cè)精度 （mAP）上提升了6%左右，相較于以Resnet50為骨干網(wǎng)絡(luò)的Faster-RCNN模型，mAP提升約10% .同時(shí)通過(guò)消融實(shí)驗(yàn)證明，本文所提的兩種改進(jìn)措施均能對(duì)原有網(wǎng)絡(luò)在鋼鐵表面缺陷檢測(cè)方面做出有效提升.并且融合后的網(wǎng)絡(luò)也能較好的發(fā)揮各改進(jìn)網(wǎng)絡(luò)的優(yōu)點(diǎn)，使檢測(cè)精度有更進(jìn)一步的提升.然而，該改進(jìn)模型也存在一些不足.如針對(duì)個(gè)別特征，優(yōu)化方案融合效果表現(xiàn)不佳，以及對(duì)個(gè)別種類(lèi)缺陷的整體檢測(cè)精度不足.因此，該優(yōu)化網(wǎng)絡(luò)模型還有進(jìn)一步優(yōu)化的空間.

依據(jù)理論，本文中所提的方法同樣可以用于其它工業(yè)應(yīng)用場(chǎng)景中，特別是對(duì)于存在小目標(biāo)以及背景較復(fù)雜的目標(biāo)檢測(cè)領(lǐng)域.同時(shí)，對(duì)于其表現(xiàn)的不足，需要進(jìn)一步的研究改進(jìn)，從而使模型的總體檢測(cè)精度能有更進(jìn)一步的提升，以此來(lái)更好的滿足具體工業(yè)生產(chǎn)的需求.

參考文獻(xiàn)

［1］ 龐永輝.基于深度學(xué)習(xí)的帶鋼表面缺陷檢測(cè)與識(shí)別方法研究［D］.鄭州：華北水利水電大學(xué)，2021.

［2］ 黃鳳英.鋼軌表面裂紋渦流檢測(cè)定量評(píng)估方法［J］.中國(guó)鐵道科學(xué)，2017，38（2）：28-33.

［3］ 徐歡，殷晨波，李向東，等.基于有限元的焊縫缺陷紅外熱像檢測(cè)研究［J］.熱加工工藝，2019，48（17）：122-127，133.

［4］ 田思洋，徐科，周東東.鋼板表面缺陷圖像的跨域翻譯［J］.中國(guó)冶金，2019，29（4）：54-59.

［5］ 徐科，王磊，王璟瑜.基于Tetrolet變換的熱軋鋼板表面缺陷識(shí)別方法［J］.機(jī)械工程學(xué)報(bào)，2016，52（4）：13-19.

［6］ 胡聯(lián)亭.基于機(jī)器視覺(jué)的鋼板表面缺陷識(shí)別研究［D］.武漢：武漢科技大學(xué)，2018.

［7］ 柴利，任磊，顧錁，等.基于視覺(jué)感知的表面缺陷智能檢測(cè)理論及工業(yè)應(yīng)用［J］.計(jì)算機(jī)集成制造系統(tǒng)，2022，28（7）：1 996-2 004.

［8］ 楊水山.冷軋帶鋼表面缺陷機(jī)器視覺(jué)自動(dòng)檢測(cè)技術(shù)研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2009.

［9］ 李鑫燦.基于改進(jìn)U-Net的鋼材缺陷檢測(cè)分割算法研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2020.

［10］ 師偉婕，黃靜靜，王茂發(fā).基于兩種U型網(wǎng)絡(luò)的鋼鐵圖像缺陷檢測(cè)方法對(duì)比［J］.北京信息科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，36（1）：63-68.

［11］ 方葉祥，甘平，陳俐.金屬表面缺陷檢測(cè)的改進(jìn)YOLOv3算法研究［J］.機(jī)械科學(xué)與技術(shù)，2020，39（9）：1 390-1 394.

［12］ 劉洋.基于深度學(xué)習(xí)的工業(yè)鋼材瑕疵檢測(cè)研究［D］.合肥：安徽建筑大學(xué)，2021.

［13］ 王淑青，頓偉超，黃劍鋒，等.基于YOLOv5的瓷磚表面缺陷檢測(cè)［J］.包裝工程，2022，43（9）：217-224.

［14］ Zheng Z，Wang P，Liu W，et al.Distance-IoU loss：Faster and better learning for bounding box regression［C］// Proceedings of the AAAI Conference on Artificial Intelligence.New York：IEEE Transactions on Cybernetics，2020：12 993-13 000.

［15］ Woo S，Park J，Lee J Y，et al.Cbam：Convolutional block attention module［C］// Proceedings of the European conference on computer vision.Munich：Springer International Publishing，2018：3-19.

［16］ He Y，Song K，Meng Q，et al.An end-to-end steel surface defect detection approach via fusing multiple hierarchical features［J］.IEEE Transactions on Instrumentation and Measurement，2019，69（4）：1 493-1 504.

【責(zé)任編輯：蔣亞儒】