基于深度學(xué)習(xí)的鋼表面缺陷檢測(cè)方法綜述

費(fèi)佳杰　李宏勝　任飛　吳敏寧　王光榮

摘? 要：加工而成的鋼材表面可能會(huì)存在一定的缺陷，對(duì)鋼材的外觀和質(zhì)量造成嚴(yán)重的影響，這些缺陷可以通過(guò)多種方法來(lái)完成分類和分割。傳統(tǒng)檢測(cè)方法精度不高且效率低下，采用基于深度學(xué)習(xí)的鋼表面缺陷檢測(cè)方法可有效提高檢測(cè)性能。文章總結(jié)了近年來(lái)諸多學(xué)者提出的基于深度學(xué)習(xí)的缺陷分類和分割方法，介紹了這些算法的特點(diǎn)以及基于這些算法得到的改進(jìn)算法，并對(duì)各類算法進(jìn)行了比較，得出各種算法的優(yōu)缺點(diǎn)。最后，總結(jié)了現(xiàn)階段基于深度學(xué)習(xí)的缺陷檢測(cè)技術(shù)存在的問(wèn)題，并對(duì)未來(lái)的發(fā)展進(jìn)行了展望。

關(guān)鍵詞：缺陷檢測(cè)；深度學(xué)習(xí)；目標(biāo)檢測(cè)；卷積神經(jīng)網(wǎng)絡(luò)；缺陷分類

中圖分類號(hào)：TP391? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）19-0107-06

Overview of Steel Surface Defect Detection Methods Based on Deep Learning

FEI Jiajie1， LI Hongsheng1， REN Fei2， WU Minning3， WANG Guangrong2

（1.School of Automation， Nanjing Institute of Technology， Nanjing? 211167， China; 2.Digital Intelligent Mine Research Institute/Artificial Intelligence Research Institute， Sinoma （Nanjing） Mining Research Institute Co.， Ltd.， Nanjing? 210000， China;

3.School of Information Engineering， Yulin University， Yulin? 719000， China）

Abstract： The surface of processed steel may have certain defects that seriously affect the appearance and quality of the steel. These defects can be classified and segmented through various methods. Traditional detection methods have low accuracy and efficiency， and using deep learning-based steel surface defect detection methods can effectively improve detection performance. This paper summarizes the defect classification and segmentation methods based on deep learning proposed by many scholars in recent years， introduces the characteristics of these algorithms and the improved algorithms based on these algorithms， and compares various algorithms to identify their advantages and disadvantages. Finally， the existing problems of defect detection technology based on deep learning at the current stage are summarized， and the future development is prospected.

Keywords： defect detection; deep learning; object detection; convolutional neural network; defect classification

0? 引? 言

近年來(lái)，我國(guó)正處于從制造業(yè)大國(guó)向制造業(yè)強(qiáng)國(guó)轉(zhuǎn)變的過(guò)渡時(shí)期，而鋼鐵行業(yè)是我國(guó)較為重要的原材料行業(yè)之一。鋼鐵產(chǎn)品被廣泛應(yīng)用于航空航天、機(jī)械、船舶、汽車和建筑等各類行業(yè)中[1]。鋼鐵作為原材料在上述行業(yè)中發(fā)揮著重要作用，若鋼鐵的質(zhì)量存在問(wèn)題可能會(huì)導(dǎo)致整個(gè)產(chǎn)品存在質(zhì)量缺陷，因此鋼鐵產(chǎn)品的質(zhì)量檢測(cè)就顯得愈發(fā)重要。鋼鐵表面缺陷檢測(cè)屬于鋼鐵質(zhì)量檢測(cè)的一個(gè)方面。鋼鐵表面的缺陷類型大致分為裂紋、刮傷、重皮和氣泡等[2]。這幾類缺陷中，有的缺陷人眼較難分辨識(shí)別；有的缺陷雖可通過(guò)人眼分辨，但大批量生產(chǎn)過(guò)程中的人工檢測(cè)會(huì)消耗大量的人力，且檢測(cè)質(zhì)量不穩(wěn)定。因此通過(guò)計(jì)算機(jī)圖像智能識(shí)別來(lái)完成鋼鐵產(chǎn)品的表面缺陷檢測(cè)就成為一種有效的方法。

隨著人工智能的迅速發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用于分類、分割及跟蹤等圖像處理任務(wù)中，鋼材缺陷檢測(cè)也是其中之一。運(yùn)用合適的神經(jīng)網(wǎng)絡(luò)算法完成鋼材表面的缺陷檢測(cè)，既能滿足對(duì)檢測(cè)精度的要求，還能提高檢測(cè)的實(shí)時(shí)性、穩(wěn)定性，另外還能降低成本。已有許多學(xué)者將深度學(xué)習(xí)應(yīng)用到鋼表面缺陷檢測(cè)技術(shù)之中并取得了較好的檢測(cè)效果。利用深度學(xué)習(xí)完成缺陷檢測(cè)的結(jié)果如圖1所示，圖像中用矩形框標(biāo)出缺陷所在位置，并在框上方標(biāo)注判斷的缺陷類型以及對(duì)應(yīng)的置信度。

1? 鋼表面缺陷檢測(cè)數(shù)據(jù)集

目前，鋼表面缺陷檢測(cè)方面的數(shù)據(jù)集較少，部分?jǐn)?shù)據(jù)集包含的樣本數(shù)據(jù)更是有限。下面對(duì)兩個(gè)具有代表性的鋼表面缺陷檢測(cè)的數(shù)據(jù)集進(jìn)行介紹。

1.1? 謝韋爾公司提供的帶鋼缺陷數(shù)據(jù)集

該數(shù)據(jù)集包含12 568張數(shù)據(jù)樣本，數(shù)據(jù)樣本大小為1 600×256，涉及四種缺陷，且含有缺陷的樣本中可能存在1～4種缺陷。該數(shù)據(jù)集被用于Kaggle比賽中。

1.2? 東北大學(xué)提供的NEU-DET數(shù)據(jù)集

該數(shù)據(jù)集包含1 800張數(shù)據(jù)樣本，涉及六種缺陷，每種缺陷有300張樣本。該數(shù)據(jù)集是時(shí)下最為熱門的鋼表面缺陷檢測(cè)數(shù)據(jù)集，被大量學(xué)者用來(lái)訓(xùn)練算法模型，具有很好的代表性。

上述兩個(gè)數(shù)據(jù)集是鋼表面缺陷檢測(cè)領(lǐng)域很有代表性的數(shù)據(jù)集。謝韋爾帶鋼表面缺陷檢測(cè)數(shù)據(jù)集含有更多的數(shù)據(jù)樣本，對(duì)模型訓(xùn)練較為有利，但同時(shí)對(duì)計(jì)算機(jī)硬件的要求也很高。相形之下，東北大學(xué)所提供數(shù)據(jù)集的樣本數(shù)量較少，包含的缺陷類型更多。這兩個(gè)數(shù)據(jù)集各有優(yōu)缺點(diǎn)，缺陷描述也有所不同。

2? 基于深度學(xué)習(xí)的缺陷分類算法

基于深度學(xué)習(xí)的缺陷檢測(cè)算法主要是利用目標(biāo)檢測(cè)算法來(lái)完成鋼材表面的缺陷檢測(cè)，可以完成對(duì)目標(biāo)圖片中缺陷的分類及定位。截至目前，常見(jiàn)基于深度學(xué)習(xí)的缺陷檢測(cè)算法可分為兩類：第一類算法是兩階段檢測(cè)算法[3]，該算法需要先得到候選框，再對(duì)候選框中的目標(biāo)做進(jìn)一步的定位及分類（此類算法以FasterR-CNN最具代表性）；第二類算法是單階段檢測(cè)算法[4]，該算法可直接生成缺陷目標(biāo)的位置信息、分類信息及其對(duì)應(yīng)概率，省去了獲得候選框的過(guò)程（此類算法以YOLO算法和SSD算法最具代表性）。兩階段檢測(cè)算法可以得到更高的檢測(cè)精度，而單階段檢測(cè)算法在犧牲部分檢測(cè)精度的同時(shí)贏得了更快的檢測(cè)速度。

2.1? CNN算法

在深度學(xué)習(xí)中，CNN（卷積神經(jīng)網(wǎng)絡(luò)）算法[5]被率先提出，用來(lái)替代由人工提取特征的傳統(tǒng)機(jī)器學(xué)習(xí)，可以通過(guò)計(jì)算機(jī)提取圖片中的特征并對(duì)圖片中的信息進(jìn)行分類。CNN算法主要通過(guò)卷積計(jì)算層來(lái)提取圖片中的特征信息；激活函數(shù)可以幫助解決非線性問(wèn)題；通過(guò)池化（Pooling）減小模型的參數(shù)，提高算法的速度，防止模型算法過(guò)擬合現(xiàn)象的出現(xiàn)；最后使用全連接層（Fully Connected Layers， FC）完成圖片中信息的分類。與傳統(tǒng)機(jī)器學(xué)習(xí)相比，CNN算法的分類效果更好，網(wǎng)絡(luò)模型參數(shù)更少。

RCNN（Region with CNN Feature）屬于典型的兩階段檢測(cè)算法，該算法通過(guò)候選框算法如SS（Selective Search）確定約2 000個(gè)候選框，運(yùn)用CNN算法進(jìn)行候選框中特征的提取，利用SVM進(jìn)行候選框的分類，并使用非極大值抑制的方法消除重疊程度較大的候選框；最后通過(guò)最小二乘等方法解決候選框的回歸問(wèn)題，其框架如圖2所示。運(yùn)用典型的RCNN在PASCAL VOC2012數(shù)據(jù)集可將檢測(cè)率從35.1%提升至53.7%，極大地提高了檢測(cè)的精度。但其缺點(diǎn)也非常的明顯，即訓(xùn)練和測(cè)試速度緩慢且所需存儲(chǔ)空間巨大。

Fast RCNN是在原算法的基礎(chǔ)上，將特征提取、候選框分類及回歸融合在一起，通過(guò)CNN算法實(shí)現(xiàn)，且此部分可以使用GPU進(jìn)行加速，大大縮減了操作時(shí)間。其缺點(diǎn)是候選框提取的部分仍是依賴CPU運(yùn)行，耗時(shí)較長(zhǎng)。Faster RCNN[6]中將前兩代的SS算法替換成RPN（Region Proposal Network）算法，并將該算法與另外三個(gè)部分相融合，利用CNN網(wǎng)絡(luò)完成整個(gè)檢測(cè)過(guò)程。該算法的優(yōu)點(diǎn)在于進(jìn)一步提高了檢測(cè)速度，實(shí)現(xiàn)了端到端的檢測(cè)，缺點(diǎn)是對(duì)候選框的處理仍需較長(zhǎng)的時(shí)間，所以仍無(wú)法做到實(shí)時(shí)檢測(cè)。

卷積神經(jīng)網(wǎng)絡(luò)可以通過(guò)改變特征信息的提取方式來(lái)實(shí)現(xiàn)檢測(cè)精度的提高，有很多學(xué)者致力于此方向的研究和應(yīng)用。Shi [7]等人使用ConvNeXt結(jié)構(gòu)替代主干網(wǎng)絡(luò)中的VGG模塊，減少模型的參數(shù)數(shù)量，并引入CBAM注意力機(jī)制，增加重要特征的比重，減少不重要特征的比重。相較于RPN中錨框的人為選取，此試驗(yàn)中選用K-means均值類算法實(shí)現(xiàn)了更好的錨框，相較于使用VGG16作為主干網(wǎng)絡(luò)的Faster RCNN，其mAP從65.18%提升至80.78%，大幅提高了檢測(cè)的精度，但卻以犧牲一定的檢測(cè)速度為代價(jià)。張?chǎng)蝃8]等人提出一種基于Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)方法，采用ResNet-101網(wǎng)絡(luò)來(lái)完成特征的提取，取代了原來(lái)模型網(wǎng)絡(luò)中的VGG16網(wǎng)絡(luò)，并加入了可形變卷積和密集型結(jié)構(gòu)，檢測(cè)精度較未改進(jìn)模型提升了4.3%。同時(shí)針對(duì)不完全標(biāo)簽的數(shù)據(jù)集提出一種基于Mask-RCNN的檢測(cè)方法，并額外使用了優(yōu)化迭代的方法，使其檢測(cè)精度最終接近于完全標(biāo)簽的數(shù)據(jù)集檢測(cè)后的精度。王延舒[9]等人提出一種自適應(yīng)全局定位網(wǎng)絡(luò)，將ResNet50網(wǎng)絡(luò)與FPN相結(jié)合，用來(lái)完成不同維度特征的提取，同時(shí)提出一種自適應(yīng)候選框提取模塊，該模塊可自動(dòng)更改錨框的大小，以提高檢測(cè)的精度，此外，采用全局點(diǎn)定位回歸，進(jìn)而得到更加準(zhǔn)確的目標(biāo)定位信息。該網(wǎng)絡(luò)的mAP可以達(dá)到79.90%，與Faster RCNN網(wǎng)絡(luò)的檢測(cè)精度相同，遠(yuǎn)超YOLOv3的69.40%，且保持著接近12的FPS。

卷積神經(jīng)網(wǎng)絡(luò)還可通過(guò)改變卷積的類型來(lái)實(shí)現(xiàn)提高特征信息提取精度的目的，目前已有不少學(xué)者在此方面做出了貢獻(xiàn)。Duan[10]等提出了基于Faster RCNN的改進(jìn)分類算法，利用ResNet50解決隨著網(wǎng)絡(luò)深度的增加精度飽和甚至衰退的問(wèn)題，利用可變性卷積解決特征點(diǎn)與ROI不匹配的問(wèn)題。在此試驗(yàn)中，數(shù)據(jù)集采用NEU-DET，共1 800個(gè)數(shù)據(jù)，分為6類，每類300個(gè)數(shù)據(jù)。由于數(shù)據(jù)集樣本不大，此試驗(yàn)通過(guò)Albumentation數(shù)據(jù)增強(qiáng)庫(kù)對(duì)整個(gè)圖片區(qū)域進(jìn)行數(shù)據(jù)增強(qiáng)，還對(duì)圖片中存在缺陷的部分進(jìn)行增強(qiáng)，增強(qiáng)后數(shù)據(jù)集中的圖像達(dá)5 400張，能夠得到更好的訓(xùn)練效果。本試驗(yàn)中mAP達(dá)到了0.774，相較于原Faster RCNN的0.711有較大幅度的提升，最低類別的AP為0.571，仍有較高的提升空間，作為兩階段檢測(cè)法，在檢測(cè)速度上仍需要提升。Ren[11]等人在Faster R-CNN中以深度可分離卷積替代了普通的卷積，加入了中心損耗，利用存有4 000多張圖片的數(shù)據(jù)集進(jìn)行訓(xùn)練后，準(zhǔn)確度達(dá)到98%，且每張圖片的檢測(cè)用時(shí)為0.05 s，實(shí)現(xiàn)了高實(shí)時(shí)性和高精度的檢測(cè)目標(biāo)。

運(yùn)用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行檢測(cè)往往需要大量的數(shù)據(jù)集，數(shù)據(jù)集過(guò)少的情況下會(huì)出現(xiàn)過(guò)擬合的現(xiàn)象，從而導(dǎo)致深度學(xué)習(xí)訓(xùn)練的結(jié)果不夠理想。針對(duì)此問(wèn)題，Kim[12]等人提出一種使用CNN的Siamese神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在NEU鋼材表面缺陷數(shù)據(jù)集中選取少量的數(shù)據(jù)進(jìn)行學(xué)習(xí)，取得了良好的訓(xùn)練成果。趙月[13]等基于小樣本提出一種深度學(xué)習(xí)算法，由于試驗(yàn)中原始數(shù)據(jù)集僅有275張圖像，分為4類（包括一類無(wú)缺陷），本試驗(yàn)通過(guò)DCGAN網(wǎng)絡(luò)生成更多的樣本數(shù)據(jù)，相較于傳統(tǒng)圖像處理方法中增加數(shù)據(jù)集數(shù)量，使用DCGAN網(wǎng)絡(luò)生成的數(shù)據(jù)有更好的隨機(jī)性和組合方式，并可自行對(duì)數(shù)據(jù)進(jìn)行標(biāo)注。此試驗(yàn)中采用了遷移學(xué)習(xí)，運(yùn)用Faster RCNN先對(duì)ImageNet進(jìn)行訓(xùn)練，得到訓(xùn)練模型后，以該訓(xùn)練模型中的權(quán)重參數(shù)作為預(yù)設(shè)置參數(shù)，再對(duì)上述訓(xùn)練集中的數(shù)據(jù)進(jìn)行訓(xùn)練，得到訓(xùn)練模型，其檢測(cè)結(jié)果精度均高于90%。上述兩個(gè)試驗(yàn)較好地解決了工業(yè)現(xiàn)場(chǎng)無(wú)法獲得大量樣本數(shù)據(jù)的弊端，提出了小樣本情況下利用深度學(xué)習(xí)完成缺陷檢測(cè)的方法，具有較高的工程實(shí)踐意義。

2.2? YOLO算法

YOLO算法[14]已經(jīng)發(fā)展升級(jí)至YOLOv8網(wǎng)絡(luò)結(jié)構(gòu)，以現(xiàn)階段應(yīng)用較為廣泛的YOLOv7為例，對(duì)YOLO系列的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行介紹，如圖3所示為YOLOv7的網(wǎng)絡(luò)結(jié)構(gòu)圖。

YOLOv7大致可分為輸入端、backbone和head。backbone中的CBS模塊與YOLOv5中的CBL模塊大致相同，唯一的不同之處在于最后選用的激勵(lì)函數(shù)，YOLOv7選用的是Silu激勵(lì)函數(shù)而YOLOv5選用的是LeakyReLU激勵(lì)函數(shù)。YOLOv7中的CBS模塊依據(jù)不同的卷積核和步長(zhǎng)被分為三種類型，分別起到改變通道數(shù)、特征提取和下采樣的功能。ELAN是YOLOv7中新增的模塊，該模塊進(jìn)行了多個(gè)卷積，結(jié)果將初始模塊、完成一次卷積后的模塊、完成三次卷積后的模塊和完成五次卷積后的模塊進(jìn)行疊加，可以獲得更好的特征提取。ELAN-W與ELAN模塊非常的相似，僅僅在結(jié)果中多疊加了兩個(gè)卷積后的模塊。SPPCSPC模塊中分別存在四條不同的最大池化通道，正是借助于這四條不同的通道才能更好地區(qū)別圖片中物體的大小。REP模塊也是YOLOv7中新增的模塊，分為Train和Deploy模塊，分別應(yīng)用于項(xiàng)目的訓(xùn)練和推理，REP模塊主要作用是將一個(gè)原有的模塊進(jìn)行分割再組成新的模塊。

YOLO模型算法的改進(jìn)主要通過(guò)改進(jìn)主干網(wǎng)絡(luò)，改進(jìn)特征金字塔模型和增加注意力機(jī)制來(lái)完成，可以達(dá)到提高檢測(cè)精度、加快檢測(cè)速度和減小模型參數(shù)等目的，已有不少學(xué)者對(duì)YOLO算法進(jìn)行了改進(jìn)。Qian[15]等人提出了基于YOLOv3的輕量化特征網(wǎng)絡(luò)模型，采用ShuffleNetv2作為主干網(wǎng)絡(luò)，基于FPN特征金字塔網(wǎng)絡(luò)提出了輕量化特征金字塔網(wǎng)絡(luò)LFPN，可以獲得更快的推理速度及更高的檢測(cè)精度。時(shí)下熱門的深度可分離卷積和GhostNet網(wǎng)絡(luò)也能完成模型參數(shù)的減少，形成輕量化模型，但這兩種網(wǎng)絡(luò)會(huì)導(dǎo)致網(wǎng)絡(luò)的推理速度減慢。為了實(shí)現(xiàn)鋼材表面更小缺陷的檢測(cè)，Liu[16]等人以YOLOv5為基礎(chǔ)進(jìn)行了改進(jìn)。在YOLOv5四種模型中選用了YOLOv5s，以此來(lái)確保檢測(cè)的高速性，并采用了可變性卷積法以及雙注意力模塊，用來(lái)完成對(duì)更小物體的檢測(cè)，經(jīng)數(shù)據(jù)集訓(xùn)練后，可完成相較于YOLOv5原檢測(cè)目標(biāo)四分之一至三分之一大小物體的檢測(cè)，且保持著高檢測(cè)精度和高實(shí)時(shí)性。Wang[17]等人提出一種基于YOLOv7的改進(jìn)算法模型，將加權(quán)雙向金字塔模型（BiFPN）加入原有網(wǎng)絡(luò)，能夠提高對(duì)主干網(wǎng)絡(luò)中特征信息的提取和融合，并加入了ECA注意力機(jī)制，該注意力機(jī)制可以避免特征信息在空間上的缺失，增加重要信息的權(quán)重；采用SIoU損失函數(shù)代替原來(lái)的CIoU損失函數(shù)，得到更好的輸出結(jié)果。

2.3? SSD算法

典型的分類算法中存在較多利用全連接層來(lái)完成特征提取和分類的算法，這些算法通過(guò)采用全連接層能夠較好地提取全局特征，但僅有助于完成單個(gè)目標(biāo)的檢測(cè)和分類。SSD算法則將全連接層替換成卷積層，能夠更好地完成多個(gè)目標(biāo)的檢測(cè)任務(wù)，SSD算法運(yùn)算中也采用了錨點(diǎn)技術(shù)，利用錨點(diǎn)生成不同大小的錨框，分別在不同的特征提取層中提取特征，能夠依次完成從小目標(biāo)到大目標(biāo)的檢測(cè)，進(jìn)而可更好地完成目標(biāo)檢測(cè)任務(wù)。SSD算法運(yùn)算中還采用了放大和縮小兩種不同的數(shù)據(jù)增強(qiáng)方法，提高了數(shù)據(jù)集的樣本數(shù)量，有利于生成更優(yōu)秀的模型。

針對(duì)小目標(biāo)的缺陷檢測(cè)問(wèn)題，劉艷菊等人[18]研究一種能夠提高小目標(biāo)檢測(cè)效率并減少誤檢概率的算法，該算法中將SSD中的VGGNet結(jié)構(gòu)替換成ResNet結(jié)構(gòu)，并通過(guò)反卷積將深度不同的特征進(jìn)行融合，在利用NEU-CLS和NEU-DET兩個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練后，mAP增長(zhǎng)了約5%達(dá)到94.13%，可滿足工業(yè)生產(chǎn)時(shí)的精度要求，但檢測(cè)速度和模型參數(shù)仍需要不斷改進(jìn)才能達(dá)到實(shí)時(shí)檢測(cè)的目的。王艷玲等人[19]則是將SSD算法與傳統(tǒng)的圖像處理算法相結(jié)合，首先通過(guò)傳統(tǒng)的圖像處理算法對(duì)CCD相機(jī)拍攝到的圖像進(jìn)行預(yù)處理，再利用SSD算法完成模型的預(yù)訓(xùn)練，隨后對(duì)圖像進(jìn)行在線檢測(cè)，此方法中的mAP達(dá)到了85%，但存在誤檢現(xiàn)象，需要通過(guò)數(shù)量更大的數(shù)據(jù)集進(jìn)行訓(xùn)練才有可能減少誤檢的發(fā)生。

3? 缺陷圖像的分割算法

分割網(wǎng)絡(luò)主要完成圖像中缺陷和背景分割的任務(wù)，大多采用錨點(diǎn)來(lái)完成普通分割的任務(wù)，如YOLO系列和RCNN系列，其原始算法運(yùn)算中均采用矩形框?qū)D像中的缺陷標(biāo)記出來(lái)。隨后發(fā)展出能夠完成像素級(jí)語(yǔ)義分割任務(wù)的FCN（Fully Convolutional Networks）全卷積神經(jīng)網(wǎng)絡(luò)模型、U-Net網(wǎng)絡(luò)模型及DeepLab網(wǎng)絡(luò)模型等。

3.1? U-Net網(wǎng)絡(luò)模型

U-Net網(wǎng)絡(luò)模型[20]是一個(gè)較為對(duì)稱的網(wǎng)絡(luò)模型，如圖4所示，其左端為下采樣將圖像縮小，其右端為上采樣將圖像放大，在上采樣的同時(shí)通過(guò)跳層連接（Skip Connection）將下采樣時(shí)的特征圖融合到上采樣時(shí)的特征圖中，特征圖大小不同則采取填充的方式，由此能較好地完成語(yǔ)義分割的任務(wù)。

語(yǔ)義分割網(wǎng)絡(luò)已經(jīng)有了較為成熟的發(fā)展，其在鋼表面缺陷檢測(cè)領(lǐng)域也有較好的發(fā)展前景，有越來(lái)越多的學(xué)者開(kāi)始將語(yǔ)義分割網(wǎng)絡(luò)應(yīng)用于缺陷檢測(cè)領(lǐng)域。為了更好地定位鋼材表面的缺陷，Liu[21]等人使用U-Net網(wǎng)絡(luò)實(shí)現(xiàn)缺陷定位的語(yǔ)義分割任務(wù)而不是僅僅局限于用方框?qū)⑷毕菘虺?。Amin[22]利用機(jī)器學(xué)習(xí)來(lái)完成鋼材表面缺陷的檢測(cè)，選取一萬(wàn)多張數(shù)據(jù)集進(jìn)行訓(xùn)練，其中存在缺陷和不存在缺陷的圖片各占50%，具有比較好的訓(xùn)練特性。該研究中利用語(yǔ)義分割U-Net和殘差U-Net對(duì)圖像進(jìn)行處理，并將兩種算法進(jìn)行比較，得出殘差U-Net具有較好表面檢測(cè)功能的結(jié)論。

3.2? DeepLab網(wǎng)絡(luò)模型

DeepLab也是較為優(yōu)秀的語(yǔ)義分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)首先提出了空洞卷積，并在網(wǎng)絡(luò)的最后一層利用CRF（條件隨機(jī)場(chǎng)）更精準(zhǔn)地完成了目標(biāo)的定位任務(wù)。同時(shí)，該網(wǎng)絡(luò)采用ASPP（空洞空間金字塔池化）模塊更高效地提取多尺度特征。該網(wǎng)絡(luò)已發(fā)展為DeepLabv3+，在語(yǔ)義分割領(lǐng)域也發(fā)揮著重要的作用，為不少學(xué)者所使用。

黃怡[23]等人提出GAUDeepLab檢測(cè)模型，此模型基于DeepLabv3+網(wǎng)絡(luò)，利用語(yǔ)義分割來(lái)完成檢測(cè)的分類及缺陷的定位，以ResNet50作為主干網(wǎng)絡(luò)，并加入了全局注意力機(jī)制，防止重要細(xì)節(jié)信息的丟失。采用Kaggle比賽中謝韋爾鋼鐵公司的帶鋼缺陷數(shù)據(jù)集，該數(shù)據(jù)集具有非常好的訓(xùn)練性能。相較于原網(wǎng)絡(luò)，經(jīng)改進(jìn)的網(wǎng)絡(luò)訓(xùn)練后IoU提高了2.78%，Dice系數(shù)提高了0.66%。針對(duì)邊緣分割模糊、漏檢等情況，范瑤瑤等人[24]提出一種能夠更好分割鋼表面缺陷的算法，該算法以DeepLabv3+為基礎(chǔ)，在主干網(wǎng)絡(luò)中加入了坐標(biāo)注意力機(jī)制，并利用多尺度融合網(wǎng)絡(luò)對(duì)不同深度的特征進(jìn)行融合，從而達(dá)到更精確提取邊緣特征，更精細(xì)分割缺陷圖像的目的。此算法采用謝韋爾帶鋼缺陷數(shù)據(jù)集，針對(duì)數(shù)據(jù)集樣本分類均勻程度較差的情況，設(shè)計(jì)了結(jié)合兩種損失函數(shù)的新型損失函數(shù)來(lái)攻克這一難題。

4? 結(jié)? 論

鋼表面的缺陷檢測(cè)目前仍處于研究階段，距離在工業(yè)現(xiàn)場(chǎng)的廣泛應(yīng)用還有著不小的距離。鋼表面的缺陷檢測(cè)包含兩個(gè)類別：缺陷分類和缺陷分割。缺陷分類是指將圖像中的缺陷按照預(yù)設(shè)類別進(jìn)行分類，這是缺陷檢測(cè)中的一個(gè)重要環(huán)節(jié)，只有深度學(xué)習(xí)模型能夠在工程中高精度地完成缺陷分類的任務(wù)，這樣的網(wǎng)絡(luò)模型才有存在的意義。而只有當(dāng)網(wǎng)絡(luò)模型能夠在現(xiàn)場(chǎng)計(jì)算機(jī)中實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，這樣的模型才有可能被應(yīng)用到大多數(shù)的工業(yè)現(xiàn)場(chǎng)。

一般來(lái)說(shuō)，兩階段檢測(cè)算法具有更好的檢測(cè)精度，而單階段檢測(cè)算法具有較好的檢測(cè)速度。研究開(kāi)發(fā)的多數(shù)算法在提升檢測(cè)精度的同時(shí)會(huì)伴隨著檢測(cè)速度的下降，這就是一個(gè)需要解決的問(wèn)題。U-Net等語(yǔ)義分割網(wǎng)絡(luò)較之YOLO等網(wǎng)絡(luò)具有更好的缺陷分割能力，能夠更精確地標(biāo)記出缺陷的位置。現(xiàn)階段所研究的模型在檢測(cè)精度上能夠達(dá)到較高的水準(zhǔn)，但一般都犧牲了檢測(cè)的實(shí)時(shí)性，同時(shí)具有高檢測(cè)精度和高檢測(cè)速度的模型還有待更深層次的研究和開(kāi)發(fā)?，F(xiàn)階段研究中可用數(shù)據(jù)集樣本量較少，創(chuàng)建樣本量較大的數(shù)據(jù)集并對(duì)其進(jìn)行標(biāo)記需要耗費(fèi)大量的時(shí)間，此外還存在數(shù)據(jù)集不均衡的問(wèn)題，這也是現(xiàn)階段需要解決的問(wèn)題之一。缺陷分割則是為了完成圖像中缺陷與背景的分割，缺陷分割經(jīng)過(guò)長(zhǎng)期以來(lái)的發(fā)展已經(jīng)涌現(xiàn)出很多優(yōu)秀的模型，能夠很好地完成語(yǔ)義分割的任務(wù)。同時(shí)，缺陷分割也面臨著數(shù)據(jù)集較少、分類單一的問(wèn)題。目前的研究大多處于理論階段，需要在工業(yè)現(xiàn)場(chǎng)進(jìn)行模擬試驗(yàn)，實(shí)現(xiàn)缺陷檢測(cè)的任務(wù)。

參考文獻(xiàn)：

[1] 王浩然.基于YOLOv5的鋼材表面缺陷檢測(cè)研究 [D]. 桂林：廣西師范大學(xué)，2023.

[2] 張宇杰，蔡樂(lè)才，成奎，等.改進(jìn)YOLOv5金屬表面缺陷檢測(cè)方法 [J].四川輕化工大學(xué)學(xué)報(bào)：自然科學(xué)版，2022，35（4）：32-41.

[3] 金映谷，張濤，楊亞寧，等.基于深度學(xué)習(xí)的產(chǎn)品缺陷檢測(cè)方法綜述 [J].大連民族大學(xué)學(xué)報(bào)，2020，22（5）：420-427.

[4] 陶顯，侯偉，徐德.基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法綜述 [J/OL].自動(dòng)化學(xué)報(bào)：1-19[2023-02-16].http：//kns.cnki.net/kcms/detail/11.2109.TP.20200402.1101.002.html.

[5] 楊延西，趙夢(mèng).基于CNN的帶鋼表面缺陷檢測(cè) [J].重型機(jī)械，2019，348（2）：25-29.

[6] 胡江宇，賈樹(shù)林，馬雙寶.基于改進(jìn)級(jí)聯(lián)Faster RCNN的PCB表面缺陷檢測(cè)算法 [J].儀表技術(shù)與傳感器，2022（7）：106-110+126.

[7] SHI X C，ZHOU S，TAI Y C，et al. An Improved Faster R-CNN for Steel Surface Defect Detection [C]//2022 IEEE 24th International Workshop on Multimedia Signal Processing （MMSP）.Shanghai：IEEE，2022：1-5.

[8] 張?chǎng)?基于改進(jìn)RCNN的鋼鐵表面缺陷檢測(cè)方法的研究與實(shí)現(xiàn) [D].沈陽(yáng)：東北大學(xué)，2022.

[9] 王延舒，余建波.基于自適應(yīng)全局定位算法的帶鋼表面缺陷檢測(cè) [J/OL].自動(dòng)化學(xué)報(bào)：1-16[2023-02-05].http：//kns.cnki.net/kcms/detail/11.2109.tp.20230214.2146.005.html.

[10] DUAN H，HUANG J，LIU W K，et al. Defective Surface Detection based on Improved Faster R-CNN [C]//2022 IEEE International Conference on Industrial Technology （ICIT）. Shanghai：IEEE，2022：1-6.

[11] REN Q R，GENG J H，LI J Y. Slighter Faster R-CNN for real-time detection of steel strip surface defects [C]//2018 Chinese Automation Congress （CAC）. Xi'an：IEEE，2018：2173-2178.

[12] KIM M S，PARK T，PARK P. Classification of Steel Surface Defect Using Convolutional Neural Network with Few Images [C]//2019 12th Asian Control Conference （ASCC）. Kitakyushu：IEEE，2019：1398-1401.

[13] 趙月，張運(yùn)楚，孫紹涵，等.基于深度學(xué)習(xí)的螺紋鋼表面缺陷檢測(cè) [J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2021，30（7）：87-94.

[14] 蔡嘉倫.基于改進(jìn)YOLO算法的金屬表面缺陷檢測(cè)研究 [D].江門：五邑大學(xué)，2023.

[15] QIAN X H，WANG X，YANG S Y，et al. LFF-YOLO： A YOLO Algorithm With Lightweight Feature Fusion Network for Multi-Scale Defect Detection [J].IEEE Access，2022，10：130339-130349.

[16] LIU Y J，WANG J，YU H T，et al. Surface Defect Detection of Steel Products Based on Improved YOLOv5 [C]//2022 41st Chinese Control Conference （CCC）. Hefei：IEEE，2022：5794-5799.

[17] WANG Y，WANG H Y，XIN Z H. Efficient Detection Model of Steel Strip Surface Defects Based on YOLO-V7 [J].IEEE Access，2022，10：133936-133944.

[18] 劉艷菊，王秋霽，張惠玉，等.基于改進(jìn)SSD的工件表面缺陷檢測(cè) [J/OL].熱加工工藝，2024（2）：134-139[2023-02-15].https：//doi.org/10.14158/j.cnki.1001-3814.20211221.

[19] 王艷玲，蘇盈盈，羅妤，等.基于SSD模型的鋼帶表面缺陷檢測(cè)系統(tǒng)設(shè)計(jì) [J].重慶科技學(xué)院學(xué)報(bào)：自然科學(xué)版，2021，23（3）：95-98.

[20] 楊彬，亞森江·木沙，張凱.改進(jìn)U-Net網(wǎng)絡(luò)的高紋理表面缺陷檢測(cè)方法 [J].機(jī)械設(shè)計(jì)與制造，2023（3）：160-164.

[21] LIU M S，HUANG Y F，XIE Y L. Design of Steel Surface Defect Detection System Based on deep Learning [C]//2022 IEEE International Conference on Artificial Intelligence and Computer Applications （ICAICA）. Dalian：IEEE，2022：743-749.

[22] AMIN D，AKHTER S. Deep Learning-Based Defect Detection System in Steel Sheet Surfaces [EB/OL].[2023-01-16].https：//www.researchgate.net/publication/341978292_Deep_Learning-Based_Defect_Detection_System_in_Steel_Sheet_Surfaces.

[23] 黃怡.基于卷積神經(jīng)網(wǎng)絡(luò)的鋼表面缺陷檢測(cè)研究 [D].桂林：桂林電子科技大學(xué)，2023.

[24] 范瑤瑤，王興芬，劉亞輝.改進(jìn)Deeplabv3+網(wǎng)絡(luò)的鋼板表面缺陷檢測(cè)研究 [J/OL].計(jì)算機(jī)工程與應(yīng)用，2023：1-10（2023-02-20）.http：//kns.cnki.net/kcms/detail/11.2127.TP.20230220.1105.008.html.

作者簡(jiǎn)介：費(fèi)佳杰（2000—），男，漢族，江蘇無(wú)錫人，碩士研究生在讀，主要研究方向：缺陷檢測(cè)、人工智能；通訊作者：李宏勝（1966—），男，漢族，江蘇南京人，教授，博士，主要研究方向：人工智能、機(jī)器人控制等；任飛（1994—），男，漢族，安徽無(wú)為人，所長(zhǎng)，博士研究生，主要研究方向：機(jī)器視覺(jué)與人工智能；吳敏寧（1984—），女，漢族，陜西榆林人，副教授，博士研究生，主要研究方向：智慧農(nóng)業(yè)與智能制造；王光榮（1971—），男，漢族，天津人，教授級(jí)高工，本科，主要研究方向：智能礦山與智能制造。

收稿日期：2023-03-22

基金項(xiàng)目：南京工程學(xué)院大學(xué)生科技創(chuàng)新基金項(xiàng)目（TB202317004）；榆林市2021產(chǎn)學(xué)研項(xiàng)目（CXY-2021-102-02）