特異小樣本工業(yè)產(chǎn)品表面缺陷檢測方法研究

摘" 要：基于機(jī)器視覺的工業(yè)產(chǎn)品表面缺陷檢測設(shè)備和系統(tǒng)大量應(yīng)用在工業(yè)制造領(lǐng)域，目前其難點在于工業(yè)檢測數(shù)據(jù)的采集，由于訓(xùn)練樣本缺失導(dǎo)致深度學(xué)習(xí)網(wǎng)絡(luò)模型無法有效訓(xùn)練.為解決上述問題，首先，提出一種基于不規(guī)則掩碼的傷痕樣本生成算法，改善了鋼板表面缺陷檢測任務(wù)中特異小樣本數(shù)據(jù)集正負(fù)樣本不均衡的情況；然后，在YOLOv8主干網(wǎng)絡(luò)引入MHSA多頭自注意力，提高對鋼板表面缺陷的關(guān)注度；最后，使用SIoU替換原損失函數(shù)，增強(qiáng)網(wǎng)絡(luò)模型的定位能力，提高檢測的準(zhǔn)確性.基于熱軋鋼板表面缺陷檢測問題的實驗結(jié)果表明，該方法能夠有效解決特異小樣本工業(yè)探傷的具體問題.

關(guān)鍵詞：深度學(xué)習(xí)；目標(biāo)檢測；YOLOv8；注意力機(jī)制；數(shù)據(jù)增強(qiáng)；特異小樣

中圖分類號：TP391.41""""" 文獻(xiàn)標(biāo)志碼：A文章編號：1000-2367（2024）06-0088-09

近年來市場對工業(yè)制造領(lǐng)域產(chǎn)品外觀及表面質(zhì)量的要求越來越高，促使制造企業(yè)不斷提高制造工藝和方法.但是，這仍然無法避免缺陷產(chǎn)品的出現(xiàn).目前，基于深度學(xué)習(xí)的視覺探傷已經(jīng)在工業(yè)檢測領(lǐng)域中成為一種趨勢.但其難點在于如何通過工業(yè)檢測數(shù)據(jù)采集、訓(xùn)練樣本集的生成及深度學(xué)習(xí)算法改進(jìn)等手段，使機(jī)器視覺技術(shù)在工業(yè)檢測領(lǐng)域的應(yīng)用中具有對特異性的小樣本數(shù)據(jù)進(jìn)行有效識別與檢測的能力.

本文所述的特異小樣本數(shù)據(jù)是指在工業(yè)領(lǐng)域中會出現(xiàn)因制造設(shè)備故障或制造工藝未正確執(zhí)行而產(chǎn)生的質(zhì)量缺陷產(chǎn)品的樣本數(shù)據(jù).這類樣本數(shù)據(jù)具有特異性、小樣本的特點.由于該類缺陷的出現(xiàn)具有偶然性，因此樣本的數(shù)據(jù)量較少，這給需要大數(shù)據(jù)支撐的深度學(xué)習(xí)算法帶來了挑戰(zhàn).

鋼板是制造業(yè)中的基礎(chǔ)產(chǎn)品，廣泛應(yīng)用于船舶、汽車、航空、建筑等領(lǐng)域，因此用戶對其表面缺陷的質(zhì)量要求嚴(yán)格.比如：近年來，風(fēng)力發(fā)電作為一種清潔可再生能源，對于實現(xiàn)國家的低碳能源體系轉(zhuǎn)型越來越重要.因此，國內(nèi)出現(xiàn)了一大批風(fēng)力發(fā)電站項目，帶動了制造風(fēng)力發(fā)電系統(tǒng)立柱的風(fēng)電鋼板需求激增，而風(fēng)力發(fā)電機(jī)立柱的生產(chǎn)對鋼板表面上的微細(xì)裂紋、結(jié)巴、劃傷等缺陷非常敏感.這些缺陷一旦流入到用戶環(huán)節(jié)，將會帶來不可預(yù)估的事故，制造企業(yè)將可能面臨巨額的索賠.如何對鋼板表面缺陷樣本數(shù)據(jù)進(jìn)行有效處理，產(chǎn)生缺陷種類均衡的訓(xùn)練樣本集，即對所有類型訓(xùn)練樣本的數(shù)量、各類型樣本集特征遍歷程度都較為均等.從而，解決樣本不均衡導(dǎo)致的多分類器識別率及精度的參差問題，是鋼板表面缺陷檢測中具有挑戰(zhàn)的問題.

近年來，大多數(shù)較為先進(jìn)的目標(biāo)檢測算法都使用了卷積神經(jīng)網(wǎng)絡(luò)模型（Convolutional neural network，CNN），并且在目標(biāo)檢測任務(wù)中表現(xiàn)出優(yōu)異的檢測效果，如一階段檢測器 SSD［1］和YOLO［2］等，二階段檢測器Faster R-CNN［3］、R-FCN［4］等.一些學(xué)者嘗試將目標(biāo)檢測算法應(yīng)用于工業(yè)檢測中，LI等［5］基于一階段目標(biāo)檢測YOLO網(wǎng)絡(luò)用來檢測鋼板表面缺陷.ZHANG等［6］將 YOLOv3［7］用于橋梁的缺陷檢測任務(wù)上，通過遷

收稿日期：2023-06-26;修回日期：2023-08-20.

基金項目：國家自然科學(xué)基金（1904123;61901160；）;山東鋼鐵股份有限公司科技創(chuàng)新項目（GF2023014B）.

作者簡介（通信作者）：鄭李明（1974-），男，江蘇南京人，金陵科技學(xué)院副教授，博士，研究方向為機(jī)器視覺及機(jī)器人學(xué)， E-mail：zlmhost@jit.edu.cn.

引用本文：鄭李明，許天賜，高浩然，等.特異小樣本工業(yè)產(chǎn)品表面缺陷檢測方法研究［J］.河南師范大學(xué)學(xué)報（自然科學(xué)版），2024，52（6）：88-96.（Zheng Liming，Xu Tianci，Gao Haran，et al.Research on the detection method for special small-sample defects in industrial products［J］.Journal of Henan Normal University（Natural Science Edition），2024，52（6）：88-96.DOI：10.16366/j.cnki.1000-2367.2023.06.26.0001.）

移學(xué)習(xí)方法來優(yōu)化原網(wǎng)絡(luò)的檢測性能.CHEN等［8］嘗試將 DenseNet［9］嵌入到Y(jié)OLOv3網(wǎng)絡(luò)結(jié)構(gòu)中，使改進(jìn)后的網(wǎng)絡(luò)能夠更好地應(yīng)用于LED缺陷檢測任務(wù)上.曹義親等［10］提出了一種改進(jìn)YOLOv5的鋼材表面缺陷檢測算法.

與傳統(tǒng)的人工檢測相比，上述方法提高了制造業(yè)中的產(chǎn)品質(zhì)檢效率和準(zhǔn)確率，降低人工成本.值得注意的是，制造業(yè)中良品率比較高，有缺陷的樣本數(shù)量較少，會導(dǎo)致正負(fù)樣本極度不均衡，而且行業(yè)數(shù)據(jù)有其特殊的商業(yè)價值和保密性特征，公開率極低，有效的訓(xùn)練樣本難以獲得，這給深度學(xué)習(xí)的應(yīng)用帶來了難度.此外，該領(lǐng)域?qū)z測精度的要求很高，傳統(tǒng)的互聯(lián)網(wǎng)模式下的深度學(xué)習(xí)難以適應(yīng)工業(yè)領(lǐng)域的要求.

針對熱軋鋼板缺陷中的特異小樣本缺陷檢測問題，本文提出了一種全新的鋼板表面缺陷圖像采集方法，通過新的算法擴(kuò)增特異小樣本缺陷數(shù)據(jù)以生成訓(xùn)練樣本集，并通過在YOLOv8模型中增加注意力機(jī)制以提高熱軋鋼板缺陷中的特異小樣本缺陷檢測的精度和召回率的方法.

本文中主要貢獻(xiàn)總結(jié)如下：（1）提出了一種全新的鋼板表面缺陷圖像采集系統(tǒng)方案，并在鋼鐵企業(yè)的工業(yè)現(xiàn)場中得到應(yīng)用.（2）針對熱軋鋼板缺陷中的特異小樣本缺陷的特點，提出了新型樣本擴(kuò)增算法，經(jīng)過實驗驗證效果良好.（3）改進(jìn)了YOLOv8模型，提升了網(wǎng)絡(luò)模型的檢測精度，大大降低了誤檢率，使之能夠更好地應(yīng)用于熱軋生產(chǎn)線上特異小樣本缺陷檢測.

1" 相關(guān)工作

1.1" 數(shù)據(jù)采集

隨著互聯(lián)網(wǎng)相關(guān)技術(shù)（大數(shù)據(jù)、云計算、深度學(xué)習(xí)人工智能等）不斷在C端市場中取得技術(shù)突破和應(yīng)用成果，工業(yè)領(lǐng)域也不斷將這些相關(guān)技術(shù)應(yīng)用在其B端市場中，如生產(chǎn)、制造、物流、管理等領(lǐng)域，從而孕育出了工業(yè)互聯(lián)網(wǎng)的概念.但是，工業(yè)互聯(lián)網(wǎng)并不是簡單將現(xiàn)有互聯(lián)網(wǎng)技術(shù)應(yīng)用在工業(yè)領(lǐng)域，而是具有其自身的特點：①硬件方面需要采用工業(yè)級數(shù)據(jù)采集專業(yè)設(shè)備（注：通常這些設(shè)備需要針對特定的應(yīng)用領(lǐng)域進(jìn)行專業(yè)化的定制開發(fā)），并融入物聯(lián)網(wǎng)技術(shù)以實現(xiàn)設(shè)備和系統(tǒng)的網(wǎng)絡(luò)化和模塊化；②軟件方面需要采用互聯(lián)網(wǎng)軟件架構(gòu)思想，設(shè)計開發(fā)出能適應(yīng)工業(yè)應(yīng)用領(lǐng)域定制化且能快速響應(yīng)用戶需求的工業(yè)級軟件系統(tǒng).

將當(dāng)前在C端市場上應(yīng)用成熟的互聯(lián)網(wǎng)技術(shù)通過專業(yè)化的深度開發(fā)，同時應(yīng)用大數(shù)據(jù)、云計算及深度學(xué)習(xí)、人工智能等技術(shù)，融入互聯(lián)網(wǎng)的思維，開發(fā)出具有互聯(lián)網(wǎng)架構(gòu)思想的工業(yè)互聯(lián)網(wǎng)智能檢測系統(tǒng)，已經(jīng)成為工業(yè)產(chǎn)品表面缺陷檢測技術(shù)發(fā)展的趨勢.本節(jié)將簡要介紹一下研究團(tuán)隊在熱軋寬厚鋼板表面缺陷自動檢測系統(tǒng)開發(fā)項目中新型的數(shù)據(jù)采集系統(tǒng)，以說明本文中所使用的工業(yè)數(shù)據(jù)獲取的方法.

1.2" 新型熱軋鋼板檢測圖像采集系統(tǒng)

目前常用的熱軋鋼板檢測圖像的采集系統(tǒng)主要采用單色光源+線陣掃描攝像機(jī)的采集方式，即在不同光源條件下，將光源照到鋼板表層，然后CCD攝像機(jī)能夠接收經(jīng)過鋼板的反射光線或散射光線進(jìn)行掃描成像，圖像的所有信息輸入計算機(jī)終端［11］，如圖1所示.

本研究團(tuán)隊提出了一種新型的熱軋鋼板檢測圖像的采集系統(tǒng)，即采用彩色面陣攝像機(jī)+新型白色LEDamp;同軸光源圖像采集（圖2），對運動鋼板進(jìn)行視頻流圖像采集.

面陣攝像機(jī)在鋼板的寬度方向上組成相機(jī)陣列，通過時間同步信號實現(xiàn)圖像采集的同步性，從而實現(xiàn)鋼板圖像在時間和空間維度上的二維圖像數(shù)據(jù)采集，如圖3所示.

采用彩色面陣攝像機(jī)+新型白色LEDamp;同軸光源圖像采集方案與常用的單色光源+線陣掃描攝像機(jī)的采集方案存在以下優(yōu)勢.

①采用面陣攝像機(jī)采集圖像對鋼板運動速度變化不敏感.即線陣攝像機(jī)在鋼板檢測時要求鋼板的運動必須是勻速運動，否則很難標(biāo)定鋼板缺陷的準(zhǔn)確大小，會出現(xiàn)鋼板運動速度快時圖像在線掃垂直方向上被壓縮，反之則被拉伸的現(xiàn)象，從而造成圖像失真較大.對于面陣攝像機(jī)來說，則不存在這種情況.

②鋼板在輥道上運動時會出現(xiàn)上下擺動，其幅度可達(dá)50 mm，通常線陣攝像機(jī)允許的鋼板擺動幅度在0～20 mm范圍內(nèi)，而面陣相機(jī)允許的鋼板擺動幅度在0～120 mm范圍內(nèi)［5］.因此，面陣相機(jī)更適合鋼板表面缺陷圖像的動態(tài)采集.

③單色光源+線陣掃描攝像機(jī)采集的鋼板圖像為灰度圖像，與彩色面陣攝像機(jī)+新型白色LEDamp;同軸光源缺少了彩色通道上的信息，降低了缺陷識別的維度.

1.3" 訓(xùn)練樣本集的生成方法

①樣本層面的解決方案：通過基于統(tǒng)計特征分析的數(shù)據(jù)增強(qiáng)算法實現(xiàn)樣本的類間均衡化，解決樣本的類間參差，從而解決分類器的準(zhǔn)確度和精度參差.首先分析和挖掘各類傷痕對應(yīng)樣本的統(tǒng)計特征;然后以統(tǒng)計特征為導(dǎo)引，對冗余的樣本集合進(jìn)行抽樣，對欠規(guī)模樣本集合進(jìn)行模擬樣本生成.通過該手段，在遵從樣本原始統(tǒng)計特性的前提下，同時保證了樣本的多樣性，實現(xiàn)樣本層面的均衡性.采用該樣本集合簇訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器，可有效解決分類精度參差問題.

②目標(biāo)函數(shù)權(quán)重參數(shù)簇優(yōu)化層面的解決方案：設(shè)計權(quán)重系數(shù)簇聯(lián)合優(yōu)化方法，通過智能化調(diào)整各分類置信度系數(shù)，使整個分類器的綜合分類精度和準(zhǔn)確度趨于最優(yōu)，從而實現(xiàn)系統(tǒng)性優(yōu)化.

原始的分類結(jié)果可表示為：C=max（r1，r2，…，rn），其中ri分別代表待檢測目標(biāo)屬于第i類的置信度.為了解決該問題，將可調(diào)節(jié)的參數(shù)化權(quán)重引入該分類器決策過程，如：C=max（w1·r1，w2·r2，…，wn·rn），對待優(yōu)化權(quán)重調(diào)節(jié)系數(shù)w1，w2，w3，…，wn進(jìn)行歸一化，以系統(tǒng)識別率和準(zhǔn)確度最大化作為優(yōu)化目標(biāo)，并將其納入演化學(xué)習(xí)過程，實現(xiàn)多參數(shù)聯(lián)合優(yōu)化，從而有效提升系統(tǒng)性能.

③挖掘通用性分類強(qiáng)特征層面的解決方案：構(gòu)建統(tǒng)一的特征向量空間，并設(shè)計專門的深度網(wǎng)絡(luò)，學(xué)習(xí)和挖掘所有傷痕類型的共性特征分量，從中提取具有可分性的強(qiáng)特征集合，并建立低維強(qiáng)特征空間.基于該特征空間，設(shè)計多分類器，實現(xiàn)魯棒的多種傷痕的識別與分類問題.

2" 特異小樣本數(shù)據(jù)集生成及深度學(xué)習(xí)算法改進(jìn)

2.1" 基于不規(guī)則掩碼的傷痕樣本生成算法

由于制造業(yè)的品質(zhì)管理，產(chǎn)品的次品率往往都控制在較低水平，導(dǎo)致缺陷數(shù)據(jù)集缺乏，且呈現(xiàn)特異性和小樣本的特點.因此，如果要將深度學(xué)習(xí)應(yīng)用于缺陷檢測問題，就必須自己制作大規(guī)模的訓(xùn)練集.但是，特異性缺陷出現(xiàn)的概率極低，即使在線采集了數(shù)月，也只能得到十幾張到幾十張的缺陷樣本.這樣就無法有效地訓(xùn)練和優(yōu)化深度網(wǎng)絡(luò)，最終會導(dǎo)致檢測失敗，這在實驗中有所體現(xiàn).本文提出了一種基于不規(guī)則掩碼的傷痕樣本生成算法，該算法能夠在遵從缺陷固有特征的前提下，生成大規(guī)模、高保真度和多樣性強(qiáng)的樣本集合，從而解決樣本規(guī)模不足和樣本不均衡問題.這使得將深度學(xué)習(xí)應(yīng)用于特異性小樣本目標(biāo)檢測問題具備較好的可行性.

首先，從采集到的良品集合中隨機(jī)選取N個樣本圖像，對其求均值，得到背景模型IB（x，y）=∑Ni=1Ii（x，y）N.其中，x、y分別為樣本圖像中各像素的行、列坐標(biāo)，Ii表示選取到的第i個良品樣本.

然后，通過邊緣檢測算法中的Canny算子進(jìn)行邊緣檢測，其原理如下：計算圖像灰度梯度，定義如式（1）所示.

G（x，y）=Gh（x，y）2+Gv（x，y）2，（1）

其中，Gh（x，y）和Gv（x，y）2分別表示圖像在水平和垂直方向上的梯度.第1步，計算非極大值抑制，即提取G（x，y）的邊緣特征

GT（x，y）=G（x，y），G（x，y）＞T，0，其他，（2）

其中，T是邊緣特征的閾值（T=0.76）.第2步，進(jìn)行雙閾值處理，將梯度圖像G（x，y）中的像素分為強(qiáng)邊緣和弱邊緣兩部分，根據(jù)平均值和標(biāo)準(zhǔn)差計算出兩個閾值T1=μG-σG和T2=μG+σG，其中，μG和σG分別表示梯度的均值和方差.梯度值大于T1的為強(qiáng)邊緣，在T1和T2之間的為弱邊緣，小于T2的為非邊緣.第3步，進(jìn)行邊緣連接操作，將弱邊緣與強(qiáng)邊緣相連，得到完整的邊緣圖像.第4步，通過統(tǒng)計鋼板缺陷的特征得到傷痕的位置、大小、形狀和透明度的出現(xiàn)概率，得到不同的掩碼參數(shù)，用于生成不同的掩碼傷痕形態(tài).第5步，可以根據(jù)上述步驟得到的參數(shù)以及式（3）得到生成的α區(qū)域掩碼圖像：

M（x，y）=∑Si=1∑Vj=1brush（xj，yj，θj，wi）*line（xj-1，yj-1，xj，yj，wi）*ellipse（xj，yj，wi），（3）

其中，函數(shù)M（x，y）表示生成的圖像.x和y分別表示圖像上的像素坐標(biāo)，而函數(shù)值表示在該像素處的顏色，S表示傷痕數(shù)量，V表示每條傷痕彎折次數(shù)，xj和yj表示第j個彎折點的坐標(biāo)，θj表示第j個彎折點的彎折角度，wi表示第i條傷痕的寬度，函數(shù)brush（xj，yj，θj，wi）表示在坐標(biāo)（xj，yj）處，生成一條寬度為wi、方向為θj的傷痕；函數(shù)line（xj-1，yj-1，xj，yj，wi）表示在點（xj-1，yj-1）和點（xj，yj）之間，生成一條寬度為wi的傷痕；函數(shù)ellipse（xj，yj，wi）表示在坐標(biāo)（xj，yj）處，繪制一個寬度為wi的橢圓.

接著，將掩碼M與背景B根據(jù)行、列的隨機(jī)偏移量h、w進(jìn)行融合，原理如式（4）所示：

I（i+h，j+w）=255，M（i，j）＞0，B（i+h，j+w），M（i，j）=0，" （（i，j）∈α），（4）

其中，I表示融合后的新圖像，（i+h，j+w）表示圖像上的像素坐標(biāo)，而B（i+h，j+w）表示在該像素處的顏色，M（i，j）表示融合的掩碼區(qū)域，h和w表示隨機(jī)融合的位置區(qū)域坐標(biāo).

最后，將上一步融合后的帶有傷痕缺陷的圖像I進(jìn)行高斯模糊操作，使傷痕與背景更具有真實性，其公式如（5）所示：

F（x，y）=12πσ2e-x2+y22σ2，（5）

其中，σ表示標(biāo)準(zhǔn)差，用于控制高斯核函數(shù)的寬度，x和y表示像素坐標(biāo).

本文生成算法有效消除了傳統(tǒng)方法難以避免的融合痕跡，更加接近真實樣本.生成樣本的對比如圖4所示，其中左圖為傳統(tǒng)融合算法的生成樣本，中圖為本文算法的生成結(jié)果，右圖為真實樣本圖.

基于不規(guī)則掩碼的傷痕樣本生成算法生成圖像步驟如圖5所示，其中左圖分別為傷痕背景和mask掩碼，中圖為掩碼融合后得到的樣本圖，右圖為經(jīng)過高斯模糊后得到的最終樣本圖.

2.2" MHSA注意力模塊

Transformer［12］中的多頭自注意力（multi-headself-attention，MHSA）模塊，相較于普通的自注意力（self-attention，SA）［13］，MHSA對注意力層進(jìn)行了優(yōu)化，支持多個“表示子空間”，有助于網(wǎng)絡(luò)能夠聚焦不同位置的能力，并行計算多個Attention，通過多次計算來獲取不同子空間上的相關(guān)信息，通過拼接進(jìn)行融合，獲得全局的數(shù)據(jù)特征信息，進(jìn)一步的表示數(shù)據(jù)之間的相關(guān)性.其原理如圖6所示.

在MHSA模塊中對V（值向量）、Q（查詢向量）、K（鍵向量）進(jìn)行自注意力變換，h表示為MHSA模塊中的頭數(shù).經(jīng)歷h次自注意力變換操作，接著將點積注意力的結(jié)果經(jīng)過Concat拼接，然后再進(jìn)行一次線性變換獲得MHSA模塊的最終輸出.其原理就是利用多個獨立的注意力計算，然后經(jīng)過集成，其中每一個注意力機(jī)制函數(shù)對應(yīng)著最終輸出序列中一個子空間［14］.

2.3" 優(yōu)化損失函數(shù)

本文在實驗中發(fā)現(xiàn)，原網(wǎng)絡(luò)中的CIoU［15］損失函數(shù)，由于沒考慮到所需真實框和預(yù)測框之間不匹配的方向，以至于模型收斂速度減慢、效率不高，導(dǎo)致模型的檢測性能不高［16］.針對此問題，本文考慮所需回歸之間的向量角度，重新定義懲罰指標(biāo)，將原損失函數(shù)替換成SIoU［17］來提升網(wǎng)絡(luò)的訓(xùn)練速度以及推理的準(zhǔn)確性，見圖7.

（1）Angle cost.根據(jù)α的角度值來判斷最小化的對象，當(dāng)α小于π/4，最小化α，反之將最小化β.Angle cost計算如式（6）所示.

Λ=1-2*sin2（arc sin（x）-π4），（6）

其中，x=chσ=sin （α），σ=（bgtcx-bcx）2+（bggcy-bcy）2，ch=max（bgtcy，bcy）-min（bgtcy，bcy）.

（2）Distance cost.

Distance cost表示為真實的錨框和預(yù)測框的中心點之間的距離，SIoU對Distance cost的重定義如式（7）所示.

Δ=∑t=x，y（1-e-γρt），（7）

其中，ρx=（bgtcx-bcxcw），ρy=（bgtcy-bcych），γ=2-Λ.當(dāng)α逐漸接近于零時，Distance cost的貢獻(xiàn)會相應(yīng)降低.相對地，當(dāng)α越是無限接近于π/4，那么Distance cost 貢獻(xiàn)就會越大.而且隨著角度不斷地增加，γ將被賦予時間優(yōu)先的距離值.

（3）Shape cost.Shape cost Ω的定義如式（8）所示.Ω=∑t=w，h（1-e-ωt）θ，（8）

其中，ωw=|w-wgt|max（w，wgt），ωh=|h-hgt|max（h，hgt）.θ的值是唯一存在，表示為每個數(shù)據(jù)集的Shape cost.并且θ的值是非常重要的成分，定義了Shape cost的關(guān)注程度，當(dāng)θ的值為 1時.它將優(yōu)化Shape的長寬比，以至于阻礙Shape的自由移動.

最終的SIoU損失函數(shù)定義如式（9）所示，LSloU=1-IoU+Δ+Ω2.（9）

由于Angle cost的增加，SIoU不僅可以獲取到更加充分的表達(dá)，而且還降低了懲罰項出現(xiàn)為零的概率，這樣會使得損失函數(shù)在收斂時更加穩(wěn)定，從而提升回歸精度，以便于減少預(yù)測的誤差.

3" 實驗結(jié)果與分析

3.1" 實驗設(shè)定

在本文中，實驗所使用是Linux操作系統(tǒng)，GPU采用GeForce RTX 3090的24 GB顯卡，CPU為12th Gen Inter（R）core（TM）i9-12900 K，CUDA版本為11.7，CUDNN版本為8500，python版本為3.10.9，pytorch版本為1.13.1.所有網(wǎng)絡(luò)均未使用預(yù)訓(xùn)練模型，設(shè)置訓(xùn)練輪次（epoch）為 300，批量大?。╞atch size）為16，設(shè)置網(wǎng)絡(luò)初始學(xué)習(xí)率為0.01，輸入的圖片尺寸大小統(tǒng)一縮放為640×640.

3.2" 實驗數(shù)據(jù)集

在實際現(xiàn)場工作中，一般能采集到的傷痕數(shù)量很少，并且大多是重復(fù)的，不適用于網(wǎng)絡(luò)訓(xùn)練.因此對采集到的數(shù)據(jù)通過數(shù)據(jù)增強(qiáng)進(jìn)行數(shù)據(jù)擴(kuò)充，使其能滿足網(wǎng)絡(luò)訓(xùn)練的需要.

本文使用的數(shù)據(jù)集共分為兩種.一種為鋼板表面劃傷數(shù)據(jù)集，是從鋼板生產(chǎn)過程中采集的劃傷樣本數(shù)據(jù)，并對其進(jìn)行了標(biāo)注、分類，其中訓(xùn)練集圖片有37張，驗證集圖片為5張，共計數(shù)據(jù)42張，包含1個種類.另一種為對鋼板表面劃傷數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)生成的數(shù)據(jù)集，其中訓(xùn)練集圖片有200張，驗證集圖片為37張，共計數(shù)據(jù)237張.

3.3nbsp; 評價指標(biāo)

本實驗中，以準(zhǔn)確率、mAP作為評價指標(biāo).準(zhǔn)確率用來表示模型在實際檢測任務(wù)當(dāng)中，正確檢測到的樣本數(shù)量，占總樣本數(shù)的比例.mAP體現(xiàn)了目標(biāo)檢測網(wǎng)絡(luò)的綜合性能，其中mAP又分為mAP0.5、mAP0.5∶0.95.

3.4" 消融實驗

為了驗證對YOLOv8［18］模型修改的作用，在相同的實驗環(huán)境和實驗數(shù)據(jù)集上，對YOLOv8網(wǎng)絡(luò)分別測試加入MHSA注意力機(jī)制和修改SIoU損失函數(shù)的效果.實驗結(jié)果如表1所示.

由表1可知，對YOLOv8加入注意力機(jī)制后，mAP0.5增加了2.8%，Precision增加了17.4%，但是mAP出現(xiàn)了略微下降，降低了0.6%.更換成SIou損失函數(shù)后，mAP0.5：0.95增加了2.0%，Precision上升了14.4%，但mAP下降了0.8%.而本文算法相比于原算法mAP0.5增加了4.0%，mAP0.5：0.95增加了3.2%，Precision增加了8.8%.通過以上分析，可以驗證本文所有的改進(jìn)具有可行性.

3.5" 實驗對比分析

本節(jié)首先驗證對數(shù)據(jù)集的數(shù)據(jù)增強(qiáng)是否有效.用YOLOv8模型依次對未進(jìn)行數(shù)據(jù)增強(qiáng)的數(shù)據(jù)集（bruises-0）、增強(qiáng)50張圖片的數(shù)據(jù)集（bruises-50）、增強(qiáng)100張圖片的數(shù)據(jù)集（bruises-100）、增強(qiáng)150張圖片的數(shù)據(jù)集（bruises-150）、增強(qiáng)200張圖片的數(shù)據(jù)集（bruises-200）進(jìn)行實驗，實驗的結(jié)果如表2所示.

可以看出，數(shù)據(jù)集的圖片數(shù)量增大時，模型的精度是呈現(xiàn)逐步上升趨勢的，數(shù)據(jù)集從150增加到200張時，mAP0.5%提升了0.4%，mAP0.5∶0.95也提升了2.8%，但Precision卻下降5.0%.這個結(jié)果反映出，如果生成的樣本占比過大，會導(dǎo)致過擬合現(xiàn)象發(fā)生.從上述表格數(shù)據(jù)中可知，本文的數(shù)據(jù)增強(qiáng)是有效果的.并綜合各種評價指標(biāo)與實驗結(jié)果考慮，之后的對比實驗數(shù)據(jù)集使用增強(qiáng)200張圖片的數(shù)據(jù)集.

在表3中，對本文算法和現(xiàn)在流行的目標(biāo)檢測算法的效果進(jìn)行了對比.

由表3可知，本文改進(jìn)后的算法相比原算法模型mAP0.5提升了4.0%，達(dá)到了87.0%;mAP0.5∶0.95提升了3.2%，達(dá)到了49.5%；Precision提升了8.8%，達(dá)到了83.2%.并且本文算法的mAP也超過了YOLOv5［19］和YOLOv7［20］，達(dá)到了最高.Precision雖然略弱于它們，但是已經(jīng)超過了YOLOv8，綜合起來性能最優(yōu).

本文使用訓(xùn)練完成之后的YOLOv8、YOLOv5、YOLOv7以及本文算法從驗證集中挑出3組圖片進(jìn)行檢測，檢測的結(jié)果如圖8所示.

從圖8可以看出，本文改進(jìn)后的算法相較于原YOLOv8的檢測得分更高，漏檢和錯檢的情況也有了改善.另外相比于其他的檢測模型，使用后的檢測得分也有提升.結(jié)果表明本文的數(shù)據(jù)增強(qiáng)算法和網(wǎng)絡(luò)改進(jìn)算法對鋼板表面劃傷的檢測效果有一定的提升，有使用的價值.

4" 總" 結(jié)

針對鋼板表面缺陷數(shù)據(jù)中存在特異小樣本的問題，依托研究團(tuán)隊開發(fā)的新型熱軋鋼板檢測圖像采集系統(tǒng)所采集的數(shù)據(jù)，本文提出一種基于不規(guī)則掩碼的傷痕樣本生成算法，改善了鋼板表面缺陷檢測任務(wù)中特異小樣本數(shù)據(jù)集正負(fù)樣本不均衡的情況，極大地提高了特異小樣本數(shù)據(jù)集檢測的精度，為解決特異小樣本問題提供了一個有效的方案.在深度學(xué)習(xí)算法上，本文又提出了一種改進(jìn)YOLOv8網(wǎng)絡(luò)的鋼板表面缺陷檢測方法，對原YOLOv8主干網(wǎng)絡(luò)進(jìn)行優(yōu)化改進(jìn)，便于更加高效地提取鋼板表面缺陷的重要特征信息.加入MHSA多頭自注意力，提高對鋼板表面缺陷的關(guān)注度，同時對損失函數(shù)進(jìn)行優(yōu)化，使用SIoU替換原損失函數(shù)，增強(qiáng)網(wǎng)絡(luò)模型的定位能力，提高檢測的準(zhǔn)確性.下一步，研究團(tuán)隊將在保證模型高檢測精度的前提下，降低模型參數(shù)的規(guī)模，降低計算量，提升模型的檢測速度，使之更適于實際應(yīng)用.

參" 考" 文" 獻(xiàn)

［1］ ""LIU W，ANGUELOV D，ERHAN D，et al.Ssd：Single shot multibox detector［C］//Computer Vision-ECCV 2016.［s.l.］：Springer International Publishing，2016：21-37.

［2］REDMON J，F(xiàn)ARHADI A.YOLO9000：better，faster，stronger［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.［s.l.］：IEEE，2017.

［3］GIRSHICKG R.Fast r-cnn［C］//Proceedings of the IEEE international conference on computer vision.［s.l.：s.n.］：2015.

［4］DAI J F，LI Y，HE K M，et al.R-FCN：object detection via region-based fully convolutional networks［EB/OL］.［2023-05-17］.http：//arxiv.org/abs/1605.06409v3.

［5］LI J Y，SU Z F，GENG J H，et al.Real-time detection of steel strip surface defects based on improved YOLO detection network［J］.IFAC-PapersOnLine，2018，51（21）：76-81.

［6］ZHANG C B，CHANG C C，JAMSHIDI M.Bridge damage detection using a single-stage detector and field inspection images［EB/OL］.［2023-05-17］.http：//arxiv.org/abs/1812.10590v2.

［7］GONG C P，LI A J，SONG Y M，et al.Traffic sign recognition based on the YOLOv3 algorithm［J］.Sensors，2022，22（23）：9345.

［8］CHEN S H，TSAI C C.SMD LED chips defect detection using a YOLOv3-dense model［J］.Advanced Engineering Informatics，2021，47：101255.

［9］HUANG G，LIU Z，VAN DER MAATEN L，et al.Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.［s.l.］：IEEE，2017.

［10］曹義親，伍銘林，徐露.基于改進(jìn)YOLOv5算法的鋼材表面缺陷檢測［J］.圖學(xué)學(xué)報，2023，44（2）：335-345.

CAO Y Q，WU M L，XU L.Steel surface defect detection based on improved YOLOv5 algorithm［J］.Journal of Graphics，2023，44（2）：335-345.

［11］李美美.基于卷積神經(jīng)網(wǎng)絡(luò)的熱軋鋼板表面缺陷檢測方法研究［D］.鞍山：遼寧科技大學(xué)，2022.

［12］吳秀東.基于機(jī)器視覺的彩鋼板表面缺陷檢測與分類技術(shù)研究［D］.淄博：山東理工大學(xué)，2019.

［13］HAN L T，LYU H Y，ZHAO Y C，et al.Conv-former：a novel network combining convolution and self-attention for image quality assessment［J］.Sensors，2022，23（1）：427.

［14］謝鎮(zhèn)域.基于注意力機(jī)制的序列建模與輕量化研究［D］.北京：華北電力大學(xué)，2021.

［15］ZHENG Z H，WANG P，REN D W，et al.Enhancing geometric factors in model learning and inference for object detection and instance segmentation［J］.IEEE Transactions on Cybernetics，2022，52（8）：8574-8586.

［16］文斌，胡暉，楊超.基于LWN-Net的PCB缺陷檢測算法［J］.計算機(jī)集成制造統(tǒng)，2024，30（2）：496-507.

WEN B，HU H，YANG C.PCB defect detection based on LWN-Net algorithm［J］.Computer Integrated Manufacturing Systems，2024，30（2）：496-507.

［17］GEVORGYAN Z.SIoU loss：more powerful learning for bounding box regression［EB/OL］.［2023-05-16］.http：//arxiv.org/abs/2205.12740v1

［18］KIM" J H，KIM N，WON C S，et al.High-speed drone detection based on yolo-v8［C］//2023 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）.［s.l.］：IEEE，2023.

［19］GLENN J，CHAURASIA A，ALEX S，et al.Ultralytics/yolov5：V7.0-Yolov5 SOTA realtime instance segmention［EB/OL］.［2023-05-13］.https：//ui.adsabs.harvard.edu/abs/2022zndo...7347926J/abstract.

［20］WANG C Y，BOCHKOVSKIY A，LIAO H Y M.YOLOv7：trainable bag-of-freebies sets new state-of-the-art for real-time object detectors［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.［s.l.］：IEEE，2023.

Research on the detection method for special small-sample defects in industrial products

Zheng Liming1， Xu Tianci2， Gao Haoran2， Li QingHua3， Hu Chenguang2， Dou Zhi2

（1. School of Mechanical and Electrical Engineering， Jinling Institute of Technology， Nanjing 211169， China; 2." School of Computer and Information Engineering， Henan Normal University， Xinxiang 453007， China; 3. Laiwu Iron and Steel Group

Yinshan Section Steel Co.， Ltd.， Jinan 271104， China）

Abstract： Machine vision-based industrial product surface defect detection equipment and systems are widely used in the industrial manufacturing field. Currently， the main difficulty lies in the collection of industrial inspection data and the inability of deep learning network models to be effectively trained due to the lack of training samples. To solve these problems， firstly， this paper proposes a scar sample generation algorithm based on irregular masks to improve the imbalance of positive and negative samples in the special small sample dataset for steel plate surface defect detection task; then， the MHSA multi-head self-attention is introduced into the YOLOv8 backbone network to enhance the attention to steel plate surface defects; finally， the SIoU loss function is used to replace the original loss function to enhance the network model's localization ability and improve detection accuracy. The experimental results on the hot rolled steel plate surface defect detection problem based on this method show that can be effectively solved.

Keywords： deep learning; object detection; YOLOv8; attention mechanism; data enhancement; special small samples

［責(zé)任編校" 陳留院" 趙曉華］