基于IVPSIC-Net的小樣本熱軋鋼帶表面缺陷檢測研究

摘 要：針對鋼帶表面缺陷檢測樣本不足、檢測精度較低等問題，提出IVPSIC-Net模型，不需要對缺陷圖像擴(kuò)增或合成，僅需較少的數(shù)據(jù)樣本，即可對鋼帶表面缺陷進(jìn)行較為準(zhǔn)確的分類和分割。經(jīng)由ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，通過調(diào)整寬度因子、引入多層感知機(jī)和空洞卷積等對特征提取模塊進(jìn)行優(yōu)化與改進(jìn)。基于MobileNet121將訓(xùn)練得到的模型權(quán)重遷移至IVPSIC-Net模型，大幅度減少了模型計(jì)算量。結(jié)合位置信息，融合改進(jìn)的自注意力機(jī)制實(shí)現(xiàn)對缺陷的有效檢出。實(shí)驗(yàn)證明，模型對熱軋鋼帶的6種典型表面缺陷均可較為準(zhǔn)確地分類和分割。所提出的方法在分類任務(wù)中準(zhǔn)確度達(dá)到85%，相較其他缺陷目標(biāo)檢測算法（YOLOv4、MPF-DNN、FAR-Net、PSIC-Net等）提升了4.79%～6.97%；在分割任務(wù)中，相較其他分割算法（Deeplabv3plus、VGG-Unet、RDUnet-A、PSIC-Net等），錯(cuò)誤率降低了8.00%～20.03%，能夠更準(zhǔn)確地分割出鋼帶表面的缺陷區(qū)域。

關(guān)鍵詞：鋼帶表面缺陷檢測；小樣本；PSIC-Net；MobileNet；目標(biāo)檢測算法；注意力機(jī)制

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）03-00-06

0 引 言

目前，我國正在大力發(fā)展新型工業(yè)，推動(dòng)工業(yè)信息化、智能化的建設(shè)。國際鋼鐵協(xié)會(huì)（IISI）2021年度公布的統(tǒng)計(jì)數(shù)據(jù)顯示，中國鋼產(chǎn)量為5.02億噸，占世界粗鋼總產(chǎn)量的38%。在鋼板制造的工藝流程中，鋼帶生產(chǎn)的質(zhì)量管控尤為重要。其中，對于熱軋鋼帶表面的缺陷檢測是一項(xiàng)重要任務(wù)。鋼帶表面缺陷主要有斑塊、點(diǎn)蝕表面、開裂、軋制氧化皮、劃痕和內(nèi)含物等六種。當(dāng)前工廠所用的檢測方式多為人工目視檢測，存在檢測精度差、效率低等諸多問題。隨著深度學(xué)習(xí)的興起，針對鋼板缺陷檢測問題也派生出了更多的解決途徑，但在研究中也存在著諸多問題，其中較為突出的就是樣本數(shù)量少和實(shí)時(shí)性差這兩點(diǎn)。本文針對鋼帶表面缺陷檢測樣本不足、檢測精度較低等問題進(jìn)行了較為深入的研究，提出IVPSIC-Net模型，對熱軋鋼帶的6種典型表面缺陷問題均可較為準(zhǔn)確地分類和分割。

1 相關(guān)工作

1.1 傳統(tǒng)缺陷圖像檢測方法

有一些傳統(tǒng)的圖像檢測方法可以快速獲取表面缺陷的一些特征，并使用這些特征進(jìn)行匹配和識(shí)別缺陷。最早進(jìn)行圖像缺陷檢測都是通過圖像的紋理特征來提取圖像特征，不同于機(jī)器學(xué)習(xí)，不需要大量的標(biāo)注數(shù)據(jù)來訓(xùn)練模型參數(shù)。大致分為三種：第一，統(tǒng)計(jì)方法[1]，是根據(jù)統(tǒng)計(jì)分布特征來分析和檢測缺陷，缺點(diǎn)是無法獲得全局特征，無法研究像素與像素之間的差異。第二，光譜方法[2]，缺陷的出現(xiàn)影響甚至改變了紋理的一致性，因此在時(shí)域中進(jìn)行變換。但是無法很細(xì)致地找到類與類之間的分別，且需要特征工程。第三，基于模型的紋理分析方法[3]，建立預(yù)定義模型，定義參數(shù)進(jìn)行建模，但參數(shù)計(jì)算困難，計(jì)算量大，特征受外界環(huán)境的影響大，性能無法獲得好的保障。此外，由于缺陷類型繁雜，外形毫無規(guī)律，所處方位不唯一，且程度各異，所以上述方法需要特征工程，在機(jī)器學(xué)習(xí)特別是深度學(xué)習(xí)出現(xiàn)之后，這些方法被替代了。

1.2 基于神經(jīng)網(wǎng)絡(luò)的圖像檢測方法

1.2.1 傳統(tǒng)機(jī)器學(xué)習(xí)方法

應(yīng)用于鋼板缺陷檢測上的傳統(tǒng)機(jī)器學(xué)習(xí)方法包括但不限于隨機(jī)森林（Random Forest， RF）[4]、K-最近鄰分類算法（K-Nearest Neighbor， KNN）[5]、支持向量網(wǎng)絡(luò)（Support Vector Machine， SVM）[6]等。但這些方法仍存在一些問題，比如：需要人工提取特征，工作量大而且效率低，對于成本和實(shí)時(shí)性有負(fù)面效果；魯棒性差，某個(gè)參數(shù)的變化就會(huì)影響到算法的運(yùn)轉(zhuǎn)；算法步驟復(fù)雜，無法實(shí)現(xiàn)端到端結(jié)構(gòu)等。

1.2.2 深度學(xué)習(xí)

深度學(xué)習(xí)可以自動(dòng)且準(zhǔn)確無誤地提取特征，同時(shí)保持較高的魯棒性，能夠很好地完成缺陷檢測以及分類和分割的任務(wù)，非常適用于這種直接端到端、來自初始圖片的缺陷檢測，很少受到環(huán)境的影響，不需要特征工程，就可完成很復(fù)雜的問題。深度學(xué)習(xí)在缺陷檢測領(lǐng)域運(yùn)用的方法分為4個(gè)方向：卷積神經(jīng)網(wǎng)絡(luò)（RCNN，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、深度信念網(wǎng)絡(luò)（DBN）和自動(dòng)編碼器（AE）。

（1）卷積神經(jīng)網(wǎng)絡(luò)（RCNN，CNN）

文獻(xiàn)[7]提出了一種R-CNN算法作為基線來訓(xùn)練模型。將特征金字塔網(wǎng)絡(luò)添加到R-CNN中，使網(wǎng)絡(luò)能夠結(jié)合高級(jí)特征信息和低級(jí)特征信息，并應(yīng)用于鋼板缺陷檢測方面，但是在數(shù)據(jù)要求較高、樣本稀少的條件下準(zhǔn)確率較低?；趯︿摪灞砻娉Ｒ娙毕莸姆治龊同F(xiàn)有的深度學(xué)習(xí)表面缺陷分類算法[8]，選擇對Faster R-CNN深度學(xué)習(xí)模型進(jìn)行改進(jìn)，進(jìn)而對鋼板表面缺陷進(jìn)行分類，但是實(shí)時(shí)性很差，無法適應(yīng)工業(yè)上的應(yīng)用。文獻(xiàn)[9]提出了一種基于CNN的鋼板表面缺陷檢測系統(tǒng)，先采集缺陷樣本，然后對采集到的圖像進(jìn)行去噪和邊緣檢測；最后采用CNN結(jié)構(gòu)對這些缺陷進(jìn)行檢測和分類。但是缺陷分割邊緣準(zhǔn)確度較差。文獻(xiàn)[10]處理圖像時(shí)，使用多尺度邊緣分類算法提取邊緣特征，還使用殘差神經(jīng)網(wǎng)絡(luò)（ResNet）融合了底層信息來實(shí)現(xiàn)圖像分割，特征提取準(zhǔn)確率達(dá)到80%?？梢钥闯鲆陨蟁-CNN方法在小樣本模型中都有分類和分割不準(zhǔn)確以及實(shí)時(shí)性差的問題。

（2）循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

文獻(xiàn)[11]提出了一種新的通過補(bǔ)丁特征驅(qū)動(dòng)的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）檢測鋼板圖像RNFLD的自動(dòng)化方法。使用通過新型累積零計(jì)數(shù)局部二進(jìn)制模式（CZC-LBP）、方向差分能量（DDE）補(bǔ)丁特征訓(xùn)練的RNN對真實(shí)邊界像素進(jìn)行分類。但將此方法應(yīng)用于鋼板缺陷時(shí)分類效果很差，特別是相似類型容易混淆。

（3）深度信念網(wǎng)絡(luò)（DBN）

文獻(xiàn)[12]提出了一種DBN結(jié)構(gòu)，用于鋼板缺陷、焊縫缺陷的分類和識(shí)別。不需要耗時(shí)的微調(diào)訓(xùn)練，而是以推進(jìn)的方式融合各層輸出的特征數(shù)據(jù)，從而實(shí)現(xiàn)有效的特征提取。但是實(shí)時(shí)性較差，而且要求樣本清晰、數(shù)量多。

（4）自動(dòng)編碼器（AE）

文獻(xiàn)[13]使用具有不同高斯金字塔級(jí)別的卷積去噪自動(dòng)編碼器（CDAE） 網(wǎng)絡(luò)來重建圖像塊。然后將訓(xùn)練塊的重建殘差作為直接像素方向缺陷預(yù)測的指標(biāo)，結(jié)合RCNN中每個(gè)通道生成的重建殘差圖，生成最終的分類結(jié)果，結(jié)果在缺陷分類上取得了很好的效果。但是在分割上較差，無法準(zhǔn)確勾勒出缺陷的邊緣。

1.3 實(shí)際問題及方法選擇

綜上所述，基于深度學(xué)習(xí)的缺陷檢測包含以下研究現(xiàn)狀和實(shí)際問題：

第一，對于小數(shù)據(jù)集的缺陷檢測，由于可以從現(xiàn)實(shí)中獲得的缺陷樣本稀少，而用于實(shí)驗(yàn)的缺陷樣本就更加稀少，進(jìn)而使得各種方法出現(xiàn)分類不準(zhǔn)確、分割不清晰、檢測不徹底、類型缺失或者忽略的情況。第二，在工業(yè)生產(chǎn)中，速度和效率是很重要的，這就對算法的實(shí)時(shí)性提出了要求。第三，檢測效果差，如檢測范圍過大，或者圖片非常規(guī)，則無法做到對細(xì)節(jié)的把控，并且無法快速地提取有用的信息。

針對小樣本混凝土檢測的問題，Lei等人[14]提出了PSIC-Net的方法，此方法有效地解決了分割效果差的問題，在邊緣特征方面準(zhǔn)確度高，在同時(shí)存在多種缺陷的情況下表現(xiàn)較好，特別是在混凝土小樣本缺陷檢測中效果很好，我們選擇此方法為基礎(chǔ)模型來解決鋼板檢測的問題，并對其進(jìn)行改進(jìn)使之更適合鋼板缺陷檢測。此方法由三級(jí)網(wǎng)絡(luò)架構(gòu)組成，可以提取關(guān)鍵特征、空間位置信息和語義信息，并分別完成缺陷分割和圖像分類任務(wù)。該模型采用兩步訓(xùn)練模式，使得分割網(wǎng)絡(luò)和分類的參數(shù)網(wǎng)絡(luò)不受約束，不會(huì)導(dǎo)致混亂或不收斂。而且，模型在訓(xùn)練過程中改進(jìn)了損失函數(shù)，使得參數(shù)可以快速準(zhǔn)確地收斂。

2 方 法

對比缺陷種類和缺陷特征，鋼板缺陷相較于混凝土缺陷存在較大差異。相較于混凝土表面比較粗糙，鋼板表面光滑，混凝土缺陷大多為長條形、線狀或者網(wǎng)狀，而鋼板缺陷卻為斑點(diǎn)或者斑跡，且常有多種缺陷伴生，兩種缺陷特點(diǎn)差距較大。

將PSIC-Net遷移到小樣本鋼板缺陷中，其存在的具體問題為：（1）斑塊和點(diǎn)蝕表面分類較差，類別之間容易混淆；（2）軋制氧化皮分割不準(zhǔn)確；（3）原始鋼板圖片尺寸為10∶1，異形尺寸為檢測增加了難度；（4）鋼板缺陷存在與位置相關(guān)聯(lián)的特性；（5）數(shù)據(jù)量小，所以無法實(shí)現(xiàn)大量參數(shù)的訓(xùn)練。因此，本文提出了改進(jìn)PSIC-Net模型（命名為IVPSIC-Net）。圖1為改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)。

2.1 特征提取模塊的優(yōu)化與改進(jìn)

鋼板缺陷十分復(fù)雜，與混凝土缺陷不同，缺陷的種類、特征、數(shù)量皆不相同，不能單純將原模型直接應(yīng)用在鋼板缺陷上，所以應(yīng)改進(jìn)原有的特征提取模塊。為了保證得到更好的訓(xùn)練參數(shù)，可以準(zhǔn)確地描述出匹配鋼板缺陷的特征圖，我們選擇遷移學(xué)習(xí)這一方法，借助ImageNet上已有的預(yù)訓(xùn)練模型，在我們的數(shù)據(jù)集上進(jìn)行匹配，使模型的初始性能更高；訓(xùn)練過程中，模型提升的速率更快；訓(xùn)練結(jié)束后，得到的模型收斂更好。為求得更高的性能，對選擇出來最優(yōu)的遷移學(xué)習(xí)方法做進(jìn)一步改動(dòng)：通過寬度因子調(diào)整，卷積塊、注意力模塊、多尺度特征融合，加入多層感知機(jī)和空洞卷積的方法，得到改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

將4種遷移學(xué)習(xí)骨干網(wǎng)絡(luò)模型ResNet、VGG、MobileNet和DenseNet在ImageNet的NEU數(shù)據(jù)集上分別進(jìn)行測試。將特征圖進(jìn)行通道壓縮、比例因子進(jìn)行稀疏正則化操作，目的是自動(dòng)識(shí)別不重要的通道將之去掉，全連接后輸出。對特征圖做兩次上采樣，然后與原始特征圖相加，對融合特征圖做通道壓縮后進(jìn)行全連接。用于遷移學(xué)習(xí)的參數(shù)為50 epochs，由于使用的數(shù)據(jù)較小，因此選擇了32個(gè)批次大小。經(jīng)測試，其中MobileNet表現(xiàn)最好，準(zhǔn)確度達(dá)到70%以上。

接下來對MobileNet進(jìn)一步改進(jìn)。首先是寬度因子調(diào)整。寬度因子的作用是將網(wǎng)絡(luò)中每個(gè)模塊的卷積核數(shù)調(diào)整為原來的α倍，α為寬度因子。通過寬度因子可以調(diào)整訓(xùn)練后特征的大小和產(chǎn)生的通道數(shù)大小，最終減少計(jì)算量。計(jì)算量為：Dk·Dk·αM·DF·DF+αN·αM·DF·DF。

對特征圖進(jìn)行特征提取時(shí)使用不同的卷積核，增加了網(wǎng)絡(luò)對尺度的適應(yīng)性，同時(shí)加寬網(wǎng)絡(luò)，提升了網(wǎng)絡(luò)性能。結(jié)構(gòu)同時(shí)使用1×1、3×3、5×5的卷積核和3×3的池化層對輸入進(jìn)行特征提取，這樣做的好處是提取到的特征在空間尺度上更為豐富，有利于后續(xù)的圖像分類。

將原模型中瓶頸結(jié)構(gòu)的5×5卷積層加上1×1卷積層作為全連接層，加上ReLU函數(shù)，即為多層感知機(jī)（Multilayer Perceptron， MLP）。ReLU函數(shù)作為非線性激活函數(shù)使得網(wǎng)絡(luò)的非線性能力得到加強(qiáng)。特征的重用可以提高新網(wǎng)絡(luò)的局部感知能力，使擬合能力得到增強(qiáng)。由于全連接為1×1層，也省去了大量的參數(shù)，直接減少了網(wǎng)絡(luò)的計(jì)算成本。圖3為多層感知機(jī)結(jié)構(gòu)。

因?yàn)殇摪迦毕莘N類較多，并且不同缺陷之間有較大的相似性。有的缺陷很微小，難以對缺陷的細(xì)節(jié)紋理信息加以提取利用，所以引入空洞卷積?？斩淳矸e在傳統(tǒng)卷積計(jì)算中引入了膨脹系數(shù)r，擴(kuò)張卷積核的同時(shí)保持參數(shù)量不增加，可以使卷積核提取更多的特征信息，有利于對模型的學(xué)習(xí)訓(xùn)練。因此，本文在 MobileNet的最后兩個(gè) bottleneck模塊中引入了空洞卷積，如圖4所示。

2.2 結(jié)合位置信息優(yōu)化缺陷分類

鋼板缺陷十分復(fù)雜，并不是以一種直接或者固定的形態(tài)出現(xiàn)，往往同一張圖片上會(huì)存在多個(gè)缺陷，所以缺陷的分類及分割任務(wù)還需要綜合考慮缺陷的位置以及缺陷周邊的特征。例如，軋制氧化皮和麻點(diǎn)狀表面通常會(huì)伴生，皺皮旁邊大概率會(huì)有裂痕。也就是說，缺陷的位置信息與缺陷所屬的種類相關(guān)，某些缺陷大概率會(huì)集中于缺陷圖片的某處，所以在原模型的基礎(chǔ)上考慮引入自注意力機(jī)制，結(jié)合缺陷的位置信息對缺陷的類別做出綜合判斷。改進(jìn)后的算法結(jié)構(gòu)如圖5所示。

首先將一張輸入圖片分成128張分支圖片，各種位置匹配位置編碼。位置編碼分為一維和二維，對兩種位置編碼分別進(jìn)行實(shí)驗(yàn)，結(jié)果區(qū)別不大，而二維編碼還需消耗較大計(jì)算資源，所以位置編碼選擇一維形式，一維架構(gòu)可以更簡潔地表現(xiàn)分支圖片，也便于計(jì)算。將每一張圖片中的提取特征都放到transformer encoder中。經(jīng)過20次重復(fù)特征提取，在最前面加上一個(gè)頭部標(biāo)記向量，分別與每一張圖片提取出的特征進(jìn)行計(jì)算來匯總整合整個(gè)圖片的整體特征，最終得到所需要的圖片特征。對于是否在每一層加上不同的位置編碼的問題，經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，效果差距不大，所以采用每一層相同的位置編碼。

為了更好地獲取到整張圖片全局的特征，即更大的感受野，需要多層卷積池化的堆疊，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜。頭部信息的引入可以從根本上解決問題，一個(gè)頭部信息會(huì)將所有的分支圖片的特征匯總，只需要一層，感受野即為整張圖片，等于數(shù)十層的堆疊，會(huì)很快找出需要的特征和分類規(guī)則依據(jù)。

再進(jìn)行如下三步改進(jìn)：

第一步，為了得到具有全局感受野的向量，使用空洞卷積，參數(shù)dilation=2，卷積核為3×3，再對通過遷移學(xué)習(xí)MobileNet121提取的特征進(jìn)行壓縮，從三維l×h×w的特征變成一個(gè)向量1×1×a，這樣得到的向量具有全局的感受野，輸出和輸入的通道數(shù)相適應(yīng)，這表示在特征通道上響應(yīng)的全域性分布即為全局平均池化。

第二步，這樣的算法有些復(fù)雜，為了降低復(fù)雜度，引入一個(gè)參數(shù)a來為每一個(gè)特征通道形成權(quán)重，這個(gè)a即為多層感知器，中間經(jīng)過一個(gè)降維，可以降低算法復(fù)雜性，減少參數(shù)。之后經(jīng)過歸一化可以將通道之間的建模顯示出來。

第三步，第二步的輸出權(quán)重即可認(rèn)為是不同通道的重要性，乘以通道寬度，與最初的特征進(jìn)行加權(quán)相加，就可以在通道維度上進(jìn)行重標(biāo)定。

因?yàn)闃颖緢D像長寬比達(dá)到了10∶1的極端縱橫比值，而特征圖的映射取決于Rol的面積，這將導(dǎo)致該映射的結(jié)果太大，從而導(dǎo)致嚴(yán)重的特征丟失，這給檢測帶來極大的困難。所以在原來的基礎(chǔ)上再增加一個(gè)特征提取通道，可以幫助網(wǎng)絡(luò)獲得最佳Rol映射。因此本文提出一個(gè)新的映射方法：在映射時(shí)，Rol模塊同時(shí)采用兩個(gè)層，即kt層和kt-1層，這樣即使kt層過大，kt-1層也會(huì)變得更合適，將兩個(gè)層的特征進(jìn)行融合可以增加多尺度特征，而不需要額外的計(jì)算。結(jié)構(gòu)如圖6所示。

3 實(shí)驗(yàn)和結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

硬件環(huán)境采用AMD Ryzen 9 5900X 12-Core CPU，內(nèi)存16 GB，GPU采用NVIDIA GeForce RTX 3070 Ti 顯卡。采用Windows 7操作系統(tǒng)，Pycharm編譯環(huán)境，使用Pytorch 1.9.0、Python 3.7、CUDA11.0實(shí)現(xiàn)。

每次試驗(yàn)運(yùn)行50輪，綜合考慮內(nèi)存原因和模型的泛化能力，將batch size定為32。學(xué)習(xí)率依次選取了1×10-5、1×10-4、1×10-3和1×10-2，當(dāng)學(xué)習(xí)率數(shù)值為1×10-3時(shí)得到的效果最好。

3.2 數(shù)據(jù)集

數(shù)據(jù)集應(yīng)用的是天池比賽鋼板缺陷數(shù)據(jù)集，其中無缺陷5 902張，有缺陷6 666張。數(shù)據(jù)集的80%作為訓(xùn)練集，10%作為測試集，10%作為驗(yàn)證集。鋼板缺陷種類共有6種：斑塊、點(diǎn)蝕表面、開裂、軋制氧化皮、劃痕和內(nèi)含物。在此數(shù)據(jù)集中有斑塊缺陷1 195張、點(diǎn)蝕表面1 190張、劃痕1 189張、軋制氧化皮3 092張，開裂和內(nèi)含物兩種缺陷數(shù)量太少，數(shù)據(jù)集沒有錄入。圖片規(guī)格為10：1，是屬于非常規(guī)圖片。示例圖片如圖7所示。

3.3 遷移學(xué)習(xí)骨干網(wǎng)絡(luò)比較

（1）ResNet：此模型旨在跳過死連接并減少層數(shù)對性能的影響[15]。

（2）VGG Net：VGG Net使用3×3內(nèi)核構(gòu)建，步幅=1，填充相同。它包含八層：前五層是卷積層和最大池化層，最后三個(gè)是完全連接的層。ReLU作為激活函數(shù)。

（3）MobileNet的架構(gòu)是輕量級(jí)的。它使用深度方向可分離卷積，這基本上意味著它在每個(gè)顏色通道上執(zhí)行單個(gè)卷積，而不是將三者結(jié)合起來。

（4）DenseNet：每個(gè)層從所有先前層獲得集體知識(shí)并將其自身的特征映射傳遞到所有后續(xù)層，更薄、更緊湊。

對四種遷移學(xué)習(xí)骨干網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果進(jìn)行比較，50輪之后四種模型在CPU和GPU上的最終準(zhǔn)確度見表1所列。由表1可知，ResNet和MobileNet方法的準(zhǔn)確率最高，比其他兩種方法平均高10%，而且二者比較起來MobileNet的性能更優(yōu)，所以選擇此方法改進(jìn)原模型。它使用深度方向可分離卷積，這基本上意味著它在每個(gè)顏色通道上執(zhí)行單個(gè)卷積，而不是將三者結(jié)合起來。開發(fā)的模型通過使用MobileNet，可以對鋼板中的缺陷進(jìn)行分類和分割。

3.4 分類方法比較

評價(jià)指標(biāo)：平均精度（AP）和準(zhǔn)確度（p=TP/（TP+FP））。改進(jìn)算法與各分類算法的比較見表2所列。

IVPSIC-Net為改進(jìn)后的算法。AUC表達(dá)了曲線與橫軸之間的面積，顯然這個(gè)數(shù)值小于等于1。ROC曲線一般處于平分一四象限直線上方，所以AUC一般大于0.5。而效果的好壞取決于AUC是否接近1；平均精度（AP）是精度-召回率曲線（PR）和水平軸之間的面積，分類效果與這兩個(gè)參數(shù)成正比。從表2中可以得出，對比YOLOv4、MPF-DNN和FAR-Net，IVPSIC-Net方法比PSIC-Net方法在準(zhǔn)確度和精度上有5%以上的提升；且改進(jìn)后的IVPSIC-Net在分類方面也表現(xiàn)良好，其中分類精度可以達(dá)到85.02%?？傮w分類精度與數(shù)據(jù)集的復(fù)雜性呈正相關(guān)。本文提出的IVPSIC-Net方法在精度上有較大提升，其mAP值整體提升5.97%，更適用于鋼板表面缺陷檢測。

3.5 分割方法比較

性能指標(biāo)為Mask mIoU和Boundary mIoU，計(jì)算公式如下：

式中：G和P表示地面實(shí)況和掩碼圖像的預(yù)測；Gd表示距離真實(shí)邊界d范圍內(nèi)的像素；Pd表示距離預(yù)測邊界d范圍內(nèi)的像素。改進(jìn)算法與各分割算法的比較見表3所列。其中Boundary mIoU在評價(jià)分割效果時(shí)比較敏感。由表3可見，改進(jìn)后的IVPSIC-Net方法在Boundary mIoU和Mask mIoU方面都領(lǐng)先于其他方法，特別是在VGG-Unet的性能上，最多超過14.58%。這證明了IVPSIC-Net在缺陷分割方面是有效的。本文提出的IVPSIC-Net模型在分割問題上準(zhǔn)確度有較大提升，與其他方法相比，Boundary mIoU平均提升接近10%，能夠更準(zhǔn)確地分割出鋼板表面的缺陷區(qū)域。

由圖8可以很清晰地看到，原方法僅能看到軋制氧化皮主缺陷，但是忽略了伴生的麻點(diǎn)；而改進(jìn)后方法的準(zhǔn)確度和精度都有大幅提升，可以清晰地看到麻點(diǎn)缺陷。

4 結(jié) 語

針對鋼板表面缺陷檢測樣本不足、檢測精度較低等問題，本文提出IVPSIC-Net模型，不需要對缺陷圖像擴(kuò)增或合成，僅需較少的數(shù)據(jù)樣本，即可對鋼板表面缺陷進(jìn)行較為準(zhǔn)確的分類和分割。在原始PSIC-Net模型的基礎(chǔ)上，融合了MobileNet遷移學(xué)習(xí)方法來優(yōu)化特征提取，通過改進(jìn)后的自注意力機(jī)制將位置信息引入對類別權(quán)重的影響，構(gòu)建了IVPSIC-Net。對本研究提出的方法進(jìn)行試驗(yàn)和分析，得出以下結(jié)論：

（1）遷移學(xué)習(xí)骨干網(wǎng)絡(luò)MobileNet對鋼板缺陷檢測的效果更好，經(jīng)由ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，通過調(diào)整寬度因子、引入多層感知機(jī)和空洞卷積等對特征提取模塊進(jìn)行優(yōu)化與改進(jìn)?；贛obileNet將訓(xùn)練得到的模型權(quán)重遷移至IVPSIC-Net模型，大幅度減少了模型計(jì)算量。

（2）不同于RCNN、DBN和RNN等方法，本文將位置信息引入作為對缺陷類別分類判斷的依據(jù)之一，結(jié)合位置信息，融合改進(jìn)的自注意力機(jī)制實(shí)現(xiàn)對缺陷的有效檢出，使得模型在缺陷分類問題上的準(zhǔn)確率大幅度提升。

（3） 針對鋼板表面不同缺陷間裂痕及斑塊顏色模糊不易觀察的特點(diǎn)，對模型進(jìn)行改進(jìn)，加入多層感知機(jī)、空洞卷積以及寬度因子可以輔助特征的提取，識(shí)別精度提高5.28%。

（4）本模型對熱軋鋼帶的六種典型表面缺陷均可較為準(zhǔn)確地分類和分割。所提出的方法在分類任務(wù)中準(zhǔn)確度達(dá)到85%，相較其他缺陷目標(biāo)檢測算法（YOLOv4、MPF-DNN、FAR-Net、PSIC-Net等）提升4.79%～6.97%；在分割任務(wù)中，本方法相較其他分割算法（Deeplabv3plus、VGG-Unet、RDUnet-A、PSIC-Net等）將錯(cuò)誤率降低8.00%～20.03%，能夠更準(zhǔn)確地分割出鋼板表面的缺陷區(qū)域。考慮到實(shí)際工業(yè)生產(chǎn)識(shí)別中對實(shí)時(shí)性要求很高，后續(xù)工作我們將著眼于提升缺陷檢測的實(shí)時(shí)性，使之更好地為實(shí)際工業(yè)生產(chǎn)服務(wù)。

注：本文通訊作者為閆精鯤。

參考文獻(xiàn)

[1] CUDNEY E A，DRAIN D，PARYANI K，et al. A comparison of the mahalanobis-taguchi system to a standard statistical method for defect detection [J]. International journal of industrial amp; systems engineering，2009，2（4）：250-258.

[2] KREJCAR O，F(xiàn)RISCHER R . Non destructive defect detection by spectral density analysis [J]. Sensors，2011，11（3）：2334-2346.

[3] OZDEMIR S，BAYKUT A，MEYLANI R，et al. Comparative evaluation of texture analysis algorithms for defect inspection of textile products [C]// Proceedings of Fourteenth International Conference on Pattern Recognition. Brisbane，QLD，Australia：IEEE，1998.

[4] KWON B G，KANG D J . Fast defect detection algorithm on the variety surface with random forest using GPUs [C]// Proceedings of" 2011 11th International Conference on Control，Automation and Systems. Gyeonggi-do，Korea （South）：IEEE，2011.

[5] SHANMUGAMANI R，SADIQUE M，RAMAMOORTHY B . Detection and classification of surface defects of gun barrels using computer vision and machine learning [J]. Measurement，2014，60：222-230.

[6] ROCHA T，RAMOS H，RIBEIRO A L，et al. Sub-surface defect detection with motion induced eddy currents in aluminium [C]// 2015 IEEE International Instrumentation and Measurement Technology Conference （I2MTC） Proceedings. Pisa，Italy：IEEE，2015：930-934.

[7] YIN T，YANG J. Detection of steel surface defect based on faster R-CNN and FPN [C]// Proceedings of the 2021 7th International Conference on Computing and Artificial Intelligence. New York，NY，USA：ACM，2021.

[8]蔡松錢. Defect detection of steel surface using deep learning based on Faster R-CNN [D]. 廣州：華南理工大學(xué)，2019.

[9] XU L，Lü S，DENG Y，et al. A weakly supervised surface defect detection based on convolutional neural network [J]. IEEE access，2020，8：42285-42296.

[10] NES P G . Fast multi-scale edge-detection in medical ultrasound signals [J]. Signal processing，2012，92（10）：2394-2408.

[11] PANDA R，PUHAN N B，RAO A，et al. Recurrent neural network based retinal nerve fiber layer defect detection in early glaucoma [C]// 2017 IEEE 14th International Symposium on Biomedical Imaging（ISBI 2017）. Melbourne，VIC，Australia：IEEE，2017.

[12] LIU M，LI Y，WANG Z . A propelled multiple fusion deep belief network for weld defects detection [C]// Proceedings of the 2021 2nd International Conference on Control，Robotics and Intelligent System. New York，NY，USA：ACM，2021.

[13] WU J，LE J，XIAO Z，et al. Automatic fabric defect detection using a wide-and-light network [J]. Applied intelligence，2021，51：4945-4961.

[14] LEI L J，SUN S L，ZHANG Y，et al. PSIC-Net：pixel-wise segmentation and image-wise [J]. Machines，2021，9（10），221.

[15] FERGUSON M，AK R，LEE Y，et al. Detection and segmentation of manufacturing defects with convolutional neural networks and transfer learning：10.1520/SSMS20180033 [P]. 2018-10-25.

作者簡介：任楚嵐（1982—），遼寧人，博士，講師，研究方向?yàn)橹悄茚t(yī)療、語義標(biāo)注、智能規(guī)劃。