基于改進(jìn)深度網(wǎng)絡(luò)的鋼材表面缺陷檢測(cè)

劉 琪，雷景生

(上海電力大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201300)

0 引 言

在鋼材工業(yè)的生產(chǎn)過程中，由于生產(chǎn)機(jī)器和生產(chǎn)流程等因素，會(huì)造成鋼材表面存在斑塊、裂紋、劃痕等缺陷[1,2]。這些缺陷不僅會(huì)影響帶鋼的抗腐蝕性和耐磨性，嚴(yán)重時(shí)甚至?xí)?dǎo)致安全事故的發(fā)生。因此，研究一種能夠準(zhǔn)確、高效檢測(cè)鋼材表面缺陷的算法具有重要實(shí)際意義。

近幾年，隨著深度學(xué)習(xí)在各領(lǐng)域的應(yīng)用，掀起了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)的熱潮[3,4]?，F(xiàn)有的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法主要分為兩類：一類是以Fast RCNN[5]、Faster RCNN[6]、Mask RCNN[7]為代表的基于候選框的two-stage目標(biāo)檢測(cè)算法，該類算法檢測(cè)精度高但檢測(cè)速度低；另一類是以SSD[8]、YOLO[9]為代表的基于端到端的one-stage目標(biāo)檢測(cè)算法[10]，該類算法特點(diǎn)是高速度、低精度[11]。Faster RCNN使用RPN網(wǎng)絡(luò)獲取候選框，在PASCAL VOC2007數(shù)據(jù)集上的平均檢測(cè)精度達(dá)到73.2%[12]，是在檢測(cè)精度和檢測(cè)速度上較為平衡的最優(yōu)檢測(cè)算法之一。因此，選取Faster RCNN作為鋼材表面缺陷檢測(cè)的基礎(chǔ)網(wǎng)絡(luò)。

但是，基于Faster RCNN的鋼材表面缺陷檢測(cè)存在小缺陷難以檢測(cè)、特征提取過程中小缺陷信息丟失等問題。為了更精準(zhǔn)、快速檢測(cè)鋼材，本文在Faster RCNN算法的基礎(chǔ)上做出以下幾點(diǎn)改進(jìn)：①使用雙路徑網(wǎng)絡(luò)進(jìn)行特征提取。②加入多尺度特征融合模塊，融合高低層特征來提升小目標(biāo)檢測(cè)效果。③使用CIoU邊框回歸損失函數(shù)，進(jìn)一步提高檢測(cè)的準(zhǔn)確性。

1 Faster RCNN算法描述

Faster RCNN算法的核心思想在于摒棄了耗時(shí)的選擇性搜索算法，使用區(qū)域建議網(wǎng)絡(luò)(RPN)自動(dòng)獲取目標(biāo)候選框。其模型結(jié)構(gòu)如圖1所示，主要包含特征提取、RPN、預(yù)測(cè)網(wǎng)絡(luò)3個(gè)部分。

圖1 Faster RCNN算法流程

RPN的引入，真正將two-stage目標(biāo)檢測(cè)算法的整個(gè)流程融入到神經(jīng)網(wǎng)絡(luò)中。其結(jié)構(gòu)如圖2所示，將經(jīng)過特征提取后的特征圖輸入到RPN中，之后使用一個(gè)3×3的滑動(dòng)窗口遍歷整個(gè)特征圖，以該滑動(dòng)窗口的中心像素點(diǎn)為錨點(diǎn)，按照不同尺寸和比例生成k個(gè)錨框。然后在分類層中使用2k個(gè)1×1的卷積核對(duì)256-d的低維向量進(jìn)行分類，得到k個(gè)候選框是前景還是背景的概率。在回歸層中使用k個(gè)1×1的卷積核對(duì)k個(gè)錨框進(jìn)行位置回歸，輸出k個(gè)邊界框的位置坐標(biāo)。

圖2 RPN網(wǎng)絡(luò)結(jié)構(gòu)

Faster RCNN在訓(xùn)練過程中的損失主要來源于分類損失和回歸損失。如式(1)所示

(1)

(2)

Lreg表示回歸損失，如式(3)所示

(3)

(4)

最后，將RPN網(wǎng)絡(luò)產(chǎn)生的候選框輸入到ROI Pooling層中下采樣到固定尺寸，再輸入到預(yù)測(cè)網(wǎng)絡(luò)中進(jìn)行缺陷類別的預(yù)測(cè)和缺陷定位。

2 Faster RCNN的改進(jìn)

Faster RCNN算法使用ResNet101[13]網(wǎng)絡(luò)提取特征，模型計(jì)算參數(shù)量大，且殘差結(jié)構(gòu)不利于發(fā)掘新特征。同時(shí)，F(xiàn)aster RCNN算法在特征提取過程中未考慮特征融合方式，僅通過自底向上的單路徑方式提取特征，隨著卷積網(wǎng)絡(luò)層數(shù)的增多，這將導(dǎo)致特征信息的丟失。傳統(tǒng)Faster RCNN算法使用Smooth L1作為邊框回歸損失函數(shù)，未將交并比考慮到損失計(jì)算中，不利于邊框回歸的準(zhǔn)確性。

針對(duì)傳統(tǒng)Faster RCNN算法對(duì)小缺陷檢測(cè)精度不夠高以及隨著卷積網(wǎng)絡(luò)的加深位置信息丟失等問題，對(duì)Faster RCNN算法做出以下幾點(diǎn)改進(jìn)：①使用融合了密集連接結(jié)構(gòu)和殘差結(jié)構(gòu)的雙路徑網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，降低算法的計(jì)算復(fù)雜度和模型復(fù)雜度。②使用改進(jìn)PANet模塊對(duì)深層網(wǎng)絡(luò)和淺層網(wǎng)絡(luò)進(jìn)行多尺度特征融合，解決隨著卷積網(wǎng)絡(luò)層數(shù)的增加引起的特征信息丟失問題，提升對(duì)小缺陷的檢測(cè)效果。③使用CIoU損失函數(shù)替換原算法中的Smooth L1損失函數(shù)，將交并比損失考慮到邊框回歸損失函數(shù)中，進(jìn)一步提高檢測(cè)模型的準(zhǔn)確性。改進(jìn)后的算法整體流程如圖3所示。

圖3 改進(jìn)算法流程

2.1 雙路徑特征提取網(wǎng)絡(luò)(DPN)

隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷加深，會(huì)出現(xiàn)梯度爆炸或梯度彌散等問題。ResNet引入殘差結(jié)構(gòu)，將輸入與卷積的輸出相加，降低特征冗余，側(cè)重于再利用已有特征，但難以利用高層特征再發(fā)掘底層特征，導(dǎo)致語義信息的丟失。DenseNet[14]網(wǎng)絡(luò)引入密集連接結(jié)構(gòu)，將輸入和輸出的通道進(jìn)行拼接，側(cè)重于再發(fā)掘淺層特征，但會(huì)產(chǎn)生特征冗余。雙路徑網(wǎng)絡(luò)[15]融合了ResNet和DenseNet的核心部分，結(jié)合了殘差結(jié)構(gòu)和密集連接結(jié)構(gòu)的優(yōu)勢(shì)，該模型內(nèi)部采用拓?fù)浣Y(jié)構(gòu)將ResNet和DenseNet網(wǎng)絡(luò)進(jìn)行連接，實(shí)現(xiàn)彼此特征的共享，為ResNet和DenseNet網(wǎng)絡(luò)建立了形式統(tǒng)一的數(shù)學(xué)表達(dá)。DPN網(wǎng)絡(luò)采用雙通道連接結(jié)構(gòu)，在解決梯度消失問題的同時(shí)又能夠再發(fā)掘淺層特征，同時(shí)提高了訓(xùn)練參數(shù)的利用率，在充分利用特征的基礎(chǔ)上有效降低了模型復(fù)雜度和計(jì)算復(fù)雜度。

DPN網(wǎng)絡(luò)由多個(gè)模塊化的block堆疊而成，每個(gè)模塊包含2個(gè)1×1卷積和1個(gè)3×3卷積，其流程如圖4所示，上一個(gè)block塊的輸出特征x先經(jīng)過一個(gè)1×1卷積層，再通過一個(gè)3×3和1×1的卷積操作后，將輸出分割為兩個(gè)部分：第一部分輸入到殘差網(wǎng)絡(luò)中與當(dāng)前模塊的輸入進(jìn)行逐像素相加；另一部分輸入到密集連接網(wǎng)絡(luò)中進(jìn)行通道合并操作。將經(jīng)過殘差結(jié)構(gòu)和密集連接結(jié)構(gòu)兩條路徑的輸出再進(jìn)行相加運(yùn)算，相加的結(jié)果作為下一個(gè)block模塊的輸入，以此循環(huán)下去，構(gòu)成雙路徑特征提取網(wǎng)絡(luò)。該網(wǎng)絡(luò)既能重復(fù)利用已有特征，又能發(fā)掘出新的特征，同時(shí)減少了特征冗余，充分利用了ResNet網(wǎng)絡(luò)和DenseNet網(wǎng)絡(luò)的優(yōu)勢(shì)，從而實(shí)現(xiàn)了對(duì)圖像特征的充分挖掘和提取。

圖4 DPN網(wǎng)絡(luò)結(jié)構(gòu)

2.2 多尺度特征融合

在Faster RCNN算法中，由于淺層網(wǎng)絡(luò)卷積操作少，因此圖像的分辨率高、位置細(xì)節(jié)信息多，但包含的語義信息弱、噪聲強(qiáng)。隨著網(wǎng)絡(luò)層數(shù)的加深、卷積操作的增多，深層網(wǎng)絡(luò)特征具有更強(qiáng)的語義信息，但圖像分辨率降低，對(duì)細(xì)節(jié)的感知能力也較差。特別是針對(duì)小缺陷，在深層神經(jīng)網(wǎng)絡(luò)中不僅丟失了位置信息，語義信息也比較模糊。因此如何將高低層特征進(jìn)行融合是改善模型性能的重要手段。

特征金字塔網(wǎng)絡(luò)[16](FPN)是增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像特征信息輸出表達(dá)的一種方法，旨在改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)特征提取方式，加入高低層特征融合結(jié)構(gòu)，能夠更好表達(dá)出具有較強(qiáng)語義信息的各個(gè)維度的圖片特征。FPN在傳統(tǒng)的自底向上的單路徑卷積神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上增加了自頂向下路徑，即增加了深層網(wǎng)絡(luò)和淺層網(wǎng)絡(luò)的特征融合方式，并通過橫向連接的方式將自底向上和自頂向下的路徑進(jìn)行結(jié)合，如圖5所示。將不同卷積層的特征圖通過1×1卷積核后與自頂向下路徑上的經(jīng)過兩倍上采樣的特征圖進(jìn)行通道合并操作，將融合后的特征圖通過3×3卷積來降低上采樣帶來的混疊影響。融合后的特征圖包含較強(qiáng)的語義信息和豐富的位置信息以及較高的圖像分辨率，能夠提升對(duì)小缺陷的檢測(cè)效果。

圖5 FPN網(wǎng)絡(luò)結(jié)構(gòu)

然而信息傳播路徑過長會(huì)導(dǎo)致信息傳遞不夠充分。雖然在傳播過程中圖像的語義信息得到增強(qiáng)，但位置細(xì)節(jié)信息丟失，同時(shí)對(duì)深層網(wǎng)絡(luò)的特征圖進(jìn)行兩倍上采樣操作會(huì)削弱圖像的語義信息。PANet[17]對(duì)特征金字塔網(wǎng)絡(luò)進(jìn)行了改進(jìn)，在FPN的基礎(chǔ)上增加了一條自底向上的增強(qiáng)路徑，建立淺層網(wǎng)絡(luò)到深層網(wǎng)絡(luò)的信息傳播路徑，將底層網(wǎng)絡(luò)的信息又傳遞到深層網(wǎng)絡(luò)中去，從而在深層網(wǎng)絡(luò)中保留淺層網(wǎng)絡(luò)的特征，解決信息傳播路徑過長導(dǎo)致的信息傳遞不夠充分的問題。將增強(qiáng)路徑上的特征圖通過3×3卷積后與FPN輸出的不同路徑的特征圖進(jìn)行相加，在不降低模型性能同時(shí)，減少特征信息的丟失。輸出的特征圖既包含更強(qiáng)的語義信息，又包含準(zhǔn)確的位置信息。其結(jié)構(gòu)如圖6(a)所示。

為了更加充分地利用深層網(wǎng)絡(luò)的語義信息和淺層網(wǎng)絡(luò)的位置信息，提高檢測(cè)模型的缺陷分類和定位能力。為此，在路徑增強(qiáng)網(wǎng)絡(luò)上進(jìn)行了改進(jìn)，在同一層級(jí)的輸入與輸出節(jié)點(diǎn)之間增加一條跨級(jí)連接路徑，縮短深層特征和淺層特征的融合距離，如圖6(b)所示，所有的融合路徑都通過通道相加的運(yùn)算方式進(jìn)行特征圖的融合，融合后的特征映射再經(jīng)過一個(gè)3×3卷積核處理，得到新的特征圖作為下一層網(wǎng)絡(luò)的輸入。在不增加參數(shù)等額外消耗的情況下實(shí)現(xiàn)了特征信息在不同層級(jí)網(wǎng)絡(luò)輸出之間的傳遞，多組對(duì)比實(shí)驗(yàn)結(jié)果表明該特征融合方式能夠有效提升帶鋼缺陷的檢測(cè)效果。

圖6 多尺度特征融合結(jié)構(gòu)

2.3 CIoU邊框回歸損失函數(shù)

原Faster RCNN算法中使用Smooth L1作為邊框回歸損失函數(shù)，因其能從兩個(gè)方面限制梯度值，具有較強(qiáng)的魯棒性。Smooth L1損失函數(shù)通過計(jì)算檢測(cè)框和實(shí)際邊框的位置坐標(biāo)的誤差之和得到最終的邊框回歸損失。但實(shí)際使用交并比(IoU)作為評(píng)價(jià)檢測(cè)框的標(biāo)準(zhǔn)，具有相同Smooth L1 loss值的一對(duì)檢測(cè)框IoU值可能差異較大。如圖7所示，圖7(a)和圖7(b)中的預(yù)測(cè)邊框和實(shí)際邊框的坐標(biāo)誤差相同，但邊框重疊度不同，即交并比差異很大。因此Smooth L1作為邊框回歸損失函數(shù)和邊框評(píng)價(jià)指標(biāo)的關(guān)聯(lián)度不大，不利于邊框回歸的準(zhǔn)確性。

圖7 Smooth L1損失和IoU損失對(duì)比

針對(duì)Smooth L1直接作為邊框回歸損失函數(shù)存在的問題，為進(jìn)一步提高缺陷定位的準(zhǔn)確性，引入CIoU[18]損失函數(shù)，其計(jì)算方法如式(5)所示

(5)

式中：IoU為交并比，表示真實(shí)框和預(yù)測(cè)框相交部分與兩個(gè)框集合的區(qū)域的比值，如式(6)所示。ρ代表預(yù)測(cè)框和真實(shí)框中心點(diǎn)之間的歐式距離，c代表預(yù)測(cè)框和真實(shí)框最小閉包區(qū)域的對(duì)角線長度。α是一個(gè)正的權(quán)衡參數(shù)，v是用來度量長寬比一致性的參數(shù)，其表達(dá)式如式(7)、式(8)所示

(6)

式中：B為預(yù)測(cè)框，Bgt為真實(shí)框

(7)

(8)

其中，wgt、hgt為真實(shí)框的寬和高，w、h為預(yù)測(cè)框的寬和高。

CIoU邊框回歸損失函數(shù)綜合考慮預(yù)測(cè)框和實(shí)際邊框的重疊面積、高寬比和中心距離等度量標(biāo)準(zhǔn)，具有更快的收斂速度，同時(shí)克服了IoU為0時(shí)損失無法計(jì)算等問題，避免了在訓(xùn)練過程中損失值出現(xiàn)發(fā)散問題，使得邊框能夠準(zhǔn)確、快速回歸。

3 實(shí)驗(yàn)對(duì)比與結(jié)果分析

3.1 數(shù)據(jù)集

圖8 NEU-DET數(shù)據(jù)集6種表面缺陷示例

3.2 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)在基于PyTorch的深度學(xué)習(xí)框架、Python語言環(huán)境下進(jìn)行編程。實(shí)驗(yàn)使用的硬件環(huán)境為Intel i5-7500處理器，采用TITIAN的GPU進(jìn)行模型訓(xùn)練，內(nèi)存為16 G，顯存為12 G。實(shí)驗(yàn)的軟件環(huán)境為Ubuntu操作系統(tǒng)，cuda9.0，anaconda3。

3.3 缺陷檢測(cè)結(jié)果與分析

3.3.1 實(shí)驗(yàn)參數(shù)和評(píng)價(jià)指標(biāo)

為驗(yàn)證本文提出的改進(jìn)算法的正確性和有效性，對(duì)不同的改進(jìn)策略進(jìn)行多組對(duì)比實(shí)驗(yàn)。在訓(xùn)練過程中，實(shí)驗(yàn)參數(shù)的學(xué)習(xí)率設(shè)置為0.001、batch_size大小為128、權(quán)重衰減系數(shù)為0.0001、epoch為50輪。通過基于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)方式進(jìn)行模型訓(xùn)練，將在ImageNet大型數(shù)據(jù)集上預(yù)訓(xùn)練的權(quán)重遷移到新的網(wǎng)絡(luò)中作為模型訓(xùn)練的初始化權(quán)重，大大縮短了模型訓(xùn)練的時(shí)間。本文采用平均精度均值(mAP)作為模型的評(píng)價(jià)指標(biāo)，其計(jì)算方法如式(9)所示

(9)

式中：TP代表正樣本被正確地劃分為正樣本的個(gè)數(shù)，F(xiàn)N代表正樣本被錯(cuò)誤地劃分為負(fù)樣本的個(gè)數(shù)，F(xiàn)P代表負(fù)樣本被錯(cuò)誤地劃分為正樣本的個(gè)數(shù)。而正負(fù)樣本按照IoU的閾值來劃分，根據(jù)實(shí)際邊框和預(yù)測(cè)邊框的交并比來判斷是否成功預(yù)測(cè)為正樣本，當(dāng)IoU>0.7時(shí)為正樣本，否則為負(fù)樣本。因此召回率R表示正確地預(yù)測(cè)為正樣本個(gè)數(shù)占所有預(yù)測(cè)為正樣本的比例，準(zhǔn)確率P表示正確地預(yù)測(cè)為正樣本個(gè)數(shù)占所有正樣本的比例。

3.3.2 不同的特征提取網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

為驗(yàn)證不同的特征提取網(wǎng)絡(luò)對(duì)模型檢測(cè)結(jié)果的影響，證明雙路徑網(wǎng)絡(luò)對(duì)檢測(cè)模型性能提升的有效性，該部分分別使用VGG16、ResNet、DenseNet、DPN網(wǎng)絡(luò)作為Faster RCNN的主干網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練。研究不同的特征提取網(wǎng)絡(luò)對(duì)缺陷檢測(cè)精度的影響，實(shí)驗(yàn)結(jié)果見表1。

表1 不同的特征提取網(wǎng)絡(luò)檢測(cè)結(jié)果對(duì)比

由表1的數(shù)據(jù)可知，使用殘差網(wǎng)絡(luò)或密集連接網(wǎng)絡(luò)進(jìn)行特征提取相較于VGG網(wǎng)路具有更好的檢測(cè)結(jié)果，能夠避免訓(xùn)練過程中出現(xiàn)梯度消失或梯度爆炸等問題，模型學(xué)習(xí)能力更強(qiáng)。結(jié)合了殘差結(jié)構(gòu)和密集連接結(jié)構(gòu)的DPN網(wǎng)絡(luò)具有最優(yōu)的檢測(cè)結(jié)果，訓(xùn)練過程中能夠更好地利用圖像特征，對(duì)缺陷的定位和分類更加準(zhǔn)確，平均精度均值達(dá)到79.10%，相較于ResNet網(wǎng)絡(luò)提升了1.52%。實(shí)驗(yàn)結(jié)果表明，DPN作為Faster RCNN模型的主干網(wǎng)絡(luò)在NEU-DET數(shù)據(jù)集上具有更優(yōu)的檢測(cè)性能。

3.3.3 不同特征融合方式實(shí)驗(yàn)結(jié)果

特征融合是提升模型檢測(cè)性能的重要方式，為驗(yàn)證特征融合的有效性以及不同特征融合方式對(duì)檢測(cè)結(jié)果產(chǎn)生影響的大小?；谏弦徊綄?duì)比實(shí)驗(yàn)結(jié)果，采用DPN作為特征提取網(wǎng)絡(luò)，該部分分別使用FPN、PANet、改進(jìn)PANet網(wǎng)絡(luò)在Faster RCNN模型上進(jìn)行特征融合對(duì)比實(shí)驗(yàn)，通過實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證不同的特征融合方式對(duì)檢測(cè)結(jié)果的影響，實(shí)驗(yàn)結(jié)果見表2。

表2 不同的特征融合方式檢測(cè)結(jié)果對(duì)比

由表2數(shù)據(jù)可知，在Faster RCNN算法基礎(chǔ)上，使用DPN作為特征提取網(wǎng)絡(luò)，分別使用3種特征融合方式進(jìn)行對(duì)比實(shí)驗(yàn)，在以平均精度均值作為模型評(píng)價(jià)指標(biāo)時(shí)，使用改進(jìn)PANet網(wǎng)絡(luò)進(jìn)行特征融合的檢測(cè)結(jié)果的mAP值達(dá)到83.21%，比原PANet特征融合方式在mAP上提升1.10%，相較于FPN提升了2.84%，并相比于原算法中未使用特征融合方法在mAP上提升了4.11%。實(shí)驗(yàn)結(jié)果表明，使用DPN作為特征提取網(wǎng)絡(luò)、改進(jìn)PANet網(wǎng)絡(luò)進(jìn)行特征融合能夠有效改善模型訓(xùn)練性能，提升模型的缺陷分類和定位的準(zhǔn)確性。

3.3.4 邊框回歸損失函數(shù)實(shí)驗(yàn)對(duì)比結(jié)果

在前兩步實(shí)驗(yàn)的基礎(chǔ)上，以DPN作為特征提取網(wǎng)絡(luò)、改進(jìn)PANet進(jìn)行多尺度特征融合，使用CIoU邊框回歸損失函數(shù)替代原算法中的Smooth L1損失函數(shù)，通過實(shí)驗(yàn)驗(yàn)證邊框損失函數(shù)對(duì)檢測(cè)結(jié)果的影響，實(shí)驗(yàn)結(jié)果見表3。

表3 不同的損失函數(shù)檢測(cè)結(jié)果對(duì)比

由表3數(shù)據(jù)可知，在以DPN特征提取網(wǎng)絡(luò)作為檢測(cè)模型的骨干網(wǎng)絡(luò)，以改進(jìn)PANet特征融合網(wǎng)絡(luò)作為Faster RCNN模型的基礎(chǔ)訓(xùn)練策略，采用CIoU作為邊框損失函數(shù)相較于原算法中的Smooth L1損失函數(shù)在NEU-DET數(shù)據(jù)集上的mAP值提升了1.39%。實(shí)驗(yàn)結(jié)果表明，CIoU損失函數(shù)能夠使得邊框準(zhǔn)確回歸，改善模型檢測(cè)性能。

3.3.5 不同模型實(shí)驗(yàn)對(duì)比結(jié)果

由以上實(shí)驗(yàn)數(shù)據(jù)可知，使用DPN作為特征提取網(wǎng)絡(luò)、改進(jìn)PANet作為特征融合網(wǎng)絡(luò)、CIoU作為邊框回歸損失函數(shù)的改進(jìn)后的模型相較于原算法中使用ResNet101特征提取網(wǎng)絡(luò)、未使用特征融合網(wǎng)絡(luò)、使用Smooth L1作為邊框回歸損失函數(shù)在NEU-DET數(shù)據(jù)集上檢測(cè)結(jié)果的平均精度均值從77.58%提升到84.59%。實(shí)驗(yàn)結(jié)果表明改進(jìn)后的模型具有較優(yōu)的檢測(cè)效果。

為進(jìn)一步驗(yàn)證改進(jìn)Faster RCNN在NEU-DET數(shù)據(jù)集上的缺陷檢測(cè)性能，將本文模型與目前主流目標(biāo)檢測(cè)算法進(jìn)行實(shí)驗(yàn)對(duì)比，以NEU-DET缺陷檢測(cè)數(shù)據(jù)集為基礎(chǔ)，本部分在Faster RCNN、SSD、YOLO、本文模型上進(jìn)行4組對(duì)比實(shí)驗(yàn)，采用平均精度均值來評(píng)估模型檢測(cè)結(jié)果的好壞，實(shí)驗(yàn)結(jié)果見表4。

表4 不同模型的檢測(cè)結(jié)果對(duì)比

由表4數(shù)據(jù)可知，本文使用的DPN特征提取網(wǎng)絡(luò)、改進(jìn)的PANet特征融合網(wǎng)絡(luò)、CIoU邊框回歸損失函數(shù)能夠有效地改善原Faster RCNN算法對(duì)鋼材缺陷的檢測(cè)性能，mAP值達(dá)到84.59%，高于實(shí)驗(yàn)中其它的目標(biāo)檢測(cè)算法，相較于原Faster RCNN算法在mAP上提升了7.01%，多種改進(jìn)策略的加入使得本文模型相較于原模型在檢測(cè)速度和檢測(cè)精度上都有一定的提升。由于是兩階段檢測(cè)算法，在檢測(cè)速度上稍有不足，但工業(yè)應(yīng)用場(chǎng)景的高精度需求使得本文模型具有良好的實(shí)用性。

基于改進(jìn)Faster RCNN與傳統(tǒng)的Faster RCNN模型在鋼材缺陷數(shù)據(jù)集上訓(xùn)練過程的損失變化對(duì)比如圖9所示。從圖中可以明顯看出，改進(jìn)后的Faster RCNN檢測(cè)模型相較于傳統(tǒng)的Faster RCNN算法在訓(xùn)練過程中具有更快的收斂速度，并且loss值更低。在改進(jìn)Faster RCNN算法的帶鋼缺陷檢測(cè)結(jié)果的基礎(chǔ)上，選取6類鋼材缺陷圖像各一張進(jìn)行缺陷檢測(cè)測(cè)試，檢測(cè)結(jié)果如圖10(a)～圖10(f)所示，圖中黑色矩形框?yàn)槿毕菸恢茫瑯?biāo)簽為缺陷類別和精確度。從圖中可以明顯看出，提出的改進(jìn)模型對(duì)不同尺度和類型的鋼材表面缺陷具有較好的檢測(cè)效果，不僅能準(zhǔn)確識(shí)別出缺陷位置，且具有較高的類別檢測(cè)精度。

圖9 訓(xùn)練損失變化對(duì)比

圖10 6類帶鋼缺陷檢測(cè)結(jié)果

4 結(jié)束語

為提升熱軋帶鋼表面缺陷檢測(cè)的準(zhǔn)確率，本文提出了一種改進(jìn)的Faster RCNN模型，首先使用融合了ResNet和DenseNet核心思想的DPN網(wǎng)絡(luò)進(jìn)行特征提取，解決了原模型中ResNet作為特征提取網(wǎng)絡(luò)難以再發(fā)掘新特征的問題。接著引入改進(jìn)PANet模塊進(jìn)行多尺度特征融合，實(shí)現(xiàn)不同尺度特征的融合與再利用，使得輸出的特征圖具有更強(qiáng)的語義信息和位置信息。最后，將交并比損失考慮到邊框回歸損失函數(shù)中，使用CIoU替代原算法中的Smooth L1損失函數(shù)作為邊框回歸損失函數(shù)，從而改善了模型的檢測(cè)效果，提升了缺陷檢測(cè)速度和精度。通過多組對(duì)比實(shí)驗(yàn)驗(yàn)證了提出的改進(jìn)策略的有效性和正確性。最后，基于改進(jìn)的Faster RCNN算法在NEU-DET帶鋼缺陷檢測(cè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，6類缺陷檢測(cè)結(jié)果的平均精度均值高達(dá)84.59%。結(jié)果表明，改進(jìn)模型能夠滿足鋼材表面缺陷的檢測(cè)需求，對(duì)提升鋼材表面質(zhì)量具有重要實(shí)際意義。