基于FF R-CNN鋼材表面缺陷檢測算法

韓 強(qiáng)，張 喆，續(xù)欣瑩，謝新林

(1.太原理工大學(xué) 電氣與動力工程學(xué)院，太原 030024；2.太原科技大學(xué) 先進(jìn)控制與裝備智能化山西省重點(diǎn)實(shí)驗(yàn)室，太原 030024)

我國是全球第一鋼鐵生產(chǎn)大國，2019年全球粗鋼產(chǎn)量18.7億t，其中中國粗鋼產(chǎn)量9.96億t，占全球粗鋼產(chǎn)量的53.3%.雖然中國粗鋼產(chǎn)量占據(jù)全球粗鋼產(chǎn)量的半壁江山，但是從鋼鐵行業(yè)的績效水平看，中國企業(yè)與國際鋼鐵行業(yè)的平均水平還存在一定差距[1]?！吨袊圃?025》發(fā)展戰(zhàn)略明確提出：著力發(fā)展智能裝備和智能產(chǎn)品，推進(jìn)生產(chǎn)過程智能化，培育新型生產(chǎn)方式，全面提升企業(yè)研發(fā)、生產(chǎn)、管理和服務(wù)的智能化水平[2]。

目前，多數(shù)企業(yè)仍采用人工檢測的方式檢測缺陷。長期高強(qiáng)度的工作會影響檢查員的工作狀態(tài)，導(dǎo)致檢查準(zhǔn)確率低且出現(xiàn)遺漏。隨著工業(yè)要求的提高和科學(xué)技術(shù)的發(fā)展，無損檢測被廣泛使用在各種材料的缺陷檢測中，特別是金屬材料。徐長航等[3]在含缺陷鋼制試件紅外熱像檢測實(shí)驗(yàn)的基礎(chǔ)上，利用多種圖像處理技術(shù)，實(shí)現(xiàn)了裂紋、圓孔等不同類型缺陷的提取與識別。張學(xué)武等[4]提出了一種基于紅外成像的強(qiáng)反射金屬表面缺陷視覺檢測方法，利用CCD視覺傳感器獲取受檢測金屬表面的紅外影像資料，對微小缺陷可達(dá)到92.8%的檢測率和95.42%的識別率。JOUNG et al[5]將紅外成像技術(shù)應(yīng)用在管道缺陷的檢測上。同時(shí)，基于機(jī)器視覺的圖像處理方法也被廣泛應(yīng)用。董家順等[6]利用一種改進(jìn)K-means灰度正反求和的檢測方法對鋼管表面缺陷進(jìn)行了檢測。YOU et al[7]提出了一種可以從太赫茲成像系統(tǒng)獲得的圖像中準(zhǔn)確提取缺陷輪廓的方法。JEON et al[8]提出了一種結(jié)合光照法的濾波方案，用于鋼鐵表面缺陷檢測。SON et al[9]提出了一種測定鋼橋表面銹蝕面積的方法，該方法包括：顏色空間轉(zhuǎn)換、基于J48決策樹算法的銹蝕區(qū)域分類。該方法對119個(gè)試件的銹蝕區(qū)域劃分的平均準(zhǔn)確率約為97.95%，整個(gè)處理過程平均只需0.57 s.LIAO et al[10]提出了一種由3種不同方法組成的圖像自動處理算法，采用最小二乘支持向量機(jī)，對缺陷半徑進(jìn)行預(yù)測。王宇等[11]提出了一種利用機(jī)器視覺來檢測金屬零件表面缺陷的系統(tǒng)。這些基于機(jī)器視覺的圖像處理方法在一定程度上提高了檢測效率，滿足了自動化的要求，但是適應(yīng)性較差[12]。

隨著人工智能和大數(shù)據(jù)時(shí)代的到來，深度學(xué)習(xí)算法被越來越多地應(yīng)用在缺陷檢測中。因?yàn)樯疃葘W(xué)習(xí)算法具有準(zhǔn)確性高、效率高、適應(yīng)性強(qiáng)的特點(diǎn)，深度學(xué)習(xí)逐漸成為缺陷檢測的重要研究方向。XU et al[13]使用基于機(jī)器視覺的方法來檢測金屬表面缺陷，可以在不均勻的光照條件下檢測裂縫、凹痕甚至其他缺陷。黃鳳榮等[14]提出了一種Faster R-CNN算法為框架的零件表面缺陷檢測算法，并引入多級ROI池化層結(jié)構(gòu)，該算法將缺陷檢測的均值平均精度mAP從原算法的54.7%提高到97.9%，檢測速度最快達(dá)到4.9 f/s(f表示幀數(shù)).SHEN et al[15]開發(fā)了一種機(jī)器視覺系統(tǒng)，適用于檢測變形、腐蝕和劃痕的軸承缺陷。HE et al[16]提出了一種新的物體檢測框架分類優(yōu)先網(wǎng)絡(luò)(CPN)和一種新的分類網(wǎng)絡(luò)多組卷積神經(jīng)網(wǎng)絡(luò)(MG-CNN)來檢測鋼材的表面缺陷，可以使帶鋼熱軋表面缺陷的檢測精度超過94%，分類率超過96%.YI et al[17]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的端到端鋼帶表面缺陷檢測方法。HE et al[18]將機(jī)器視覺應(yīng)用于金屬表面缺陷檢測中，其缺陷分類任務(wù)的準(zhǔn)確率可達(dá)到99.67%，缺陷檢測任務(wù)的準(zhǔn)確度可達(dá)到82.3%.李維剛等[19]針對熱軋帶鋼表面缺陷檢測中存在的檢測速度慢、檢測精度低等問題，提出了一種改進(jìn)的YOLOv3算法模型。改進(jìn)后的YOLOv3算法在NEU-DET數(shù)據(jù)集上平均精度均值達(dá)到了80%，較原有的YOLOv3算法提高了11%，實(shí)時(shí)檢測速度保持在50 f/s(f表示幀數(shù)).湯勃等[20]針對小樣本的鋼板表面缺陷分類檢測問題，提出基于卷積神經(jīng)網(wǎng)絡(luò)帶標(biāo)記的鋼板表面缺陷檢測系統(tǒng)。方葉祥等[21]提出了基于改進(jìn)YOLOv3算法的實(shí)時(shí)缺陷檢測方法，該方法對鋼材表面的壓痕與劃痕的檢測精度分別為92%和90%.代小紅等[22]提出了一種基于改進(jìn)RCNN的金屬材料工件表面缺陷檢測算法，在圖像預(yù)處理過程中，運(yùn)用了圖像缺陷定位標(biāo)注與圖像數(shù)據(jù)的增強(qiáng)處理的方法，引入多級ROI池化層結(jié)構(gòu)設(shè)計(jì)算法，實(shí)現(xiàn)高效并準(zhǔn)確檢測零件表面缺陷的目的，檢測精度可達(dá)97.36%.方鈞婷等[23]提出了一種基于注意力機(jī)制的級聯(lián)網(wǎng)絡(luò)缺陷檢測算法，對金屬表面缺陷進(jìn)行高質(zhì)量分類和定位。朱超平等[24]采用了改進(jìn)型的Faster-RCNN目標(biāo)檢測算法，引入了深度生成式對抗網(wǎng)絡(luò)，對汽車輪轂表面缺陷進(jìn)行檢測。盡管在金屬缺陷檢測中已經(jīng)進(jìn)行了許多相關(guān)研究，但是仍然存在精度低的問題。導(dǎo)致缺陷檢測精度低的原因是多方面的，包括深度神經(jīng)網(wǎng)絡(luò)在檢測時(shí)特征圖中結(jié)構(gòu)信息的減少。

針對深度神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測時(shí)特征圖中結(jié)構(gòu)信息減少的問題，本文提出一種基于特征融合和級聯(lián)檢測網(wǎng)絡(luò)的Faster R-CNN(FF R-CNN)檢測算法，以提高檢測精度。FF R-CNN采用對特征圖進(jìn)行融合的方法，來減少特征圖中結(jié)構(gòu)信息的消失。通過對比多種融合方式對檢測結(jié)果的影響，確定了檢測精度最高的融合方式，并通過級聯(lián)檢測網(wǎng)絡(luò)進(jìn)一步提高算法的檢測精度。在NEU-DET鋼材缺陷樣本數(shù)據(jù)集上進(jìn)行缺陷檢測實(shí)驗(yàn)，驗(yàn)證了FF R-CNN算法的可行性和有效性。

1 Faster R-CNN算法

1.1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

目前，深度神經(jīng)網(wǎng)絡(luò)對于目標(biāo)的檢測性能已得到證明。深度神經(jīng)網(wǎng)絡(luò)主要分為雙階段目標(biāo)檢測算法與單階段目標(biāo)檢測算法。雙階段目標(biāo)檢測算法首先提取圖像中的候選框，然后對候選框二次修正，得到精度較高的檢測結(jié)果，但是檢測速度慢；單階段目標(biāo)檢測算法直接對圖像進(jìn)行計(jì)算，生成檢測結(jié)果，檢測速度快，但檢測精度低。雙階段目標(biāo)檢測算法Faster R-CNN系列的深度神經(jīng)網(wǎng)絡(luò)，檢測精度一般要優(yōu)于單階段目標(biāo)檢測算法SSD和YOLOv2[25].

Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Faster R-CNN network structure

Faster R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)可分為4個(gè)部分，即主干網(wǎng)絡(luò)、RPN網(wǎng)絡(luò)、ROI池化層以及分類回歸網(wǎng)絡(luò)。將這4部分按照功能劃分，可分為特征提取部分，RPN網(wǎng)絡(luò)與檢測網(wǎng)絡(luò)部分。特征提取部分為主干網(wǎng)絡(luò)，檢測網(wǎng)絡(luò)包括ROI池化層以及分類回歸網(wǎng)絡(luò)。

Faster R-CNN通過主干網(wǎng)絡(luò)提取圖像的特征圖，并且將特征圖作為RPN網(wǎng)絡(luò)和ROI池化層的輸入；RPN網(wǎng)絡(luò)生成區(qū)域建議框，通過邊界框回歸得到相對準(zhǔn)確的區(qū)域建議框；ROI池化層將RPN網(wǎng)絡(luò)生成的區(qū)域建議框與主干網(wǎng)絡(luò)提取的特征圖相結(jié)合，生成建議特征圖，并且輸入分類回歸網(wǎng)絡(luò)；分類回歸網(wǎng)絡(luò)對建議特征圖進(jìn)行缺陷分類與回歸，得到區(qū)域建議框內(nèi)目標(biāo)的類別與準(zhǔn)確位置。

1.2 主干網(wǎng)絡(luò)

Faster R-CNN的主干網(wǎng)絡(luò)可以是VGG-16，ResNet-50或其他特征提取網(wǎng)絡(luò)。本文用VGG-16作為FF R-CNN的主干網(wǎng)絡(luò)。VGG-16的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 VGG-16 network structure

VGG-16網(wǎng)絡(luò)由13個(gè)卷積層，5個(gè)池化層和3個(gè)全連接層組成。在所有卷積層中，使用的卷積核為3×3，步長為1.池化層使用的池化核大小為2×2，步長為2.在所有的卷積層中，卷積操作不會改變輸入矩陣的大小。而在所有的池化層中，池化操作會將輸出矩陣的尺寸變?yōu)檩斎刖仃嚨亩种弧?/p>

對VGG-16的網(wǎng)絡(luò)而言，可以將VGG-16的13個(gè)卷積層和5個(gè)池化層劃分為不同的Block，從前到后依次編號為Block1-Block5.每個(gè)Block包含多個(gè)卷積層和一個(gè)池化層，并且在同一Block中，不同卷積層輸出矩陣的大小相同。每個(gè)卷積層被稱為conv3-X-Y，其中conv3表示卷積核大小為3×3，X為卷積層的通道數(shù)，Y為該卷積層的位置。例如：Block1包含2個(gè)卷積層(conv3-64-1，conv3-64-2)，1個(gè)max池化層；Block3包含3個(gè)卷積層(conv3-256-1，conv3-256-2，conv3-256-3)，1個(gè)max池化層；Block5包含3個(gè)卷積層(conv3-512-1，conv3-512-2，conv3-512-3)，1個(gè)max池化層。

1.3 RPN網(wǎng)絡(luò)

RPN網(wǎng)絡(luò)是Faster R-CNN中最重要的改進(jìn)。Faster R-CNN直接使用RPN生成區(qū)域建議框，這也是Faster R-CNN的巨大優(yōu)勢，能極大提升區(qū)域建議框的生成速度。

通過主干網(wǎng)絡(luò)，F(xiàn)aster R-CNN網(wǎng)絡(luò)提取圖像的特征圖。RPN網(wǎng)絡(luò)對特征圖進(jìn)行處理，得到一個(gè)尺寸為m×n的特征圖，對應(yīng)將原圖劃分為m×n個(gè)區(qū)域，原圖的每個(gè)區(qū)域的中心由這個(gè)特征圖上的一個(gè)像素點(diǎn)坐標(biāo)表示。通過錨點(diǎn)(anchor)機(jī)制，可以在每個(gè)像素點(diǎn)對應(yīng)原圖的區(qū)域生成k個(gè)可能存在目標(biāo)的候選框。RPN就是用來判斷每個(gè)像素點(diǎn)對應(yīng)的k個(gè)區(qū)域是否包含目標(biāo)，若包含目標(biāo)，則修正區(qū)域建議框，并輸入檢測網(wǎng)絡(luò)。

1.4 檢測網(wǎng)絡(luò)

檢測網(wǎng)絡(luò)包括ROI池化層以及分類回歸網(wǎng)絡(luò)。ROI池化層的主要作用是將主干網(wǎng)絡(luò)提取出的特征圖與RPN得到的區(qū)域建議框相結(jié)合，并將結(jié)合的特征圖轉(zhuǎn)換為7×7的恒定特征大小。將ROI池化層結(jié)合的特征向量輸入到分類回歸網(wǎng)絡(luò)進(jìn)行分類和回歸，F(xiàn)aster R-CNN網(wǎng)絡(luò)最終得到缺陷的精確位置和類型。

2 基于FF R-CNN鋼材表面缺陷檢測算法

對比傳統(tǒng)的Faster R-CNN算法，F(xiàn)F R-CNN在特征提取部分和檢測網(wǎng)絡(luò)部分提出改進(jìn)。在特征提取部分，使用VGG-16來提取鋼材表面的圖像特征，并且通過特征圖的融合來減少特征圖中結(jié)構(gòu)信息的減少；在檢測網(wǎng)絡(luò)階段，通過級聯(lián)2個(gè)IOU閾值不同的檢測網(wǎng)絡(luò)進(jìn)行目標(biāo)的分類和定位，以提高檢測精度。FF R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 FF R-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 FF R-CNN network structure

2.1 特征融合

VGG-16由卷積層、池化層和全連接層組成，用于提取圖像特征。距離網(wǎng)絡(luò)輸入部分較近的特征圖稱為低層特征圖，尺寸較大，結(jié)構(gòu)信息準(zhǔn)確，全局語義信息較弱，這樣的特征有利于目標(biāo)的定位，但不利于目標(biāo)的分類。通過卷積與池化操作，主干網(wǎng)絡(luò)逐漸減小了特征圖的大小，這意味著通過卷積和池化獲得的特征圖的接受度也變得越來越大。距離網(wǎng)絡(luò)輸出部分越近的特征圖稱為高層特征圖，尺寸較小，語義信息豐富，但結(jié)構(gòu)信息有所減少，這樣的特征圖有利于目標(biāo)的分類，但是不利于目標(biāo)的定位。所以需要特征融合來保證特征圖中的結(jié)構(gòu)信息不被減少，使得分類任務(wù)與定位任務(wù)均能有更高的精度。

如圖3所示，本文提出的FF R-CNN算法模型結(jié)構(gòu)選擇將Block3的conv3-256-1和conv3-256-3融合，融合為新的conv3-512-4；將Block5的conv3-512-1和conv3-512-3融合，融合為新的conv3-1024-4.通過特征融合，得到了同時(shí)具有低層結(jié)構(gòu)信息和高層語義信息的特征圖。表1為VGG-16與改進(jìn)后主干網(wǎng)絡(luò)的結(jié)構(gòu)對比。

表1 VGG-16與改進(jìn)后的主干網(wǎng)絡(luò)結(jié)構(gòu)對比Table 1 Comparison of VGG-16 and improved backbone network structure

2.2 級聯(lián)檢測網(wǎng)絡(luò)

FF R-CNN在Faster R-CNN的檢測網(wǎng)絡(luò)后增加了一個(gè)IOU閾值更高的檢測網(wǎng)絡(luò)，并且將2個(gè)檢測網(wǎng)絡(luò)進(jìn)行級聯(lián)。檢測網(wǎng)絡(luò)以固定的IOU閾值訓(xùn)練后獲得的邊界框比輸入建議框更準(zhǔn)確，即邊界框的IOU高于原始輸入?yún)^(qū)域建議框[26]。同時(shí)，如果輸入?yún)^(qū)域建議框的IOU接近于檢測網(wǎng)絡(luò)訓(xùn)練時(shí)設(shè)置的閾值，則模型對于目標(biāo)的檢測精度會更高。但是，在訓(xùn)練過程中盲目提高IOU閾值將導(dǎo)致負(fù)樣本過多。該模型很難正確學(xué)習(xí)到真實(shí)的目標(biāo)特征，并且容易發(fā)生擬合不足的問題。因此，盲目提高IOU閾值對模型的檢測效果有負(fù)影響。

因此，F(xiàn)F R-CNN在檢測網(wǎng)絡(luò)部分級聯(lián)兩個(gè)檢測網(wǎng)絡(luò)D1-net和D2-net，并為D1-net和D2-net設(shè)置不同的IOU閾值。D1-net的IOU閾值為0.5，D2-net的IOU閾值為0.6.每個(gè)檢測網(wǎng)絡(luò)都是基于各自IOU閾值的正負(fù)樣本訓(xùn)練得到。

FF R-CNN通過特征提取網(wǎng)絡(luò)提取到特征圖，之后由RPN網(wǎng)絡(luò)生成區(qū)域建議框，將這些區(qū)域建議框與特征圖結(jié)合送入IOU閾值為0.5的分類回歸網(wǎng)絡(luò)，得到經(jīng)過修正的邊界框，再將這些邊界框送入IOU閾值為0.6的分類回歸網(wǎng)絡(luò)，得到更精確的邊界框。

3 實(shí)驗(yàn)內(nèi)容

為了驗(yàn)證FF R-CNN的有效性，本文在NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集上進(jìn)行了測試。

3.1 NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集

NEU鋼材表面缺陷樣本數(shù)據(jù)集是缺陷分類數(shù)據(jù)集，包括裂紋、夾雜物、斑塊、凹面、軋制氧化皮和劃痕6種缺陷。每個(gè)缺陷類別包含300個(gè)圖像。6種缺陷圖像的示例如圖4所示。

NEU表面缺陷數(shù)據(jù)集只能完成缺陷分類任務(wù)。為了使NEU表面缺陷數(shù)據(jù)集能夠執(zhí)行缺陷檢測任務(wù)，NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集提供了XML文件的注釋。根據(jù)XML文件的注釋，分類數(shù)據(jù)集將可以作為檢測數(shù)據(jù)集使用。NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集準(zhǔn)確注釋圖像中每個(gè)缺陷的類型以及缺陷的左上角和右下角坐標(biāo)，缺陷的邊界框由左上角坐標(biāo)和右下角坐標(biāo)確定。

3.2 NEU-DET的缺陷檢測

本文在NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集上進(jìn)行鋼材表面缺陷檢測實(shí)驗(yàn)。本文將NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集分為訓(xùn)練集和測試集，訓(xùn)練集包含1 800張圖像，測試集包含180張圖像，在測試集中，6類缺陷均有30張圖像。利用訓(xùn)練集，分別訓(xùn)練了Faster R-CNN，僅在主干網(wǎng)絡(luò)部分進(jìn)行特征融合的Faster R-CNN和FF R-CNN，并且在測試集上對3個(gè)網(wǎng)絡(luò)的性能進(jìn)行了驗(yàn)證。本文通過平均準(zhǔn)確度(PA)，評估了檢測實(shí)驗(yàn)的結(jié)果，平均準(zhǔn)確度能夠綜合考慮準(zhǔn)確度(precision，P)和召回率(recall，R)兩個(gè)重要檢測指標(biāo)。

(1)

(2)

(3)

式中：PT，PF和NF分別代表真陽性，假陽性和假陰性的數(shù)量。計(jì)算平均PA(PA,m)以評估整體性能，其計(jì)算公式為：

(4)

其中，Nc為檢測缺陷的類別數(shù)。

實(shí)驗(yàn)的硬件環(huán)境為Intel Xeon E5-2620 CPU，NVIDIA TITAN Xp GPU，12GB顯存。軟件環(huán)境為CentOS 7，MX-NET架構(gòu)，算法實(shí)現(xiàn)編程語言為Python.訓(xùn)練時(shí)設(shè)置學(xué)習(xí)率(Learning rate)為0.001，訓(xùn)練迭代次數(shù)為50次，Batch size取128.

圖4 6種類型的缺陷圖像示例Fig.4 Examples of six types of defect image

3.3 消融實(shí)驗(yàn)

對Faster R-CNN、特征融合的Faster R-CNN與FF R-CNN做消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。Faster R-CNN的PA,m為84.06%，特征融合的Faster R-CNN的PA,m為95.92%，F(xiàn)F R-CNN的PA,m為98.29%.

表2 消融實(shí)驗(yàn)Table 2 Ablation test

FF R-CNN提出的改進(jìn)(特征融合和級聯(lián)檢測網(wǎng)絡(luò))均能使檢測精度有明顯的提高。通過特征融合，主干網(wǎng)絡(luò)提取的特征圖同時(shí)具有低層結(jié)構(gòu)信息和高層語義信息，特征圖包含了更多的圖像特征，使得PA,m提高了11.86%.通過級聯(lián)檢測網(wǎng)絡(luò)，第二個(gè)檢測網(wǎng)絡(luò)的IOU有所提高，因此檢測精度更高，PA,m提高了2.37%.NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集中的6類缺陷檢測結(jié)果如圖5所示。

圖5 六類缺陷的檢測結(jié)果Fig.5 Test results of six kinds of defect

由圖5可以看出，本文提出的FF R-CNN與特征融合后的Faster R-CNN檢測效果均好于Faster R-CNN.其中，在裂紋、夾雜物、斑塊、凹面與軋制氧化皮的缺陷檢測中，F(xiàn)F R-CNN的檢測精度明顯高于Faster R-CNN.FF R-CNN與特征融合后的Faster R-CNN檢測效果對比，在裂紋、夾雜物與斑塊缺陷檢測中，F(xiàn)F R-CNN的效果更好。在劃痕檢測中，特征融合后的Faster R-CNN的檢測效果略優(yōu)于FF R-CNN.

3.3.1主干網(wǎng)絡(luò)

對VGG-16與ResNet-50做對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

表3 主干網(wǎng)絡(luò)Table 3 Detection results of different backbone networks

VGG-16的檢測精度為84.06%，優(yōu)于ResNet-50的81.86%.VGG-16每秒可處理12.23張缺陷圖像，比ResNet-50更好?？紤]到檢測速度，本文選擇VGG-16作為Faster R-CNN的主干網(wǎng)絡(luò)。

3.3.2特征融合

確定了VGG-16作為主干網(wǎng)絡(luò)，為了驗(yàn)證特征融合能夠提高檢測精度，并確定最優(yōu)的特征融合方案。本文實(shí)驗(yàn)了多種特征融合方式，實(shí)驗(yàn)結(jié)果如表4所示。

表4 特征融合檢測結(jié)果Table 4 Detection results of different feature fusion stratogios

策略A選擇將Block3中的conv3-256-1與conv3-256-3融合，Block4中的conv3-512-1與conv3-512-3融合，Block5中的conv3-512-1與conv3-512-3融合，PA,m可以提高8.12%；策略D選擇將Block3中的conv3-256-1與conv3-256-3融合，Block4中的conv3-512-1與conv3-512-3融合，PA,m可以提高10.59%.策略C選擇將Block4中的conv3-512-1與conv3-512-3融合，Block5中的conv3-512-1與conv3-512-3融合，PA,m可以提高10.92%.將Block3的conv3-256-1與conv3-256-3融合，Block5的conv3-512-1與conv3-512-3融合的策略B具有最佳的檢測精度，PA,m可以提高11.86%.上述融合方法檢測速度差異較小，Block3和Block5的特征融合策略的檢測精度明顯優(yōu)于其他融合策略，可以實(shí)現(xiàn)最佳檢測。

3.3.3級聯(lián)檢測網(wǎng)絡(luò)

本文在進(jìn)行特征融合后的Faster R-CNN后級聯(lián)一個(gè)IOU閾值為0.6檢測網(wǎng)絡(luò)，構(gòu)成了FF R-CNN.對經(jīng)過訓(xùn)練后的FF R-CNN用測試集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表5.與Faster R-CNN相比，F(xiàn)F R-CNN的檢測精度得到了極大的提高。Faster R-CNN的PA,m為84.06%.通過特征融合，本文將PA,m提高了11.86%，提高至95.92%.加入級聯(lián)檢測網(wǎng)絡(luò)后，本文的FF R-CNN將PA，m提高了2.37%，達(dá)到98.29%.

表5 級聯(lián)IOU閾值檢測結(jié)果Table 5 Detection results of cascading IOU threshold

表5表明，通過級聯(lián)不同IOU閾值的檢測網(wǎng)絡(luò)，在一定程度上提高FF R-CNN算法模型在NEU-DET數(shù)據(jù)集上的[4]檢測精度。策略A將IOU閾值為0.5的檢測網(wǎng)絡(luò)與IOU閾值為0.7的檢測網(wǎng)絡(luò)級聯(lián)，可以將PA,m提升1.71%；策略C將IOU閾值為0.5的檢測網(wǎng)絡(luò)與IOU閾值為0.6的檢測網(wǎng)絡(luò)級聯(lián)，可以將PA,m提升2.37%；策略B將IOU閾值為0.6的檢測網(wǎng)絡(luò)與IOU閾值為0.7的檢測網(wǎng)絡(luò)級聯(lián)，可以將PA,m提升2.06%.通過對比可知策略C的檢測精度優(yōu)于其他級聯(lián)策略。

檢測網(wǎng)絡(luò)的級聯(lián)，增加了算法模型的復(fù)雜度，使得計(jì)算量增加，檢測速度下降，但是下降的程度并不明顯。在檢測速度沒有明顯下降的情況下，F(xiàn)F R-CNN的檢測精度提高了2.37%.通過實(shí)驗(yàn)結(jié)果可知，本文所提出的FF R-CNN可以大大提高NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集的檢測精度。部分檢測實(shí)例如圖6所示。

圖6 部分檢測實(shí)例Fig.6 Test example

3.3.4與其他模型的比較

將本文的算法模型與Faster R-CNN，SSD，YOLOV3模型進(jìn)行對比，結(jié)果如表6所示。從表中可知，F(xiàn)aster R-CNN與SSD，YOLOV3對比，在NEU-DET鋼材表面缺陷樣本數(shù)據(jù)集上，F(xiàn)aster R-CNN的檢測精度為84.06%，要優(yōu)于SSD的80.73%和YOLOV3的82.67%，但是SSD，YOLOV3的檢測速度更快。本文提出的FF R-CNN算法模型在檢測精度上明顯優(yōu)于SSD與YOLOV3，這表明本文提出的方法更適合應(yīng)用在實(shí)際生產(chǎn)過程中。

表6 不同模型檢測結(jié)果對比Table 6 Comparison of test results of different models

4 結(jié)論

針對鋼材表面缺陷檢測的檢測精度低的問題，本文提出了一種高檢測精度的鋼材表面缺陷檢測算法，稱為特征融合和級聯(lián)檢測網(wǎng)絡(luò)的Faster R-CNN(FF R-CNN).在FF R-CNN中，對VGG-16特征提取網(wǎng)絡(luò)進(jìn)行了特征融合。通過實(shí)驗(yàn)對比，選擇對Block3和Block5進(jìn)行特征融合，使其對鋼材表面缺陷具有更好的檢測效果。另外，F(xiàn)F R-CNN在主干網(wǎng)絡(luò)之后級聯(lián)2個(gè)IOU閾值不同的檢測網(wǎng)絡(luò)，進(jìn)一步提高算法的檢測精度。在公共數(shù)據(jù)集NEU-DET上進(jìn)行的實(shí)驗(yàn)表明，F(xiàn)F R-CNN在檢測精度方面具有明顯的優(yōu)勢，該算法將檢測精度從Faster R-CNN算法的84.06%提高到98.29%，檢測速度達(dá)到12.26 f/s，能夠滿足智能制造的生產(chǎn)需求，并且該算法模型還具有一定的泛化能力。雖然本文檢測算法模型能夠較好地完成鋼材表面缺陷的檢測任務(wù)，但是在檢測速度上仍有提升的空間，接下來將對檢測速度的提升做進(jìn)一步的工作。