基于改進(jìn)YOLOv3算法的連鑄坯表面缺陷檢測(cè)*

王睿澤，孫鐵強(qiáng),b，宋 超,b，肖鵬程

(華北理工大學(xué)a.人工智能學(xué)院；b.河北省工業(yè)智能感知重點(diǎn)實(shí)驗(yàn)室；c.冶金與能源學(xué)院，唐山 063210)

0 引言

連鑄坯生產(chǎn)過(guò)程中因?yàn)楣に嚨脑颍浔砻鏁?huì)產(chǎn)生裂紋等缺陷，對(duì)后續(xù)的軋制帶來(lái)嚴(yán)重的質(zhì)量影響[1]。連鑄坯表面缺陷中約有3%是常見(jiàn)的表面缺陷。雖然比例很小，但由此給企業(yè)造成的年經(jīng)濟(jì)損失達(dá)到100多萬(wàn)元以上[2]。因此，檢測(cè)鑄坯表面缺陷，及時(shí)發(fā)現(xiàn)有表面缺陷的連鑄坯，防止其進(jìn)入后續(xù)的軋制，從而避免經(jīng)濟(jì)損失。國(guó)內(nèi)鋼鐵企業(yè)連鑄坯表面質(zhì)量檢測(cè)大多以人工目測(cè)抽檢測(cè)的方法，該方法單純用人眼去檢測(cè)鑄坯表面缺陷，工作環(huán)境惡劣，勞動(dòng)強(qiáng)度大，用人眼長(zhǎng)時(shí)間去檢測(cè)容易疲勞，發(fā)生漏檢、誤檢的幾率大，并且實(shí)時(shí)性差，不能滿足在線高速的生產(chǎn)節(jié)奏。因此，研究一種實(shí)時(shí)高效的連鑄坯表面缺陷檢測(cè)方法具有十分重要的意義。

目前，針對(duì)連鑄坯表面缺陷檢測(cè)問(wèn)題，楊娟等[3]提出了基于SVDD和多分辨率的連鑄坯表面缺陷檢測(cè)方法，缺陷樣本識(shí)別率達(dá)到91.3%。吳家偉等[4]采用Adaboost算法進(jìn)行改進(jìn)對(duì)連鑄坯表面缺陷識(shí)別率達(dá)到92.5%。徐科等[5]提出了基于Contourlet變換的連鑄坯表面缺陷識(shí)別，對(duì)裂紋、氧化鐵皮、光照不均和渣痕四類缺陷識(shí)別率達(dá)到94.35%。胡嘉成等[6]使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)寶山鋼鐵連鑄坯表面缺陷進(jìn)行檢測(cè)，對(duì)裂紋的檢測(cè)率達(dá)到93%。上述的檢測(cè)方法都能對(duì)連鑄坯表面缺陷一定程度的檢測(cè)與識(shí)別，但存在訓(xùn)練的樣本數(shù)量低，算法泛化能力低，檢測(cè)時(shí)間長(zhǎng)等問(wèn)題。

隨著深度學(xué)習(xí)的興起，基于深度學(xué)習(xí)的表面缺陷檢測(cè)技術(shù)已應(yīng)用于工業(yè)領(lǐng)域的各行各業(yè)。目前，深度學(xué)習(xí)目標(biāo)檢測(cè)算法分為兩類：一類是Two-Stage目標(biāo)檢測(cè)算法，將目標(biāo)檢測(cè)問(wèn)題分為兩個(gè)階段。首先，選擇候選區(qū)域，然后對(duì)候選區(qū)域進(jìn)行分類和定位。典型算法包括RCNN[7]、Fast R-CNN[8]、Faster R-CNN[9]、Mask R-CNN[10]等。二階算法精度高，但檢測(cè)速度慢。另一種是One-Stage目標(biāo)檢測(cè)算法，它只包括一個(gè)階段用于對(duì)目標(biāo)進(jìn)行分類和定位，沒(méi)有候選區(qū)域的選擇，可以直接獲得檢測(cè)結(jié)果。典型的算法是YOLO[11]、SSD[12]。

本文使用深度學(xué)習(xí)技術(shù)，提出了一種改進(jìn)YOLOv3[13]連鑄坯表面缺陷檢測(cè)方法。對(duì)YOLOv3算法輕量化改進(jìn)，使用MobileNetv2[14]輕量級(jí)網(wǎng)絡(luò)代替原有Darknet-53特征提取網(wǎng)絡(luò)，減少網(wǎng)絡(luò)參數(shù)；使用Mate-ACON激活函數(shù)[15]替換Leaky-ReLU函數(shù)，自適應(yīng)的選擇是否激活神經(jīng)元；引入CIoU邊界框回歸損失函數(shù)[16]提高模型定位的準(zhǔn)確性，加速模型收斂。本文總共分為3部分：表面缺陷系統(tǒng)搭建以及數(shù)據(jù)集制作，網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)，實(shí)驗(yàn)及結(jié)果分析。

1 表面缺陷檢測(cè)系統(tǒng)搭建及數(shù)據(jù)集制作

1.1 數(shù)據(jù)集制作

本文采集的連鑄坯表面缺陷如圖1所示。

(a) 面部裂紋 (b) 角部劃痕 (c) 面部劃痕圖1 表面缺陷

劃痕：劃痕產(chǎn)生原因是由于輥縫內(nèi)進(jìn)入保護(hù)渣，導(dǎo)致輥?zhàn)硬晦D(zhuǎn)，拉坯時(shí)不轉(zhuǎn)的輥?zhàn)幽サ借T坯上，產(chǎn)生的劃痕。

裂紋：裂紋產(chǎn)生原因是連鑄坯在結(jié)晶器內(nèi)受到各種應(yīng)力所致，包括熱應(yīng)力、鋼水靜壓力、摩擦力和由于款在面收縮量差異導(dǎo)致的拉伸力。

深度學(xué)習(xí)目標(biāo)檢測(cè)算法檢測(cè)性能的好壞，很大程度取決于數(shù)據(jù)集質(zhì)量，要得到好的檢測(cè)結(jié)果，首先采集的表面缺陷圖像清晰，表面缺陷輪廓要明顯，缺陷也要達(dá)到一定的數(shù)量。通過(guò)大量的圖片采集，從中篩選出有缺陷的圖像制作訓(xùn)練集。缺陷檢測(cè)系統(tǒng)是將圖像裁剪成416×416分辨率大小的圖像塊依次輸入到Y(jié)OLOv3檢測(cè)網(wǎng)絡(luò)中。

通過(guò)圖像采集，最終得到3075張缺陷圖像，采集的缺陷圖像類型分為3類，面部缺陷裂紋、劃痕和角部劃痕缺陷。其中，面部劃痕圖像335張，面部裂紋1676張，角部劃痕圖像1064張。

數(shù)據(jù)集的標(biāo)注使用labelImg軟件，對(duì)圖片進(jìn)行人工標(biāo)注，將圖片的長(zhǎng)寬和深度以及缺陷的類型和缺陷位置信息存入到.xml文件中。對(duì)數(shù)據(jù)集中3075張圖片分為訓(xùn)練集和測(cè)試集，按照4:1的比例，訓(xùn)練集圖片2460張，測(cè)試集圖片615張。最后利用格式轉(zhuǎn)換程序生成有圖片路徑、名稱、缺陷框標(biāo)簽和位置的.txt訓(xùn)練文件。

1.2 系統(tǒng)檢測(cè)流程

連鑄坯表面缺陷系統(tǒng)工作流程，如圖2所示。熱金屬檢測(cè)儀識(shí)別輥道上的鑄坯，發(fā)送信號(hào)給PLC，PLC檢測(cè)到信號(hào)后，控制相機(jī)拍照。

圖2 檢測(cè)流程圖

相機(jī)采集的分辨率為1920×1200，YOLOv3網(wǎng)絡(luò)模型輸入為416×416大小，因?yàn)楸砻嫒毕葺^小，所拍攝到的缺陷在整個(gè)圖像所占的面積較小，如果將圖像經(jīng)過(guò)壓縮后，表面缺陷信息很容易過(guò)小，而丟失掉特征信息，所以本文將分辨率1920×1200進(jìn)行擴(kuò)張，將圖像周圍填充0像素，擴(kuò)大分辨率2080×1248。然后對(duì)圖像進(jìn)行分割，分割成15個(gè)416×416分辨率大小的圖塊，依次送到Y(jié)OLOv3網(wǎng)絡(luò)進(jìn)行檢測(cè)。

連鑄坯表面缺陷識(shí)別程序?yàn)榱丝旖蓍_(kāi)發(fā)，使用Python開(kāi)發(fā)語(yǔ)言，YOLOv3算法使用pytorch框架，圖像分割和拼接使用Python的OpenCV和Numpy庫(kù)。該程序使用生產(chǎn)者消費(fèi)者模式，分為4個(gè)進(jìn)程，每個(gè)進(jìn)程分別是圖像采集程序、圖像分割程序、YOLOv3識(shí)別程序和圖像拼接程序，每個(gè)進(jìn)程相互獨(dú)立，兩個(gè)進(jìn)程之間組成生產(chǎn)者消費(fèi)者模式，解決代碼之間的耦合程度。進(jìn)程之間通過(guò)Queue隊(duì)列通信。圖像采集程序使用Basler相機(jī)提供的SDK開(kāi)發(fā)工具，通過(guò)使用pypylon庫(kù)進(jìn)行編程對(duì)相機(jī)控制，采集的圖像進(jìn)程將圖像存儲(chǔ)在內(nèi)存中，通過(guò)隊(duì)列傳輸圖像給下一進(jìn)程使用。

1.3 硬件系統(tǒng)

視覺(jué)采集系統(tǒng)采集圖像質(zhì)量的好壞直接影響目標(biāo)檢測(cè)算法的檢測(cè)精度，針對(duì)連鑄坯表面缺陷檢測(cè)搭建了如圖3所示視覺(jué)采集裝置。硬件型號(hào)如表1所示。

圖3 視覺(jué)檢測(cè)裝置

表1 硬件型號(hào)

2 YOLOv3網(wǎng)絡(luò)改進(jìn)

在本文連鑄坯檢測(cè)任務(wù)中，鑄坯移動(dòng)速度為0.5 m/s，每秒鐘相機(jī)需要采集2張圖像，每張圖像分割成15個(gè)圖像，每秒鐘YOLOv3檢測(cè)算法要處理30張圖像。這要求YOLOv3算法的檢測(cè)速度上要提高來(lái)滿足檢測(cè)任務(wù)。為了提高連鑄坯表面缺陷檢測(cè)速度，同時(shí)保持精度，使YOLOv3模型適應(yīng)鑄坯表面的缺陷檢測(cè)，本文對(duì)算法進(jìn)行了3點(diǎn)改進(jìn)。

2.1 使用MobileNetv2為主干網(wǎng)絡(luò)

YOLOv3使用Darknet-53作為特征提取網(wǎng)絡(luò)，因?yàn)榫W(wǎng)絡(luò)層數(shù)過(guò)多，結(jié)構(gòu)復(fù)雜，導(dǎo)致參數(shù)過(guò)多，推理時(shí)間過(guò)長(zhǎng)。MobileNetv2是基于MobileNetv1版本的改進(jìn)。MobileNet是一種輕量化的網(wǎng)絡(luò)，為了減少網(wǎng)絡(luò)參數(shù)，提出了深度可分離卷積(depthwise separable convolution)。深度可分離卷積是將傳統(tǒng)卷積分為Depthwise卷積和Pointwise卷積。深度可分離卷積將標(biāo)準(zhǔn)卷積分解成DK×DK的深度卷積和一個(gè)1×1的逐點(diǎn)卷積。假設(shè)用DK×DK表示卷積核尺寸，用DF×DF表示輸入特征圖的大小，特征圖有M個(gè)通道，輸出特征圖的通道數(shù)N，當(dāng)步長(zhǎng)為1且存在padding時(shí)，傳統(tǒng)卷積計(jì)算量如式(1)所示。

F1=DK×DK×M×N×DF×DF

(1)

而深度可分離卷積計(jì)算量如式(2)所示。

F2=DK×DK×M×DF×DF+M×N×DF×DF

(2)

深度卷積與標(biāo)準(zhǔn)卷積部分的計(jì)算量如式(3)所示。

(3)

MobileNetv2在此基礎(chǔ)上進(jìn)行改進(jìn)，根據(jù)Resnet的殘差網(wǎng)絡(luò)，設(shè)計(jì)了逆殘差結(jié)構(gòu)(inverted residuals)，先用1×1的卷積提高通道數(shù)，再通過(guò)深度卷積操作，最后再用1×1的卷積將通道數(shù)降低到輸入大小。先進(jìn)行擴(kuò)張，再進(jìn)行壓縮。圖4是逆殘差結(jié)構(gòu)。

圖4 逆殘差結(jié)構(gòu)

2.2 引入CIoU邊界框回歸損失函數(shù)

YOLOv3在進(jìn)行邊界框回歸計(jì)算是直接根據(jù)預(yù)測(cè)框和真實(shí)框的中心點(diǎn)坐標(biāo)以及寬高進(jìn)行計(jì)算。使用IoU(intersection over unio)作為損失函數(shù)。

IoU是目標(biāo)檢測(cè)中重要的一項(xiàng)指標(biāo)，其可以反映預(yù)測(cè)檢測(cè)框與真實(shí)檢測(cè)框的檢測(cè)效果。IoU的計(jì)算表達(dá)式為：

(4)

式中，A為目標(biāo)的預(yù)測(cè)框；B為目標(biāo)的真實(shí)框。

本文采用CIoU邊界回歸損失函數(shù)，該損失函數(shù)考慮了檢測(cè)框的重疊面積以及檢測(cè)框中心點(diǎn)的距離，有效的解決了真實(shí)框與檢測(cè)不相交時(shí)，導(dǎo)致的梯度消失的問(wèn)題。CIoU損失函數(shù)計(jì)算表達(dá)式如式(5)～式(7)所示。

(5)

(6)

(7)

式中，b和bgt分別為預(yù)測(cè)框和真實(shí)框的中心點(diǎn)的歐式距離；c為能夠同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小閉包區(qū)域的對(duì)角線距離；υ為衡量檢測(cè)框和真實(shí)框的長(zhǎng)寬比相似性的參數(shù)；α為權(quán)重參數(shù)。

2.3 替換激活函數(shù)

YOLOv3使用Leaky-ReLU激活函數(shù)，本文使用Meta-ACON激活函數(shù)代替YOLOv3中部分使用的激活函數(shù)。

Meta-ACON激活函數(shù)可以自適應(yīng)的選擇是否激活神經(jīng)元，表達(dá)式如式(8)所示。

fACON(x)=(p1-p2)x·σ[β(p1-p2)x]+p2x

(8)

式中，p1、p2為兩個(gè)可學(xué)習(xí)參數(shù)來(lái)自適應(yīng)調(diào)整；σ為sigmoid函數(shù)。ACON激活函數(shù)通過(guò)β的值來(lái)控制是否激活神經(jīng)元，因此需要為ACON設(shè)計(jì)一個(gè)計(jì)算β的自適應(yīng)函數(shù)，這里選擇channel-wise，首先分別對(duì)H、W維度求均值，然后通過(guò)兩個(gè)卷積層，使得每一個(gè)通道所有像素共享一個(gè)權(quán)重，表達(dá)式為：

(9)

式中，σ為sigmoid激活函數(shù)；W1∈RC×C/r卷積操作，C為輸入的維度；C/r為輸出的維度；W2∈RC/r×C卷積操作，C/r為輸入的維度；C為輸出的維度；r為縮減率。

2.4 改進(jìn)后的網(wǎng)絡(luò)總結(jié)構(gòu)

MobileNetv2作為特征提取網(wǎng)絡(luò)輸出3個(gè)分支，并在特征金字塔部分使用了深度可分離卷積降低網(wǎng)絡(luò)參數(shù)，在CBL標(biāo)準(zhǔn)卷積批標(biāo)準(zhǔn)化后使用了Mate-ACON激活函數(shù)。改進(jìn)的輕量化YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)在Ubuntu 18.04操作系統(tǒng)下完成。計(jì)算機(jī)CPU為Intel Xeon Gold 5218；內(nèi)存為192 GB；GPU為兩塊RTX2080Ti顯卡，其顯存為11 G；使用Python3.8；深度學(xué)習(xí)框架為Pytorch1.9，并安裝cuda10.2實(shí)現(xiàn)加速計(jì)算。輔助工具有OpenCV、Numpy、Matplotlib等。

3.2 模型訓(xùn)練參數(shù)配置

在模型訓(xùn)練中，網(wǎng)絡(luò)輸入大小為416×416。使用Adam優(yōu)化算法，開(kāi)啟Mosaic數(shù)據(jù)增強(qiáng)和余弦退火衰減。將訓(xùn)練分為兩個(gè)階段。在第1階段，特征提取網(wǎng)絡(luò)被凍結(jié)以加快訓(xùn)練速度，第2個(gè)階段進(jìn)行整個(gè)網(wǎng)絡(luò)參數(shù)的調(diào)整，模型訓(xùn)練參數(shù)如表2所示。

表2 模型訓(xùn)練參數(shù)

3.3 評(píng)價(jià)指標(biāo)

文章通過(guò)計(jì)算測(cè)試樣本的平均精確率(average precision，AP)、平均精確率均值(mean average precision，mAP)、模型權(quán)重大小以及每秒檢測(cè)圖片的幀數(shù)(frames per second，F(xiàn)PS)對(duì)檢測(cè)算法的性能進(jìn)行對(duì)比。

(1)平均精確率AP。AP被定義為精度(Precision)和召回率(Recall)曲線下的面積，用來(lái)衡量數(shù)據(jù)集中一類的平均分類精確率。精度、召回率、AP的計(jì)算公式如式(10)～式(12)所示。

(10)

(11)

(12)

式中，TP(true positives)為測(cè)試集中正確檢測(cè)到缺陷目標(biāo)的個(gè)數(shù)；FP(false positives)為測(cè)試集中模型誤檢測(cè)的目標(biāo)的個(gè)數(shù)；FN(false negatives)為檢測(cè)模型漏檢測(cè)的目標(biāo)個(gè)數(shù)。

(2)平均精確率均值mAP。mAP是指對(duì)于多分類問(wèn)題，需要對(duì)N個(gè)類別的AP求均值，用來(lái)衡量分類器對(duì)所有類別的分類精度。它是目標(biāo)檢測(cè)算法最重要的指標(biāo)，mAP值越大算法性能越好，識(shí)別精度越高。計(jì)算表達(dá)式為：

(13)

(3)幀率FPS。FPS是每秒鐘檢測(cè)圖片的幀數(shù)，用來(lái)衡量算法檢測(cè)圖像的速度快慢。計(jì)算表達(dá)式為：

(14)

式中，S為檢測(cè)總時(shí)間(以秒為單位)；F為該S個(gè)單位時(shí)間內(nèi)系統(tǒng)檢測(cè)的圖片數(shù)量。

3.4 實(shí)驗(yàn)結(jié)果與分析

訓(xùn)練時(shí)設(shè)置迭代次數(shù)300次，分為兩個(gè)階段訓(xùn)練，損失值Loss隨迭代次數(shù)變化如圖6所示。

圖6 損失函數(shù)圖

可以看出，損失函數(shù)有兩次快速下降，迭代次數(shù)50次之前，Loss函數(shù)迅速下降，當(dāng)150次后，對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，Loss函數(shù)又有一次明顯下降，迭代250以后Loss函數(shù)基本穩(wěn)定。

為了驗(yàn)證本文改進(jìn)后模型檢測(cè)效果，YOLOv3模型與改進(jìn)YOLOv3進(jìn)行性能對(duì)比。算法對(duì)比實(shí)驗(yàn)采用相同測(cè)試集，采用mAP和FPS兩項(xiàng)指標(biāo)對(duì)兩種檢測(cè)算法進(jìn)行性能對(duì)比。對(duì)比實(shí)驗(yàn)結(jié)果如表3所示。

表3 實(shí)驗(yàn)對(duì)比結(jié)果

實(shí)驗(yàn)證明，對(duì)YOLOv3輕量化改進(jìn)，使用MobileNetv2骨干網(wǎng)路，對(duì)特征金字塔部分使用深度可分離卷積，并優(yōu)化了卷積層的數(shù)量，算法的檢測(cè)速度有了明顯的提升。為了保證檢測(cè)精度，引入了CIoU損失函數(shù)和Meta-ACON激活函數(shù)。在檢測(cè)精度比原YOLOv3算法中下降了0.34%，但在檢測(cè)速度上提高了52 fps。模型訓(xùn)練權(quán)重大小29 M，滿足了連鑄坯表面的缺陷的檢測(cè)要求。

使用改進(jìn)的YOLOv3在測(cè)試集上檢測(cè)缺陷圖像，得到的檢測(cè)圖片效果如圖7所示。

圖7 缺陷圖片檢測(cè)效果

4 結(jié)論

本文搭建設(shè)計(jì)了連鑄坯表面缺陷檢測(cè)系統(tǒng)，由于采集的連鑄坯缺陷形貌占整個(gè)圖像的面積較小，為了提高識(shí)別精度，將采集的圖像分割成分辨率為416×416圖像塊送入到Y(jié)OLOv3模型識(shí)別。在實(shí)際的應(yīng)用當(dāng)中，針對(duì)算法檢測(cè)速度不能夠滿足連鑄坯表面缺陷檢測(cè)任務(wù)，提出了一種輕量化YOLOv3算法。使用MobileNetv2作為骨干網(wǎng)絡(luò)，優(yōu)化網(wǎng)絡(luò)參數(shù)，提高模型檢測(cè)速度；同時(shí)保證精度，引入了CIoU損失函數(shù)和Meta-ACON激活函數(shù)。在本文制作的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，在保證有較高的精度下，檢測(cè)速度提高了52 fps，滿足了當(dāng)前的連鑄坯表面缺陷檢測(cè)任務(wù)。