基于改進(jìn)YOLOv3的鋼卷端面缺陷檢測(cè)應(yīng)用研究

段聰昊，王西峰，姬麗娟，曹潤(rùn)寧

(1.機(jī)械科學(xué)研究總院集團(tuán)有限公司，北京 100044；2.機(jī)科發(fā)展科技股份有限公司，北京 100044）

0 引言

作為世界第一大產(chǎn)鋼國(guó)，中國(guó)鋼鐵工業(yè)保持著量的領(lǐng)先，然而在高附加值、高技術(shù)產(chǎn)品層面，仍與世界發(fā)達(dá)國(guó)家存在較大差距。帶鋼是高端鋼鐵工業(yè)的核心產(chǎn)品之一，是各個(gè)制造領(lǐng)域不可缺少的原材料，一般以鋼卷形式向下游企業(yè)供應(yīng)。在鋼卷生產(chǎn)加工過(guò)程中，由于生產(chǎn)環(huán)境、設(shè)備和加工工藝等因素的影響，會(huì)產(chǎn)生邊裂、邊損、毛刺、塔形邊等端部缺陷，可能導(dǎo)致下游產(chǎn)品降級(jí)改判、斷帶等嚴(yán)重問(wèn)題。

由于鋼卷端面紋理復(fù)雜，而缺陷面積占比例較小，導(dǎo)致傳統(tǒng)視覺(jué)算法以及一些深度學(xué)習(xí)算法在鋼卷端面缺陷檢測(cè)應(yīng)用上效果不佳。目前針對(duì)帶鋼表面缺陷檢測(cè)的研究很多，但是針對(duì)鋼卷端面缺陷檢測(cè)的研究甚少，難以滿足工業(yè)生產(chǎn)對(duì)鋼卷端面缺陷檢測(cè)的需求。

目前，深度學(xué)習(xí)已經(jīng)成為缺陷檢測(cè)的主流方法。應(yīng)用于缺陷檢測(cè)的算法主要分為兩類，一種是被稱為twostage的Faster R-CNN、Mask R-CNN等算法，另一類是被稱為one-stage的YOLO、SSD等算法。Two-stage算法將檢測(cè)任務(wù)分為兩個(gè)階段，第一階段受用RPN網(wǎng)絡(luò)生成目標(biāo)候選區(qū)域（即邊界框），第二階段進(jìn)行目標(biāo)的類別識(shí)別和區(qū)域精準(zhǔn)定位[1]。One-stage算法不需要單獨(dú)進(jìn)行目標(biāo)候選區(qū)域階段，直接通過(guò)網(wǎng)絡(luò)端到端的識(shí)別目標(biāo)類別和位置。相比較而言，one-stage算法檢測(cè)速度更快，更加符合工業(yè)生產(chǎn)需求，但是檢測(cè)精度稍遜于two-stage算法[2]。

本文采用改進(jìn)的YOLOv3算法應(yīng)用于鋼卷端面缺陷檢測(cè)，合并BN層參數(shù)到卷積層，加速模型運(yùn)算速率；使用GIOU度量損失定位邊界框，提高檢測(cè)精度，以工業(yè)生產(chǎn)中實(shí)時(shí)檢測(cè)的需求。

1 YOLOv3算法

1.1 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3的提取特征網(wǎng)絡(luò)從YOLOv2采用的darknet-19升級(jí)到darknet-53，加深網(wǎng)絡(luò)，減少在計(jì)算過(guò)程中信息損失量。同時(shí)，配合ResNet殘差網(wǎng)絡(luò)，使深層網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)更加良好[3]。Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)

1.2 邊界框預(yù)測(cè)

YOLOv3采用特征金字塔網(wǎng)絡(luò)提取不同尺度的特征圖，并對(duì)特征圖進(jìn)行檢測(cè)。特征圖淺層特征和上采樣深層特征進(jìn)行融合，生成三種不同尺寸的特征圖，分別檢測(cè)大、中、小三種尺寸的缺陷，提高檢測(cè)準(zhǔn)確率。其中，每種尺寸的特征圖生成3個(gè)Anchor Box，共9個(gè)Anchor Box。檢測(cè)時(shí)輸入圖片會(huì)被分割為S×S個(gè)網(wǎng)格，網(wǎng)格寬、高分別為cx、cy，網(wǎng)格輸出相對(duì)于Anchor Box的偏移中心點(diǎn)坐標(biāo)為(σ(tx)，σ(ty))，相對(duì)偏移寬、高為tw、th，預(yù)測(cè)框坐標(biāo)計(jì)算公式為：

圖2 預(yù)測(cè)框示意圖

其中預(yù)測(cè)框的寬、高、中心點(diǎn)坐標(biāo)值、預(yù)測(cè)框的置信度及分類信息作為損失函數(shù)計(jì)算參數(shù)。置信度為預(yù)測(cè)框與標(biāo)注框之間的交集與并集的比，即IoU，設(shè)置當(dāng)IoU>0.7時(shí)為正例，當(dāng)IoU<0.3時(shí)為反例。

1.3 損失函數(shù)

YOLOv3損失函數(shù)將分類與位置預(yù)測(cè)融合到一起，提升了算法計(jì)算速度，實(shí)現(xiàn)了端到端的檢測(cè)。損失函數(shù)具體式如下：

式中，S為圖像的劃分系數(shù)，B為每個(gè)網(wǎng)格中所預(yù)測(cè)的預(yù)測(cè)框個(gè)數(shù)，C為總分類數(shù)，p為類別概率，λcoord為權(quán)重系數(shù)，λnoobj為懲罰權(quán)重系數(shù)。

2 YOLOv3算法的改進(jìn)

2.1 合并Batch Normalization層到卷積層

Batch Normalization層一般在卷積層之后，能夠加速網(wǎng)絡(luò)收斂[4]，控制過(guò)擬合。雖然Batch Normalization層在訓(xùn)練時(shí)起到了積極的作用，但在網(wǎng)絡(luò)前向傳播計(jì)算時(shí)增加了運(yùn)算量，影響了算法性能，而且占用了更多的內(nèi)存或顯存。所以提出將Batch Normalization層參數(shù)合并到卷積層，在卷積層參數(shù)計(jì)算過(guò)程中同時(shí)計(jì)算Batch Normalization層的參數(shù)，提升前向傳播時(shí)的運(yùn)算速度。

首先使每一維數(shù)據(jù)成為標(biāo)準(zhǔn)的高斯分布，可使用如下公式：

為了使歸一化計(jì)算能夠在前向傳播中激活的非線性區(qū)域工作，需要對(duì)標(biāo)準(zhǔn)高斯分布再次進(jìn)行位移和縮放，設(shè)前一層輸出為h，則處理公式如下：

其中β、γ為需要學(xué)習(xí)的參數(shù)，?為常規(guī)參數(shù)。

綜合2016年和2017年水稻季可知，在不同水文年間歇灌溉相對(duì)傳統(tǒng)淹水灌溉均可提高水稻產(chǎn)量，提高比例在3.8%～5.5%之間。在減量施肥且兩次施肥的模式下不僅可以提高水稻產(chǎn)量，還可以降低化肥施用量，避免面源污染產(chǎn)生的潛在風(fēng)險(xiǎn)?？蔀槎Ａ饔蜻^(guò)量施肥問(wèn)題的解決提供一定的參考和理論支持。

具體到前向傳播中，卷積層的計(jì)算公式如下：

BN層詳細(xì)推導(dǎo)過(guò)程公式如下：

在BN層計(jì)算完成后，可以將BN層合并到卷積層，公式如下：

至此可以刪除BN層，將前向傳播中的參數(shù)更新為：

2.2 改進(jìn)IoU為GIoU

目標(biāo)檢測(cè)的主要任務(wù)之一是對(duì)目標(biāo)進(jìn)行定位，通常我們使用邊界框來(lái)表示它。衡量目標(biāo)檢測(cè)定位性能的主要指標(biāo)是IoU[5]，即交并比。最初使用、等損失函數(shù)優(yōu)化定位結(jié)果，但是這類損失函數(shù)度量的定位精準(zhǔn)不能總是很好的反映實(shí)際情況，如圖3所示。

圖3 損失函數(shù)失效示意圖

圖3(a)中，部分距離相等但是IoU和GIoU不相等；圖3(b)中，部分距離相等但是IoU和GIoU不相等。因此，直接選擇使用IoU度量目標(biāo)定位損失。

IoU計(jì)算公式為：

損失函數(shù)定為：

但是IoU也存在出現(xiàn)兩個(gè)問(wèn)題：

1）如果兩個(gè)框沒(méi)有相交，則IoU=0，此時(shí)無(wú)法反映預(yù)測(cè)框與真實(shí)框的距離，并且損失函數(shù)無(wú)法進(jìn)行梯度回傳，無(wú)法通過(guò)梯度下降進(jìn)行訓(xùn)練。

2）IoU無(wú)法精準(zhǔn)反映兩個(gè)框的重合度大小。如圖4所示。

圖4 相同IoU不同定位效果示意圖

圖4中三種情況的IoU均為0.33，但是從左到右定位效果越來(lái)越差。針對(duì)以上兩個(gè)問(wèn)題，Hamid Rezatofighi[6]等人提出了使用GIoU作為新的指標(biāo)。GIoU計(jì)算公式為：

式中C為包圍A、B的最小同類形狀。損失函數(shù)變?yōu)椋?/p>

GIoU繼承了IoU的尺度不變性，與IoU只關(guān)注重合區(qū)域不同，GIoU不僅關(guān)注重合區(qū)域，還關(guān)注了非重合區(qū)域，可以更好的反映預(yù)測(cè)框與真實(shí)框的重合程度。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)搭建

模型訓(xùn)練環(huán)境為Windows10系統(tǒng)。CPU為AMD R7 4800H；GPU為NVIDIA GeForce RTX 2060。為系統(tǒng)配置CUDA 10.0以及CUDNNv7.6.4，提高GPU運(yùn)算性能。

3.2 數(shù)據(jù)集

數(shù)據(jù)集來(lái)自于現(xiàn)場(chǎng)采集圖片，圖片數(shù)量為1000張。采集圖片完成后對(duì)圖片進(jìn)行分割，實(shí)驗(yàn)中發(fā)現(xiàn)YOLOv3對(duì)整體大圖學(xué)習(xí)效果一般，但是分割為小塊矩形圖片之后，學(xué)習(xí)效果會(huì)提升。將分割后的圖片以9∶1的比例隨機(jī)分為訓(xùn)練集和測(cè)試集。數(shù)據(jù)類圖如圖5所示。

圖5 數(shù)據(jù)集圖像

3.3 結(jié)果分析

模型訓(xùn)練完成后，與未改進(jìn)的原模型進(jìn)行對(duì)比。

通過(guò)合并Batch Normalization層到卷積層，提高了模型收斂速度，實(shí)時(shí)檢測(cè)速度提升了約10.8%。實(shí)驗(yàn)結(jié)果如表1所示。

表1 fps對(duì)比圖

通過(guò)改進(jìn)IoU為GIoU后，檢測(cè)精度有一定的提升，mAP提升了6.89%，結(jié)果如表2所示。

表2 mAP對(duì)比圖

算法檢測(cè)結(jié)果對(duì)比如圖6所示。

圖6 算法檢測(cè)效果對(duì)比圖

對(duì)比圖中原始YOLOv3算法和改進(jìn)后的YOLOv3算法檢測(cè)結(jié)果，可以看出改進(jìn)后的YOLOv3算法在一些較小的缺陷檢測(cè)效果上優(yōu)于原始YOLOv3算法，提高了檢測(cè)準(zhǔn)確率，降低了漏檢率。

原始YOLOv3在檢測(cè)速度上優(yōu)于Faster R-cnn等two-stage算法[7]，但是檢測(cè)精度稍遜于后者。本文改進(jìn)原算法中預(yù)測(cè)框的回歸損失，用GIoU代替IoU，提升預(yù)測(cè)框的檢索準(zhǔn)確度，提高了對(duì)較小型缺陷的檢測(cè)率。YOLOv3檢測(cè)速率雖然優(yōu)勢(shì)明顯，但是還有可以提升的空間，實(shí)驗(yàn)結(jié)果說(shuō)明合并Batch Normalization層到卷積層可以有效提升模型計(jì)算效率，提高了Fps。

4 結(jié)語(yǔ)

針對(duì)鋼卷端面缺陷檢測(cè)研究不足以及存在的問(wèn)題，本文提出了一種改進(jìn)的YOLOv3算法應(yīng)用于鋼卷端面缺陷檢測(cè)，首先合并Batch Normalization層參數(shù)到卷積層，減少梯度下降運(yùn)算量，增加模型收斂速率，F(xiàn)ps提高了10.8%，其次改進(jìn)預(yù)測(cè)框的損失函數(shù)，提高預(yù)測(cè)框的檢測(cè)精度，使得在較小型缺陷上表現(xiàn)得以提升，mAP提高了6.89%。

與其他算法相比，本文改進(jìn)后的YOLOv3算法在檢測(cè)精度上尤其是小型缺陷檢測(cè)精度上得到了提升，檢測(cè)速率維持在了50Fps以上，有了略微提升，滿足了工業(yè)生產(chǎn)中實(shí)時(shí)檢測(cè)的需求。但是一些與鋼卷紋理相似的缺陷以及極小型缺陷目前檢測(cè)效果不佳，后續(xù)將嘗試進(jìn)行多尺度融合提取特征，以及使用多種數(shù)據(jù)擴(kuò)充方法提高數(shù)據(jù)量，提高對(duì)多種復(fù)雜小型缺陷的檢測(cè)精度。