基于YOLOv3的磁瓦表面缺陷檢測(cè)算法

郭龍?jiān)? 童光紅 段厚裕 趙林 李武勁 歐先鋒 晏鵬程 張一鳴

摘要：由于磁瓦缺陷本身對(duì)比度、不同缺陷特征不盡相同等原因，傳統(tǒng)缺陷檢測(cè)算法檢測(cè)效果較差。針對(duì)不同缺陷特征的磁瓦缺陷檢測(cè)的問(wèn)題，提出了一種基于YOLOv3的磁瓦缺陷檢測(cè)方法。YOLOv3借鑒Resnet的殘差結(jié)構(gòu)可以很輕松的構(gòu)建更深的卷積網(wǎng)絡(luò)，更深的網(wǎng)絡(luò)可以更好地表達(dá)磁瓦缺陷的特征。同時(shí)其類似FPN的特征融合思想，可以較好地保證小缺陷樣本不會(huì)出現(xiàn)特征丟失的情況。基于以上優(yōu)點(diǎn)，YOLOv3很適合應(yīng)用于缺陷檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該方法在檢測(cè)效果上不差于基于Resnet101的Faster R-CNN的方法.而且其平均檢測(cè)速度快5倍以上。

關(guān)鍵詞：缺陷檢測(cè);深度學(xué)習(xí);目標(biāo)檢測(cè);磁瓦

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-5383（2019）03-0025-06

缺陷檢測(cè)是機(jī)器視覺(jué)領(lǐng)域中的一個(gè)重要研究方向。磁瓦作為汽車發(fā)動(dòng)機(jī)中電機(jī)的重要組成部分，表面缺陷的存在將直接影響汽車發(fā)動(dòng)機(jī)的壽命。所以在磁瓦生產(chǎn)過(guò)程中，必須對(duì)其進(jìn)行表面缺陷檢測(cè)。如何解決磁瓦缺陷檢測(cè)的實(shí)時(shí)性以及由于磁瓦缺陷本身對(duì)比度低、缺陷小而造成檢測(cè)難度大等問(wèn)題，是缺陷檢測(cè)的重點(diǎn)和難點(diǎn)。缺陷檢測(cè)一般先依據(jù)工件的特性和現(xiàn)場(chǎng)的環(huán)境，選擇相應(yīng)的光源，通過(guò)打光測(cè)試選擇合適的照明方法可以獲得良好的圖像。然后根據(jù)實(shí)際成像圖片的缺陷特征來(lái)設(shè)計(jì)提取算法，其提取算法常用到的特征包括：Haar、SIFT、HOG等;而其缺陷分類算法常用神經(jīng)網(wǎng)絡(luò)（MLP）、支持向量機(jī)（SVM）、Adaboost等。傳統(tǒng)缺陷檢測(cè)算法對(duì)于一類缺陷通過(guò)打光以及特定的算法設(shè)計(jì)，可以到達(dá)很好的檢測(cè)效果。

在本文中磁瓦缺陷對(duì)比度較低，而且不同缺陷對(duì)比度不盡相同，所以無(wú)法通過(guò)打光來(lái)突出缺陷特征;其次磁瓦不同缺陷間的特征不相同，設(shè)計(jì)對(duì)應(yīng)的特征提取算法難度較大;最后傳統(tǒng)分類算法較難學(xué)習(xí)到磁瓦缺陷的特征。近年來(lái)，隨著深度學(xué)習(xí)的廣泛應(yīng)用，在目標(biāo)檢測(cè)領(lǐng)域取得了一系列成果，如SSD、Faster R-CNN等，同時(shí)在工業(yè)檢測(cè)領(lǐng)域得到極大的應(yīng)用。常海濤等將Faster R-CNN應(yīng)用到工業(yè)缺陷檢測(cè)中通過(guò)預(yù)處理來(lái)修正預(yù)測(cè)框位置，取得較好的檢測(cè)效果，孫暉等通過(guò)改進(jìn)SSD來(lái)實(shí)現(xiàn)在線檢測(cè)表面缺陷，李明等通過(guò)GAN來(lái)擴(kuò)容數(shù)據(jù)集，再通過(guò)Faster R-CNN來(lái)進(jìn)行缺陷檢測(cè)，一定程度上解決了工業(yè)數(shù)據(jù)集難收集等問(wèn)題?；谝陨涎芯?，本文針對(duì)磁瓦缺陷的特征以及工業(yè)實(shí)時(shí)在線檢測(cè)的要求，提出一種改進(jìn)的YOLOv3缺陷檢測(cè)模型。

1YOLOv3算法描述

1.1YOLOv3的主體結(jié)構(gòu)

1.1.1YOLOv3特征提取網(wǎng)絡(luò)

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，特征提取設(shè)計(jì)是極其重要的。為了保留原圖大部分信息，又能提取目標(biāo)的大部分特征，YOLOv3在特征提取網(wǎng)絡(luò)中采用了Darknet-53.整個(gè)網(wǎng)絡(luò)中沒(méi)有池化層和固定輸出的連接層，基本上采用了完整的卷積層，而且圖像輸入在正向計(jì)算中，通過(guò)卷積層改變卷積核的步幅來(lái)實(shí)現(xiàn)尺寸變化。Darknet-53另一方面為了構(gòu)建出更復(fù)雜的模型，引入了Resnet的殘差塊結(jié)構(gòu)，這個(gè)結(jié)構(gòu)如圖1所示，不同于YOLOv2直接采用類似VGG的網(wǎng)絡(luò)，采用Resnet的殘參塊設(shè)計(jì)，殘差這種結(jié)構(gòu)能保證網(wǎng)絡(luò)結(jié)構(gòu)在很深的情況下，仍能收斂，模型能訓(xùn)練下去;網(wǎng)絡(luò)越深，表達(dá)的特征越好，分類+檢測(cè)的效果都會(huì)提升;此外，利用網(wǎng)絡(luò)中的殘差思想，殘差中的1*1卷積大大減少了每個(gè)卷積的信道，一方面減少了參數(shù)的數(shù)量，同時(shí)計(jì)算量也會(huì)減少到一定程度。因此相比較YOLOv2的19層設(shè)計(jì)，v3可以輕易設(shè)計(jì)53層的特征提取層，精度提升相比v2比較明顯。Darknet-53中大部分層如圖3所示等，res8表示含有8個(gè)殘差結(jié)構(gòu)，其結(jié)構(gòu)如圖2所示，其中DBL為卷積層+歸一化層+激活層。

1.1.2YOLOv3多尺度特征融合

對(duì)于大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)特征提取層提取輸入圖像以獲得最終特征圖，然后在該特征圖上直接預(yù)測(cè)。這樣直接獲取最后一層的熱圖，丟失了淺層的語(yǔ)義信息，這對(duì)小目標(biāo)檢測(cè)是不利。而且對(duì)于目標(biāo)檢測(cè)，輸入圖片可能存在不同尺寸的目標(biāo)，不同目標(biāo)之間存在不同的特征，我們需要利用淺層特征來(lái)區(qū)分小目標(biāo)，利用深層特征來(lái)區(qū)分大目標(biāo)。對(duì)于YOLOv3來(lái)說(shuō)，每一次尺寸變化的特征圖對(duì)后面目標(biāo)區(qū)域預(yù)測(cè)都是有用的，所以YOLOv3借鑒了FPN的多尺度特征融合的思路，將不同分辨率的特征圖融合之后單獨(dú)輸出，分別進(jìn)行目標(biāo)預(yù)測(cè)。如圖3主結(jié)構(gòu)所示，它將darknet-53的中間層某一層和后面的某一層的上采樣進(jìn)行拼接，最后輸出了3個(gè)不同尺度的熱圖，如圖3中的y1，y2，y3，采用多尺度特征融合來(lái)對(duì)不同尺寸的目標(biāo)進(jìn)行分別檢測(cè)，越精細(xì)的網(wǎng)格單元就可以檢測(cè)出越精細(xì)的物體，極大改善YOLOv3在小目標(biāo)檢測(cè)方面的提升。

1.1.3YOLOv3的類別預(yù)測(cè)

YOLOv3在預(yù)測(cè)類別這方面用多標(biāo)簽分類替換了原先的單標(biāo)簽分類，因?yàn)樵趯?shí)際中一個(gè)目標(biāo)或一張圖片不可能只存在一個(gè)類別，例如數(shù)據(jù)集中有ear和bus這兩個(gè)類別，那么數(shù)據(jù)集一張圖片中存在bus這個(gè)類，你實(shí)際檢測(cè)的結(jié)果就必須要用bus和car這兩個(gè)類別，這就是多標(biāo)簽分類?；谝陨纤觯琘OLOv3將v2單標(biāo)簽分類的softmax層改進(jìn)為可以通過(guò)多個(gè)標(biāo)簽分類的邏輯回歸。這樣YOLOv3在預(yù)測(cè)汽車這個(gè)類別時(shí)，還可以預(yù)測(cè)出汽車本身所屬的子集。對(duì)于邏輯回歸（10gistie）層YOLOv3主要使用sigmoid函數(shù)，這個(gè)函數(shù)可以將特征層輸出的結(jié)果約束到[0，1]的區(qū)間內(nèi)，所以當(dāng)一張圖片經(jīng)過(guò)darknet-53特征提取后.輸出的結(jié)果繼續(xù)經(jīng)過(guò)sigmoid函數(shù)得到的小數(shù)如果大于設(shè)定閾值，則表示屬于這個(gè)類，否則不屬于。

總的來(lái)說(shuō)，YOLOv3借鑒了殘差網(wǎng)絡(luò)結(jié)構(gòu)，形成更深的網(wǎng)絡(luò)層次以及多尺度檢測(cè)，提升了mAP以及小物體檢測(cè)效果。在保證精度正確率的情況下，比Faster R-CNN快4～5倍以上。

1.2損失函數(shù)

損失函數(shù)（loSS function）是用來(lái)估量你模型的預(yù)測(cè)值與真實(shí)值的不一致程度，對(duì)于YOLOv3來(lái)說(shuō)損失函數(shù)清晰的表達(dá)了預(yù)測(cè)框與真實(shí)框之間的差距。YOLOv3通過(guò)損失函數(shù)來(lái)不斷訓(xùn)練減少這個(gè)差距，YOLOv3的損失函數(shù)在原文中作者沒(méi)有明確提出其損失函數(shù)的公式。但是在目標(biāo)檢測(cè)任務(wù)中有幾個(gè)關(guān)鍵信息是需要確定的：預(yù)測(cè)及區(qū)域置信度（confidence）。根據(jù)這4類信息，可以知道YOLOv3的損失函數(shù)由這4部分的損失函數(shù)組成，其定義可為：

Lconf和Lcls是直接經(jīng)過(guò)Sigmoid函數(shù)，例如用sigmoid將置信度壓縮到[0，1]內(nèi)，此時(shí)置信度不僅反映了該區(qū)域是否含有物體，還預(yù)測(cè)這個(gè)預(yù)測(cè)框中坐標(biāo)的準(zhǔn)確度。

2基于YOLOv3的磁瓦缺陷檢測(cè)

2.1磁瓦數(shù)據(jù)集

本文磁瓦數(shù)據(jù)集由實(shí)際磁瓦生產(chǎn)流水線上采集的圖像，包含磁瓦常見(jiàn)的兩種缺陷：裂紋、缺口。每類缺陷有1200張494x648的單通道圖像，共2400張，將其按2：1：1均勻分成訓(xùn)練集、驗(yàn)證集以及測(cè)試集，部分缺陷圖片如圖4所示。

2.2實(shí)驗(yàn)條件及訓(xùn)練過(guò)程

本實(shí)驗(yàn)的硬件為英特爾i7-8700K六核十二線程CPU、英偉達(dá)GTX 1080Tix2獨(dú)立顯卡（11G顯存）、16G雙通道內(nèi)存和512GB的三星860evo固態(tài)硬盤，windows 10操作系統(tǒng)。本文的對(duì)比實(shí)驗(yàn)Faster R-CNN、SSD和本文YOLOv3以及后期結(jié)果預(yù)處理都基于深度學(xué)習(xí)框架Mxnetl.5.0實(shí)現(xiàn)。

在實(shí)際訓(xùn)練網(wǎng)絡(luò)中，磁瓦缺陷有2類，所以將YOLOv3最后輸出的全連接層數(shù)量設(shè)置為2，當(dāng)這4層全連接層輸出的置信度均小于設(shè)定閾值0.5時(shí)，表示磁瓦無(wú)缺陷，如果大于閾值前取最大置信度，對(duì)應(yīng)全連接層輸出為磁瓦缺陷類別。對(duì)于預(yù)測(cè)框重疊情況采用非極大性抑制（NMS），當(dāng)預(yù)測(cè)框之間重疊度（重疊區(qū)域面積比例IOU）超過(guò)設(shè)定重疊閾值0.45，則丟棄此預(yù)測(cè)框，并使用隨機(jī)梯度下降（SGD）微調(diào)YOLOv3的預(yù)訓(xùn)練模型。初始學(xué)習(xí)率設(shè)置0.001，并采用學(xué)習(xí)率衰減，每迭代200次，學(xué)習(xí)率衰減為初始學(xué)習(xí)率的0.1倍。在預(yù)測(cè)中，將YOLOv3視作端到端的分類網(wǎng)絡(luò)，由邏輯回歸層來(lái)得到輸出結(jié)果。

2.2本文算法評(píng)估指標(biāo)

為了定量評(píng)價(jià)磁瓦缺陷檢測(cè)算法的性能，采用工業(yè)檢測(cè)常用的正確率以及目標(biāo)檢測(cè)的mAP來(lái)評(píng)價(jià)。設(shè)RcD表示正確的樣本檢測(cè)率，CC表示正確識(shí)別某種類型的缺陷數(shù)，Nn表示錯(cuò)誤識(shí)別的缺陷類別的數(shù)量，In表示預(yù)測(cè)框與真實(shí)標(biāo)注框的交集，un表示預(yù)測(cè)框與真實(shí)標(biāo)注框的并集。則mAP和Rcd可由式（4）（5）計(jì)算。

3磁瓦檢測(cè)結(jié)果與分析

3.1預(yù)處理圖片

圖5（a）是原圖，（b）是（a）對(duì)應(yīng)的灰度直方圖，原圖中只有一個(gè)缺口缺陷，占據(jù)原圖尺寸很小，而且灰度值分布在一定區(qū)域內(nèi)，缺陷和背景的灰度值主要在這個(gè)區(qū)域中，這對(duì)缺陷特征提取很不利;（c）是（a）經(jīng)過(guò)預(yù)處理后的圖像，（d）是（c）對(duì)應(yīng)的灰度直方圖。從圖5可以得知，缺陷區(qū)域?qū)Ρ榷扔幸欢ㄌ嵘?，而且直方圖中一定數(shù)量的灰度值均勻分布到了其他區(qū)域，這樣可以在提升缺陷區(qū)域?qū)Ρ榷鹊耐瑫r(shí)，限制背景的區(qū)域的灰度值增幅。這樣的預(yù)處理，對(duì)后面圖片的缺陷檢測(cè)是有利的。

3.2缺陷檢測(cè)結(jié)果

將YOLOv3訓(xùn)練后檢測(cè)的結(jié)果和預(yù)處理后再檢測(cè)的結(jié)果做比較，兩種檢測(cè)比較的預(yù)測(cè)框精度如表

1、表2所示。

GT為標(biāo)注的缺陷實(shí)際坐標(biāo)（真值），表1未作預(yù)處理直接用YOLOv3檢測(cè)的缺陷區(qū)域坐標(biāo)值，表2預(yù)處理后再用YOLOv3檢測(cè)的坐標(biāo)值。其中，GT尺寸表示實(shí)際缺陷面積，缺陷尺寸為算法檢測(cè)出的缺陷面積，AP表示算法檢測(cè)出的區(qū)域與實(shí)際GT標(biāo)注區(qū)域的交集與并集的比例。AP越大，檢測(cè)區(qū)域和標(biāo)簽區(qū)域越重疊，表明算法越精確。從表1、表2可以看出，特別是裂紋缺陷的AP有較大提升，這說(shuō)明缺陷與背景對(duì)比度過(guò)低，會(huì)影響最終的檢測(cè)結(jié)果，通過(guò)預(yù)處理在增強(qiáng)缺陷對(duì)比度的同時(shí)，可以有效抑制背景的對(duì)比度。所以預(yù)處理圖片后，可以幫助本文算法準(zhǔn)確定位出缺陷區(qū)域。

3.3不同算法檢測(cè)結(jié)果對(duì)比

為了驗(yàn)證該算法優(yōu)于其他算法，本文與常用的缺陷檢測(cè)算法Faster R-CNN和SSD等對(duì)比，從正確率、mAP以及檢測(cè)時(shí)間等評(píng)估指標(biāo)對(duì)比，其評(píng)估結(jié)果如表3所示。

從表3可以得知，SSD雖然引入了尺度變換，網(wǎng)絡(luò)不同層抽取不同尺度的特征做預(yù)測(cè)，缺少特征融合，不能將低層語(yǔ)義信息和高層語(yǔ)義信息結(jié)合，所以其正確率和mAP都要低于YOLOv3：本文Faster R-CNN的特征提取網(wǎng)絡(luò)是基于Resnetl01.更深層的網(wǎng)絡(luò)對(duì)精度是有提升的。

表3中、YoLOv3在與Faster R-CNN相差不多的正確率和mAP的情況下，其檢測(cè)速度比它快5倍以上，檢測(cè)時(shí)間對(duì)工業(yè)檢測(cè)來(lái)說(shuō)是極其重要的，所以相對(duì)于Faster R-CNN，YoLOv3更具實(shí)際使用價(jià)值。

本文部分測(cè)試集中磁瓦檢測(cè)結(jié)果如圖6所示，其中對(duì)于裂紋缺陷SSD有較好的檢測(cè)效果，但是對(duì)于小目標(biāo)的缺口缺陷，例如缺口2，SSD出現(xiàn)誤檢，將缺口缺陷檢測(cè)成良品，本文SSD的特征提取忽視低層語(yǔ)義信息，導(dǎo)致小缺口在經(jīng)過(guò)特征提取網(wǎng)絡(luò)后出現(xiàn)特征丟失的情況。結(jié)合表3和圖6，F(xiàn)aster R-CNN和YOLOv3對(duì)實(shí)際磁瓦缺陷圖片，無(wú)論是缺陷位置的定位以及缺陷的正確率結(jié)果都比較好，特別是YOLOv3的平均檢測(cè)時(shí)間只需要0.03ms，這對(duì)工業(yè)檢測(cè)極為有利，所以這些特點(diǎn)使YOLOv3能夠較好的解決磁瓦的在線缺陷檢測(cè)。

4結(jié)論

本文討論了磁瓦缺陷檢測(cè)中的正確率以及檢測(cè)時(shí)間等工業(yè)評(píng)估指標(biāo)，還計(jì)算了目標(biāo)定位準(zhǔn)確度的mAP以及部分圖片的坐標(biāo)位置的評(píng)估指標(biāo)。本文提出了在YOLOv3的檢測(cè)結(jié)果上.增加預(yù)處理的磁瓦缺陷檢測(cè)算法，利用類似FPN的特征融合較好地保證了小缺陷、較低對(duì)比度缺陷的特征信息的提取，一定程度上改善了檢測(cè)算法對(duì)小目標(biāo)缺陷的檢測(cè)效果?？偟膩?lái)說(shuō)，該算法可以快速實(shí)現(xiàn)缺陷位置的定位和缺陷類別的分類，同時(shí)保證磁瓦缺陷的檢測(cè)效果。目前，本文算法只實(shí)現(xiàn)了缺陷位置的定位以及缺陷的分類，在接下來(lái)的研究中，希望能夠借助一些新的網(wǎng)絡(luò)應(yīng)用到實(shí)際缺陷檢測(cè)，實(shí)現(xiàn)缺陷分割，并且進(jìn)一步提高缺陷檢測(cè)的正確率。