基于深度學(xué)習(xí)的鋁材表面缺陷檢測(cè)

張旭 黃定江

摘要：隨著信息技術(shù)在工業(yè)制造領(lǐng)域的深入應(yīng)用，工業(yè)制造大數(shù)據(jù)研究正成為實(shí)現(xiàn)智能制造、幫助政府指導(dǎo)制造企業(yè)轉(zhuǎn)型升級(jí)的重要參考依據(jù).在傳統(tǒng)的鋼鐵、鋁材等金屬制造行業(yè)，更是存在生產(chǎn)方式粗放、生產(chǎn)工藝簡單等問題.因此，迫切需要利用人工智能等新一代信息技術(shù)來改善生產(chǎn)流程，提高生產(chǎn)效率.在使用鋁材時(shí)，必須檢查鋁材表面.現(xiàn)有的鋁材表面缺陷檢測(cè)受限于傳統(tǒng)人工肉眼檢查，十分費(fèi)力，或基于傳統(tǒng)的機(jī)器視覺算法，識(shí)別率不高，通常不能及時(shí)準(zhǔn)確地判斷出表面瑕疵.為解決這些問題，利用深度學(xué)習(xí)來進(jìn)行鋁材表面缺陷檢測(cè)：首先運(yùn)用兩大目標(biāo)檢測(cè)算法Faster R-CNN（Region-CNN（Convolutional Neural Networks））和YOLOv3對(duì)制作的鋁材缺陷數(shù)據(jù)集進(jìn)行檢測(cè);然后基于YOLOv3算法進(jìn)行改進(jìn)，提升鋁材表面很小缺陷的檢測(cè)效果.在廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽提供的“鋁型材瑕疵識(shí)別”數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果顯示，改進(jìn)算法的平均精度均值（mean Average Precision.mAP）比YOLOv3算法高3.4%，比Faster R-CNN算法高1.8%。

關(guān)鍵詞：鋁材缺陷;檢測(cè);機(jī)器視覺;深度學(xué)習(xí)

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1000-5641（2020）06-0105-10

0引言

工業(yè)制造大數(shù)據(jù)是政府治理大數(shù)據(jù)最重要的類型之一，對(duì)其進(jìn)行研究將為制造業(yè)企業(yè)向智能制造轉(zhuǎn)型升級(jí)，并為地方政府在產(chǎn)業(yè)、人才引進(jìn)和招商引資等方面提供重要決策參考.比如在傳統(tǒng)的鋼鐵、鋁材等金屬制造行業(yè)，存在生產(chǎn)方式粗放、生產(chǎn)工藝簡單等問題，因此迫切需要通過利用人工智能等新一代信息技術(shù)改善生產(chǎn)流程、提高生產(chǎn)效率.在鋁型材的實(shí)際生產(chǎn)過程中，由于各方面因素的影響，鋁型材表面會(huì)產(chǎn)生裂紋、擦花、起皮、起坑、劃傷、雜色、臟點(diǎn)等瑕疵，這些瑕疵會(huì)嚴(yán)重影響鋁型材的質(zhì)量.為保證產(chǎn)品質(zhì)量，對(duì)鋁材表面進(jìn)行機(jī)器自動(dòng)化的缺陷檢測(cè)變得十分重要.事實(shí)上，早在20世紀(jì)70年代，日本的新日鐵、千葉、歌山等企業(yè)已在冷軋鍍層板和電工鋼板生產(chǎn)線上采用了“激光掃描表面缺陷檢測(cè)系統(tǒng)”;20世紀(jì)80年代中期，德國尤格爾（Ungerer）公司開發(fā)出冷軋帶鋼表面缺陷自動(dòng)識(shí)別系統(tǒng)“Fire”，它可以在線自動(dòng)識(shí)別冷軋帶鋼表面缺陷.進(jìn)入20世紀(jì)90年代以來，表面自動(dòng)檢測(cè)技術(shù)從早期的逐點(diǎn)激光掃描發(fā)展到逐行掃描的線陣CCD（Charge Coupled Device）技術(shù)，如德國的NANO Systems測(cè)量技術(shù)有限公司開發(fā)的NANO系統(tǒng)采用的是線陣CCD攝像頭，該系統(tǒng)可以在帶寬為1200mm、軋制速度為90m/min的情況下，檢測(cè)最小尺寸為0.5mm的帶鋼表面缺陷;20世紀(jì)90年代初，華中理工大學(xué)羅志勇等采用激光掃描方法測(cè)量冷軋鋼板寬度和檢測(cè)孔洞缺陷，并開發(fā)了相應(yīng)的信號(hào)處理電路，此后又開展了線陣CCD和面陣CCD檢測(cè)技術(shù)的研究工作.

目前國際上常用的缺陷檢測(cè)方法有：①渦流檢測(cè)的方法;②紅外檢測(cè)的方法;③漏磁檢測(cè)的方法;④機(jī)器視覺檢測(cè)的方法.前3種方法由于其檢測(cè)原理的局限性，導(dǎo)致其應(yīng)用不夠廣泛，對(duì)于種類繁多的缺陷，其檢測(cè)的效果無法達(dá)到令人滿意的程度;第四種基于機(jī)器視覺的檢測(cè)方法已經(jīng)逐步取代前3種方法，在工業(yè)無損檢測(cè)領(lǐng)域得到廣泛運(yùn)用，這得益于當(dāng)今CCD技術(shù)、激光技術(shù)、計(jì)算機(jī)技術(shù)的快速發(fā)展.

機(jī)器視覺大多數(shù)基于普通的圖像處理技術(shù)來對(duì)缺陷進(jìn)行特征提取和檢測(cè).從不同的角度也可以對(duì)缺陷進(jìn)行新的描述：①被邊緣所包圍的區(qū)域;②紋理不均勻的區(qū)域;③高低不平，有凹凸的區(qū)域.根據(jù)這幾個(gè)特點(diǎn)，其對(duì)應(yīng)的檢測(cè)方法分別是基于邊緣的缺陷檢測(cè)方法、基于紋理的缺陷檢測(cè)方法、基于凹凸不平整特點(diǎn)的缺陷檢測(cè)方法.

近年來，深度學(xué)習(xí)在圖像檢測(cè)識(shí)別領(lǐng)域得到大量的應(yīng)用，如文獻(xiàn)[9-10]用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行表面缺陷檢測(cè).目前，目標(biāo)檢測(cè)任務(wù)在深度學(xué)習(xí)上有兩個(gè)主流方法：第一個(gè)主流方法分為兩步，即先得到一些錨點(diǎn)框，再對(duì)其進(jìn)行分類和回歸，如Fast R-CNN、Faster R-CNN等;第二個(gè)主流方法只有一步，即端到端的檢測(cè)方法，如YOLO、SSD等.第一個(gè)主流方法精確度高，但是檢測(cè)速度慢;而第二個(gè)主流方法的精確度不如第一個(gè)，但是檢測(cè)速度比較快.這些目標(biāo)檢測(cè)的方法都是基于深度卷積網(wǎng)絡(luò).

本文主要針對(duì)目前鋁材表面缺陷檢測(cè)的實(shí)際問題，利用和擴(kuò)展兩大目標(biāo)檢測(cè)算法Faster R-CNN和YOLOv3來進(jìn)行鋁材表面缺陷檢測(cè)，獲得了較好的結(jié)果.首先運(yùn)用Faster R-CNN和YOLOv3對(duì)制作的鋁材缺陷數(shù)據(jù)集進(jìn)行檢測(cè);然后基于YOLOv3算法進(jìn)行改進(jìn)，提升鋁材表面很小缺陷的檢測(cè)效果.本文在廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽提供的“鋁型材瑕疵識(shí)別”數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果顯示，改進(jìn)算法的平均精度均值比YOLOv3的mAP高3.4%，比Faster R-CNN的高1.8%.4%，比Faster R-CNN的高1.8%.

1相關(guān)工作

在過去的十幾年中，計(jì)算機(jī)視覺的目標(biāo)檢測(cè)研究大致分為傳統(tǒng)的檢測(cè)算法和基于深度學(xué)習(xí)的檢測(cè)算法.在2013年之前，大部分目標(biāo)檢測(cè)都是基于手工的特征選擇，HOG行人檢測(cè)和SIFT特征點(diǎn)檢測(cè)最為有名.但是對(duì)于提高檢測(cè)精度的方法，人們大多數(shù)都只是在一些低層次的特征上進(jìn)行算法改進(jìn)，所以效果不佳.然而在1994年，LeNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)手寫字符識(shí)別與分類，準(zhǔn)確率達(dá)到了98%;盡管受限于當(dāng)時(shí)的計(jì)算機(jī)發(fā)展水平，這種卷積神經(jīng)網(wǎng)絡(luò)算法沒有引起足夠的關(guān)注，但是這一方法卻奠定了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ).LeNet的體系結(jié)構(gòu)見圖1.

到了2012年，名為AlexNet的分類算法在當(dāng)年的ImageNet比賽中獲得了冠軍.此后，卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中蓬勃發(fā)展，后續(xù)也出現(xiàn)了幾個(gè)比較優(yōu)秀的卷積網(wǎng)絡(luò)，如VGG、ResNet等，這些卷積網(wǎng)絡(luò)為后面的基于深度學(xué)習(xí)的計(jì)算機(jī)視覺研究打下了良好的基礎(chǔ).在目標(biāo)檢測(cè)中，Ross Girshick等人抓住這一機(jī)會(huì)，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行特征提取并檢測(cè)，提出了區(qū)域卷積網(wǎng)絡(luò)目標(biāo)檢測(cè)框架（R-CNN），精度上取得了比傳統(tǒng)算法更好的結(jié)果，從這一篇文章開始，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法大量出現(xiàn)，并且精度越來越高.這些算法從不同的角度出發(fā)，有不同的分類方法：①從步驟上來說，可分為兩步（two-stage）方法，如Fast R-CNN、Faster R-CNN等，一步（one-stage）方法，如YOLO等;②從有無錨點(diǎn)框上來說，可分為anchor-based方法，如Faster R-CNN和anchor-free方法、Densebox和FSAF等.這些算法有著各自的特點(diǎn)，既有優(yōu)點(diǎn)，也有缺點(diǎn)：two-stage方法，檢測(cè)精度比較高，但是速度相對(duì)較慢;one-stage則速度占優(yōu);anchor-based方法具有啟發(fā)式特征選擇，所以其結(jié)果可能不是最優(yōu)的，最近的anchor-free的方法則克服了這一缺點(diǎn)，兩者都為目標(biāo)檢測(cè)精度的提升做出了很大的貢獻(xiàn).本文將利用深度學(xué)習(xí)算法來對(duì)鋁材缺陷檢測(cè)進(jìn)行研究.

3.3基礎(chǔ)網(wǎng)絡(luò)參數(shù)設(shè)置

實(shí)驗(yàn)中本文采用VGG-16和Darknet-53作為各算法的基礎(chǔ)網(wǎng)絡(luò).雖然VGG-16結(jié)構(gòu)最早用于圖像分類，但是它在其他方面有著很大的成就，比如目標(biāo)檢測(cè)、語義分割等.這個(gè)網(wǎng)絡(luò)模型有16層，包括13個(gè)卷積層與3個(gè)全連接層，并且有5個(gè)最大池化層.Darknet-53由一系列的1×1和3×3卷積層組成，總共有53個(gè)卷積層，但是這些卷積層中間也添加了一些與殘差網(wǎng)絡(luò)中shotcut類似的連接方式，使得網(wǎng)絡(luò)結(jié)構(gòu)更強(qiáng)大，本文只提供了Daknet-53的卷積網(wǎng)絡(luò)結(jié)構(gòu)，見圖10.此網(wǎng)絡(luò)結(jié)構(gòu)比殘差網(wǎng)絡(luò)ResNet-101更好，速度提升了5倍.Darknet-53與ResNet-152具有相似的性能，但速度提高了2倍.

3.4實(shí)驗(yàn)分析

實(shí)驗(yàn)中，由于數(shù)據(jù)相對(duì)較少，為了有好的檢測(cè)效果并且盡量全方位檢測(cè)到缺陷，后面采用了數(shù)據(jù)增強(qiáng)的方法，對(duì)原有的數(shù)據(jù)進(jìn)行旋轉(zhuǎn)，旋轉(zhuǎn)角度為90°，接著對(duì)數(shù)據(jù)加噪聲和做鏡像處理.這樣訓(xùn)練數(shù)據(jù)就有10000張圖片.訓(xùn)練過程中，進(jìn)行了20000次迭代，隨機(jī)梯度下降法可能下降緩慢，并且可能陷入局部最小值，所以引入momentum優(yōu)化方法，并且其值設(shè)置為0.9，初始學(xué)習(xí)率設(shè)置為0.001，然后隨著迭代次數(shù)增加來動(dòng)態(tài)減小學(xué)習(xí)率.

下面討論這幾個(gè)算法所用到的損失函數(shù).因?yàn)闄z測(cè)的是單瑕疵缺陷，所以分類損失函數(shù)一致采用的是二分類的交叉熵?fù)p失函數(shù)，即

3.5實(shí)驗(yàn)結(jié)果

使用文章中提到的3種檢測(cè)算法對(duì)已有的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，且3種算法采用了2種不同的基礎(chǔ)網(wǎng)絡(luò)，得出各算法的平均精度（mAP），結(jié)果見表2.從表2可以看出Faster R-CNN比YOLOv3的mAP的確高一點(diǎn)，從而驗(yàn)證了two-stage方法的準(zhǔn)確率高于one-stage，改進(jìn)的算法的mAP相對(duì)于前兩個(gè)是有所提升的.但是3個(gè)算法的mAP都沒有達(dá)到90%以上，對(duì)于工業(yè)生產(chǎn)來說，這種結(jié)果還是不能夠滿足必要的需求.

其中擦花和臟點(diǎn)兩種缺陷的檢測(cè)結(jié)果展示見圖11和圖12，圖中較小的臟點(diǎn)也被準(zhǔn)確地檢測(cè)出來.

4總結(jié)與展望

本文主要針對(duì)目前鋁材表面缺陷檢測(cè)的實(shí)際問題，通過利用Faster R-CNN和YOLOv3以及基于YOLOv3改進(jìn)的算法對(duì)基于廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽提供的“鋁型材瑕疵識(shí)別”數(shù)據(jù)集進(jìn)行檢測(cè)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示，鋁材表面上很小的缺陷檢測(cè)效果得到了提升，改進(jìn)算法的mAP比YOLOv3的mAP高3.4%，比Faster R-CNN高1.8%.但是由于正負(fù)樣本偏差和實(shí)驗(yàn)數(shù)據(jù)集相對(duì)較小，因此實(shí)際的缺陷檢測(cè)準(zhǔn)確率在未來還有待進(jìn)一步提升.在未來的研究中，將通過采集更多的數(shù)據(jù)，或通過混合鋼材表面缺陷數(shù)據(jù)來進(jìn)一步提升檢測(cè)準(zhǔn)確率.另外，本次實(shí)驗(yàn)主要是考慮了檢測(cè)目標(biāo)的大小問題，而通過對(duì)數(shù)據(jù)的研究發(fā)現(xiàn)，鋁材表面的缺陷型狀非常不規(guī)則，普通的卷積神經(jīng)網(wǎng)絡(luò)可能對(duì)不規(guī)則的物體檢測(cè)效果不是很好，接下來的工作是對(duì)上述算法中所用的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，不必改變卷積網(wǎng)絡(luò)層數(shù)或者網(wǎng)絡(luò)結(jié)構(gòu)，可以嘗試改進(jìn)卷積和池化的方式.