基于FasterR—CNN的圓柱形金屬工件表面缺陷檢測(cè)

徐秀 宣靜怡 曹桐滔

摘 要： 為有效進(jìn)行圓柱形金屬工件表面缺陷檢測(cè)，設(shè)計(jì)一套利用深度學(xué)習(xí)框架——Faster R-CNN的表面缺陷檢測(cè)系統(tǒng)。該系統(tǒng)算法利用Resnet網(wǎng)絡(luò)進(jìn)行特征提取，采用RPN方法提取缺陷的候選目標(biāo)矩形區(qū)域，再利用Fast R-CNN在候選區(qū)域基礎(chǔ)上進(jìn)行缺陷檢測(cè)。此外，為克服金屬表面反光并獲得高質(zhì)量圖片，設(shè)計(jì)一套合適的圖像采集系統(tǒng)。實(shí)驗(yàn)表明，該檢測(cè)系統(tǒng)能有效克服光滑金屬表面的強(qiáng)反射，從而獲取高質(zhì)量圖片；同時(shí)利用基于Faster R-CNN框架的方法進(jìn)行缺陷檢測(cè)，較好地解決了圓柱形金屬表面缺陷檢測(cè)能力弱的問題，在置信度閾值為0.9時(shí)，其查全率為95.0%，查準(zhǔn)率為96.0%，檢測(cè)速度為65ms/幅。

關(guān)鍵詞：圓柱形金屬工件；表面缺陷檢測(cè)；Faster R-CNN；深度學(xué)習(xí)；低對(duì)比度缺陷；機(jī)器視覺

DOI：10. 11907/rjdk. 182498

中圖分類號(hào)：TP319 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）005-0130-04

Abstract： A surface defect detection system is proposed in this paper for the quality inspection of cylindrical workpieces. The surface defect detection algorithm is based on Faster R-CNN. Firstly， the Resnet network is used to extract the feature map. Then the RPN is adapted to extract candidate rectangle area. Finally， the defects are detected by Fast R-CNN. Whats more， to overcome the reflection of metal surface and get high quality pictures for detecting， an image acquisition system is designed. Experiments show that the system has an advantage in overcoming the reflection of metal and getting high quality pictures of cylindrical metal workpieces. Meanwhile the detection algorithm based on Faster R-CNN can effectively detect defects. When the confidence threshold is 0.9， the recall rate is 95.0% and the precision rate is 96.0%，and the speed of detection is 65ms per picture.

Key Words： cylindrical metal workpieces； surface defect detection； Faster R-CNN； deep learning； low-contract defects； machine vision

0 引言

圓柱形金屬工件是一類典型的零件形態(tài)，被廣泛應(yīng)用于各種產(chǎn)品中。為保證工件質(zhì)量，通常需要對(duì)該類工件進(jìn)行表面缺陷檢測(cè)[1]，缺陷類型包括劃痕、孔洞、污漬、銹跡等。傳統(tǒng)人工品質(zhì)檢測(cè)方式檢測(cè)效率低、效果差，無法滿足大批量生產(chǎn)的需求。因此，在實(shí)際生產(chǎn)過程中，越來越多的廠家采用機(jī)器視覺（光電）技術(shù)進(jìn)行工件表面缺陷自動(dòng)檢測(cè)。

金屬工件表面缺陷檢測(cè)是光電檢測(cè)中的難點(diǎn)，近年來，國(guó)內(nèi)外學(xué)者進(jìn)行了大量研究。然而金屬表面缺陷檢測(cè)技術(shù)目前仍然面臨著如光照不均、缺陷與非缺陷之間對(duì)比度低、噪音與細(xì)微缺陷相似度高等問題，造成識(shí)別精度低、檢測(cè)速度慢等問題[2-3]。目前用于金屬工件表面缺陷檢測(cè)的機(jī)器視覺方法可以根據(jù)是否需要先驗(yàn)知識(shí)即無缺陷模板，劃分為兩大類[4]：第一類方法是基于模板匹配的，將無缺陷的模板圖像與待檢測(cè)圖像進(jìn)行對(duì)比，若有明顯差異的部分，則作為有缺陷的部分。該方法要求待檢測(cè)圖像與模板圖像之間必須擁有精確的匹配度，否則容易出現(xiàn)誤檢、漏檢等情況[4-5]；第二類方法利用圖像特征，從圖像灰度值直方圖、顏色、紋理等特征入手，提取能夠區(qū)分無缺陷圖與有缺陷圖的差異特征向量，然后設(shè)計(jì)分類器，經(jīng)過訓(xùn)練、調(diào)整參數(shù)后得到最佳網(wǎng)絡(luò)。在檢測(cè)時(shí)，利用預(yù)先訓(xùn)練好的分類器實(shí)現(xiàn)對(duì)目標(biāo)圖像的實(shí)時(shí)特征提取，判別是否存在缺陷及是哪種缺陷[6-8]。該方法雖然檢測(cè)速度快，但僅適用于背景簡(jiǎn)單且缺陷特征較明顯的場(chǎng)合，因?yàn)橐陨咸卣魈崛》椒ǘ疾豢杀苊獾貢?huì)遺漏某些細(xì)節(jié)特征。

在利用卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法對(duì)圖像進(jìn)行特征提取的思想啟發(fā)下，相繼有研究人員提出利用卷積神經(jīng)網(wǎng)絡(luò)原理進(jìn)行目標(biāo)檢測(cè)的算法。本文基于深度學(xué)習(xí)框架Faster R-CNN設(shè)計(jì)一套適用于圓柱形金屬電鍍件表面缺陷檢測(cè)的算法與系統(tǒng)，以克服由于金屬表面強(qiáng)反射造成的光照不均問題，并有效進(jìn)行缺陷識(shí)別。

1 Faster R-CNN缺陷檢測(cè)算法

繼RCNN、Fast R-CNN[9]之后，F(xiàn)aster R-CNN[10]是目標(biāo)檢測(cè)界領(lǐng)軍人物Ross Girshick及其團(tuán)隊(duì)在2015年的又一力作，目前被應(yīng)用于多個(gè)領(lǐng)域目標(biāo)檢測(cè)[11-14]。Faster R-CNN 算法由兩大模塊組成：①區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）候選區(qū)域檢測(cè)模塊；②Fast R-CNN檢測(cè)模塊。RPN與Fast R-CNN共享特征網(wǎng)絡(luò)。其中，RPN是全卷積神經(jīng)網(wǎng)絡(luò)，用于提取候選框；Fast R-CNN基于RPN提取的候選框檢測(cè)并識(shí)別候選框中的目標(biāo)，其結(jié)構(gòu)如圖1所示。

1.1 特征提取

在提取圖像特征上，卷積神經(jīng)網(wǎng)絡(luò)[15-16]具有優(yōu)越性。卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)，降低了網(wǎng)絡(luò)模型復(fù)雜度，減少了權(quán)值數(shù)量。另外，在圖像處理時(shí)，可以直接將圖像作為網(wǎng)絡(luò)輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取與數(shù)據(jù)重建。在Faster R-CNN框架下，本文使用Resnet[7]網(wǎng)絡(luò)進(jìn)行特征提取，生成特征圖，區(qū)域建議網(wǎng)絡(luò)與Fast RCNN檢測(cè)均在該特征圖基礎(chǔ)上進(jìn)行。

1.2 區(qū)域建議網(wǎng)絡(luò)RPN

區(qū)域建議網(wǎng)絡(luò)（Region Proplsal Network，RPN）是一個(gè)全卷積網(wǎng)絡(luò)，用于提取高質(zhì)量的候選框，解決了選擇性算法（Selective Search，SS）[18]的速度瓶頸，大幅提高了目標(biāo)檢測(cè)速度，在訓(xùn)練時(shí)將RPN放于最后一個(gè)卷積層后面。RPN網(wǎng)絡(luò)的作用是輸入一張圖像、輸出一批矩形候選區(qū)域，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。構(gòu)建區(qū)域建議網(wǎng)絡(luò)RPN的具體流程為：使用一個(gè)小滑動(dòng)窗口（3*3的卷積核）在最后卷積得到的特征圖（feature map）上進(jìn)行滑動(dòng)掃描。經(jīng)過滑動(dòng)卷積后，映射得到一個(gè)D維向量，最后將該D維向量送入兩個(gè)全連接層中，即候選框位置回歸層與分類層，以獲得位置信息與分類信息。其中位置回歸層輸出候選框的4個(gè)相關(guān)參數(shù)（x，y，w，h），包括候選框中心坐標(biāo)x和y、寬w和長(zhǎng)h；分類層輸出目標(biāo)與非目標(biāo)概率。

每個(gè)滑動(dòng)中心對(duì)應(yīng)k個(gè)錨框，每個(gè)錨框?qū)?yīng)一種尺寸與一種長(zhǎng)寬比，如圖2右側(cè)所示。Faster R-CNN中RPN使用3種不同尺寸以及3種不同比例（1∶1，1∶2，2∶1）組合成9種不同大小的錨框預(yù)測(cè)包含目標(biāo)的窗口位置，可以使尋找到的候選區(qū)域更加準(zhǔn)確。在對(duì)樣本進(jìn)行測(cè)試時(shí)，輸入圖像經(jīng)過最后一層卷積層后輸出，再通過RPN產(chǎn)生大量候選框。候選框數(shù)目很大且重疊區(qū)域多，為提高檢測(cè)效率，使用非極大值抑制法對(duì)候選框進(jìn)行過濾。

1.3 缺陷識(shí)別

通過RPN獲得候選區(qū)域后，F(xiàn)aster R-CNN利用Fast R-CNN進(jìn)行檢測(cè)。RPN與Fast RCNN共享卷積特征，F(xiàn)ast RCNN在RPN提供的高質(zhì)量區(qū)域建議網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行目標(biāo)識(shí)別，目標(biāo)檢測(cè)速度得到了大幅提高。對(duì)候選區(qū)域進(jìn)行訓(xùn)練，在訓(xùn)練時(shí)，通過一種交替運(yùn)行優(yōu)化方法使RPN與Fast R-CNN共享卷積特征。

2 實(shí)驗(yàn)系統(tǒng)與實(shí)驗(yàn)過程

2.1 實(shí)驗(yàn)系統(tǒng)

為驗(yàn)證算法有效性，采用直徑為7.5mm、全長(zhǎng)為16.5mm的圓柱形金屬工件進(jìn)行實(shí)驗(yàn)，其表面主要缺陷為劃痕。本文缺陷檢測(cè)系統(tǒng)包括圖像采集與圖像處理兩部分。檢測(cè)系統(tǒng)原理如圖3所示。在圖像采集系統(tǒng)中，為避免光學(xué)照明不均[19-20]，采用適用于高反光表面檢測(cè)的環(huán)形無影光源；為采集到完整的柱面圖像，設(shè)計(jì)一個(gè)旋轉(zhuǎn)平臺(tái)，如圖4所示，包括伺服電機(jī)、彈簧、頂針、導(dǎo)軌等。通過E2V公司的Eliixa 4K MONOCHROME線陣相機(jī)，其分辨率為8192pixel，像元尺寸5[μm]及silicon的圖像采集卡配合光源、旋轉(zhuǎn)機(jī)構(gòu)等，獲得金屬圓柱工件清晰的表面展開圖。圖5（a）為采集到的有缺陷的圓柱形金屬工件的表面展開圖，圖片克服了光滑金屬的高反光。獲得圖像后，將圖像信息傳輸?shù)接?jì)算機(jī)中保存，然后圖像處理模塊對(duì)工件進(jìn)行缺陷檢測(cè)。在圖像處理中，硬件平臺(tái)GPU為：LEADTEK GTX1060，操作系統(tǒng)為Ubuntu 16.04平臺(tái)，基于深度學(xué)習(xí)庫(kù)Keras進(jìn)行。

2.2 實(shí)驗(yàn)數(shù)據(jù)集與訓(xùn)練檢測(cè)模型構(gòu)建

本文選擇2 000個(gè)含有缺陷的圖片作為訓(xùn)練集，500個(gè)混合樣本作為檢測(cè)集。在訓(xùn)練前，先通過LabelImg對(duì)缺陷目標(biāo)進(jìn)行標(biāo)注，在標(biāo)注目標(biāo)完成后，每個(gè)標(biāo)注圖片保存為一個(gè)XML文件作為訓(xùn)練樣本。本文使用Keras框架實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型，錨框尺度分別為8、16、32，長(zhǎng)寬比為2∶1、1∶1、1∶2，設(shè)置IOU閾值最大值為0.7，最小值為0.3。在訓(xùn)練時(shí)，使用Resnet網(wǎng)絡(luò)進(jìn)行特征提取，獲得特征圖。在特征圖基礎(chǔ)上，RPN與 Fast R-CNN網(wǎng)絡(luò)共享卷積特征，進(jìn)行交替訓(xùn)練，迭代次數(shù)為8 000，獲得檢測(cè)模型。

3 實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)中用查全率recall、查準(zhǔn)率precision及檢測(cè)時(shí)間評(píng)價(jià)檢測(cè)效果。各指標(biāo)如下所示。

由表1可以看出，當(dāng)置信度閾值過低時(shí)，由于金屬表面光照不均及工件本身自帶的凹槽，易將凹槽部分誤認(rèn)為缺陷，導(dǎo)致查準(zhǔn)率較低。當(dāng)置信度閾值過高時(shí)，會(huì)忽略很多置信度值低于閾值的缺陷，造成漏檢，導(dǎo)致查全率偏低。綜合考慮，當(dāng)置信度為0.9時(shí)，檢測(cè)效果最佳。由表2可以看出，本文算法與文獻(xiàn)[21]的算法相比，查全率與查準(zhǔn)率基本相同，但是檢測(cè)時(shí)間上，本文算法優(yōu)勢(shì)明顯。由于文獻(xiàn)[21]的方法運(yùn)算量主要集中于背景圖像的自適應(yīng)平滑上，運(yùn)算時(shí)間成本較高，而本文采用的Faster R-CNN方法在RPN提供的高質(zhì)量候選區(qū)域上進(jìn)行目標(biāo)檢測(cè)，實(shí)現(xiàn)端到端的檢測(cè)，大大提高了檢測(cè)速度，平均檢測(cè)時(shí)間為每幅65ms左右。由圖7可以看出，本文算法對(duì)于人眼不易察覺、對(duì)比度較低，且大小為2mm～ 3mm的缺陷也有效。由此可見，本文缺陷檢測(cè)系統(tǒng)對(duì)圓柱形金屬表面缺陷檢測(cè)正確率高且速度快。

4 結(jié)語(yǔ)

在利用光電檢測(cè)方法進(jìn)行表面缺陷檢測(cè)時(shí)，由于金屬工件表面存在強(qiáng)反射現(xiàn)象導(dǎo)致圖像光照不均，導(dǎo)致檢測(cè)效果低下。本文設(shè)計(jì)了一套包含線陣相機(jī)、環(huán)形無影光源、機(jī)械旋轉(zhuǎn)系統(tǒng)等的圖像獲取系統(tǒng)，克服了高光影響，獲得了高質(zhì)量的圓柱形金屬工件展開圖，為檢測(cè)算法實(shí)施提供了保障。該系統(tǒng)使用基于Faster R-CNN的深度學(xué)習(xí)框架進(jìn)行缺陷檢測(cè)，相較傳統(tǒng)方法，其檢測(cè)正確率及檢測(cè)速度均有明顯優(yōu)勢(shì)。然而，使用基于Faster R-CNN深度框架進(jìn)行檢測(cè)時(shí)訓(xùn)練時(shí)間過長(zhǎng)，導(dǎo)致在正式進(jìn)行檢測(cè)前準(zhǔn)備時(shí)間較長(zhǎng)，下一步工作將圍繞回歸窗函數(shù)改變候選框數(shù)量進(jìn)行修改，以縮短訓(xùn)練時(shí)間。

參考文獻(xiàn)：

[1] SU J H，LIU S L. Measure system of surface flaw and morphology analysis of cylindrical high precision parts[J]. Laser & Optoelectronics Progress， 2014， 51（4）： 041202.

[2] 羅菁，董婷婷，宋丹，等. 表面缺陷檢測(cè)綜述[J]. 計(jì)算機(jī)科學(xué)與探索，2014（9）：1041-1048.

[3] 湯勃，孔建益，伍世虔. 機(jī)器視覺表面缺陷檢測(cè)綜述 [J]. 中國(guó)圖象圖形學(xué)報(bào)，2017（12）： 1640-1663.

[4] 韓斌. 計(jì)算機(jī)視覺檢測(cè)中的若干問題研究及應(yīng)用 [D]. 無錫：江南大學(xué)，2009.

[5] 孫寶華，韓躍平，徐青，等. 基于SURF算法的產(chǎn)品表面缺陷檢測(cè)研究[J]. 紅外技術(shù)， 2014， 36（6）： 503-507.

[6] 張學(xué)武，丁燕瓊， 閆萍. 一種基于紅外成像的強(qiáng)反射金屬表面缺陷視覺檢測(cè)方法[J]. 光學(xué)學(xué)報(bào)， 2011， 31（3）： 112-120.

[7] LIU H，GUO S， CHEN Y F， et al. Shearography using wave-defect interactions for crack detection in metallic structures[C]. Washington D. C. ：Proceedings of the 2017 IEEE International Ultrasonics Symposium （IUS）， 2017.

[8] 李明，劉悅. 基于支持向量機(jī)的金屬表面缺陷檢測(cè)算法[J]. 世界有色金屬，2017，65（2）： 120-121.

[9] GIRSHICK R. Fast R-CNN[C]. Proceedings of the 15th IEEE International Conference on Computer Vision， 2015：1-9.

[10] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real- time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）： 1137-1149.

[11] 史凱靜，鮑泓，徐冰心，等. 基于Faster RCNN的智能車道路前方車輛檢測(cè) [J]. 計(jì)算機(jī)工程，2018，44（7）：36-41.

[12] 李偉山，衛(wèi)晨，王琳. 改進(jìn)的Faster RCNN煤礦井下行人檢測(cè)算法[J]. 計(jì)算機(jī)工程與應(yīng)用，1-16. [2018-06-21]. http：//kns.cnki.net/kcms/d LI Weishan.

[13] 戴陳卡，李毅.基于Faster RCNN以及多部件結(jié)合的機(jī)場(chǎng)場(chǎng)面靜態(tài)飛機(jī)檢測(cè)[J].計(jì)算機(jī)應(yīng)用，2017，37（S2）：85-88.

[14] SHI Y，LI Y，WEI X，et al. A faster-RCNN based chemical fiber paper tube defect detection method [J]. 2017，173-7.

[15] YI L， LI G， JIANG M. An end-to-end steel strip surface defects recognition system based on convolutional neural networks[J]. Steel Research International， 2017， 88（2）： 1600068.

[16] WEIMER D， SCHOLZ-REITER B， SHPITALNI M. Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection[J]. CIRP Annals， 2016， 65（1）： 417-20.

[17] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. Las Vegas：The 29th IEEE Conference on Computer Vision and Pattern Recognition， 2016.

[18] UIJLINGS J R R，VAN DE SANDE K E A，GEVERS T，et al.Selective search for object recognition[J]. International Journal of Computer Vision， 2013， 104（2）： 154-171.

[19] 栗琳. 基于視覺的高反射球面缺陷快速檢測(cè)關(guān)鍵技術(shù)研究 [D].天津：天津大學(xué)，2013.

[20] 張靜， 葉玉堂， 謝煜， 等. 金屬圓柱工件缺陷的光電檢測(cè) [J]. 光學(xué)精密工程， 2014， 50（7）： 1871-1876.

[21] 閔永智，岳彪，馬宏鋒. 基于圖像灰度梯度特征的鋼軌表面缺陷檢測(cè)[J]. 儀器儀表學(xué)報(bào)，2018，39（4）：220-229.

（責(zé)任編輯：江 艷）