基于深度學習的高精度外觀缺陷檢測研究

汪承研， 石偉萍， 李玉玲， 張 勇

（1.廣東機電職業(yè)技術(shù)學院， 廣東 廣州 510515； 2.東北財經(jīng)大學， 遼寧 大連 116025；3.深圳威斯特姆智能技術(shù)有限公司， 廣東 深圳 518000）

0 引言

機器視覺在識別、尺寸測量、缺陷檢測、定位引導(dǎo)等方面的應(yīng)用已經(jīng)較為普遍，尤其在缺陷檢測場景，比如零件的缺料、裂紋、多料等缺陷，在精度要求不高的情況下，機器視覺可以完全替代人眼， 并且檢測準確度可以得到非常好的重復(fù)性。 但是，有些缺陷的檢測精度要求很高，而且呈現(xiàn)出多樣性和不可預(yù)測性， 傳統(tǒng)的機器視覺算法已經(jīng)無法滿足應(yīng)用需求， 隨著人工智能的深度學習算法發(fā)展，將其和機器視覺的缺陷檢測應(yīng)用結(jié)合起來，是提供外觀缺陷檢測精度的重要方法之一。

1 國內(nèi)外研究現(xiàn)狀、存在的問題及發(fā)展趨勢分析

1.1 國內(nèi)外研究現(xiàn)狀

在運用機器視覺進行結(jié)構(gòu)件特征和缺陷高精度檢測研究方面，國內(nèi)科研機構(gòu)近些年開展了相應(yīng)的研究。 五邑大學科研工作者開發(fā)了一種基于機器視覺的盤紙輪廓直徑和寬度大小的檢測模型， 該檢測模型是以霍夫圓檢測和canny 邊緣檢測算法作為設(shè)計基礎(chǔ)， 通過提取盤紙輪廓來實現(xiàn)圓心坐標、直徑和寬度大小的檢測。 運用圖形進行細化后所提取的輪廓骨架， 確定邊緣像素的特征點位置， 運用最小二次函數(shù)乘法將特征點位置的坐標進行擬合，標定其極限值偏差，判定產(chǎn)品的合格性，其寬度檢測誤差在0.8mm 左右[1]。西南交通大學的科研工作者研究了基于機器視覺的航空鉚釘尺寸檢測技術(shù)，使用OpenCV 作為開發(fā)平臺， 采用閾值分割算法與分水嶺算法進行圖像分割；同時，通過平滑處理、形態(tài)學、輪廓提取算法完成圖像處理，實測結(jié)果表明，其測量精度可以達到0.01mm[2]。

1.2 當前存在的問題

機器視覺的應(yīng)用雖然蓬勃發(fā)展， 但是在機器視覺應(yīng)用本身的智能化程度并不高， 根據(jù)對機器視覺在缺陷檢測方面的需求調(diào)研，主要問題表現(xiàn)在兩個方面：

（1）測量精度問題。 受被測零件外表面不同的反光效果，光源和鏡頭，以及被測零件的定位精度等影響，缺陷檢測精度和準確度還有較大的提升空間， 主要是一些處于臨界識別狀態(tài)的缺陷難被識別出來， 有一些缺陷有較大比例的誤判。

（2）調(diào)測參數(shù)繁多。 檢測前需要設(shè)定較多的前置參數(shù)，包括特征形狀，顏色，光源，大概尺寸，相對定位等，人工進行參數(shù)調(diào)試時有可能因為經(jīng)驗不足導(dǎo)致設(shè)置不合理，直接影響檢測的精度，調(diào)測成本較高。

1.3 發(fā)展趨勢

技術(shù)上， 機器視覺本身屬于人工智能和模式識別一個子學科，機器視覺的處理對象就是視頻和圖片數(shù)據(jù)，隨著人工智能技術(shù)的發(fā)展，深度學習將與機器視覺緊密結(jié)合起來，一方面在海量數(shù)據(jù)中挖掘新的價值，另一方面將有助于解決機器視覺應(yīng)用中需要人工干預(yù)過多的問題。隨著設(shè)備分辨率的提升和軟件算法的改善，融合人工智能技術(shù)的機器視覺的處理速度和精度都會得到同步提升。

2 機器視覺缺陷檢測的定義

機器視覺進行特征和缺陷檢測時， 其過程將需要轉(zhuǎn)換為數(shù)學表達。機器視覺需要三個過程任務(wù)，依次是分類任務(wù)，檢測任務(wù)，分割任務(wù)，見圖1。 機器視覺的分類任務(wù)要解決特征和缺陷是什么，通過提取特征信息，該任務(wù)要判斷目標特征的具體信息， 比如目標是劃痕或是異物等等； 機器視覺的檢測任務(wù)要解決特征和缺陷在何處，即需要標記缺陷和特征所處的具體位置； 機器視覺的分割任務(wù)要解決缺陷是多少的問題，即缺陷的長度、面積、程度等一系列信息，這些信息能輔助進行產(chǎn)品質(zhì)量等級評估， 從而可以對產(chǎn)品質(zhì)量等級進行劃分。

圖1 機器視覺缺陷檢測的計算機任務(wù)

3 基于深度學習的外觀缺陷檢測

依據(jù)數(shù)據(jù)標簽的不同， 基于深度學習的外觀缺陷檢測整體分為全監(jiān)督學習模型、 無監(jiān)督學習模型和其他方法，見圖2。 第一種全監(jiān)督學習模型中，將大量標記有標簽的缺陷圖像輸入系統(tǒng)進行網(wǎng)絡(luò)訓練， 比如將有劃痕的區(qū)域或圖像標記為“劃痕”，系統(tǒng)訓練后獲得各種規(guī)格和不同背景下的劃痕，并導(dǎo)入模版，在檢測階段，當系統(tǒng)檢測到劃痕特征時，將判斷為“劃痕”缺陷。 相反，第二種弱監(jiān)督學習模型，將無缺陷的樣本導(dǎo)入進行網(wǎng)絡(luò)訓練，生成系統(tǒng)的“良品”模版，在檢測階段，當系統(tǒng)檢測到正常樣本中未出現(xiàn)過的缺陷時，將判斷該對象為不合格品。 其他方法主要思想是將兩者結(jié)合起來，發(fā)揮各自模型的優(yōu)勢，形成半監(jiān)督學習模型和弱監(jiān)督學習模型。 目前多數(shù)研究主要集中在全監(jiān)督學習模型方向，主要該模型目前可信度略高，本文的研究也基于全監(jiān)督學習模型。

圖2 基于深度學習缺陷檢測模型

4 基于深度學習的外觀缺陷檢測系統(tǒng)設(shè)計

4.1 系統(tǒng)需求分析

以某結(jié)構(gòu)件產(chǎn)品的外觀檢測為例，見圖3，良品結(jié)構(gòu)上要求無變形、凹陷、機械損傷；色澤上要求表面光潔，無密集的異色點；產(chǎn)品品牌絲印正確等。 總結(jié)其缺陷特點：缺陷種類比較多，缺陷位置不確定，缺陷程度波動幅度比較大，有些與良品的邊界較為模糊。人工方式會帶來較高的誤判率， 傳統(tǒng)的機器視覺檢測方法雖然可以一定程度降低誤判率，但改進有限。 針對該類缺陷檢測需求，經(jīng)過驗證，基于深度學習的機器視覺檢測方法是有效的。

圖3 某結(jié)構(gòu)件產(chǎn)品的凹陷和劃痕缺陷CCD 圖像分析

4.2 基于深度學習的外觀缺陷檢測平臺系統(tǒng)框架

基于深度學習的外觀缺陷檢測平臺系統(tǒng)框架由圖像采集子系統(tǒng)，機械運動子系統(tǒng)和主機組成，見圖4。 其中圖像采集子系統(tǒng)負責對產(chǎn)品拍照采集圖像； 主機包含圖像的預(yù)處理，缺陷分類，缺陷檢測，缺陷定級，結(jié)果呈現(xiàn)等模塊組成， 圖像進入主機后首先需要進行圖像的預(yù)處理， 然后依次進行缺陷分類， 檢測缺陷的位置， 給缺陷分級， 最后根據(jù)檢測結(jié)果控制機械運動子系統(tǒng)； 在主機中還有一個重要的深度學習模塊，其提供缺陷網(wǎng)絡(luò)訓練功能，并為目標圖像分類，檢測，分割做決策支持。

圖4 基于深度學習的外觀缺陷檢測系統(tǒng)框架

4.3 基于深度學習的外觀缺陷檢測系統(tǒng)業(yè)務(wù)流程

基于深度學習的外觀缺陷檢測平臺的處理流程由缺陷的分類，缺陷的定位，以及缺陷的定級三大步驟組成，深度學習嵌入其中解決特征提取和識別，如圖5 所示。

被檢測件的圖像采集后，首先需要進行預(yù)處理， 預(yù)處理是運用視覺算法對圖像進行降噪和提質(zhì)； 檢測的第一大步驟是使用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取和分類， 在訓練過程中， 缺陷特征將不斷被加入模版庫， 在檢測過程中，被提取的特征與模版進行匹配，從而判斷缺陷有無，如果沒有缺陷， 當前檢測流程結(jié)束； 當判斷為缺陷存在時，對當前缺陷進行分類；第二大步驟是確定缺陷所在的位置；第三大步驟是缺陷分級，本步驟中需要提取特征的顯著度值，并進行標記，在訓練過程中，特征顯著度值被不斷標記和等級劃分，在檢測過程中，系統(tǒng)根據(jù)被檢測件的特征顯著度值進行等級劃分。

圖5 基于深度學習的外觀缺陷檢測系統(tǒng)業(yè)務(wù)流程

系統(tǒng)通過持續(xù)的訓練后，隨著樣本數(shù)據(jù)的不斷增加，其檢測的精度變得更高，誤判率也急劇降低。在某產(chǎn)品的霧化器檢測應(yīng)用中，經(jīng)過訓練后，缺陷檢測的誤判率短時間內(nèi)從最初的80%下降到了2%以內(nèi)。

5 結(jié)束語

外觀缺陷檢測是一個非常廣泛的領(lǐng)域， 傳統(tǒng)的機器視覺檢測缺陷步驟繁瑣，模式固定，調(diào)測復(fù)雜，已經(jīng)較難應(yīng)對當前缺陷種類繁多，波動范圍大，客戶自動化要求高等需求?；谏疃葘W習的外觀缺陷檢測， 經(jīng)過驗證可以比較好應(yīng)對當前的挑戰(zhàn)，對于一些過往無法用機器進行檢測的模糊缺陷，引入深度學習后，通過一定的訓練，基于深度學習的外觀缺陷檢測系統(tǒng)在多數(shù)場景下是完全可以替代人工的。