基于卷積神經(jīng)網(wǎng)絡的工業(yè)缺陷檢測研究進展

田偉倩 朱華兵 張 淋 胡 斌

（中國特種設備檢測研究院 北京 100029）

工業(yè)產(chǎn)品生產(chǎn)和使用是一個非常復雜的過程，由于產(chǎn)品線設計不合理或者設備工況條件差，生產(chǎn)過程中往往會產(chǎn)生一些包含問題的產(chǎn)品：如產(chǎn)品表面的瑕疵，鑄造產(chǎn)品中的空洞，運輸過程中產(chǎn)生的擦傷和刮痕等，如圖1 所示。同時由于產(chǎn)品存儲條件惡劣，也會產(chǎn)生如腐蝕的缺陷。產(chǎn)品上的缺陷會影響產(chǎn)品的使用，減少產(chǎn)品的使用年限，同時也會增加廠商的成本，影響產(chǎn)品的品牌。因此，缺陷檢測是企業(yè)提高產(chǎn)品質量和服務所必須具備的核心能力。相比人工檢測，自動缺陷檢測技術在環(huán)境適應性、工作時長、精度以及效率上有明顯的優(yōu)勢。對缺陷檢測技術的研究可以降低生產(chǎn)成本，提高生產(chǎn)效率和產(chǎn)品質量，為制造業(yè)的智能轉型奠定堅實的基礎。

圖1 不同物品缺陷

缺陷檢測通常分為2 類：一類是破壞性檢測，另一類是非破壞性檢測。非破壞性檢測是利用成像技術，如X 光、超聲、紅外、渦流、染色等方式探查產(chǎn)品，生成產(chǎn)品的不同圖像進行檢測。非破壞性檢測不對產(chǎn)品進行破壞，是目前應用很廣的檢測方法。本文所描述的檢測方法，就是針對非破壞性檢測。由于產(chǎn)品中缺陷的種類繁多，所以不同的缺陷所用的技術也不盡相同。如Aldave 等[1]利用熱紅外圖像對缺陷進行檢測，Xie 等[2]使用計算機視覺技術對缺陷進行檢測，其他的如超頻、震動光譜也廣泛應用在產(chǎn)品缺陷檢測中。目前，在非破壞性檢測的方法中，基于數(shù)字圖像的方法應用最廣，基本涉及日常工業(yè)產(chǎn)品的方方面面。本文將從基于數(shù)字圖像的缺陷檢測角度出發(fā)，對該類缺陷檢測技術進行總結。

1 數(shù)字圖像技術

圖像（image）[3]指的是應用各種觀測系統(tǒng)，以不同形式和手段觀測客觀世界而獲得的，可以直接或間接作用于人眼而產(chǎn)生視覺的實體。數(shù)字圖像的處理主要包括幾何處理、算術處理、圖像增強、圖像復原、圖像重建、圖像編碼、圖像識別等。

計算機視覺指的是計算機代替人眼對圖像中的目標進行識別、跟蹤以及測量等，通過圖像處理操作，使其成為更適合人眼觀察的圖像。計算機視覺作為綜合型技術，集成了模擬與數(shù)字視頻技術、光學成像、圖像處理技術等，將圖像信號結合特定需求，轉變?yōu)閿?shù)字化信號。在計算機中，圖像以數(shù)字矩陣的方式存儲，基本所有的顏色都可以通過三原色（紅色、綠色、藍色）生成，所以在計算機中，彩色圖像由三通道矩陣（紅色通道、綠色通道、藍色通道）構成，三個通道疊加，在計算機中的存儲形式為N×M×3，其中N 為高度像素數(shù)，M 為寬度像素數(shù)，3 為通道數(shù)。有些圖像為灰白圖像，如X 光圖像，圖像則是由單通道矩陣存儲，計算中表示為N×M。

隨著計算機技術的發(fā)展，數(shù)字成像技術逐漸被應用到無損檢測領域。機器視覺檢測由于其快速、準確、無損和低成本的特點，被廣泛應用在缺陷檢測領域。

2 基于傳統(tǒng)數(shù)字圖像技術的缺陷檢測

傳統(tǒng)的基于數(shù)字圖像處理檢測缺陷的研究工作主要側重在圖像中缺陷的定位、提取和分割。識別缺陷主要包括2 個模塊：圖像的預處理和缺陷檢測。圖2展示了一般傳統(tǒng)數(shù)字圖像處理技術進行缺陷檢測的流程。

圖2 傳統(tǒng)的基于數(shù)字圖像技術進行缺陷識別流程

2.1 圖像預處理

與正常部位相比，缺陷圖像通常表現(xiàn)為與正常部位對比度相似，缺陷周圍存在大量噪點。這些問題對圖像缺陷的識別有非常大的影響。圖像的預處理就是為了減少噪聲，增強缺陷部位和正常部位的對比度，使后續(xù)步驟能更好地進行識別分類。

1）噪聲處理。噪聲點通常不規(guī)則地分布在圖像上，一般會和周圍像素值有明顯的區(qū)別，表現(xiàn)出來就是高頻像素值。所以，高頻濾波是最常用的噪聲處理方法。Zscherpel 等[4]使用一種圖像寬度方向的快速傅里葉變化（FFT）的Bessel 操作對X 光圖像進行濾波，取得了非常好的減噪效果。小波變換（wavelet filter）也是一種常用的X 光圖像高頻濾波器。通常，濾波器的表現(xiàn)和濾波器的核大小有很大的關系。過小，噪聲濾不掉，過大，容易造成背景模糊。

2）對比度增強。很多情況下，缺陷部位和背景像素的對比度非常不明顯，尤其是對于使用X 光圖像進行缺陷識別的圖像。這種圖像灰度值通常分布在很小的區(qū)間內，給缺陷檢測造成很大的障礙。通常用對直方圖進行操作的方式進行對比度增強。直方圖反映了圖像中像素值的分布情況。比如直方圖太窄，說明圖像使用的灰度值范圍太窄。比如直方圖有一個很強烈的峰值，說明圖像部分灰度值頻率比其他值要高得多。Shafeek 等[5]采用直方圖拉伸增加缺陷和周圍像素之間對比度，采用直方圖均衡對圖像背景進行增亮。

2.2 缺陷檢測

圖像通常不僅僅包括產(chǎn)品缺陷部分，還包括與產(chǎn)品不相關的背景部分。所以，通常在缺陷檢測時，需要進行背景刪除處理。背景刪除可以采用與沒有產(chǎn)品的圖片相減得到，如Hyatt 等[6]采用多尺度的方法對背景進行移除。在很多基于X 光圖像的缺陷檢測中，有別于基體散射，缺陷散射具有獨特的圖像特征[7]。所以很多方法都是根據(jù)這個特性進行背景刪除。如Liao 等[8]通過比較發(fā)現(xiàn)，好的焊縫表現(xiàn)為鐘形，而缺陷不是。所以基于此設計了背景刪除策略，取得了很好的效果。

進行完背景處理操作后，生成的圖像就可以進行缺陷檢測識別處理。張曉光等[9]先對圖像進行預處理，應用直方圖均衡法對圖像進行處理，增強焊縫中的缺陷與圖像背景之間的對比度，以便于提高后續(xù)缺陷檢測的準確率。下一步應用邊緣檢測算法對圖像進行分割，分割后的圖像中含有缺陷信息。最后對缺陷進行識別，將其分類為氣孔、夾渣等。趙永珠[10]首先應用不變矩的方法提取圖像中缺陷的特征參數(shù)，進而應用神經(jīng)網(wǎng)絡的方法對缺陷進行分類。林鄧偉[11]應用基于計算機視覺的方法，對焊縫進行缺陷識別，最后應用形態(tài)學方法，消除圖像中的偽信息，進行缺陷分類。劉涵等[12]先是研究了焊縫中各類缺陷的特征，根據(jù)缺陷的特征對其進行分類，作為缺陷識別的依據(jù)。通過擬合獲取焊縫邊界，再通過分割、邊緣檢測，提取焊縫邊界信息，最終將缺陷從焊縫圖像中分割出來。最后通過對卷積神經(jīng)網(wǎng)絡的訓練，實現(xiàn)對缺陷的識別。栗芝[13]針對小樣本對象，提出了一種準確率高、實時性好、魯棒性高的缺陷識別方法。應用sin 函數(shù)增強，OSTU 分割，以及邊緣檢測等方法進行圖像預處理，并使用Hough 變換提取邊界直線信息，最終使用SVM分類器進行分類。李清格[14]應用邊緣檢測算子提取感興趣區(qū)域，進而應用卷積神經(jīng)網(wǎng)絡進行圖像分類。王睿等[15]在卷積神經(jīng)網(wǎng)絡中加入倒殘差結構，降低了缺陷檢測的成本，同時具有較高的檢測準確度。

3 基于卷積網(wǎng)絡的缺陷檢測

傳統(tǒng)的檢測方法需要針對不同的任務，手動設計圖像特征對缺陷進行檢測識別。這種方法對特定問題是較好的解決方案，但魯棒性差。例如對X 光圖像的處理方法，很難直接移植到紅外圖像的缺陷檢測中。近年來，深度學習在目標檢測領域取得了突破性進展，其特點是效率高、魯棒性強。深度學習模型可以自動學習圖像的特征，利用其強大的特征表達能力和建模能力，對缺陷進行識別。通過監(jiān)督、半監(jiān)督及無監(jiān)督的方式，對輸入圖像經(jīng)過一系列非線性變換，生成高維抽象表達，避免了手工設計特征的煩瑣低效。

3.1 卷積神經(jīng)網(wǎng)絡的基本原理

卷積網(wǎng)絡由最初的多層感知機逐步向多層化、復雜化發(fā)展。比如卷積神經(jīng)網(wǎng)絡（CNN，Convolutional Neural Network）、遞歸神經(jīng)網(wǎng)絡（Recursive Neural Network，RNN）、生成式對抗網(wǎng)絡（Generative Adversarial Networks，GAN）等。卷積神經(jīng)網(wǎng)絡指的是內含卷積結構的深層神經(jīng)網(wǎng)絡，由多層神經(jīng)網(wǎng)絡構成。

數(shù)字圖像中部分區(qū)域與其他區(qū)域的圖像特征可能具有相似性，表明在某些區(qū)域學習到的圖像特征同樣適用于其他區(qū)域。卷積神經(jīng)網(wǎng)絡中，卷積操作主要是卷積核在特征圖上滑動，并對其進行計算，填充可以實現(xiàn)卷積前后圖像大小保持不變。卷積在網(wǎng)絡中通過以卷積單元的形式對數(shù)據(jù)進行特征提取，在神經(jīng)網(wǎng)絡的組成部分中至關重要。卷積層由若干卷積單元組成，用于對輸入特征進行卷積。卷積層中的參數(shù)主要有卷積核尺寸、步長、卷積核以及填充的數(shù)量。步長指的是濾波器每次移動的步幅。填充是為了消除卷積層對特征圖尺寸的影響，最常見的做法是在特征圖的邊緣填充零，使經(jīng)過卷積層的特征圖尺寸保持一致。在訓練過程中，應用反向傳播算法（Backpropagation）來訓練卷積神經(jīng)網(wǎng)絡，計算卷積神經(jīng)網(wǎng)絡的輸出與實際值之間的誤差，并將其誤差反向傳播回隱藏層，直到輸入層。訓練過程中，通過調整訓練參數(shù)，使損失函數(shù)最小，最后得到相對滿意的訓練結果。

3.2 數(shù)據(jù)集

深度學習需要從數(shù)據(jù)集中學習并查找圖像中的特征，生成帶有概率的向量輸出。數(shù)據(jù)集一般由數(shù)據(jù)、標注和元數(shù)據(jù)組成，其內容依據(jù)所研究的領域確定，例如醫(yī)學圖像以患者所拍MRI 圖像、X 圖像等為主。

數(shù)據(jù)集的標注是指通過人工輔助的方式，應用Labelme 等圖像標注工具對深度學習網(wǎng)絡需要學習的數(shù)據(jù)進行加工，使其適合機器學習的過程。數(shù)據(jù)集標注主要類型有圖像標注、語音標注、文本標注、視頻標注等。標記的形式主要有標注畫框、3D 畫框、目標物體輪廓、圖像打點、文本轉錄等。元數(shù)據(jù)（中介數(shù)據(jù)、中繼數(shù)據(jù)）是關于數(shù)據(jù)域、數(shù)據(jù)的組織及其關系的信息，本質上講，元數(shù)據(jù)是關于數(shù)據(jù)的數(shù)據(jù)。

3.3 卷積神經(jīng)網(wǎng)絡在通用目標檢測的發(fā)展現(xiàn)狀

目前，卷積神經(jīng)網(wǎng)絡在目標檢測應用中精度的主要問題是數(shù)據(jù)集中圖像的數(shù)量還相對較小，一般為萬余張。事實上，較小數(shù)量的圖像數(shù)據(jù)集的缺點已經(jīng)被廣泛認知。近幾年，隨著數(shù)字圖像技術的發(fā)展，人們獲取圖像的途徑變得多種多樣，獲取方式也更加便捷，這就使得獲取大容量數(shù)據(jù)集逐漸成為可能。比如Labelme，它由數(shù)十萬張完全分割的圖像組成，以及ImageNet，它由超過2 萬個類別的，超過1 400 萬張已經(jīng)被標記的圖像組成。要想從如此龐大的數(shù)據(jù)集中學習到想要的目標，這對模型的學習能力是很高的挑戰(zhàn)。在任務如此困難復雜的情況下，訓練學習能力較強的模型顯得尤為困難，因此我們的模型還應該具備大量的先驗知識，以此來彌補數(shù)據(jù)集數(shù)量不足的問題。卷積神經(jīng)網(wǎng)絡的出現(xiàn)，可以很好地解決上述問題[9]。網(wǎng)絡的學習能力可以通過改變網(wǎng)絡結構的形狀、深度和寬度來控制。因此，與具有相似層數(shù)的標準前饋神經(jīng)網(wǎng)絡相比，CNN 網(wǎng)絡的連接層和參數(shù)要少得多，因此更容易訓練。

目標檢測（Target Detection）是計算機視覺領域中的核心問題之一，其主要任務是找出圖像中所有感興趣的目標（物體），確定其大小和位置。在深度學習算法成熟之前，目標檢測算法應用sift 算法、DPM（Deformable Parts Model）算法等傳統(tǒng)算法，基于人工設計的特征進行構建，由于計算資源有限，只能通過提高特征復雜度來提高檢測精度。

目前基于深度學習的目標檢測方法有2 類：一階段（one-stage）和兩階段（two-stage）。衡量目標檢測方法性能的指標一般是模型的檢測準確度和速度。一般情況下，one-stage 模型具有較快的檢測速度，而two-stage 方法具有較高的檢測準確度。表1 介紹了2 種方法的優(yōu)缺點。其中，one-stage 和two-stage方法的主要區(qū)別是，two-stage 方法需要先生成候選框（region proposal）。候選框為可能包含物體的區(qū)域，然后對每個區(qū)域進行預測回歸。而one-stage 的方法不需要進行候選框的生成，直接根據(jù)圖像的特征進行預測回歸。one-stage 主要算法有YOLOv1、SSD、YOLOv2、RetinaNet、YOLOv3。two-stage 則有Fast RCNN、Faster RCNN。通常在進行目標檢測的時候，尤其是多目標檢測任務中，不僅需要檢測出物體，還需要知道這個物體是什么。所以，在檢測任務中，通常會進行多任務（multi-task）預測。例如，在Fast RCNN 中，將位置預測（location regressor）和目標分類（classification）整合到一個框架中，實現(xiàn)了將這個task 同時進行訓練。在早期的檢測算法比如RCNN、SPPNet 等，都屬于multi-task 類。

表1 one-stage 和two-stage 目標檢測方法比對

2012 年Krizhevsky 等[16]應用深度卷積神經(jīng)網(wǎng)絡（DCCN）進行ImageNet 分類，如圖3 所示，在測試數(shù)據(jù)集中，文章實現(xiàn)了top-1 和top-5 錯誤率分別為37.5%和17.0%，大大優(yōu)于當時技術水平。DCCN 網(wǎng)絡有6 000 萬個參數(shù)和65 萬個神經(jīng)元，由5 個卷積層（其中一些層后連接最大池化層)和3 個全連接層（最后有1 000 路softmax)組成。

圖3 DCCN（AlexNet）[16]

Faster RCNN 為典型兩階段目標檢測算法[17]，如圖4 所示，一階段為region proposal，二階段為bounding box 回歸和分類。模型使用CNN 提取圖像特征，進而應用region proposal network（RPN）提取ROI（region of interest），用ROI pooling 將提取出的ROI 轉換成固定尺寸，再送入全連接層進行bounding box 回歸和分類預測。

圖4 結構圖[17]

Mask RCNN 由He 等[18]提出，其原理為在 Faster RCNN 的框架中添加一個分支網(wǎng)絡，在實現(xiàn)目標檢測任務的同時，分割出目標像素。Cascade Mask RCNN在Faster RCNN 的基礎上，將幾個不同IOU 閾值的檢測網(wǎng)絡級聯(lián)，形成了基于深度學習的目標檢測算法[19]。

3.4 基于卷積神經(jīng)網(wǎng)絡的缺陷檢測方法

目前有多種深度學習方法應用于缺陷檢測，常用的識別與分類方法主要有BP（Back Propagation)神經(jīng)網(wǎng)絡、模糊神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡、支持向量機（Supportvector Machine，SVM)以及各種分類器的集成模型等。表2 總結了產(chǎn)品缺陷檢測中常用的深度學習方法的優(yōu)缺點，主要包括卷積神經(jīng)網(wǎng)絡、生成對抗神經(jīng)網(wǎng)絡、深度殘差神經(jīng)網(wǎng)絡、全卷積神經(jīng)網(wǎng)絡等。

表2 基于深度學習的缺陷檢測方法

在缺陷檢測技術的研究工作中，隨著深度學習方法的快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡的深度學習方法已經(jīng)廣泛應用于產(chǎn)品缺陷檢測的各個領域。深度學習圖像處理技術學習圖像中的特征，對圖像中的產(chǎn)品缺陷進行分類和定位，比如裂紋、氣孔、夾渣、條缺等，這種缺陷通過射線檢測尤為快捷方便，通過卷積神經(jīng)網(wǎng)絡學習焊縫圖像中缺陷的特征，可使網(wǎng)絡自行判斷缺陷的位置與類別。表3 為目前基于深度學習的缺陷檢測方法中的深度學習方法取得的實驗結果的比較。這些算法的識別最高精度可以達到99.52%。

表3 基于機器學習的缺陷檢測技術

4 結論

本文對工業(yè)過程中產(chǎn)品缺陷檢測技術的研究現(xiàn)狀進行了綜述。對傳統(tǒng)的缺陷檢測方法和深度學習缺陷檢測技術進行了比較分析，并對缺陷檢測技術的實驗結果進行了綜合性總結。本文主要針對卷積神經(jīng)網(wǎng)絡在焊縫缺陷檢測中的應用進行論述，文章首先介紹了無損檢測技術的發(fā)展現(xiàn)狀以及焊縫缺陷檢測技術的重要性。文章對數(shù)字圖像處理技術的發(fā)展進行介紹，針對卷積神經(jīng)網(wǎng)絡在數(shù)字圖像處理中的應用與發(fā)展進行進一步介紹，結論如下：

1）目前深度學習在工件缺陷檢測中已進行應用，并取得了較高的識別準確率，但是識別速度與精度仍有一定程度的提高空間；

2）目前深度學習主要應用于焊縫缺陷檢測與物體表面缺陷檢測，如何將卷積神經(jīng)網(wǎng)絡算法應用到渦流、超聲等檢測方法中，未來或成研究熱點；

3）在線產(chǎn)品缺陷檢測、三維缺陷檢測等，是未來工業(yè)產(chǎn)品缺陷檢測領域的發(fā)展趨勢。

近年來，隨著計算機技術的發(fā)展以及成像技術的數(shù)字化，越來越多的計算方法被應用到圖像中缺陷的智能識別，比如Cascade Mask RCNN 等。但是目前受限于數(shù)據(jù)集樣本的數(shù)量，以及不同模型對不同數(shù)據(jù)集的泛化性能的不同，導致目前焊縫缺陷的識別精度提升存在一定的難度，同時也是未來深度學習在缺陷智能識別應用中準確率提升的研究熱點與難點。