基于SIFT特征與多層BP神經(jīng)網(wǎng)絡(luò)的鋼板缺陷檢測算法*

朱曉珺，韓 林, 鄒香玲

(河南廣播電視大學(xué) 信息工程學(xué)院，鄭州 450000)

1001-2265(2017)10-0054-03

10.13462/j.cnki.mmtamt.2017.10.013

2017-05-05；

2017-06-02

“核高基”國家科技重大專項(xiàng)(2009ZX01036); 河南省科技攻關(guān)項(xiàng)目(152102310377)

朱曉珺(1975—)，男，鄭州人，河南廣播電視大學(xué)講師，碩士，研究方向?yàn)橛?jì)算機(jī)應(yīng)用，計(jì)算機(jī)軟件，(E-mail)337660039@qq.com。

基于SIFT特征與多層BP神經(jīng)網(wǎng)絡(luò)的鋼板缺陷檢測算法*

朱曉珺，韓 林, 鄒香玲

(河南廣播電視大學(xué) 信息工程學(xué)院，鄭州 450000)

為了解決當(dāng)前鋼板表面缺陷在對(duì)比度弱、邊緣復(fù)雜和光照不均干擾下易導(dǎo)致檢測能力較低的問題，文章提出了基于SIFT特征與多層BP神經(jīng)網(wǎng)絡(luò)的鋼板缺陷檢測算法。首先，引入高斯差分和Hessian矩陣，對(duì)鋼板圖像進(jìn)行空間尺度函數(shù)計(jì)算，統(tǒng)計(jì)SIFT深度向量特征，完成缺陷特征的檢測與收集。然后，基于神經(jīng)網(wǎng)絡(luò)原始模型，計(jì)算其第五層輸出結(jié)果，優(yōu)化缺陷檢測結(jié)果，并最小化輸出層與期望值的差異平方，濾除偽SIFT特征的干擾，建立多層BP神經(jīng)網(wǎng)絡(luò)拓?fù)浞治鏊阕樱瑴?zhǔn)確識(shí)別鋼板缺陷。最后，基于軟件工程，設(shè)計(jì)檢測系統(tǒng)軟件，對(duì)文中算法的缺陷檢測精度進(jìn)行測試。實(shí)驗(yàn)測試結(jié)果顯示：與當(dāng)前主流鋼板缺陷檢測技術(shù)相比，文中算法擁有更高的準(zhǔn)確性與魯棒性。

鋼板缺陷檢測；SIFT特征；BP神經(jīng)網(wǎng)絡(luò)；空間尺度；深度向量

0 引言

現(xiàn)代工業(yè)智能制造中，鋼板是必要材料，必須對(duì)鋼板表面質(zhì)量進(jìn)行檢測，傳統(tǒng)人工目視檢測方法過程復(fù)雜、效率較低、實(shí)時(shí)性差，基于機(jī)器視覺的鋼板表面缺陷檢測方法由此誕生[1]。鋼板表面缺陷檢測通過各種檢測算子實(shí)現(xiàn)，通常有：Roberts算子、Prewitt算子、Sobel算子和Log算子，雖然具有計(jì)算簡單和速度較快的優(yōu)點(diǎn)，但是在缺陷邊緣對(duì)比度的情況下，檢測效果往往不佳[2]。

在鋼板表面缺陷檢測方面，國內(nèi)研究人員已經(jīng)取得了一定研究成果，如吳彬彬[3]提出MAS小波的鋼板表面缺陷邊緣檢測算法，由Lipschitz指數(shù)闡明了圖像的邊緣幾何結(jié)構(gòu)，通過分析圖像中不同類型的奇異點(diǎn)，并結(jié)合尺度獨(dú)立算法區(qū)分了目標(biāo)圖像中不同類型的邊緣，有效的提取了鋼板表面缺陷圖像的邊緣，完成鋼板缺陷檢測。但是，此技術(shù)未充分考慮缺陷邊緣特征微弱性和背景干擾，往往影響了檢測準(zhǔn)確性。高如新[4]提出了基于鋼板表面缺陷檢測的圖像增強(qiáng)算法，針對(duì)此類缺陷檢測問題，提出了一種動(dòng)態(tài)均值的圖像增強(qiáng)方法，使得圖像局部過亮的情形得到了很大改善，為圖像后續(xù)的分割處理提供了極大便利，利用最大熵分割方法對(duì)增強(qiáng)處理后的圖像進(jìn)行分割，達(dá)到了檢出鋼板缺陷的目的。然而，這種技術(shù)未考慮來自邊緣低對(duì)比度的干擾，在此情況下，不能達(dá)到準(zhǔn)確檢測的目的。

為了提高鋼板表面缺陷檢測能力，本文提出基于SIFT特征與多層BP神經(jīng)網(wǎng)絡(luò)的鋼板缺陷檢測算法。構(gòu)建高斯差分和Hessian矩陣，統(tǒng)計(jì)SIFT深度向量特征，設(shè)計(jì)缺陷特征檢測算子。然后，分析神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型，設(shè)計(jì)多層BP神經(jīng)網(wǎng)絡(luò)拓?fù)浞治鏊阕?，以軟件工程為?shí)現(xiàn)方法，建立本研究的鋼板缺陷檢測系統(tǒng)。

1 本文鋼板缺陷檢測算法

鋼板表面缺陷具有對(duì)比度弱、邊緣復(fù)雜和光照不均的圖像特性，對(duì)圖像處理和模式識(shí)別有明顯的干擾。因此，提出了一種魯棒的鋼板缺陷檢測技術(shù)，其過程見圖1。首先通過利用高斯差分的尺度旋轉(zhuǎn)不變性，以及Hessian矩陣對(duì)圖像局部區(qū)域梯度進(jìn)行魯棒描述，設(shè)計(jì)了SIFT特征檢測算子，定位缺陷的特征點(diǎn)和邊緣，即定位到了缺陷所在區(qū)域；然后，將其作為深度特征，即神經(jīng)網(wǎng)絡(luò)的輸入信號(hào)，通過五層迭代分析，進(jìn)一步確認(rèn)驗(yàn)證檢測算子的正確性，提高了系統(tǒng)檢出能力。以圖2為檢測對(duì)象，其鋼板表面缺陷具有對(duì)比度弱、邊緣復(fù)雜的特性。

圖1 本文圖像算法過程

圖2 待處理原圖

1.1 基于SIFT的缺陷區(qū)域定位

為了準(zhǔn)確定位鋼板缺陷區(qū)域位置，本研究采用具有縮放、旋轉(zhuǎn)、光照不變性的SIFT(Scale Invariant Feature Transform)特征檢測算子。一般情況下，SIFT算子主要步驟：基于高斯核構(gòu)建尺度空間，檢測極值點(diǎn)，實(shí)現(xiàn)特征點(diǎn)尺度不變性；利用高斯相應(yīng)函數(shù)在尺度空間的Taylor展開式分別對(duì)圖像的行、列和尺度三個(gè)量進(jìn)行修正，去除低對(duì)比度的極值點(diǎn)；計(jì)算特征點(diǎn)領(lǐng)域4方向的梯度方向直方圖，生成特征向量[5]。為了提高鋼板缺陷特征點(diǎn)或者特征邊緣檢測的穩(wěn)定性，本文將SIFT算子中的高斯核改進(jìn)為差分高斯。高斯差分(Difference of Gaussian，DoG)是尺度空間中兩幅相鄰圖像的差值，具有圖像尺度不變性，作為歸一化結(jié)果，解決了高斯-拉普拉斯計(jì)算繁瑣并依賴于模糊執(zhí)行總量的問題[6]。在此基礎(chǔ)上，基于Tayler級(jí)數(shù)展開，計(jì)算尺度空間函數(shù)：

(1)

(2)

式中，D代表空間尺度函數(shù)，包含x、y兩個(gè)方向，利用上面兩個(gè)公式，通過求導(dǎo)并令其結(jié)果為0，可以找到特征點(diǎn)位置。本研究為了進(jìn)一步去除低對(duì)比度特征點(diǎn)，對(duì)特征點(diǎn)周圍兩個(gè)彼此正交的梯度進(jìn)行計(jì)算：

Gx(x,y)=I(x+1,y)-I(x,y)

(3)

Gy(x,y)=I(x,y+1)-I(x,y)

(4)

式中，Gx、Gy代表圖像水平方向與垂直方向的梯度，I代表圖像函數(shù)。在此基礎(chǔ)上引入Heaaian矩陣：

(5)

式中，H代表Heaaian矩陣，達(dá)到既準(zhǔn)確計(jì)算梯度，又簡化計(jì)算的目的。最后計(jì)算每個(gè)特征點(diǎn)的幅值與方向，構(gòu)成特征向量：

(6)

(7)

式中，G和θ分別代表梯度幅值與方向，得到這個(gè)特征點(diǎn)數(shù)據(jù)，本研究在此特征點(diǎn)周圍領(lǐng)域16個(gè)像素區(qū)域，每個(gè)像素區(qū)域按照以上方法計(jì)算8個(gè)方向的SIFT特征，最終得到16×8，總共128個(gè)數(shù)值，即深度特征向量，構(gòu)成完整的SIFT特征向量，作為后續(xù)神經(jīng)網(wǎng)絡(luò)的輸入量。基于以上本研究的SIFT特征檢測算子，完成對(duì)鋼板區(qū)域定位。對(duì)待檢測圖像3進(jìn)行SIFT特征檢測并自動(dòng)連接，定位缺陷邊緣，在此基礎(chǔ)上的定位結(jié)果如圖3所示， 可見準(zhǔn)確定位缺陷特征與邊緣，自動(dòng)定位缺陷區(qū)域。

圖3 基于SIFT特征的缺陷粗檢測

1.2 基于多層BP神經(jīng)網(wǎng)絡(luò)的缺陷檢測

通過計(jì)算機(jī)視覺與圖像處理的方法，得到鋼板缺陷SIFT特征向量后，需要進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析，本研究引入機(jī)器學(xué)習(xí)方法中的BP神經(jīng)網(wǎng)絡(luò)，并構(gòu)建起128-16-28-42-1的五層網(wǎng)絡(luò)架構(gòu)，達(dá)到準(zhǔn)確識(shí)別鋼板缺陷的目的。BP神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)而建立的一種數(shù)學(xué)模型，包括輸入層、隱層和輸出層的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)；BP神經(jīng)網(wǎng)絡(luò)是誤差反饋型神經(jīng)網(wǎng)絡(luò)，即根據(jù)誤差的逆向傳播不斷糾正并完善其權(quán)值與閾值[7-8]。BP神經(jīng)網(wǎng)絡(luò)一般分為三層，如下所示：

y=purelin(W2*(tansigW1*x+M1))+M2

(8)

式中，tansig代表輸入層到隱層之間的雙曲正切函數(shù)，purelin代表隱層到輸出層之間的線性傳輸函數(shù)，y代表BP神經(jīng)網(wǎng)絡(luò)的輸出，x代表輸入向量，W1代表輸入層到隱層之間連接權(quán)值，W2代表隱層到輸出層之間的連接權(quán)值，M1代表輸入層到隱層之間連接閾值，M2代表隱層到輸出層之間的連接閾值[9]。本文首先將3層推導(dǎo)到4層，計(jì)算公式如下：

y=tansigW3*(purelin(W2*(tansigW1*x+M1))+
M2)+M3

(9)

式中，W3代表第一隱層到第二隱層之間的連接權(quán)值，M3代表第一隱層到第二隱層之間連接閾值。接著從第4層推導(dǎo)到底5層，計(jì)算公式如下：

y=tansigW4*(tansigW3*(purelin(W2*
(tansigW1*x+M1))+M2)+M3)+M4

(10)

式中,W4代表第二隱層到第三隱層之間的連接權(quán)值，M4代表第二隱層到第三隱層之間連接閾值。 由此完成本研究的5層BP伸進(jìn)網(wǎng)絡(luò)的數(shù)學(xué)模型建立。

最后，記錄輸出層的BP反饋，輸出層各節(jié)點(diǎn)的期望響應(yīng)R與真實(shí)響應(yīng)O之間的總誤差平方為：

(11)

式中,E代表輸出層各節(jié)點(diǎn)的期望響應(yīng)R與真實(shí)響應(yīng)O之間的總誤差平方，當(dāng)其達(dá)到最小值時(shí)的各層各節(jié)點(diǎn)的權(quán)值與閾值為最佳，即達(dá)到準(zhǔn)確識(shí)別鋼板缺陷的目的。神經(jīng)網(wǎng)絡(luò)已經(jīng)在各個(gè)領(lǐng)域取得成功應(yīng)用，但是也存在一些缺陷，例如可能陷入局部最優(yōu)，不能保證收斂全局最優(yōu)[10]。本研究通過多層推導(dǎo)，增強(qiáng)網(wǎng)絡(luò)分析的健壯性，得到優(yōu)化權(quán)值與閾值的目的。

基于本研究的多層BP神經(jīng)網(wǎng)絡(luò)，以128個(gè)SIFT特征向量為輸入量，得到鋼板缺陷的準(zhǔn)確結(jié)果，如圖4所示，相較于圖3，經(jīng)過多層BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)之后，其檢測效果更加精準(zhǔn)。

圖4 多層BP神經(jīng)網(wǎng)絡(luò)的缺陷檢測優(yōu)化

2 實(shí)驗(yàn)與討論

為了體現(xiàn)本文算法的優(yōu)勢，將鋼板缺陷檢測性能較好的技術(shù)—文獻(xiàn)[3]、文獻(xiàn)[4]設(shè)為對(duì)照組，本文系統(tǒng)基于Visual Studio2010平臺(tái)開發(fā)實(shí)現(xiàn)，算法實(shí)驗(yàn)參數(shù)如：hessian= [83,36,84,98]，權(quán)值閾值矩陣為[39,57,157,23]。

待檢測圖像本研究開發(fā)的系統(tǒng)界面，如圖5所示，存在待檢測的鋼板缺陷，系統(tǒng)功能具有“系統(tǒng)開啟”、“SIFT特征檢測”、“五層BP神經(jīng)網(wǎng)絡(luò)分析”、“缺陷檢測”。本研究先進(jìn)行基于SIFT特征檢測的缺陷定位，如圖6所示，再進(jìn)行基于五層BP神經(jīng)網(wǎng)絡(luò)分析的缺陷識(shí)別確認(rèn)，如圖7所示，可見本研究的鋼板缺陷檢測正確。

而利用對(duì)照組文獻(xiàn)[3]技術(shù)，結(jié)合尺度獨(dú)立算法區(qū)分了目標(biāo)圖像中不同類型的邊緣，有效的提取了鋼板表面缺陷圖像的邊緣，完成鋼板缺陷檢測。但是，此技術(shù)未充分考慮缺陷邊緣特征微弱性和背景干擾，往往影響了檢測準(zhǔn)確性。以此技術(shù)處理原圖5，拼接結(jié)果如圖8所示，框線標(biāo)注區(qū)域即檢測失誤區(qū)域，可見未檢測正確。

利用對(duì)照組文獻(xiàn)[4]技術(shù)，使得圖像局部過亮的情形得到了很大改善，為圖像后續(xù)的分割處理提供了極大便利，利用最大熵分割方法對(duì)增強(qiáng)處理后的圖像進(jìn)行分割，達(dá)到了檢出鋼板缺陷的目的。以此技術(shù)處理原圖5，檢測結(jié)果如圖9所示，框線標(biāo)注區(qū)域即檢測失誤區(qū)域，可見未檢測正確。

為了評(píng)估本文算法的穩(wěn)定性，利用工業(yè)相機(jī)采集1000幅鋼板缺陷圖像作為測試集。其中，對(duì)比度較低的樣本數(shù)量有150幅，光照不均的樣本數(shù)量為200幅，缺陷輪廓較為復(fù)雜的樣本有200幅，其余為正常缺陷圖像。通過統(tǒng)計(jì)識(shí)別正確的缺陷圖像數(shù)量，結(jié)果見表1。由表可知，所提算法的正確檢測率是最高的，約為97.6%，而文獻(xiàn)[3]、文獻(xiàn)[4]兩種技術(shù)的正確檢測率不佳，分別為90.3%、89.2%。這顯示所提算法具有良好的穩(wěn)定性。

圖5 原圖 圖6 SIFT特征檢測結(jié)果

圖7 本文算法的檢測結(jié)果 圖8 文獻(xiàn)[3]的檢測結(jié)果

圖9 文獻(xiàn)[4]的檢測結(jié)果

表1 圖像檢測率

3 結(jié)論

為了解決當(dāng)前鋼板缺陷表面邊緣具有低對(duì)比度，背景復(fù)雜干擾和光照不均，導(dǎo)致算法檢出能力不足的問題，本文分別從高斯差分、尺度空間函數(shù)、SIFT特征和神經(jīng)網(wǎng)絡(luò)出發(fā)，提出了基于SIFT特征與五層BP神經(jīng)網(wǎng)絡(luò)的鋼板缺陷檢測算法。根據(jù)缺陷尺度空間旋轉(zhuǎn)歸一化特性，對(duì)圖像進(jìn)行處理，分離缺陷與背景?；谌毕萆疃忍卣?，利用自主推導(dǎo)構(gòu)建起128-16-28-42-1的五層網(wǎng)絡(luò)架構(gòu)，達(dá)到準(zhǔn)確檢測鋼板缺陷的目的。實(shí)驗(yàn)結(jié)果表明：本文鋼板缺陷檢測算法具有更高準(zhǔn)確度和穩(wěn)定性。

[1] Liviu Bereteu, Mircea Vod?, Tiberiu Medgyesi. Defects Detection on the Welded Thin Steel Plates Using Vibroacustic Method[J]. Advanced Materials Research，2014, 14(7): 212-217.

[2] Lu Jili,Lin Mingxing,Huang Yan. A High-Accuracy Algorithm for Surface Defect Detection of Steel Based on DAG-SVM[J]. Journal of Geophysical Research Atmospheres, 2013 , 157 (10):412-418.

[3] 吳彬彬, 湯勃,孔建益,等. MAS小波的鋼板表面缺陷邊緣檢測的研究[J]. 機(jī)械設(shè)計(jì)與制造，2015(5):43-46.

[4] 高如新,楊曉雪,齊成.基于鋼板表面缺陷檢測的圖像增強(qiáng)研究[J]. 河南理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2015, 34(6): 850-854.

[5] 胡明星, 王小蘭. 模板匹配優(yōu)化耦合圖像校正的旋轉(zhuǎn)工件目標(biāo)定位算法[J]. 組合機(jī)床與自動(dòng)化加工技術(shù), 2016(6) : 35-38.

[6] MU Kenan, Fei Hui, Xiangmo Zhao. Multiscale Edge Fusion for Vehicle Detection Based on Difference of Gaussian [J]. Optik-International Journal for Light and Electronic, 2016, 127 (11): 4794-4798.

[7] Le Ting Zhang, Ya Ping Wu, Ming Qiang Wei. The Method Based on BP Neural Network of Pile Foundation Defect Detection[J]. Applied Mechanics & Materials, 2014, 687(12): 952-956.

[8] 曹存存, 樊文欣, 楊華龍. 基于BP神經(jīng)網(wǎng)絡(luò)的連桿襯套磨損量預(yù)測[J]. 組合機(jī)床與自動(dòng)化加工技術(shù), 2016(8):50-53.

[9] Qing Hua Li, Di Liu. Aluminum Plate Surface Defects Classification Based on the BP Neural Network [J]. Applied Mechanics & Materials, 2015, 734(76): 543-547.

[10] 周斌, 曹勇, 王禹林. 基于BP神經(jīng)網(wǎng)絡(luò)的大型螺紋旋風(fēng)銑削表面粗糙度預(yù)測[J]. 組合機(jī)床與自動(dòng)化加工技術(shù), 2015(7):5-7.

SteelPlateDefectionDetectionAlgorithmBasedonSIFTFeatureandMulti-LayerBPNeuralNetwork

ZHU Xiao-jun, HAN Lin, ZOU Xiang-ling

(School of Information Engineering, HeNan Radio & Television University, Zhengzhou 450002，China)

In order to solve the current steel plate surface defect contrast weak edge, complex and uneven illumination, lead to the problem of insufficient recognition detection algorithm, the steel plate defection detection algorithm based on SIFT feature and multi-layer BP neural network was proposed. Firstly, the Gaussian difference and Hessian matrix were introduced to calculate the spatial scale function for statistical SIFT depth vector features to complete defect detection and collection. Then, the output of fifth layers is calculated for filtering the interference of pseudo SIFT feature, and multilayer BP neural network topology analysis operator was established to achieve the purpose of accurate identification plate defects. Finally, detection system software was designed based on the software engineering to test the defect detection accuracy of this algorithm. The experimental results show that the algorithm is more accurate and robust compared with the current steel plate defection detection technology.

steel plate defect detection; SIFT feature; BP neural network; spatial scale; depth vector

TH162;TG506

A

(編輯李秀敏)