基于機(jī)器視覺的帶鋼表面缺陷檢測系統(tǒng)設(shè)計

劉 坤，陳寧紀(jì)，張曉懌，陳海永，孫鶴旭

（1.河北工業(yè)大學(xué) 控制科學(xué)與工程學(xué)院，天津 300130；2.河北科技大學(xué)，石家莊 050000）

0 引言

作為制造業(yè)的支柱性產(chǎn)業(yè)，鋼鐵行業(yè)近些年來的生產(chǎn)規(guī)模持續(xù)擴(kuò)大，相關(guān)行業(yè)的用戶對帶鋼表面質(zhì)量的要求也越來越嚴(yán)格，目前帶鋼的表面質(zhì)量已成為國內(nèi)外市場競爭的關(guān)鍵性指標(biāo)。然而，因?yàn)樵牧?、軋制設(shè)備、加工工藝等因素，帶鋼表面不可避免的存在孔洞、豁口、劃痕、輥印、邊裂等不同類型的缺陷[1～3]。這些缺陷不僅影響產(chǎn)品的外觀，還會降低產(chǎn)品的抗腐蝕性、耐磨性、抗疲勞程度等，給相關(guān)生產(chǎn)企業(yè)帶來了極大的經(jīng)濟(jì)損失。

現(xiàn)有的帶鋼表面缺陷檢測技術(shù)大多停留在采用人工目視抽檢的方法，根據(jù)檢測員的經(jīng)驗(yàn)和概率估算進(jìn)行帶鋼綜合質(zhì)量評估。由于人眼的空間分辨力和時間分辨力有限，因此難以檢測帶鋼表面的微小缺陷，也很難保證系統(tǒng)的實(shí)時在線的檢測[4]。因此，為了滿足短期內(nèi)對高質(zhì)量產(chǎn)品不斷增長的需求，智能檢測系統(tǒng)在生產(chǎn)線上的使用的越來越必要，設(shè)計帶鋼加工質(zhì)量與過程信息的自動獲取、表達(dá)、分析、傳遞和利用的檢測系統(tǒng)，這也是實(shí)現(xiàn)智能制造技術(shù)的重要手段。

本文圍繞帶鋼生產(chǎn)線的實(shí)際檢測需求，利用機(jī)器視覺技術(shù)，在VS2010平臺下采用相關(guān)的圖像處理算法，開發(fā)出一個帶鋼表面缺陷自動檢測系統(tǒng)，克服了人工檢測的不足，有效提高了帶鋼的缺陷檢測效率。

1 檢測系統(tǒng)的構(gòu)成

帶鋼表面質(zhì)量檢測系統(tǒng)主要由視覺傳感系統(tǒng)、計算機(jī)系統(tǒng)、電氣系統(tǒng)、軟件系統(tǒng)及機(jī)械輔助設(shè)備五大部分組成。整體架構(gòu)如圖1所示。

圖1 帶鋼表面檢測系統(tǒng)整體架構(gòu)

系統(tǒng)通過CCD攝像機(jī)及光源組成的成像系統(tǒng)對帶鋼上下表面進(jìn)行不間斷的掃描，形成高清晰的帶鋼表面圖像，這些帶有缺陷或不帶有缺陷（稱為背景）的圖像通過專用的GIGE電纜或光纖傳輸至圖像處理計算機(jī)，通過運(yùn)行于其中的圖像處理算法對其進(jìn)行分析，濾除不含缺陷的背景圖像，對含有缺陷的圖像進(jìn)行目標(biāo)分割，提取缺陷的位置并合并相同屬性的缺陷形成相關(guān)的感興趣區(qū)域（ROI, Region of interest），然后通過終端計算機(jī)系統(tǒng)進(jìn)行呈現(xiàn)（包括缺陷位置、大小、嚴(yán)重程度等信息）、缺陷存儲、報警等操作。

2 系統(tǒng)硬件設(shè)計

2.1 光源設(shè)計

工業(yè)視頻相機(jī)最短的曝光時間（1/10000秒=100us），針對現(xiàn)場中高速運(yùn)動下的目標(biāo)，在100us時間內(nèi)，對于運(yùn)動速度為20m/s的帶鋼鋼卷，其移動了2mm的距離，導(dǎo)致對于1mm的缺陷或更小的缺陷模糊不清，無法精確檢測，因此我們需要其他機(jī)構(gòu)來確保更短的曝光時間。

為解決這個問題，這里使用頻閃燈作為主導(dǎo)光源，同時，對于熱軋帶鋼生產(chǎn)系統(tǒng)，使用藍(lán)光透鏡濾片和紅外光阻擋濾片輔助完成帶鋼表面圖像的采集。另外，為了確保頻閃光的開啟始終與快門的打開時間同步，通過相機(jī)和光源的外部觸發(fā)接頭送入同步信號，其中相機(jī)的觸發(fā)不僅要與頻閃燈同步，還需要與板卷速度同步。

2.2 相機(jī)選型與設(shè)計

由于帶鋼在實(shí)際工業(yè)現(xiàn)場中的運(yùn)動速度非常快（20m/s左右），為了完全采集帶鋼表面圖像，需要使用高速高幀率的工業(yè)數(shù)字相機(jī)。相機(jī)與光源的安裝位置示意圖及相對位置關(guān)系如圖2所示。

圖2 相機(jī)與光源安裝位置示意圖

假設(shè)d為相機(jī)之間的距離，n為相機(jī)的個數(shù)，cd為視場在帶鋼表面重疊的距離（垂直方向），Width為帶鋼的寬度。根據(jù)相機(jī)與帶鋼表面之間的幾何關(guān)系，我們可以得到下面的公式：

根據(jù)上述公式中的參數(shù)約束關(guān)系，可以計算得到的最大測量寬度為1788mm，考慮到兩邊需要留有一些余量，兩邊各自20mm，可以實(shí)現(xiàn)寬度為1748mm帶鋼的橫向測量。

結(jié)合帶鋼的實(shí)際運(yùn)動速度，本文選擇205幀/秒的AVT GE680高速相機(jī)來采集帶鋼圖像。測量的帶鋼寬度為1748mm，單個相機(jī)在帶鋼表面的視場為384mm。需要5個相機(jī)才能完全覆蓋帶鋼表面。相機(jī)架構(gòu)參數(shù)如下：

分辨率為：640×480pixel；

水平分辨率=384mm/640pixels=0.6mm/pixel；

垂直分辨率=384mm/480pixels=0.8mm/pixel；

鏡頭焦距為35mm；

安裝高度為2810mm；

相機(jī)視場的重合部分寬度為33mm；

相機(jī)之間的距離為351mm。

3 軟件與算法設(shè)計

缺陷檢測軟件部分的流程圖如圖3中所示。針對初始的圖像采集結(jié)果，為了降低隨機(jī)噪聲帶來的影響，減少偽缺陷的產(chǎn)生，首先對圖像進(jìn)行高斯平滑處理；然后對圖像中的疑似缺陷位置進(jìn)行檢測，實(shí)現(xiàn)疑似缺陷目標(biāo)與背景的分離與提??；最后對缺陷疑似區(qū)域的圖像信息進(jìn)行特征編碼后，在編碼空間內(nèi)進(jìn)行缺陷的精確檢測與定位，再合并具有相同屬性的缺陷區(qū)域，獲得關(guān)于缺陷的位置、大小，嚴(yán)重程度等信息，并將進(jìn)行缺陷信息的存儲、報警等操作。

圖3 檢測軟件流程圖

3.1 疑似缺陷檢測

這里假設(shè)理想的無缺陷圖像亮度分布是均勻一致的，而缺陷部分的圖像亮度分布具有一定的隨機(jī)性，且與周圍區(qū)域存在一定的差異。根據(jù)人類的視覺感知機(jī)制，這些亮度上的差異會引起視覺的注意。因此，本文利用高斯差分模型DOG（Difference of Gaussian）檢測帶鋼表面中需要“注意”的信息。具體的操作是，通過高斯濾波器的差分響應(yīng)模型提取圖像中不同位置的中央周圍亮度對比特征，與周圍亮度差異大的區(qū)域被認(rèn)為是疑似缺陷目標(biāo)。

定義圖像預(yù)處理操作后得到的圖像為Im(x,y)，對其進(jìn)行高斯卷積后得到的拉普拉斯函數(shù)L(,,) x y σ如下式所示：

這里*表示在x和y方向上的卷積操作。通過拉普拉斯函數(shù)與原始圖像的差分操作，得到高斯差分函數(shù)為D(,,) x y σ：

將對比后得到的圖像進(jìn)行自適應(yīng)閾值化處理，即可得到圖像中的疑似缺陷位置。通過對采集的帶鋼樣本圖像進(jìn)行統(tǒng)計分析后發(fā)現(xiàn)，閾值的選取與圖像的灰度平均值有關(guān)，這一關(guān)系可以用下式表示：

其中m為待檢測帶鋼圖像的灰度平均值，C是一常數(shù)，可以通過實(shí)驗(yàn)統(tǒng)計分析得到C=5。

3.2 特征編碼與缺陷精確定位

為了進(jìn)一步確定缺陷的精確位置信息， 本文通過對缺陷圖像進(jìn)行特征編碼，將其轉(zhuǎn)換到相應(yīng)的編碼空間中實(shí)現(xiàn)缺陷的精確檢測。這里利用LBP（Local Binary Pattern）特征算子完成圖像的特征編碼轉(zhuǎn)換和編碼空間的建立。

LBP算子最初是由T. Ojala等人于1996年提出[5,6]，自提出之后被廣泛應(yīng)用于各類目標(biāo)的特征提取，它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn)。通過比較像素點(diǎn)與窗口周圍像素點(diǎn)的灰度值之間的差別，根據(jù)差別的大小進(jìn)行編碼，然后最小化得到具有旋轉(zhuǎn)不變性的描述算子，能夠有效地描述缺陷的紋理。LBP編碼方式如下所示：

式(6)中的LBP為編碼后的數(shù)值，gc為中心點(diǎn)像素亮度值，gi為在自定義的窗口內(nèi)中心像素點(diǎn)周圍p個像素點(diǎn)亮度值，函數(shù)S如式(7)所示：

因?yàn)樵嫉腖BP特征編碼方式過于簡單，圖像中不同亮度的差異會產(chǎn)生相同的編碼結(jié)果，這樣導(dǎo)致算法對于隨機(jī)噪聲的抗干擾能力較差，會不可避免地導(dǎo)致大量偽缺陷的產(chǎn)生。為了解決該問題，本文對LBP特征編碼方法進(jìn)行如下改進(jìn)：

上式中T為設(shè)定的閾值，閾值的引進(jìn)可以有效抑制隨機(jī)噪聲對帶鋼表面圖像的影響，抑制了偽缺陷的產(chǎn)生。同時，為了形成旋轉(zhuǎn)不變的編碼模式，每次計算

LBP編碼值時采用這些旋轉(zhuǎn)結(jié)果中的最小值，計算方法如式(9)所示。

通過對圖像進(jìn)行特征編碼后，原始的基于亮度的表示方法轉(zhuǎn)化為基于編碼空間中紋理信息的表示方法。為了進(jìn)一步精確檢測缺陷的位置信息，利用基于馬氏距離的閾值化方法進(jìn)行缺陷的檢測與定位，閾值的大小可以根據(jù)用戶需求進(jìn)行設(shè)定，不同的閾值對缺陷的敏感程度不同。當(dāng)對帶鋼表面質(zhì)量要求較高時，可選擇較小的閾值T；反之，可以適當(dāng)選擇較大的閾值T。這里，閾值化的公式如式(10)所示：

其中T'為圖像與均值的馬氏距離結(jié)果，函數(shù)S與公式(7)定義相同，Tbin為經(jīng)過二值化閾值后得到的精確缺陷檢測結(jié)果。

3.3 ROI區(qū)域的合并

通過特征編碼空間的建立與缺陷的精確檢測之后，為了得到缺陷的大小和位置信息，需要把具有相同屬性的缺陷像素進(jìn)行合并，找出這些感興趣區(qū)域的最小外接矩形。

為了提高算法的效率，并增強(qiáng)算法的抗噪聲干擾能力，本文的ROI合并分兩步進(jìn)行：1）將LBP編碼后的圖像劃分成不重疊的5×5像素大小的區(qū)域，統(tǒng)計每個窗口內(nèi)缺陷點(diǎn)的數(shù)量，只有當(dāng)窗口內(nèi)部的缺陷點(diǎn)超過一定數(shù)量時才將該窗口定義為包含缺陷的窗口；2）掃描上一步中檢測出的所有缺陷窗口，通過判斷各窗口是否是8鄰域連通，賦予其不同的標(biāo)號。經(jīng)過遍歷查找之后，在帶鋼表面缺陷圖像中可以獲得一系列經(jīng)過標(biāo)號的缺陷窗口。針對具有相同標(biāo)號的缺陷窗口，找到這些窗口的最小外接矩形，并存儲該矩形的位置信息。

圖4 ROI合并效果示例

3.4 軟件界面與操作

本文采用VS2010軟件開發(fā)平臺，開發(fā)出一個完整的帶鋼表面缺陷檢測軟件系統(tǒng)，其中主要包括圖像信息的采集，軟件不同部分與服務(wù)器之間的網(wǎng)絡(luò)通信以及缺陷檢測與定位功能，軟件的初始界面如圖5所示。

圖5 帶鋼表面缺陷檢測軟件界面

為了在有效范圍內(nèi)（即帶鋼表面圖像）檢測帶鋼缺陷，需要將帶鋼圖像與拍攝背景進(jìn)行分離處理，即保留帶鋼圖像部分，對非帶鋼的背景部分進(jìn)行剔除。本文采用投影法對背景圖像進(jìn)行剔除，其中的紅色矩形區(qū)域內(nèi)即為需檢測的帶鋼表面圖像，矩形框之外的部分為背景圖像。針對待檢測的帶鋼表面圖像，通過圖像的預(yù)處理操作、疑似缺陷區(qū)域檢測及精密的缺陷位置提取之后（中間過程軟件界面不予顯示），對檢測結(jié)果進(jìn)行ROI合并，最終的黃色矩形框?yàn)楹喜⒔Y(jié)果。

圖6 缺陷檢測結(jié)果示例

系統(tǒng)啟動之后會自動檢測帶鋼表面圖像中的缺陷信息，軟件界面將直接顯示缺陷檢測及合并后的效果，并將檢測得到的缺陷位置、大小信息等進(jìn)行報警提示與相應(yīng)的存儲操作，以供操作人員查看與處理。

3.5 缺陷檢測結(jié)果統(tǒng)計

為了進(jìn)一步檢驗(yàn)本系統(tǒng)中缺陷檢測算法的有效性，這里利用從實(shí)際生產(chǎn)線上采集的572張帶鋼表面圖像作為測試集，其中包含氧化、孔洞、邊裂、麻點(diǎn)、夾雜、褶皺、劃痕、撞傷等幾十種不同類型和不同嚴(yán)重程度的缺陷圖像，并將檢測結(jié)果與目前常用的Gabor方法[7]相比較，其中準(zhǔn)確率計算公式定義為：

利用上述公式中的計算方法進(jìn)行缺陷結(jié)果的統(tǒng)計分析，分析結(jié)果如表1中所示。

表1 缺陷檢測統(tǒng)計分析

通過實(shí)驗(yàn)統(tǒng)計分析表明，本文提出方法具有更高的準(zhǔn)確率，同時缺陷檢測算法的計算效率也得到了提高。

4 結(jié)束語

本文根據(jù)熱軋帶鋼生產(chǎn)線的實(shí)際運(yùn)行環(huán)境，設(shè)計了一套基于機(jī)器視覺技術(shù)的帶鋼表面缺陷自動檢測系統(tǒng)，其可以對帶鋼加工質(zhì)量和過程信息進(jìn)行自動獲取、表達(dá)、分析、傳遞與分析，從系統(tǒng)整體構(gòu)成、硬件結(jié)構(gòu)、軟件開發(fā)及算法設(shè)計等方面進(jìn)行了深入地研究與系統(tǒng)地設(shè)計。通過大量的測試結(jié)果表明，該系統(tǒng)中設(shè)計的缺陷檢測算法無論在檢測精度還是實(shí)時吞吐量上都具有很大優(yōu)勢，符合實(shí)際生產(chǎn)的需求。另外，本系統(tǒng)中的缺陷檢測方法還可以應(yīng)用于印刷品和其他金屬等同類產(chǎn)品的表面缺陷檢測問題中，具有廣闊的應(yīng)用前景。

[1] F.G. Bulnes,R.Usamentiaga, etc.,Vision-Based Technique for Periodical Defect Detection in Hot Steel Strips[A].IEEE Industry Applications Society Annual Meeting[C].2011,1-8.

[2] S Ghorai, A Mukherjee,M Gangadaran, etc., Automatic defect detection on Hot-rolled fl at steel products[A].IEEE Trans Instrum Meas[C].2013,62(3):612-621.

[3] Valentina Colla,Nicola Matarese,etc., Prediction of Under Pickling Defects on Steel Strip Surface[J].International Journal of Soft Computing and Software Engineering,2011,10(1):35-41.

[4] Mostafa S, Masoud S,and Mohsen S.A New Approach to Improve Defect Detection of Steel Sheets Using Gabor Wavelet[J].International Journal of Information and Electronics Engineering 2013,3(5):541-543.

[5] Ojala T, Pietik?inen M, Harwood D.A comparative study of texture measures with classification based on featured distributions[J].Pattern recognition,1996,29(1):51-59.

[6] Xu Ke, Song Chang.Feature Extraction Method Based on Global Binary Pattern and Its Application[J].26(9):872-877.2013.

[7] 叢家慧,顏云輝,董德威.Gabor濾波器在帶鋼表面缺陷檢測中的應(yīng)用[J].東北大學(xué)學(xué)報:自然科學(xué)版,2010(2):257-260.