一種高速在線檢測(cè)五金工件表面缺陷系統(tǒng)

黃景維

摘要：該文研究一種高速在線檢測(cè)五金工件表面缺陷的機(jī)器視覺(jué)系統(tǒng)。該系統(tǒng)中利用兩個(gè)特征輪廓中心點(diǎn)連接法求出五金工件的相對(duì)傾斜角度，通過(guò)圖像旋轉(zhuǎn)對(duì)其進(jìn)行位置的校正；通過(guò)標(biāo)準(zhǔn)圖像的灰度圖與被檢測(cè)圖像的灰度圖進(jìn)行相減，得到差值圖像，將差值大于閾值的像素點(diǎn)視為缺陷像素點(diǎn)；利用Sobol均勻隨機(jī)投點(diǎn)法快速定位缺陷的位置；應(yīng)用缺陷灰度圖積分算法，避免了五金工件受光照和位置的影響而造成對(duì)缺陷的誤判；得到缺陷位置后提取缺陷信息，采用BP人工神經(jīng)網(wǎng)絡(luò)對(duì)缺陷進(jìn)行分類(lèi)，記錄每個(gè)有表面缺陷的五金工件的缺陷個(gè)數(shù)和缺陷種類(lèi)，把這些缺陷信息記錄在Access數(shù)據(jù)庫(kù)中。在實(shí)際現(xiàn)場(chǎng)運(yùn)行中，該系統(tǒng)實(shí)現(xiàn)了五金工件100%全面在線檢測(cè)表面缺陷要求，在高速檢測(cè)的環(huán)境下能夠穩(wěn)定運(yùn)行。

關(guān)鍵詞：五金工件；表面缺陷；機(jī)器視覺(jué)；檢測(cè)

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）27-0194-03

Abstract： In this paper，an online high-speed system for surface defect inspection of hardware is studied. In this system，the relative angle of hardware is calculated by using two feature contour central point connection method； the position of hardware in image is corrected by image rotation.In order to get the difference image，the grayscale iamge of the standard image is reduced with the grayscale image of the detected image；the pixel point where the difference value is greater than the threshold is considered as a defect pixel point.It uses the Sobol uniform random shots method to identify the location of defect quickly.The system uses the defect gray scale integral algorithm that can avoid the misjudgment of the defect by the influence of the illumination and position of the hardware.The defcet information is extracted after the defect position is obtained，and use the BP artificial neural network to classify the defects，and record the defect number and defect type of each hardware artifact with surface defect and record the defect information in the Access database.In the actual running process，the system can realizes the requirement that detect all the surface defect in real-time ，and it can be stable to detect in the high-speed environment.

Key words： hardware；surface defect； machine vision； inspection

1 背景

在五金工件生產(chǎn)的過(guò)程中，由于加工設(shè)備的不良或工人操作的不當(dāng)，會(huì)導(dǎo)致五金工件表面帶有缺陷。五金工件產(chǎn)品的表面主要存在毛刺、劃痕、碎屑、臟污等缺陷。傳統(tǒng)的五金工件表面缺陷檢測(cè)方法主要是依賴(lài)人的眼睛進(jìn)行觀察，這種方法不僅低效而且在長(zhǎng)時(shí)間工作下和嘈雜的環(huán)境中工人會(huì)出現(xiàn)視覺(jué)疲勞，容易出現(xiàn)誤檢或者漏檢。

隨著科學(xué)技術(shù)的發(fā)展，基于機(jī)器視覺(jué)的自動(dòng)目視檢測(cè)技已經(jīng)術(shù)越來(lái)越成熟，應(yīng)用范圍也越來(lái)越廣泛。對(duì)于缺陷檢測(cè)類(lèi)系統(tǒng)來(lái)說(shuō)，高質(zhì)量圖像的獲取和判斷表面缺陷的存在與否是缺陷檢測(cè)系統(tǒng)最關(guān)鍵的部分[1]。 從實(shí)際角度看，影響系統(tǒng)檢測(cè)能力的因素有：機(jī)器視覺(jué)檢測(cè)系統(tǒng)容易受到光照影響，要突顯五金工件表面的缺陷特征，并且使工業(yè)相機(jī)獲取高質(zhì)量的圖像，這對(duì)于光源系統(tǒng)的設(shè)計(jì)是一個(gè)重大的考驗(yàn)[2]；手動(dòng)將五金工件在擺放在傳送帶上標(biāo)定好的檢測(cè)工位上，工件會(huì)存在一定的傾斜角度；為了提高機(jī)器視覺(jué)檢測(cè)系統(tǒng)的檢測(cè)精度，使用大分辨率工業(yè)相機(jī)必定會(huì)導(dǎo)致計(jì)算機(jī)處理圖像數(shù)據(jù)的時(shí)間增加。

為了解決以上問(wèn)題，本系統(tǒng)將在硬件設(shè)計(jì)和軟件設(shè)計(jì)兩方面入手，根據(jù)五金工件表面的特點(diǎn)設(shè)計(jì)相應(yīng)的燈光系統(tǒng)，再現(xiàn)五金工件表面缺陷；根據(jù)五金工件表面輪廓，制定特征輪廓中心連線算法對(duì)工件進(jìn)行位置校正；使用均勻隨機(jī)投點(diǎn)法快速定位缺陷位置；應(yīng)用BP人工神經(jīng)網(wǎng)絡(luò)對(duì)缺陷進(jìn)行識(shí)別，把缺陷信息記錄到Access數(shù)據(jù)庫(kù)中。

2 系統(tǒng)描述

2.1 系統(tǒng)組成

五金工件表面缺陷檢測(cè)系統(tǒng)如圖1所示。檢測(cè)系統(tǒng)硬件組成部分包括可調(diào)速傳送帶實(shí)驗(yàn)平臺(tái)、環(huán)形LED燈光系統(tǒng)、工業(yè)相機(jī)、顏色變化傳感器、擋光黑箱、硬件控制電路、分揀裝置、主控計(jì)算機(jī)。

當(dāng)顏色變化傳感器遇到紅色觸發(fā)條時(shí)候，由于觸發(fā)條的顏色和傳送帶的顏色不一樣，顏色變化傳感器因?yàn)檫@個(gè)顏色的變化而產(chǎn)生一個(gè)觸發(fā)信號(hào)，觸發(fā)信號(hào)促使硬件控制電路控制環(huán)形LED燈光系統(tǒng)進(jìn)行曝光，并且觸發(fā)相機(jī)在曝光時(shí)間里進(jìn)行圖像采集；計(jì)算機(jī)通過(guò)讀取相機(jī)緩存數(shù)據(jù)的回調(diào)函數(shù)得到圖像信息，通過(guò)圖像處理技術(shù)，識(shí)別當(dāng)前被檢測(cè)工件表面是否存在缺陷；若遇到有表面缺陷的五金工件，計(jì)算機(jī)記錄缺陷信息，硬件控制電路控制分揀裝置將不合格的五金工件從傳送帶上推出去。endprint

2.2 燈光系統(tǒng)設(shè)計(jì)

五金工件表面缺陷檢測(cè)對(duì)燈光的要求是：光照亮度均勻，不能有陰影，工件表面不能有反光，工件表面亮度與背景對(duì)比度高，避免外接光線的干擾。

根據(jù)以上需要，本系統(tǒng)選擇的是藍(lán)色LED光源，由于藍(lán)色光的波長(zhǎng)較短，容易被散射[4]，所以不容易造成陰影，同時(shí)也可以增強(qiáng)工件表面與背景的對(duì)比度；燈光系統(tǒng)做成環(huán)形可以使整個(gè)檢測(cè)工位的光照亮度都均勻，不容易造成工件表面反光；在相機(jī)和環(huán)形LED燈光系統(tǒng)外面安裝一個(gè)擋光黑箱可以抵擋外界光線的干擾。

3 算法描述

3.1 算法流程

檢測(cè)系統(tǒng)的處理過(guò)程包括圖像采集、去噪、灰度化、二值化、邊緣檢測(cè)、位置校正、缺陷定位、消除誤差、缺陷分類(lèi)、缺陷統(tǒng)計(jì)。

3.2 位置校正

由于工件時(shí)人工擺放在檢測(cè)工位上，每個(gè)工件的位置與標(biāo)準(zhǔn)工件的位置都存在一定的傾斜偏差[5]，所以要對(duì)圖像中工件的位置進(jìn)行校正。

從相機(jī)緩存區(qū)讀取圖像數(shù)據(jù)，經(jīng)過(guò)初步的圖像處理后（去噪、灰度化、二值化），使用邊緣檢測(cè)算法獲取圖像中工件的邊緣輪廓圖像。采用特征輪廓中心連線法求工件的傾斜角度，以下是該算法描述。

由于工件表面輪廓各有特點(diǎn)，根據(jù)每個(gè)工件表面輪廓的特點(diǎn)選定兩個(gè)不同的輪廓，以標(biāo)準(zhǔn)工件表面上的這兩輪廓的中心點(diǎn)連線的角度作為一個(gè)位置校正標(biāo)準(zhǔn)。特征輪廓可以選擇工件表面上具有明顯特點(diǎn)的輪廓，例如最大或最小的圓形輪廓、正方形、矩形等等。為了快速找到圖像中工件的輪廓位置和輪廓的中心點(diǎn)，本系統(tǒng)使用了OpenCV提供的cvFindContours函數(shù)和cvMinAreaRect2 函數(shù)。cvFindContours可以從二值圖像中檢索輪廓，并返回檢測(cè)到的輪廓的個(gè)數(shù)。函數(shù)的參數(shù)first_contour的值由函數(shù)填充返回，它的值將為第一個(gè)外輪廓的指針，當(dāng)沒(méi)有輪廓被檢測(cè)到時(shí)為NULL。檢索其它輪廓可以使用h_next和v_next連接，從first_contour到達(dá)。將每個(gè)contour代入cvMinAreaRect2 函數(shù)，cvMinAreaRect2 函數(shù)后返回的數(shù)據(jù)類(lèi)型是：

在檢測(cè)過(guò)程中，根據(jù)選擇的兩個(gè)特征輪廓，通過(guò)cvFindContours函數(shù)和cvMinAreaRect2 函數(shù)處理獲取兩個(gè)特征輪廓的中點(diǎn)坐標(biāo)（center1.x，center1.y）和（center2.x，center2.y），計(jì)算連線的斜率：[k=center1.y-center2.ycenter1.x-center2.x]，利用斜率可以反求角度。得到工件的傾斜角度后，通過(guò)旋轉(zhuǎn)傾斜角度對(duì)圖像中的工件進(jìn)行位置校正，將圖像中工件的位置平移到標(biāo)準(zhǔn)工件的同一個(gè)位置。

3.3 缺陷定位

被檢測(cè)圖像經(jīng)過(guò)位置校正后，與標(biāo)準(zhǔn)圖像進(jìn)行圖像差計(jì)算，設(shè)標(biāo)準(zhǔn)圖像灰度化圖像為S，被檢測(cè)圖像灰度化圖像為R，差值[E=|S（x，y）-R（x，y）|]，若該點(diǎn)的差值大于閾值T1，則視為存在缺陷點(diǎn)，該點(diǎn)設(shè)為黑點(diǎn)（像素值0），否則設(shè)為白點(diǎn)（像素值255）。計(jì)算完成后得到差值圖像。在差值圖像中使用均勻隨機(jī)投點(diǎn)法定位缺陷位置，以下是實(shí)現(xiàn)該算法的步驟描述。

1） 確定隨機(jī)投點(diǎn)的序列，包括投點(diǎn)的數(shù)量，采樣方法。

根據(jù)圖像分辨率大小和實(shí)際需求的檢測(cè)準(zhǔn)確率，可取相機(jī)分辨率的1%～10%的取點(diǎn)數(shù)量。如兩百萬(wàn)分辨率相機(jī)，可以取2萬(wàn)～10萬(wàn)個(gè)投點(diǎn)；三百萬(wàn)分辨率相機(jī)可取3萬(wàn)～30萬(wàn)個(gè)投點(diǎn)。

Sobol序列是一種半隨機(jī)序列的一種[3]，Sobol序列法的采樣比均勻分布隨機(jī)數(shù)列的采樣更加均勻[5]。它可以拓展到任意維度，是一個(gè)覆蓋率高而且穩(wěn)定的隨機(jī)序列[6]。如圖2所示，Sobol序列和均勻隨機(jī)序列在（0，1）區(qū)間采樣點(diǎn)的分布，采樣點(diǎn)數(shù)量為100個(gè)，Sobol序列在（0，1）區(qū)間的分布比均勻隨機(jī)數(shù)列分布更加均勻。

2） 取得一定數(shù)量的Sobol序列采樣點(diǎn)后，根據(jù)采集點(diǎn)的坐標(biāo)，判斷差值圖像上對(duì)應(yīng)的坐標(biāo)像素值，如果遇到是黑點(diǎn)且不在已檢測(cè)缺陷包圍盒內(nèi)，定為起始包圍盒的原點(diǎn)。以該像素點(diǎn)的坐標(biāo)為原心，規(guī)定以原心的正左、正右、正上、正下四個(gè)方向的方向增量分別為[{Add_lx，Add_ly，Add_rx，Add_ry}]，將這四個(gè)變量初始化為1，它們構(gòu)成最原始的包圍盒大小。包圍盒的大小變化根據(jù)包圍盒外圍邊緣是否有黑點(diǎn)而變化，其原理表示：

其中，變量Out Row_lx代表包圍盒的正左外邊緣是否有黑點(diǎn)，若沒(méi)有黑點(diǎn)，則該變量值為False，方向的增量Add_lx停止增加；若有黑點(diǎn)，則該變量值為T(mén)rue方向的增量Add_lx增加，其余三個(gè)變量也是如此。直到[OutRow_lx=False；OutRow_ly=False；OutRow_rx=False；OutRow_ry=False；]成立，則退出while循環(huán)，求出缺陷位置。

實(shí)驗(yàn)證明，均勻隨機(jī)投點(diǎn)缺陷定位法與行程長(zhǎng)編碼（RLE算法）和8-鄰域搜素算法相比，均勻隨機(jī)投點(diǎn)法是一種圖像局部搜索缺陷的方法，比起圖像全局搜索方法的RLE算法和8-鄰域搜索算法有明顯的速度優(yōu)勢(shì)，見(jiàn)表1。實(shí)驗(yàn)環(huán)境是同一臺(tái)主機(jī)上（處理器為Intel core i5-4210U CPU @ 1.70GHz 2.4GHz，運(yùn)行內(nèi)存8GB），對(duì)3200*2400像素含5個(gè)缺陷的灰度圖進(jìn)行缺陷檢測(cè)，時(shí)間評(píng)估函數(shù)為VC6.0中的clock（）函數(shù)。

3.4 誤差消除

在實(shí)際檢測(cè)過(guò)程中，每個(gè)工件擺放在檢測(cè)工位上的位置有偏差，以致相機(jī)與工件之間存在的角度也會(huì)有所偏差，而且每個(gè)工件的偏差也會(huì)不一樣，即使通過(guò)一些算法對(duì)其進(jìn)行位置校正，將其與標(biāo)準(zhǔn)圖位校正同一個(gè)位置，但是還是難以保證被檢測(cè)圖像與標(biāo)準(zhǔn)圖像能夠絕對(duì)重合。這種情況會(huì)有可能導(dǎo)致圖像差值計(jì)算過(guò)程中，對(duì)應(yīng)的像素點(diǎn)是否為缺陷點(diǎn)會(huì)造成誤判。

其中，T是積分值；R（x，y）是被檢測(cè)圖像的灰度圖；（lx，ly）和（rx，ry）分別是缺陷包圍盒的左上角和右下角坐標(biāo)；P（x，y）是缺陷的點(diǎn)灰度像素值。endprint

3.5 缺陷分類(lèi)和統(tǒng)計(jì)

五金工件產(chǎn)品的表面主要存在毛刺、凹陷、碎屑、臟污等缺陷。識(shí)別缺陷類(lèi)型和缺陷信息統(tǒng)計(jì)對(duì)于生產(chǎn)五金工件的過(guò)程具有重要的指導(dǎo)意義。本系統(tǒng)采用BP人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)五金工件表面缺陷的分類(lèi)，BP網(wǎng)絡(luò)對(duì)應(yīng)輸入6種缺陷特征：面積、長(zhǎng)寬比、灰度像素平均值、缺陷位置、密度、色度，輸出是常見(jiàn)的4種常見(jiàn)的缺陷。經(jīng)過(guò)大量的學(xué)習(xí)和改進(jìn)，識(shí)別4種缺陷的準(zhǔn)確率達(dá)到了90%以上。識(shí)別缺陷類(lèi)型后，將缺陷信息（包括缺陷類(lèi)型、缺陷數(shù)量、缺陷位置、當(dāng)前次品數(shù)）記錄到Access數(shù)據(jù)庫(kù)中。

4 實(shí)驗(yàn)結(jié)果

本系統(tǒng)在已搭建的硬件平臺(tái)下進(jìn)行在實(shí)驗(yàn)操作，采用200萬(wàn)分辨率線陣CCD作為采集相機(jī)，系統(tǒng)中傳送帶實(shí)際長(zhǎng)度為2m，初步設(shè)定傳送帶向前速度為0.2m/s，相鄰兩個(gè)檢測(cè)工位間隔為0.6m。實(shí)驗(yàn)檢測(cè)如圖3所示的五金工件樣品。

4.1 算法效率

本系統(tǒng)中，部分圖像處理過(guò)程采用OpenCV提供的圖像處理函數(shù)，其中包括圖像灰度化、去噪、二值化、邊緣檢測(cè)。OpenCV使用優(yōu)化的C代碼編寫(xiě)，并且充分發(fā)揮多核處理的優(yōu)勢(shì)。它的算法效率至少是C語(yǔ)言的2倍以上。表2是統(tǒng)計(jì)圖像處理各個(gè)流程所消耗的時(shí)間和總流程的時(shí)間消耗，在同一臺(tái)計(jì)算機(jī)中與C語(yǔ)言實(shí)現(xiàn)比較（靜態(tài)檢測(cè)），表中t為本系統(tǒng)消耗時(shí)間，[tc]為C語(yǔ)言消耗時(shí)間。

根據(jù)靜態(tài)檢測(cè)的時(shí)間可以有效利用傳送帶的長(zhǎng)度，將每個(gè)檢測(cè)工位相隔的距離設(shè)置更合理。由表2可知，本系統(tǒng)在傳送帶靜態(tài)下檢測(cè)一個(gè)工件，圖像處理時(shí)間為172ms，可以設(shè)計(jì)每個(gè)工件檢測(cè)工位時(shí)間為200ms。從理論上分析，只要傳送帶足夠長(zhǎng)，系統(tǒng)最高檢測(cè)速度可達(dá)180個(gè)/分鐘～240個(gè)/分鐘；C語(yǔ)言的檢測(cè)單個(gè)工件的時(shí)間約為500毫秒/個(gè)，檢測(cè)速度最多只能達(dá)到100個(gè)/分鐘～120個(gè)/分鐘。

4.2 檢測(cè)精度與缺陷檢測(cè)

本系統(tǒng)的檢測(cè)精度由檢測(cè)對(duì)象和檢測(cè)分辨率決定。如圖4所展示，本系統(tǒng)在傳送帶以1m/s的高速下能夠檢測(cè)最小缺陷大小約為0.5mm*0.5mm，檢測(cè)最小寬度為0.5mm，檢測(cè)最小長(zhǎng)度為0.8mm。系統(tǒng)能夠高速運(yùn)行下穩(wěn)定檢測(cè)毛刺、污跡、劃痕、雜料（填充）等四種常見(jiàn)的缺陷類(lèi)型。

參考文獻(xiàn)：

[1] 張建川. 紅鋼棒材表面缺陷圖像采集與檢測(cè)系統(tǒng)研究[D]. 濟(jì)南： 山東大學(xué)， 2012.

[2] 余文勇， 周祖德， 陳幼平. 一種高速印刷品缺陷在線檢測(cè)系統(tǒng)[J]. 華中科技大學(xué)學(xué)報(bào)， 2006， 34（6）：80-83.

[3] 潘金京， 李宗民. 一種改進(jìn)的基于Sobol序列的快速線積分卷積法[J]. 中國(guó)石油大學(xué)學(xué)報(bào)， 2007， 31（3）：163-166.

[4] 朱霞. 不規(guī)則零件機(jī)械視覺(jué)檢測(cè)中的關(guān)鍵技術(shù)研究[D]. 南京： 南京航空航天大學(xué)， 2015.

[5] Joe S， Kuo F Y. Constructing Sobol0sequences with better two-dimensionalprojections[J]. SIAM J. Sci. Comput.，2008（30）：2635-2654.

[6] Joe S， Kuo F Y. Remark on Algorithm 659： Implementing Sobols quasir-andom sequence generator[J]. ACM Trans. Math. Softw.， 2003，29： 49-57.endprint