基于機(jī)器視覺(jué)的汽車(chē)線(xiàn)束外觀(guān)檢測(cè)方法研究

黃思博，蔡昭權(quán)，方曉彬，陳伽，蔡映雪

（惠州學(xué)院，惠州516007）

0 引言

隨著全球電子信息產(chǎn)業(yè)的快速發(fā)展，我國(guó)已成為全球線(xiàn)束及連接器增長(zhǎng)最快和容量最大的市場(chǎng)[1]，其中，汽車(chē)線(xiàn)束作為汽車(chē)電路的網(wǎng)絡(luò)主體，其質(zhì)量直接關(guān)系車(chē)輛的穩(wěn)定性和安全性[2-3]。在線(xiàn)束生產(chǎn)和裝配過(guò)程中，最常見(jiàn)的缺陷包括線(xiàn)束端子包膠不良[4]、銅線(xiàn)過(guò)長(zhǎng)、過(guò)短，線(xiàn)束沒(méi)有按照規(guī)定的顏色順序接插或漏線(xiàn)等不良，當(dāng)前仍有不少企業(yè)在生產(chǎn)過(guò)程中采取人工目檢的方式對(duì)產(chǎn)品進(jìn)行檢測(cè)，該方式容易受到視覺(jué)疲勞等因素影響而出現(xiàn)漏檢、誤檢，影響不良品的檢出效率，影響線(xiàn)束產(chǎn)品的良品率，且成本較高，無(wú)法滿(mǎn)足相關(guān)企業(yè)對(duì)線(xiàn)束產(chǎn)品質(zhì)量的檢測(cè)要求。本文研究通過(guò)機(jī)器視覺(jué)方法替代傳統(tǒng)的人工檢測(cè)，基于HALCON 算法包研究汽車(chē)線(xiàn)束端子及線(xiàn)束線(xiàn)序的檢測(cè)方法，并通過(guò)C#和HALCON 聯(lián)合編程實(shí)現(xiàn)相關(guān)功能。

1 系統(tǒng)組成及檢測(cè)過(guò)程

線(xiàn)束端子及線(xiàn)序缺陷檢測(cè)系統(tǒng)由工業(yè)相機(jī)、可調(diào)節(jié)實(shí)驗(yàn)工作臺(tái)、光學(xué)鏡頭、照明光源、相應(yīng)的數(shù)據(jù)線(xiàn)和PC 組成。其中，工業(yè)相機(jī)、工業(yè)鏡頭以及光源用于圖像采集，實(shí)驗(yàn)工作臺(tái)可對(duì)相機(jī)和光源夾具進(jìn)行水平和豎直方向的拉伸和微調(diào)，適應(yīng)各種測(cè)試環(huán)境，滿(mǎn)足圖像采集過(guò)程中對(duì)視野的要求。

系統(tǒng)通過(guò)工業(yè)相機(jī)采集汽車(chē)線(xiàn)束圖像，針對(duì)單線(xiàn)端子和線(xiàn)束線(xiàn)材進(jìn)行缺陷檢測(cè)，主要通過(guò)圖像預(yù)處理、Blob 分析、單線(xiàn)端子區(qū)域定位方法和孔洞銅線(xiàn)的特征分析、線(xiàn)束分割、線(xiàn)束顏色及混色線(xiàn)束特征提取分類(lèi)等方法的研究，進(jìn)行缺陷識(shí)別的算法設(shè)計(jì)和驗(yàn)證，并通過(guò)HALCON 與C#的聯(lián)合編程實(shí)現(xiàn)。

2 圖像預(yù)處理

對(duì)圖像的預(yù)處理主要包括圖像灰度化和均值濾波。

將彩色圖像轉(zhuǎn)化為灰度圖像的過(guò)程稱(chēng)為圖像的灰度化處理。對(duì)于灰度化的方式有分量法、最大值法、平均值法，加權(quán)平均法等。本文采用的灰度化方式是加權(quán)平均法，其定義為：

均值濾波器使用濾波器模板確定的鄰域內(nèi)像素的平均灰度值代替圖像中的每個(gè)像素值，降低圖像灰度的尖銳變化，即模糊圖像的邊緣和輪廓。最簡(jiǎn)單的均值濾波器是算術(shù)均值濾波器，定義為：

Sxy表示中心在點(diǎn)(x,y)處、大小為m×n 的矩形子圖像鄰域的一組坐標(biāo)，算術(shù)均值濾波器在Sxy定義的區(qū)域內(nèi)計(jì)算圖像g( s,t )的平均值，將其作為鄰域中心點(diǎn)的像素值f(x,y)。

3 線(xiàn)束定位與特征提取方法研究

在對(duì)汽車(chē)線(xiàn)束的端子和線(xiàn)材檢測(cè)前，需要對(duì)端子和線(xiàn)材進(jìn)行定位以及特征提取。為了實(shí)現(xiàn)線(xiàn)束端子和線(xiàn)束線(xiàn)序的檢測(cè)，需要對(duì)端子和線(xiàn)束進(jìn)行定位，并提取端子和線(xiàn)束的特征。對(duì)于線(xiàn)束端子，先通過(guò)Blob 分析方法，定位出感興趣區(qū)域，再通過(guò)閾值分割銅線(xiàn)區(qū)域，提取區(qū)域高度特征；對(duì)于線(xiàn)束而言，先通過(guò)模板匹配方法，定位出感興趣區(qū)域，再通過(guò)閾值分割出線(xiàn)束區(qū)域，提取顏色矩特征。

3.1 單線(xiàn)端子定位與特征提取方法研究

圖像中具有相似顏色、紋理等特征的區(qū)域，所組成的一塊連通區(qū)域，稱(chēng)作Blob。而B(niǎo)lob 分析[5]是對(duì)圖像中相同像素的連通域進(jìn)行分析和操作，從背景中分離出目標(biāo)。

（1）單線(xiàn)端子Blob 分析定位方法研究

首先基于區(qū)域?qū)D像分割，利用閾值分割方法分割出處在閾值范圍內(nèi)的圖像，定義如式（2）：

在HALCON 中，閾值分割的算子為：

threshold（GrayImage，Regions，80，255）

GrayImage 為輸入的灰度圖像，Regions 為閾值分割所獲取的區(qū)域，閾值范圍取80～255。如圖1（a）所示，紅色部分為分割出來(lái)的感興趣區(qū)域。由于閾值分割出來(lái)的結(jié)果中包含有不需要的部分區(qū)域，因此，需要調(diào)整分割后的區(qū)域形狀，調(diào)整區(qū)域的方法包括形態(tài)學(xué)處理、特征提取及篩選和區(qū)域形狀變化等。

其中選擇區(qū)域面積作為區(qū)域特征，區(qū)域的面積a就是區(qū)域內(nèi)的點(diǎn)數(shù) ||R ，定義如式（3）：

首先對(duì)閾值分割后的區(qū)域進(jìn)行連通，HALCON 中連通區(qū)域的算子為：

connection（Region，ConnectedRegions）

感興趣區(qū)域Region 分散為連通域ConnectedRegions。如圖1（b）所示；

接著通過(guò)連通域分析，區(qū)域面積取400 到2000 作為閾值，篩選出需要的區(qū)域，如圖1（c）所示；

select_shape（ConnectedRegions，SelectedRegions，'area'，'and'，400，2000）

最后改變區(qū)域形狀，將篩選出的區(qū)域連接成一個(gè)包含銅線(xiàn)的大區(qū)域。HALCON 中區(qū)域形變的算子為：

shape_trans（SelectedRegions，RegionTrans，‘rectangle2'）

取'rectangle2'最小外接矩形參數(shù)作為形變結(jié)果，將篩選區(qū)域SelectedRegions 形狀改變?yōu)榫匦螀^(qū)域RegionTrans，如圖1（d）所示。至此，完成通過(guò)Blob 分析方法的區(qū)域定位。

圖1 Blob分析定位

（2）單線(xiàn)端子特征提取研究

當(dāng)端子中的銅線(xiàn)過(guò)長(zhǎng)或者過(guò)短時(shí)，都會(huì)導(dǎo)致生產(chǎn)的汽車(chē)線(xiàn)束產(chǎn)品不良。因此，可在端子中的銅線(xiàn)部分提取特征，作為判斷依據(jù)。首先按照Blob 分析定位的區(qū)域?qū)⒃瓐D像裁剪，如圖2（a）所示；接著使用7×7 均值濾波器平滑裁剪圖像，進(jìn)行去噪處理和模糊邊緣，方便后期處理，如圖2（b）所示。

圖2 均值濾波

在RGB 顏色空間中，銅線(xiàn)區(qū)域難以從背景中通過(guò)閾值分割出來(lái)，因此將圖像轉(zhuǎn)換到更接近人視覺(jué)特性的HSV 顏色空間。HSV 模型中，H 分量圖像和S 分量圖像均可通過(guò)閾值分割出銅線(xiàn)區(qū)域。

圖3 HSV顏色空間

分割結(jié)果中往往包含干擾，通過(guò)區(qū)域形態(tài)學(xué)方法調(diào)整區(qū)域形狀。兩個(gè)區(qū)域R 和S 的交集是位于R 內(nèi)且又位于S 內(nèi)的所有點(diǎn)的集合，定義如式（4）：

在H 分量圖像中取10 至27 的閾值范圍，在S 分量圖像中取96 至172 的閾值范圍，分割出的結(jié)果中包含有非銅線(xiàn)區(qū)域，為過(guò)濾掉這些干擾，可取兩個(gè)分量圖像各自分割出的區(qū)域的交集，以獲取實(shí)際需要的區(qū)域。在HALCON 中利用以下閾值分割和區(qū)域交集的算子進(jìn)行處理，效果如圖4（a）所示。

threshold（Hue，HRegions，10，27）

threshold（Saturation，SRegions，96，172）

intersection（HRegions，SRegions，HSRegion）

接著對(duì)區(qū)域進(jìn)行閉運(yùn)算，即先膨脹處理再腐蝕處理，可有效彌補(bǔ)裂縫。HALCON 中閉運(yùn)算的算子為：

closing_circle（HSRegion，RegionClosing，3）

取3×3 圓形模板對(duì)有裂縫的HSRegion 區(qū)域進(jìn)行閉運(yùn)算，彌補(bǔ)裂縫獲取RegionClosing 區(qū)域；取500 到12000 的區(qū)域面積特征作為閾值范圍，篩選出需要的區(qū)域，改變區(qū)域形狀以方便處理，如圖4（b）所示。

圖4 形態(tài)學(xué)處理

最后，通過(guò)提取端子的上、下孔洞銅線(xiàn)區(qū)域的高度和數(shù)量，作為判斷端子好壞依據(jù)的特征。

3.2 線(xiàn)束定位與顏色特征提取方法研究

（1）線(xiàn)束定位方法研究

線(xiàn)束定位主要通過(guò)模板匹配實(shí)現(xiàn)，根據(jù)相似度的定義方式，可分為不同的模板匹配方式?；诨叶戎档哪０迤ヅ鋄6]算法，是基于模板和圖像中的灰度值計(jì)算相似度進(jìn)行匹配。最簡(jiǎn)單的相似度量是計(jì)算模板與圖像之間差值的絕對(duì)值的總和（SAD）或所有差值的平方和（SSD），但易受光照變化影響。為適應(yīng)不同的光照環(huán)境，須計(jì)算另外一種不隨光照變化而變化的相似度，即歸一化互相關(guān)系數(shù)（NCC），定義如式（5）：

NCC 通過(guò)計(jì)算圖像的平均灰度值和方差來(lái)消除光照變化的影響，系數(shù)范圍在-1 到1 之間，如果模板和圖像完全相似，則NCC=±1，反之如果NCC 值越接近0，則表示模板和圖像越不相似。在整個(gè)圖像中計(jì)算相似度是非常耗時(shí)的過(guò)程，為了提高算法速度，設(shè)置一個(gè)適當(dāng)層數(shù)的圖像金字塔，減少需要檢查的位姿數(shù)量以及模板中點(diǎn)的數(shù)量，提高匹配速度。由于檢測(cè)的線(xiàn)束是雙排線(xiàn)束，線(xiàn)束連接器的正反面的形狀和細(xì)節(jié)不一致，因此，截取連接器的一部分和背景，作為基于灰度值的NCC 模板匹配的模板。

一般情況下，待測(cè)圖像目標(biāo)物體的位姿與參考圖像目標(biāo)物體的位姿往往是不同的，因此，需要對(duì)參考圖像中的感興趣區(qū)域的位姿進(jìn)行適當(dāng)調(diào)整。通過(guò)仿射變換[7]修正位姿。定義如式（6）：

創(chuàng)建模板后，通過(guò)模板在待測(cè)圖像中尋找目標(biāo)物體，獲取目標(biāo)物體的位姿。計(jì)算出參考圖像目標(biāo)物體的位姿變化到待測(cè)圖像目標(biāo)物體的位姿所需要的變換矩陣；再利用參考圖像感興趣區(qū)域的位姿，通過(guò)變換矩陣計(jì)算出待測(cè)圖像感興趣區(qū)域的位姿，這樣就獲取了待測(cè)圖像感興趣區(qū)域，即完成線(xiàn)束定位。

圖5 線(xiàn)束定位

（2）線(xiàn)束顏色特征提取方法研究

顏色矩[8]是一種非常簡(jiǎn)單而有效的顏色特征，由于顏色分布信息主要集中在低階矩中，因此采用顏色的一階矩、二階矩和三階矩就足以表達(dá)圖像的顏色分布。定義如式（7）、（8）、（9）：

式中，N 表示圖像總像素?cái)?shù)，Pi,j表示圖像第i 個(gè)顏色通道第j 個(gè)像素值，μi表示第i 個(gè)顏色通道上所有像素的均值，σi表示第i 個(gè)顏色通道上所有像素的標(biāo)準(zhǔn)差，Si表示第i 個(gè)顏色通道上所有像素的斜度的3次方根。

由于線(xiàn)束中包含有混色線(xiàn)，直接用閾值分割難以識(shí)別出混色線(xiàn)，因此需要選用其他顏色特征，如顏色矩。提取線(xiàn)束的顏色矩，僅采用顏色矩的一階矩和二階矩。由于在RGB 顏色空間中，線(xiàn)束區(qū)域難以從背景中通過(guò)閾值分割出來(lái)，因此在HSV 顏色空間中提取三個(gè)通道的顏色矩特征。

在H 分量圖像和S 分量圖像中通過(guò)閾值分割出部分線(xiàn)束區(qū)域，分別取25～230 和107～205 的閾值范圍，合并兩個(gè)區(qū)域，在HALCON 中閾值分割和區(qū)域合并的算子為：

threshold（Hue，HRegions，23，230）

threshold（Saturation，SRegions，107，205）

union2（HRegions，SRegions，HSRegion）

最后通過(guò)區(qū)域面積特征和寬度特征過(guò)濾掉不需要的區(qū)域，HALCON 中對(duì)應(yīng)篩選的算子為：

select_shape （ConnectedRegions， SelectedRegions，['width'，'area']，'and'，[0，500]，[60，3000]）

這樣就可以有效分割出線(xiàn)束區(qū)域，并從中提取顏色矩特征。

圖6 線(xiàn)束特征提取

4 汽車(chē)線(xiàn)束外觀(guān)缺陷檢測(cè)識(shí)別

4.1 線(xiàn)束端子外觀(guān)缺陷檢測(cè)識(shí)別

通過(guò)Blob 分析方法分割出端子的銅線(xiàn)區(qū)域之后，計(jì)算銅線(xiàn)區(qū)域的數(shù)量和高度，并判斷端子好壞。在HALCON 中實(shí)現(xiàn)的關(guān)鍵代碼為：

count_obj（HSRegionTrans，Number）

area_center（HSRegionTrans，Area，Row，Column）

smallest_rectangle2（ObjectSelected，Row1，Column1，Phi，Length1，Length2）

count_obj 獲取銅線(xiàn)區(qū)域HSRegionTrans 的數(shù)量Number；area_center 主要獲取銅線(xiàn)區(qū)域HSRegionTrans的區(qū)域面積Area，根據(jù)區(qū)域面積判斷上、下孔洞銅線(xiàn)區(qū)域，上孔洞銅線(xiàn)區(qū)域面積一般大于下孔洞的；smallest_rectangle2 主要獲取銅線(xiàn)區(qū)域的區(qū)域高度Length2，即銅線(xiàn)像素長(zhǎng)度。如果銅線(xiàn)區(qū)域有兩個(gè)，且上孔洞銅線(xiàn)區(qū)域高度在20 到24 范圍內(nèi)，下孔洞銅線(xiàn)區(qū)域高度在8 到12 范圍內(nèi)，則判斷端子為良品。

圖7 端子檢測(cè)識(shí)別

如果銅線(xiàn)區(qū)域只有一個(gè)，則判斷端子為不良品。銅線(xiàn)過(guò)長(zhǎng)的不良品，端子上孔洞的銅線(xiàn)區(qū)域高度，一般要高于銅線(xiàn)過(guò)短的不良端子下孔洞的銅線(xiàn)區(qū)域高度。不良端子的識(shí)別結(jié)果如圖8 所示。

圖8 端子檢測(cè)識(shí)別

4.2 線(xiàn)束線(xiàn)序外觀(guān)缺陷檢測(cè)識(shí)別

采用BP 神經(jīng)網(wǎng)絡(luò)[9]構(gòu)造MLP（多層感知器）分類(lèi)器，層數(shù)為3 層，提取實(shí)驗(yàn)樣品線(xiàn)束在HSV 三個(gè)通道的顏色矩（一階矩和二階矩）共6 個(gè)數(shù)據(jù)作為輸入，即輸入層有6 個(gè)節(jié)點(diǎn)；需要識(shí)別的顏色有12 種，即輸出層有12 個(gè)節(jié)點(diǎn)；隱藏層節(jié)點(diǎn)個(gè)數(shù)一般在輸入層節(jié)點(diǎn)個(gè)數(shù)和輸出層節(jié)點(diǎn)個(gè)數(shù)之間，這里取8 個(gè)隱藏層節(jié)點(diǎn)。接著取一組不同線(xiàn)束的顏色矩作為訓(xùn)練數(shù)據(jù)，如表1所示。

表1 訓(xùn)練數(shù)據(jù)

MLP 分類(lèi)器訓(xùn)練完成后即可檢測(cè)是否存在漏線(xiàn)、誤配線(xiàn)等缺陷。檢測(cè)結(jié)果如圖9 所示。

圖9 線(xiàn)束檢測(cè)識(shí)別

5 軟件實(shí)現(xiàn)

系統(tǒng)界面采用C#語(yǔ)言制作的圖形化顯示界面，其界面如圖所示。主要功能包括讀取采集圖像，檢測(cè)圖像缺陷，顯示檢測(cè)區(qū)域，顯示檢測(cè)結(jié)果。對(duì)端子和線(xiàn)束線(xiàn)序的檢測(cè)功能和結(jié)果如圖10 所示。

6 結(jié)語(yǔ)

本文通過(guò)研究基于機(jī)器視覺(jué)方法對(duì)汽車(chē)線(xiàn)束端子和線(xiàn)序進(jìn)行自動(dòng)檢測(cè)，以提升檢測(cè)精度和速度，改善現(xiàn)有人工目檢易誤檢、漏檢的缺陷，進(jìn)而提升企業(yè)線(xiàn)束產(chǎn)品的良品率。本文基于HALCON 機(jī)器視覺(jué)算法包，設(shè)計(jì)了圖像預(yù)處理方法和基于Blob 分析、模版匹配的定位方法，并提取區(qū)域特征實(shí)現(xiàn)對(duì)線(xiàn)束端子的缺陷檢測(cè)，通過(guò)提取顏色特征結(jié)合BP 網(wǎng)絡(luò)實(shí)現(xiàn)線(xiàn)束線(xiàn)序的檢測(cè)，最后基于C#和HALCON 混合編程實(shí)現(xiàn)，具有較好的實(shí)用價(jià)值。

圖10 線(xiàn)束端子及線(xiàn)束線(xiàn)序檢測(cè)結(jié)果