基于機(jī)器視覺的漆包線組裝識別與電阻點焊定位系統(tǒng)

劉明 黃增好 曹彪 曾家銓 田然

摘要：為了解決漆包線電阻點焊過程中焊點難以精確定位，并由此產(chǎn)生虛焊、焊偏及漏焊等焊接質(zhì)量問題，設(shè)計了一種基于機(jī)器視覺的漆包線組裝識別與電阻點焊定位系統(tǒng)。分析漆包線點焊定位過程中的各種不良組裝模式，研究識別與定位系統(tǒng)的圖像處理算法，制訂了定位策略及規(guī)則。首先利用模板匹配提取ROI，得到漆包線與焊盤所在區(qū)域圖像;其次采用閾值分割、形態(tài)學(xué)處理、Laplacian算子等圖像處理算法，識別并剔除定位過程中的不良組裝模式;最后通過邊緣提取并采用合適的算法得到最佳焊點位置。實驗結(jié)果表明，定位系統(tǒng)能有效剔除不良模式，準(zhǔn)確提取并輸出最佳焊點位置坐標(biāo)，識別與提取所需時間短，能夠滿足漆包線自動化點焊要求。

關(guān)鍵詞：機(jī)器視覺;圖像處理;邊緣提取;定位;自動化

中圖分類號：TG409 ? ? ?文獻(xiàn)標(biāo)志碼：A ? ? ? ? 文章編號：1001-2003（2021）05-0007-06

DOI：10.7512/j.issn.1001-2303.2021.05.02

0 ? ?前言

漆包線作為家用電器和儀器儀表的基礎(chǔ)元件和關(guān)鍵材料，被廣泛應(yīng)用在電子器件、家用電器及汽車產(chǎn)品中[1]。近年來，隨著電子行業(yè)的蓬勃發(fā)展，漆包線與電子元器件的焊接成為電子制造業(yè)的一個關(guān)鍵性問題。由于漆包線與電子元器件尺寸微小，焊接工藝復(fù)雜，易造成焊接質(zhì)量不穩(wěn)定、零件熔毀、難以形成正常熔核等問題[2]，因此一般采用微型電阻焊。傳統(tǒng)漆包線電阻點焊采用人工焊接，焊接效率低且焊接效果一致性較差，無法保證質(zhì)量。

隨著智能工廠與工業(yè)4.0的熱潮，許多工廠生產(chǎn)線將漆包線點焊與運動控制系統(tǒng)結(jié)合組成自動化漆包線點焊系統(tǒng)。同時機(jī)器視覺技術(shù)也獲得了快速發(fā)展，被越來越多地應(yīng)用到電阻點焊中[3]。機(jī)器視覺技術(shù)具有非接觸性、柔性大、信息量大、速度快、精準(zhǔn)度高等優(yōu)點[4]，可以很好地滿足漆包線點焊定位的要求。文中提出的漆包線組裝識別與電阻點焊定位方法，采用機(jī)器視覺檢測系統(tǒng)進(jìn)行圖像采集，重點分析了漆包線與焊盤的各種不良相對位置模式，利用圖像處理方法識別并剔除了定位過程中的不良模式，最后輸出良好模式下最佳焊點位置坐標(biāo)給運動控制系統(tǒng)，為漆包線自動化點焊提供必要條件。

1 系統(tǒng)設(shè)計

漆包線點焊機(jī)器視覺定位系統(tǒng)得主要功能是實現(xiàn)對焊前組裝的漆包線與焊盤的相對位置模式的識別與最佳焊點位置的提取。系統(tǒng)識別與定位檢測的對象為錫焊盤和聚氨酯漆包銅圓線，焊盤尺寸為0.9 mm×1.5 mm，漆包線線徑為0.08 mm。漆包線與焊盤的不同模式如圖1所示。

系統(tǒng)主要分為圖像采集系統(tǒng)和圖像處理系統(tǒng)，如圖2所示。圖像采集系統(tǒng)由工業(yè)相機(jī)、鏡頭、同軸光源及光電傳感器組成。相機(jī)采用大恒MER-201-25GC-P面陣工業(yè)相機(jī)，鏡頭為維視AFT-ZL0930工業(yè)鏡頭。當(dāng)產(chǎn)品運動到相機(jī)視野范圍內(nèi)，光電傳感器產(chǎn)生觸發(fā)信號，控制工業(yè)相機(jī)采集產(chǎn)品圖像。

圖像處理系統(tǒng)是識別與定位系統(tǒng)的核心部分。在接收到待處理的圖像后，通過依次進(jìn)行的模板匹配、閾值分割、形態(tài)學(xué)處理及Laplacian算子卷積等圖像處理算法，識別在漆包線組裝過程中可能出現(xiàn)的焊盤區(qū)域無漆包線、漆包線線偏、漆包線翹起、漆包線彎曲及漆包線傾斜等不良模式;在剔除不良模式后，通過對漆包線和焊盤的邊緣輪廓特征提取與分析，并采用合適的算法得到最佳焊點位置坐標(biāo)。將最佳焊點位置坐標(biāo)傳輸?shù)竭\動控制系統(tǒng)，控制機(jī)頭運動到最佳焊點位置進(jìn)行漆包線的自動化焊接。

2 組裝缺陷識別與焊點定位

在漆包線人工點焊過程中，首先將漆包線在焊盤上進(jìn)行組裝，點焊操作人員用肉眼或借助放大鏡尋找最佳焊點位置，根據(jù)經(jīng)驗進(jìn)行焊接。在本系統(tǒng)中，用機(jī)器視覺系統(tǒng)代替人眼采集產(chǎn)品圖像，經(jīng)圖像處理后，將最佳焊點位置坐標(biāo)信息傳輸至運動控制系統(tǒng)，控制點焊機(jī)頭運動到指定位置，完成焊接。

2.1 圖像預(yù)處理

采集的原圖像經(jīng)灰度化、高斯濾波等圖像預(yù)處理后，可進(jìn)行模板匹配，提取感興趣區(qū)域（Region of Interest，ROI）。

模板匹配算法是將滑動窗口在目標(biāo)圖像上遍歷并計算相似度量，找到與模板圖像最相似的區(qū)域[5]。文中采用基于形狀的模板匹配。首先創(chuàng)建一個模板，為提高搜索效率，采用基于圖像金字塔[6]的分層識別策略。

將模板定義為點集pi=（ri，ci）T及對應(yīng)方向向量di=（ti，ui）T，方向向量由邊緣濾波器計算，經(jīng)仿射變換后得到pi'和di'。以同樣的邊緣濾波器為圖像中每個點（r，c）T計算其方向向量er，c=（vr，c，wr，c）T。在圖像中的某個特定點q=（r，c）T處，分別將仿射變換后模板中所有點的方向向量與圖像中對應(yīng)點的方向向量進(jìn)行歸一化，并計算它們點積的總和作為相似度量：

從圖像金字塔的頂層開始，通過式（1）計算模板所在的所有可能位姿上的相似度量，大于閾值smin被認(rèn)為是潛在位置，跟蹤這些位置到圖像金字塔的更低層，直到在最底層圖像找到目標(biāo)物體。

為確定閾值smin，對包含無漆包線、漆包線線偏、漆包線翹起、漆包線彎曲、漆包線傾斜及良好模式的60幅圖像進(jìn)行模板匹配。模板匹配過程中相似度量s在0.7～1.0范圍內(nèi)，如圖3所示。

本系統(tǒng)中設(shè)置閾值smin為0.6，以保證模板匹配能適應(yīng)絕大部分情況，且匹配結(jié)果良好。圖4a為原始圖像，圖4b為經(jīng)模板匹配后提取的ROI區(qū)域。

2.2 無漆包線

可用閾值分割法提取焊盤區(qū)域，根據(jù)區(qū)域數(shù)量M識別焊盤上是否存在漆包線。

閾值分割通過設(shè)定灰度值閾值，將圖像前景與背景區(qū)域分開，形成二值圖像，是目前應(yīng)用最為廣泛的圖像分割算法[7]。

對比RGB圖像中焊盤區(qū)域三通道平均灰度值G1（203，254，213）和漆包線區(qū)域三通道平均灰度值G2（212，245，127），發(fā)現(xiàn)Blue通道灰度值差異較大。對RGB圖像進(jìn)行通道變換，生成Red、Green、Blue三個單通道灰度圖，在Blue通道灰度圖中，焊盤與漆包線灰度值差異明顯。可用Otsu法[8]在Blue通道灰度圖中動態(tài)選取閾值。對于圖像I （x，y），有：

式中 g為類間方差;ω0、ω1分別為前景區(qū)域和背景區(qū)域的像素點數(shù)占整幅圖像的比例;μ0、μ1分別為前景和背景平均灰度值。遍歷圖像得到使類間方差g最大的閾值T，T即為所求的分割閾值。漆包線圖像經(jīng)閾值T分割及面積特征選擇后的焊盤區(qū)域如圖5所示，可通過區(qū)域數(shù)量M判斷焊盤上有無漆包線：圖5a區(qū)域數(shù)量為1，無漆包線;圖5b區(qū)域數(shù)量為2，有漆包線。

2.3 線偏識別

在漆包線電阻點焊中，焊點不能過于偏離焊盤中心，否則不能形成完整熔核，或者熔核位于焊盤邊緣，導(dǎo)致焊點抗拉強(qiáng)度降低。焊盤被漆包線分成兩個區(qū)域，可用兩區(qū)域面積之比來判斷漆包線是否偏離焊盤中心。識別存在漆包線后，對焊盤區(qū)域按面積進(jìn)行排序，取得最大區(qū)域面積S1與第二大區(qū)域面積S2，并計算面積之比S1/S2。若S1/S2大于閾值Ra，說明漆包線相對于焊盤中心位置偏移較大，產(chǎn)生線偏，否則可判定無線偏現(xiàn)象。本系統(tǒng)中設(shè)定閾值Ra=5，可較好地識別線偏模式。

2.4 翹起識別

在焊盤上組裝的漆包線產(chǎn)生翹起時，機(jī)頭下壓后會導(dǎo)致漆包線受力不均偏離焊頭，引起偏焊甚至漏焊等焊接質(zhì)量問題。

用閾值分割提取漆包線區(qū)域圖像，良好漆包線邊緣明顯，翹起漆包線邊緣模糊。采用Laplacian算子對漆包線圖像進(jìn)行卷積運算可得到漆包線的邊緣幅度，如圖6所示，漆包線良好和翹起下的Laplacian邊緣幅度差異明顯。為尋求漆包線翹起程度與Laplacian邊緣幅度的關(guān)系，對漆包線無翹起（0 mm）和漆包線翹起高度0.1 mm、0.2 mm、0.3 mm、0.5 mm、0.7 mm、0.9 mm、1.1 mm、1.3 mm、1.5 mm下進(jìn)行10組實驗，得到Laplacian邊緣幅度方差D，計算平均值及標(biāo)準(zhǔn)誤差，如圖7所示。可以看出，在漆包線無翹起（0 mm）以及微小程度翹起（0.1～0.2 mm）時，方差值D均大于25，當(dāng)漆包線翹起程度較大（0.3 mm以上）時，方差值D穩(wěn)定在25以下。因此，本系統(tǒng)取閾值Rd=25判斷漆包線有無翹起情況。

2.5 彎曲識別

組裝的漆包線彎曲程度過大導(dǎo)致焊點受力不均，同樣會造成焊點抗拉強(qiáng)度降低。

可利用霍夫變換[9]檢測漆包線的直線度?；舴蜃儞Q過程中，一定數(shù)量的點處于一定的角度范圍內(nèi)被判定為一條直線。對漆包線骨架區(qū)域進(jìn)行霍夫變換可得到直線數(shù)量n及所有直線之間最大角度θ。彎曲度由n和θ共同決定，且n=1時，漆包線為一條直線，彎曲度為0，因此定義彎曲度Cv：

若直線數(shù)量n≠1，在直線數(shù)量n小于3且直線間最大角度θ小于0.262 rad（即15°）時，彎曲度低，對焊點質(zhì)量影響小，可被本系統(tǒng)接受，即彎曲度閾值Rc=0.288。當(dāng)彎曲度Cv大于閾值Rc時，判定漆包線為彎曲狀態(tài)。

2.6 傾斜識別

漆包線傾斜角度過大時，與焊頭接觸面積小于漆包線良好模式（見圖8a），且由于點焊焊頭的特殊斜面結(jié)構(gòu)（見圖8b），傾斜模式下形成的焊點畸形，焊點強(qiáng)度較低。因此，漆包線傾斜角不能過大，本系統(tǒng)取傾斜角閾值Rl =0.262 rad （即15°）。

為識別并剔除漆包線傾斜模式，在判定漆包線為直線或近似直線狀態(tài)后，對2.5節(jié)中經(jīng)霍夫變換所得的n條直線，分別求得各直線與垂直線的夾角，夾角平均值為α。若α大于傾斜角閾值Rl ，則判定漆包線為傾斜模式。

2.7 焊點定位

剔除不良模式后，得到良好模式下的漆包線與焊盤圖像。為提取良好模式下的最佳焊點位置，需提取焊盤與漆包線的邊緣輪廓。

Sobel算子原理簡單，計算量小，對于水平和垂直方向上的邊緣檢測效果好[10]。可用Sobel算子提取焊盤邊緣輪廓，如圖9所示。

采取相同的方法可提取漆包線骨架。為提高邊緣位置精度，可分別從焊盤和漆包線骨架提取亞像素邊緣輪廓，如圖10a所示。兩邊緣輪廓交點為C1、C2，取C1、C2中點為Q，過Q點作水平線，該水平線與漆包線交點即為最佳焊點位置，如圖10b所示。最佳焊點位置提取算法保證了提取位置的準(zhǔn)確性和有效性。由焊盤和漆包線的亞像素邊緣求得的焊點位置精度高，符合生產(chǎn)要求。

2.8 識別與定位流程

提取最佳焊點位置坐標(biāo)后，經(jīng)過標(biāo)定計算發(fā)送給運動控制系統(tǒng)，控制點焊機(jī)頭進(jìn)行精密點焊。程序流程如圖11所示。

3 試驗分析

為了驗證文中機(jī)器視覺定位檢測系統(tǒng)的準(zhǔn)確性、實時性及穩(wěn)定性，對漆包線焊前進(jìn)行組裝識別與定位檢測試驗。采集無漆包線、漆包線線偏、漆包線翹起、漆包線彎曲、漆包線傾斜與良好6種位置模式下的各40幅圖像，經(jīng)本系統(tǒng)的識別與定位檢測，試驗結(jié)果如表1所示。其中無漆包線、漆包線線偏以及漆包線翹起、良好4種模式均被正確識別出來;彎曲模式下正確識別數(shù)為39;傾斜模式下正確識別數(shù)量為38，總識別率為98.75%。

基于表1及圖像數(shù)據(jù)進(jìn)行分析，彎曲模式下的誤判主要是由于霍夫變換中判定為同一條直線的點數(shù)設(shè)定過大，某些直線未能被提取，彎曲度Cv計算值變小，導(dǎo)致系統(tǒng)判定漆包線為未彎曲狀態(tài)。傾斜模式誤判主要原因是漆包線介于傾斜與未傾斜之間，且初始傾斜角閾值Rl設(shè)定過于嚴(yán)苛，可根據(jù)實際情況放寬閾值，重新設(shè)定合適的參數(shù)。

各種模式下識別與定位時間如圖12所示，各模式識別所需時間短，波動范圍小，識別與定位算法穩(wěn)定。試驗表明，定位檢測系統(tǒng)能很好地剔除定位過程中的不良模式，識別良好模式并進(jìn)行最佳焊點定位的平均時間為317.3 ms，滿足漆包線點焊自動化產(chǎn)線的生產(chǎn)節(jié)拍。

4 結(jié)論

文中設(shè)計的基于機(jī)器視覺的漆包線點焊定位系統(tǒng)，可用于漆包線自動化點焊的焊前識別與定位。針對漆包線組裝過程中可能出現(xiàn)的焊盤區(qū)域無漆包線、漆包線線偏、漆包線翹起、漆包線彎曲及漆包線傾斜等不良模式，采取相應(yīng)的圖像處理算法及識別策略，剔除不良模式后，對焊盤與漆包線進(jìn)行邊緣提取與分析，采用合適的算法得到最佳焊點位置坐標(biāo)，可提高產(chǎn)品質(zhì)量與合格率。本系統(tǒng)可提高企業(yè)的自動化水平，具有一定的生產(chǎn)價值。

參考文獻(xiàn)：

李偉群，王力，李曉.漆包線行業(yè)現(xiàn)狀及發(fā)展趨勢分析[J].機(jī)電產(chǎn)品開發(fā)與創(chuàng)新，2002（2）：13-16.

楊景衛(wèi)，曹彪.微型零件精密電阻點焊技術(shù)及其應(yīng)用[J].焊接，2009（6）：43-47，75.

Zhang S，Zhang Y，Yang T，et al. Research on LED filament spot welding robot based on machine vision[C].//IEEE International Conference on Information & Automation. IEEE，2016.

Kipman Y，Mehta P，Johnson K. Machine-Vision-Based Analytical Tools for Digital Fabrication[C].//NIP & Digital Fabrication Conference. 2009.

Wanli Ouyang， Tombari F， Mattoccia S， et al. Performance Evaluation of Full Search Equivalent Pattern Matching Algorithms.. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（1）：127-43.

Steger C ， Ulrich M ， Wiedemann C . Machine Vision Algorithms and Applications[M]. 2007.

夏良正. 數(shù)字圖像處理（第2版）[M]. 江蘇：東南大學(xué)出版社，2006.

劉健莊，栗文青.灰度圖象的二維Otsu自動閾值分割法[J].自動化學(xué)報，1993（1）：101-105.

王昱，趙正校，楊碩.基于直線邊緣識別的圖象區(qū)域定位算法[J].計算機(jī)工程，1999（9）：61-62，87.

靳鵬飛.一種改進(jìn)的Sobel圖像邊緣檢測算法[J].應(yīng)用光學(xué)，2008（4）：625-628.