基于圖像拼接的電連接器插針檢測方法研究

張 宇,戴 娜,戈海龍,成 巍,李文龍,任 遠

(1.齊魯工業(yè)大學(山東省科學院),山東省科學院激光研究所,山東濟南 250104;2.山東產(chǎn)研強遠激光科技有限公司,山東聊城 252022)

0 引言

電連接器的作用是控制系統(tǒng)的電能傳輸和信號傳送[1]。電連接器廣泛應用于儀器儀表和航空航天領域,作為電能傳輸與信號傳遞的電氣元件,它對整個系統(tǒng)穩(wěn)定運行具有重要作用。

目前針對電連接器質(zhì)量檢測方式比較單一,大多數(shù)是通過人工使用放大鏡或者直接目視的方式,判斷電連接器插針是否出現(xiàn)傾斜、彎曲[2]。存在檢測工作量大、檢測精度無法得到保障、檢測結(jié)果不具有可追溯性等問題?？梢酝ㄟ^機器視覺算法解決電連接器插針的缺陷和完整測量等問題。

文獻[3]實現(xiàn)了對幾種圓形電連接器插針的檢測,但是檢測的最大尺寸為50 mm。文獻[4]實現(xiàn)了插針特征點的提取,并與標準模板進行點集配準。而針對矩形電連接器,還未有學者進行研究,其主要特點是尺寸較長,根據(jù)國標規(guī)格,有的連接器長度達到140 mm,并且檢測精度要求在0.1 mm之內(nèi)。若要保證拍攝精度,則會受限于相機的視野,獲得的單幅圖像并不能涵蓋整個電連接器表面的所有缺陷信息。為保證測量的完整性,必須進行圖像拼接。

針對電連接器檢測中存在的問題,本文采用2種型號的矩形連接器作為研究對象,針對Vision Pro算子庫中PatMax算法的特點,引入Sobel邊緣檢測,實現(xiàn)了基于邊緣特征提取點的圖像拼接,實現(xiàn)了電連接器插針的無縫拼接。采用模板匹配的方式,定位到拼接后的插針,采用最小二乘法對插針進行擬合圓操作,實現(xiàn)插針的參數(shù)測量。該方法解決了矩形電連接器在視覺測量中視野限制導致的測量困難問題,在工業(yè)檢測中應用圖像拼接和測量方面有一定的實用價值。

1 測量系統(tǒng)構成及測量流程

1.1 測量系統(tǒng)構成

本文設計的電連接器插針檢測系統(tǒng)如圖1所示,主要由工業(yè)機器人、CCD工業(yè)相機、遠心鏡頭、LED環(huán)形光源、檢測平臺和工控機組成。工業(yè)相機固定在工業(yè)機器人末端,通過控制機器人運動實現(xiàn)圖像的采集,將待測電連接器放置在檢測平臺上,動態(tài)調(diào)節(jié)相機的高度使得拍攝的圖像最清晰。工業(yè)相機采用cam-cic-10Mr相機,分辨率為3 858像素×2 764像素;鏡頭為XF-MH03X195遠心鏡頭,光學畸變低于0.025%。將相機采集到的圖像傳輸至工控機,基于Vision Pro算法庫,進行圖像拼接以及后續(xù)的測量。

圖1 檢測裝置構成圖

采用J29A-66ZK和J30J-100TJN兩款電連接器作為實驗對象,圖2所示為所選的電連接器,J29A-66ZK款的長度為55 mm,由66個插針組成,J30J-100TJN款的長度為45 mm,由100個插針組成。

1.2 測量流程

檢測流程如圖3所示。根據(jù)電連接器的尺寸以及相機能夠采集的視野大小,通過水平移動機器人,實現(xiàn)三幀待拼接圖像的采集,然后進行重疊區(qū)域的定位,特征點的檢測與提取,匹配完成后進行坐標變換,完成拼接,最后使用模板匹配和邊緣擬合算法完成插針的檢測。

(a)J29A-66ZK電連接器

(b)J30J-100TJN電連接器圖2 電連接器插針

圖3 系統(tǒng)檢測流程

2 像素當量計算和圖像預處理

2.1 像素當量計算

為了得到電連接器的實際測量尺寸,需要進行尺寸單位的換算,將像素坐標下的尺寸換算成實際尺寸[5]。本文采用高精度圓點陣列標定板完成像素當量的標定工作,標定板的精度達到1 μm,標定板圓心距為1.5 mm,圓點個數(shù)為9×9,圓點直徑為0.75 mm。

采集標定板圖像,使用Vision Pro算子庫中的CogFindCircleTool工具,選擇標定板中每一行的7個相鄰圓點,提取出圓點的邊緣,擬合得到圓點的中心點和直徑的像素值。求其均值得到的最終像素當量K為0.005 612 mm/像素,計算公式為

(1)

式中：K為所求的像素當量;D為標定板相鄰圓點間距設計值;N為標定板相鄰圓點間距像素個數(shù);n為選取相鄰圓點間距個數(shù)。

2.2 待拼接圖像預處理

工業(yè)機器人在運動過程中存在振動,圖像傳輸也會造成圖像信號的波動,會出現(xiàn)噪聲信號。在圖像拼接過程中,需要進行特征點的匹配,噪聲信號會嚴重影響特征點的匹配問題,并且電連接器的插針特征比較多,噪聲信號也會對后續(xù)針孔的檢測造成影響。因此,需要對拼接前采集到的電連接器的圖像進行濾波,去除噪聲干擾。

通過對采集的圖像進行實驗和分析,產(chǎn)生的噪聲干擾主要是分布在插針周邊的灰度值較高的白色點,也就是椒鹽噪聲。常用的濾波方法主要分為：中值濾波、均值濾波、高斯濾波。采用中值濾波進行去噪,中值濾波的原理是將一幅圖像中像素的中值進行計算,并用計算的中值替代區(qū)域中心像素點的灰度值,它的特點是能夠較好消除椒鹽噪聲[6]。經(jīng)過處理后的圖像如圖4所示。進行圖像中值計算的過程為：將區(qū)域內(nèi)的灰度值記為X1,X2,…,Xn,將這些灰度值按照從小到大的順序進行排序,設排序順序為：Xi1

(2)

(a)原始插針圖像

(b)中值濾波后的插針

3 圖像拼接

矩形電連接器物理尺寸較大,電連接器上的插針直徑在0.6～0.8 mm之間,插針與插針的間距在1.80～1.95 mm之間。本文圖像拼接部分用于解決電連接器檢測需要高分辨率圖像與電連接器物理尺寸較大之間的矛盾,通過圖像拼接的方式得到具有高分辨率的完整電連接器圖像[7]。圖像拼接是將2張具有重疊部分的圖像進行拼接而成。本次的圖像拼接算法設計主要包括特征點檢測、特征點匹配、拼接坐標設置、圖像融合。

3.1 圖像重疊區(qū)域的選擇方法

在圖像拼接過程中,并非圖像上所有的點都要參與匹配,比如兩幅相鄰待拼接圖像的非重疊區(qū)域,一般都是重疊圖像的無效信息點,在尋找特征點過程中,如果加上這一部分無效點,不僅增加計算量,影響軟件的運算速度,還會造成干擾,導致匹配精度下降,所以找到圖像的近似重疊區(qū)域?qū)ζ唇有Ч饬x重大。

根據(jù)電連接器的幾何特征和相機的視野關系,3個拍攝機位的電連接器位置及近似重疊區(qū)域的簡化示意圖如圖5所示。從右往左依次是拍攝位機位1～機位3,采集到的3張圖片,其中虛線部分是相機拍攝的視野,設其尺寸為L×W,陰影加深部分是重疊區(qū)域,長度設為a,電連接器長度為A[8]。其中拍攝機位2中,有2個重疊區(qū)域。點x,y表示重疊區(qū)域的角點位置對應圖像的實際坐標。

(a)拍攝機位3 (b)拍攝機位2 (c)拍攝機位1圖5 圖像近似重疊區(qū)域示意圖

設圖像區(qū)域的右上角坐標為(0,0),左下角坐標為(L,W),由圖5中的位置關系可得拍攝機位1中x1點和拍攝機位2中x2點的坐標分別為：

(3)

(4)

拍攝機位1中y1點和拍攝機位2中y2點的坐標分別為：

(5)

(6)

通過Vision Pro算子庫中PMAlign工具,將求得的坐標值和計算的重疊區(qū)域尺寸參數(shù)進行設置,實現(xiàn)重疊區(qū)域的區(qū)域選擇。

3.2 基于PatMax算法的特征點識別與匹配實現(xiàn)

使用Vision Pro算法庫中的PMAlign工具對重疊圖像區(qū)域進行特征點提取。PMAlign工具包含PatMax和PatQuick 2種算子,PatMax具有精確度高,對細微細節(jié)內(nèi)容識別更精確的特點,因此選用PatMax算子作為提取工具。其原理是基于圖案匹配技術,首先對圖片中的特定區(qū)域進行訓練,提取出特征點,通過幾何特征信息和特征之間的空間位置關系在采集的電連接器圖片中搜索并匹配到相似的區(qū)域,判斷是否為重疊區(qū)域[9]。

圖6 圖像特征點識別與匹配流程圖

基于PatMax算法的特征點識別與匹配流程如圖6所示?；趫D6流程,對采集的電連接器圖像進行重疊區(qū)域的訓練,選擇好重疊區(qū)域后,通過PatMax算法,獲取區(qū)域的邊緣特征,圖7(a)和圖7(b)分別為訓練的插針重疊區(qū)域和訓練完成后在第2張插針圖片中找到的重疊區(qū)域。

(a)插針區(qū)域特征提取

(b)插針重疊匹配

3.3 圖像融合

特征點識別與匹配后,對相鄰位置的圖像重疊區(qū)域進行融合,實現(xiàn)無縫拼接,本文的圖像融合,采用Vision Pro算法庫中的CogImageStitch類,實現(xiàn)3張圖像的無縫拼接。

如圖8所示,拼接的第1步是要指定拼接后的圖像尺寸,為了留有部分余量,設置圖像大小StitchedImg如式(7)和式(8)所示。

StitchedImg(W)=Img1.Width+500

(7)

StitchedImg(H)=Img1.Height×3

(8)

式中：Img1.Width為第1張圖像的寬度;Img1.Height為第1張圖像的高度。

圖8 拼接算法流程圖

然后設置坐標原點,這里設置的坐標原點是(10,10),CogFixtureTool為定位工具,對3張帶拼接圖像分別使用1個定位工具,完成拼接的圖像如圖9所示。

圖9 拼接后電連接器針

3.4 引入Sobel微分算子的圖像拼接

通過以上方法完成圖像的拼接,但是通過放大拼接處,可以觀察到存在重影部分,如圖10框內(nèi)所示。

圖10 拼接后重影圖

說明特征點識別和匹配過程中出現(xiàn)了識別不準確的問題。針對此類問題,研究PatMax算法的特點得出結(jié)論,由于PatMax算法是基于圖像邊緣的匹配,原始圖像雖然已經(jīng)通過中值濾波操作濾除一部分無效信息,但是還無法滿足無縫拼接過程中特征提取的要求。因此,引入Sobel微分算子,通過Sobel微分算子進行邊緣提取,獲取感興趣的邊緣圖像后,再使用PatMax算法。

Sobel邊緣檢測算法具有原理簡單、邊緣平滑和抗噪聲的特點,是一種常用的一階邊緣檢測算法。傳統(tǒng)的Sobel算子有0°和90°2個方向的卷積模板,水平方向梯度Tx與垂直方向梯度Ty計算公式如式(10)、式(11)所示[10],其中Z為3×3的窗口像素矩陣,(x,y)為中心像素。

(9)

(10)

(11)

得到的水平方向梯度Tx與垂直方向梯度Ty的幅值和方向角為：

(12)

θ=tan-1(Gy/Gx)

(13)

式中：T為局部邊緣強度,即梯度幅值;θ為梯度方向角。

由梯度幅值T與設定的閾值對比后進行二值化處理,梯度幅值T大于等于閾值,則判斷為邊緣點,給予灰度值為 0,否則為255。圖11為采用Sobel邊緣檢測得到的圖像?？梢钥闯?進行Sobel邊緣提取后再進行特征點識別,相比于圖7,得到了更多邊緣信息,匹配更加準確。

將電連接器插針圖像經(jīng)過Sobel邊緣提取,然后進行特征點識別、特征點匹配、圖像融合,拼接的圖像如圖12所示。拼接完成后的插針不存在陰影部分,拼接效果得到了提升。

圖12 引入Sobel改進的拼接圖

4 參數(shù)測量

為了進一步驗證拼接圖像的準確性,進行實驗驗證,通過Vision Pro算法庫,測量電連接器的長度。對拼接后完整的電連接器插針進行定位,測量插針間距,判斷插針是否有缺失。

4.1 電連接器直徑測量

通過圖12可以看出,真實電連接器的2個邊緣分別有一個圓孔,通過測量2個圓孔之間的距離,判斷拼接的精度能否達到測量精度要求。

通過Vision Pro中的擬合圓算子實現(xiàn)兩邊的圓孔擬合,設置的搜索卡尺數(shù)量為17,對比度閾值為5。圖13為擬合后的效果圖。

圖13 圓孔擬合圖

將兩邊的圓孔擬合后,通過式(14)計算出兩圓孔之間的距離AB。

(14)

式中(x1,y1),(x2,y2)分別為兩圓心坐標。

4.2 電連接器插針檢測

為了實現(xiàn)電連接器插針的檢測,設計的檢測算法如圖14所示。

圖14 插針檢測算法流程圖

首先對拼接完成的圖像進行圖像分割,對每一列插針分別進行定位,使用Vision Pro算子庫的PMA定位工具,對插針進行模板訓練,再進行匹配。如圖15(a)所示,獲得其邊緣信息作為匹配依據(jù),匹配成功后如圖15(b)所示。

圖15 插針匹配示意圖

插針定位完成后,生成插針定位參數(shù)表,如圖16所示,參數(shù)表包含每個插針的坐標信息。但是其坐標作為圓孔中心的坐標點并不準確,采用找圓工具,將定位中心點作為找圓工具的中心坐標,對插針進行擬合圓操作,擬合圓后產(chǎn)生的圓點坐標才是插針的中心坐標[11]。

圖16 插針定位參數(shù)生成圖

通過冒泡排序,對插針的坐標從小到大進行排序,然后依次遍歷出當前坐標與相鄰坐標的差值,計算出相鄰插針的距離。將距離值與圓擬合圖形添加到圖形上進行顯示。圖17為部分插針間距數(shù)值。

圖17 部分插針擬合與間距圖

通過Results.Count參數(shù)與myDistances[i]參數(shù),判斷插針的質(zhì)量,第1個參數(shù)是統(tǒng)計查找到的插針個數(shù),若插針個數(shù)小于66,表示插針缺失;第2個參數(shù)中的i代表遍歷的第i個插針,判斷i-1個插針的間距,通過這個數(shù)值判斷是否插針出現(xiàn)偏斜。

5 測量實驗結(jié)果分析

為了驗證系統(tǒng)的穩(wěn)定性,對上面提到的2種電連接器,利用本文的檢測方法,分別進行圖像采集、預處理、圖像拼接、參數(shù)測量,得到檢測值。通過精度為0.000 1 mm影像測量儀對2個樣件進行相應參數(shù)測量,作為實際參考值,與本系統(tǒng)測量值進行對比。

如表1所示,對兩款電連接器進行7次重復性尺寸測量,判斷其重復性誤差,與實際測量值做對比。零件1的平均誤差為0.098 mm,零件2的平均誤差為0.067 mm。2個零件的拼接精度在0.1 mm以內(nèi),符合工業(yè)生產(chǎn)的要求。

表1 拼接測量值與實際值重復性測量比 mm

如表2所示,對5個電連接器插針進行插針識別,通過實驗數(shù)據(jù)可以看出,插針的識別率為100%。

表2 插針識別個數(shù)對比

針對兩款電連接器,隨機選取10組間距數(shù)據(jù),將拼接值與實際值進行對比(見表3),計算出零件1最大偏差為0.024 mm,零件2最大偏差為0.019 mm,可以看出,拼接后對電連接器的參數(shù)測量誤差在0.02 mm以內(nèi),可以滿足精度測量要求。

表3 插針間距測量值與實際值比較 mm

6 結(jié)束語

本文通過圖像預處理、像素當量計算、圖像拼接算法得到高精度的電連接器插針完整圖像,然后進行插針定位與識別,插針間距的測量。最后對以上數(shù)據(jù)結(jié)合實際測量數(shù)據(jù)進行比較。實驗表明：該方法解決了大尺寸矩形電連接器在測量過程中,精度要求較高與實際物理尺寸較大之間的矛盾,可準確實現(xiàn)電連接器插針數(shù)據(jù)的提取與測量,進而驗證了本文方法和技術的可行性。