鉚釘薄板特征孔幾何參數(shù)雙目視覺測量方法研究*

游秋香， 趙棋唯， 諶永祥， 李永橋

(1．西南科技大學(xué) 制造科學(xué)與工程學(xué)院,四川 綿陽 621010；2．西南科技大學(xué)城市學(xué)院,四川 綿陽 621010)

0 引 言

隨著現(xiàn)代工業(yè)的飛速發(fā)展，鉚接工藝是先進制造業(yè)的一個重要環(huán)節(jié)。在民用企業(yè)中，對于大尺寸鈑金件多采用具有自動出釘?shù)牧⑹姐T釘機進行人工鉚接，這種操作方式自動化程度低、穩(wěn)定性差、生產(chǎn)率低?；诠I(yè)機器人和十字滑臺設(shè)計的小型半自動送料裝置[1]，實現(xiàn)了送料過程的自動化，成為目前研究的熱點。

現(xiàn)有薄板鉚接孔定位不具備實時性，需要人輸入薄板孔位置到控制程序中，進行運動路徑規(guī)劃。雙目立體視覺技術(shù)具有非接觸、測量速度快、精度高、自動化程度高、結(jié)構(gòu)簡單等優(yōu)點，被廣泛應(yīng)用于國內(nèi)外各個行業(yè)，如焊接焊縫缺陷檢測、大型農(nóng)機熱鍛件尺寸測量、醫(yī)療機器人手術(shù)定位導(dǎo)航[2]、農(nóng)作物識別、魚苗生長尺寸測量[3]等。

基于雙目視覺的鉚釘機自動鉚接，主要是配合小型半自動送料裝置和立式鉚釘機，用兩臺同型號的相機獲取代加工薄板的圖像后，采用形態(tài)學(xué)算子去噪平滑圖像和Hough變換[4]提取薄板邊緣，根據(jù)薄板形狀與環(huán)境的差異分割出薄板，通過計算孔位圓近似比提取圓心坐標?；凇盎亍弊中问降奈恢眉s束匹配，實現(xiàn)了特征點匹配，所提出的方法為高精度坐標為自動鉚接奠定了基礎(chǔ)。

1 雙目視覺原理

雙目立體視覺技術(shù)[5]基于視差原理，用兩臺同型號的攝像機模擬人眼在同一時間不同方位對同一個目標分別獲取圖像信息，計算兩幅圖像間對應(yīng)像素點的位置偏差來獲取目標物體的三維空間信息。

圖1 平行雙目視覺原理

圖1為理想的平行雙目視覺原理模型，圖中兩攝像機的內(nèi)參一樣，焦距為f，基矩B為兩個攝像機光心的間矩，兩攝像機光軸平行并與像平面的交點為OL,OR，左右兩像平面重合?？臻g中一點P(x,y,z)在兩攝像機的像平面的投影為PL(XL,YL),PR(XR,YR)。由透視變換幾何關(guān)系可知點P,PL,PR之間的數(shù)學(xué)關(guān)系如下

(1)

從式(1)中可以看出PL,PR兩點只在橫坐標存在視差D=XL-XR，由此可知P點的三維坐標為

(2)

因此，根據(jù)雙目立體視覺原理可知，兩攝像機內(nèi)參一致，一臺攝像機像平面上的任意一點只要能在另一臺攝像機像平面上找到匹配點，就能確定該點的空間坐標。

2 鉚釘薄板圖像處理算法

2.1 薄板區(qū)域的提取

兩臺同型號的像機獲取的左右圖像受到外界環(huán)境的噪音干擾，不能直接用于薄板孔心定位，需要先對兩幅圖像進行濾波、去噪、灰度化、二值化等預(yù)處理。

分析獲取的圖像及薄板自身的特點可知：1)薄板與背景亮度差異較大，采用閾值的方法將獲取兩幅圖像轉(zhuǎn)換為具有完整薄板信息的二值圖;2)薄板區(qū)域連通性好，對獲取的二值圖取反并采用形態(tài)學(xué)填充空洞和膨脹處理，能使薄板信息更詳細，用Canny邊緣提取算子獲取薄板輪廓信息;3)鉚釘薄板形狀為矩形，根據(jù)四條邊的直線特性，采用Hough變換檢測邊緣的直線特征，結(jié)合薄板是由規(guī)則四條邊圍成的區(qū)域的線性約束條件，可將薄板從復(fù)雜的背景中分割出來，為圓心的提取做準備。根據(jù)上述方法對左右兩幅圖處理結(jié)果圖2所示。

圖2 薄板區(qū)域分割結(jié)果

2.2 目標孔區(qū)域提取

1)形態(tài)學(xué)運算消除干擾。從圖2(b)和圖2(d)可以發(fā)現(xiàn)提取的薄板區(qū)域圖中有不屬于目標圓孔特征的干擾信息，需要進一步去噪。遍歷薄板分割圖，計算所有8連通區(qū)域的像素值，記為Ia(a=1，2…，b)，代入式(3)中，將滿足的連通區(qū)域灰度值置為與背景一致，則消除了干擾信息

(3)

2)目標孔區(qū)域面積及周長計算。計算目標孔區(qū)域內(nèi)各個像素的8鄰域，若領(lǐng)域內(nèi)像素值均為1，則權(quán)值為1，對權(quán)值求和即為目標孔區(qū)域的面積，記為Sn(n為目標孔個數(shù)，n=1，2…，m)。采用差分法求各個目標孔區(qū)域周長，即計算每個目標孔區(qū)域邊界的相鄰兩像素的距離，累加距離求和，記為Cn(n為目標孔個數(shù)，n=1,2…，m)。

3)計算目標孔區(qū)域的圓度，判斷是否為圓形。將Sn,Cn代入式(4)，計算目標孔的圓度Tn

(4)

根據(jù)Tn值是否大于0.92判定目標孔是否滿足圓的要求，保存滿足目標孔，結(jié)果如圖3所示。

圖3 目標孔區(qū)域圓度與質(zhì)心

2.3 獲取圓孔心坐標

圓孔中心的提取主要分為橢圓擬合法[6,7]和質(zhì)心法[8,9]。由于獲取的目標圖像中目標圓孔只是類似于橢圓，采用橢圓擬合法時會造成中心偏移，不能滿足工業(yè)要求，故采用質(zhì)心法獲取圓孔心坐標。質(zhì)心法包括傳統(tǒng)質(zhì)心算法、加權(quán)質(zhì)心算法、閾值質(zhì)心算法以及距離質(zhì)心算法，由于獲取的薄板二值圖已將目標孔與背景完全分離，且目標孔邊緣清晰完整，故采用傳統(tǒng)質(zhì)心法。

傳統(tǒng)質(zhì)心算法[10]獲取圓孔心的坐標，是先對連通區(qū)域內(nèi)各個像素點對應(yīng)灰度值求面積，再求和，最后在該連通區(qū)域內(nèi)作面積平均。在圖像坐標中，一個柵格代表一個像元，一個像元的寬度、高度分別對應(yīng)x軸、y軸的單位坐標。令xi=i，yi=j，其中i=0,1,…，j=0,1,…；可知第i行第j列像元坐標為(xi,yj)，灰度值為I(xi,yj)，則質(zhì)心可以表示為

(5)

(6)

如圖3所示，用上述方法對左右兩幅圖獲取的目標孔質(zhì)心用黑色“.”表示。

3 特征點匹配

立體匹配[11,12]是對空間一點，求在同一時刻、同一位置由左右相機獲取的兩幅圖片中的對應(yīng)點，并進一步求得視差圖。本文是對鉚接板件孔中心點的三維重建，需要對20個特征點進行匹配，屬于稀疏特征點的三維重建。對于鉚接板件孔位定位不僅要考慮精度，還需要實時定位，結(jié)合薄板形狀規(guī)則且孔位分布具有規(guī)律，故提出一種基于位置約束“回”字形的立體匹配方法。

板件孔位分布如圖4，將四個頂點記為A,B,C,D，每個孔從1～20依此編號。要使左右兩幅圖的孔位特征點一一匹配，只需要將特征點與孔的編號一一對應(yīng)。由于左圖與右圖的計算方式一樣，在此用右圖進行方法說明。

圖4 板件孔位分布圖

兩點的距離公式為

(7)

點到直線的距離公式為

(8)

步驟如下：1)根據(jù)四個端點坐標求出直線AB，BC，CD、DA的方程。2)用式(7)計算20個特征點分別與4個頂點的距離，求出4個點對應(yīng)距離最小的點，將頂點A對應(yīng)的特征點標記為1，頂點B對應(yīng)的特征點標記為4，頂點C對應(yīng)的特征點標記為20，頂點D對應(yīng)的特征點標記為17。

3)用式(8)計算剩余的16個特征點分別到四條直線的距離，找到分別與直線AD,BC距離最小的三個點，找到分別與直線AB，CD距離最小的兩個點。求直線AD對應(yīng)的三個點與點1的距離，按照距離由小到大將三個點標記為5,9,13；求直線BC對應(yīng)的三個點與點4的距離，按照距離由小到大將其標記為8,12,16；求直線AB對應(yīng)的兩個點與點4的距離，按照距離由小到大將其標記為3,2；求直線CD對應(yīng)的兩個點與點20的距離，按照距離由小到大將其標記為19,18。4)用式(8)計算剩下的6個特征點分別到直線AD，BC的距離，找到分別與直線AD,BC距離最小的三個點。求直線AD對應(yīng)的三個點與點2的距離，按照距離由小到大將三個點標記為6,10,14；求直線BC對應(yīng)的三個點與點3的距離，按照距離由小到大將其標記為7,11,15。

用這種方法對左圖和右圖的特征點以“回”字形一一標記，通過位置約束的方式完成立體匹配，這種方法既不需要解復(fù)雜的方程，且易于實現(xiàn)，處理結(jié)果如圖5所示。從圖5中可以看出兩幅圖的特征點是按照設(shè)定的順序一一排列，可見匹配率達到了100 %。

圖5 匹配結(jié)果

4 實驗及誤差分析

4.1 平臺搭建

基于雙目視覺的鉚釘機自動鉚接平臺結(jié)構(gòu)如圖1。整個平臺主要由小型半自動送料裝置、兩臺高分辨率的工業(yè)相機、光源、待加工薄板、計算機等組成，其中小型半自動送料裝置是為了裝夾及運送待加工薄板，相機是為了獲取板件圖像，計算機是為了對獲取的圖像進行處理。鉚接薄板是金屬且光澤較亮，光源過亮?xí)a(chǎn)生衍射現(xiàn)象使板件的某些孔位信息缺失，且考慮到經(jīng)濟實用選用熒光燈作為光源。兩臺CMOS相機的分辨率為2 592 像素×19 44l 像素，像元尺寸為2.2 μm×2.2 μm，鏡頭焦距為8 mm。

4.2 相機標定

本文選用與板件大小差距較小、角點間距為30 mm的矩形棋盤格標定版，為使標定結(jié)果理想，標定時只取其中6行9列作為標定區(qū)域。結(jié)合張正友標定法，經(jīng)過多次調(diào)整相機與標定板間的距離等，標定結(jié)果如表1所示。

表1 標定結(jié)果

4.3 誤差分析

根據(jù)雙目重建原理，對匹配后的特征點重建得到所有特征點的三維坐標。實驗獲得三維坐標分別從x軸、y軸與實際坐標的計算坐標相對偏差，結(jié)果如圖6所示。從圖中可以看出x方向偏差大多在-0.2～0.3 mm內(nèi)，y方向偏差大多在-0.2～0.2 mm內(nèi)。計算得到在x方向絕對平均偏差為0.195 mm，y方向絕對平均偏差為0.170 mm。

圖6 圓孔質(zhì)心坐標偏差

誤差產(chǎn)生的主要原因有：薄板孔在加工時的精度誤差與薄板形變誤差；搭建的雙目平臺位置誤差；圖像處理中圓度計算精度有待提高。

5 結(jié) 論

本文根據(jù)實際板件特性分析，采用Hough變換與線性約束相結(jié)合的方法提取目標鉚接板件。為了獲得目標孔邊緣，采用形態(tài)學(xué)去噪平滑圖像，用Canny算法提取孔的邊緣，結(jié)合連通區(qū)域面積閾值去除干擾信息，采用傳統(tǒng)質(zhì)心法和圓近似度判別提取孔的質(zhì)心。用以“回”字形式的位置約束方法對兩幅圖像的特征點匹配，該法計算簡單，速度快，無需解復(fù)雜的方程。實驗結(jié)果顯示，基于雙目視覺的鉚接孔定位誤差為0.2587 mm，而鉚接行業(yè)中對于薄板鉚接中心定位精度在0.1～0.3 mm以內(nèi)，該方法滿足行業(yè)要求。