基于雙目定位的離合器下料系統(tǒng)設(shè)計

秦朗朗， 潘 豐

(輕工過程先進(jìn)控制教育部重點實驗室 江南大學(xué)，江蘇 無錫 214122)

基于雙目定位的離合器下料系統(tǒng)設(shè)計

秦朗朗， 潘 豐

(輕工過程先進(jìn)控制教育部重點實驗室江南大學(xué)，江蘇無錫214122)

機(jī)械臂在生產(chǎn)線上抓取組裝完成的離合器后，需要準(zhǔn)確地將離合器放置在自動導(dǎo)引車(AGV)的下料位置。針對AGV入庫時位置不確定，機(jī)械臂無法準(zhǔn)確實現(xiàn)下料問題，設(shè)計了一種基于機(jī)器視覺技術(shù)的離合器下料定位系統(tǒng)，并針對AGV尺寸較大、單相機(jī)定位存在精度差、定位不穩(wěn)定的重要問題，采用雙目定位提高精度和穩(wěn)定性。實際使用結(jié)果表明：基于VisionPro視覺軟件設(shè)計的AGV特征識別視覺定位系統(tǒng)具有很好的定位結(jié)果，定位精度為±0.5 mm，運行時間小于2 s；能夠引導(dǎo)機(jī)械臂快速、準(zhǔn)確地完成離合器下料任務(wù)，滿足工業(yè)實際應(yīng)用的需求。

機(jī)械臂； 機(jī)器視覺； 離合器； 自動導(dǎo)引車； 雙目定位

0 引 言

工件準(zhǔn)確高效下料是工業(yè)機(jī)械臂和自動導(dǎo)引車(automatic guided vehicle,AGV)在生產(chǎn)線上有效利用的關(guān)鍵步驟[1]，當(dāng)前,機(jī)械臂和AGV已經(jīng)廣泛使用在工業(yè)生產(chǎn)線中，但在很多工業(yè)應(yīng)用當(dāng)中機(jī)械手都是在技術(shù)人員的離線編程或者示教編程下,實現(xiàn)某些特定的提前設(shè)計的固定舉措和功用[2]。假如待測工件周圍的下料環(huán)境即AGV入庫位置產(chǎn)生了變化，很可能導(dǎo)致機(jī)械臂下料工作的失敗，這類由于機(jī)械臂無法判別外部環(huán)境變化的弊端極大地局限了機(jī)械臂在工業(yè)生產(chǎn)中的使用[3]。

機(jī)器視覺技術(shù)[4]可以將機(jī)械臂技術(shù)和機(jī)器視覺技術(shù)相融合，利用視覺的定位功用使機(jī)械臂擁有自身的“眼睛”獲取待測工件的位置信息，引導(dǎo)機(jī)械臂實現(xiàn)抓取、運輸、下料等任務(wù)[5]。

機(jī)械臂抓取離合器以后，需要準(zhǔn)確無誤地將離合器安放于AGV上，針對其在精度、速度和智能化方面的需求，設(shè)計了一種離合器下料系統(tǒng)；對于尺寸較大的AGV使用相機(jī)定位存在精度差、定位不穩(wěn)定的技術(shù)難題，采用雙目定位的方法提高精度和準(zhǔn)確度。

1 視覺定位原理及系統(tǒng)組成

1.1 視覺定位原理

視覺定位原理如圖1所示，每次AGV入庫后的位置都有所變化，如圖1中AGV的位置所示。因為AGV尺寸為2150mm×950mm，尺寸較大，所以角度偏差的計算經(jīng)過坐標(biāo)系原點旋轉(zhuǎn)以后會在AGV的另一端得到放大，而且小車尺寸越大，偏差越大。為解決這個技術(shù)問題，設(shè)計了一種使用雙相機(jī)實現(xiàn)雙目定位的方法，通過采集兩個相距較遠(yuǎn)的特征點，擬合出一條直線，計算位移偏移和角度偏移，從而提高定位的準(zhǔn)確度和穩(wěn)定度；將兩相機(jī)安裝在AGV兩端特征孔的正上方，據(jù)此，兩個相機(jī)分別取小車兩個特征圓形孔求出兩特征點即特征孔的圓心A和B，如圖1中所示。

兩個相機(jī)分別采集AGV兩端上方兩個特征圓孔的圖像，根據(jù)小車入庫位置容許偏差范圍為±45mm，選擇相機(jī)視野范圍為160mm×120mm，相機(jī)1視野中的A點通過尋找圓C1的圓心提取，相機(jī)2視野中的B點通過尋找圓C2的圓心提取。

圖1 視覺定位原理

1.2 系統(tǒng)硬件結(jié)構(gòu)設(shè)計

依據(jù)定位的工業(yè)要求，設(shè)計了離合器在AGV表面下料的雙目視覺定位系統(tǒng)的總體結(jié)構(gòu)如圖2所示，主要有工業(yè)相機(jī)、工業(yè)鏡頭、特制光源、圖像采集卡、機(jī)械臂、AGV和工控機(jī)等組成。兩個相機(jī)安裝在AGV兩端上方，光源安裝在相機(jī)的下面，圖像采集卡安裝在工控機(jī)PCI插槽中，工控機(jī)和相機(jī)、機(jī)械臂通過以太網(wǎng)連接在一起，工控機(jī)是系統(tǒng)的中樞，負(fù)責(zé)圖像處理、通信和界面顯示的重要工作。

圖2 定位系統(tǒng)硬件組成

機(jī)械臂從組裝生產(chǎn)線抓取離合器到位、AGV入庫到位后，工控機(jī)發(fā)出圖象采集命令控制工業(yè)相機(jī)采集小車圖像，采集到的圖像經(jīng)過千兆以太網(wǎng)傳遞到工控機(jī)；工控機(jī)得到圖像后通過預(yù)先設(shè)計的圖像處理算法計算出位置偏移量并發(fā)送給機(jī)械臂，機(jī)械臂根據(jù)接收的信息調(diào)整自身下料位姿完成下料任務(wù)，如果兩次視覺定位都失敗，則需要手動調(diào)整AGV的位置，重新進(jìn)行定位分析；完成了一塊離合器的下料任務(wù)后，機(jī)械臂抓取組裝線上的下一塊離合器，繼續(xù)完成下料。

1.3 系統(tǒng)硬件選型

1)工業(yè)相機(jī)

根據(jù)視覺定位系統(tǒng)要求，精度±0.5mm、視野范圍160mm×120mm、以太網(wǎng)數(shù)據(jù)接口類型、圖像傳輸速率要求快等，選擇德國Basler公司應(yīng)用成熟的scA2500—20gm型黑白工業(yè)相機(jī), 分辨率為2590×2048，接口為GIGE，幀速率為20f/s，鏡頭接口為C-Mount。

2)鏡頭

根據(jù)工業(yè)相機(jī)分辨率的大小、相機(jī)采像視野范圍和相機(jī)工作距離等要求，使用TAMRON公司研發(fā)的M118FM16型號的百萬像素工業(yè)鏡頭，焦距為16mm，接口類型為C，光圈范圍為1.4～16。

3)光源

在設(shè)計AGV雙目視覺定位系統(tǒng)過程中，經(jīng)過多次打光試驗，為了能夠得到清晰、對比度明顯的原始圖像，最終選用奧普特公司研制的OPT—RI15000系列的90°直射紅色環(huán)形LED光源，選擇該光源主要原因：

a.需要采像的特征點是圓形孔，環(huán)形光源發(fā)出的光線能較好地覆蓋需要采像的目標(biāo)特征點，角度選擇90°直射方式，能夠保證光照均勻，確保較強(qiáng)的圖像對比度。

b.AGV表面鍍鋅，反光較強(qiáng)，紅色光源發(fā)出的紅色光線波長相對較長，可以保證相對均勻、穩(wěn)定的圖像效果。

c.LED光源的光亮穩(wěn)定、使用壽命長，性價比高[6]。

1.4 系統(tǒng)安裝方式

機(jī)械工藝可以保證AGV的入庫位置誤差范圍為±50mm，據(jù)此，為了能夠采集到小車上特征點的圖像，需要保證相機(jī)視野范圍在160mm×120mm左右。由于受到機(jī)械臂工作時的空間干涉等情況，設(shè)計了如圖3所示的雙目視覺定位系統(tǒng)的相機(jī)安裝方式。

圖3 雙相機(jī)安裝方式

2 系統(tǒng)坐標(biāo)系轉(zhuǎn)換

由于下料系統(tǒng)根據(jù)相機(jī)獲取到的圖像進(jìn)行視覺定位，使用圖像坐標(biāo)系，而機(jī)械臂通過調(diào)整工件坐標(biāo)系來實現(xiàn)姿態(tài)的調(diào)整，所以需要將機(jī)械臂工件坐標(biāo)系和圖像坐標(biāo)系統(tǒng)[7]。視覺定位系統(tǒng)在開發(fā)過程中涉及3個坐標(biāo)系之間的轉(zhuǎn)化：機(jī)械臂工件坐標(biāo)系、世界坐標(biāo)系和圖像坐標(biāo)系[8]。由于AGV入庫后離合器的下料位置在同一水平面，所以z軸坐標(biāo)固定，即視覺系統(tǒng)是在二維空間平面內(nèi)的定位，三個坐標(biāo)系都是二維坐標(biāo)系，不考慮z軸。

3個坐標(biāo)系的相互轉(zhuǎn)換對應(yīng)關(guān)系如圖4所示，要完成圖像坐標(biāo)系到機(jī)械臂工件坐標(biāo)系之間的轉(zhuǎn)換，需要進(jìn)行2個標(biāo)定過程[9]：1)通過相機(jī)標(biāo)定完成圖像坐標(biāo)系至世界坐標(biāo)系的轉(zhuǎn)化；2)通過機(jī)械臂雙目標(biāo)定完成世界坐標(biāo)系到機(jī)械臂工件坐標(biāo)系的轉(zhuǎn)化，轉(zhuǎn)化的過程如下。

圖4 坐標(biāo)系關(guān)系

2.1 圖像校準(zhǔn)與標(biāo)定

視覺定位過程中需要確定AGV兩端特征點的位置和在圖像中具體位置的坐標(biāo)對應(yīng)關(guān)系，這個時候需要搭建相機(jī)成像過程中的幾何模型[10]，相機(jī)標(biāo)定的過程，本質(zhì)就是解出相機(jī)成像中幾何模型參數(shù)數(shù)值的過程。在視覺定位過程中為了能夠準(zhǔn)確地確定AGV兩端特征點的位置和在圖像中具體位置的坐標(biāo)對應(yīng)關(guān)系，提高視覺定位過程中的精確程度，需要對相機(jī)獲取到的圖像進(jìn)行畸變校正，本文使用非線性標(biāo)定完成校正。

1)采集標(biāo)定板圖像:標(biāo)定板分為棋盤格標(biāo)定板和網(wǎng)格點標(biāo)定板，系統(tǒng)為了得到更高的標(biāo)定精度，使用棋盤格標(biāo)定板中的“詳盡棋盤格”用來完成標(biāo)定工作。捕獲標(biāo)定板圖像信息過程中，要求周圍的環(huán)境以及采集圖像所使用的工具配置均與相機(jī)在生產(chǎn)過程中正常工作時一致，根據(jù)系統(tǒng)工業(yè)相機(jī)工作時的視野范圍和精度要求制作了一塊大小為130mm×90mm，每個網(wǎng)格大小為5mm×5mm的標(biāo)定板，如圖5。

2)提取標(biāo)定信息：采集到標(biāo)定板的原始圖像之后，使用CalibCheckerBoard工具將棋盤格圖像的特征位置點分析提??；工具使用時選用“非線性標(biāo)定”模式，選用“詳盡棋盤格”特征搜索形式。如圖5所示。

圖5 特征點分布和部分特征點坐標(biāo)值

3)相機(jī)標(biāo)定：相機(jī)標(biāo)定過程的本質(zhì)是將相機(jī)成像過程中幾何模型的相關(guān)參數(shù)求取出來，幾何模型參數(shù)包含透視畸變模型參數(shù)、徑向畸變模型參數(shù)以及線性轉(zhuǎn)換過程參數(shù)；視覺系統(tǒng)運行過程中，使用標(biāo)定過程中建立的幾何模型完成原始圖像的畸變矯正，然后將圖像坐標(biāo)系轉(zhuǎn)變到世界坐標(biāo)系。圖6列出了標(biāo)定過程中涉及到的一些標(biāo)定參數(shù)信息，其中包含有一些幾何模型參數(shù)以及均方根RMS誤差。

圖6 標(biāo)定結(jié)果

圖6所示的RMS誤差指標(biāo)定過程中標(biāo)定板上特征點坐標(biāo)位置的均方誤差，用RMS誤差來評估標(biāo)定過程中標(biāo)定精度的高低。RMS誤差數(shù)值越小，表示圖像標(biāo)定的效果就越理想，公式如下

(1)

式中e為標(biāo)定板上某個特征點的位置誤差；i為標(biāo)定板上特征點的編號；N為標(biāo)定板上特征點的個數(shù)。特征點的位置誤差的實質(zhì)指標(biāo)定板上某特征點經(jīng)過相機(jī)標(biāo)定之后求得的世界坐標(biāo)值與進(jìn)行標(biāo)定之前此特征點原始的世界坐標(biāo)值之間的位置距離相減求得的差值。CalibCheckerBoard工具中將上述RMS誤差整體劃分成了5個評價區(qū)間：0～0.1為優(yōu)秀；0.1～0.5為良好；0.5～2為合格；2～5為較差；5～+∞為非常差。系統(tǒng)中相機(jī)標(biāo)定的RMS誤差為0.381706，所以標(biāo)定結(jié)果良好，滿足標(biāo)定要求。

2.2 機(jī)械臂和視覺之間的標(biāo)定

定位系統(tǒng)通過雙目標(biāo)定過程進(jìn)行世界坐標(biāo)系到機(jī)械臂工件坐標(biāo)系的轉(zhuǎn)化，其轉(zhuǎn)化關(guān)系如圖7所示。

圖7 世界坐標(biāo)系到機(jī)械臂工件坐標(biāo)系轉(zhuǎn)化

如圖7所示，世界坐標(biāo)系與機(jī)械臂工件坐標(biāo)系之間是按照比例縮放、二維平面旋轉(zhuǎn)和位置偏移進(jìn)行轉(zhuǎn)換。其中坐標(biāo)系xwowyw為世界坐標(biāo)系，坐標(biāo)系xroryr為機(jī)械臂工件坐標(biāo)系。選取的N點為兩個坐標(biāo)系中的任意點，將N點在兩個坐標(biāo)系中的坐標(biāo)依次表示為(xwn,ywn)和(xrn,yrn)。

3 定位系統(tǒng)算法設(shè)計

3.1 樣板匹配

AGV入庫位置的變化會造成工業(yè)相機(jī)采集的圖像的變化，顯然,圖像中的特征點會相應(yīng)地發(fā)生變化。文中使用樣板匹配的辦法完成對特征點搜索范圍圖像的粗略定位，使用PMAlign工具將圖像中的特征點信息提取出來，使用Fixture工具建立圖像中的特征點和樣板中的特征點坐標(biāo)位置信息對應(yīng)關(guān)系，可以保證入庫AGV位置的變化不會影響對特征點的準(zhǔn)確提取。

為了可以匹配到唯一、穩(wěn)定的樣板信息，樣板匹配過程中選擇的樣板在整個圖像中需要具有唯一性，系統(tǒng)選取AGV兩端的特征孔作為待匹配的樣板特征。圖8給出了相機(jī)1和相機(jī)2待匹配的特征孔圖像，用來完成樣板特征與采集圖像之間的坐標(biāo)位置對應(yīng)關(guān)系。

圖8 樣板匹配特征孔圖像

3.2 圓的擬合及特征點A和B的提取

產(chǎn)品粗定位后，根據(jù)匹配到的樣板特征，在相對應(yīng)位置處，即特征孔的位置處，擬合圓。使用FindCircle工具來實現(xiàn)圓的擬合，根據(jù)需要設(shè)置工具的具體參數(shù)，其中包括卡尺數(shù)量、圓環(huán)圓心位置坐標(biāo)、圓環(huán)查找方向和卡尺投影長度[11]。工具運行的底層算法，是在圓環(huán)的每一個分段搜索范圍內(nèi)沿著設(shè)定的檢測方向?qū)ふ揖哂凶畲髮Ρ榷鹊狞c，最后使用最小二乘法對尋找到M個最大對比度點進(jìn)行圓的擬合，從而得到擬合圓[12],如圖9。

圖9 相機(jī)1特征圓C1的擬合

如圖9所示，特征圓通過尋找特征孔邊界上最大對比度的點，根據(jù)這些點擬合而來，特征圓上點的求取采用VisionPro中FindCircle工具中的卡尺實現(xiàn)。系統(tǒng)使用60個探索長度為14像素，投影長度為4像素的卡尺提取特征圓上60個特征點，同時為了避免外界環(huán)境噪聲對獲取到的圖像的干擾，在擬合特征圓的過程中排除掉5個偏差最大的異常點，從而提高擬合圓的準(zhǔn)確性。

FindCircle工具擬合的兩個特征圓的兩個輸出終端Results.GetCircle().CenterX和Results.GetCircle().CenterY即為圓心的坐標(biāo)值，兩個圓心將作為兩個特征點進(jìn)入下面的研究之中。

3.3 求取偏移量

如圖1所示，將AGV放在下料標(biāo)準(zhǔn)位置，相機(jī)采集圖像，經(jīng)上述圖像處理擬合出標(biāo)準(zhǔn)位置特征點A0(x0,y0)，將A0點作為小車的基準(zhǔn)位置坐標(biāo)，并將A0點定義為坐標(biāo)系原點，則A0點的坐標(biāo)即為(0,0)；將擬合圓C2的圓心B0看作是另外一個特征點，坐標(biāo)記為(x1,y1)；這時直線A0B0的角度α0就可以作為基準(zhǔn)角度，直線A0B0的角度可以使用CogMath.AnglePointPoint()函數(shù)計算。A0點坐標(biāo)值、B0點坐標(biāo)值、α0的角度值即小車在標(biāo)準(zhǔn)位置下料時的基準(zhǔn)位置參數(shù)，機(jī)械臂記錄基準(zhǔn)位置參數(shù)，為后續(xù)計算位置偏移量做準(zhǔn)備。

小車入庫位置發(fā)生變化后，由位置變化后的特征點A(x,y)的坐標(biāo)減去基準(zhǔn)位置坐標(biāo)，即可求得位置偏移量Δx=x-x0=x,Δy=y-y0=y；角度變化值得計算需要使用CogMath.AnglePointPoint()函數(shù)求解位置變化后小車表面擬合的直線AB的角度 ，角度α減去機(jī)械臂記錄的基準(zhǔn)位置角度即可求得角度變化值ΔAngle=α-α0。

4 系統(tǒng)測試

為了驗證視覺定位系統(tǒng)的功能是否滿足工業(yè)要求，選取90次小車入庫的情況進(jìn)行實際測試，在測試過程中根據(jù)實際情況調(diào)整視覺工具參數(shù)，保證系統(tǒng)達(dá)到最佳定位狀態(tài)。表1給出了調(diào)整后的具體參數(shù)值。

表1 系統(tǒng)工具參數(shù)

最終測試表明當(dāng)AGV入庫位置容許偏差Δx和Δy在±50 mm范圍內(nèi)、角度偏移量在±5°范圍內(nèi)時，視覺系統(tǒng)可以穩(wěn)定的提取特征并實現(xiàn)精確定位，定位誤差在±0.5 mm內(nèi)，最大定位誤差為0.36 mm，平均誤差0.263 mm。由誤差統(tǒng)計數(shù)據(jù)分析知：平均值為0.263 mm,標(biāo)準(zhǔn)差為0.285 mm,方差為0.051 mm。經(jīng)驗證，整個雙目視覺系統(tǒng)的運行時間保持在2 s之內(nèi)，視覺系統(tǒng)可實現(xiàn)歷史數(shù)據(jù)追溯和視覺工具參數(shù)設(shè)定，符合實際工業(yè)生產(chǎn)需求。

5 結(jié)束語

在離合器下料系統(tǒng)中，將視覺定位技術(shù)應(yīng)用于機(jī)械臂技術(shù)中，使機(jī)械臂具有自己的“眼睛”，方便獲取AGV位置變化的信息并及時調(diào)整下料位姿，順利地實現(xiàn)下料任務(wù)、提高了生產(chǎn)效率、解放了人工勞動力、提高了機(jī)械臂的自動化水平和作業(yè)靈活性，有利于擴(kuò)大機(jī)械臂在工業(yè)生產(chǎn)領(lǐng)域的應(yīng)用范圍。對于AGV這樣的大尺寸工件定位，角度的偏移量要求精確度較高，采用雙相機(jī)定位的方法可以確保角度計算的可靠性和精確性。當(dāng)前，該雙目視覺定位系統(tǒng)已經(jīng)應(yīng)用在實際工業(yè)生產(chǎn)中，可以高效、精確、穩(wěn)定地引導(dǎo)機(jī)械臂實現(xiàn)離合器下料任務(wù)，具有很大的應(yīng)用價值和意義。

[1] Wang Weilin,Li Changying.A multimodal machine vision system for quality inspection of onions[J].Journal of Food Engineering,2015,166:291-301.

[2] Edwards J.Looking at machine vision[J].IEEE Signal Proces-sing Magazine,2014,31:9-117.

[3] 任繼昌,楊曉東.基于互信息的高精度雙目視覺測距方法研究[J].控制工程,2015(1):199-204.

[4] 賈 佳,白瑞林,錢 勇,等.嵌入式彩色圖像傳感器重構(gòu)系統(tǒng)的設(shè)計與實現(xiàn)[J].傳感器與微系統(tǒng)，2011，30(3):121-124.

[5] 基于機(jī)器視覺的非結(jié)構(gòu)化道路檢測算法研究[J].傳感器與微系統(tǒng)，2010，29(1)：39-41.

[6] 廖曉波,李眾立,廖 璇．磚窯卸垛機(jī)器人視覺定位系統(tǒng)研究[J].控制工程,2013,20(4):650-654.

[7] 姜 平,周根榮.基于計算機(jī)視覺的織物疵點自動檢測[J].傳感器與微系統(tǒng)，2006，25(1)：73-75.

[8] 張小清,周廣兵．基于機(jī)器視覺的動力電池分揀機(jī)器人定位系統(tǒng)[J].物流工程與管理,2012,34(1):95-98.

[9] 晏祖根,李 明,徐克非,等.高速機(jī)器人分揀系統(tǒng)機(jī)器視覺技術(shù)的研究[J].包裝與食品機(jī)械,2014,32(1):28-31.

[10] 翟敬梅,董鵬飛,張 鐵．基于視覺引導(dǎo)的工業(yè)機(jī)器人定位抓取系統(tǒng)設(shè)計[J].機(jī)械設(shè)計與研究,2014,30(5):45-49.

[11] 梁曉波,程文明．基于雙目視覺的集裝箱自動識別定位系統(tǒng)的設(shè)計[J].機(jī)械,2015,42(1):7-10.

[12] 隋修武,齊曉光,李大鵬.基于雙路線陣CCD的自動電子數(shù)粒機(jī)[J].傳感器與微系統(tǒng)，2012，31(5):122-125.

Designofclutchunloadingsystembasedonbinocularvisualpositioning

QIN Lang-lang， PAN Feng

(KeyLaboratoryofAdvancedProcessControlforLightIndustry,MinistryofEducation,JiangnanUniversity,Wuxi214122,China)

The robotic arm needs to put clutches in automatic guided vehicle(AGV)accurately after scraping clutches from the assembling line.As the storage location of AGV is uncertain and the robotic arm can’t accurately realize the blanking,use the technology of machine vision to design a localization system of vision-based clutch unloading.Aiming at problem that the size of AGV is too large and localization of single camera is unstable and precision is low.Use binocular localization to improve the precision and stability.Practical application result show that the designed AGV feature recognition and location system which based on VisionPro vision software,has wonderful locating results,the location precision is ±0.5mm,and the run time is less than2s,besides,it can guide robotic arm to realize the clutch blanking task precisely,and quickly,meeting the requirements of industrial application.

robotic arm; machine vision; clutch; automatic guided vehicle(AGV); binocular localization

10.13873/J.1000—9787(2017)10—0080—05

2016—09—15

TP 319

A

1000—9787(2017)10—0080—05

秦朗朗(1993-)，男，通訊作者，碩士研究生，研究方向為控制工程及應(yīng)用，E—mail:18762670760@163.com。潘 豐(1963-)，男，教授，博士生導(dǎo)師，主要從事工業(yè)過程優(yōu)化控制研究工作，E—mail:pan_feng_63@163.com。