新的單目視覺系統(tǒng)兩步手眼標(biāo)定方法①

方 舟,李 磊,朱 峰,魯興河,李澤宇

(中國電子科技集團(tuán)公司第二十八研究所,南京 210007)

機(jī)器視覺系統(tǒng)可以從工作環(huán)境中采集到的圖像分析處理提取信息,并且可以對空間尺寸進(jìn)行精確測量和定位,進(jìn)而反饋給機(jī)器人,引導(dǎo)機(jī)器人進(jìn)行抓取、裝配等操作[1–3].為了將視覺系統(tǒng)中的位姿信息轉(zhuǎn)換到機(jī)器人系統(tǒng)中,手眼標(biāo)定是其中的重要環(huán)節(jié),標(biāo)定精度對機(jī)器人最終定位精度有很大影響.

傳統(tǒng)的手眼標(biāo)定方法都是通過求解AX=XB 方程的形式來標(biāo)定[4].求解方法可以分為分步法[5–7]和整體法[8–10].除了傳統(tǒng)的方法之外,還有其他的手眼標(biāo)定方法.Ma[11]提出一種基于主動視覺的手眼自標(biāo)定方法,通過運(yùn)動平臺的三次非共面平移運(yùn)動求解相機(jī)與平臺間的旋轉(zhuǎn)關(guān)系,然后控制運(yùn)動平臺進(jìn)行一次非平移運(yùn)動,通過前后兩次對同一標(biāo)志點(diǎn)的重建獲得相機(jī)平移量,代入方程求解相機(jī)與平臺之間的平移關(guān)系.楊守瑞等[12]建立了同時包含機(jī)器人參數(shù)誤差和手眼關(guān)系誤差的模型,先得到手眼關(guān)系初解,隨后將初解代入誤差模型,通過球心約束同時求解機(jī)器人誤差和手眼誤差.張旭等[13]令機(jī)器人末端吸盤攜帶標(biāo)定板,攝像機(jī)獲取平面鏡中標(biāo)定板的圖像,并通過3 次改變平面鏡的姿態(tài)求解相機(jī)到末端靶標(biāo)的位姿,然后通過輔助相機(jī)測量末端靶標(biāo)到吸盤的距離,最終獲取相機(jī)到吸盤的手眼關(guān)系.

傳統(tǒng)的求解AX=XB 方程的方法比較復(fù)雜,常常需要機(jī)器人移動數(shù)十個位置,而一些新的方法需要其他的高精度的測量設(shè)備.針對以上問題,結(jié)合實(shí)際環(huán)境和需求,本文提出一種面向Eye-to-Hand 形式的新的兩步法手眼標(biāo)定方法.該方法將求解手眼關(guān)系分為求解旋轉(zhuǎn)關(guān)系和平移關(guān)系兩步,首先令機(jī)器人末端進(jìn)行兩次平移運(yùn)動獲取旋轉(zhuǎn)關(guān)系,其次建立了機(jī)器人運(yùn)動前后各個坐標(biāo)系轉(zhuǎn)換關(guān)系的模型,通過機(jī)器人末端若干次旋轉(zhuǎn)運(yùn)動求解平移關(guān)系,最后通過仿真實(shí)驗(yàn)和實(shí)際實(shí)驗(yàn)證明,該方法操作簡單、快速且具有一定精度.

1 新的兩步法手眼標(biāo)定

在不同應(yīng)用場景下的Eye-to-Hand 形式的手眼標(biāo)定中,相機(jī)與機(jī)器人的相對位置關(guān)系是多變的,而機(jī)器人末端攜帶標(biāo)定板運(yùn)動的標(biāo)定方法對相機(jī)與機(jī)器人的相對位置沒有較多要求,所以本文通過機(jī)器人末端夾持標(biāo)定板運(yùn)動,相機(jī)采集標(biāo)定板圖像的形式進(jìn)行標(biāo)定.

本文提出的手眼標(biāo)定方法涉及到的各個坐標(biāo)系如圖1所示.其中,工具坐標(biāo)系為Ot?XtYtZt,單目視覺系統(tǒng)坐標(biāo)系為Oc?XcYcZc,機(jī)器人基座標(biāo)系為Ob?XbYbZb.機(jī)器人每次夾持標(biāo)定板到單目視覺系統(tǒng)上方固定點(diǎn)處拍照,由于有機(jī)器人的重復(fù)定位精度保證,可以認(rèn)為每次拍照時建立在機(jī)器人末端夾爪上的工具坐標(biāo)系相對于相機(jī)坐標(biāo)系相對位置關(guān)系都是固定的,因此標(biāo)定出在拍照點(diǎn)位時的工具坐標(biāo)系和相機(jī)坐標(biāo)系的相對位姿,工具坐標(biāo)系與機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系可通過示教器讀出,也就計算出了基坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系.

圖1 手眼標(biāo)定中的坐標(biāo)系

在進(jìn)行手眼標(biāo)定前,工具坐標(biāo)系已由之前描述的四點(diǎn)法標(biāo)定好,相機(jī)也經(jīng)過了單目標(biāo)定獲得了內(nèi)參和畸變系數(shù).為了獲取相機(jī)和工具坐標(biāo)系的關(guān)系,必須要讓相機(jī)對工具坐標(biāo)系上的點(diǎn)坐標(biāo)進(jìn)行測量,由于末端夾爪上沒有合作目標(biāo),所以設(shè)計了如圖2所示的編碼點(diǎn)標(biāo)定板供夾爪夾持.設(shè)計編碼點(diǎn)標(biāo)定板坐標(biāo)系為Of?Xf Yf Zf,原點(diǎn)建立在0 號編碼點(diǎn)圓心,X軸為0 號與1 號編碼點(diǎn)圓心連線,Y軸為0 號與2 號編碼點(diǎn)圓心連線,方向在圖中標(biāo)出,Z軸按右手法則確定.編碼點(diǎn)之間的距離設(shè)置為40 mm.在標(biāo)定過程中,單目視覺系統(tǒng)會對編碼點(diǎn)標(biāo)定板拍照獲取編碼點(diǎn)圓心的圖像坐標(biāo),由于編碼點(diǎn)之間相對位置關(guān)系已知,且獲取了編碼點(diǎn)的圓心的圖像坐標(biāo),結(jié)合相機(jī)內(nèi)參,通過求解P4P 問題獲取編碼點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo).

圖2 編碼點(diǎn)標(biāo)定板設(shè)計圖

1.1 旋轉(zhuǎn)關(guān)系標(biāo)定

轉(zhuǎn)換矩陣的第一列可以視為坐標(biāo)系B的X軸上的單位矢量在坐標(biāo)系A(chǔ)的X,Y,Z軸上單位矢量的投影,第二列和第三列以此類推,第四列為坐標(biāo)系B的原點(diǎn)OB在 坐標(biāo)系A(chǔ)中的坐標(biāo).所以所以的每一列可以看成工具坐標(biāo)系主軸上的單位矢量在相機(jī)坐標(biāo)系的各個軸上單位矢量的投影.

設(shè)旋轉(zhuǎn)矩陣初值為,標(biāo)定步驟如下:

(1)控制機(jī)器人末端沿工具坐標(biāo)系的X軸方向運(yùn)動一段距離,運(yùn)動距離無需記錄,在起始點(diǎn)和終點(diǎn)處分別對標(biāo)定板拍照獲得標(biāo)定板坐標(biāo)系原點(diǎn)Of在相機(jī)坐標(biāo)系下的坐標(biāo),記沿工具坐標(biāo)系X軸正方向計算出的坐標(biāo)分別為cP1和cP2,通過cP2?c P1之 后單位化獲得的第一列;

(2)控制機(jī)器人末端沿工具坐標(biāo)系的Y軸方向運(yùn)動一段距離,后續(xù)步驟同步驟(1),獲得的第二列;

(3)和叉乘獲得的第三列;

1.2 平移關(guān)系標(biāo)定

記相機(jī)坐標(biāo)系到工具坐標(biāo)系的平移矩陣為平移關(guān)系可通過末端夾爪夾持標(biāo)定板變換多個位姿求解出,涉及到的坐標(biāo)系較多,轉(zhuǎn)換關(guān)系如圖3所示.

圖3 標(biāo)定平移關(guān)系涉及到的各坐標(biāo)系關(guān)系

在固定拍照位置,工具坐標(biāo)系為Ot?XtYtZt,此時設(shè)置夾持在夾爪上的標(biāo)定板坐標(biāo)系為Od?XdYdZd,工具坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系為,工具坐標(biāo)系變換位姿后,新的工具坐標(biāo)系為Ot1?Xt1Yt1Zt1,相應(yīng)的標(biāo)定板坐標(biāo)系為Od1?Xd1Yd1Zd1,工具坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系為.注意這里建立的標(biāo)定板坐標(biāo)系的原點(diǎn)為四個編碼點(diǎn)的重心,方向與工具坐標(biāo)系的方向相同,因此標(biāo)定板坐標(biāo)系與工具坐標(biāo)系僅有平移關(guān)系,而且由于在標(biāo)定過程中夾爪與標(biāo)定板并未相對移動,因此標(biāo)定板到工具坐標(biāo)系的轉(zhuǎn)換關(guān)系有:

即為標(biāo)定板坐標(biāo)系原點(diǎn)在工具坐標(biāo)系下的坐標(biāo).設(shè)編碼點(diǎn)P在Of?Xf Yf Zf中的坐標(biāo)為f Pi(i=0,1,2,3),在Oc?XcYcZc中坐標(biāo)為cPi,在Ot?XtYtZt中坐標(biāo)為tPi,Of?Xf Yf Zf到Oc?XcYcZc的旋轉(zhuǎn)和平移關(guān)系分別為和,均由單目視覺系統(tǒng)測出,Oc?XcYcZc到Ot?XtYtZt的旋轉(zhuǎn)和平移關(guān)系分別為>和,在這里先假設(shè)tct=0,f Pi到tPi的轉(zhuǎn)換有:

根據(jù)之前對Od?XdYdZd的定義,可知:

但是這里計算出的tOd與真實(shí)值相差了一個,如果能標(biāo)定出真實(shí)的tOd也就是,就可以計算出,所以現(xiàn)在問題轉(zhuǎn)化為求.

設(shè)標(biāo)定板上一點(diǎn)P在Od1?Xd1Yd1Zd1中坐標(biāo)為d1P,根據(jù)圖3,該點(diǎn)在Oc?XcYcZc下的坐標(biāo)cP可以表示為:

也可以表示為:

式(5)和式(6)的右邊相等,因此有:

結(jié)合式(2),將式(7)展開并化簡可得:

如果控制工具坐標(biāo)系圍繞TCP 點(diǎn)只做姿態(tài)變換,沒有平移,則=,式(8)中下式可進(jìn)一步簡化為:

可將式(9)視為Ax=b的形式,需要注意的是,>和都是旋轉(zhuǎn)矩陣,兩者作差得到的矩陣行列式為零,如工具坐標(biāo)系僅旋轉(zhuǎn)一個新的位置,僅可獲得一個如式(9)的方程,無法解出.因此,需要將工具坐標(biāo)系旋轉(zhuǎn)多個位置,求解的最小二乘解.

計算出后,根據(jù)之前的分析,有即標(biāo)定出相機(jī)坐標(biāo)系到工具坐標(biāo)系的平移矩陣.

設(shè)平移矩陣為,標(biāo)定步驟如下:

(1)機(jī)器人夾持標(biāo)定板到單目視覺系統(tǒng)上方固定位置處;

(2)控制工具坐標(biāo)系圍繞TCP 點(diǎn)做若干次旋轉(zhuǎn)運(yùn)動,并對每次位置的標(biāo)定板拍照;

(3)根據(jù)式(9)和式(10)求解;

2 實(shí)驗(yàn)驗(yàn)證

作為對比,本文首先對傳統(tǒng)的解AX=XB 方程形式的手眼標(biāo)定方法進(jìn)行了仿真,并且計算了標(biāo)定誤差.在仿真中,對實(shí)驗(yàn)數(shù)據(jù)分別設(shè)置了若干組高斯誤差(σ從0.1 至4.0),在通過傳統(tǒng)方法計算出手眼關(guān)系X后,設(shè)誤差error=‖AiX?XBi‖(i=1,2,···,n).誤差數(shù)據(jù)如表1所示,方法1～5 分別對應(yīng)文獻(xiàn)[5–9].

表1 不同的傳統(tǒng)手眼標(biāo)定方法誤差

本文實(shí)驗(yàn)的硬件系統(tǒng)包括工業(yè)機(jī)器人、編碼點(diǎn)標(biāo)定板、工業(yè)相機(jī)及鏡頭.其中,所使用的工業(yè)機(jī)器人型號為KUKA KR60HA,工業(yè)相機(jī)型號為德國映美精公司的DMK 33G274,使用的鏡頭為Computar 的M0814-MP2,焦距8 mm.實(shí)驗(yàn)環(huán)境如圖4所示.

對于本文提出的新的兩步法標(biāo)定,首先如2.1 節(jié)所述步驟標(biāo)定相機(jī)與工具坐標(biāo)系的旋轉(zhuǎn)關(guān)系.標(biāo)定過程采集的編碼點(diǎn)標(biāo)定板圖像如圖5所示.

圖4 實(shí)驗(yàn)環(huán)境

圖5 編碼點(diǎn)檢測效果

可以看出,標(biāo)定板背景環(huán)境較為復(fù)雜,由于采用編碼點(diǎn),仍可以很好的提取圓心.最終計算出:

然后控制工具坐標(biāo)系旋轉(zhuǎn)不同角度,采集各姿態(tài)下的標(biāo)定板圖像并記錄工具坐標(biāo)系在機(jī)器人基坐標(biāo)系下的讀數(shù),代入式(8)組成線性方程組,求得=(10.444,2.8617,?4.8581)T,與真實(shí)值相差一個>的tOd=(21.658,2.751,?267.633)T,最終計算=(?11.214,0.1112,262.78)T.將旋轉(zhuǎn)平移矩陣組合,獲得單目相機(jī)坐標(biāo)系到工具坐標(biāo)系的齊次變換矩陣,由示教器讀出相應(yīng)參數(shù)可獲取.最終計算出手眼關(guān)系.

可以看出,整個標(biāo)定過程只需機(jī)器人進(jìn)行兩次平移運(yùn)動和若干次旋轉(zhuǎn)運(yùn)動,非常快速.令機(jī)器人夾爪夾持標(biāo)定板運(yùn)動到不同位姿,用單目相機(jī)采集標(biāo)定板圖像,記錄并計算A和B,令作為X 代入AX=XB 方程,仍然取誤差error=‖AiX?XBi‖(i=1,2,···,n)作為精度驗(yàn)證.誤差數(shù)值如圖6所示,平均誤差1.8148.分析標(biāo)定結(jié)果和誤差可知,本文提出的標(biāo)定方法快速,準(zhǔn)確,其精度優(yōu)于傳統(tǒng)方法.

圖6 兩步法標(biāo)定誤差

3 結(jié)論

本文提出了一種新的單目視覺系統(tǒng)兩步手眼標(biāo)定方法,該方法將標(biāo)定過程分為求解旋轉(zhuǎn)關(guān)系和平移關(guān)系兩步,通過控制機(jī)器人進(jìn)行兩次平移運(yùn)動和若干次旋轉(zhuǎn)運(yùn)動即可計算手眼關(guān)系.該方法與已有方法的主要區(qū)別在于其避免了對AX=XB 方程的求解,傳統(tǒng)的基于AX=XB 方程求解的方法不僅至少需要采集數(shù)十張標(biāo)定板圖像,而且精度得不到保證,本文方法不僅可以減少在標(biāo)定過程中對標(biāo)定板圖像數(shù)量的要求,而且實(shí)驗(yàn)驗(yàn)證了本文方法具有較高精度,因此本文方法快速、精確,此外該方法使用的編碼點(diǎn)標(biāo)定板非常簡單,不需要昂貴的外部設(shè)備.在實(shí)際應(yīng)用中,機(jī)器人和環(huán)境噪聲會對標(biāo)定精度造成影響.所以后續(xù)仍需要對其進(jìn)行精度和標(biāo)定結(jié)果優(yōu)化進(jìn)行大量的研究工作.