謝小鵬, 彭澤林
(華南理工大學(xué)機(jī)械與汽車工程學(xué)院,廣東 廣州 510640)
隨著工業(yè)自動化和智能化的發(fā)展,工業(yè)機(jī)器人被廣泛應(yīng)用于生產(chǎn)制造的各個領(lǐng)域中。視覺系統(tǒng)作為工業(yè)機(jī)器人的“眼睛”,有效提高了工業(yè)機(jī)器人在生產(chǎn)應(yīng)用中的柔性和智能化程度,極大提升了生產(chǎn)效率和自動化水平[1-3]。
視覺系統(tǒng)與機(jī)器人關(guān)聯(lián)方式主要有兩種:非固定視點(diǎn)的視覺(eye-in-hand)和固定視點(diǎn)的視覺(eye-to-hand)[4]。非固定視點(diǎn)的機(jī)器人視覺,攝像機(jī)通常安裝在機(jī)械手末端,并隨著機(jī)械手末端移動,是機(jī)器人實(shí)現(xiàn)主動視覺的主要途徑;固定視點(diǎn)的機(jī)器人視覺,攝像機(jī)和機(jī)械手分離,攝像機(jī)安裝位置固定且靜置,因此系統(tǒng)結(jié)構(gòu)安裝方便,視覺系統(tǒng)不會因?yàn)闄C(jī)器人運(yùn)動而導(dǎo)致結(jié)構(gòu)變化,精度相對較高,在工業(yè)機(jī)器人上應(yīng)用也比較廣泛[5-6]。
固定視點(diǎn)的機(jī)器人手眼關(guān)系標(biāo)定需要確定相機(jī)坐標(biāo)系與機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系。與非固定視點(diǎn)的機(jī)器人手眼關(guān)系標(biāo)定相同,核心問題都是解決手眼轉(zhuǎn)換關(guān)系矩陣的求解,國內(nèi)外學(xué)者在這方面也進(jìn)行了相關(guān)研究。早期的如Tsai等[7-8]提出控制機(jī)器人末端執(zhí)行機(jī)構(gòu)至少進(jìn)行兩次運(yùn)動,在3個不同方位對標(biāo)定物進(jìn)行成像,并將其數(shù)學(xué)模型歸結(jié)為求解矩陣方程;Ma[9]利用攝像機(jī)的3次兩兩正交的運(yùn)動,利用極點(diǎn)建立約束方程組;張召瑞等[10]通過融合旋轉(zhuǎn)和平移約束信息解決系數(shù)矩陣不滿秩的標(biāo)定問題;王金橋等[11]利用遺傳算法優(yōu)化手眼標(biāo)定數(shù)學(xué)模型;Wu等[12]通過RANSAC算法篩選手眼矩陣測量數(shù)據(jù)提高精度。
上述求解固定視點(diǎn)的機(jī)器人手眼關(guān)系主要是通過建立矩陣方程或采用正交運(yùn)動的方法,由于不能直接利用深度信息,因此求解復(fù)雜,操作難度大。
本文將闡述一種固定視點(diǎn)的機(jī)器人手眼關(guān)系標(biāo)定方法,根據(jù)固定視點(diǎn)機(jī)器人及視覺系統(tǒng)結(jié)構(gòu)特點(diǎn),在雙目立體視覺測量的基礎(chǔ)上,控制機(jī)械臂末端做3次平移運(yùn)動和1次旋轉(zhuǎn)運(yùn)動,通過雙目相機(jī)獲取測量點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo),建立機(jī)器人基坐標(biāo)系和相機(jī)坐標(biāo)系之間相對位置關(guān)系的約束方程組,線性求得相機(jī)坐標(biāo)系和機(jī)器人基坐標(biāo)系的轉(zhuǎn)換矩陣,無需復(fù)雜求解,操作過程簡單。
雙目立體視覺是根據(jù)視差原理,由多幅圖像獲取測量物體三維信息的方法[13]。圖1為雙目立體視覺測量原理圖,其中為左相機(jī)坐標(biāo)系,為右相機(jī)坐標(biāo)系。
圖1 雙目立體視覺測量原理
對于空間任意一點(diǎn)P點(diǎn),在左相機(jī)成像平面的投影點(diǎn)為Pl,在右相機(jī)成像平面的投影點(diǎn)為Pr點(diǎn)(Pl與Pr稱為對應(yīng)點(diǎn))。
通過匹配Pl和Pr的對應(yīng)關(guān)系確定空間點(diǎn)的視差d,根據(jù)雙目視覺的定位原理,可計(jì)算出空間點(diǎn)P在相機(jī)坐標(biāo)系的空間三維坐標(biāo)為
式中:Tx——左右相機(jī)坐標(biāo)系水平方向距離,mm;
c1、c2——左、右相機(jī)圖像中心水平偏移量,mm;
cy——左相機(jī)圖像中心垂直偏移量,mm;
f——左、右相機(jī)焦距參數(shù),mm;
d——視差值,mm;
x、y——空間點(diǎn)在圖像二維平面坐標(biāo);
X、Y、Z——空間點(diǎn)在相機(jī)坐標(biāo)系坐標(biāo)。
固定視點(diǎn)的機(jī)器人手眼關(guān)系標(biāo)定過程是相機(jī)坐標(biāo)系與機(jī)器人基坐標(biāo)系之間的轉(zhuǎn)換關(guān)系的確定,其手眼關(guān)系標(biāo)定過程涉及的坐標(biāo)系定義示意圖如圖2所示,機(jī)器人以簡單線條表示。
設(shè)機(jī)器人基坐標(biāo)系為{R},機(jī)械臂末端坐標(biāo)系為{E},相機(jī)坐標(biāo)系為{C},平面標(biāo)定板坐標(biāo)系為{B}。視覺標(biāo)定時,機(jī)器人基座相對于雙目相機(jī)靜止,因此機(jī)器人基坐標(biāo)系{R}相對于相機(jī)坐標(biāo)系{C}的位置轉(zhuǎn)換關(guān)系矩陣恒定,即恒定;使用穩(wěn)定的機(jī)構(gòu)將平面標(biāo)定板固定在機(jī)械臂末端上,因此平面標(biāo)定板坐標(biāo)系{B}相對于機(jī)械臂末端坐標(biāo)系{E}的位置轉(zhuǎn)換關(guān)系矩陣也恒定,即恒定。
假設(shè)平面標(biāo)定板上某參考點(diǎn)P在機(jī)器人基坐標(biāo)系{R}下的坐標(biāo)為RP,在左相機(jī)坐標(biāo)系{C}下的坐標(biāo)為根據(jù)固定視點(diǎn)的機(jī)器人坐標(biāo)系轉(zhuǎn)換關(guān)系,可得:
圖2 坐標(biāo)系定義示意圖
式中:——機(jī)械臂末端坐標(biāo)系{E}相對于機(jī)器人基坐標(biāo)系{R}的位置轉(zhuǎn)換關(guān)系齊次矩陣;
——機(jī)器人基坐標(biāo)系{R}相對于相機(jī)坐標(biāo)系{C}的位置轉(zhuǎn)換關(guān)系齊次矩陣。
將式(2)中的齊次矩陣進(jìn)行分解,左上角3×3元素部分為旋轉(zhuǎn)部分R,右邊3×1元素部分為平移部分t,分解后得到:
式中:的旋轉(zhuǎn)矩陣部分;
的平移矩陣部分;
的旋轉(zhuǎn)矩陣部分;
的平移矩陣部分。
本文通過控制機(jī)械臂末端做3次純平移運(yùn)動和一次旋轉(zhuǎn)運(yùn)動來對手眼關(guān)系進(jìn)行標(biāo)定。
首先標(biāo)定手眼關(guān)系中的旋轉(zhuǎn)矩陣。機(jī)械臂末端在初始位置時,根據(jù)式(3),平面標(biāo)定板上某參考點(diǎn)P在各坐標(biāo)系下坐標(biāo)轉(zhuǎn)換關(guān)系方程組為
控制機(jī)器人末端進(jìn)行平移運(yùn)動,平移1次后,根據(jù)式(3),平面標(biāo)定板上同一參考點(diǎn)P坐標(biāo)轉(zhuǎn)換關(guān)系為
分別將式(5)的第1式與式(4)第1式相減、式(5)第2式和式(4)第2式相減,得到方程組:
由于平面標(biāo)定板通過穩(wěn)定的機(jī)構(gòu)固定于機(jī)械臂末端,平面標(biāo)定板坐標(biāo)系{B}和機(jī)械臂末端坐標(biāo)系{E}的位置轉(zhuǎn)換關(guān)系恒定,因此平移前后由于機(jī)械臂末端進(jìn)行的是平移運(yùn)動,機(jī)械臂末端坐標(biāo)系{E}相對于機(jī)器人基坐標(biāo)系{R}的位置轉(zhuǎn)換關(guān)系的旋轉(zhuǎn)部分保持不變,因此平移前后由于相機(jī)坐標(biāo)系{C}和機(jī)器人基坐標(biāo)系{R}位置沒有變化,因此綜上,式(6)可簡化為
由式(7)方程組可得:
式中:——平移前后,平面標(biāo)定板同一參考點(diǎn)在相機(jī)坐標(biāo)系{C}下的坐標(biāo),可通過圖像處理和雙目視覺系統(tǒng)測量直接獲?。?/p>
——平移前后機(jī)械臂末端坐標(biāo)系{E}相對于機(jī)器人基坐標(biāo)系{R}位置轉(zhuǎn)換關(guān)系的平移部分,可通過機(jī)器人控制器獲取。
根據(jù)式(8)可知,通過3次機(jī)械臂末端的平移運(yùn)動,可標(biāo)定手眼關(guān)系中的旋轉(zhuǎn)矩陣為
獲取手眼關(guān)系中的旋轉(zhuǎn)矩陣后,接下來對手眼關(guān)系中的平移矩陣進(jìn)行求解。首先在初始位置時,平面標(biāo)定板上某參考點(diǎn)P在各坐標(biāo)系下坐標(biāo)轉(zhuǎn)換關(guān)系方程組如式(4)所示。
控制機(jī)器人末端進(jìn)行一次旋轉(zhuǎn)運(yùn)動后,平面標(biāo)定板上同一參考點(diǎn)P坐標(biāo)轉(zhuǎn)換關(guān)系如式(5)所示。
由于平面標(biāo)定板通過穩(wěn)定的機(jī)構(gòu)固定于機(jī)械手末端,因此旋轉(zhuǎn)前后由于機(jī)械臂末端進(jìn)行的是旋轉(zhuǎn)運(yùn)動,機(jī)械臂末端坐標(biāo)系{E}相對于機(jī)器人基坐標(biāo)系{R}的位置轉(zhuǎn)換關(guān)系的平移部分保持不變,因此旋轉(zhuǎn)前后由于相坐標(biāo)系{C}和機(jī)器人基坐標(biāo)系{R}位置沒有變化,因此
將式(5)的第1式和式(4)的第1式聯(lián)立,得到方程如下:
將式(4)第2式、式(5)第2式和式(10)聯(lián)立,得到方程如式(11)所示:
式中:——旋轉(zhuǎn)前、后,平面標(biāo)定板同一參考點(diǎn)在相機(jī)坐標(biāo)系{C}下的坐標(biāo),可通過圖像處理和雙目視覺系統(tǒng)測量直接獲?。?/p>
——旋轉(zhuǎn)前、后機(jī)械臂末端坐標(biāo)系{E}相對于機(jī)器人基坐標(biāo)系{R}位置轉(zhuǎn)換關(guān)系的旋轉(zhuǎn)部分,可通過機(jī)器人控制器獲取。
將式(9)中手眼關(guān)系中旋轉(zhuǎn)部分計(jì)算結(jié)果帶入式(11)中,即可完成手眼關(guān)系中的平移矩陣的標(biāo)定。
因此根據(jù)式(11)可知,通過1次機(jī)械臂末端的旋轉(zhuǎn)運(yùn)動,可標(biāo)定手眼關(guān)系中的平移矩陣。
綜上所述,本文固定視點(diǎn)的機(jī)器人手眼關(guān)系標(biāo)定方法步驟如下:
1)將平面標(biāo)定板通過穩(wěn)定的機(jī)構(gòu)固定于機(jī)械臂末端,控制機(jī)械臂末端進(jìn)行平移、旋轉(zhuǎn)運(yùn)動,利用雙目相機(jī)測量平面標(biāo)定板上參考點(diǎn)位置的三維坐標(biāo)。
2)從初始位置,控制機(jī)械臂末端進(jìn)行3次平移運(yùn)動,通過雙目相機(jī)和機(jī)器人控制器獲取參考點(diǎn)三維坐標(biāo)和機(jī)械臂末端平移量,由式(9)獲取手眼關(guān)系中的旋轉(zhuǎn)部分。
3)從初始位置,控制機(jī)械臂末端進(jìn)行1次旋轉(zhuǎn)運(yùn)動,通過雙目相機(jī)和機(jī)器人控制器獲取參考點(diǎn)三維坐標(biāo)和機(jī)械臂末端旋轉(zhuǎn)量,將2)中旋轉(zhuǎn)部分結(jié)果帶入,由式(11)獲取手眼關(guān)系中的平移部分。
4)至此,本文固定視點(diǎn)機(jī)器人手眼關(guān)系標(biāo)定全部完成。
搭建的試驗(yàn)平臺如圖3所示,圖像采集設(shè)備采用兩個USB2.0接口的MicroVision工業(yè)攝像頭組成雙目視覺系統(tǒng),相機(jī)分辨率1280×960,幀率15 f/s;平面標(biāo)定板采用LH070鋁制高精度漫反射標(biāo)定板,實(shí)心圓點(diǎn)直徑3.5 mm,打印精度為±0.01 mm;機(jī)器人采用SIASUN SR6C機(jī)器人,末端負(fù)載6 kg,各運(yùn)動軸重復(fù)定位精度±0.05 mm;視覺軟件為自主開發(fā),開發(fā)環(huán)境Visual Studio,開發(fā)語言為C++;軟件運(yùn)行環(huán)境為Windows7操作系統(tǒng)的計(jì)算機(jī),采用Intel(R) Core i3 3210M CPU @ 2.5 GHz,4 GB內(nèi)存。
圖3 試驗(yàn)平臺
固定視點(diǎn)的機(jī)器人對某點(diǎn)的聯(lián)合定位過程為:通過雙目視覺定位,獲取空間中某點(diǎn)P相對于相機(jī)坐標(biāo)系{C}的坐標(biāo)值CP,再根據(jù)相機(jī)坐標(biāo)系{C}與機(jī)器人基坐標(biāo)系{R}的手眼關(guān)系轉(zhuǎn)換矩陣計(jì)算P相對于坐標(biāo)系{R}的坐標(biāo)RP,最后根據(jù)機(jī)器人基坐標(biāo)系{R}與機(jī)械臂末端坐標(biāo)系{E}的位置轉(zhuǎn)換關(guān)系矩陣計(jì)算P相對于坐標(biāo)系{E}的坐標(biāo)固定視點(diǎn)機(jī)器人聯(lián)合定位過程如圖4所示。
圖4 固定視點(diǎn)機(jī)器人聯(lián)合定位過程
根據(jù)固定視點(diǎn)機(jī)器人聯(lián)合定位過程,視覺關(guān)聯(lián)機(jī)器人的聯(lián)合定位準(zhǔn)確度主要取決于3個過程:1)雙目視覺定位準(zhǔn)確性;2)手眼關(guān)系轉(zhuǎn)換矩陣的準(zhǔn)確性;3)機(jī)器人基坐標(biāo)系與機(jī)械臂末端坐標(biāo)系轉(zhuǎn)換矩陣的準(zhǔn)確性。由于視覺坐標(biāo)系{C}、機(jī)器人基坐標(biāo)系{R}與機(jī)械臂末端坐標(biāo)系{E}都無法通過物理手段直接測量,因此導(dǎo)致視覺關(guān)聯(lián)機(jī)器人的定位準(zhǔn)確度無法直接測量。此外,由于雙目視覺定位準(zhǔn)確性和兩者從手眼標(biāo)定過程就影響手眼標(biāo)定結(jié)果,因此視覺關(guān)聯(lián)機(jī)器人定位誤差是由上述3個過程的整體耦合產(chǎn)生的,因此難以找到合適的數(shù)學(xué)模型定量分析每個環(huán)節(jié)與誤差產(chǎn)生的關(guān)系,不過視覺關(guān)聯(lián)機(jī)器人整體的定位準(zhǔn)確度可以通過間接方法進(jìn)行測量。
機(jī)器人視覺標(biāo)定后,將平面標(biāo)定板固定在工作臺,使平面標(biāo)定板相對于機(jī)器人靜置。通過改變平面標(biāo)定板固定位置和姿態(tài),進(jìn)行N組視覺關(guān)聯(lián)機(jī)器人聯(lián)合定位試驗(yàn)。雙目視覺測量平面標(biāo)定板上所有參考點(diǎn)在相機(jī)坐標(biāo)系{C}下的三維坐標(biāo),并根據(jù)求解得到的固定視點(diǎn)機(jī)器人手眼轉(zhuǎn)換矩陣轉(zhuǎn)換到機(jī)器人基坐標(biāo)系{R}下,得到坐標(biāo)集{Ai,i=1,2,3,…,N}。手動控制機(jī)械臂末端運(yùn)動到平面標(biāo)定板各個參考點(diǎn),通過機(jī)械臂末端坐標(biāo)系{E}相對于機(jī)器人基坐標(biāo)系{R}的位置轉(zhuǎn)換矩陣,得到坐標(biāo)集{Bi,i=1,2,3,…,N}。根據(jù)坐標(biāo)集Ai、Bi的坐標(biāo)數(shù)據(jù),通過式(12)計(jì)算對應(yīng)參考點(diǎn)的空間距離(歐氏距離)偏差集{Si,i=1,2,3,…,N}。
式中:d——參考點(diǎn)空間距離偏差;
xA、yA、zA——坐標(biāo)集Ai中某參考點(diǎn)三維坐標(biāo)值;
xB、yB、zB——坐標(biāo)集Bi中同一參考點(diǎn)三維坐標(biāo)值。
實(shí)驗(yàn)具體流程如圖5所示。
圖5 試驗(yàn)流程圖
完成相機(jī)標(biāo)定和手眼標(biāo)定后,進(jìn)行視覺關(guān)聯(lián)機(jī)器人定位精度試驗(yàn)。由于機(jī)械臂末端無法識別實(shí)心點(diǎn)圓心位置,因此采用AFT-MCT-OV系列高精度棋盤格型金屬平面標(biāo)定板,格邊長30 mm×30 mm,打印精度為±0.01 mm,尺寸400 mm×300 mm×5 mm,如圖6所示,進(jìn)行定位精度試驗(yàn)。
調(diào)整棋盤格標(biāo)定板位置和姿態(tài)進(jìn)行5次角點(diǎn)定位(即N=5),棋盤格標(biāo)定板上有88個角點(diǎn),因此共采集440個角點(diǎn)三維坐標(biāo)數(shù)據(jù)。將偏差集Si中的對應(yīng)角點(diǎn)的空間偏差制成散點(diǎn)折線圖,可以直觀看出每個角點(diǎn)的偏差值及偏差分布情況,如圖7所示。
圖6 棋盤格型平面標(biāo)定板
圖7 歐氏距離偏差散點(diǎn)折線圖
統(tǒng)計(jì)偏差集Si偏差平均值和標(biāo)準(zhǔn)差,如表1所示。
表1 視覺關(guān)聯(lián)機(jī)器人定位偏差
根據(jù)圖7數(shù)據(jù)分布及表1統(tǒng)計(jì)數(shù)據(jù),采用本文固定視點(diǎn)的機(jī)器人視覺標(biāo)定方法,視覺關(guān)聯(lián)機(jī)器人定位準(zhǔn)確度試驗(yàn)的定位偏差在1 mm內(nèi),偏差均值為0.53 mm,偏差標(biāo)準(zhǔn)差為0.19 mm,證明本文方法可行,可用于實(shí)際工程應(yīng)用中。
針對固定視點(diǎn)的機(jī)器人手眼標(biāo)定問題,提出固定視點(diǎn)機(jī)器人手眼關(guān)系標(biāo)定方法,首先控制機(jī)械臂末端進(jìn)行3次平移運(yùn)動,通過末端平移量和雙目視覺系統(tǒng)測量數(shù)據(jù)求取手眼關(guān)系中的旋轉(zhuǎn)部分;然后控制機(jī)械臂末端進(jìn)行1次旋轉(zhuǎn)運(yùn)動,通過末端旋轉(zhuǎn)量、雙目視覺系統(tǒng)測量數(shù)據(jù)以及手眼關(guān)系旋轉(zhuǎn)部分求取手眼關(guān)系中的平移部分。同時以SIASUN SR6C機(jī)器人為實(shí)驗(yàn)對象進(jìn)行視覺關(guān)聯(lián)機(jī)器人定位準(zhǔn)確度試驗(yàn)。結(jié)果證明,所提出的求解手眼關(guān)系轉(zhuǎn)換矩陣的方法具有較高準(zhǔn)確度。本文方法避免矩陣方程的復(fù)雜求解,也無需機(jī)械臂做正交運(yùn)動,操作過程簡潔,標(biāo)定準(zhǔn)確度較高,有利于工程中的實(shí)際應(yīng)用。
[1]徐昌源, 全燕鳴, 郭清達(dá). 改進(jìn)最小二乘法雙目視覺位姿測量技術(shù)研究與測試[J]. 中國測試, 2016, 42(9): 27–30.
[2]楊守瑞, 尹仕斌, 任永杰, 等. 機(jī)器人柔性視覺測量系統(tǒng)標(biāo)定方法的改進(jìn)[J]. 光學(xué)精密工程, 2014, 22(12): 3239–3246.
[3]沈程慧, 白瑞林, 李新. 視覺引導(dǎo)的裝配機(jī)器人平面定位補(bǔ)償方法[J]. 激光技術(shù), 2017,41(1): 79–84.
[4]VINCENTE P, JAMONE L, BERNARDINO A. Towards markerless visual servoing of grasping tasks for humanoid robots[C]//Robotics and Automation (ICRA), 2017 IEEE International Conference on IEEE, 2017: 3811–3816.
[5]LIN C C, GONZALEZ P, CHENG M Y, et al. Vision based object grasping of industrial manipulator[C]//Advanced Robotics and Intelligent Systems (ARIS), 2016 International Conference on IEEE, 2016: 1–5.
[6]WU K, WU L, REN H. An image based targeting method to guide a tentacle–like curvilinear concentric tube robot[C]//Robotics and Biomimetics (ROBIO), 2014 IEEE International Conference on IEEE, 2014: 386–391.
[7]TSAI R Y, LENZ R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics and Automation, 1989, 5(3):345–358.
[8]SHIU Y C, AHMAD S. Calibration of wrist–mounted robotic sensors by solving homogeneous transform equations of the form AX=XB[J]. IEEE Transactions on Robotics and Automation, 1989, 5(1): 16–29.
[9]DE MA S. A self–calibration technique for active vision systems[J]. IEEE Transactions on Robotics and Automation,1996, 12(1): 114–120.
[10]張召瑞, 張旭, 鄭澤龍, 等. 融合旋轉(zhuǎn)平移信息的機(jī)器人手眼標(biāo)定方法[J]. 儀器儀表學(xué)報, 2015, 36(11): 2443–2450.
[11]王金橋, 段發(fā)階, 汪潤. 精確標(biāo)定關(guān)節(jié)臂視覺檢測系統(tǒng)手眼關(guān)系[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015 (21): 225–22.
[12]吳晗, 李巍, 董明利. 基于RANSAC的便攜式激光掃描測量臂手眼標(biāo)定方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2017, 23: 046.
[13]全燕鳴, 黎淑梅, 麥青群. 基于雙目視覺的工件尺寸在機(jī)三維測量[J]. 光學(xué)精密工程, 2013, 21(4): 1054–1061.