線結(jié)構(gòu)光視覺(jué)傳感器機(jī)器人手眼關(guān)系標(biāo)定

陸藝 沈添秀 郭小娟 郭斌

摘要：為實(shí)現(xiàn)對(duì)工業(yè)機(jī)器人手眼關(guān)系的標(biāo)定，提出一種基于線結(jié)構(gòu)光視覺(jué)傳感器的手眼關(guān)系標(biāo)定方法。該方法在標(biāo)定時(shí)，將一個(gè)平面靶標(biāo)作為參考物固定在工業(yè)機(jī)器人工作空間內(nèi)，控制工業(yè)機(jī)器人末端運(yùn)動(dòng)以帶動(dòng)線結(jié)構(gòu)光視覺(jué)傳感器作多組變位姿運(yùn)動(dòng)，獲取在不同位姿狀態(tài)下的平面靶標(biāo)圖像并對(duì)其進(jìn)行圖像處理。通過(guò)對(duì)圖像上固定特征點(diǎn)的測(cè)量，以及建立線結(jié)構(gòu)光視覺(jué)傳感器模型和手眼關(guān)系模型實(shí)現(xiàn)對(duì)線結(jié)構(gòu)光內(nèi)參數(shù)和手眼關(guān)系的標(biāo)定。用棋盤(pán)格標(biāo)定板進(jìn)行測(cè)量實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該方法準(zhǔn)確度為0.036mm，即優(yōu)于40μm，可用于工業(yè)機(jī)器人的測(cè)量應(yīng)用。

關(guān)鍵詞：手眼關(guān)系;線結(jié)構(gòu)光傳感器;標(biāo)定;工業(yè)機(jī)器人

中圖分類(lèi)號(hào)：TP242.2 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-5124（2019）10-0006-04

0 引言

工業(yè)機(jī)器人廣泛應(yīng)用在工業(yè)制造領(lǐng)域，通常需要將測(cè)量傳感器安裝在機(jī)器人末端，以獲取被測(cè)物的三維信息。因此可將線結(jié)構(gòu)光視覺(jué)傳感器安裝于六軸工業(yè)機(jī)器人末端，構(gòu)成基于線結(jié)構(gòu)光的機(jī)器人視覺(jué)測(cè)量系統(tǒng)。該系統(tǒng)可通過(guò)控制機(jī)器人以不同位

收稿日期：2018-10-30;收到修改稿日期：2018-12-17

基金項(xiàng)目：浙江省基礎(chǔ)公益研究計(jì)劃項(xiàng)目（LGG18E050009）;浙江省科技計(jì)劃項(xiàng)目重大科技專(zhuān)項(xiàng)（2018001063）

作者簡(jiǎn)介：陸藝（1979-），男，江蘇揚(yáng)州市人，副教授，碩士，研究方向?yàn)榫軝z測(cè)技術(shù)、汽車(chē)零部件自動(dòng)化測(cè)試。姿運(yùn)動(dòng)，從而對(duì)目標(biāo)點(diǎn)進(jìn)行測(cè)量獲得測(cè)量坐標(biāo)系與目標(biāo)點(diǎn)之間位置關(guān)系。要實(shí)現(xiàn)上述測(cè)量過(guò)程，需要先對(duì)線結(jié)構(gòu)光傳感器內(nèi)參數(shù)和機(jī)器人手眼關(guān)系進(jìn)行標(biāo)定。其中線結(jié)構(gòu)光傳感器內(nèi)參數(shù)標(biāo)定根據(jù)靶標(biāo)不同分為三維標(biāo)定[1-2]和二維標(biāo)定[3]兩種。三維標(biāo)定靶標(biāo)具有一定精度，但靶標(biāo)成本和工藝要求高。二維靶標(biāo)制作簡(jiǎn)單、效率高，標(biāo)定精度能滿(mǎn)足不同場(chǎng)合的測(cè)量需要。手眼關(guān)系標(biāo)定方法通常有有限場(chǎng)景點(diǎn)法[4]，平面靶標(biāo)法[5-7]，標(biāo)準(zhǔn)球法[8]等。其中手眼關(guān)系轉(zhuǎn)換矩陣的求解可通過(guò)兩步分離法[9]或單步法[10-11]得到，單步法可一步得到旋轉(zhuǎn)向量、平移向量，兩步分離法分兩步得到旋轉(zhuǎn)向量、平移向量，它存在累積誤差。

為此提出基于線結(jié)構(gòu)光視覺(jué)傳感器的手眼關(guān)系標(biāo)定的方法。該方法采用二維平面靶標(biāo)進(jìn)行標(biāo)定，并通過(guò)單步法求解手眼關(guān)系。它簡(jiǎn)化工業(yè)機(jī)器人測(cè)量系統(tǒng)的標(biāo)定過(guò)程，僅通過(guò)控制機(jī)器人末端作位姿運(yùn)動(dòng)同時(shí)得到攝像機(jī)內(nèi)外參數(shù)，線結(jié)構(gòu)光內(nèi)參數(shù)以及手眼關(guān)系，保證較高精度。以研華LNC-56000型六軸工業(yè)機(jī)器人為實(shí)驗(yàn)平臺(tái)進(jìn)行標(biāo)定和測(cè)量實(shí)驗(yàn)，驗(yàn)證該方法的有效性。

1 系統(tǒng)標(biāo)定原理

1.1 線結(jié)構(gòu)光視覺(jué)傳感器模型

線結(jié)構(gòu)光傳感器數(shù)學(xué)模型如圖1所示，該傳感器包括CCD相機(jī)以及線激光器兩部分。其中被測(cè)點(diǎn)尸在圖像坐標(biāo)系OUV下坐標(biāo)為（u，v），在相機(jī)坐標(biāo)系O_cX_cY_cZ_c下坐標(biāo)為（x_c，y_c，z_c），在世界坐標(biāo)系O_wX_wY_wZ_w下坐標(biāo)為（x_w，y_w，z_w），像面坐標(biāo)系為OXY，相機(jī)主點(diǎn)坐標(biāo)為（u₀，v₀）。

結(jié)合上述模型，根據(jù)相機(jī)的投影變換模型，被測(cè)點(diǎn)尸在圖像坐標(biāo)系和相機(jī)坐標(biāo)系的關(guān)系為式（1），相機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系為式（2）：其中k_x，k_y為相機(jī)X軸、Y軸放大系數(shù)，M_C為相機(jī)內(nèi)參數(shù)矩陣，_CM_W為相機(jī)坐標(biāo)和世界坐標(biāo)轉(zhuǎn)換關(guān)系外參數(shù)矩陣，包括旋轉(zhuǎn)矩陣R和平移矩陣T。

假設(shè)在相機(jī)坐標(biāo)系下光平面方程表示為：

z=Ax+By+C（3）

結(jié)合式（1）和式（3），可得到點(diǎn)P在相機(jī)坐標(biāo)下的坐標(biāo)為：

根據(jù)以上過(guò)程，已知光平面在相機(jī)下的方程即可得知空間某一點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)。式中k_x，k_y，u₀，v₀即為需要標(biāo)定的相機(jī)內(nèi)參數(shù)，光平面方程系數(shù)A，B，C即為待標(biāo)定的結(jié)構(gòu)光內(nèi)參數(shù)。

1.2 確定線結(jié)構(gòu)光內(nèi)參數(shù)

采用如圖2所示的棋盤(pán)格標(biāo)定板作為平面靶標(biāo)，棋盤(pán)格為7×7的方形靶標(biāo)，棋盤(pán)格大小為11mm×11mm。將標(biāo)定板固定放置在工業(yè)機(jī)器人工作空間內(nèi)，控制工業(yè)機(jī)器人帶動(dòng)線結(jié)構(gòu)光傳感器不同姿態(tài)得到靶標(biāo)圖像。通過(guò)張正友標(biāo)定法[12]獲得相機(jī)內(nèi)外參數(shù)M_C，_CM_W，即k_x、k_y、u₀、v₀和靶標(biāo)坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣。靶標(biāo)上角點(diǎn)和激光條形成交點(diǎn)，這些交點(diǎn)都為光平面上的點(diǎn)，將它們作為標(biāo)定線結(jié)構(gòu)光內(nèi)參數(shù)的標(biāo)定特征點(diǎn)。由式（2）得到這些特征點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)。通過(guò)使機(jī)器人末端帶動(dòng)線結(jié)構(gòu)光傳感器運(yùn)動(dòng)到不同位置，獲取多組標(biāo)定特征點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)，由此可擬合相機(jī)坐標(biāo)系下的光平面方程，獲得線結(jié)構(gòu)光內(nèi)參數(shù)A、B、C。

1.3 手眼關(guān)系模型

把線結(jié)構(gòu)光視覺(jué)傳感器安裝在工業(yè)機(jī)器人末端，由此構(gòu)成機(jī)器人視覺(jué)測(cè)量系統(tǒng)。按照?qǐng)D3所示建立坐標(biāo)系，其中O_b為機(jī)器人基坐標(biāo)系，Q_w為世界坐標(biāo)系，O_e為工業(yè)機(jī)器人末端坐標(biāo)系，O_c為相機(jī)坐標(biāo)系。

由1.1和1.2可知，激光器投射出的光平面與被測(cè)物體相交形成光條，根據(jù)相機(jī)內(nèi)參數(shù)及線結(jié)構(gòu)光傳感器內(nèi)參數(shù)即可得到被測(cè)點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)。控制機(jī)器人運(yùn)動(dòng)到不同位姿，通過(guò)式（5）將被測(cè)點(diǎn)的坐標(biāo)統(tǒng)一到世界坐標(biāo)系即機(jī)器人基坐標(biāo)系下，便可獲得被測(cè)物體三維數(shù)據(jù)。

P_b=A₆⁰XP_c（5）其中P_b為被測(cè)點(diǎn)P在機(jī)器人基坐標(biāo)下的坐標(biāo);P_c為被測(cè)點(diǎn)尸在相機(jī)坐標(biāo)系O_c下的坐標(biāo);A₆⁰為D-H[13]運(yùn)動(dòng)學(xué)建模的機(jī)器人末端坐標(biāo)系De相對(duì)于基坐標(biāo)系O_b的坐標(biāo)轉(zhuǎn)換矩陣;X為待標(biāo)定的手眼關(guān)系矩陣即傳感器坐標(biāo)系O_c相對(duì)于機(jī)器人末端的坐標(biāo)變換，為常矩陣。

1.4 手眼關(guān)系標(biāo)定

同樣使用棋盤(pán)格作為標(biāo)定靶標(biāo)，選取棋盤(pán)格上的固定點(diǎn)作為手眼標(biāo)定特征點(diǎn)，把棋盤(pán)格固定在機(jī)器人工作空間內(nèi)，機(jī)器人帶動(dòng)傳感器不同位姿下拍攝該點(diǎn)，并使該點(diǎn)處于激光面上。由1.3可知該點(diǎn)在傳感器坐標(biāo)系下坐標(biāo)記為P_c在機(jī)器人基坐標(biāo)下的坐標(biāo)記為P_b，手眼矩陣記為X，分別以齊次坐標(biāo)表示它們?yōu)椋?/p>

對(duì)固定點(diǎn)進(jìn)行n次測(cè)量，則有：

可由式（9）建立方程組：

對(duì)上述方程組進(jìn)行求解，可得到手眼矩陣X。

2 標(biāo)定實(shí)驗(yàn)及結(jié)果

線結(jié)構(gòu)光視覺(jué)傳感器中選用分辨率為1280×960的相機(jī)，波長(zhǎng)為650nm的紅外線一字線激光器，搭建完成的機(jī)器人視覺(jué)測(cè)量系統(tǒng)。

針對(duì)線結(jié)構(gòu)光的機(jī)器人視覺(jué)測(cè)量系統(tǒng)進(jìn)行標(biāo)定的實(shí)驗(yàn)步驟如下：1）在激光器關(guān)閉情況下，使機(jī)器人在不同位姿拍攝20張棋盤(pán)格圖片，用于相機(jī)內(nèi)外參數(shù)的標(biāo)定，并使其中2個(gè)姿態(tài)得到圖片能夠適用于光平面標(biāo)定（激光線與某行角點(diǎn)重合）;2）在拍攝1）中的2個(gè)特殊位置的圖片時(shí)打開(kāi)激光器，得到帶激光線的棋盤(pán)格靶標(biāo)照片;3）利用1）中獲取的圖像，通過(guò)Matlab標(biāo)定工具箱得到相機(jī)的內(nèi)參數(shù)，以及2張?zhí)厥馕恢玫耐鈪?shù)（棋盤(pán)格相對(duì)于相機(jī)的旋轉(zhuǎn)矩陣）;4）根據(jù)3），利用2）中的獲取的帶激光線特征點(diǎn)的圖像數(shù)據(jù)標(biāo)定線結(jié)構(gòu)光內(nèi)參數(shù);5）打開(kāi)激光器從不同位姿拍攝9組圖像中包含固定點(diǎn)圖片;6）根據(jù)4）中得到的結(jié)果，利用5）中的數(shù)據(jù)，得到手眼矩陣。按照上述標(biāo)定步驟，得到攝像機(jī)內(nèi)夕滲數(shù)為：

線結(jié)構(gòu)光內(nèi)參數(shù)為：

A=-0.4602;B=0.0049;C=481.6375

手眼矩陣為：

3 精度驗(yàn)證實(shí)驗(yàn)

在完成上述標(biāo)定工作后，設(shè)計(jì)如下實(shí)驗(yàn)對(duì)測(cè)量系統(tǒng)精度進(jìn)行驗(yàn)證。在圖4中的兩個(gè)位置對(duì)棋盤(pán)格所示角點(diǎn)A、B、…、F，G、H、…、L進(jìn)行測(cè)量，驗(yàn)證線結(jié)構(gòu)光內(nèi)參數(shù)和手眼關(guān)系的標(biāo)定結(jié)果。在機(jī)器人工作空間內(nèi)放置棋盤(pán)格，棋盤(pán)格每個(gè)格子邊長(zhǎng)規(guī)格為11mm×11mm（準(zhǔn)確度3μm）。由上述方法標(biāo)定的線結(jié)構(gòu)光視覺(jué)傳感器讀出各待測(cè)點(diǎn)在傳感器坐標(biāo)系下的三維坐標(biāo)，并通過(guò)手眼關(guān)系結(jié)果轉(zhuǎn)換到機(jī)器人基座標(biāo)下，得到相應(yīng)線段AB，BC，…，KL的測(cè)量尺寸，將實(shí)際測(cè)得尺寸與標(biāo)準(zhǔn)尺寸比較。驗(yàn)證實(shí)驗(yàn)示意圖如圖4所示。

分別在不同姿態(tài)下進(jìn)行5次實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)如表1所示。從表中數(shù)據(jù)可知，取測(cè)量結(jié)果的平均值并求得其標(biāo)準(zhǔn)差為0.036mm，即該測(cè)量系統(tǒng)精度優(yōu)于40μm。

4 結(jié)束語(yǔ)

本文構(gòu)建了一種基于線結(jié)構(gòu)光的工業(yè)機(jī)器人視覺(jué)測(cè)量系統(tǒng)，并針對(duì)該系統(tǒng)提出基于線結(jié)構(gòu)光傳感器的手眼關(guān)系標(biāo)定，減小了因線結(jié)構(gòu)光參數(shù)的變化對(duì)整體測(cè)量精度的影響，使用同一標(biāo)定靶標(biāo)簡(jiǎn)略了標(biāo)定步驟。該方法在獲取用于相機(jī)標(biāo)定靶標(biāo)圖像時(shí)，同時(shí)得到標(biāo)定線結(jié)構(gòu)光內(nèi)參數(shù)的圖像，在不同位姿變化中，基于單點(diǎn)約束標(biāo)定了手眼關(guān)系。最后通過(guò)測(cè)量棋盤(pán)格標(biāo)定板進(jìn)行精度驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該方法具有較高測(cè)量精度即優(yōu)于40μm，可以應(yīng)用于工業(yè)機(jī)器人測(cè)量。

參考文獻(xiàn)

[1]DUAN F J，LIU F M，YE S H.A new accurate method for thecalibration of line structured light sensor[J].Chinese Journalof Scientific Instrument，2000，21（1）：108-110.

[2]WANG W，LI A，MA Z，et al.An automated method to robotcalibration using line-structure-light vision sensor[C]//IEEEInternational Conference on Automation and Logistics.IEEE，2009：1896-1899.

[3]FAN J，JING F，F(xiàn)ANG Z，et al.A simple calibration methodof structured light plane parameters for welding robots[C]//Chinese Control Conference.2016：6127-6132.

[4]XU H X，WANG Y N，WAN Q，et al.A self-calf-brationapproach to hand-eye relation of robot[J].Robot，2008，30（4）：373-378.

[5]KEFERSTEIN C P，MARXER M.Testing bench for lasertriangulation sensors[J].Sensor Review，1998，18（3）：183-187.

[6]WEI Z，XIE M，ZHANG G.Calibration method for linestructured light vision sensor based on vanish points andlines[C]//International Conference on Pattern Recognition.IEEE，2010：794-797.

[7]沈波波，許嘉璐，孔明.基于線結(jié)構(gòu)光的空調(diào)四通換向閥高度測(cè)量[J].中國(guó)測(cè)試，2018（3）：33-37.

[8]LIU Z，LI X J，LI F J，et al.Calibration method for line-structured light vision sensor based on a single ball target[J].Optics and Lasers in Engineering，2015，69：20-28.

[9]解則曉，牟楠，遲書(shū)凱，等.結(jié)構(gòu)光內(nèi)參數(shù)和機(jī)器人手眼關(guān)系的同時(shí)標(biāo)定[J].激光與紅外，2017，47（9）：1142-1148.

[10]熊會(huì)元，宗志堅(jiān)，高群.一種線結(jié)構(gòu)光視覺(jué)傳感器手眼標(biāo)定方法及仿真[J].系統(tǒng)仿真學(xué)報(bào)，2010（9）：2223-2226.

[11]王金橋，段發(fā)階，伯恩，等.線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化標(biāo)定[J].傳感技術(shù)學(xué)報(bào)，2014（9）：1196-1201.

[12]ZHANG Z.A flexible new technique for cameracalibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22（11）：1330-1334.

[13]SHAH S V，SAHA S K，DUTT J K.Denavit-Hartenbergparameterization ofeuler angles[J].Journal ofComputational&Nonlinear Dynamics，2012，7（2）：021006-021006-10.

（編輯：劉楊）