凸松弛全局優(yōu)化機(jī)器人手眼標(biāo)定

李 巍，呂乃光，董明利，婁小平

(1.北京郵電大學(xué) 信息光子學(xué)與光通信研究院，北京 100876； 2.光電測(cè)試技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室(北京信息科技大學(xué))，北京100192)

凸松弛全局優(yōu)化機(jī)器人手眼標(biāo)定

李 巍1*，呂乃光1,2，董明利2，婁小平2

(1.北京郵電大學(xué) 信息光子學(xué)與光通信研究院，北京 100876； 2.光電測(cè)試技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室(北京信息科技大學(xué))，北京100192)

(*通信作者電子郵箱liweikilary@163.com)

針對(duì)機(jī)器人運(yùn)動(dòng)學(xué)正解及相機(jī)的外參數(shù)標(biāo)定存在偏差時(shí)，基于非線性最優(yōu)化的手眼標(biāo)定算法無(wú)法確保目標(biāo)函數(shù)收斂到全局極小值的問題，提出基于四元數(shù)理論的凸松弛全局最優(yōu)化手眼標(biāo)定算法?？紤]到機(jī)械手末端相對(duì)運(yùn)動(dòng)旋轉(zhuǎn)軸之間的夾角對(duì)標(biāo)定方程求解精度的影響，首先利用隨機(jī)抽樣一致性(RANSAC)算法對(duì)標(biāo)定數(shù)據(jù)中旋轉(zhuǎn)軸之間的夾角進(jìn)行預(yù)篩選，再利用四元數(shù)參數(shù)化旋轉(zhuǎn)矩陣，建立多項(xiàng)式幾何誤差目標(biāo)函數(shù)和約束，采用基于線性矩陣不等式(LMI)凸松弛全局優(yōu)化算法求解全局最優(yōu)手眼變換矩陣。實(shí)測(cè)結(jié)果表明，該算法可以求得全局最優(yōu)解，手眼變換矩陣幾何誤差平均值不大于1.4 mm，標(biāo)準(zhǔn)差小于0.16 mm，結(jié)果稍優(yōu)于四元數(shù)非線性最優(yōu)化算法。

機(jī)器人；手眼標(biāo)定；四元數(shù)；全局優(yōu)化；隨機(jī)抽樣一致性；線性矩陣不等式

0 引言

近年來(lái)，隨著科學(xué)技術(shù)的迅猛發(fā)展，機(jī)器人已經(jīng)逐步進(jìn)入我們的社會(huì)生活中，如在柔性裝配、智能服務(wù)、自主導(dǎo)航、逆向工程、焊接工程等領(lǐng)域得到了廣泛應(yīng)用[1-2]。機(jī)器人手眼標(biāo)定作為機(jī)器人視覺的關(guān)鍵技術(shù)之一，一直以來(lái)都是機(jī)器視覺領(lǐng)域中的研究熱點(diǎn)，為了提高手眼標(biāo)定的精度，從而使機(jī)器人更好地為人類服務(wù)，國(guó)內(nèi)外研究學(xué)者作了大量工作。

1989年，Tsai等[3]和Shiu等[4]首次提出手眼標(biāo)定問題，并提出了基于軸角變換的手眼標(biāo)定閉環(huán)線性解法，以后關(guān)于手眼標(biāo)定的研究多是以此數(shù)學(xué)模型為基礎(chǔ)。受他們二人的啟發(fā)，Horaud等[5]、Daniilidis[6]、Andreff等[7]在Tsai和Shiu的研究基礎(chǔ)上分別提出了基于單位四元數(shù)、對(duì)偶四元數(shù)、矩陣直積的線性閉環(huán)解法，但這些參數(shù)化方法在通常情況下并不滿足標(biāo)定矩陣的正交和單位特性，需要對(duì)其再加入正交和單位約束，從而影響了閉環(huán)求解精度的穩(wěn)定性。2001年，文獻(xiàn)[8]以機(jī)器人視覺伺服系統(tǒng)為背景，提出利用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion，SfM)算法求解相機(jī)的方位信息，雖然擺脫了手眼標(biāo)定過程中對(duì)靶標(biāo)的依賴，擴(kuò)展了手眼標(biāo)定的應(yīng)用場(chǎng)景，但其標(biāo)定精度并不高。2008年，考慮到標(biāo)定數(shù)據(jù)的選擇同樣會(huì)影響手眼變換矩陣的求解精度，Schmidt等[9]在Tsai建立的標(biāo)定誤差數(shù)學(xué)模型基礎(chǔ)上，提出利用矢量化編碼技術(shù)構(gòu)建手眼標(biāo)定數(shù)據(jù)篩選機(jī)制，提高了手眼變換矩陣的求解精度的穩(wěn)定性，但求解效率較低。此后，文獻(xiàn)[10-13]又提出了采用分支定界法和L2范數(shù)理論來(lái)解決手眼標(biāo)定過程中的全局優(yōu)化問題，在一定程度上提高了計(jì)算結(jié)果的準(zhǔn)確性，但在實(shí)際應(yīng)用中需要調(diào)整許多參數(shù)，并且需要有針對(duì)性地對(duì)算法進(jìn)行設(shè)計(jì)，才能提高算法的執(zhí)行效率。在國(guó)內(nèi)，2011年，王君臣等[14]提出一種基于最大似然估計(jì)的手眼標(biāo)定非線性優(yōu)化算法。2015年，王金橋等[15]提出利用遺傳算法解決關(guān)節(jié)臂視覺檢測(cè)系統(tǒng)中的手眼標(biāo)定問題，然而，當(dāng)誤差存在的情況下這些優(yōu)化算法都容易出現(xiàn)過早收斂的問題，影響求解精度的穩(wěn)定性。綜上，不管是國(guó)內(nèi)和國(guó)外，綜合考慮標(biāo)定方程的求解算法及誤差影響因素的研究還比較少，而事實(shí)上，標(biāo)定數(shù)據(jù)的篩選和標(biāo)定方程的求解算法都會(huì)直接影響手眼變換矩陣的求解精度，因此有必要綜合在一起進(jìn)行研究。

針對(duì)上述機(jī)器人手眼標(biāo)定問題中存在的關(guān)鍵問題，本文首先利用標(biāo)定方程中旋轉(zhuǎn)矩陣的誤差模型，結(jié)合隨機(jī)抽樣一致性(Random Sample Consensus, RANSAC)算法對(duì)標(biāo)定數(shù)據(jù)中旋轉(zhuǎn)軸之間的夾角進(jìn)行預(yù)篩選；然后，鑒于目前非線性優(yōu)化算法的局限性，提出一種基于線性矩陣不等式(Linear Matrix Inequality, LMI)松弛技術(shù)的凸松弛全局優(yōu)化手眼標(biāo)定算法；最后，通過實(shí)驗(yàn)分析，驗(yàn)證了本文算法較之非線性優(yōu)化算法的優(yōu)越性。

1 基于四元數(shù)的手眼標(biāo)定問題描述

1.1 標(biāo)定方程四元數(shù)解法

參照Tsai等[3]的定義方式，A1、A2表示靶標(biāo)世界坐標(biāo)系到兩個(gè)不同姿態(tài)的攝像機(jī)坐標(biāo)系的變換矩陣，B1、B2表示為兩次不同姿態(tài)的機(jī)械手末端執(zhí)行器坐標(biāo)系到機(jī)械手基坐標(biāo)系的變換矩陣，X表示攝像機(jī)坐標(biāo)系到機(jī)械手末端執(zhí)行器坐標(biāo)系的變換矩陣，則手眼關(guān)系可以表示為式(1)：

AX=XB

(1)

其中：A、B、X都為4×4的矩陣，可以表示為：

將上式代入式(1)展開，表示成只含有旋轉(zhuǎn)矩陣和平移向量的方程形式為：

RARX=RXRB

(2)

(RA-I3)tX=RXtB-tA

(3)

根據(jù)式(2)和(3)可知，至少需要兩次旋轉(zhuǎn)軸非平行的相對(duì)位姿變換才可以唯一確定手眼關(guān)系X。文獻(xiàn)[5]給出上述標(biāo)定方程的四元數(shù)解法，求解步驟如下：

(4)

然后，利用Levenberg-Marquardt非線性優(yōu)化算法求解式(4)，即可得到手眼變換矩陣X中的旋轉(zhuǎn)平移關(guān)系Rx和tx。為了保證參量qx的單位性質(zhì)，求解過程中取λ1=λ2=1，λ=106。

1.2 標(biāo)定方程的誤差模型

Tsai等[3]利用一系列引理給出標(biāo)定方程中旋轉(zhuǎn)矩陣的誤差模型，并對(duì)影響手眼標(biāo)定方程的求解精度關(guān)鍵因素進(jìn)行了仿真實(shí)驗(yàn)。假定機(jī)械手和攝像機(jī)兩次相對(duì)運(yùn)動(dòng)變換矩陣A，B中R的標(biāo)定誤差為ΔR，表示為式(5)：

(5)

將式(5)代入式(1)，則可以得到手眼變換矩陣X中旋轉(zhuǎn)矩陣R的均方根誤差，表示為σR，以三位姿情況為例，旋轉(zhuǎn)矩陣的均方根誤差σRAB可以表示為：

(6)

2 LMI凸松弛全局優(yōu)化算法

2.1 全局優(yōu)化算法問題描述

設(shè)W(x)為x=(x1,x2,…,xn)∈Cn上的標(biāo)量多元多項(xiàng)式，則多元多項(xiàng)式的優(yōu)化問題通?？梢悦枋鰹椋?/p>

minW0(x)

(7)

s.t.Wi(x)≥0，i=1,2,…,k

其中x=(x1,x2,…,xn)T∈Cn

由于上述非凸多項(xiàng)式優(yōu)化問題的極值點(diǎn)不唯一，因此極小值并不一定是最小值，而通過初等微積分?jǐn)?shù)學(xué)概念尋找上述多元多項(xiàng)式優(yōu)化問題的全局最優(yōu)解是一個(gè)NP問題。為了很好地解決此類問題，Lasserre利用Putinar定理[16]，把原多項(xiàng)式優(yōu)化問題松弛為半正定規(guī)劃問題求解。通過LMI對(duì)非凸函數(shù)在可行域Cn內(nèi)進(jìn)行凸松弛，經(jīng)過多次松弛逼近多元多項(xiàng)式函數(shù)全局最優(yōu)解，使得多極值非凸優(yōu)化問題松弛為凸函數(shù)優(yōu)化問題。雖然蒙特卡羅采樣法、神經(jīng)網(wǎng)絡(luò)、禁忌搜索以及模擬退火等都是具有通用性的啟發(fā)式全局優(yōu)化算法，但在實(shí)際應(yīng)用中需要調(diào)整許多參數(shù)，并且需要有針對(duì)性地對(duì)算法進(jìn)行設(shè)計(jì)，才能提高算法的執(zhí)行效率，而基于LMI松弛技術(shù)的優(yōu)化方法是專門針對(duì)多項(xiàng)式優(yōu)化問題的方法，從理論上講，LMI方法與其他確定性全局優(yōu)化算法相比更具有可靠性，可以最大限度地保證計(jì)算結(jié)果優(yōu)化到全局最優(yōu)值。

定義vt(x)為t次多項(xiàng)式W(x)的典范基，t∈N，設(shè)s(2t)是vt(x)的維數(shù)，表示為：

(8)

即vt(x)為x中的元素xi互乘得到的次數(shù)不高于t的所有單項(xiàng)式和常量1構(gòu)成的集合。

定義標(biāo)量多元多項(xiàng)式W(x)表示為：

其中pα為多項(xiàng)式W(x)以式(8)vt(x)為空間基的系數(shù)向量。

定義s(2t)維向量y={yα}，且y0,0,…,0=1，則半定矩陣Mt(y)可以表示成分塊矩陣{Mi, j(y)}0≤i, j≤2t形式，其行列系數(shù)由基vt(x)順序確定，表示為：

(9)

例如，當(dāng)n=2，t=2時(shí)，式(9)可以表示為：

最后，根據(jù)文獻(xiàn)[17]中4.3節(jié)給出的矩陣秩相等條件確定最優(yōu)解，如果定義y*為式(7)的最優(yōu)解，則存在：

Mt(y*)≥0,Mt-d(Wiy*)≥0,j=1,2,…,k,且

rank(Mt(y*))=rank(Mt-d(y*))

(10)

其中t≥d。

綜上，多項(xiàng)式LMI優(yōu)化方法一般可以歸納為如下3個(gè)步驟：

2)添加半正定矩陣約束。按照t次多項(xiàng)式的基vt(x)的排列順序，添加半正定矩陣約束Mt(y)≥0，Mt(Wy)≥0。

3)將凸松弛多項(xiàng)式優(yōu)化問題轉(zhuǎn)化為半正定規(guī)劃問題求解。使用對(duì)偶內(nèi)點(diǎn)算法求解由前兩步組成的新半正定規(guī)劃問題，利用式(10)秩相等的條件來(lái)判別是否收斂到全局最優(yōu)解。

2.2 基于全局優(yōu)化算法的手眼變換矩陣估計(jì)

首先，將手眼變換矩陣X用四元數(shù)參數(shù)化為如下形式：

(11)

其中，旋轉(zhuǎn)矩陣R(qx)可以表示為：

R(qx)=

然后以最小化標(biāo)定方程式(1)為幾何誤差目標(biāo)函數(shù)，以單位四元數(shù)的性質(zhì)為約束條件，建立關(guān)于式(11)的多元多項(xiàng)式優(yōu)化問題：

最后，利用Lasserre非凸函數(shù)LMI松弛技術(shù)把上述多項(xiàng)式函數(shù)優(yōu)化問題松弛為半正定規(guī)劃問題求解，圖1是LMI凸松弛優(yōu)化算法流程。

圖1 LMI凸松弛優(yōu)化算法流程Fig. 1 Flow diagram of LMI convex relaxation optimization

經(jīng)計(jì)算得知，目標(biāo)函數(shù)f為4次7元的多項(xiàng)式函數(shù)，由85個(gè)不同的單項(xiàng)式組成，由于求解過程中至少會(huì)得到2個(gè)全局最優(yōu)解，因此需要增加約束條件qx≥0，為了提高求解的數(shù)值穩(wěn)定性，可以先將Ai，Bi中平移向量歸一化，再根據(jù)實(shí)際要求對(duì)平移向量tx加入線性約束，將平移向量的模限制在有限的空間內(nèi)(例如，可設(shè)‖tx‖2≤1)，從而確保半正定規(guī)劃的內(nèi)點(diǎn)法可以高效地進(jìn)行解算。

具體的計(jì)算過程可以采用Henrion發(fā)布的GloptiPoly3軟件包[18]。Henrion等[18]率先把LMI優(yōu)化方法引入到計(jì)算機(jī)視覺中解決多視圖幾何下的三維重建問題。本文采用此方法計(jì)算手眼標(biāo)定矩陣，LMI全局優(yōu)化算法的關(guān)鍵在于如何將需要優(yōu)化的目標(biāo)函數(shù)轉(zhuǎn)化為半正定規(guī)劃問題求解，基于全局優(yōu)化算法求解手眼變換矩陣X的部分程序如下所示：

3 實(shí)測(cè)結(jié)果與分析

為了進(jìn)一步驗(yàn)證本文提出的算法精度和魯棒性，設(shè)計(jì)實(shí)測(cè)實(shí)驗(yàn)，在Inter Core i5-4590 CPU 3.3 GHz、4 GB內(nèi)存的PC機(jī)上，用Matlab R2014a編程實(shí)現(xiàn)手眼標(biāo)定，并比較分析實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)中選用日本電裝公司DENSO機(jī)械手VS-6577GM，X、Y、Z各方向的重復(fù)定位精度為±0.02 mm，選用凱視佳公司UD274M/C型號(hào)的CCD工業(yè)相機(jī)，分辨率為1 628×1 236 pixel相機(jī)，像元尺寸為4.4 μm，選用COMPUTAR 12 mm鏡頭對(duì)11 mm×11 mm棋盤格平面靶標(biāo)進(jìn)行相機(jī)參數(shù)標(biāo)定，實(shí)驗(yàn)前需要先將攝像機(jī)固定在機(jī)械手末端執(zhí)行器法蘭盤上，搭建的實(shí)測(cè)實(shí)驗(yàn)平臺(tái)如圖2所示。

圖2 手眼標(biāo)定實(shí)測(cè)實(shí)驗(yàn)平臺(tái)Fig. 2 Experimental platform for hand-eye calibration

考慮到機(jī)械手末端執(zhí)行器相對(duì)運(yùn)動(dòng)旋轉(zhuǎn)軸之間的夾角對(duì)標(biāo)定方程求解精度的影響，為了提高算法的魯棒性，參照標(biāo)定方程的誤差模型見式(6)，首先利用自適應(yīng)RANSAC算法預(yù)先對(duì)標(biāo)定數(shù)據(jù)進(jìn)行角度篩選，然后再用全局優(yōu)化算法求解手眼變換矩陣。定義rij和rkl分別表示機(jī)械手末端執(zhí)行器從位姿i到位姿j及從位姿k到位姿l的單位旋轉(zhuǎn)軸，θij,kl表示兩次相對(duì)運(yùn)動(dòng)的單位旋轉(zhuǎn)軸的夾角，如下式所示，當(dāng)θij,kl接近90°或者θt接近0°時(shí)，旋轉(zhuǎn)矩陣的誤差最?。?/p>

θt=‖90-θij,kl‖；θij,kl=∠(rij,rkl)

具體的實(shí)驗(yàn)操作步驟如下：

首先，利用機(jī)械手帶動(dòng)攝像機(jī)每次選取Q個(gè)不同位姿對(duì)平面靶標(biāo)拍照成像，兩兩進(jìn)行組合可以得到S=Q(Q-1)/2組手眼標(biāo)定數(shù)據(jù)集，由于至少需要兩組旋轉(zhuǎn)軸非平行的標(biāo)定數(shù)據(jù)就可以唯一確定手眼變換矩陣，所以最少數(shù)據(jù)點(diǎn)mn=2，設(shè)定滿足角度閾值要求的內(nèi)點(diǎn)比例初值w0=0.1，K次抽樣中所有樣本均為壞樣本的概率z=0.02，角度閾值初值θ0=5°，終止RANSAC抽樣的條件為滿足角度閾值的標(biāo)定數(shù)據(jù)集CS≥15，采用自適應(yīng)算法抽樣并更新w0和θ0，直到標(biāo)定數(shù)據(jù)集CS≥15，記下此時(shí)的角度閾值θt，終止抽樣。

為了證明算法的可靠性，每次機(jī)械手變換Q=16個(gè)不同的位置，進(jìn)行10組完全獨(dú)立的重復(fù)標(biāo)定實(shí)驗(yàn)，利用Matlab Camera Calibration Toolbox工具箱[19]標(biāo)定攝像機(jī)的內(nèi)外參數(shù)，內(nèi)參數(shù)標(biāo)定的最大誤差均在0.1 pixel內(nèi)，隨機(jī)選取10組實(shí)驗(yàn)中一組相機(jī)標(biāo)定內(nèi)參數(shù)矩陣T和鏡頭的徑向、切向畸變系數(shù)kC為：

kC=[-0.072 958,0.094 598,-0.001 835,-0.001 131,0]

以此內(nèi)參數(shù)矩陣求解相機(jī)的外參數(shù)，在同樣的標(biāo)定數(shù)據(jù)下，利用本文GO算法和OL算法得到的手眼變換矩陣分別為：

10組完全獨(dú)立的實(shí)測(cè)實(shí)驗(yàn)全局優(yōu)化算法(GO)與非線性優(yōu)化算法(OL)的手眼標(biāo)定幾何誤差的平均值和標(biāo)準(zhǔn)差見圖3和表1所示，其中圖3為表1中數(shù)據(jù)的誤差棒圖。

表1 GO算法與OL算法手眼標(biāo)定幾何誤差平均值及標(biāo)準(zhǔn)差δTab. 1 Geometric average error and standard deviation δ of hand-eye calibration by GO and OL algorithms

圖3 實(shí)測(cè)實(shí)驗(yàn)手眼標(biāo)定幾何誤差棒圖Fig. 3 Comparison of geometric error bars for hand-eye calibration experiment

由圖3可知，從手眼標(biāo)定幾何誤差的精度和穩(wěn)定性上看，GO算法的每組觀測(cè)誤差值均低于OL算法。10組測(cè)量數(shù)據(jù)中：GO算法的手眼變換矩陣誤差平均值最大為1.4 mm，標(biāo)準(zhǔn)差小于0.16 mm；而OL算法的手眼變換矩陣誤差平均值最大已超過1.6 mm，標(biāo)準(zhǔn)差接近0.2 mm。篩選后標(biāo)定數(shù)據(jù)集CS中的最大夾角閾值θt如表1所示，由表1可知，針對(duì)10組不同的觀測(cè)數(shù)據(jù)，經(jīng)過RANSAC算法篩選后參與計(jì)算變換矩陣X的標(biāo)定數(shù)據(jù)中兩次相對(duì)運(yùn)動(dòng)的單位旋轉(zhuǎn)軸的夾角θij,kl均接近90°，在83°和97°之間，由式(6)可知，此時(shí)標(biāo)定方程中旋轉(zhuǎn)矩陣誤差σR接近最小，即標(biāo)定數(shù)據(jù)的誤差對(duì)標(biāo)定方程求解精度的影響最小。此外，為了比較兩種算法的運(yùn)行效率，將兩種算法的運(yùn)行時(shí)間在Matlab R2014a測(cè)試平臺(tái)下進(jìn)行比較分析，如表2所示。

表2 GO算法和OL算法的運(yùn)行時(shí)間比較Tab. 2 Comparison of calculation time for GO and OL algorithms

由表2可知，從計(jì)算時(shí)間上看，GO算法計(jì)算手眼變換矩陣的平均時(shí)間為0.51 s，OL算法計(jì)算手眼變換矩陣的平均時(shí)間為0.025 s，與OL算法相比，GO算法計(jì)算耗時(shí)較大，因此有必要利用GPU加速技術(shù)提升算法的運(yùn)行速度。

4 結(jié)語(yǔ)

針對(duì)機(jī)器人運(yùn)動(dòng)學(xué)正解及相機(jī)的外參數(shù)標(biāo)定偏差對(duì)手眼標(biāo)定方程求解精度的影響，本文利用標(biāo)定方程中旋轉(zhuǎn)矩陣的誤差模型，通過單位旋轉(zhuǎn)軸的夾角建立標(biāo)定數(shù)據(jù)篩選機(jī)制，減小了標(biāo)定數(shù)據(jù)的選擇對(duì)標(biāo)定方程求解精度的影響。此外，為了最大限度避免優(yōu)化結(jié)果過早陷入局部最小值，在現(xiàn)有的四元數(shù)手眼標(biāo)定算法的基礎(chǔ)上，提出一種基于凸松弛全局優(yōu)化技術(shù)的手眼標(biāo)定算法，在不需要初值估計(jì)的情況下，保證了求解的最優(yōu)性。實(shí)測(cè)結(jié)果表明，本文提出的全局優(yōu)化算法較非線性優(yōu)化手眼標(biāo)定算法具有較高的精度和魯棒性，在高精度的機(jī)器人視覺系統(tǒng)中具有一定的應(yīng)用潛力，但計(jì)算較為耗時(shí)，需要利用GPU并行計(jì)算進(jìn)行加速。下一步將針對(duì)全局優(yōu)化算法的計(jì)算耗時(shí)問題，應(yīng)用統(tǒng)一計(jì)算設(shè)備架構(gòu)(Compute Unified Device Architecture, CUDA)并行架構(gòu)理念，將本文提出的手眼標(biāo)定算法中具有并行性的部分應(yīng)用CUDA架構(gòu)實(shí)現(xiàn)并行處理，提高算法的處理速度，擴(kuò)展算法的應(yīng)用范圍。

References)

[1] 陳錫愛,徐方. 基于手眼立體視覺的機(jī)器人定位系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用,2005,25(S1):302-304.(CHEN X A, XU F. Robot positioning system based on hand-eye stereo vision[J]. Journal of Computer Applications, 2005,25(S1):302-304.)

[2] 戰(zhàn)茜,屠大維. 移動(dòng)機(jī)器人自主抓取作業(yè)[J]. 計(jì)算機(jī)應(yīng)用,2016,36(S1):95-98.(ZHAN X, TU D W. Research on autonomous grasping of mobile robot[J]. Journal of Computer Applications, 2016,36(S1):95-98.)

[3] TSAI R Y, LENZ R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics and Automation, 1989, 5(3): 345-358.

[4] SHIU Y C, AHMAD S. Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the formAX=XB[J]. IEEE Transactions on Robotics and Automation, 1989, 5(1): 16-29.

[5] HORAUD R, DORNAIKA F. Hand-eye calibration[J]. The International Journal of Robotics Research, 1995, 14(3): 195-210.

[6] DANIILIDIS K. Hand-eye calibration using dual quaternions[J]. The International Journal of Robotics Research, 1999, 18(3): 286-298.

[7] ANDREFF N, HORAUD R, ESPIAU B. On-line hand-eye calibration[C]// Proceedings of the 2nd International Conference on 3-D Digital Imaging and Modeling. Washington, DC: IEEE Computer Society, 1999: 430-436.

[8] ANDREFF N, HORAUD R, ESPIAU B. Robot hand-eye calibration using structure-from-motion[J]. The International Journal of Robotics Research, 2001, 20(3): 228-248.

[9] SCHMIDT J, NIEMANN H. Data selection for hand-eye calibration: a vector quantization approach[J]. The International Journal of Robotics Research, 2008, 27(9): 1027-1053.

[10] ZHAO Z. Hand-eye calibration using convex optimization[C]// Proceedings of the 2011 IEEE International Conference on Robotics and Automation. Piscataway, NJ: IEEE, 2011: 2947-2952.

[11] HELLER J, HAVLENA M, PAJDLA T. A branch-and-bound algorithm for globally optimal hand-eye calibration[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 1608-1615.

[12] RULAND T, PAJDLA T, KRüGER L. Globally optimal hand-eye calibration[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 1035-1042.

[13] 馬騰, 陳庶樵, 張校輝, 等. 基于規(guī)則集劃分的多決策樹報(bào)文分類算法[J]. 計(jì)算機(jī)應(yīng)用, 2013, 33(9): 2450-2454.(MA T, CHEN S Q, ZHANG X H, et al. Multiple decision-tree packet classification algorithm based on rule set partitioning[J]. Journal of Computer Applications, 2013, 33(9): 2450-2454.)

[14] 王君臣, 王田苗, 楊艷, 等. 非線性最優(yōu)機(jī)器人手眼標(biāo)定[J]. 西安交通大學(xué)學(xué)報(bào), 2011, 45(9): 15-20.(WANG J C, WANG T M, YANG Y, et al. Nonlinear optimal robot hand-eye calibration[J]. Journal of Xi’an Jiaotong University, 2011, 45(9): 15-20.)

[15] 王金橋, 段發(fā)階, 汪潤(rùn). 精確標(biāo)定關(guān)節(jié)臂視覺檢測(cè)系統(tǒng)手眼關(guān)系[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(21): 225-229.(WANG J Q, DUAN F J, WANG R. Accurate calibration of AACMM visual detection system hand-eye relationship[J]. Computer Engineering and Applications, 2015, 51(21): 225-229.)

[16] PUTINAR M. Positive polynomials on compact semi-algebraic sets[J]. Indiana University Mathematics Journal, 1993, 42(3): 969-984.

[17] LASSERRE J B. Moments, positive polynomials and their applications[EB/OL].[2016-06-20]. http://www.worldscientific.com/doi/pdf/10.1142/9781848164468_fmatter.

[18] HENRION D, LASSERRE J B, LOFBERG J. GloptiPoly 3: moments, optimization and semidefinite programming[J]. Optimization Methods & Software, 2009, 24(4/5): 761-779.

[19] BOUGUET J Y. Camera calibration toolbox for matlab[EB/OL].[2016-06-20]. http://www.cvg.ethz.ch/teaching/2011spring/3dphoto/Misc/Calib_toolbox_instructions.pdf.

This work is partially supported by the National High Technology Research and Development Program (863 Program) of China (2015AA042308), the National Science Instrument Program (2013YQ22089304), the Open Project of Beijing Key Laboratory of Optoelectronics Measurement Technology (GDKF2016005).

LI Wei, born in 1988, Ph. D. candidate. His research interests include vision measurement, machine vision.

LYU Naiguang, born in 1944, M. S., professor. His research interests include information optics, optoelectronics, optoelectronic measurement.

DONG Mingli, born in 1965, Ph. D., professor. Her research interests include vision measurement, precision measurement and instrument.

LOU Xiaoping, born in 1970, M. S., professor. Her research interests include vision measurement, precision electronic-optical measurement.

Robot hand-eye calibration by convex relaxation global optimization

LI Wei1*, LYU Naiguang1,2, DONG Mingli2, LOU Xiaoping2

(1.InstituteofOpticalCommunication&Optoelectronics,BeijingUniversityofPosts&Telecommunications,Beijing100876,China;2.BeijingKeyLaboratoryofOptoelectronicsMeasurementTechnology(BeijingInformationScience&TechnologyUniversity),Beijing100192,China)

Hand-eye calibration based on nonlinear optimization algorithm can not guarantee the convergence of the objective function to the global minimum, when there are errors in both robot forward kinematics and camera external parameters calibration. To solve this tricky problem, a new hand-eye calibration algorithm based on quaternion theory by convex relaxation global optimization was proposed. The critical factor of the angle between different interstation rotation axes by a manipulator was considered, an optimal set of relative movements from calibration data was selected by Random Sample Consensus (RANSAC) approach. Then, rotation matrix was parameterized by a quaternion, polynomial geometric error objective function and constraints were established based on Linear Matrix Inequality (LMI) convex relaxation global optimization algorithm, and the hand-eye transformation matrix could be solved for global optimum. Experimental validation on real data was provided. Compared with the classical quaternion nonlinear optimization algorithm, the proposed algorithm can get global optimal solution, the geometric mean error of hand-eye transformation matrix is no more than 1.4 mm, and the standard deviation is less than 0.16 mm.

robot; hand-eye calibration; quaternion; global optimization; Random Sample Consensus (RANSAC); Linear Matrix Inequality (LMI)

2016-09-30;

2016-12-22。 基金項(xiàng)目:國(guó)家863計(jì)劃項(xiàng)目(2015AA042308)；國(guó)家重大科學(xué)儀器設(shè)備開發(fā)專項(xiàng)(2013YQ22089304)；光電測(cè)試技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室開放課題(GDKF2016005)。

李巍(1988—)，男，河北承德人，博士研究生，主要研究方向：視覺測(cè)量、機(jī)器視覺； 呂乃光(1944—)，男，安徽臨泉人，教授，博士生導(dǎo)師，主要研究方向：信息光學(xué)、光電子學(xué)、光電測(cè)試; 董明利(1965—)，女，遼寧鞍山人，教授，博士生導(dǎo)師，博士，主要研究方向：視覺測(cè)量、精密測(cè)量與儀器； 婁小平(1970—)，女，河南臨潁人，教授，主要研究方向：視覺測(cè)量、精密光電測(cè)試。

1001-9081(2017)05-1451-05

10.11772/j.issn.1001-9081.2017.05.1451

TP242.2

A