基于圖像的NAO機(jī)器人松協(xié)調(diào)運(yùn)動(dòng)研究*

王憲倫，姜鵬鵬，馮現(xiàn)東，崔玉霞(青島科技大學(xué) 機(jī)電工程學(xué)院，山東 青島 266042)

0 引 言

在工作任務(wù)復(fù)雜或環(huán)境多變時(shí)，雙臂機(jī)器人與單臂機(jī)器人相比具有以下技術(shù)優(yōu)勢(shì)[1]：適用范圍廣、協(xié)作能力強(qiáng)、可靠性高，所以雙臂機(jī)器人應(yīng)用領(lǐng)域非常廣泛。如在工業(yè)領(lǐng)域中，完成復(fù)雜的裝配作業(yè)、搬運(yùn)較重的貨物、維修構(gòu)型復(fù)雜的工件等，在一些危險(xiǎn)而惡劣的放射環(huán)境中代替人類完成不能現(xiàn)場(chǎng)完成的任務(wù)，如核電站維護(hù)。在服務(wù)領(lǐng)域，雙臂機(jī)器人可以較好地模擬人類行為，如醫(yī)療看護(hù)機(jī)器人可以代替護(hù)士來看護(hù)病人，養(yǎng)老機(jī)器人可以解決老年人生活中的各種不便。近幾年國(guó)內(nèi)外雙臂機(jī)器人產(chǎn)業(yè)迅速發(fā)展，例如，美國(guó)Rethink公司的Baxter[2]，該機(jī)器人已在美國(guó)的一些企業(yè)進(jìn)行了測(cè)試，代替人完成大量作業(yè)；瑞士ABB公司的FRIDA[3-4]，該項(xiàng)目聯(lián)合了多個(gè)世界范圍內(nèi)技術(shù)力量雄厚的高校和研究所，對(duì)機(jī)器人操作的安全性、精密性，機(jī)器人控制的柔順性等方面進(jìn)行了系統(tǒng)性研究；法國(guó)Aldebaran機(jī)器人公司的NAO機(jī)器人[5-6]，已經(jīng)被全球50個(gè)國(guó)家的550間頂尖高校和實(shí)驗(yàn)室購(gòu)買作為研究工具；北京理工大學(xué)研制的“匯童”5代機(jī)器人[7]，實(shí)現(xiàn)了與人的乒乓球?qū)Υ颉?/p>

雙臂機(jī)器人技術(shù)是機(jī)器人領(lǐng)域中的研究熱點(diǎn)，而協(xié)調(diào)運(yùn)動(dòng)更是機(jī)器人領(lǐng)域中關(guān)鍵技術(shù)之一。丁希侖等將機(jī)器人協(xié)調(diào)運(yùn)動(dòng)分為松協(xié)調(diào)和緊協(xié)調(diào)兩種，松協(xié)調(diào)是指在同一工作空間中分別執(zhí)行各自無關(guān)的作業(yè)任務(wù)，緊協(xié)調(diào)是指在同一工作空間中執(zhí)行同一或多項(xiàng)作業(yè)任務(wù)。松協(xié)調(diào)過程中機(jī)械臂所需定位精度與實(shí)際應(yīng)用中所要求的最小精度有關(guān)，如在倒水或擰松螺絲時(shí)，協(xié)作要求的精度遠(yuǎn)小于機(jī)器人本體定位精度，使用基于圖像的視覺伺服對(duì)機(jī)器人各構(gòu)件的加工與裝配精度要求降低，受構(gòu)件磨損的影響較小，故只需保證機(jī)器人構(gòu)件的剛性，進(jìn)而大大降低了相應(yīng)制造維護(hù)成本。

本研究采用基于圖像視覺伺服來實(shí)現(xiàn)NAO機(jī)器人雙臂協(xié)調(diào)運(yùn)動(dòng)中的松協(xié)調(diào)任務(wù)。

1 目標(biāo)識(shí)別

機(jī)械臂、工具和目標(biāo)上具有一些圖像特征點(diǎn)，但這些特征點(diǎn)不通用、不易控制和識(shí)別，因此一般在關(guān)鍵的地方設(shè)置Mark點(diǎn)。NAO機(jī)器人能識(shí)別NAO-Mark點(diǎn)，但該Mark點(diǎn)的識(shí)別算法要求Mark點(diǎn)在圖像上有較大面積才能識(shí)別。而在機(jī)器人協(xié)調(diào)運(yùn)動(dòng)中采用的Mark點(diǎn)圖像面積較小，較大的圖像面積會(huì)極大的限制協(xié)調(diào)過程的運(yùn)動(dòng)空間。故本研究提出了一種形如NAO-Mark的標(biāo)記并對(duì)該標(biāo)記的編碼解碼和定位提取識(shí)別過程進(jìn)行了分析與實(shí)現(xiàn)。設(shè)最外圓半徑為R，該標(biāo)記的外邊采用寬度為0.2×R的環(huán)形，在環(huán)形內(nèi)將一個(gè)圓分割為n等分，并涂為黑色或白色，8等分的標(biāo)記稱為Mark-8，如圖1所示。

圖1 Mark-8

1.1 Mark-8標(biāo)記的編碼解碼

Mark-8標(biāo)記的編碼過程為：以任意白色與黑色的交界線開始，將一圓環(huán)逆時(shí)針等分為8份。按照逆時(shí)針順序依次編碼，若該等份為白色則置為1，反之則置為0，從左到右依次排開，再將編碼按位取反。以圖1為例，從水平的分界線開始按逆時(shí)針依次編碼得10100100，再按位取反得01011011，換算成十進(jìn)制則為91。

從編碼中獲得標(biāo)記旋轉(zhuǎn)不變的唯一編碼即識(shí)別碼，并將從任意編碼獲得唯一性識(shí)別碼的過程稱為解碼過程。以圖1定義輪換操作，將編碼進(jìn)行左移操作得101001000，再將最前一位放到最后一位得輪換編碼01001001。可知任意8位編碼共有7個(gè)輪換編碼，取該編碼及其7個(gè)輪換編碼中最小值作為識(shí)別碼。

1.2 Mark-8標(biāo)記的定位提取識(shí)別

在含編碼標(biāo)記的圖像中提取出編碼域是實(shí)現(xiàn)進(jìn)一步提取的前提，而Mark-8標(biāo)記其外部分割線為圓，其投影到圖像中應(yīng)表現(xiàn)為圓或橢圓，故通過識(shí)別橢圓狀輪廓即可實(shí)現(xiàn)編碼域在圖像中的分割提取。本研究采用基于Canny算子的邊緣檢測(cè)法，然后對(duì)檢測(cè)到的邊緣進(jìn)行初步篩選，去除長(zhǎng)度過小的邊緣，本研究中將長(zhǎng)度小于10的邊緣視為過小，對(duì)剩下的邊緣利用最小二乘法進(jìn)行橢圓擬合。

對(duì)任意位置的橢圓，其一般方程為：

f(x,y)=x2+Axy+By2+Cx+Dy+E=0

(1)

設(shè)定構(gòu)成輪廓的點(diǎn)個(gè)數(shù)為N(N>5)，則對(duì)輪廓點(diǎn)作為最小化目標(biāo)進(jìn)行求解與擬合即可得橢圓，如下式所示：

(2)

FITZGIBBON[8]用最小二乘法對(duì)式(1)在多種情形下的求解進(jìn)行了詳細(xì)分析。由最小二乘法所求得式(1)中參數(shù)可進(jìn)一步獲得擬合橢圓5個(gè)基本參數(shù)：

(3)

(4)

(5)

(6)

(7)

所得橢圓中心像坐標(biāo)(xc,yc)即為目標(biāo)Mark點(diǎn)的像坐標(biāo)。評(píng)估輪廓扁圓的程度，用所得橢圓短軸b的長(zhǎng)度比上其長(zhǎng)軸a的長(zhǎng)度，得到的比值即b/a作為評(píng)判值。通過設(shè)定評(píng)判閾值即可將過扁的輪廓去除。

為了便于從圖像提取編碼，本研究將Mark目標(biāo)區(qū)域通過透視變換變換到一個(gè)方形圖像中。利用擬合輪廓得橢圓中心(xc,yc)、長(zhǎng)軸a、短軸b、轉(zhuǎn)角θ，同時(shí)為截取過程中不破壞橢圓輪廓，在計(jì)算中將長(zhǎng)短軸擴(kuò)大一定倍數(shù)，按照如下算法即可求解出將橢圓包裹的旋轉(zhuǎn)矩形各角點(diǎn)坐標(biāo)：

anew=a×scalar,bnew=b×scalar,xp1=xc-sin(θ)×anew-cos(θ)×bnew,
yp1=yc+cos(θ)×anew-sin(θ)×bnew,
xp2=xc+sin(θ)×anew-cos(θ)×bnew,
yp2=yc-cos(θ)×anew-sin(θ)×bnew,
xp3=2xc-xp1,
yp3=2yc-yp1,
xp4=2xc-xp2,
yp4=2yc-yp2。

因識(shí)別標(biāo)記的圖像大小為100×100，旋轉(zhuǎn)矩形四角點(diǎn)與該圖像上4點(diǎn)分別對(duì)應(yīng)，對(duì)應(yīng)關(guān)系為：(xp1,yp1)?(0,0)、(xp2,yp2)?(100,0)、(xp3,yp3)?(100,100)、(xp4,yp4)?(0,100)。由上述4個(gè)對(duì)應(yīng)點(diǎn)對(duì)即可求得相應(yīng)的透視變換矩陣，應(yīng)用該透視變換將目標(biāo)區(qū)域映射到標(biāo)記識(shí)別圖像中，提取的結(jié)果如圖2(a)所示。對(duì)提取圖像進(jìn)行直方圖均衡化，并閾值化處理，得到結(jié)果如圖2(b)所示。

圖2 Mark-8圖像的提取結(jié)果

經(jīng)過透視變換后Mark標(biāo)記的中心即橢圓的中心位于識(shí)別圖像的中心，故標(biāo)記圖像中的環(huán)形部分在對(duì)數(shù)極坐標(biāo)圖像中將表現(xiàn)為一條直線，而用來編碼的扇形域就會(huì)在對(duì)數(shù)極坐標(biāo)圖像中形成間隔的條文。本研究對(duì)二維圖像進(jìn)行變換得對(duì)數(shù)極坐標(biāo)圖像。取縮放比M=20，則得到的條紋圖如圖3所示。

圖3 條文圖像

1.3 目標(biāo)坐標(biāo)系的確定

在NAO機(jī)器人松協(xié)調(diào)過程中起主要作用的是兩個(gè)機(jī)械臂的末端連桿，其上有手爪等執(zhí)行器，為了固定工件或工具還需特定夾具。在基于圖像視覺伺服過程中，并不需要正逆運(yùn)動(dòng)學(xué)等計(jì)算來獲取兩末端坐標(biāo)系的確切描述，僅需在工件或工具上放置適當(dāng)數(shù)量標(biāo)記點(diǎn)，便可通過視覺系統(tǒng)求解得工件(或工具)坐標(biāo)系。但該過程不僅對(duì)放置標(biāo)記的數(shù)目有要求，且需已知各標(biāo)記在工件坐標(biāo)系中的三維位置。本研究提出一種解決方案：首先設(shè)計(jì)夾具來夾取工件或工具，再設(shè)計(jì)特定夾具裝到機(jī)械臂的末端，使得用該夾具夾取帶夾具的工件或工具時(shí)能保證工件或工具在末端連桿系中處于固定位姿，然后向工件或工具上添加適當(dāng)數(shù)量Mark點(diǎn)標(biāo)記，并用已標(biāo)定的含視覺機(jī)械臂系統(tǒng)識(shí)別出各Mark點(diǎn)標(biāo)記在末端坐標(biāo)系中位置。同類型臂下Mark點(diǎn)標(biāo)記位置在末端系中位置不變，即工件或工具被未視覺標(biāo)定同類臂夾取時(shí)可以通過Mark點(diǎn)標(biāo)記識(shí)別出其位姿。

2 視覺控制流程

本研究實(shí)現(xiàn)松協(xié)調(diào)策略的情形和方法如下：加持工件的為工件臂，加持工具的為工具臂，設(shè)工件臂上有4個(gè)標(biāo)記點(diǎn)則在內(nèi)參已知的相機(jī)下可通過PnP問題求解在相機(jī)坐標(biāo)系下工件坐標(biāo)系位姿[9]。設(shè)工具臂上有一標(biāo)記點(diǎn)稱為工具點(diǎn)，則機(jī)械臂的松協(xié)調(diào)過程變?yōu)槭构ぞ唿c(diǎn)在工件坐標(biāo)系下按給定規(guī)律運(yùn)動(dòng)。此時(shí)工件臂位姿由規(guī)劃器獲得，使工件按指定軌跡運(yùn)動(dòng)。為使所求工具點(diǎn)為唯一空間點(diǎn)，至少需兩個(gè)內(nèi)參已知的相機(jī)來組成視覺系統(tǒng)。

控制流程圖如圖4所示。

(1)從各相機(jī)圖像中得到所有標(biāo)記點(diǎn)描述及其像坐標(biāo)，并用標(biāo)記點(diǎn)識(shí)別碼從知識(shí)庫(kù)獲得該標(biāo)記點(diǎn)的分類來判斷其屬于工件標(biāo)記點(diǎn)還是工具標(biāo)記點(diǎn)；(2)在各相機(jī)坐標(biāo)系中用工件標(biāo)記點(diǎn)坐標(biāo)和知識(shí)庫(kù)中該點(diǎn)在工件坐標(biāo)系下的位置來重建工件坐標(biāo)系，再由工具點(diǎn)在工件坐標(biāo)系下運(yùn)動(dòng)規(guī)律計(jì)算得工具點(diǎn)的目標(biāo)位置并用相機(jī)成像模型得到工具點(diǎn)的目標(biāo)像坐標(biāo)；(3)將工具點(diǎn)當(dāng)前像坐標(biāo)和目標(biāo)像坐標(biāo)的差值帶入視覺伺服控制算法，求得工具臂關(guān)節(jié)角向量來控制工具臂的運(yùn)動(dòng)。

圖4 松協(xié)調(diào)控制圖

3 實(shí)驗(yàn)及結(jié)果

該實(shí)驗(yàn)用NAO機(jī)器人的左右兩臂構(gòu)成雙臂機(jī)器人系統(tǒng)，利用NAO機(jī)器人的下攝像機(jī)和一個(gè)固定在世界坐標(biāo)系下的相機(jī)來構(gòu)成視覺系統(tǒng)。令NAO機(jī)器人的左臂為工件臂、右臂為工具臂。在工件臂末端放置四個(gè)Mark-8標(biāo)記，作為工件標(biāo)記。在工具臂末端放置一個(gè)Mark-8標(biāo)記，作為工具點(diǎn)。

初始狀態(tài)下其外觀配置如圖5所示。

圖5 機(jī)器人松協(xié)調(diào)實(shí)驗(yàn)環(huán)境

此時(shí)機(jī)器人頭部運(yùn)動(dòng)鏈的關(guān)節(jié)角向量為：[-0.006 18,-0.227 074]T；

左臂運(yùn)動(dòng)鏈的關(guān)節(jié)角向量為：

[0.495 4,-0.150 7,-1.023 2,-0.751 6,1.813 1]T；

右臂運(yùn)動(dòng)鏈的關(guān)節(jié)角向量為：

[0.638 2,0.015 3,1.060 0,0.906 6,-1.811 7]T。

兩機(jī)械臂的初始狀態(tài)在機(jī)器人下相機(jī){BCam}和外部相機(jī){CamPP}的圖像如圖6所示。

圖6 兩機(jī)械臂的初始狀態(tài)

初始狀態(tài)下，由Mark標(biāo)記識(shí)別法可得各標(biāo)記點(diǎn)在相機(jī)中的像坐標(biāo)，如表1所示。

表1 初始狀態(tài)時(shí)各標(biāo)記點(diǎn)在各相機(jī)中的圖像坐標(biāo)

讓NAO機(jī)器人左右臂各隨機(jī)運(yùn)動(dòng)5次，每次運(yùn)動(dòng)后各機(jī)械臂的關(guān)節(jié)角如表2所示。

表2 五次隨機(jī)運(yùn)動(dòng)的關(guān)節(jié)角

同時(shí)從機(jī)器人下相機(jī)圖像所得各標(biāo)記點(diǎn)的圖像坐標(biāo)如表3所示。

表3 各標(biāo)記點(diǎn)在NAO機(jī)器人下相機(jī)中的圖像坐標(biāo)

求得4個(gè)工件標(biāo)記點(diǎn)在左臂末端坐標(biāo)系下的位置和工具標(biāo)記點(diǎn)在右臂末端坐標(biāo)系下的位置如表4所示。

表4 各標(biāo)記點(diǎn)在其所屬機(jī)械臂末端坐標(biāo)系中的坐標(biāo)

使工具臂隨機(jī)運(yùn)動(dòng)10次，求得初始狀態(tài)工具臂的圖像雅克比矩陣：

由于NAO的機(jī)械臂僅有5個(gè)自由度，不能保證任意空間位姿可達(dá)，故令工件臂運(yùn)動(dòng)鏈關(guān)節(jié)角從[0.495 4,-0.150 3,-1.023 2,-0.751 6,1.813 1]T運(yùn)動(dòng)到[0.445 4,-0.070 3,-1.023 2,-0.851 6,1.713 1]T，工具點(diǎn)在工件坐標(biāo)系下從[10.032 4,-86.666 1,75.174 5]T運(yùn)動(dòng)到[5.032 4,-76.666 1,75.174 5]T，則在兩個(gè)相機(jī)下理想的運(yùn)動(dòng)軌跡如圖7所示。

采用本研究的控制方法所得運(yùn)動(dòng)軌跡則如圖8所示。

圖7 理想運(yùn)動(dòng)軌跡

圖8 仿真運(yùn)動(dòng)軌跡

從圖中可以看出：該運(yùn)動(dòng)方案具有較高可行性，存在運(yùn)動(dòng)精度稍低、抖動(dòng)的問題。這主要是由于仿真控制的細(xì)分?jǐn)?shù)量較低，實(shí)驗(yàn)中所用細(xì)分?jǐn)?shù)為10，即將整個(gè)協(xié)調(diào)運(yùn)動(dòng)過程分成了10步來求解，導(dǎo)致其結(jié)果的穩(wěn)定性下降；其次所求初始狀態(tài)下圖像雅克比矩陣有一定誤差，導(dǎo)致在起始幾個(gè)運(yùn)動(dòng)過程中的誤差相對(duì)較大。提高仿真的細(xì)分?jǐn)?shù)顯然能夠提高運(yùn)動(dòng)穩(wěn)定性，但計(jì)算次數(shù)會(huì)增加，這對(duì)應(yīng)于控制過程中控制周期的縮短，進(jìn)而對(duì)整個(gè)系統(tǒng)的要求都會(huì)提高。初始狀態(tài)下的雅克比矩陣的精度與采集次數(shù)及識(shí)別精度有關(guān)，可以通過增加采集次數(shù)或大量學(xué)習(xí)的方法來提高。

4 結(jié)束語

本研究提出了一種Mark標(biāo)記點(diǎn)的視覺識(shí)別及相對(duì)定位方法，在NAO機(jī)器人左臂末端附有4個(gè)Mark點(diǎn)，在右臂末端附有一個(gè)Mark點(diǎn)，用NAO機(jī)器人左臂模擬加持工件的機(jī)械臂，右臂模擬加持工具的機(jī)械臂，利用NAO的下相機(jī)和一個(gè)外部相機(jī)構(gòu)成視覺系統(tǒng)，構(gòu)成基于圖像的協(xié)調(diào)運(yùn)動(dòng)環(huán)境。對(duì)基于圖像的松協(xié)調(diào)運(yùn)動(dòng)進(jìn)行了仿真實(shí)驗(yàn)，驗(yàn)證該方法的可行性。該方法對(duì)精度要求較低的松協(xié)調(diào)運(yùn)動(dòng)任務(wù)有很大研究?jī)r(jià)值。

由于NAO機(jī)器人本身精度較低，因此在下一步研究中，需要進(jìn)一步改進(jìn)松協(xié)調(diào)控制方法，提高NAO機(jī)器人的定位精度，更好地完成松協(xié)調(diào)運(yùn)動(dòng)。

[1] 丁希侖.擬人雙臂機(jī)器人技術(shù)[M].北京:科學(xué)出版社,2011.

[2] JU Zhang-feng, YANG Chen-guang, MA Hong-bin. Kinematics modeling and experimental verification of baxter robot[C]. Proceeding of the 33rd Chinese Control Conference,Nanjing:IEEE,2014.

[3] KOCK S, VITTOR T, MATTHIAS B, et al. Robot concept for scalable, flexible assembly automation: a technology study on a harmless dual-armed robot[C].2011 IEEE International Symposium on Assembly and Manufacturing,Tampere:IEEE,2011.

[4] STOLT A, LINDEROTH M, ROBERTSSON A, et al. Force controlled robotic assembly without a force sensor[J].IEEEInternationalConferenceonRoboticsandAutomation,2012,44(8):1538-1543.

[5] SHAMSUDDIN S, ISMAIL L I, YUSSOF H, et al. Humanoid robot NAO: review of control and motion exploration[C].2011 IEEE International Conference on Control System, Computing and Engineering, Penang:IEEE, 2011.

[6] SHAMSUDDIN S, YUSSOF H, ISMAIlL L, et al. Initial response of autistic children in human-robot interaction therapy with humanoid robot NAO[J].IEEEInternationalColloquiumonSignalProcessingandItsApplications,2012,79(4):188-193.

[7] 艷 濤.匯童機(jī)器人第4、5代集體亮相[J].機(jī)器人技術(shù)與應(yīng)用,2012(4):44.

[8] FITZGIBBON A, PILU M , FISHER R B. Direct least square fitting of ellipses[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1999,21(5):476-480.

[9] 徐 德,譚 民,李 原.機(jī)器人視覺測(cè)量與控制[M].北京：國(guó)防工業(yè)出版社,2011.