工業(yè)機(jī)械臂多工位作業(yè)下的視覺對準(zhǔn)技術(shù)研究*

祝鴻宇，曾令斌，石世鋒，葉 南

（1.南京航空航天大學(xué)機(jī)電學(xué)院，南京 210016；2.上海宇航系統(tǒng)工程研究所，上海201109）

隨著航空航天領(lǐng)域往智能制造方向不斷發(fā)展，工業(yè)機(jī)械臂被廣泛應(yīng)用于飛機(jī)零部件的對準(zhǔn)、旋擰和抓取等裝配工作中[1–3]。傳統(tǒng)的機(jī)械臂裝配工作依靠示教再現(xiàn)或固定編程實(shí)現(xiàn)基本的運(yùn)動操作，絕對定位精度低，且對環(huán)境的感知能力差，無法滿足智能裝配的要求。為提升機(jī)械臂裝配的靈活性和柔性，視覺傳感器與工業(yè)機(jī)械臂逐漸融合，構(gòu)建合適的機(jī)械臂視覺系統(tǒng)是完成裝配作業(yè)的一個(gè)重要前提。

基于視覺反饋的機(jī)械臂裝配系統(tǒng)可根據(jù)機(jī)械臂與視覺的結(jié)合方式分為“Eye-in-Hand”和“Eye-to-Hand”兩種，又可依據(jù)視覺傳感器數(shù)目分為單目、雙目和多目系統(tǒng)。宋薇[4]研究了一種基于模板匹配的單目視覺抓取方法，但只能實(shí)現(xiàn)機(jī)械臂的三維抓取，位置誤差在2mm 以內(nèi)、角度誤差在2°以內(nèi)。朱正偉[5]研究了單目“Eye-to-Hand”機(jī)械臂抓取系統(tǒng)，機(jī)械臂能快速有效地抓取工件，位姿誤差小，滿足工業(yè)生產(chǎn)的預(yù)期要求，但前提是目標(biāo)工件的尺寸已知。傅華強(qiáng)[6]將KUKA 機(jī)械臂與單目相機(jī)以“Eye-in-Hand”形式結(jié)合，通過采集工件輪廓并查找平行線段來確定工件抓取位姿，通過手眼關(guān)系將抓取位姿轉(zhuǎn)化為機(jī)械臂坐標(biāo)完成抓取工作。以上系統(tǒng)在抓取方面表現(xiàn)較好，但均無法滿足對準(zhǔn)系統(tǒng)的高精度定位要求。馮志剛等[7]利用雙目系統(tǒng)獲取機(jī)械臂末端與工件間的位姿關(guān)系，驅(qū)動末端調(diào)整姿態(tài)實(shí)現(xiàn)精確的裝配定位，但該系統(tǒng)需要在工件上布置反射靶標(biāo)來協(xié)助雙目系統(tǒng)完成圖像的匹配和重建工作，使得在工業(yè)現(xiàn)場的應(yīng)用產(chǎn)生一定程度的局限性，且使用雙目相機(jī)增加了系統(tǒng)成本。雷金周等[8]提出了一種單目機(jī)械臂對準(zhǔn)技術(shù)，其中假設(shè)對準(zhǔn)目標(biāo)和視覺靶標(biāo)間的位姿關(guān)系已知，這在復(fù)雜的裝配任務(wù)中難以保證，且不適用于多工位的裝配任務(wù)。Zhu 等[9]研究了單目機(jī)械臂鉆孔系統(tǒng)，使用高精度的特制標(biāo)定板對系統(tǒng)進(jìn)行標(biāo)定，并提出了一種穩(wěn)定可靠的圓孔邊緣檢測算法，試驗(yàn)結(jié)果表明視覺系統(tǒng)測量精度達(dá)到0.15mm，滿足工業(yè)生產(chǎn)需求。

目前，雙目和多目系統(tǒng)存在結(jié)構(gòu)復(fù)雜、魯棒性較差、圖像之間的立體匹配困難等問題；而單目系統(tǒng)結(jié)構(gòu)簡單、相機(jī)標(biāo)定容易且精度高，近年來大多數(shù)研究基于單目系統(tǒng)?！癊yeto-Hand”的結(jié)合方式使機(jī)械臂視場變大，但容易產(chǎn)生遮擋問題；“Eyein-Hand”系統(tǒng)的局部精度更高，視場觀察范圍更加靈活。本文研究的是機(jī)械臂多工位作業(yè)下的高精度對準(zhǔn)問題，系統(tǒng)結(jié)構(gòu)力求簡潔，在對準(zhǔn)過程中不能產(chǎn)生遮擋，精度要求高，且滿足實(shí)時(shí)性需求，因此單目“Eye-in-Hand”系統(tǒng)更為合適。

在此基礎(chǔ)上，為了準(zhǔn)確復(fù)現(xiàn)對準(zhǔn)目標(biāo)的位姿信息，工程中一般考慮非合作式方案和合作式方案。非合作式方案[10]是利用目標(biāo)自身的特征屬性輔助完成測量，但這些特征不固定，難以穩(wěn)定提取，且未必滿足位姿解算要求。因此本文采用魯棒性更好的合作式方案[11–13]，即設(shè)計(jì)一款合作靶標(biāo)用以提供特征點(diǎn)，利用特征點(diǎn)在靶標(biāo)坐標(biāo)系中的三維坐標(biāo)和圖像上特征點(diǎn)的二維坐標(biāo)解算相機(jī)和靶標(biāo)的位姿關(guān)系，該方案穩(wěn)健可靠，測量結(jié)果精度更高。

在使用單目“Eye-in-Hand”系統(tǒng)和采用合作式方案的基礎(chǔ)上，本文研究了一種多工位作業(yè)下的視覺對準(zhǔn)技術(shù)。本文設(shè)計(jì)的一套合作靶標(biāo)具有精度高、成本低、靈活性強(qiáng)的特點(diǎn)，用于解決多工位對準(zhǔn)問題具有一定優(yōu)勢，適合工業(yè)現(xiàn)場的應(yīng)用。

系統(tǒng)描述

本文搭建了基于視覺引導(dǎo)的多工位對準(zhǔn)系統(tǒng)，該系統(tǒng)主要由機(jī)械臂、相機(jī)、末端工具快換裝置（包括抓手、旋擰工具等）、合作靶標(biāo)、對準(zhǔn)目標(biāo)（如對準(zhǔn)孔、螺絲等）和計(jì)算機(jī)軟件系統(tǒng)組成，如圖1所示。相機(jī)和末端工具分別固連在機(jī)械臂末端法蘭上，相機(jī)的光軸與末端工具中軸線近似平行，二者以“Eye-in-Hand”方式構(gòu)成手眼視覺系統(tǒng)。每個(gè)合作靶標(biāo)上都布置著8個(gè)特征點(diǎn)，特征點(diǎn)之間的空間位置約束關(guān)系經(jīng)過了精確測量。在對準(zhǔn)目標(biāo)附近布置合作靶標(biāo)，布置的位置應(yīng)根據(jù)相機(jī)視場大小靈活調(diào)整，使靶標(biāo)圖像處于相機(jī)視場中心。每一塊靶標(biāo)視區(qū)域大小可以對應(yīng)1個(gè)或多個(gè)對準(zhǔn)目標(biāo)，對準(zhǔn)目標(biāo)與其相應(yīng)靶標(biāo)的位置關(guān)系在整個(gè)工作過程中不發(fā)生改變。

圖1 系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Schematic of system structure

系統(tǒng)的坐標(biāo)系定義如下：世界坐標(biāo)系{W}，機(jī)械臂基坐標(biāo)系{B}，機(jī)械臂末端法蘭坐標(biāo)系{F}，相機(jī)坐標(biāo)系{C}，合作靶標(biāo)坐標(biāo)系{T}。相機(jī)坐標(biāo)系的原點(diǎn)建立在光軸中心處，Zc軸為相機(jī)的光軸，以相機(jī)到工件的方向?yàn)檎较颉７ㄌm坐標(biāo)系的原點(diǎn)設(shè)置在法蘭中心，Zf軸為法蘭平面的法線，以法蘭到工件的方向?yàn)檎较?。合作靶?biāo)坐標(biāo)系的原點(diǎn)定義為任一特征點(diǎn)中心，原點(diǎn)與另一特征點(diǎn)中心的連線定義為Xt軸，8個(gè)特征點(diǎn)中心所擬合成平面的法線為Zt軸，方向垂直平面向外。所有坐標(biāo)系都遵循右手法則。

多工位對準(zhǔn)系統(tǒng)的具體工作流程如圖2所示。

（1）系統(tǒng)標(biāo)定。首先進(jìn)行（Tool center point，TCP 工具中心點(diǎn)）標(biāo)定，計(jì)算機(jī)械臂上的工具中心點(diǎn)相對于機(jī)械臂基坐標(biāo)系的位姿變換關(guān)系，一般工業(yè)機(jī)械臂都給出了標(biāo)定的標(biāo)準(zhǔn)流程。本文將工具中心點(diǎn)設(shè)置為機(jī)械臂的法蘭中心，機(jī)械臂默認(rèn)獲得法蘭坐標(biāo)系相對于機(jī)械臂基坐標(biāo)系的位姿變換關(guān)系然后根據(jù)后文所闡述的標(biāo)定方法進(jìn)行相機(jī)標(biāo)定和手眼標(biāo)定，手眼標(biāo)定獲得相機(jī)坐標(biāo)系相對于法蘭坐標(biāo)系的變換關(guān)系

（2）獲取合作靶標(biāo)的期望位姿并建立任務(wù)表?？刂茩C(jī)械臂運(yùn)動使得末端工具在裝配作業(yè)前與各工位上的對準(zhǔn)目標(biāo)進(jìn)行預(yù)對準(zhǔn)。相機(jī)采集該目標(biāo)所對應(yīng)合作靶標(biāo)的圖像，計(jì)算靶標(biāo)相對于相機(jī)坐標(biāo)系的位姿，將其定義為期望位姿變換關(guān)系具體過程見后文特征提取與位姿求解部分。接著為目標(biāo)建立對準(zhǔn)任務(wù)，末端工具與單個(gè)目標(biāo)的對準(zhǔn)過程為一項(xiàng)對準(zhǔn)任務(wù)，該任務(wù)中需要用到末端工具信息、期望位姿變換關(guān)系和靶標(biāo)特征點(diǎn)信息，獲取這些先驗(yàn)知識并進(jìn)行存儲后便完成了一項(xiàng)任務(wù)的建立。重復(fù)此過程，為所有工位的目標(biāo)分別建立對準(zhǔn)任務(wù)，形成任務(wù)表。值得說明的是，這僅是對單個(gè)工件或單個(gè)對準(zhǔn)任務(wù)的一種資料入庫操作，不涉及全局位姿的求解，在機(jī)械臂多工位作業(yè)前，這一步的操作并不困難，且是必要的。

（3）在機(jī)械臂多工位作業(yè)階段，機(jī)械臂基于上述建立的任務(wù)表開始執(zhí)行對準(zhǔn)任務(wù)。相機(jī)采集靶標(biāo)當(dāng)前圖像并計(jì)算得到靶標(biāo)相對于相機(jī)坐標(biāo)系的當(dāng)前位姿變換關(guān)系然后計(jì)算當(dāng)前位姿與期望位姿的偏差，其中包括位置偏差和角度偏差。若偏差大于設(shè)定的閾值，則結(jié)合系統(tǒng)標(biāo)定結(jié)果，解算出機(jī)械臂末端法蘭下一步應(yīng)該到達(dá)的位姿，具體計(jì)算過程見式（6）。

圖2 系統(tǒng)技術(shù)路線Fig.2 Flow chart of system

（5）查找任務(wù)表，判斷是否完成所有對準(zhǔn)任務(wù)。若沒有，則繼續(xù)執(zhí)行下一項(xiàng)任務(wù)，直至完成所有任務(wù)。

除第（1）、（2）步需要借助人工離線或線下操作之外，在實(shí)際多工位作業(yè)中，（3）～（5）步是自動完成的。

系統(tǒng)標(biāo)定

1 相機(jī)標(biāo)定

相機(jī)標(biāo)定將三維空間和圖像空間關(guān)聯(lián)起來，是后續(xù)手眼標(biāo)定和圖像處理的基礎(chǔ)。最常用的相機(jī)模型為針孔模型，一般成像方式為透視投影，同時(shí)考慮二階畸變補(bǔ)償。本文使用11×9 陣列的大小圓孔平面標(biāo)定板，采用Yin[14]的方法進(jìn)行標(biāo)定。

2 手眼標(biāo)定

手眼標(biāo)定的目的是獲得相機(jī)坐標(biāo)系和法蘭坐標(biāo)系的位姿關(guān)系。對于本文“Eye-in-Hand”視覺系統(tǒng)，法蘭固連著的末端工具即為“手”，相機(jī)即為“眼”，求解法蘭和相機(jī)的位姿關(guān)系的過程稱為機(jī)械臂手眼標(biāo)定。手眼標(biāo)定的基本思路是控制機(jī)械臂運(yùn)動到不同位置，利用相機(jī)觀察空間中一個(gè)已知的標(biāo)定參考物，從而推導(dǎo)出和多次觀察結(jié)果的關(guān)系，圖3表示標(biāo)定過程。手眼關(guān)系的基本方程式為：

其中，X就是待求解的手眼關(guān)系，即由相機(jī)標(biāo)定的外參數(shù)得到；D是位置1運(yùn)動到位置2時(shí)法蘭的位姿變換矩陣，由機(jī)械臂自身程序提供。本文使用Tsai 兩步法[15]進(jìn)行標(biāo)定，參考物為相機(jī)標(biāo)定所用的平面標(biāo)定板。

靶標(biāo)的位姿求解

1 靶標(biāo)設(shè)計(jì)

航空航天領(lǐng)域的大多數(shù)工件表面不具備明顯的紋理特征，直接提取工件上目標(biāo)的特征難度較大，因此需要借助合作靶標(biāo)來完成定位測量等任務(wù)。在設(shè)計(jì)合作靶標(biāo)時(shí)，通常采用圓形特征實(shí)現(xiàn)編碼設(shè)計(jì)。本文設(shè)計(jì)的一套合作靶標(biāo)如圖4所示，每個(gè)靶標(biāo)上布置有8個(gè)特征點(diǎn)，其中4個(gè)特征點(diǎn)相連形成凸包，剩余4個(gè)特征點(diǎn)處于凸包內(nèi)部。位于凸包邊界上的特征點(diǎn)按照順時(shí)針順序編號為1、2、3、4，凸包內(nèi)的特征點(diǎn)分別編號為5、6、7、8，1～4號特征點(diǎn)用于計(jì)算單應(yīng)矩陣，5～8號特征點(diǎn)用于驗(yàn)證單應(yīng)矩陣。

2 特征提取與位姿求解

在使用合作靶標(biāo)之前，需要利用相關(guān)設(shè)備對特征點(diǎn)的位置關(guān)系進(jìn)行測量并在三維建模軟件中建系，得到靶標(biāo)三維點(diǎn)點(diǎn)集P={Xi}，i=1，2，…，8，i表示三維坐標(biāo)點(diǎn)的編號。

相機(jī)采集到靶標(biāo)圖像后需進(jìn)行圖像處理，獲得精確的特征點(diǎn)中心，構(gòu)成圖像特征點(diǎn)點(diǎn)集。圖5表示了靶標(biāo)的圖像處理過程。首先對圖像進(jìn)行高斯濾波，去除多余噪聲；使用Canny 算子進(jìn)行邊緣檢測，將檢測到的邊緣以樹形結(jié)構(gòu)存儲；根據(jù)面積約束和圓度準(zhǔn)則得到可能的特征點(diǎn)輪廓，圓度準(zhǔn)則見式（2），接著對每個(gè)輪廓直徑上的像素點(diǎn)灰度值是否連續(xù)進(jìn)行判斷，進(jìn)一步篩選得到正確的特征點(diǎn)輪廓；采用最小二乘擬合特征點(diǎn)輪廓的最小外接矩形，將該矩形的中心認(rèn)定為特征點(diǎn)中心，得到圖像特征點(diǎn)點(diǎn)集Q={xj}，j=1，2，…，8，j表示圖像特征點(diǎn)編號。

其中，L表示輪廓的周長；A表示輪廓內(nèi)的面積；N表示圓度。

圖像特征提取完后，需要建立圖像特征點(diǎn)與靶標(biāo)三維點(diǎn)之間的對應(yīng)關(guān)系。求解過程如下：

（1）利用凸包算法找到靶標(biāo)三維點(diǎn)點(diǎn)集P的凸包，將位于凸包邊界上的點(diǎn)按順時(shí)針排序，得到凸包邊界上的點(diǎn)集P1={Xi}，i=1，2，3，4和凸包內(nèi)的點(diǎn)集P2={Xi}，i=5，6，7，8。對圖像特征點(diǎn)點(diǎn)集Q執(zhí)行相同操作，得到位于圖像凸包邊界上的點(diǎn)集Q1={xj}，j=1，2，3，4和凸包內(nèi)的點(diǎn)集Q2={xj}，j=5，6，7，8。

（2）利用點(diǎn)集P1和Q1的4 對點(diǎn)計(jì)算單應(yīng)矩陣H，用此單應(yīng)關(guān)系對靶標(biāo)三維點(diǎn)點(diǎn)集作投影變換。

（3）遍歷圖像特征點(diǎn)點(diǎn)集，分別計(jì)算每個(gè)點(diǎn)與變換后的靶標(biāo)三維點(diǎn)的歐氏距離。若此距離小于設(shè)定值，則該圖像特征點(diǎn)與變換前的靶標(biāo)三維點(diǎn)是一組對應(yīng)點(diǎn)，為其編號存儲。若距離都大于設(shè)定值，則放棄該靶標(biāo)三維點(diǎn)，繼續(xù)尋找下一組對應(yīng)點(diǎn)。

（4）若找到8組對應(yīng)點(diǎn)，則單應(yīng)矩陣H求解正確，靶標(biāo)三維點(diǎn)點(diǎn)集和圖像特征點(diǎn)點(diǎn)集建立正確的對應(yīng)關(guān)系。當(dāng)對應(yīng)點(diǎn)少于8組時(shí)，單應(yīng)矩陣H求解錯(cuò)誤，調(diào)整點(diǎn)集Q1中特征點(diǎn)的編號順序（至多調(diào)整4次），如圖6所示。重復(fù)執(zhí)行步驟（2）、（3），直至找到8組對應(yīng)點(diǎn)。

圖3 手眼標(biāo)定過程Fig.3 Processing of hand-eye calibration

圖4 合作靶標(biāo)Fig.4 Cooperative target

圖5 靶標(biāo)的圖像處理Fig.5 Image processing diagram of cooperative target

在已知靶標(biāo)三維點(diǎn)和圖像特征點(diǎn)對應(yīng)關(guān)系和相機(jī)模型參數(shù)的情況下，計(jì)算合作靶標(biāo)在相機(jī)坐標(biāo)系下的位姿可以歸納為求解PNP(Perspective-N-Point，多點(diǎn)透視投影)問題[16]，得到靶標(biāo)坐標(biāo)系相對于相機(jī)坐標(biāo)系的變換關(guān)系

3 建立任務(wù)表

末端工具在裝配作業(yè)前與各工位上的對準(zhǔn)目標(biāo)進(jìn)行預(yù)對準(zhǔn)，相機(jī)采集目標(biāo)所對應(yīng)合作靶標(biāo)的圖像，利用上節(jié)中的位姿求解算法獲得靶標(biāo)的位姿，此位姿定義為期望位姿，記為本文將末端工具與單個(gè)目標(biāo)的對準(zhǔn)過程定義為一項(xiàng)對準(zhǔn)任務(wù)，該任務(wù)需要用到末端工具信息、期望位姿變換關(guān)系和靶標(biāo)特征點(diǎn)信息。末端工具信息由人為設(shè)定，期望位姿變換關(guān)系已求解，靶標(biāo)特征點(diǎn)信息已由測量設(shè)備事先測得，獲取這些先驗(yàn)知識并進(jìn)行存儲后便完成了一項(xiàng)對準(zhǔn)任務(wù)的建立。按照此過程分別為各工位上的對準(zhǔn)目標(biāo)建立任務(wù)，最終形成一張任務(wù)表。

圖6 凸包點(diǎn)順序調(diào)整Fig.6 Order adjustment of markers on convex hull

機(jī)械臂對準(zhǔn)系統(tǒng)控制策略

在多工位作業(yè)階段，系統(tǒng)以任務(wù)表為依據(jù)，驅(qū)動末端工具完成指定的對準(zhǔn)作業(yè)。在執(zhí)行每一項(xiàng)對準(zhǔn)任務(wù)的過程中，系統(tǒng)采用的控制策略為“Look-then-Move”的閉環(huán)控制方式。其中，“Look”部分包括相機(jī)采集靶標(biāo)圖像和對靶標(biāo)的位姿估計(jì)，“Move”部分是機(jī)械臂運(yùn)動使末端工具與目標(biāo)對準(zhǔn)[4，8]。

相機(jī)采集到合作靶標(biāo)的圖像，由前文提出的方法解算出靶標(biāo)相對于相機(jī)的當(dāng)前位姿變換關(guān)系，計(jì)算其與期望位姿變換關(guān)系的偏差

判斷偏差是否滿足對準(zhǔn)精度要求。若滿足，則系統(tǒng)判定完成當(dāng)前對準(zhǔn)任務(wù)，然后查找任務(wù)表，繼續(xù)執(zhí)行下一項(xiàng)任務(wù)。如果偏差不滿足要求，則計(jì)算機(jī)械臂的運(yùn)動量，并引導(dǎo)機(jī)械臂運(yùn)動。

設(shè)當(dāng)前法蘭坐標(biāo)系相對于機(jī)械臂基坐標(biāo)系的變換關(guān)系為，則靶標(biāo)相對于機(jī)械臂基坐標(biāo)系的變換關(guān)系為：

由于在對準(zhǔn)過程中靶標(biāo)與機(jī)械臂基坐標(biāo)系的變換關(guān)系不發(fā)生變化，因此由式（4）、（5）可解算出bfTE

其中，由機(jī)械臂自身程序給出；由手眼標(biāo)定獲得，和互為逆運(yùn)算表示靶標(biāo)相對于相機(jī)坐標(biāo)系的當(dāng)前位姿變換關(guān)系；表示靶標(biāo)相對于相機(jī)坐標(biāo)系的期望位姿變換關(guān)系，從任務(wù)表的數(shù)據(jù)中直接讀取，和互為逆運(yùn)算。所有變換矩陣都是已知量，可直接計(jì)算得到也就是機(jī)械臂的運(yùn)動數(shù)據(jù)。

機(jī)械臂自身存在定位誤差，為提高系統(tǒng)的對準(zhǔn)精度，本文對機(jī)械臂的運(yùn)動量進(jìn)行插補(bǔ)。中包含兩個(gè)分量：旋轉(zhuǎn)矩陣和平移向量將旋轉(zhuǎn)矩陣轉(zhuǎn)換為四元數(shù)進(jìn)行坐標(biāo)旋轉(zhuǎn)插補(bǔ)，對平移向量進(jìn)行位置插補(bǔ)[17]。計(jì)算過程如下：

在機(jī)械臂位姿求解和控制機(jī)械臂運(yùn)動的過程中，系統(tǒng)需要從機(jī)械臂自身程序讀取位姿信息并將相關(guān)數(shù)據(jù)發(fā)送給機(jī)械臂，二者的通訊基于TCP/IP 協(xié)議。機(jī)械臂數(shù)據(jù)格式如圖7所示，其中第445字節(jié)到492字節(jié)是法蘭在機(jī)械臂基坐標(biāo)系下的位姿，包括位置信息x、y、z和姿態(tài)信息rx、ry、rz。當(dāng)軟件系統(tǒng)給機(jī)械臂發(fā)送位姿信息控制其運(yùn)動時(shí)，運(yùn)動指令格式為：

圖7 機(jī)械臂數(shù)據(jù)格式Fig.7 Data format of robot

其中，[x，y，z]是工具中心點(diǎn)在機(jī)械臂基坐標(biāo)系下要到達(dá)的位置；[rx，ry，rz]是工具中心點(diǎn)在機(jī)械臂基坐標(biāo)系下要達(dá)到的角度；v和a分別是機(jī)械臂運(yùn)動速度和加速度，取v=100mm/s，a=30mm/s2。command是機(jī)械臂運(yùn)動方式，一般為MoveJ 關(guān)節(jié)移動、MoveL 直線移動、MoveP 恒定速度運(yùn)動和MoveC 圓弧移動，本文使用直線移動方式。

試驗(yàn)

為驗(yàn)證多工位作業(yè)下的視覺對準(zhǔn)系統(tǒng)的有效性，本研究搭建了螺紋旋擰和抓手夾持試驗(yàn)平臺，如圖8所示。本試驗(yàn)以UR10 機(jī)械臂作為運(yùn)動機(jī)構(gòu)，使用的視覺裝置為德國Allied Vision Prosilica GC1600 工業(yè)相機(jī)和大恒圖像HN–0914–2M–C2/3X 定焦鏡頭，焦距為9mm。試驗(yàn)過程如下：

（1）機(jī)械臂末端法蘭中心點(diǎn)設(shè)置為工具中心點(diǎn)，建立末端法蘭和機(jī)械臂基坐標(biāo)系的變換關(guān)系。

（2）依次進(jìn)行相機(jī)標(biāo)定和手眼標(biāo)定?；诘? 節(jié)闡述的原理，將平面標(biāo)定板固定放置在平臺上，相機(jī)和標(biāo)定板距離約260mm?？刂茩C(jī)械臂移動使其在相機(jī)視場范圍內(nèi)做12次運(yùn)動，并在每次運(yùn)動后采集標(biāo)定板圖像和機(jī)械臂位姿。相機(jī)標(biāo)定結(jié)果如表1所示，手眼標(biāo)定結(jié)果見式（9）。

（3）按前文描述為各工位上的對準(zhǔn)目標(biāo)建立任務(wù)表。

（4）在多工位作業(yè)環(huán)節(jié)，機(jī)械臂末端處于不同的初始位置，依據(jù)任務(wù)表執(zhí)行對準(zhǔn)操作，其中有螺紋旋擰工作和抓手自動夾持工作，對準(zhǔn)結(jié)果如圖9所示。試驗(yàn)結(jié)果表明，本文研發(fā)的多工位對準(zhǔn)系統(tǒng)能夠?qū)崿F(xiàn)對各目標(biāo)的精確對準(zhǔn)，滿足工業(yè)現(xiàn)場的裝配需求。

為驗(yàn)證對準(zhǔn)系統(tǒng)所能達(dá)到的精度，搭建了精度驗(yàn)證試驗(yàn)平臺，如圖10所示。使用GC1600 工業(yè)相機(jī)和9mm 定焦鏡頭，末端工具用長200mm、直徑10mm的圓軸代替，對準(zhǔn)目標(biāo)為直徑10mm的圓孔。

（1）精度驗(yàn)證試驗(yàn)1。

位置精度要求在X、Y方向達(dá)到0.5mm，Z方向達(dá)到1mm，角度偏差不超過0.1°時(shí)，靶標(biāo)實(shí)際位姿與期望位姿的偏差見表2和圖11。其中Δx、Δy、Δz分別表示靶標(biāo)實(shí)際位姿與期望位姿相比在相機(jī)坐標(biāo)系下沿Xc軸、Yc軸、Zc軸的位移偏差量，Δη表示在相機(jī)坐標(biāo)系下靶標(biāo)實(shí)際位姿的法向與期望位姿法向的夾角，Δα、Δβ、Δγ分別表示靶標(biāo)實(shí)際位姿與期望位姿在相機(jī)坐標(biāo)系下繞Xc軸、Yc軸、Zc軸的轉(zhuǎn)角差值。

表1 相機(jī)標(biāo)定結(jié)果Table1 Camera calibration results

圖8 旋擰和夾持試驗(yàn)平臺Fig.8 Screwing and clamping experiment platform

圖9 試驗(yàn)結(jié)果Fig.9 Experiment result

圖10 精度驗(yàn)證試驗(yàn)平臺Fig.10 Accuracy verification experiment platform

對準(zhǔn)軸與圓孔對準(zhǔn)過程中，首先對姿態(tài)部分進(jìn)行調(diào)整，姿態(tài)的調(diào)整引起靶標(biāo)位姿在軸向發(fā)生變動；接著考慮3個(gè)軸向的對準(zhǔn)，軸向的調(diào)整又會影響姿態(tài)的變化，位置和姿態(tài)的調(diào)整是耦合的。在第6次調(diào)整后，角度偏差Δη達(dá)到0.026°，已經(jīng)滿足角度精度要求，但X、Y方向的偏差過大。軸向偏差的調(diào)整使得Δη增大到0.091°，但仍滿足精度要求。因此，機(jī)械臂經(jīng)過7次自動調(diào)整實(shí)現(xiàn)末端工具與目標(biāo)的對準(zhǔn)。

（2）精度驗(yàn)證試驗(yàn)2。

位置精度要求在X、Y方向達(dá)到0.25mm，Z方向達(dá)到0.5mm，角度偏差不超過0.1°時(shí)，靶標(biāo)實(shí)際位姿與期望位姿的偏差見表3和圖12。系統(tǒng)前6次調(diào)整在逐漸逼近期望位姿，第7次調(diào)整縮小角度偏差，Δη達(dá)到0.040°，第8次對軸向偏差進(jìn)行調(diào)整，角度偏差Δη受影響而增大到0.098°，但仍優(yōu)于0.1°，最終經(jīng)過8次自動調(diào)整實(shí)現(xiàn)對準(zhǔn)。

圖11 試驗(yàn)1調(diào)姿偏差收斂曲線Fig.11 Convergence curve of deviation from pose adjusting (Experiment 1)

（3）精度驗(yàn)證試驗(yàn)3。

位置精度要求在X、Y方向達(dá)到0.1mm，Z方向達(dá)到0.2mm，角度偏差不超過0.1°時(shí)，靶標(biāo)實(shí)際位姿與期望位姿的偏差見表4和圖13。系統(tǒng)前8次調(diào)整已經(jīng)逼近到期望位姿附近，在第10次調(diào)整后只有X方向的精度不滿足要求。在后續(xù)微調(diào)過程中，受機(jī)器臂自身定位精度以及位置和姿態(tài)耦合作用的影響，系統(tǒng)又偏離了期望位姿，最終經(jīng)過12次自動調(diào)整實(shí)現(xiàn)對準(zhǔn)。

除對準(zhǔn)精度外，對定位效率也進(jìn)行了統(tǒng)計(jì)。將精度要求按表5劃分5個(gè)等級，每個(gè)精度等級條件下進(jìn)行5組對準(zhǔn)試驗(yàn)，統(tǒng)計(jì)平均調(diào)姿次數(shù)，結(jié)果如圖14所示。與前4個(gè)精度等級相比，在等級5的精度條件下，機(jī)械臂自動調(diào)姿平均次數(shù)增加至14次，即為達(dá)到更高的對準(zhǔn)精度，需要較多次數(shù)進(jìn)行微調(diào)。

表2 試驗(yàn)1靶標(biāo)實(shí)際位姿與期望位姿的偏差Table2 Deviation between actual pose of cooperative target and expected pose (Experiment 1)

表3 試驗(yàn)2靶標(biāo)實(shí)際位姿與期望位姿的偏差Table3 Deviation between actual pose of cooperative target and expected pose (Experiment 2)

表4 試驗(yàn)3靶標(biāo)實(shí)際位姿與期望位姿的偏差Table4 Deviation between actual pose of cooperative target and expected pose (Experiment 3)

表5 調(diào)姿精度等級Table5 Precision grades of pose adjusting

結(jié)論

圖12 試驗(yàn)2調(diào)姿偏差收斂曲線Fig.12 Convergence curve of deviation from pose adjusting (Experiment 2)

圖13 試驗(yàn)3調(diào)姿偏差收斂曲線Fig.13 Convergence curve of deviation from pose adjusting (Experiment 3)

圖14 調(diào)姿次數(shù)Fig.14 Number of pose adjusting

針對工業(yè)機(jī)械臂多工位作業(yè)下的高精度對準(zhǔn)需求，提出了一整套視覺對準(zhǔn)技術(shù)方法。首先設(shè)計(jì)了一套合作靶標(biāo)并通過單應(yīng)變換技術(shù)獲得靶標(biāo)點(diǎn)唯一身份標(biāo)識，以靶標(biāo)的期望位姿建立多工位上作業(yè)任務(wù)表。以任務(wù)表為驅(qū)動，在視覺位姿動態(tài)測量下，獲取靶標(biāo)當(dāng)前位姿與期望位姿的偏差，并以此為驅(qū)動量，控制機(jī)械臂運(yùn)動。通過視覺反饋構(gòu)成了閉環(huán)迭代調(diào)姿，克服了機(jī)械臂定位誤差的影響，最終成功實(shí)現(xiàn)對準(zhǔn)。以螺紋旋擰和抓手夾持多工位對準(zhǔn)試驗(yàn)，對本文方法進(jìn)行了驗(yàn)證。試驗(yàn)結(jié)果表明，測量距離約260mm 處，位置精度在X、Y方向可達(dá)0.1mm，Z方向可達(dá)0.2mm，角度誤差優(yōu)于0.1°。本文技術(shù)具有精度高、靈活性強(qiáng)、成本低的特點(diǎn)，具備工程應(yīng)用價(jià)值。接下來的研究主要集中在復(fù)雜背景下的靶標(biāo)圖像處理和多靶標(biāo)圖像分割技術(shù)，以及如何進(jìn)一步減少調(diào)姿次數(shù),獲得更快的收斂速度，提高對準(zhǔn)效率。