基于視覺引導(dǎo)的工業(yè)機(jī)器人智能抓取研究

楊宇

（廣西機(jī)電職業(yè)技術(shù)學(xué)院，廣西南寧，530007）

0 前言

近年來，計(jì)算機(jī)視覺技術(shù)在工業(yè)機(jī)器人領(lǐng)域獲得了較為快速的發(fā)展，這與該技術(shù)具有獲取信息量大并且檢測(cè)精度高、檢測(cè)范圍廣等特征有很大的關(guān)系，這能夠進(jìn)一步促進(jìn)工業(yè)機(jī)器人的智能化程度[1]。

1 工業(yè)機(jī)器人智能視覺引導(dǎo)技術(shù)的分類

工業(yè)機(jī)器人智能視覺系統(tǒng)中，攝像機(jī)充當(dāng)著機(jī)器人眼睛的角色，因此其重要性是不言而喻。目前，六自由度工業(yè)機(jī)械臂在機(jī)器人中得到了較為廣泛的應(yīng)用，攝像機(jī)和多軸機(jī)械臂組合應(yīng)用的視覺機(jī)器人系統(tǒng)亦可稱為手眼系統(tǒng)。由于攝像機(jī)的安裝位置有差異，因此可以將智能視覺引導(dǎo)系統(tǒng)分為兩種，一種是固定式手眼系統(tǒng)，另外一種是移動(dòng)式手眼系統(tǒng)[2]。

在固定式手眼系統(tǒng)中，攝像機(jī)通常是固定安裝的。通過攝像頭，可以實(shí)現(xiàn)機(jī)械臂作業(yè)范圍內(nèi)的覆蓋，并且使用固定坐標(biāo)系來實(shí)現(xiàn)對(duì)工作目標(biāo)的識(shí)別。與此同時(shí)，使目標(biāo)工件的位置和姿態(tài)等信息被傳遞到機(jī)械臂，然后機(jī)械臂來開始一些智能操作。經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，固定式手眼系統(tǒng)的局限性較大。原因有二。第一是攝像機(jī)不跟隨機(jī)械臂向目標(biāo)移動(dòng)，在目標(biāo)距離攝像頭距離超過一定距離的時(shí)候，對(duì)于攝像頭的精度有更高的要求，這樣會(huì)增加相應(yīng)的費(fèi)用。第二是機(jī)械臂與目標(biāo)之間的距離過近的時(shí)候，可能導(dǎo)致攝像頭視線被遮擋，從而不能完成預(yù)定的智能操作。

移動(dòng)式手眼系統(tǒng)的攝像機(jī)通常是安裝在機(jī)械臂的本體上。當(dāng)機(jī)器人產(chǎn)生位移的時(shí)候，攝像頭也會(huì)隨之產(chǎn)生位移。在執(zhí)行單元連接法蘭盤上，可以按照該系統(tǒng)，通過該系統(tǒng)，能夠得知目標(biāo)工件信息?；诖?，可以對(duì)控制機(jī)械臂采取一些智能操作。當(dāng)前，在工業(yè)領(lǐng)域中，該系統(tǒng)使用較為廣泛。經(jīng)實(shí)踐表明，移動(dòng)式手眼系統(tǒng)比固定手眼系統(tǒng)的攝像頭移動(dòng)靈活性更強(qiáng)，而且能夠使獲取的目標(biāo)工件信息更加精準(zhǔn)。

2 視覺引導(dǎo)系統(tǒng)的相機(jī)標(biāo)定方法

2.1 視覺引導(dǎo)方式

視覺引導(dǎo)系統(tǒng)起到了機(jī)器人眼睛的功能，它通過使用工業(yè)相機(jī)拍照，來對(duì)目標(biāo)工件的位置信息進(jìn)行獲取，識(shí)別工件的小孔或者角點(diǎn)等特征，從而對(duì)其進(jìn)行匹配。然后，與位置信息模型結(jié)合起來，從而達(dá)到對(duì)工件位置定位的目的。最終，可以使工業(yè)機(jī)器人能夠?qū)ぜM(jìn)行智能抓取。在該系統(tǒng)中，有兩個(gè)重要組成部分，一個(gè)是機(jī)械抓手，另外一個(gè)是工業(yè)相機(jī)。一般情況下，使用 Eye-in-Hand（眼在手上）如圖1所示， Eye-to-Hand（眼在手外）如圖2所示，這，其中，前者相機(jī)隨機(jī)器人的移動(dòng)一起運(yùn)動(dòng)，而后者在機(jī)器人運(yùn)動(dòng)的情況下，相機(jī)不會(huì)運(yùn)動(dòng)。通過實(shí)踐研究發(fā)現(xiàn)，Eye-in-Hand（眼在手上）和 Eye-to-Hand（眼在手外）這兩種視覺引導(dǎo)方式所適用的場(chǎng)景不同，而且有各自的優(yōu)勢(shì)。一般情況下，前者的優(yōu)勢(shì)是引導(dǎo)模式比較靈活，劣勢(shì)是視野范圍不大，在對(duì)工件進(jìn)行定位的時(shí)候，往往需要在多次進(jìn)行位置計(jì)算之后，才可以將移動(dòng)誤差盡可能減小。因此，其系統(tǒng)復(fù)雜程度更高，而且響應(yīng)速度比較慢。一般情況下，這種系統(tǒng)比較適合小視野精確定位的情形。后者的優(yōu)勢(shì)是拍照位置是固定的，視野范圍比較大，所以系統(tǒng)執(zhí)行效率更高，但是往往計(jì)算結(jié)果精確度不高，不適合大視野粗定位情形。

圖1 Eye-in-Hand 引導(dǎo)模式

圖2 Eye-to-Hand 引導(dǎo)模式

2.2 相機(jī)模型的建立與坐標(biāo)轉(zhuǎn)換

在相機(jī)成像模型中，使用數(shù)學(xué)公式對(duì)成像過程進(jìn)行推導(dǎo)，通過對(duì)目標(biāo)物體的空間位置進(jìn)行拍攝，從而對(duì)實(shí)際空間位置與圖像成像點(diǎn)之間的幾何變換關(guān)系進(jìn)行確定。具體而言，該模型的構(gòu)建需要分四個(gè)步驟進(jìn)行。第一步剛體變換，第二步透視投影，第三步畸變校正，第四步數(shù)字化圖像。針孔模型是相機(jī)模型中最常見的，它的原理是小孔成像原理，如圖3所示。

圖3 針孔模型小孔成像原理圖

當(dāng)前，有不少視覺領(lǐng)域中，是借助工業(yè)相機(jī)來對(duì)圖像進(jìn)行采集，然后借助數(shù)字傳感信號(hào)進(jìn)行數(shù)據(jù)傳輸。設(shè)P點(diǎn)的坐標(biāo)為(x, y, z)，并且該點(diǎn)的像素坐標(biāo)為(u, v)，那么該坐標(biāo)系下的橫坐標(biāo)與縱坐標(biāo)代表該像素的寬度dx與高度dy。

本文設(shè)兩點(diǎn)是重合的。設(shè)nP的坐標(biāo)為（nx, yn,zn），由相似三角形的關(guān)系可以得到像素坐標(biāo)的推導(dǎo)公式為：

然后，可以進(jìn)行矩陣變換，可以得到公式：

當(dāng)光線經(jīng)過工業(yè)相機(jī)的鏡頭之后，可以在感光陣列上進(jìn)行成像，然后將光學(xué)信號(hào)進(jìn)行轉(zhuǎn)換為電信號(hào)，由此可以得到完整的圖像信息。但是，需要注意的是，相機(jī)坐標(biāo)系與圖像坐標(biāo)系是不同的，所以有必要做好坐標(biāo)系轉(zhuǎn)換。各個(gè)坐標(biāo)系之間的轉(zhuǎn)換如圖4所示。

圖4 各個(gè)坐標(biāo)系之間的轉(zhuǎn)換

相機(jī)所獲取的圖像都是二維平面圖像，可以通過二維坐標(biāo)系進(jìn)行轉(zhuǎn)換，如圖5所示。

圖5 二維坐標(biāo)系轉(zhuǎn)換

針對(duì)坐標(biāo)轉(zhuǎn)換，可以構(gòu)建坐標(biāo)模型，推出轉(zhuǎn)換關(guān)系表達(dá)式：

將上述關(guān)系表達(dá)式進(jìn)一步轉(zhuǎn)換為矩陣，可得到：

然后，轉(zhuǎn)化為齊次形式，可得到：

2.3 相機(jī)標(biāo)定

對(duì)于相機(jī)標(biāo)定，是針對(duì)機(jī)械手和相機(jī)進(jìn)行手眼標(biāo)定。也就是說，當(dāng)工業(yè)機(jī)器人的需要用機(jī)械臂對(duì)物品進(jìn)行抓取的時(shí)候，工業(yè)機(jī)器人的控制系統(tǒng)需要知道機(jī)械臂與相機(jī)之間的空間坐標(biāo)關(guān)系。對(duì)于工業(yè)機(jī)器人而言，眼睛即工業(yè)相機(jī)，手即工業(yè)機(jī)器人的機(jī)械抓手。對(duì)于實(shí)際的控制過程，在相機(jī)對(duì)目標(biāo)物的圖像像素位置獲取之后，可以通過坐標(biāo)矩陣對(duì)該坐標(biāo)轉(zhuǎn)換為空間坐標(biāo)，然后將該坐標(biāo)傳遞給機(jī)器人控制器，基于此，對(duì)電機(jī)的運(yùn)行方式進(jìn)行計(jì)算，最終達(dá)到對(duì)機(jī)器人位置的控制。在標(biāo)定方法選擇方面，因?yàn)楸疚牟捎玫墓I(yè)相機(jī)自身畸變較小而且需要工業(yè)相機(jī)與機(jī)器人之間進(jìn)行配合，建立相機(jī)坐標(biāo)與機(jī)械手坐標(biāo)的關(guān)系?；谏鲜鲈?，筆者選擇了機(jī)械手與相機(jī)之間的九點(diǎn)坐標(biāo)標(biāo)定法。九點(diǎn)坐標(biāo)標(biāo)定法的原理是工業(yè)機(jī)器人的機(jī)械臂末端有九個(gè)不同方向，然后通過這九個(gè)點(diǎn)來建立坐標(biāo)，通過相機(jī)拍攝識(shí)別這些坐標(biāo)，然后通過相機(jī)模型坐標(biāo)進(jìn)行轉(zhuǎn)換，接著借助矩陣變換得到最終的坐標(biāo)。該方法的詳細(xì)工作流程如圖6所示。

圖6 九點(diǎn)坐標(biāo)標(biāo)定法流程

假設(shè)工業(yè)機(jī)器人的坐標(biāo)系為(x, y, z)，假定旋轉(zhuǎn)矩陣為R，平移向量為M，由相機(jī)坐標(biāo)系(x’, y’ )，這兩者之間的關(guān)系表示為：

進(jìn)一步轉(zhuǎn)換得到標(biāo)定矩陣：

3 工業(yè)機(jī)器人智能抓取技術(shù)

工業(yè)機(jī)器人產(chǎn)品控制器能夠達(dá)到運(yùn)動(dòng)控制功能控制的目的。比如，關(guān)節(jié)插補(bǔ)運(yùn)動(dòng)、直線插補(bǔ)運(yùn)動(dòng)、圓弧插補(bǔ)運(yùn)動(dòng)等運(yùn)動(dòng)功能的控制已經(jīng)能夠?qū)崿F(xiàn)。工業(yè)機(jī)器人的智能抓取需要考慮三個(gè)方面的內(nèi)容：識(shí)別出所要抓取的目標(biāo)、確定目標(biāo)與機(jī)器人手爪之間的位置和姿態(tài)、針對(duì)選定的目標(biāo)就夾持策略進(jìn)行規(guī)劃。

3.1 目標(biāo)識(shí)別和目標(biāo)位姿求取

針對(duì)目標(biāo)識(shí)別和目標(biāo)位姿獲取，可使用的視覺測(cè)量技術(shù)有多種。主要的思路是使用深度信息恢復(fù)，三維重構(gòu)等技術(shù)，通過這些技術(shù)，可以測(cè)量目標(biāo)的位置，然后通過對(duì)結(jié)果進(jìn)行三維數(shù)據(jù)模型構(gòu)建。該視覺系統(tǒng)又名為立體視覺系統(tǒng)，借助該系統(tǒng)，然后經(jīng)過三維重構(gòu)，最終能夠達(dá)到對(duì)目標(biāo)的幾何尺寸和空間位置進(jìn)行描述的目的。在該數(shù)據(jù)模型構(gòu)建之后，能夠使用工業(yè)機(jī)器人進(jìn)行抓取規(guī)劃。然而，在實(shí)踐中發(fā)現(xiàn)，立體視覺所需要處理的數(shù)據(jù)非常大，而且三維重構(gòu)算法極為復(fù)雜，其中會(huì)涉及大量的計(jì)算。所以，目標(biāo)深度信息的完整恢復(fù)難度較大，一般要額外提供目標(biāo)的三維數(shù)據(jù)模型。目標(biāo)識(shí)別一般包括這四個(gè)方面：模型庫和特征檢測(cè)以及假設(shè)生成和假設(shè)檢驗(yàn)。

對(duì)于識(shí)別的過程，會(huì)使用到多種匹配技術(shù)，這樣才能夠在真實(shí)圖像中找到目標(biāo)物。當(dāng)前，使用較多的相關(guān)技術(shù)有模板匹配、位姿聚類和解釋樹等。求取目標(biāo)位姿的主要方法包括：基于立體視覺的位姿測(cè)量，基于矩形的位姿測(cè)量，基于PNP問題的位姿測(cè)量和基于消失點(diǎn)的位姿測(cè)型。

3.2 抓取規(guī)劃

通過獲取三維數(shù)據(jù)模型以及其位姿，基于此，才能進(jìn)一步進(jìn)行抓取規(guī)劃。一般而言，工業(yè)機(jī)器人的抓取規(guī)劃與仿人手這樣的智能手爪比較而言，前者更為簡(jiǎn)單。工業(yè)機(jī)器人抓手的自由度較少，所以其夾持方式十分有限。以兩指夾鉗式手爪抓取一個(gè)立方體為例，機(jī)器人手爪坐標(biāo)系原點(diǎn)OT建立在兩指連線的中點(diǎn)上，其Z軸設(shè)在手指接近物體的方向，Y軸設(shè)在兩手指連線的方向上，X軸有右手法則確定，手爪坐標(biāo)系的各個(gè)軸分別記為XT，YT，ZT。對(duì)機(jī)器人手爪抓取路徑的規(guī)劃，實(shí)質(zhì)，上就是這樣一系列過程：在坐標(biāo)系{OT}，{Ot}之間選取適當(dāng)?shù)穆窂娇刂泣c(diǎn)，并建立其相應(yīng)的坐標(biāo)系，如：{OT1}{OT2} …… {OTn} 然后依次計(jì)算相鄰坐標(biāo)系之間的齊次變換矩陣：……[3]。其中，變換矩陣TT1T用于將機(jī)器人手爪從坐標(biāo)系{OT}引導(dǎo)到坐標(biāo)系{OT1} ，將機(jī)器人手抓引導(dǎo)至坐標(biāo)系 {OT2} ，依此類推，直到將手爪引導(dǎo)到夾持位置，即坐標(biāo)系{Ot}。

4 小結(jié)

對(duì)于工業(yè)機(jī)器人應(yīng)用領(lǐng)域的一個(gè)經(jīng)典問題——機(jī)器人抓取操作，本文從計(jì)算機(jī)視覺技術(shù)的角度進(jìn)行了探討，提出了一種基于計(jì)算機(jī)視覺引導(dǎo)技術(shù)的工業(yè)機(jī)器人智能抓取的方法。希望通過計(jì)算機(jī)視覺這一新興技術(shù)來解決工業(yè)機(jī)器人應(yīng)用領(lǐng)域的傳統(tǒng)問題。隨著科學(xué)技術(shù)，尤其是計(jì)算機(jī)視覺的不斷發(fā)展，相信在不久的將來，計(jì)算機(jī)視覺引導(dǎo)技術(shù)必將廣泛地應(yīng)用到工業(yè)機(jī)器人領(lǐng)域當(dāng)中，使其煥發(fā)出新的光彩。