機(jī)械手的雙目視覺(jué)定位抓取研究

摘要：隨著工業(yè)機(jī)器人應(yīng)用的日益擴(kuò)大，要重點(diǎn)關(guān)注和探討機(jī)器人視覺(jué)系統(tǒng)及其應(yīng)用技術(shù)，進(jìn)行機(jī)械手的手眼配置結(jié)構(gòu)設(shè)計(jì)，通過(guò)雙目手眼機(jī)械手進(jìn)行目標(biāo)工件的定位抓取設(shè)計(jì)，體現(xiàn)其定位速度快、精準(zhǔn)度高、柔性化和環(huán)境適應(yīng)性特點(diǎn)，較好地適應(yīng)工業(yè)智能化的視覺(jué)定位應(yīng)用需求。

關(guān)鍵詞：機(jī)械手;雙目;視覺(jué)定位;抓取

一、引言

隨著工業(yè)智能化的發(fā)展，傳統(tǒng)機(jī)器人無(wú)法滿足現(xiàn)代工業(yè)智能化的高標(biāo)準(zhǔn)，要借助于雙目圖像處理與特征提取技術(shù)、機(jī)械手手眼標(biāo)定技術(shù)、立體匹配技術(shù)和機(jī)械手控制技術(shù)，進(jìn)行雙目手眼機(jī)械手的雙目視覺(jué)定位抓取設(shè)計(jì)和應(yīng)用。

二、基于工業(yè)機(jī)械手的雙目視覺(jué)系統(tǒng)概述

雙目立體視覺(jué)是基于圖像視差原理，由兩個(gè)攝像機(jī)從兩個(gè)不同視點(diǎn)和角度獲取兩幅數(shù)字圖像，獲取三維場(chǎng)景中景物的三維幾何信息和三維空間立體圖像，重建周?chē)拔锏娜S立體形態(tài)。工業(yè)機(jī)械手的雙目視覺(jué)系統(tǒng)可以通過(guò)成像設(shè)備獲取機(jī)器人作業(yè)空間中物體的三維位置或姿態(tài)信息，分析、理解工業(yè)機(jī)械手的信息，使機(jī)械手自動(dòng)執(zhí)行特定的任務(wù)，成為工業(yè)機(jī)械手的“眼睛”。其內(nèi)部構(gòu)成包括有雙目攝像機(jī)圖像采集模塊、攝像機(jī)和機(jī)械手標(biāo)定模塊、圖像處理模塊、立體校正和立體匹配模塊、三維信息提取模塊和工業(yè)機(jī)械手控制模塊。

工業(yè)機(jī)械手主要包括有機(jī)械部分、傳感部分和控制部分，以控制部分的控制器設(shè)計(jì)為核心，有不同的架構(gòu)形式，如平面關(guān)節(jié)型、鏈?zhǔn)阶鴺?biāo)型、圓柱坐標(biāo)型、球坐標(biāo)型、直角坐標(biāo)型等，大多采用線性和旋轉(zhuǎn)型關(guān)節(jié)，并由伺服電機(jī)組成各個(gè)關(guān)節(jié)。文章重點(diǎn)研究六自由度鏈?zhǔn)疥P(guān)節(jié)型MOTOMAN-UP6機(jī)械手及雙目視覺(jué)控制系統(tǒng)。

三、機(jī)械手的雙目視覺(jué)定位抓取系統(tǒng)設(shè)計(jì)和應(yīng)用分析

（一）機(jī)械手雙目視覺(jué)建模方法

為了更好地實(shí)現(xiàn)立體匹配，要進(jìn)行機(jī)械手的雙目視覺(jué)系統(tǒng)建模和算法應(yīng)用，可以根據(jù)工業(yè)機(jī)械手的實(shí)際應(yīng)用特征采用D-H建模方法，確定機(jī)械手的位姿，即機(jī)械手的空間位置和姿態(tài)，需要設(shè)定三個(gè)位移坐標(biāo)和三個(gè)旋轉(zhuǎn)坐標(biāo)。通過(guò)機(jī)械手末端上固連的坐標(biāo)系來(lái)描述機(jī)械手末端執(zhí)行器在空間的位姿，對(duì)此可以采用齊次坐標(biāo)變換方法，將機(jī)械手部位位姿或空間物體位姿轉(zhuǎn)換為基坐標(biāo)系，并基于機(jī)械手位姿和齊次變換的前提進(jìn)行速度分析，獲悉機(jī)械手工具末端速度與機(jī)械手各個(gè)關(guān)節(jié)變化速度之間的微分映射關(guān)系，通過(guò)機(jī)械手雅可比矩陣加以描述和表達(dá)。

（二）雙目立體匹配

要基于成像點(diǎn)的視覺(jué)差為前提，對(duì)雙目攝像機(jī)采集到的三維空間中物點(diǎn)的特征在兩個(gè)成像平面進(jìn)行立體匹配，也即在不同的兩個(gè)成像平面上找到同一特征點(diǎn)的成像坐標(biāo)，在確定立體匹配關(guān)系之后獲取相應(yīng)匹配區(qū)域的視差圖像，得到三維空間所需物點(diǎn)的三維坐標(biāo)，實(shí)現(xiàn)三維場(chǎng)景的目標(biāo)視覺(jué)定位。

文章采用基于特征點(diǎn)的稀疏匹配和基于極線約束的圖像區(qū)域稠密匹配的方法，進(jìn)行雙目立體匹配和定位抓取實(shí)驗(yàn)。具體內(nèi)容為：一是基于特征點(diǎn)的稀疏匹配方法。主要是利用特征拐點(diǎn)、圓心、邊緣角點(diǎn)、地標(biāo)點(diǎn)等稀疏的特征信息為匹配基元，基于強(qiáng)特征點(diǎn)的信息進(jìn)行對(duì)應(yīng)匹配，體現(xiàn)出較大的不連續(xù)性和分散稀疏特征，難以進(jìn)行三維物體的重建和整幅圖像的深度信息恢復(fù)。具體實(shí)施步驟為：對(duì)雙目圖像進(jìn)行預(yù)處理—分割出左右圖像所需的特征點(diǎn)區(qū)域—提取特征點(diǎn)，如：圓心、邊緣角點(diǎn)、拐點(diǎn)、地標(biāo)點(diǎn)等—進(jìn)行特征點(diǎn)合集的立體匹配—計(jì)算匹配點(diǎn)對(duì)的視差—獲取匹配點(diǎn)對(duì)應(yīng)三維物點(diǎn)的深度信息。二是基于圖像區(qū)域的稠密匹配方法?；卩徲虻男再|(zhì)在圖像中選取某個(gè)像素一定鄰域大小的子窗口，找尋與子窗口圖像相類(lèi)似的區(qū)域，可以設(shè)置相應(yīng)的閾值，提取并保留高于閾值的特征點(diǎn)。三是基于特征點(diǎn)的稀疏匹配和基于極線約束的圖像區(qū)域稠密匹配結(jié)合方法。先利用具有強(qiáng)特征點(diǎn)的標(biāo)準(zhǔn)圖像進(jìn)行特征點(diǎn)的稀疏匹配，計(jì)算出基礎(chǔ)矩陣，再對(duì)其進(jìn)行極線校正，最后利用基于圖像區(qū)域的稠密匹配方法進(jìn)行匹配。四是雙目圖像極線校正?？梢圆捎没诰€性的算法進(jìn)行雙目立體視覺(jué)的極線計(jì)算和校正，先利用稀疏匹配方法計(jì)算圖像的基礎(chǔ)矩陣，再將其用于待校正的雙目圖像對(duì)，使雙目圖像對(duì)極限和雙目成像平臺(tái)的掃描線相疊合，再以成像點(diǎn)與極線距離最小化為約束條件，進(jìn)行圖像射影畸變的校正和優(yōu)化。

（三）機(jī)械手的雙目視覺(jué)定位抓取系統(tǒng)

文章選取由六個(gè)伺服電機(jī)組成的六自由度串聯(lián)型機(jī)械手，包括雙目攝像機(jī)標(biāo)定和機(jī)械手手眼標(biāo)定參數(shù)初始化模塊、雙目圖像采集與處理模塊、目標(biāo)物體相對(duì)機(jī)械手的坐標(biāo)計(jì)算模塊、機(jī)械手定位控制模塊，形成一種開(kāi)環(huán)的鏈?zhǔn)浇Y(jié)構(gòu)，能夠到達(dá)機(jī)械手所在空間范圍內(nèi)的任意一點(diǎn)。同時(shí)，還要設(shè)置一種輔助性的機(jī)械臂夾爪，在對(duì)機(jī)械臂工具坐標(biāo)系進(jìn)行標(biāo)定的前提下，設(shè)計(jì)機(jī)械臂夾爪，將其放置于整個(gè)支架和法蘭盤(pán)連接部分的中心位置，利用四點(diǎn)法計(jì)算求取TCP，在機(jī)械手默認(rèn)的TCP基礎(chǔ)上，在z方向上增加20厘米，以此作為夾抓的TCP坐標(biāo)。

四、小結(jié)

總之，考慮到基于雙目視覺(jué)機(jī)械手的復(fù)雜性，要重點(diǎn)研究機(jī)械手的雙目視覺(jué)集成與設(shè)計(jì)，分析機(jī)械手雙目視覺(jué)極線校正和立體匹配的方法，完成機(jī)械手雙目視覺(jué)控制系統(tǒng)的設(shè)計(jì)和應(yīng)用。

參考文獻(xiàn)：

[1]袁仁輝.基于機(jī)械手的雙目視覺(jué)定位抓取研究[D].秦皇島：燕山大學(xué)，2016.

[2]殷莉甜.水下雙目視覺(jué)定位系統(tǒng)開(kāi)發(fā)與應(yīng)用研究[D].廣州：華南理工大學(xué)，2016.

作者簡(jiǎn)介： 菅振邦，菲尼克斯亞太電氣（南京）有限公司。