面向機(jī)器人抓取的雙目視覺(jué)單步多目標(biāo)檢測(cè)方法應(yīng)用研究*

李世裴, 李春琳， 韓家哺， 朱新龍

(上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院， 上海 201600)

0 引 言

機(jī)器人抓取技術(shù)是指機(jī)器人從復(fù)雜的實(shí)際環(huán)境中通過(guò)相機(jī)識(shí)別出目標(biāo)物體[1]，完成對(duì)目標(biāo)物的定位，進(jìn)而進(jìn)行抓取操作。目標(biāo)檢測(cè)作為最核心問(wèn)題之一，是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割技術(shù)[2]，尤其在復(fù)雜場(chǎng)景中進(jìn)行處理時(shí)，目標(biāo)檢測(cè)的準(zhǔn)確性和快速性顯得尤其重要。傳統(tǒng)視覺(jué)[3]利用圖像的幾何特征、顏色特征、局部特征等來(lái)進(jìn)行圖像的特征提取，這種方法無(wú)法檢測(cè)多種目標(biāo)物，也無(wú)法模擬真實(shí)的復(fù)雜工業(yè)環(huán)境，將深度學(xué)習(xí)與圖像相結(jié)合[4]，可以取得很好的效果，深度學(xué)習(xí)在圖像上具有很高的特征提取能力[5]，能快速有效地對(duì)深度圖像進(jìn)行特征提取，將特征進(jìn)行一系列的處理，最后輸出完成對(duì)目標(biāo)物的分類和定位[6]。Navneet Dalal等人使用描述方向梯度直方圖的HOG[7]將圖像邊緣信息和形狀信息由梯度信息描述，并使用線性SVM[8]作為分類器完成對(duì)目標(biāo)物的提取，這種方法可以完成對(duì)單個(gè)物體的識(shí)別，這種基于機(jī)器學(xué)習(xí)的目標(biāo)檢測(cè)方法為目標(biāo)檢測(cè)提供了一種新的思路，但是這種方法僅僅局限于一種物體，且在復(fù)雜的工業(yè)場(chǎng)景下，難以實(shí)現(xiàn)對(duì)目標(biāo)物的精準(zhǔn)識(shí)別。夏晶等[9]提出一套基于Mask R-CNN的目標(biāo)檢測(cè)方法提取三維場(chǎng)景中的可抓取區(qū)域，利用深度學(xué)習(xí)完成對(duì)目標(biāo)物的精準(zhǔn)識(shí)別具有重大意義，它標(biāo)志著機(jī)器人技術(shù)與深度學(xué)習(xí)的結(jié)合，這種利用深度學(xué)習(xí)對(duì)目標(biāo)進(jìn)行定位的機(jī)器人定位技術(shù)在深度檢測(cè)上具有較大的誤差，這些機(jī)器人抓取定位技術(shù)存在著定位精度不足，或者無(wú)法滿足對(duì)深度精確度的要求?；蛘咧荒芡瓿蓪?duì)一種物體的定位，當(dāng)目標(biāo)物種類變多或者工業(yè)場(chǎng)景發(fā)生改變，這些方法的定位便難以完成。牛津大學(xué)計(jì)算機(jī)視覺(jué)組提出構(gòu)建VGGNet-16等深度學(xué)習(xí)模型[10]應(yīng)用于SSD(Single Shot MultiBox Detector)深度學(xué)習(xí)模型中，能夠達(dá)到目標(biāo)檢測(cè)的精度和速度。將這個(gè)模型基于機(jī)器人抓取實(shí)際場(chǎng)景，與深度模型結(jié)合，完成對(duì)深度和像素位置的雙重精準(zhǔn)定位，通過(guò)深度模型對(duì)多種不同物體進(jìn)行精準(zhǔn)識(shí)別，完成對(duì)目標(biāo)物深度的精準(zhǔn)測(cè)量，二者在視覺(jué)系統(tǒng)中完成協(xié)作，相互通訊，通過(guò)完成對(duì)目標(biāo)物的精準(zhǔn)定位。這種方法的精確度高，誤差在毫米級(jí)別，并且可以適應(yīng)多種不同環(huán)境，具有很強(qiáng)的魯棒性。

依托搭建的協(xié)作機(jī)器人抓取視覺(jué)檢測(cè)系統(tǒng)，提出通過(guò)雙目相機(jī)采集目標(biāo)物的圖像，經(jīng)過(guò)數(shù)據(jù)擴(kuò)增，創(chuàng)建數(shù)據(jù)集，從而研究目標(biāo)檢測(cè)和機(jī)器人抓取技術(shù)。通過(guò)將采集的圖像輸送至單步多目標(biāo)檢測(cè)模型[11]中進(jìn)行訓(xùn)練，完成對(duì)目標(biāo)物的平面定位實(shí)驗(yàn)。通過(guò)雙目測(cè)距原理完成對(duì)目標(biāo)物的深度定位實(shí)驗(yàn)。由相機(jī)標(biāo)定[12]和手眼標(biāo)定[13]獲取目標(biāo)物的機(jī)器人基坐標(biāo)位置信息，在機(jī)器人操作平臺(tái)ROS[14]中建立機(jī)器人與上位機(jī)通訊之后，將獲取到的機(jī)器人基坐標(biāo)信息發(fā)送給ROS。

1 機(jī)器人抓取視覺(jué)檢測(cè)系統(tǒng)的搭建

如圖1所示，雙目相機(jī)固定安裝在工作空間正上方，工作空間中放置各種類的目標(biāo)物，三手指靈巧手安裝在協(xié)作機(jī)器人末端。雙目相機(jī)經(jīng)過(guò)相機(jī)標(biāo)定后，采集圖像輸送至單步多目標(biāo)檢測(cè)器，完成訓(xùn)練識(shí)別出目標(biāo)物類別和像素坐標(biāo)，同時(shí)雙目相機(jī)根據(jù)雙目測(cè)距原理建立模型，輸出得到目標(biāo)物的深度。像素坐標(biāo)和深度坐標(biāo)信息通過(guò)手眼標(biāo)定轉(zhuǎn)換到機(jī)器人基坐標(biāo)。在ROS中建立機(jī)器人與上位機(jī)的通訊，將機(jī)器人基坐標(biāo)信息發(fā)送給ROS。

圖1 機(jī)器人抓取視覺(jué)檢測(cè)系統(tǒng)實(shí)驗(yàn)平臺(tái)

2 視覺(jué)標(biāo)定原理及方法

機(jī)器人視覺(jué)系統(tǒng)由雙目相機(jī)、相機(jī)標(biāo)定系統(tǒng)和手眼標(biāo)定系統(tǒng)構(gòu)成，主要完成像素坐標(biāo)和目標(biāo)點(diǎn)的深度計(jì)算，并轉(zhuǎn)換為機(jī)器人基坐標(biāo)，經(jīng)過(guò)視覺(jué)系統(tǒng)轉(zhuǎn)換的坐標(biāo)點(diǎn)會(huì)提供給ROS。

2.1 雙目相機(jī)標(biāo)定原理

圖2 理想相機(jī)成像模型

P為空間中一點(diǎn)，f為相機(jī)焦距，b為兩個(gè)相機(jī)之間的間距，z為P點(diǎn)到雙目相機(jī)的深度。根據(jù)三角形相似定律：

由上解得：

由視差d=xl-xr可得

(1)

由式(1)推導(dǎo)可知，左右相機(jī)之間的間距b和焦距f是相機(jī)本身的參數(shù)，數(shù)值也是固定的，相機(jī)中的唯一變量是d，故雙目相機(jī)測(cè)距的核心問(wèn)題是計(jì)算左右相機(jī)的視差，即左相機(jī)的每個(gè)像素點(diǎn)(xl,yl)和右相機(jī)中對(duì)應(yīng)點(diǎn)(xr,yr)的對(duì)應(yīng)關(guān)系。

(2) 極線約束和圖像矯正技術(shù)。相機(jī)坐標(biāo)系與目標(biāo)物構(gòu)成的三維坐標(biāo)系中，目標(biāo)物P點(diǎn)與左右相機(jī)的中心點(diǎn)(c1,c2)形成三維空間中的一個(gè)平面Pc1c2，這個(gè)平面稱為極平面。極平面與左右圖像相交的兩條直線稱之為極線，對(duì)于在左圖像中的P點(diǎn)，尋找到在右圖像中的對(duì)應(yīng)點(diǎn)，便可求解出P點(diǎn)的深度，極線約束就是當(dāng)同一個(gè)空間點(diǎn)在兩幅圖像上分別成像時(shí)，已知左圖投影點(diǎn)p1，那么對(duì)應(yīng)右圖投影點(diǎn)p2一定在相對(duì)于p1的極線上，這樣可以極大的縮小匹配范圍。如圖3所示，可以直觀地看到，沿著極線搜索，最終可以找到與左圖像對(duì)應(yīng)的點(diǎn)p2。

圖3 極線約束

但是在有些場(chǎng)景下兩個(gè)相機(jī)獨(dú)立固定，和c2不會(huì)完全水平，即使是固定在同一個(gè)基板上也會(huì)因?yàn)檠b配的原因?qū)е耤1和c2不完全水平，圖像校正技術(shù)就是通過(guò)分別對(duì)兩張圖片求單應(yīng)矩陣得到的，這種技術(shù)把兩個(gè)不同方向上的圖像平面重新投影到一個(gè)平面且光軸相互平行，將非理想情況下的模型變成理想模型。

2.2 相機(jī)標(biāo)定

相機(jī)標(biāo)定是完成雙目測(cè)距的必要條件，使用張正友標(biāo)定法，打印一張棋盤格標(biāo)定板，雙目相機(jī)從至少3個(gè)方向采集標(biāo)定板的照片，就可以求出左右相機(jī)的內(nèi)外參數(shù)和雙目相機(jī)的徑向畸變K1,K2,K3和切向畸變P1,P2。基于opencv將采集的圖像裁剪為左右兩張圖像，調(diào)用matlab中的stereo Camera Calibrator函數(shù)，輸入棋盤格單位格大小以及裁剪完的圖像，便可求解出相機(jī)內(nèi)外參數(shù)及畸變參數(shù)。如表1所示，為雙目相機(jī)標(biāo)定的過(guò)程與結(jié)果。Rot代表相機(jī)2相對(duì)于相機(jī)1的旋轉(zhuǎn)矩陣，Trans代表相機(jī)2相對(duì)于相機(jī)1的偏移矩陣。

表1 雙目相機(jī)標(biāo)定結(jié)果

2.3 手眼標(biāo)定

圖4 手眼標(biāo)定模型

通過(guò)求解不同位置時(shí)相機(jī)外參和機(jī)器人工具坐標(biāo)系相對(duì)于機(jī)器人基坐標(biāo)系的關(guān)系來(lái)求出相機(jī)坐標(biāo)系相對(duì)于機(jī)器人基坐標(biāo)系的關(guān)系?；谶x取的手眼標(biāo)定類型為眼在手，手眼變換矩陣為：

(2)

(3)

(4)

可得：

AX=XB

(5)

手眼標(biāo)定的主要問(wèn)題就是求解如式(5),opencv提供5種方法求解AX=XB，選擇Tsai兩步法速度最快，通過(guò)C++定義一個(gè)手眼標(biāo)定函數(shù)calibrateHandeye()，輸入機(jī)器人末端相對(duì)于機(jī)器人基坐標(biāo)系的旋轉(zhuǎn)矩陣與平移向量，標(biāo)定板相對(duì)于雙目相機(jī)的齊次矩陣，計(jì)算出手眼矩陣。在深度坐標(biāo)上，基于雙目相機(jī)測(cè)距原理，建立一個(gè)雙目測(cè)距模型，通過(guò)輸入像素坐標(biāo)便可得對(duì)應(yīng)的深度。

3 單步多目標(biāo)檢測(cè)原理與方法

3.1 單步多目標(biāo)檢測(cè)原理

SSD(Single Shot MultiBox Detector)是一種單步多目標(biāo)檢測(cè)器，單步多目標(biāo)檢測(cè)器采用不同的尺度在不同的位置進(jìn)行密集采樣，用CNN得到的特征提取直接進(jìn)行分類和回歸。

在被SSD處理之前，圖像數(shù)據(jù)會(huì)被轉(zhuǎn)化為 300*300 的尺寸，SSD首先會(huì)經(jīng)過(guò)VGG-16卷積神經(jīng)網(wǎng)絡(luò)的前5個(gè)卷積組，每個(gè)卷積組都由卷積層和池化層構(gòu)成，SSD使用Astrous算法將第6層和第7層全連接層轉(zhuǎn)換為卷積層，接著再通過(guò)3個(gè)尺寸不同的卷積組和一個(gè)平均池化層檢測(cè)不同尺寸的物體。再每個(gè)卷積神經(jīng)網(wǎng)絡(luò)輸出對(duì)應(yīng)的特征圖后，卷積濾波器會(huì)產(chǎn)生不同的預(yù)測(cè)，得到大量的回歸框，SSD使用NMS(非極大值抑制)的方法來(lái)去除大量的重復(fù)框，當(dāng)閾值設(shè)定為0.01后，候選框便被消除掉，節(jié)約了大量計(jì)算，他將所有的計(jì)算封裝在單個(gè)網(wǎng)絡(luò)中，使得速度明顯加快。

3.2 單步多目標(biāo)檢測(cè)方法

在對(duì)機(jī)器人視覺(jué)系統(tǒng)搭建之后，使用相機(jī)采集了9種目標(biāo)物體在不同的位姿情況下的圖像。由于采集的圖像數(shù)量達(dá)不到理想的數(shù)量，通常會(huì)采用一些方法去擴(kuò)充這些圖像，進(jìn)而擴(kuò)大樣本集，防止過(guò)擬合的出現(xiàn)。接著需要對(duì)擴(kuò)充后的樣本集進(jìn)行標(biāo)注，此時(shí)樣本集中的有效信息將會(huì)被進(jìn)一步提取，經(jīng)過(guò)訓(xùn)練最終生成SSD目標(biāo)檢測(cè)模型，完成目標(biāo)檢測(cè)的任務(wù)。

3.2.1 樣本集的制作

深度學(xué)習(xí)中要在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，優(yōu)化相應(yīng)的參數(shù)最終得到一個(gè)合適的模型。如圖5所示，在實(shí)際實(shí)驗(yàn)中選取了9種工業(yè)中常見(jiàn)機(jī)械部件(軸承、螺釘?shù)?。

圖5 實(shí)驗(yàn)中所用的9種機(jī)械部件

3.2.2 樣本集的標(biāo)注

在訓(xùn)練SSD目標(biāo)檢測(cè)模型中需要對(duì)目標(biāo)物進(jìn)行標(biāo)注，讓計(jì)算機(jī)知道目標(biāo)物的類別和目標(biāo)物的像素坐標(biāo)位置。使用LabelImg標(biāo)注工具來(lái)對(duì)950張圖像進(jìn)行標(biāo)注，標(biāo)注的最終結(jié)果保存在“.xml”文件下，“.xml”下包含樣本集的所有信息。

完成標(biāo)注工作之后，要對(duì)數(shù)據(jù)集進(jìn)行劃分，將數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。使用python編寫(xiě)一個(gè)劃分的腳本，腳本按照設(shè)置的比例自動(dòng)拆分訓(xùn)練集、測(cè)試集和驗(yàn)證集最終生成以.txt結(jié)尾的文件。實(shí)驗(yàn)選取基于Tensorflow深度學(xué)習(xí)框架的Object Detection API訓(xùn)練目標(biāo)檢測(cè)模型，其中的create_pascal_tf_record.py程序?qū)?shù)據(jù)集最終轉(zhuǎn)換為TFRecord格式。

3.2.3 SSD模型的訓(xùn)練

SSD模型訓(xùn)練首先要進(jìn)行實(shí)驗(yàn)?zāi)Ｐ偷念A(yù)訓(xùn)練，選擇SSD-300 VGG-based作為預(yù)訓(xùn)練模型，編寫(xiě)模型訓(xùn)練配置文件，修改相應(yīng)的訓(xùn)練則值為NCHW，在NVIDIA 1080TI的GPU環(huán)境下運(yùn)行conda進(jìn)行模型的訓(xùn)練。設(shè)置初始學(xué)習(xí)率0.000 6，訓(xùn)練次數(shù)為45 000次。使用TensorFlow中的TensorBoard可以完成對(duì)訓(xùn)練過(guò)程可視化，查看模型訓(xùn)練情況，模型的損失值隨著訓(xùn)練次數(shù)的增加逐漸減小。最后利用Object Detection API中的python腳本將模型結(jié)構(gòu)以及參數(shù)相關(guān)的文件轉(zhuǎn)化為PB可執(zhí)行文件。

3.3 目標(biāo)檢測(cè)

在ROS平臺(tái)中完成SSD目標(biāo)檢測(cè)模型的搭建，則需要先創(chuàng)建detect_ros節(jié)點(diǎn)，這個(gè)節(jié)點(diǎn)集成了SSD目標(biāo)檢測(cè)的PB文件、Object Detection API以及數(shù)據(jù)集的TFRecord文件，對(duì)相機(jī)中的圖像數(shù)據(jù)進(jìn)行檢測(cè)，將置信度、回歸框、坐標(biāo)中心等信息發(fā)布對(duì)話，完成訂閱便能得到置信度、回歸框、坐標(biāo)中心。

4 實(shí)驗(yàn)及結(jié)論

4.1 目標(biāo)檢測(cè)實(shí)驗(yàn)

在目標(biāo)檢測(cè)實(shí)驗(yàn)中，取出9個(gè)目標(biāo)物中的4種不同物體進(jìn)行實(shí)驗(yàn)，用訓(xùn)練好的SSD模型進(jìn)行檢測(cè)，SSD模型會(huì)輸出每個(gè)物體的回歸框、編號(hào)、置信度。每個(gè)編號(hào)的回歸框也用不同顏色表示，如圖6所示。

圖6 目標(biāo)檢測(cè)結(jié)果

4.2 物體定位實(shí)驗(yàn)

SSD在輸出矩形框的同時(shí)，會(huì)輸出矩形框的四點(diǎn)像素坐標(biāo)，如圖7所示，根據(jù)坐標(biāo)位置可以確定目標(biāo)物的中心點(diǎn)，物體的中心點(diǎn)經(jīng)過(guò)雙目測(cè)距模型可得目標(biāo)物的深度，實(shí)驗(yàn)使用HBV-1780雙目相機(jī)，相機(jī)參數(shù)如下：焦距2.1 mm，F(xiàn)OV為100°，相機(jī)間距60 mm，分辨率2 560*720。實(shí)驗(yàn)選擇了4個(gè)位置，其像素坐標(biāo)分別為(540，270)、(550，300)、(690，260)、(700，330)，將9種不同的物體分別放置在這4個(gè)位置，通過(guò)目標(biāo)檢測(cè)系統(tǒng)得到的像素坐標(biāo)平均值(Xm,Ym)與真實(shí)像素坐標(biāo)(Xr,Yr)的偏移量來(lái)計(jì)算x方向上和y方向上的絕對(duì)誤差，結(jié)果如表2所示。通過(guò)雙目測(cè)距模型得到的深度Zm和真實(shí)的深度平均值Zr來(lái)計(jì)算深度方向上的絕對(duì)誤差，結(jié)果如表3所示。

圖7 雙目測(cè)距結(jié)果

表2 像素坐標(biāo)平均值與方差

表3 深度測(cè)量平均值

試驗(yàn)最終結(jié)果表明：整個(gè)抓取檢測(cè)系統(tǒng)能夠快速準(zhǔn)確地測(cè)量出多個(gè)物體在平臺(tái)的像素坐標(biāo)和深度值，且具有同時(shí)檢測(cè)多個(gè)目標(biāo)物的能力，像素坐標(biāo)位置誤差在3.5 mm以內(nèi)，深度誤差在1.2 mm之內(nèi)，整體定位誤差較小，可以滿足抓取操作的要求。

5 結(jié) 論

(1) 針對(duì)機(jī)器人抓取技術(shù)難以適應(yīng)真實(shí)工業(yè)環(huán)境的問(wèn)題，面向機(jī)器人抓取給出了一種雙目視覺(jué)單步多目標(biāo)檢測(cè)方法。

(2) 采用單步多目標(biāo)檢測(cè)器替代傳統(tǒng)視覺(jué)檢測(cè)器檢測(cè)多種物體，獲得類別、回歸框、置信度，對(duì)獲得的回歸框進(jìn)一步處理獲取目標(biāo)物的中心點(diǎn)。

(3) 通過(guò)目標(biāo)檢測(cè)實(shí)驗(yàn)表明，測(cè)試集表現(xiàn)良好，方法的目標(biāo)檢測(cè)誤差在3.5 mm以內(nèi)，深度誤差在1.2 mm之內(nèi)，具有很好的應(yīng)用推廣價(jià)值。下一步單步多目標(biāo)檢測(cè)算法可進(jìn)一步優(yōu)化，進(jìn)一步對(duì)像素坐標(biāo)的偏差進(jìn)行修正。