基于改進(jìn)幾何矩的移動(dòng)機(jī)器人目標(biāo)位姿識(shí)別

朱 穎, 黃宇鈞, 張亞婉, 唐艷鳳, 屈?？?/p>

(廣州華立學(xué)院，廣州 511325)

0 引言

視覺感知使搬運(yùn)機(jī)器人從傳統(tǒng)的不可移動(dòng)的工業(yè)機(jī)器人，逐漸發(fā)展為可實(shí)現(xiàn)走向自由移動(dòng)、智能分揀、往返搬運(yùn)的移動(dòng)機(jī)器人。利用RGB-D深度相機(jī)獲得場(chǎng)景的彩色圖和深度圖像，實(shí)現(xiàn)對(duì)場(chǎng)景的三維重建，獲取目標(biāo)位姿信息等被廣泛應(yīng)用于智能協(xié)作機(jī)器人[1-2]。精準(zhǔn)取物是搬運(yùn)作業(yè)機(jī)器人的基本功能之一[3]。目標(biāo)物料的識(shí)別與定位直接決定著機(jī)器人取物精度。

目標(biāo)識(shí)別與定位主要有基于圖像處理技術(shù)、基于機(jī)器學(xué)習(xí)的圖像分割技術(shù)與分類器、基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法等[4]。文獻(xiàn)[5]提出結(jié)合CIE-Lab顏色空間和深度信息對(duì)物體進(jìn)行分割識(shí)別；文獻(xiàn)[6]通過形態(tài)學(xué)與Canny邊緣檢測(cè)相結(jié)合的算法識(shí)別目標(biāo)物體，并獲取其中心坐標(biāo)，但是缺少目標(biāo)姿態(tài)的識(shí)別；文獻(xiàn)[7]提出基于連通域Blob分析與神經(jīng)網(wǎng)絡(luò)分類器相結(jié)合的方法對(duì)隨機(jī)擺放的多類型工件進(jìn)行分類識(shí)別和定位，該算法的實(shí)效性不太理想；文獻(xiàn)[8]通過SURF與Grabcut相結(jié)合算法識(shí)別目標(biāo)物體，利用模板匹配求取目標(biāo)物體形心的世界坐標(biāo)；文獻(xiàn)[9]利用改進(jìn)遺傳算法GA與最佳直方圖(KSW)熵融合的方法對(duì)目標(biāo)識(shí)別；文獻(xiàn)[10-11]對(duì)Faster RCNN的快速神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)對(duì)小目標(biāo)物體的識(shí)別與定位有較高精度并具有時(shí)效性。這些算法大部分缺少對(duì)目標(biāo)姿態(tài)的識(shí)別，不能滿足機(jī)器人對(duì)隨機(jī)擺放的目標(biāo)進(jìn)行準(zhǔn)確作業(yè)的要求。

本文針對(duì)單目相機(jī)和雙目相機(jī)識(shí)別精度低造成目標(biāo)物料定位精度低等問題采用RGB-D相機(jī)進(jìn)行圖像的采集與深度信息獲取。目前基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法大多實(shí)時(shí)性和精確性不夠[4]，針對(duì)搬運(yùn)機(jī)器人目標(biāo)檢測(cè)與定位的實(shí)時(shí)性問題，提出了基于HSV顏色空間的改進(jìn)Otsu分割算法對(duì)物料進(jìn)行識(shí)別；針對(duì)作業(yè)環(huán)境復(fù)雜，物料擺放多變等問題，提出了Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩來獲取目標(biāo)物料的準(zhǔn)確位姿。

1 目標(biāo)物料識(shí)別

目標(biāo)物料識(shí)別是物料抓取的第一步，主要包括物料信息采集與預(yù)處理、物料的識(shí)別。目標(biāo)識(shí)別步驟一般可分為：圖像采集、顏色空間選取、圖像預(yù)處理、圖像分割與識(shí)別等。本文物料目標(biāo)識(shí)別流程如圖1所示。

圖1 目標(biāo)物料識(shí)別步驟

本文采用RGB-D深度相機(jī)進(jìn)行圖像的采集，選取最接近人眼視覺的HSV顏色空間進(jìn)行目標(biāo)物料自動(dòng)閾值分割，對(duì)分割后的特征集進(jìn)行高斯濾波與形態(tài)學(xué)處理，獲取更精準(zhǔn)的特征進(jìn)行識(shí)別。

1.1 圖像的采集

本系統(tǒng)采用樂視RGB-D深度相機(jī)對(duì)圖像進(jìn)行采集與獲取視覺信息，RGB-D相機(jī)由RGB鏡頭與深度鏡頭構(gòu)成，能獲得場(chǎng)景的紋理圖像與深度圖像。RGB鏡頭采用常見小孔成像鏡頭，深度相機(jī)是一種主動(dòng)成像設(shè)備，通過紅外發(fā)射器發(fā)出預(yù)定義紅外模式，紅外接收器接收回波，根據(jù)三角測(cè)距原理計(jì)算出目標(biāo)點(diǎn)距離鏡頭的深度，RGB-D相機(jī)結(jié)構(gòu)如圖2所示。

圖2 樂視深度相機(jī)的結(jié)構(gòu)

結(jié)構(gòu)光測(cè)距對(duì)投射光源進(jìn)行了編碼和特征化，相機(jī)拍攝的圖像是被編碼光源投影到物體上并經(jīng)過了物體表面深度調(diào)制過的。結(jié)構(gòu)光采用三角視差測(cè)距，物體距離越遠(yuǎn)則精度越高。

1.2 HSV顏色空間

機(jī)器人環(huán)境變光強(qiáng)條件顯著影響拍攝圖像的RGB顏色空間像素值，從而影響物料識(shí)別算法的精確性和穩(wěn)定性，本文采用HSV(Hue，Saturation，Value)顏色空間物料進(jìn)行識(shí)別。HSV模型是根據(jù)顏色的直觀特性模型，也稱六角錐體模型，可通過調(diào)節(jié)H分量來確保物料顏色特征的識(shí)別精度，調(diào)節(jié)S分量使其適應(yīng)不同色調(diào)光照環(huán)境，調(diào)節(jié)V分量適應(yīng)不同光照強(qiáng)度，提升環(huán)境自適應(yīng)能力。

提出“H窄，S寬，V動(dòng)態(tài)”的新雙閾值選取方式，通過H(色相)分量閾值范圍調(diào)小的方式來確保物料顏色特征的識(shí)別精度，調(diào)節(jié)S(飽和度)分量的閾值范圍擴(kuò)大適應(yīng)不同色調(diào)光照環(huán)境，提高識(shí)別的精度、魯棒性以及算法能力對(duì)環(huán)境的適應(yīng)能力。通過V(亮度)變化的閾值范圍，適應(yīng)圖片中穩(wěn)定的光照，讓視覺在光照發(fā)生變化時(shí)也能進(jìn)行及時(shí)的調(diào)節(jié)，提升環(huán)境適應(yīng)能力。

1.3 目標(biāo)物料圖像分割

本文實(shí)驗(yàn)物料識(shí)別對(duì)色相的精度要求較高，故不進(jìn)行濾波處理直接在HSV顏色空間進(jìn)行圖像分割，為滿足機(jī)器人實(shí)時(shí)性要求采用閾值分割算法對(duì)物料進(jìn)行分割。

本文對(duì)色相H進(jìn)行圖像分割，通過對(duì)H進(jìn)行細(xì)調(diào)使H閾值范圍變小，可精確將特定顏色特征進(jìn)行分割。亮度V相對(duì)獨(dú)立，可通過后期動(dòng)態(tài)調(diào)整圖片亮度均值或者中值，使其適應(yīng)各種光照環(huán)境。本實(shí)驗(yàn)系統(tǒng)物料的材質(zhì)固定，在不同環(huán)境下其飽和度變化不大，不同色系的冷暖光照射將改變局部飽和度，可通過飽和度閾值適當(dāng)加大來增強(qiáng)魯棒性。本文采用Otsu算法即最大類間方差法進(jìn)行自動(dòng)閾值分割，最大類間方差閾值的求解過程不需要人為設(shè)定其他參數(shù)，由計(jì)算機(jī)自動(dòng)選取。并對(duì)分割出來的特征集，進(jìn)行面積、形狀等特征分析獲取目標(biāo)集。

1.4 組合濾波算法

Otsu算法對(duì)直方圖具有明顯雙峰的圖像效果理想，而物料的局部亮斑和陰影很容易產(chǎn)生噪聲并影響分割目標(biāo)的完整度，需對(duì)分割出的目標(biāo)進(jìn)行去噪與斷裂補(bǔ)全處理。本文采用改進(jìn)組合濾波算法對(duì)噪聲進(jìn)行濾波與補(bǔ)全處理。

首先采用高斯濾波算法對(duì)小噪聲點(diǎn)進(jìn)行濾波，并保持邊緣。高斯濾波器對(duì)噪聲處理效果由濾波窗口尺寸大小決定，窗口大則會(huì)導(dǎo)致圖像變得模糊丟失信息；當(dāng)窗口較小，則去噪效果不理想。選擇3×3的濾波窗口對(duì)物塊圖像進(jìn)行實(shí)驗(yàn)。在去除較小噪聲的同時(shí)，圖像邊緣輪廓也比較清晰。

為了對(duì)斷裂進(jìn)行補(bǔ)全、消除較大噪聲對(duì)圖像信息的干擾、同時(shí)保證圖像的完整性，本文采用對(duì)噪聲比較敏感的形態(tài)學(xué)低通濾波器OC-CO對(duì)分割后圖像進(jìn)行處理。數(shù)學(xué)形態(tài)學(xué)用腐蝕、膨脹、開運(yùn)算、閉運(yùn)算及其組合以及不同形狀和長度的結(jié)構(gòu)元素對(duì)信號(hào)進(jìn)行處理。

開閉和閉開運(yùn)算組合并取平均可構(gòu)成形態(tài)學(xué)低通濾波器OC-CO即：

(1)

其中:變量si為濾波器的輸入信號(hào)，變量Yo為濾波器的輸出信號(hào)，變量g為濾波器的結(jié)構(gòu)元素。

2 目標(biāo)定位與姿態(tài)

機(jī)械手準(zhǔn)確抓取除了需精準(zhǔn)識(shí)別出物料，還要對(duì)物料進(jìn)行定位和姿態(tài)識(shí)別，獲取物料的準(zhǔn)確位姿。根據(jù)待抓取物料是規(guī)則對(duì)稱的特點(diǎn)，為避免出現(xiàn)互補(bǔ)角度分辨不明的情況，本文提出改進(jìn)幾何矩算法獲取物料的中心坐標(biāo)與姿態(tài)。結(jié)合目標(biāo)最小外接矩的中心坐標(biāo)與深度相機(jī)獲取目標(biāo)準(zhǔn)確的深度信息。

改進(jìn)幾何矩算法通過計(jì)算幾何矩的質(zhì)心獲取物料中心像素坐標(biāo)和區(qū)域凸包質(zhì)心形成的矢量線角度計(jì)算物料旋轉(zhuǎn)角度。本文利用“旋轉(zhuǎn)卡殼模型”和“凸包效應(yīng)”對(duì)位置識(shí)別算法進(jìn)行改進(jìn)。本文提出Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩。

2.1 Graham算法

凸包是一個(gè)計(jì)算幾何學(xué)中的概念，也稱最小凸包，是指包含集合S中所有對(duì)象的最小凸集[12]。物料的凸包是由凸多邊形包圍物料輪廓而形成的又一輪廓[13]。在二維空間中一個(gè)點(diǎn)集S的凸包是指包含S的最小凸集合,集合X(x1、x2、x3……xn)的凸包S為：

(2)

常見的平面凸包求法有Graham掃描法[14]、Jarvis步進(jìn)法、中心法、水平法等[15]。計(jì)算二維點(diǎn)集凸包的經(jīng)典算法有增量法、卡殼模型，就是凸包的最小外接矩形，四條線確定一個(gè)多邊形的外接矩形模板，如圖3所示。

圖3 卡殼模型

Graham算法步驟[16]為：

1)找出參考點(diǎn)P0；

2)對(duì)其他點(diǎn)按極角進(jìn)行排序，邏輯上形成了一個(gè)簡單多邊形；

3)刪除簡單多邊形上的凹點(diǎn)。

其過程如圖4所示。

圖4 Graham算法步驟

2.2 改進(jìn)幾何矩算法

基于“凸包”法能夠節(jié)省更多的計(jì)算資源，由于有些多邊性端點(diǎn)的獲取困難，計(jì)算量大等缺點(diǎn)，如當(dāng)識(shí)別物體為圓弧形時(shí)，就難以輸出凸包點(diǎn)，將造成程序錯(cuò)誤導(dǎo)致無法運(yùn)算，本文對(duì)凸包算法進(jìn)行改進(jìn)，通過兩條相互垂直的旋轉(zhuǎn)線對(duì)目標(biāo)進(jìn)行掃描，獲取上下左右的最大值和最小值(minP，xmaxP，yminP，ymaxP)形成“卡殼”集合，并根據(jù)確定的坐標(biāo)與斜率確定直線，由兩條直線相交獲取矩形的4個(gè)頂點(diǎn)，從而算出矩形面積，求出最小面積即為物料的最小外接矩形，通過最小外接矩形計(jì)算出中心坐標(biāo)。為了簡化計(jì)算量提高速度，掃描旋轉(zhuǎn)時(shí)不區(qū)分長寬，旋轉(zhuǎn)角度豎直方向范圍為(90°，180°)、水平方向?yàn)?0°，90°)，在姿態(tài)識(shí)別時(shí)加上長寬比進(jìn)行約束。具體步驟為：

1)起始時(shí)豎直方向以角度θ0=90°、水平方向角度為θ0-90°的兩條直線對(duì)二值圖進(jìn)行掃描，獲取minP0，xmaxP0，yminP0，ymaxP0；

2)計(jì)算由minP0、xmaxP0、yminP0、ymaxP0四個(gè)坐標(biāo)和斜率確定的四條線圍成的矩形面積，并記錄坐標(biāo)、角度和面積；

3)將2)獲取的矩形框逆時(shí)針旋轉(zhuǎn)1°，重復(fù)1)和2)直到旋轉(zhuǎn)完90°；

4)識(shí)別并輸出最小面積，確定最小外接矩形；

5)根據(jù)最小外接矩形4個(gè)頂點(diǎn)，確定物料的中心；

6)計(jì)算外接矩豎直方向邊長Ly與水平方向邊長Lx之比，獲取物料姿態(tài)旋轉(zhuǎn)角度。Ly：Lx>1,則物料姿態(tài)旋轉(zhuǎn)角為θ；反之，則物料姿態(tài)旋轉(zhuǎn)角為θ-90°。

2.3 目標(biāo)深度測(cè)量

當(dāng)深度相機(jī)與RGB鏡頭相融合，消除視覺漂移解決深度圖像與彩色圖像不能重合的問題。物料對(duì)紅外的遮擋將在背景上形成陰影，深度圖像將不進(jìn)行物料的二次識(shí)別，直接通過外接矩進(jìn)行深度信息的獲取。

本文取相機(jī)到物料前表面中心的距離為物料的深度D，在抓取時(shí)，對(duì)機(jī)械臂的運(yùn)動(dòng)坐標(biāo)進(jìn)行定值補(bǔ)償，簡化運(yùn)算與識(shí)別。具體實(shí)現(xiàn)如圖5所示，首先獲取外接矩形框內(nèi)的深度信息，考慮到物料并非為規(guī)則的矩形其邊緣與矩形框存在空隙，該空隙對(duì)應(yīng)的深度信息不是物料的深度信息需剔除；本文在外接矩中心坐標(biāo)附近選取一個(gè)圓，以排除非物料像素的干擾，再將該圓內(nèi)的深度求均值獲得深度D。

圖5 深度信息的獲取

3 實(shí)驗(yàn)驗(yàn)證

本文在基于ROS的移動(dòng)搬運(yùn)機(jī)器人上搭載RGB-D相機(jī)，對(duì)搬運(yùn)物料進(jìn)行識(shí)別與位姿定位實(shí)驗(yàn)。通過與文獻(xiàn)[5]的物料識(shí)別算法對(duì)比來驗(yàn)證本文識(shí)別算法的精確性；而對(duì)于物料位姿定位，通過對(duì)比傳統(tǒng)幾何矩算法來驗(yàn)證該算法的精確性，并改變物料狀態(tài)和環(huán)境進(jìn)行反復(fù)實(shí)驗(yàn)，驗(yàn)證該算法的有效性。

3.1 物料識(shí)別實(shí)驗(yàn)

對(duì)比文獻(xiàn)[5]中基于CIE-Lab顏色空間的閾值分割算法，該算法通過雙閾值選擇器，選出特定閾值的色塊。該算法能夠快速計(jì)算出色塊的位置和大小，能對(duì)目標(biāo)物料進(jìn)行快速定位。當(dāng)存在與目標(biāo)物料同材質(zhì)塊狀干擾時(shí)，分別采用基于CIE-Lab閾值分割算法和基于HSV顏色空間自動(dòng)閾值分割算法進(jìn)行識(shí)別，其識(shí)別效果如圖6所示。

圖6 優(yōu)化算法對(duì)強(qiáng)干擾的排除

從圖6中可得原圖中存在眾多干擾，如陰影、目標(biāo)物料同顏色的小藍(lán)塊、反光等光照不均等。文獻(xiàn)[5]中算法精度比較低，需要事先取閾值，受環(huán)境影響較大，易造成誤識(shí)別或識(shí)別失敗，無法消除陰影藍(lán)斑效應(yīng)等影響，雖能分割出目標(biāo)物料，同時(shí)也分割出很多偽目標(biāo)，且對(duì)于反光部分目標(biāo)缺失。基于HSV顏色空間的最大類間方差法能有效去除陰影等影響，“H窄S寬V動(dòng)態(tài)”閾值選取能夠同時(shí)解決魯棒性與精確性的問題，但與目標(biāo)物料相同的小藍(lán)塊也被分割。本文算法進(jìn)一步進(jìn)行面積和形狀處理去除小藍(lán)塊。其效果如圖5所示。

當(dāng)光照發(fā)生變化時(shí)，如圖7(a)所示，物料部分被自身陰影遮蔽，環(huán)境亮度卻很強(qiáng)。識(shí)別出的物料易形成高反光區(qū)形成噪聲、遮蔽處產(chǎn)生斷裂甚至容易產(chǎn)生巨大的斷裂誤判為兩個(gè)或多個(gè)不同的物體，如圖7(b)所示。本文改進(jìn)算法識(shí)別效果如圖7(c)所示，改進(jìn)后算法通過改進(jìn)組合濾波算法對(duì)噪聲進(jìn)行濾波與補(bǔ)全處理有效消除噪聲點(diǎn)的影響，同時(shí)補(bǔ)全陰影斷裂。

圖7 局部陰影識(shí)別效果

3.2 位姿識(shí)別實(shí)驗(yàn)驗(yàn)證

對(duì)實(shí)驗(yàn)一識(shí)別到的物料進(jìn)行定位與姿態(tài)進(jìn)行識(shí)別，其效果對(duì)比如圖8所示。

圖8 物料姿態(tài)識(shí)別效果

由圖8可得，傳統(tǒng)幾何矩算法只能定位物料的中心坐標(biāo)，無法識(shí)別物料姿態(tài)；當(dāng)出現(xiàn)干擾時(shí)，其抗干擾能力弱，輸出的中心坐標(biāo)失真；當(dāng)無明顯干擾時(shí)，傳統(tǒng)算法得到的外接矩也不是最小矩，其中心坐標(biāo)也存在偏差。采用本文算法得到最小外接矩，對(duì)物料定位更精準(zhǔn)，并能識(shí)別其姿態(tài)。

對(duì)不同位姿的物料進(jìn)行識(shí)別，如圖9所示。

圖9 物料不同位姿識(shí)別效果

由圖9可以看出，采用本文算法可對(duì)不同位姿有效識(shí)別。該算法在不同環(huán)境下能準(zhǔn)確識(shí)別物料的大小、位置、傾斜角等，具有較高的準(zhǔn)確度和魯棒性。

4 結(jié)束語

本文采用RGB-D深度相機(jī)搭建移動(dòng)機(jī)器人的視覺系統(tǒng)，對(duì)搬運(yùn)物料進(jìn)行圖像采集與深度信息獲得。

結(jié)合HSV顏色空間的特點(diǎn)，采用改進(jìn)后的Otsu分割算法對(duì)目標(biāo)物料進(jìn)行分割，然后采用高斯濾波與形態(tài)學(xué)低通濾波器OC-CO的組合濾波器對(duì)分割的特征集進(jìn)行去噪與斷裂補(bǔ)全處理，最后對(duì)目標(biāo)物料進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)存在與目標(biāo)物料類似材質(zhì)干擾、光照發(fā)生變化、物料部分被自身陰影遮蔽、高反光區(qū)形成噪聲、遮蔽處產(chǎn)生斷裂等復(fù)雜環(huán)境均能快速準(zhǔn)確對(duì)目標(biāo)物料進(jìn)行識(shí)別。

提出了改進(jìn)幾何矩算法對(duì)物料的位置和姿態(tài)進(jìn)行識(shí)別，RGB-D深度相機(jī)結(jié)合幾何矩獲取深度信息。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)物料在不同環(huán)境下均能準(zhǔn)確識(shí)別出物料的大小、位置、傾斜角、深度信息等，具有較高的準(zhǔn)確度和魯棒性。