基于RGB-D圖像的機械臂關(guān)節(jié)角度檢測的研究

劉海豐,陳 鵬

(1.武漢工程大學(xué) 智能機器人湖北省重點實驗室, 湖北 武漢430205; 2.武漢工程大學(xué) 計算機科學(xué)與工程學(xué)院, 湖北武漢430205)

?

基于RGB-D圖像的機械臂關(guān)節(jié)角度檢測的研究

劉海豐1,2,陳 鵬2

(1.武漢工程大學(xué) 智能機器人湖北省重點實驗室, 湖北 武漢430205; 2.武漢工程大學(xué) 計算機科學(xué)與工程學(xué)院, 湖北武漢430205)

針對機械臂各個關(guān)節(jié)的角度值，提出了一種利用RGB-D圖像的計算方法。首先通過Kinect獲取彩色圖像和深度圖像并做對齊處理；接著利用閾值分割的方法提取機械臂目標(biāo)，用細化算法提取出機械臂輪廓骨架；然后結(jié)合機械臂各剛體部件的位置關(guān)系對其關(guān)節(jié)點定位；最后利用向量的性質(zhì)計算機械臂關(guān)節(jié)角度。該方法能夠有效地計算出機械臂各關(guān)節(jié)角度，具有較高的準(zhǔn)確性和較強的魯棒性。

機械臂；深度圖像；細化算法；關(guān)節(jié)點定位；關(guān)節(jié)角度

隨著機器人技術(shù)的高速發(fā)展和社會工業(yè)化進程的加速，機器人逐漸參與到人類的活動中來，并日益成為人類的好幫手。機械臂也是一種重要的機器人技術(shù)，由于它能完成多種多樣的任務(wù)(如裝配、搬運、焊接等)，能代替人類在一些危險的、惡劣的工作環(huán)境中完成既定的任務(wù)，因此，被廣泛用于工業(yè)制造、空間探索、國防科技等領(lǐng)域[1]。

由于工業(yè)機器人系統(tǒng)是多輸入、多輸出、強非線性、強耦合的高度復(fù)雜系統(tǒng)[2]，在長時間高速運動的情況下，機器人的非線性動力學(xué)特性十分顯著，并且在實際工作中存在各種不確定性因素，嚴(yán)重影響著機器人的控制性能，甚至有可能出現(xiàn)故障，破壞物體和傷及工人，變?yōu)闄C器殺手[3]。如何保證工業(yè)機器人在運行過程中的穩(wěn)定性、可靠性、和安全性，已成為研究的熱點問題[4]。

本文通過Kinect對機械臂實時識別定位跟蹤定位關(guān)節(jié)點，再根據(jù)定位的關(guān)節(jié)點計算機械臂關(guān)節(jié)角度，以第三視角對機械臂進行關(guān)節(jié)角度檢測。對機械臂的故障檢測、精準(zhǔn)度提高和安全保障具有一定的研究價值。

1 基于RGB-D圖像的機械臂關(guān)節(jié)角度檢測算法

1.1 RGB-D圖像的采集與對齊

本文使用微軟公司產(chǎn)品Kinect設(shè)備對RGB-D圖像進行采集，Kinect設(shè)備包括一個彩色攝像頭，一個紅外發(fā)射攝像頭和一個紅外接收攝像頭，通過開發(fā)包Kinect SDK可以獲取彩色圖像數(shù)據(jù)和深度圖像數(shù)據(jù)[5]。彩色圖像[6]屬于多通道圖像，不同通道有著不同的物理意義，對某一通道信息進行圖像分析處理可以達到不同的目的。深度圖像與彩色圖像不同，深度圖像[7]的像素值與物體距離有關(guān)，不會受光線、陰影、環(huán)境變化等外界因素的干擾[8]，能夠很好的彌補彩色圖像的缺點，在圖像處理中彩色圖像與深度圖像可以互相補充，達到所需要的目的。本文使用Kinect SDK采集彩色圖像，分辨率為640×480，如圖(a)，采集的深度圖像分辨率為320×240，如圖(b)。由于彩色圖像與深度圖像的空間坐標(biāo)系不同，用Kinect SDK獲取的彩色圖像與深度圖像是不對齊的[9]，本文通過映射圖保存深度圖像與彩色圖像的坐標(biāo)對應(yīng)關(guān)系，如圖(c)，通過映射圖中的彩色圖與深度圖的映射坐標(biāo)關(guān)系，可以得到對齊后的彩色圖像，如圖(d)。

(a)彩色圖像，(b)深度圖像,(c)映射圖,(d)對齊圖

1.2 機械臂目標(biāo)提取

Kinect中深度值最大為4096 mm，本文采集的深度圖像的像素值可通過距離值歸一化計算：

f(x,y)=d(x,y)×255÷4096

如果機械臂周圍有其他物體，單純的通過深度圖像進行閾值分割[10]，就無法提取機械臂目標(biāo)；又由于機械臂附近的物體與機械臂深度值相同時，無法通過深度圖像閾值區(qū)別判斷，所以本文將彩色圖像中的顏色信息作為深度圖像的輔助信息，把機械臂從深度圖像中分離出來。首先利用深度圖像設(shè)定一個合理的閾值區(qū)間，當(dāng)前像素值在此閾值區(qū)間時，則為機械臂目標(biāo)區(qū)間。此時，通過深度圖像閾值分離的圖像有可能含有機械臂以外的物體，本文結(jié)合彩色圖像的顏色信息將機械臂以外的其他物體分離出來，為了忽略光照強度的影響，將彩色圖像轉(zhuǎn)換為YCbCr圖像，選取機械臂區(qū)域Cb，Cr通道的平均值，將其設(shè)為輔助閾值，然后將分割后的深度圖像遍歷，通過彩色圖與深度圖像的坐標(biāo)映射關(guān)系檢索深度圖像每個像素坐標(biāo)對應(yīng)彩色圖像的像素值，如果對應(yīng)彩色圖像的Cb，Cr通道值在閾值范圍內(nèi)，則是機械臂目標(biāo)，如果不在閾值范圍內(nèi)則是機械臂以外物體，將其分割掉，最后得到機械臂輪廓，如圖3所示。

圖2 算法流程圖

圖3 閾值分割后的機械臂輪廓

1.3 機械臂輪廓圖像預(yù)處理

本文閾值分割算法能夠得到機械臂輪廓，但由于機械臂自身線纜、商標(biāo)的遮擋機械臂輪廓會有些空洞，輪廓圖像不完整，需先經(jīng)過膨脹腐蝕[11]操作將空洞填充，然后經(jīng)過中值濾波[12]得到完整的平滑的輪廓圖像，如圖4所示。

圖4 預(yù)處理后的機械臂輪廓

1.4 機械臂輪廓圖像的細化

細化就是在保持原來形狀的基礎(chǔ)上,經(jīng)過一層層的剝離，去掉原圖的一些點，最終得到圖像的中心線。好的細化算法要求：

1)收斂性；

2)連通性；

3)保持原圖的基本形狀；

4)減少筆畫相交處的畸變；

5)細化結(jié)果是原圖像的中心線；

6)細化的快速性和迭代次數(shù)少。

本文采用Zhang快速并行細化算法[13]，能較好地滿足以上條件，得到的圖像見圖5，目標(biāo)圖像像素值為1，背景像素值為0。它能較好地保持機械臂的基本形狀，連通性較好。

圖5 機械臂輪廓的細化

1.5 機械臂關(guān)節(jié)點的定位

每種機械臂都會有它的產(chǎn)品說明書和產(chǎn)品技術(shù)規(guī)格書，本文實驗采用的是安川首鋼公司的長臂型機械臂MOTOMAN-MA2010，它的產(chǎn)品技術(shù)規(guī)格如圖6所示，機械臂各個關(guān)節(jié)的結(jié)構(gòu)尺寸都有標(biāo)注，各部分的關(guān)節(jié)比例關(guān)系為后面關(guān)節(jié)點定位提供有效的信息。

圖6 機械臂結(jié)構(gòu)尺寸圖

遍歷整幅機械臂骨架圖，細化后的機械臂骨架線機械臂骨架部分像素值為1，背景部分為0，機械臂骨架為單位像素寬，找出像素值為1的八鄰域只有一個像素值為1的所有像素點，根據(jù)機械臂關(guān)節(jié)位置關(guān)系，像素坐標(biāo)點縱坐標(biāo)y最大的像素點為機械臂底座關(guān)節(jié)點位置，像素點橫坐標(biāo)x最小的為機械臂末端執(zhí)行器的關(guān)節(jié)點位置。再從機械臂末端執(zhí)行器關(guān)節(jié)點的像素位置開始沿骨架線遍歷，直到遍歷到機械臂底座關(guān)節(jié)點位置截止，路徑的像素點總個數(shù)為機械臂骨架線長度，再通過機械臂產(chǎn)品規(guī)格圖，可以得到各個關(guān)節(jié)的比例，其他關(guān)節(jié)點按照計算的骨架線長度和各個關(guān)節(jié)的比例關(guān)系就可以定位出來，定位出的關(guān)節(jié)點如圖7所示。

圖7 機械臂關(guān)節(jié)點定位

2 機械臂關(guān)節(jié)角度的計算

機械臂由一系列關(guān)節(jié)連接起來的連桿組構(gòu)成，如圖8所示。給每一個連桿在關(guān)節(jié)處建立一個連桿坐標(biāo)系，該連桿坐標(biāo)系隨關(guān)節(jié)運動而運動。用A矩陣描述連桿坐標(biāo)系間相對平移和旋轉(zhuǎn)的齊次變換。A1表示第一連桿對基坐標(biāo)的位姿，A2表示第二連桿對第一連桿的位姿......第二連桿對基坐標(biāo)位姿為T2=A1A2，則機械臂末端相對于基座的位姿T6=A1A2A3A4A5A6，稱為機器人運動學(xué)方程。機器人逆運動學(xué)就是已知直角坐標(biāo)空間的位姿T6，求解各關(guān)節(jié)相鄰兩連桿的夾角和距離。首先根據(jù)機械臂末端關(guān)節(jié)坐標(biāo)設(shè)置An，

T6=A1A2A3A4A5A6

(1)

再分別用An(n=1，2，...，5)的逆左乘式(1)，有：

(2)

(3)

(4)

(5)

根據(jù)上述5個矩陣方程對應(yīng)元素相等，可得到若干個可解的代數(shù)方程，便可求出各關(guān)節(jié)相鄰兩桿的夾角和距離。

由于機械臂各關(guān)節(jié)變量相互耦合，逆運動方程的解也不是唯一的解，需根據(jù)機械臂的組合形態(tài)和各關(guān)節(jié)的運動范圍經(jīng)過多次反復(fù)計算，選擇一組合理的解。通過逆運動學(xué)求解機械臂各關(guān)節(jié)角度十分復(fù)雜，本文以Kinect相機建立空間坐標(biāo)系，如圖9所示，定位出的關(guān)節(jié)點由二維坐標(biāo)圖像轉(zhuǎn)換為三維坐標(biāo)的，再將機械臂關(guān)節(jié)角度的計算簡化為對空間向量夾角的計算，該方法簡單有效。

深度圖像到空間三維坐標(biāo)的轉(zhuǎn)換[14]可由如下表達式求得：

(7)

式中，(i，j)為圖像坐標(biāo)，(x，y)為空間坐標(biāo)，(δx，δy)為Kinect的鏡頭畸變，(cx，cy)為圖像中心點，(fx，fy)為比例參數(shù)，d是距離值。根據(jù)定位出的關(guān)節(jié)點像素的二維圖像坐標(biāo)和深度值，按公式(7)即可算出每個關(guān)節(jié)點的空間坐標(biāo)。

對于Kinect坐標(biāo)系中任意兩個不重合的坐標(biāo)點A(x1，y1，z1)，B(x2，y2，z2)，可轉(zhuǎn)化到傳統(tǒng)空間坐標(biāo)系中組成向量AB。轉(zhuǎn)化公式為：

(8)

根據(jù)以上性質(zhì)，機械臂關(guān)節(jié)角度的計算可以簡化為空間向量夾角的計算，如定位出的關(guān)節(jié)點A、B、C之間關(guān)節(jié)角度，可以直接通過計算空間向量BA和BC的夾角得出，公式如下：

(9)

(10)

(11)

圖8 機械臂連桿坐標(biāo)系

圖9 機械臂關(guān)節(jié)點空間向量表示

3 實驗結(jié)果

實驗平臺是Win7 x86 + VS2012 + Kinect for Windows SDK v1.6 + OpenCV3.0，圖像采集設(shè)備是Kinect，機械臂是安川首鋼公司的長臂型機械臂MOTOMAN-MA2010。實驗主要分為數(shù)據(jù)的采集，機械臂輪廓的提取，機械臂輪廓填充、平滑處理，機械臂輪廓的細化，機械臂關(guān)節(jié)點的定位以及關(guān)節(jié)角度的計算，關(guān)節(jié)角度的計算是按定位出的5個關(guān)節(jié)點依次按順序取3個關(guān)節(jié)點計算而來。

表1 機械臂關(guān)節(jié)角度

從實驗結(jié)果可以看出，本文以深度圖像為主、彩色圖像為輔提取機械臂輪廓圖像，通過膨脹、腐蝕、中值濾波預(yù)處理輪廓圖像，再對輪廓圖像細化算得到機械臂骨架，細化后的機械臂骨架為單位像素寬，該方法可以魯棒地實現(xiàn)機械臂關(guān)節(jié)點的定位和關(guān)節(jié)角度的計算。另外，本文所使用的方法只需一次手工設(shè)定閾值，能夠自動地定位機械臂關(guān)節(jié)點，并計算出關(guān)節(jié)角度。

4 結(jié)束語

本文提出了一種提取機械臂目標(biāo)輪廓的方法，首先結(jié)合深度圖像和彩色圖像，利用膨脹腐蝕方法填充機械臂輪廓中的空洞，用中值濾波對機械臂輪廓進行平滑處理后；用細化法對機械臂輪廓進行細化處理，得到的機械臂骨架為單位像素寬；其次，結(jié)合機械臂各關(guān)節(jié)的位置關(guān)系和各關(guān)節(jié)部件的比例關(guān)系，定位出機械臂關(guān)節(jié)點；最后，用空間向量法計算關(guān)節(jié)角度。該方法保證了機械臂關(guān)節(jié)點定位的準(zhǔn)確性，并為深度相機仿真機械臂檢測和機械臂奠定了基礎(chǔ)。由于該機械臂工作空間小，不會出現(xiàn)遮擋情況，本文未對遮擋情況進行處理。另外，由于Kinect對物體距離的測量本身存在一定誤差，圖像處理也有部分誤差，所以機械臂關(guān)節(jié)角度的計算存在一定的誤差，今后將進一步研究提高計算的準(zhǔn)確性。

[1] 王田苗,陶永.我國工業(yè)機器人技術(shù)現(xiàn)狀與產(chǎn)業(yè)化發(fā)展戰(zhàn)略[J].機械工程學(xué)報,2014,50(9):1-13.

[2] 劉海濤.工業(yè)機器人的高速高精度控制方法研究[D].廣州：華南理工大學(xué),2012.

[3] 蔡自興,郭璠.中國工業(yè)機器人發(fā)展的若干問題[J].機器人技術(shù)與應(yīng)用,2013,03:9-12.

[4] 劉磊.工業(yè)機器人遠程監(jiān)控診斷服務(wù)系統(tǒng)的設(shè)計開發(fā)[D].大連：大連理工大學(xué),2014.

[5] 周致富. 基于Kinect傳感器的三維點云模型重建研究[D].武漢：武漢科技大學(xué),2015.

[6] Deng J, Hu J, Wu J. A study of color space transformation method using nonuniform segmentation of color space source[J].Journal of Computers,2011,6(2):288-296.

[7] Yang L, Ren Y, Zhang W. 3D depth image analysis for indoor fall detection of elderly people[J].Digital Communications and Networks,2016，2(1)：24-34.

[8] 周穎.深度圖像的獲取及其處理[D].西安：西安電子科技大學(xué),2008.

[9] 趙旭. Kinect深度圖像修復(fù)技術(shù)研究[D].大連：大連理工大學(xué),2013.

[10] 周楊. 深度圖像分割算法的研究與仿真實現(xiàn)[D].哈爾濱：哈爾濱理工大學(xué),2008.

[11] 陸宗騏,朱煜. 數(shù)學(xué)形態(tài)學(xué)腐蝕膨脹運算的快速算法[C]//中國圖象圖形學(xué)學(xué)會.第十三屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集.中國圖象圖形學(xué)學(xué)會,2006.

[12] Wu J. Wavelet domain denoising method based on multistage median filtering[J].The Journal of China Universities of Posts and Telecommunications,2013,20(2)2:113-119.

[13] 吳選忠.Zhang快速并行細化算法的擴展[J].福建工程學(xué)院學(xué)報,2006,4(1)1:89-92.

[14] Wang S, Li C,Kong D, et al. Extracting hand articulations from monocular depth images using curvature scale space descriptors[J].Frontiers of Information Technology & Electronic Engineering,2016,17(1)1:41-54.

(責(zé)任編輯：熊文濤)

Research on the Detection of Manipulator Arm Joint Angle Based on RGB-D Image

Liu Haifeng1,2， Chen Peng2

(1.HubeiKeyLaboratoryofintelligentrobot,WuhanInstituteofTechnology,Wuhan,Hubei430205,China2.SchoolofComputerScienceandEngineering,WuhanInstituteofTechnology,Wuhan,Hubei430205,China)

For the angle value of each joint of manipulator arm, a calculation method is proposed, using RGB-D image. Firstly, the RGB color and depth image are obtained, using Kinect and alignedto segment the manipulator arm from the depth image by the threshold segmentation. Secondly, the manipulator arm outline frames are extracted according to the thinning algorithm. By combining the position relation of the rigid body parts of the manipulator arm, the joint points are located and the joint angle of the manipulator is calculated based on the properties of the vector. The method can locate joint point and calculate the joint angle of the manipulator with high accuracy and robustness.

manipulator arm;depth image; thinning algorithm; joint point calibrated; joint angle

2016-05-18

湖北省教育廳青年人才項目(Q20111504)；武漢工程大學(xué)科學(xué)研究基金項目(12116021)；武漢工程大學(xué)研究生教育創(chuàng)新基金項目(CX201274)

劉海豐(1989- )，男，湖北宜昌人，武漢工程大學(xué)智能機器人湖北省重點實驗室碩士研究生。

陳 鵬(1990- )，男，湖北宜昌人，武漢工程大學(xué)計算機科學(xué)與工程學(xué)院碩士研究生。

TP311

A

2095-4824(2016)06-0097-05