基于Kinect的機(jī)器人臂手系統(tǒng)的目標(biāo)抓取

丁美昆，徐昱琳，蔣財(cái)軍，冉鵬

（上海大學(xué)機(jī)電工程與自動化學(xué)院，上海 200072）

基于Kinect的機(jī)器人臂手系統(tǒng)的目標(biāo)抓取

丁美昆，徐昱琳，蔣財(cái)軍，冉鵬

（上海大學(xué)機(jī)電工程與自動化學(xué)院，上海 200072）

為了實(shí)現(xiàn)機(jī)器人臂手系統(tǒng)的目標(biāo)抓取,采用Kinect對目標(biāo)信息進(jìn)行實(shí)時(shí)檢測.首先,采用張正友棋盤標(biāo)定法完成對Kinect內(nèi)外參數(shù)的標(biāo)定.其次,利用深度信息進(jìn)行深度分割,濾除大部分干擾背景,再通過顏色與形狀特征實(shí)現(xiàn)目標(biāo)的識別與定位.將識別對象的3維坐標(biāo)通過以太網(wǎng)發(fā)送至機(jī)械臂控制臺,隨后機(jī)械臂移動至目標(biāo)位置.最后采用變積分PID算法控制靈巧手接觸力,保證響應(yīng)的快速性及精密性,實(shí)現(xiàn)靈巧手的精細(xì)抓取.通過設(shè)計(jì)一套完整的實(shí)驗(yàn)系統(tǒng)驗(yàn)證了該方法的有效性.

Kinect標(biāo)定；深度分割；變積分PID；靈巧手

隨著機(jī)器視覺與機(jī)器人技術(shù)的發(fā)展，服務(wù)機(jī)器人越來越智能化，如日本本田公司生產(chǎn)的仿人機(jī)器人ASIMO已能夠完成接待客人、準(zhǔn)備早餐等任務(wù)［1］.智能服務(wù)機(jī)器人的核心技術(shù)包括目標(biāo)抓取、定位、導(dǎo)航、人機(jī)交互、環(huán)境感知等.在家庭、辦公、醫(yī)護(hù)等環(huán)境中，智能服務(wù)機(jī)器人通常需要完成一些自主抓取任務(wù)，如傳遞物品、清理桌面等.這需要機(jī)器人能夠快速準(zhǔn)確地完成對環(huán)境中物體的定位與識別，以及實(shí)現(xiàn)對目標(biāo)物體的精細(xì)抓取.然而，環(huán)境的復(fù)雜性與物體的多樣性給機(jī)器人自主實(shí)現(xiàn)物體定位與識別帶來了很大的挑戰(zhàn)，使得非結(jié)構(gòu)環(huán)境下的物體定位與識別成為機(jī)器人研究領(lǐng)域的熱點(diǎn)之一［2］.

文獻(xiàn)［3］采用雙目立體視覺實(shí)現(xiàn)目標(biāo)識別與定位.該雙目立體視覺系統(tǒng)主要包括攝像機(jī)標(biāo)定、圖像分割、立體匹配和3維測距4個(gè)模塊，其中立體匹配是雙目視覺定位的最關(guān)鍵的一步，實(shí)現(xiàn)目標(biāo)區(qū)域的準(zhǔn)確立體匹配較難，而立體匹配的不準(zhǔn)確將直接導(dǎo)致所獲取的深度信息產(chǎn)生偏差［4］，同時(shí)其實(shí)時(shí)性是雙目和多目定位視覺系統(tǒng)面臨的最大挑戰(zhàn).文獻(xiàn)［5］采用雙目立體視覺實(shí)現(xiàn)目標(biāo)的抓取，即在識別物體時(shí)，采用顏色分割法將RGB顏色空間轉(zhuǎn)換至HSV顏色空間，并通過選取閾值來分割圖像，分割后的圖像受背景干擾較大且噪點(diǎn)較多.文獻(xiàn)［6］利用Kinect實(shí)現(xiàn)目標(biāo)識別與定位，其定位前采用張正友棋盤標(biāo)定法標(biāo)定攝像頭內(nèi)外參數(shù).在識別物體時(shí)采用基于深度信息的背景相減法，該方法只適用于物體變動檢測.文獻(xiàn)［7］利用Kinect采集的RGB與深度信息，生成點(diǎn)云，并利用點(diǎn)云分割來實(shí)現(xiàn)目標(biāo)物體識別.該方法的實(shí)時(shí)性較差，且對算法優(yōu)化要求較高［8］.

本系統(tǒng)利用Kinect能夠提供深度信息以及RGB信息的特性，簡化識別過程，實(shí)現(xiàn)對目標(biāo)物體的3維定位，并且具有較好的實(shí)時(shí)性.在定位前，系統(tǒng)采用操作簡便的張正友棋盤標(biāo)定法完成Kinect內(nèi)外參數(shù)的標(biāo)定.識別時(shí)，先利用Kinect采集的深度信息進(jìn)行深度分割，濾除大部分背景干擾，降低后期運(yùn)算識別的復(fù)雜性，然后對深度分割后的圖像進(jìn)行顏色分割，最后利用形狀特征濾除干擾物，實(shí)現(xiàn)對目標(biāo)物體的識別.

1 系統(tǒng)組成

本系統(tǒng)的機(jī)器人臂手系統(tǒng)是由視覺傳感器Kinect、UR5機(jī)械臂、靈巧手及主控制計(jì)算機(jī)組成（見圖1）.

圖1 系統(tǒng)構(gòu)成圖Fig.1 Structure of system

1.1 Kinect

Kinect最初是為室外體感游戲服務(wù)，但其實(shí)質(zhì)上是一個(gè)3D視覺傳感器.它是由一個(gè)紅外線（infrared radiation，IR）投射器、一個(gè)紅外攝像頭和一個(gè)RGB攝像頭組成.IR投射器和IR攝像頭負(fù)責(zé)生成深度圖像，而RGB攝像頭負(fù)責(zé)采集RGB彩色圖像，其分辨率可以達(dá)到640×480［9-10］.在本系統(tǒng)中，Kinect主要負(fù)責(zé)采集深度信息和RGB圖像信息.

1.2 模塊化機(jī)械臂

系統(tǒng)中的模塊化機(jī)械臂是由丹麥Universal Robot公司生產(chǎn)的UR5機(jī)械臂，共有6個(gè)自由度，機(jī)械臂末端的最大負(fù)荷為5 kg.

1.3 SHU-Ⅱ靈巧手

SHU-Ⅱ靈巧手安裝于機(jī)械臂的末端，能實(shí)現(xiàn)物體的抓取功能.靈巧手是由上海大學(xué)自行研發(fā)的SHU-Ⅱ靈巧手（見圖1）.該靈巧手共有5個(gè)手指，每個(gè)手指的運(yùn)動通過電機(jī)拉動與手指連接的牽引線來實(shí)現(xiàn)，由于其手指關(guān)節(jié)嵌入彈簧片，故控制手指的抓取只需精確控制電機(jī)的方向和轉(zhuǎn)速；另外，拇指除了彎曲自由度外還有一個(gè)向左向右的自由度.通過與電機(jī)相連接的磁編碼器精確測量手指的位置，這是因?yàn)樵诿總€(gè)手指的3個(gè)關(guān)節(jié)處安裝了靈敏度很高的壓力傳感器.因此，該靈巧手在抓取時(shí)能根據(jù)目標(biāo)物體的形狀、大小和硬度實(shí)現(xiàn)自適應(yīng)控制.

1.4 主控制計(jì)算機(jī)

主控制計(jì)算機(jī)為一臺普通PC機(jī)，其主要功能是處理Kinect采集的深度與RGB圖像數(shù)據(jù)，計(jì)算出目標(biāo)物體的3維坐標(biāo)信息.通過TCP/IP網(wǎng)絡(luò)與機(jī)械臂控制臺進(jìn)行通信，實(shí)現(xiàn)機(jī)械臂控制；并通過串口通信發(fā)送指令控制靈巧手，實(shí)施抓取動作.

開發(fā)平臺Visual Studio 2010，配置OpenNI采集Kinect獲取的深度信息和RGB信息，并配置OpenCV處理獲取的深度信息和RGB信息，實(shí)現(xiàn)對目標(biāo)物體的識別與定位.

2 目標(biāo)識別與定位

2.1 Kinect標(biāo)定

為了實(shí)現(xiàn)對目標(biāo)物體的精確定位，首先需要對Kinect進(jìn)行標(biāo)定.目前，Kinect標(biāo)定主要包括攝像頭標(biāo)定，以及深度圖像與RGB圖像重合.采用OpenNI自帶的函數(shù)已經(jīng)可以很好地解決深度與RGB圖像的校正，故Kinect標(biāo)定問題為攝像頭標(biāo)定問題.

目前攝像頭標(biāo)定方法很多，本系統(tǒng)采用了張正友棋盤標(biāo)定法［11-12］，該方法標(biāo)定過程簡單，操作方便［6］.在標(biāo)定時(shí)，攝像頭模型采用針孔模型，其定義如下：

即

式中，（XW，YW，ZW）為世界坐標(biāo)系下某點(diǎn)坐標(biāo)；（u，v）為（XW，YW，ZW）點(diǎn)投影在圖像平面的坐標(biāo)；A為攝像頭內(nèi)參數(shù)矩陣；［R t］為外參數(shù)矩陣，R為旋轉(zhuǎn)矩陣，t為平移矩陣；M為世界坐標(biāo)系下某點(diǎn)齊次坐標(biāo)；fx,fy分別為攝像頭在x,y軸上的焦距；Cx,Cy分別為攝像頭焦點(diǎn)與成像平面中心點(diǎn)偏移值.

內(nèi)參數(shù)矩陣是描述攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系之間的關(guān)系，利用內(nèi)參數(shù)可以計(jì)算出圖像坐標(biāo)系的某點(diǎn)對應(yīng)于攝像機(jī)坐標(biāo)系的點(diǎn)，其計(jì)算如下：

式中，（XC，YC）為RGB圖像中某點(diǎn)在攝像機(jī)坐標(biāo)系的坐標(biāo)，ZC為對應(yīng)于該點(diǎn)深度圖像中的深度值.

利用式（3）和（4）可以實(shí)現(xiàn)求取圖像平面任意一點(diǎn)攝像機(jī)坐標(biāo)系下3維坐標(biāo).為了實(shí)現(xiàn)機(jī)械手對物體的抓取，往往需要將攝像機(jī)坐標(biāo)系下的3維坐標(biāo)轉(zhuǎn)換到機(jī)械臂基坐標(biāo)系，因此需要計(jì)算出攝像機(jī)坐標(biāo)系與機(jī)械臂基坐標(biāo)系（式（2）中的世界坐標(biāo)系）的關(guān)系，即外參數(shù)矩陣

攝像機(jī)坐標(biāo)系的點(diǎn)轉(zhuǎn)換到機(jī)械臂基坐標(biāo)系時(shí)表示為

在標(biāo)定時(shí)，將棋盤放置在機(jī)械臂末端上，利用式（5）中機(jī)械末端坐標(biāo)系與機(jī)械臂基坐標(biāo)系之間的轉(zhuǎn)換關(guān)系計(jì)算并記錄下在不同視角下各個(gè)角點(diǎn)對應(yīng)機(jī)械臂基坐標(biāo)系下的坐標(biāo)，并利用OpenCV中的cvCalibrateCamera2函數(shù)計(jì)算出內(nèi)外參數(shù).

在實(shí)際標(biāo)定過程中，為了得到高質(zhì)量的結(jié)果，至少需要選取10幅7×8或者更大棋盤的圖像［13］.圖2為標(biāo)定過程中的選取的不同視角的部分棋盤圖像.

圖2 標(biāo)定過程不同視角棋盤圖Fig.2 Different perspective chessboards of calibration

2.2 目標(biāo)識別

本系統(tǒng)選用大小、形狀不同的果蔬作為抓取目標(biāo)，這些果蔬主要有蘋果、梨、青椒、西紅柿、香蕉、橙子等.這些果蔬的顏色特征和形狀特征較為明顯，故在識別過程中先通過顏色分割再利用果蔬的形狀特征，最終實(shí)現(xiàn)果蔬的識別.在顏色分割前，考慮到存在背景干擾，故利用深度信息濾除背景.

2.2.1 深度分割

深度分割是指利用深度信息，將不在深度范圍內(nèi)的彩色圖像信息濾除（見式（7）），從而減小識別區(qū)域，降低后期識別運(yùn)算的復(fù)雜性［14-15］.

式中，PRGB為圖像中某點(diǎn)的RGB值，dmax為最大的深度值，dmin為最小的深度值.

本系統(tǒng)為了實(shí)現(xiàn)深度分割，將機(jī)械臂操作臺固定在距離Kinect 0.9～1.5 m位置（操作臺寬約0.6 m），將操作臺深度信息以外的背景彩色圖像信息濾除（全部變?yōu)楹谏?

在深度分割后，將操作臺面內(nèi)彩色信息提取出來，從而大大降低外部環(huán)境對果蔬識別的影響，提高后期識別計(jì)算速度，其效果如圖3（b）所示.

圖3 果蔬識別過程Fig.3 Process of fruit recognition

2.2.2 顏色與形狀識別

彩色圖像的分割往往需要選取合適的顏色空間進(jìn)行分割，而RGB顏色模型是主要面向硬件的模型，應(yīng)用于彩色視頻攝像機(jī)和彩色監(jiān)視器［16］.RGB顏色空間受光源的種類、光照的強(qiáng)度等因素影響，且3個(gè)分量互相關(guān)聯(lián)變化，很難確定識別RGB的閾值范圍.而HSV（色調(diào)、飽和度、亮度）模型更符合描述和解釋顏色的方式，其中色調(diào)H（hue）反映了該顏色最接近何種可見光譜波長，即某一種顏色；飽和度S（saturation）表示一種顏色相對于其純色的比例，即純潔性，可用來區(qū)別顏色明暗的程度；V（value）表示色彩的明亮程度.RGB轉(zhuǎn)換到HSV的轉(zhuǎn)換形式為

故本系統(tǒng)采用HSV顏色空間的顏色分割，由于某些果蔬顏色比較相近（如梨和香蕉），往往僅通過顏色分割不能很好地識別，因此在完成顏色分割后，需要結(jié)合果蔬的形狀特征實(shí)現(xiàn)果蔬的識別.采用果蔬的圓形度R，可以精確地區(qū)分顏色相近的不同種類的果蔬，其計(jì)算公式為

式中，S為果蔬的輪廓面積，L為果蔬輪廓周長.

具體識別步驟如下.

步驟1 進(jìn)行深度信息分割后的RGB圖像往往存在噪點(diǎn)，故采用平滑濾波濾除噪點(diǎn).

步驟2 將濾波后的彩色圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，V通道受光線影響較大，故在H、S通道選取合適的閾值進(jìn)行二值化，其具體閾值如表1所示.將二值化后的圖像進(jìn)行形態(tài)學(xué)處理，排除孤立噪聲并對目標(biāo)的缺損進(jìn)行適當(dāng)修補(bǔ).

步驟3 在顏色分割后，利用果蔬的形狀特征圓形度R（具體范圍見表1）最終確定待識別果蔬的輪廓，其具體過程如圖3所示.求出輪廓中心點(diǎn)，利用標(biāo)定時(shí)計(jì)算出的內(nèi)外參數(shù)矩陣，通過式（3）、（4）和（6）求出目標(biāo)物體的3D坐標(biāo).

表1 果蔬顏色與形狀特征Table 1 Color and shape features of fruits

圖3為果蔬識別過程圖，其主要包括未經(jīng)處理的原圖、深度分割后的圖像、HSV顏色空間二值化圖及經(jīng)過形狀特征識別后的輪廓圖.

3 靈巧手抓取

通過測量靈巧手的尺寸，將定位的目標(biāo)3維坐標(biāo)減去靈巧手位移量求得機(jī)械臂末端3維坐標(biāo)，然后將該3維坐標(biāo)發(fā)送至機(jī)械臂控制臺，控制臺通過逆運(yùn)動學(xué)求解最優(yōu)解，最終機(jī)械臂移動至目標(biāo)位置.

考慮到果蔬的大小、形狀以及硬度的不同，為了實(shí)現(xiàn)果蔬的精細(xì)抓取，需要實(shí)現(xiàn)抓取手指指節(jié)接觸力的控制.

本系統(tǒng)的壓力傳感器安裝在手指指節(jié)處，采用了Interlink Electronics公司生產(chǎn)的408傳感器，它廣泛應(yīng)用于自動控制設(shè)備的仿真人觸摸控制、醫(yī)學(xué)系統(tǒng)以及工業(yè)機(jī)器人.壓力傳感器的F-U（電壓歸一化后范圍值為0～255 mV）特性曲線如圖4所示.由圖4可見，壓力值越大壓力傳感器的阻值越小，因而經(jīng)過放大電路后的電壓值越小.

圖4 壓力傳感器的F-U特性曲線Fig.4 F-U characteristics curves of pressure sensor

經(jīng)過多組接觸力測試，并對數(shù)值求取平均值，不同果蔬在與手指各指節(jié)接觸時(shí)的壓力值如圖5所示.

圖5 各指節(jié)壓力值Fig.5 Knuckles pressure value

根據(jù)分析抓取各個(gè)手指指節(jié)壓力值發(fā)現(xiàn)：

（1）大拇指、食指、中指以及無名指為主要受力手指，小拇指僅與目標(biāo)物體有接觸但壓力值很小或無接觸；

（2）主要受力指節(jié)位于指尖，通常指根與目標(biāo)物體的接觸壓力值很小或無接觸.

因此，在實(shí)際抓取過程中只需實(shí)現(xiàn)對大拇指、食指、中指和無名指指尖指節(jié)的接觸力控制.

在手指指節(jié)接觸力控制實(shí)驗(yàn)中發(fā)現(xiàn)，手指在空載運(yùn)動時(shí)線驅(qū)動的結(jié)構(gòu)使得手指運(yùn)動角度越大，電機(jī)承受的負(fù)載越大.而在傳統(tǒng)的PID控制中，當(dāng)PID參數(shù)整定后各個(gè)參數(shù)都是確定值，很難減少壓力的靜差，因此積分參數(shù)很難整定.在手指空載情況下當(dāng)手指角度較小時(shí)需要小的積分參數(shù)，而在手指角度較大時(shí)需要大的積分參數(shù)，故本系統(tǒng)采用對手指指節(jié)接觸力進(jìn)行變積分PID控制.

變積分PID是在不同角度范圍內(nèi)改變積分系數(shù)，使抓取的壓力值快速響應(yīng)，PID積分項(xiàng)表達(dá)式為

式中，kI為傳統(tǒng)的PID積分參數(shù)，kA為與角度相關(guān)的變積分系數(shù)，e（k）為設(shè)定值和輸出值的偏差值，則變積分PID算法為

式中，kp為PID的比例參數(shù)，kD為PID的微分參數(shù).

通過不斷調(diào)試，選取合適的PID參數(shù)以及變積分系數(shù)kA，實(shí)現(xiàn)對接觸力的精確控制.

4 實(shí)驗(yàn)

為驗(yàn)證上述研究內(nèi)容的可行性以及系統(tǒng)的穩(wěn)定性，本系統(tǒng)采用如圖1所示的系統(tǒng)，并進(jìn)行多次果蔬分揀實(shí)驗(yàn).

4.1 實(shí)驗(yàn)流程

實(shí)驗(yàn)前，通過張正友棋盤標(biāo)定法計(jì)算攝像頭的內(nèi)外參數(shù)得

完成標(biāo)定后，對標(biāo)定的精確性以及目標(biāo)識別的準(zhǔn)確性與實(shí)時(shí)性進(jìn)行驗(yàn)證.表2列出了各階段的處理用時(shí)，其數(shù)據(jù)表明本系統(tǒng)采用的物體識別方法具有較好的實(shí)時(shí)性；同時(shí)對比分析表明，在顏色分割前利用深度分割濾除了大部分背景干擾，可有效減小目標(biāo)識別區(qū)域，減少顏色分割用時(shí).

表3為各目標(biāo)的定位坐標(biāo)值、實(shí)際測量坐標(biāo)值以及實(shí)際誤差.上述數(shù)據(jù)表明，果蔬識別的3維坐標(biāo)平均誤差為（6.8，13.3，5.2），優(yōu)于文獻(xiàn)［5］雙目定位在X軸20.25的平均誤差.該誤差主要出現(xiàn)在Y軸方向，根據(jù)Kinect外參數(shù)可知，Y軸方向在坐標(biāo)轉(zhuǎn)換前主要對應(yīng)于Kinect深度信息ZC，而Kinect采集物體表面的深度信息不夠準(zhǔn)確［14］，在距離1 m時(shí)深度誤差在10mm左右，導(dǎo)致了Y軸方向產(chǎn)生誤差.X、Z軸轉(zhuǎn)換前分別主要對應(yīng)于XC、YC軸，XC、YC坐標(biāo)值相對于ZC值較小，即因而XC、YC軸的誤差值較小，也即物體坐標(biāo)X、Z軸誤差小于Y軸.本系統(tǒng)采取在每次定位后加上一個(gè)Y軸方向的偏移量（如10 mm）來減小誤差量.果蔬平均尺寸為高6.5 cm，長6 cm，寬7 cm，只要實(shí)驗(yàn)誤差在允許的誤差范圍內(nèi)，機(jī)械臂就能夠保證臂手系統(tǒng)很好地完成目標(biāo)抓取任務(wù).

表2 各階段處理用時(shí)Table 2 Computation time of individual process stagesms

表3 定位實(shí)驗(yàn)數(shù)據(jù)Table 3 Location experimental datamm

臂手系統(tǒng)的工作流程圖如圖6所示，主要包括①利用深度分割、顏色與形狀特征分割實(shí)現(xiàn)目標(biāo)的識別與定位；②通過TCP/IP通信發(fā)送3維坐標(biāo)，實(shí)現(xiàn)對機(jī)械臂的控制；③利用變積分PID控制實(shí)現(xiàn)靈巧手的精細(xì)抓取.

4.2 實(shí)驗(yàn)結(jié)果

圖7為本系統(tǒng)進(jìn)行實(shí)驗(yàn)驗(yàn)證的相關(guān)過程.以圖7（a）為例，從上至下分別為機(jī)械臂初始狀態(tài)、機(jī)械臂移動至目標(biāo)果蔬位置、靈巧手抓取、機(jī)械臂抓持果蔬至釋放位置、靈巧手釋放果蔬等.至此機(jī)械臂完成了一次果蔬抓放過程，然后機(jī)械臂再移動至下一果蔬目標(biāo)位置，繼續(xù)實(shí)施果蔬分揀.

實(shí)驗(yàn)表明，當(dāng)在操作平臺存在待識別果蔬時(shí)，基于Kinect的臂手系統(tǒng)可以快速獲取目標(biāo)位置信息，平穩(wěn)完成目標(biāo)抓取.

5 結(jié)束語

通過構(gòu)建一套實(shí)驗(yàn)系統(tǒng)對本系統(tǒng)的研究內(nèi)容進(jìn)行驗(yàn)證，結(jié)果表明基于Kinect的機(jī)器人臂手系統(tǒng)可以較理想地完成自主抓取任務(wù).首先在定位前利用張正友棋盤法對Kinect標(biāo)定，該方法操作簡單，能夠達(dá)到目標(biāo)抓取所要求的定位精度；然后在彩色圖像處理中進(jìn)行深度分割，有效濾除大部分背景干擾，簡化了目標(biāo)識別過程.本系統(tǒng)基于變積分PID控制的接觸力目標(biāo)抓取，主要針對果蔬平置狀態(tài)下的抓取.下一步的工作重點(diǎn)是將目標(biāo)物體由果蔬擴(kuò)大至其他類別物體，針對不同姿態(tài)下目標(biāo)抓取接觸力建模，實(shí)現(xiàn)對不同姿態(tài)下目標(biāo)物體的抓取.

圖6 系統(tǒng)流程Fig.6 System process

圖7 果蔬分揀過程Fig.7 Process of fruit sorting

［1］SAKAGAMI Y，WATANABE R，AOYAMA C，et al.The intelligent ASIMO：system overview and integration［C］//Proceeding of the 2002 IEEE/RSJ International Conference on Intelligent Robots and Systems.2002：2478-2483.

［2］ST¨UCKLER J，STEFFENS R，HOLZ D,et al.Efficient 3D object perception and grasp planning for mobile manipulation in domestic environments［J］.Robotics&Autonomous Systems,2012, 61（10）：1106-1115.

［3］尚倩,阮秋琦,李小利.雙目立體視覺的目標(biāo)識別與定位［J］.智能系統(tǒng)學(xué)報(bào),2011,6（4）：303-311.

［4］項(xiàng)榮.開放環(huán)境中番茄的雙目立體視覺識別與定位［D］.杭州：浙江大學(xué),2013：216.

［5］徐昱琳,楊永煥,李昕,等.基于雙目視覺的服務(wù)機(jī)器人仿人機(jī)械臂控制［J］.上海大學(xué)學(xué)報(bào)（自然科學(xué)版）,2012,18（5）：506-512.

［6］韓崢,劉華平,黃文炳,等.基于Kinect的機(jī)械臂目標(biāo)抓取［J］.智能系統(tǒng)學(xué)報(bào),2013,8（2）：149-155.

［7］HUANG Z Y，HUANG J T，HSU C M.A case study of object identification using a Kinect sensor［C］//2013 IEEE International Conference on Systems,Man,and Cybernetics（SMC）. 2013：1743-1747.

［8］孫小凱.基于RGB-D信息的物體定位與識別［D］.杭州：浙江大學(xué),2014：87.

［9］PARKER M，DANIEL H C，ECHTLER F，et al.Hacking the Kinect［M］.New York：Apress,2012：10-25.

［10］李格格,沈建強(qiáng).基于Kinect的目標(biāo)跟蹤與避障［J］.江南大學(xué)學(xué)報(bào)（自然科學(xué)版）,2014,13（4）：427-432.

［11］ZHANG Z Y.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22（11）：1330-1334.

［12］ZHANG Z Y.Flexible camera calibration by viewing a plane from unknown orientations［C］// The Proceedings of the Seventh IEEE International Conference on Computer Vision.1999：666-673.

［13］于仕琪,劉瑞禎.學(xué)習(xí)OpenCV［M］.北京：清華大學(xué)出版社,2009：406-429.

［14］JIANG L，KOCH A，SCHERER S A，et al.Multi-class fruit classification using RGB-D data for indoor robots［C］//2013 IEEE International Conference on Robotics and Biomimetics（ROBIO）. 2013：587-592.

［15］LAI K，BO L，REN X，et al.A large-scale hierarchical multi-view RGB-D object dataset［C］// 2011 IEEE International Conference on Robotics and Automation（ICRA）.2011：1817-1824.

［16］阮秋琦.數(shù)字圖像處理學(xué)［M］.3版.北京：電子工業(yè)出版社,2007：254-257.

本文彩色版可登陸本刊網(wǎng)站查詢：http：//www.journal.shu.edu.cn

Kinect-based object grasping by robot arm hand system

DING Meikun，XU Yulin，JIANG Caijun，RAN Peng
（School of Mechatronics Engineering and Automation，Shanghai University，Shanghai 200072，China）

To realize automatic object grasping by a robot arm hand system,Kinect is used for real-time detection of the object.The Zhang Zhenyou chessboard method is applied to calibrate the intrinsic and external parameters of the Kinect.Depth segmentation is done to filter out most of the background interference,and identification and location of object are achieved based on the color and shape features.The object's 3D coordinates is sent to the manipulator console to locate the target position through TCP/IP communication. A changing integration PID algorithm is applied to achieve fast and accurate grasp by controlling pressure on the dexterous hand.An experiment system is developed to verify effectiveness of the proposed methods.

Kinect calibration；depth segmentation；changing integration PID；dexterous hand

TP 242

A

1007-2861（2016）04-0421-11

10.3969/j.issn.1007-2861.2016.04.008

2015-03-25

上海市產(chǎn)學(xué)研合作項(xiàng)目（CXY-2013-28）

徐昱琳（1964—），女，副教授，博士，研究方向?yàn)闄C(jī)器人、智能控制.E-mail：xuyulin@shu.edu.cn