基于Kinect的仿人機(jī)器人控制系統(tǒng)

徐 軍， 孟月霞， 王天倫， 馬 靜

(哈爾濱理工大學(xué) 自動(dòng)化學(xué)院 ，黑龍江 哈爾濱 150080)

基于Kinect的仿人機(jī)器人控制系統(tǒng)

徐 軍， 孟月霞， 王天倫， 馬 靜

(哈爾濱理工大學(xué) 自動(dòng)化學(xué)院 ，黑龍江 哈爾濱 150080)

為實(shí)現(xiàn)對具有16個(gè)自由度仿人機(jī)器人的姿態(tài)控制，采用Kinect傳感器對人體姿態(tài)的坐標(biāo)數(shù)據(jù)進(jìn)行采集，根據(jù)坐標(biāo)信息利用Processing軟件開發(fā)基于SimpleOpenNI庫的上位機(jī)軟件，建立人體關(guān)節(jié)模型，并利用空間向量法對仿人機(jī)器人的步態(tài)規(guī)劃以及重心控制算法分析，解析各關(guān)節(jié)的轉(zhuǎn)動(dòng)角度，經(jīng)由無線WiFi模塊向仿人機(jī)器人發(fā)送指令以控制舵機(jī)的運(yùn)動(dòng)，最終實(shí)現(xiàn)對機(jī)器人的控制，搭建了基于Kinect傳感器的測試平臺(tái)。測試結(jié)果表明:仿人機(jī)器人上肢在運(yùn)動(dòng)范圍內(nèi)無死角，通過對重心的控制，下肢可實(shí)現(xiàn)簡單的步行，符合預(yù)期效果。

Kinect傳感器； 仿人機(jī)器人； 空間向量法； 人體關(guān)節(jié)模型； 測試平臺(tái)

0 引 言

仿人機(jī)器人的研究已成為當(dāng)今社會(huì)最熱門的課題之一，與傳統(tǒng)的輪式、四角式機(jī)器人相比，仿人機(jī)器人具有明顯的優(yōu)勢：更靈活的行走能力、更強(qiáng)的越障能力、更廣闊的做作空間[1]。

1996年，第一款人型無纜仿人機(jī)器人由日本成功研制，極大地推動(dòng)了仿人機(jī)器人的研究。2003年，第一款跑步仿人機(jī)器人由索尼公司研制成功，實(shí)現(xiàn)了以0.82 km/h的速度跑步。2005年，日本生產(chǎn)的HRP—2機(jī)器人實(shí)現(xiàn)了俯身、起立、一字步以及交叉步等仿人行為，步行速度提高到了2.5 km/h。2007年，HRP—3較HRP—2增加了5個(gè)自由度，可以使用電鉆、螺絲刀等工具。目前，國內(nèi)對于仿人機(jī)器人的研究還處于相對落后的階段[2，3]。2002年，清華大學(xué)研制的THBIP—I樣機(jī)，實(shí)現(xiàn)了穩(wěn)定步行、打太極以及端水等動(dòng)作。2003年，北京理工大學(xué)推出的BHR—1實(shí)現(xiàn)了在復(fù)雜環(huán)境下保持平衡。

上海交通大學(xué)的錢鶴慶在構(gòu)建人體模型時(shí)應(yīng)用Kinect技術(shù)[4，5]，成功設(shè)計(jì)出虛擬地球儀；清華大學(xué)的韓峰等人運(yùn)用Kinect成功設(shè)計(jì)出了簡易的桌面清理系統(tǒng)。

本文主要研究基于Kinect體感傳感器的無線WiFi網(wǎng)絡(luò)控制的仿人機(jī)器人。通過Kinect采集人體姿態(tài)的數(shù)據(jù)信息，對機(jī)器人的步態(tài)規(guī)劃算法進(jìn)行解析，通過上位機(jī)建立人體關(guān)節(jié)模型，利用無線WiFi模塊向仿人機(jī)器人發(fā)送命令，通過控制舵機(jī)實(shí)現(xiàn)對機(jī)器人運(yùn)動(dòng)軌跡的控制，并搭建了仿人機(jī)器人的控制系統(tǒng)，完成對機(jī)器人的調(diào)試工作[6～8]。

1 仿人機(jī)器人的步態(tài)規(guī)劃

仿人機(jī)器人上半身的運(yùn)動(dòng)是隨動(dòng)過程，不需要考慮重心變化，只需要注意運(yùn)動(dòng)的獨(dú)立性，不需要為達(dá)到單個(gè)自由度的運(yùn)動(dòng)而引起其他自由度的誤運(yùn)動(dòng)，通過Kinect傳感器采集人體數(shù)據(jù)并使其轉(zhuǎn)換成舵機(jī)控制器指令，上肢的隨動(dòng)匹配即基本完成了。

為了簡化計(jì)算，實(shí)現(xiàn)穩(wěn)定的步行，將機(jī)器人各部分看成質(zhì)量均勻、形狀規(guī)則的剛性連桿，對各關(guān)節(jié)進(jìn)行簡化，同時(shí)假設(shè)各關(guān)節(jié)之間無摩擦力的作用，建立仿人機(jī)器人的動(dòng)力學(xué)模型，如圖1所示。機(jī)器人有16個(gè)自由度，上肢有6個(gè)自由度，分別為左、右肩關(guān)節(jié)各2個(gè)，肘關(guān)節(jié)各1個(gè)。下肢有10個(gè)自由度，分別為左右髖關(guān)節(jié)各2個(gè)，膝關(guān)節(jié)各1個(gè)，踝關(guān)節(jié)各2個(gè)。為了簡化研究，將下肢的運(yùn)動(dòng)簡化為在徑向平面(ZOX平面)與側(cè)向平面(ZOY平面)的運(yùn)動(dòng)的合成，以靜止時(shí)雙腳的重心為原點(diǎn)O，前進(jìn)方向?yàn)閄軸正方向，左方為Y軸正方向，豎直向上為Z軸正方向。

圖1 仿人機(jī)器人連桿模型二維視圖

計(jì)算關(guān)節(jié)轉(zhuǎn)角時(shí)，約束條件為，機(jī)器人腳掌始終與地面平行，則踝側(cè)向關(guān)節(jié)角度和髖轉(zhuǎn)向關(guān)節(jié)角度在數(shù)據(jù)值上相等。重心移動(dòng)和屈伸示意如圖2所示。

圖2 重心移動(dòng)和屈伸示意

為了實(shí)現(xiàn)對仿人機(jī)器人的控制，利用Kinect傳感器采集人體關(guān)節(jié)的坐標(biāo)數(shù)據(jù)，采用空間向量法解析各關(guān)節(jié)的角度。由于向量法使用的坐標(biāo)系與Kinect坐標(biāo)系有所不同，需將Kinect坐標(biāo)系映射到數(shù)學(xué)坐標(biāo)戲中，然后再進(jìn)行計(jì)算。

仿人機(jī)器人下肢運(yùn)動(dòng)時(shí)，首先進(jìn)行重心移動(dòng)，一只腳向前屈伸，另一只腳會(huì)向后伸維持重心穩(wěn)定保持平衡，此時(shí)對于單只腳運(yùn)動(dòng)來說3個(gè)自由度，即3個(gè)舵機(jī)均參與了運(yùn)動(dòng)。以向左移動(dòng)重心為例，如圖2(a)所示，機(jī)器人在側(cè)向平面運(yùn)動(dòng)，設(shè)髖關(guān)節(jié)移動(dòng)Ymm，大腿和小腿的長度分別為L1，L2，則根據(jù)三角函數(shù)關(guān)系可以計(jì)算出左、右髖關(guān)節(jié)應(yīng)該轉(zhuǎn)動(dòng)的角度θ

θ=arcsin(Y/(L1+L2))

(1)

屈伸情況如圖2(b)所示，機(jī)器人在ZOX運(yùn)動(dòng)，設(shè)髖關(guān)節(jié)移動(dòng)Zmm，可得髖關(guān)節(jié)與膝關(guān)節(jié)的轉(zhuǎn)動(dòng)角度θ1與θ3

(2)

為了最大限度增大機(jī)器人穩(wěn)定性的同時(shí)簡化計(jì)算，設(shè)定仿人機(jī)器人腳部關(guān)節(jié)向前或向后運(yùn)動(dòng)的前提是保持腳面與地面時(shí)刻平行。相當(dāng)于以髖關(guān)節(jié)為坐標(biāo)原點(diǎn)，建立坐標(biāo)系，向前行走的方向?yàn)閄軸正方向，同時(shí)上下方向?yàn)閆。機(jī)器人前后移動(dòng)的示意如圖3所示。

圖3 前后移動(dòng)示意

設(shè)定θa，θb，θc分別為∠(θ1+θ0)，∠(θ1+θ3)，∠(θ3-θ0)，即θa，θb，θc分別為各個(gè)關(guān)節(jié)彎曲的角度、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)。計(jì)算h的長度可以得到式(3)

(3)

根據(jù)三角函數(shù)關(guān)系可以得到以下結(jié)果

(4)

由式 (2)、式(4)可以知下肢各個(gè)關(guān)節(jié)的旋轉(zhuǎn)角度，但下肢的運(yùn)動(dòng)較復(fù)雜，僅知道角度還不能保證重心的穩(wěn)定。

2 控制系統(tǒng)設(shè)計(jì)

2.1 實(shí)驗(yàn)平臺(tái)搭建

為調(diào)試基于Kinect的雙足機(jī)器人的步行效果，搭建了機(jī)器人的測試平臺(tái)。首先利用Kinect傳感器采集人體各關(guān)節(jié)的坐標(biāo)信息，通過KinectAPI獲得人體信息接口將信息傳至上位機(jī)，經(jīng)由Processing軟件中的SimpleOpenN庫對人體姿態(tài)信息建立人體節(jié)點(diǎn)數(shù)據(jù)模型，運(yùn)用算法解析得到各關(guān)節(jié)相應(yīng)的旋轉(zhuǎn)角度，再由無線網(wǎng)卡發(fā)送相應(yīng)的指令給機(jī)器人，最后由機(jī)器人的WiFi模塊將命令發(fā)送至舵機(jī)控制器，舵機(jī)控制器根據(jù)指令驅(qū)動(dòng)機(jī)器人舵機(jī)旋轉(zhuǎn)相應(yīng)的角度，并通過機(jī)器人模型的穩(wěn)定特性，對機(jī)器人的運(yùn)動(dòng)做相應(yīng)的調(diào)整，以此控制機(jī)器人的運(yùn)動(dòng)，實(shí)現(xiàn)機(jī)器人與人體運(yùn)動(dòng)一致的隨動(dòng)控制系統(tǒng)。測試平臺(tái)如圖4所示。采用的機(jī)器人的控制系統(tǒng)電路如圖5所示。

圖4 測試平臺(tái)

圖5 機(jī)器人控制系統(tǒng)電路

通信模塊采用ESP8266無線WiFi模塊，內(nèi)置了WiFi射頻單元。設(shè)計(jì)中通信模塊的功能為收發(fā)UDP數(shù)據(jù)、驅(qū)動(dòng)姿態(tài)傳感器，收集機(jī)器人運(yùn)動(dòng)數(shù)據(jù)、驅(qū)動(dòng)舵機(jī)控制器實(shí)現(xiàn)機(jī)器人運(yùn)動(dòng)控制。

機(jī)器人的舵機(jī)控制器采用，型號(hào)為ATmega328P的AVR芯片，驅(qū)動(dòng)板采用PCA9685驅(qū)動(dòng)，該芯片可以產(chǎn)生16路12位精度的脈寬調(diào)制(pulsewidthmodulation,PWM)，其中，PWM刷新頻率最高可以達(dá)到百兆，其通信管腳由I2C總線控制。

電源模塊分別為3.3，5，6～12V用于控制和動(dòng)力部分。

姿態(tài)讀取模塊采用的MPU6050姿態(tài)傳感器，可以讀取機(jī)器人重心位置的加速度、角速度參數(shù)等。通過WiFi將數(shù)據(jù)反饋給上位機(jī)，實(shí)現(xiàn)了對機(jī)器人姿態(tài)變化的實(shí)時(shí)檢測。

2.2 軟件設(shè)計(jì)

軟件設(shè)計(jì)主要分為上位機(jī)程序設(shè)計(jì)和下位機(jī)程序設(shè)計(jì)2個(gè)部分。上位機(jī)程序包括網(wǎng)絡(luò)部分、傳感器部分、算法部分、模型建立部分，下位機(jī)程序主要包括WiFi模塊程序，驅(qū)動(dòng)板控制程序。

雙足仿人機(jī)器人的軟件設(shè)計(jì)首先根據(jù)Kinect讀取的數(shù)據(jù)建立人體模型，通過Processing軟件中相應(yīng)的類函數(shù)，解析機(jī)器人的運(yùn)動(dòng)軌跡。根據(jù)相應(yīng)的算法將人體關(guān)節(jié)的變化信息轉(zhuǎn)換為機(jī)器人相應(yīng)舵機(jī)角度的變化，經(jīng)由WiFi模塊控制舵機(jī)。具體上位機(jī)程序總體流程如圖6(a)所示。步態(tài)算法部分需考慮多種情況，如站立、前進(jìn)、后退、下蹲等。以抬左腿為例流程如圖6(b)所示。而前進(jìn)、后退等均在可單腿站立的基礎(chǔ)上實(shí)現(xiàn)，重復(fù)以上步驟即可。

圖6 軟件設(shè)計(jì)流程

Arduino開發(fā)板通過綁定了2個(gè)I2C地址，拓展2個(gè)16通道的PCA9685，即支持32位舵機(jī)驅(qū)動(dòng)。由于WiFi通過串口與單片機(jī)通信，因此，單片機(jī)Arduino需要初始化串口，設(shè)置通信波特率，初始化2個(gè)I2C器件，設(shè)定器件PWM輸出的刷新頻率等。具體流程如圖7所示。

圖7 舵機(jī)控制器設(shè)計(jì)流程

ESP8266WIFI模塊的程序編程之前，要對I/O口、網(wǎng)絡(luò)、串口等進(jìn)行初始化。初始化網(wǎng)絡(luò)通信為UDP，接收UDP發(fā)來數(shù)據(jù)，設(shè)定定時(shí)器及其回調(diào)函數(shù)，在系統(tǒng)內(nèi)建立任務(wù)。網(wǎng)絡(luò)獲取數(shù)據(jù)是通過TCP協(xié)議推送，即存在一個(gè)網(wǎng)頁代碼，支持該網(wǎng)頁，輸入對應(yīng)的表單通過TCP反饋至WiFi重新加載，通過網(wǎng)頁信息配置WiFi的通信參數(shù)。具體程序?qū)崿F(xiàn)流程如圖8所示。

圖8 ESP8266WiFi模塊設(shè)計(jì)流程

3 測試結(jié)果

利用已經(jīng)搭建好的測試系統(tǒng)對機(jī)器人進(jìn)行調(diào)試。首先，進(jìn)行Kinect傳感器與上位機(jī)連接，機(jī)器人準(zhǔn)備就緒后，使用無線WiFi模塊將機(jī)器人與上位機(jī)連接，打開上位機(jī)上的Processing軟件程序。

經(jīng)過測試，仿人機(jī)器人上半身跟隨人體自由活動(dòng)，且運(yùn)動(dòng)范圍無死角。下肢部分可實(shí)現(xiàn)簡單的步行，能保持重心穩(wěn)定。測試結(jié)果如圖9所示，分別為雙手叉腰站立、平舉雙手、扭胯與抬腿的測試界面。以圖9(a)為例，每個(gè)測試界面在上位機(jī)運(yùn)行后會(huì)出現(xiàn)圖9(a)中左邊3個(gè)界面，左上角為人體圖形，左下角為經(jīng)過解析后的深度圖形，中間圖形為基于SimpleOpenNI庫建立的解析后人體深度圖的骨骼模型，右邊為機(jī)器人運(yùn)行圖片。

圖9 測試結(jié)果

4 結(jié)束語

利用Kinect傳感器采集人體坐標(biāo)，建立了人體關(guān)節(jié)模型，通過空間向量法對仿人機(jī)器人的步態(tài)規(guī)劃以及重心控制的算法解析各個(gè)關(guān)節(jié)的運(yùn)動(dòng)角度，并通過無線WiFi向機(jī)器人發(fā)送指令，控制舵機(jī)運(yùn)動(dòng)。搭建仿人機(jī)器人控制系統(tǒng)，利用Processing軟件開發(fā)基于SimpleOpenNI庫的上位機(jī)軟件，完成了仿人機(jī)器人的調(diào)試。測試結(jié)果表明:仿人機(jī)器人上肢可跟隨人體自由活動(dòng)，運(yùn)動(dòng)范圍無死角，下肢部分可實(shí)現(xiàn)簡單的步行，能保持重心的穩(wěn)定。

[1] 趙建敏，許曉偉，賈慧媛.基于Kinect體感傳感器的心理宣泄系統(tǒng)的實(shí)現(xiàn)[J].傳感器與微系統(tǒng)，2014,33(8)：119-122.

[2] 余 濤，葉金永，邵菲杰,等．Kinect核心技術(shù)之骨架追蹤技術(shù)[J]．?dāng)?shù)字技術(shù)與應(yīng)用，2012，4(10)：115-115.

[3] 韓 崢，劉華平，黃文炳,等．基于多傳感器的人體行為識(shí)別系統(tǒng)[J]．傳感器與微系統(tǒng)，2016,35(3)：89-95.

[4] 張雪華，劉華平，孫富春,等.采用Kinect的移動(dòng)機(jī)器人目標(biāo)跟蹤[J].智能系統(tǒng)學(xué)報(bào)，2014,9 (1):34-39.

[5] 甄成方，劉文怡，蘇淑靖.無線傳感器網(wǎng)絡(luò)的時(shí)間同步技術(shù)研究[J].傳感器與微系統(tǒng),2013,32(10):48-51.

[6] 戰(zhàn)蔭偉，張 昊.基于Kinect傳感器的人體行為分析算法[J].傳感器與微系統(tǒng),2015,34(1): 142-144.

[7] 陳 鵬，劉 璐，余 飛,等． 一種仿人機(jī)械臂的運(yùn)動(dòng)學(xué)逆解的幾何求解方法[J]．機(jī)器人，2012，34(2):211-216．

[8] 周 浩，浦劍濤，梁嵐珍,等.基于體感的仿人機(jī)器人步態(tài)學(xué)習(xí)與控制[J].計(jì)算機(jī)應(yīng)用，2015,35 (3):787- 791,801．

Control system for humanoid robot based on Kinect

XU Jun, MENG Yue-xia, WANG Tian-lun, MA Jing

(School of Automation, Harbin University of Science and Technology,Harbin 150080,China)

The test system based on Kinect sensor is established to realize attitude control of humanoid robot with 16 degrees of freedom.The sensor of Kinect is used to collect the coordinates of the human body for the purpose of establishing joint model of human body by the way of developing PC software using the processing software based on SimpleOpenNI library.The analysis on humanoid robot gait planning and gravity control algorithm by using space vector method,analyze on rotation angle of each joint.Through module of WiFi wireless,send instructions to control steering engines,so as to realize the control of humanoid robot.The results of the experiment show that,the arm of humanoid can move freely in the range of motion and lower limbs can walk simply by controlling gravity,which accords with expected effect.

Kinect sensor； humanoid robot; space vector method; joint model of human body; test platform

10.13873/J.1000—9787(2017)09—0097—04

2016—09—28

TP 242.6

A

1000—9787(2017)09—0097—04

徐 軍(1968-)，男，博士，教授,研究生導(dǎo)師，主要從事石英晶體傳感器、無線傳感器網(wǎng)絡(luò)、智能機(jī)器人等方面的教學(xué)與科研工作，E—mail:hljlgxj@126.com。

孟月霞(1989-)，女，通訊作者，碩士研究生，主要研究方向?yàn)轶w感機(jī)器人、傳感器與虛擬技術(shù)，E—mail:286704673@qq.com。