面向仿人機(jī)器人的視覺跟蹤交互設(shè)計(jì)與實(shí)踐

張丹陳興文趙姝穎

（1大連民族大學(xué)創(chuàng)新教育中心，遼寧大連，116600；2東北大學(xué)信息科學(xué)與工程學(xué)院，遼寧沈陽，110819）

面向仿人機(jī)器人的視覺跟蹤交互設(shè)計(jì)與實(shí)踐

張丹1陳興文1趙姝穎2

（1大連民族大學(xué)創(chuàng)新教育中心，遼寧大連，116600；2東北大學(xué)信息科學(xué)與工程學(xué)院，遼寧沈陽，110819）

本文以仿人機(jī)器人NAO為對象，采用TLD（Tracking-Learning-Detecting）視覺跟蹤算法，設(shè)計(jì)出基于視覺跟蹤的人機(jī)交互平臺(tái)。該平臺(tái)通過NAO的攝像頭獲取跟蹤圖像，通過視覺跟蹤算法跟蹤視頻中運(yùn)動(dòng)的物體或感興趣的目標(biāo)物體，并將其作為控制信息傳輸給NAO的運(yùn)動(dòng)機(jī)構(gòu)，達(dá)到控制NAO完成動(dòng)態(tài)任務(wù)的目的。實(shí)驗(yàn)表明，交互平臺(tái)可以實(shí)時(shí)、穩(wěn)定、精確地跟蹤和理解目標(biāo)的運(yùn)動(dòng)，可完成交互任務(wù)。

仿人機(jī)器人，視覺跟蹤，人機(jī)交互

0 引言

基于視覺的人機(jī)交互技術(shù)是機(jī)器人應(yīng)用領(lǐng)域的一個(gè)研究熱點(diǎn)。近年來，基于視覺的交互技術(shù)發(fā)展迅速，與其他交互方式相比，基于視覺的交互彈性較大，既可用于較大范圍的交互也可用于較小范圍的交互；使用方便，不需要高昂的設(shè)備，只需一些普通的攝像設(shè)備即可，對交互的語言、形態(tài)等限制也相對較少。

視覺是機(jī)器人系統(tǒng)的一個(gè)關(guān)鍵技術(shù)，它賦予機(jī)器人一種高級(jí)感知功能，為機(jī)器人系統(tǒng)提供目標(biāo)物體的實(shí)時(shí)圖像信息和空間位姿信息，使得機(jī)器人系統(tǒng)能以智能和靈活的方式對其周圍環(huán)境做出反應(yīng)，提高機(jī)器人系統(tǒng)操作的可靠性和安全性。當(dāng)人借助視覺交互工具主動(dòng)參與和控制機(jī)器人行為時(shí)，機(jī)器人系統(tǒng)比無人時(shí)運(yùn)行更為有效，具有更強(qiáng)的容錯(cuò)性。視覺系統(tǒng)可將機(jī)器人所處的狀態(tài)、環(huán)境以及工作階段直觀地反饋給操作員，以便操作員在動(dòng)態(tài)任務(wù)下進(jìn)行更好的控制，完成動(dòng)態(tài)任務(wù)。對于機(jī)器人視覺交互的研究而言，早期的研究主要集中在利用鼠標(biāo)進(jìn)行界面的交互、虛擬交互上[1-4]，而對基于信息的視覺跟蹤交互研究目前尚處于起步階段。雖然前人已進(jìn)行了很多機(jī)器人視覺交互的研究，但由于環(huán)境復(fù)雜、任務(wù)動(dòng)態(tài)、信息量大等問題也給機(jī)器人視覺交互的研究提出了新的要求與挑戰(zhàn)。因此，研究實(shí)時(shí)、可靠、精確的機(jī)器人視覺交互選擇是非常必要的。

TLD算法是Dr. Zdenek Kalal[5-8]在2007年到2010年間提出來并不斷完善的，其將跟蹤、學(xué)習(xí)和檢測融合在一起，相互作用。在跟蹤目標(biāo)的同時(shí)，學(xué)習(xí)目標(biāo)的特征，并通過檢測器實(shí)時(shí)檢驗(yàn)特征的正確性，進(jìn)行反饋驗(yàn)證，減小誤差。本算法適合長時(shí)間跟蹤，可以克服目標(biāo)遮擋和丟失的問題，具有實(shí)時(shí)性和精確性。近年來受到了很多學(xué)者的廣泛關(guān)注，并在不斷地研究改進(jìn)。根據(jù)TLD算法的特性，本文采用此方法對目標(biāo)進(jìn)行跟蹤，根據(jù)跟蹤結(jié)果定義控制語義，實(shí)現(xiàn)基于視覺跟蹤的機(jī)器人交互。

1 仿人機(jī)器人NAO平臺(tái)簡介

NAO是由Aldebaran Robotics公司開發(fā)設(shè)計(jì)的仿人機(jī)器人。結(jié)合前沿技術(shù)以及專為NAO開發(fā)的編程環(huán)境，使用者可以根據(jù)自己的設(shè)計(jì)對NAO進(jìn)行編程，賦予它聽、說、看、感知等能力，實(shí)現(xiàn)機(jī)器人與人、機(jī)器人與機(jī)器人之間的交流。NAO能力出眾、動(dòng)作流暢、是仿人機(jī)器人中的佼佼者。

NAO機(jī)器人身高58cm，重4.8kg；有25個(gè)自由度，配有慣性導(dǎo)航儀和閉環(huán)控制系統(tǒng)，具有撅握能力的雙手；配有多種傳感器，包括超聲波傳感器等；CMOS攝像頭，同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器；CPU為AMD Geode 86 500MHZ；無線網(wǎng)際網(wǎng)絡(luò)和以太網(wǎng)端口，靈活的操作系統(tǒng)

選擇，可以在Linux、Windows等操作系統(tǒng)下編輯；可以進(jìn)行聲音合成、語音識(shí)別、視覺識(shí)別和探測障礙物等；開放式編程框架，用戶可以根據(jù)自身專業(yè)水平選擇適合自己的高級(jí)編程語言，如C++，MATLAB等。

NAO有廣泛的應(yīng)用，可將其應(yīng)用于多領(lǐng)域的研究平臺(tái)、技術(shù)教育平臺(tái)、科技競賽平臺(tái)、家庭服務(wù)、展覽展示等。本文主要在展覽展示背景下，以NAO為應(yīng)用平臺(tái)，使用NAO的攝像機(jī)，進(jìn)行復(fù)雜背景下視頻的實(shí)時(shí)采集，將視覺跟蹤技術(shù)應(yīng)用于NAO機(jī)器人，以自然的方式完成人機(jī)交互展示。

2 基于目標(biāo)跟蹤的交互信息識(shí)別方法

為建立完整的復(fù)雜背景下的機(jī)器人交互平臺(tái)，在視覺跟蹤算法的基礎(chǔ)上，本文提出了一種控制NAO運(yùn)動(dòng)的跟蹤理解算法，這種算法簡單而高效地將跟蹤算法獲得的對象運(yùn)動(dòng)軌跡匹配為不同的語義，采用兩種交互形式，一種是自動(dòng)檢測視頻中的運(yùn)動(dòng)物體進(jìn)行跟蹤，另一種是手動(dòng)選擇感興趣的物體進(jìn)行跟蹤。這樣做既豐富了交互形式，也使得NAO面向具體動(dòng)態(tài)交互任務(wù)具有較好的處理能力。

在具體的實(shí)現(xiàn)中，當(dāng)確定跟蹤目標(biāo)之后，該算法首先確定目標(biāo)往哪個(gè)方向走，由于跟蹤目標(biāo)過程中采用最小矩形的形式，所以先獲得最小矩形的中心作為目標(biāo)移動(dòng)的中心點(diǎn)，根據(jù)中心點(diǎn)的坐標(biāo)，確定目標(biāo)移動(dòng)的方向。

x2-x1＞0為向上運(yùn)動(dòng)，x2-x1＜0為向下運(yùn)動(dòng)，y2-y1＞0為向左運(yùn)動(dòng)，y2-y1＜0為向右運(yùn)動(dòng)。

但是這樣定義也存在問題，因?yàn)椴灰欢ò凑罩本€運(yùn)動(dòng)，除了橫縱坐標(biāo)分別變化以外，還可能出現(xiàn)橫縱坐標(biāo)同時(shí)變化的情況，目標(biāo)是沿著傾斜的方向運(yùn)動(dòng)的，那么這樣定義就無法對目標(biāo)的運(yùn)動(dòng)進(jìn)行正確的理解，所以還要調(diào)整理解算法，使其更加精確。

在上面討論的基礎(chǔ)上，本文引入文獻(xiàn)[9]中的目標(biāo)矢量。首先將整個(gè)攝像畫面分為9個(gè)區(qū)域，如圖1所示。其中5區(qū)域作為目標(biāo)中心點(diǎn)區(qū)域，其余的分別代表不同的運(yùn)動(dòng)方向。當(dāng)跟蹤的目標(biāo)從5區(qū)域轉(zhuǎn)移到其他對應(yīng)的區(qū)域時(shí)，則表示相應(yīng)的動(dòng)作，由于區(qū)域的范圍較大，所以可以有效防止相機(jī)或目標(biāo)抖動(dòng)引起錯(cuò)誤的理解。

圖1 區(qū)域劃分圖

設(shè)定目標(biāo)離開區(qū)域的最小距離為r，經(jīng)實(shí)驗(yàn)測定，當(dāng)r為10cm時(shí)，跟蹤理解較為精確。當(dāng)目標(biāo)中心11(x,y)離開了起始點(diǎn)區(qū)域時(shí)，即

其中x和y分別代表目標(biāo)的水平和垂直位置，目標(biāo)的位移矢量d=(d1,d2)，其中d1=x2-x1，d2=y2-y1，目標(biāo)離開原點(diǎn)區(qū)域的位移變化量為dΔ，此量表示的運(yùn)動(dòng)速度用v表示，作為控制速度的上限。

當(dāng)目標(biāo)從5區(qū)運(yùn)動(dòng)到4區(qū)時(shí)，表示向左運(yùn)動(dòng)命令，NAO機(jī)器人給出相應(yīng)的動(dòng)作，當(dāng)其從4區(qū)回到5區(qū)時(shí)，表示向右運(yùn)動(dòng)。

NAO機(jī)器人完成一個(gè)動(dòng)作需要特定的時(shí)間，所以當(dāng)其接到向某一方向的運(yùn)動(dòng)命令之后，完成每個(gè)動(dòng)作都應(yīng)留有足夠的時(shí)間。在做動(dòng)作期間，目標(biāo)的運(yùn)動(dòng)是不起作用的，當(dāng)前運(yùn)動(dòng)結(jié)束后，才會(huì)繼續(xù)檢測運(yùn)動(dòng)目標(biāo)的中心，這樣做不會(huì)出現(xiàn)混亂的情況。使用這種機(jī)制，利用目標(biāo)的跟蹤就可以發(fā)出動(dòng)作控制的命令。具體的人機(jī)交互系統(tǒng)的控制語義定義如圖2所示。

圖2 控制語義定義示意圖

仿人機(jī)器人NAO有很多動(dòng)作，控制也較為靈活，本文只是進(jìn)行了簡單的實(shí)驗(yàn)，用于驗(yàn)證基于跟蹤交互的準(zhǔn)確性和實(shí)時(shí)性，實(shí)現(xiàn)自然的人機(jī)交互，實(shí)際應(yīng)用過程中可以根據(jù)實(shí)際的需要更改NAO的動(dòng)作，實(shí)現(xiàn)動(dòng)態(tài)任務(wù)完成交互。

3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

本系統(tǒng)以仿人機(jī)器人NAO為實(shí)驗(yàn)平臺(tái)，實(shí)驗(yàn)計(jì)算機(jī)為CPU E5500 @ 2.80GHz，2GB內(nèi)存，將C++、OpenCV和Matlab程序在Matlab R2009a環(huán)境下運(yùn)行，進(jìn)行交叉編譯完成程序運(yùn)行。使用仿人機(jī)器人NAO v4.0版本的攝像頭獲取視頻圖像，作為實(shí)驗(yàn)資源，攝像頭的型號(hào)為MT9M114，本文中使用的圖像是RGB格式，分辨率為320×240，幀率為30幀/s。控制對象為仿人機(jī)器人NAO，無線網(wǎng)絡(luò)實(shí)現(xiàn)NAO機(jī)器人與PC機(jī)相連，通過PC機(jī)發(fā)出相關(guān)指令，實(shí)現(xiàn)對NAO機(jī)器人的動(dòng)作控制。人機(jī)交互系統(tǒng)的硬件設(shè)備框圖如圖3所示。

圖3 人機(jī)交互系統(tǒng)硬件圖

交互者根據(jù)任務(wù)，選擇交互方式，如果是自然交互，那么背景中只有一個(gè)運(yùn)動(dòng)目標(biāo)，系統(tǒng)自動(dòng)跟蹤進(jìn)行交互；如果手動(dòng)選擇感興趣目標(biāo)，就在PC機(jī)界面上選擇自己感興趣的目標(biāo)，后續(xù)的跟蹤和動(dòng)作控制可以由系統(tǒng)自動(dòng)實(shí)現(xiàn)。因此，根據(jù)目標(biāo)運(yùn)動(dòng)軌跡的不同，通過跟蹤理解算法，轉(zhuǎn)化為不同的控制命令，通過無線網(wǎng)絡(luò)傳輸?shù)絅AO機(jī)器人中，實(shí)現(xiàn)了復(fù)雜背景下的視覺跟蹤交互。系統(tǒng)的軟件實(shí)現(xiàn)框圖如圖4所示。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文機(jī)器人交互系統(tǒng)的有效性，本節(jié)對該系統(tǒng)進(jìn)行了一系列的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5所示。

從圖5、圖6中可以看出，該交互系統(tǒng)可以對于目標(biāo)的上下左右運(yùn)動(dòng)、目標(biāo)窗口尺寸大小變化的情況實(shí)現(xiàn)較好的跟蹤，沒有時(shí)間延遲，跟蹤精確，這樣的跟蹤能力說明目標(biāo)分割精確，跟蹤算法實(shí)時(shí)性好，精度高。

左右運(yùn)動(dòng)跟蹤過程比較復(fù)雜，目標(biāo)在運(yùn)動(dòng)的過程中窗口尺寸也在發(fā)生變化，所以，對區(qū)域劃分，設(shè)定一定運(yùn)動(dòng)范圍的跟蹤理解算法對于交互正確進(jìn)行非常有效，從而實(shí)現(xiàn)了復(fù)雜背景下基于視覺跟蹤的自然人機(jī)交互系統(tǒng)。

圖4 人機(jī)交互系統(tǒng)軟件實(shí)現(xiàn)流程圖

圖5 跟蹤交互效果圖（1）

圖6 跟蹤交互效果圖（2）

5 結(jié)論

本文建立了一個(gè)面向仿人機(jī)器人NAO的機(jī)器人機(jī)交互平臺(tái)，并將視覺跟蹤算法應(yīng)用于該平臺(tái)?；赥LD跟蹤方法，建立一個(gè)復(fù)雜背景下目標(biāo)跟蹤的機(jī)器人交互平臺(tái)，這個(gè)平臺(tái)將目標(biāo)移動(dòng)轉(zhuǎn)化為相應(yīng)的控制命令，控制NAO機(jī)器人的運(yùn)動(dòng)。實(shí)驗(yàn)證明，此交互平臺(tái)可以實(shí)時(shí)、有效、穩(wěn)定、精確地跟蹤和理解目標(biāo)的運(yùn)動(dòng)，可根據(jù)跟蹤結(jié)果完成交互任務(wù)。

[1] Fang H C,Ong S K, Nee A Y C. Novel AR-based interface for human-robot interaction and visualization[J]. Advances in Manufacturing,2014,2(4):275-288.

[2] Hoffman G, Weinberg G. Interactive improvisation with a robotic marimba player[J]. Autonomous Robots,2011,31(2):133-153.

[3] Wang Hesheng, Liu Yunhui, Chen Weidong. Visual tracking of robots in uncalibrated environments[J]. Mechatronics,2012,22(4): 390-397.

[4] Rouanet P, Oudeyer P Y. Danieau F, et al. The Impact of Human-Robot Interfaces on the Learning of Visual Objects[J]. Robotics,2013,29(2):525-541.

[5] Kalal Z, Matas J, Mikolajczyk K. Online learning of robust object detectors during unstable tracking [C]. Computer Vision Workshops (ICCV Workshops), 2009.

[6] Kalal Z, Mikolajczyk K, Matas J. Face-TLD: Tracking -Learning-Detection Applied to Faces[C], International Conference on Image Processing, 2010.

[7] Kalal Z, Mikolajczyk K, Matas J. Forward-Backward Error: Automatic Detection of Tracking Failures [C]. International Conference on Pattern Recognition (ICPR 2010), 2010: 23-26.

[8] Kalal Z, Mikolajczyk K, Matas J. P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints [C]. Computer Vision and Pattern Recognition (CVPR), 2010:49-56.

[9] 劉志明. 基于動(dòng)態(tài)手勢識(shí)別的人機(jī)交互技術(shù)研究[D]，浙江大學(xué)，2008.

本文課題是中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目，項(xiàng)目編號(hào)DC201502060303。