基于ROS的空間機(jī)器人人機(jī)交互系統(tǒng)設(shè)計

左軒塵，韓亮亮，莊 杰，石琪琦，黃 煒

（1.電子科技大學(xué) 通信與信息工程學(xué)院，四川 成都611731；2.上海宇航系統(tǒng)工程研究所，上海201109）

0 引 言

隨著空間機(jī)器人技術(shù)的發(fā)展，傳統(tǒng)的搖桿按鍵等遠(yuǎn)程機(jī)器人操控方式［1，2］越來越展現(xiàn)出操作繁瑣、臨場感不強(qiáng)等缺點(diǎn)，因此基于姿態(tài)識別［3］和語音識別［4，5］的人機(jī)交互方式越來越受到人們的關(guān)注，但空間機(jī)器人的各項人機(jī)交互能力日趨完善的同時，為機(jī)器人編寫軟件這一工作也變得越來越復(fù)雜繁重，大量的冗余代碼、可移植性差的平臺、功能層次性差、仿真的通用性差等各種問題也凸顯出來。機(jī)器人操作系統(tǒng)ROS （robot operating system）很好地解決了機(jī)器人軟件開發(fā)過程中的代碼冗余、可移植性差等問題［6］，同時兼有多編程語言、跨平臺、軟件資源豐富等多個優(yōu)點(diǎn)于一身［7］，越來越多地成為機(jī)器人開發(fā)領(lǐng)域的首選工具。

本文在基于ROS平臺的基礎(chǔ)上，設(shè)計了操作者使用手臂姿態(tài)和語音控制的空間機(jī)器人人機(jī)交互系統(tǒng)，并通過雙虛擬機(jī)械臂反饋的方式，來避免視頻反饋帶來的延遲感，從而實(shí)現(xiàn)操作者在虛擬現(xiàn)實(shí)環(huán)境中對空間機(jī)器人的遙操作，改善了傳統(tǒng)機(jī)器人操作繁瑣、臨場感差等缺點(diǎn)，為新型空間機(jī)器人的人機(jī)交互方式提供了基礎(chǔ)。

1 ROS系統(tǒng)框架

ROS起源于2007年斯坦福大學(xué)人工智能實(shí)驗室與Willow Garage公司的個人機(jī)器人項目PRP （personal robots program）之間的合作。隨著2010年Willow Garage正式發(fā)布了開源ROS系統(tǒng)，機(jī)器人領(lǐng)域展開了學(xué)習(xí)和使用ROS的熱潮［8］。

ROS是開源的機(jī)器人軟件平臺，能為異質(zhì)計算機(jī)集群提供用于機(jī)器人的次級操作系統(tǒng)，目標(biāo)是在機(jī)器人研發(fā)領(lǐng)域提高代碼復(fù)用率，主要特點(diǎn)有點(diǎn)對點(diǎn)設(shè)計、多語言支持、精簡與集成、豐富的工具包、免費(fèi)開源等。ROS的總體框架結(jié)構(gòu)如圖1所示。

圖1 ROS總體框架

計算圖級主要是描述程序是如何運(yùn)行的，這一級主要包括節(jié)點(diǎn) （node）、消息 （message）、主題 （topic）和服務(wù)（service），其中節(jié)點(diǎn)是指執(zhí)行運(yùn)算任務(wù)的進(jìn)程，節(jié)點(diǎn)之間通過消息進(jìn)行通訊，消息以一種發(fā)布或訂閱主題的方式進(jìn)行傳遞，ROS控制器則提供了主題發(fā)布的服務(wù)。其結(jié)構(gòu)如圖2所示。

圖2 ROS計算圖級組織結(jié)構(gòu)

圖2中，節(jié)點(diǎn)1 將發(fā)送數(shù)據(jù)給需要的節(jié)點(diǎn)，因此在ROS控制器上注冊了對應(yīng)的主題和服務(wù)；而節(jié)點(diǎn)2需要接收對應(yīng)的消息，因此節(jié)點(diǎn)2在ROS控制器上訂閱了對應(yīng)的主題，從而獲得該主題發(fā)布者的地址與端口，進(jìn)而與節(jié)點(diǎn)1進(jìn)行通信協(xié)商，最終接收到需要的消息數(shù)據(jù)［9］。ROS計算圖級結(jié)構(gòu)可以允許同時多個節(jié)點(diǎn)發(fā)布或者訂閱同一個主題的消息，因此發(fā)布節(jié)點(diǎn)和接收節(jié)點(diǎn)僅需要知道自己所需要的消息的主題，而不必記住其發(fā)布節(jié)點(diǎn)的名稱，這樣便可以保證傳輸?shù)暮啙嵭浴⒔y(tǒng)一性和可靠性。

文件系統(tǒng)級主要包括包 （package）和堆 （stack）兩個結(jié)構(gòu)。ROS的軟件以包的方式組織起來，并提供一種易于使用的結(jié)構(gòu)以便于重復(fù)使用。堆是包的集合，提供一個完整的功能給開發(fā)者或用戶使用，如圖3所示。

圖3 ROS的文件系統(tǒng)級組織結(jié)構(gòu)

社區(qū)級的概念是指網(wǎng)絡(luò)上發(fā)布代碼的軟件倉庫，開發(fā)者可以很方便的將自己開發(fā)的ROS包或ROS堆共享到社區(qū)，也可以從分布式社區(qū)結(jié)構(gòu)中找到自己需要的資源。

2 人機(jī)交互系統(tǒng)設(shè)計

空間機(jī)器人人機(jī)交互系統(tǒng)的ROS整體結(jié)構(gòu)包括人機(jī)交互控制端的ROS堆和遠(yuǎn)程機(jī)械臂端的ROS堆兩部分組成，如圖4所示。

圖4 空間機(jī)器人人機(jī)交互系統(tǒng)ROS結(jié)構(gòu)

人機(jī)交互控制端ROS堆通過人體姿態(tài)識別和語音識別獲取人的控制信息，將人體的控制信息顯示在雙虛擬機(jī)械臂顯示系統(tǒng)上。遠(yuǎn)程機(jī)械臂端的ROS堆負(fù)責(zé)將收到的控制端姿態(tài)信息進(jìn)行解算，并驅(qū)動機(jī)械臂進(jìn)行工作，同時對機(jī)械臂當(dāng)前的姿態(tài)情況進(jìn)行識別，并反饋機(jī)械臂的指令執(zhí)行情況和周圍環(huán)境情況到人機(jī)交互控制端。兩個ROS堆之間通過無線網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的實(shí)時同步和交互，并顯示在雙虛擬機(jī)械臂的主顯示界面上。

3 人機(jī)交互控制端

人機(jī)交互控制端ROS堆包括人體姿態(tài)識別包、自適應(yīng)語音識別包和雙虛擬機(jī)械臂演示包3個部分。人機(jī)交互控制端通過人體姿態(tài)識別和語音識別獲取人的控制信息，并同時接收來自遠(yuǎn)程機(jī)械臂端的機(jī)械臂姿態(tài)信息和機(jī)械臂周邊環(huán)境的激光數(shù)據(jù)，將人體姿態(tài)、機(jī)械臂姿態(tài)及虛擬現(xiàn)實(shí)環(huán)境顯示在雙虛擬機(jī)械臂顯示系統(tǒng)上。

3.1 人體姿態(tài)識別包

人體姿態(tài)識別包的工作流程如圖5所示。ROS人體姿態(tài)識別包通過陀螺儀傳感器和加速度傳感器實(shí)時獲取手臂姿態(tài)的角速度信息與加速度信息，采用遞歸濾波器組的方法進(jìn)行濾波后，解算出姿態(tài)角信息，將獲取到的姿態(tài)角主題發(fā)布到ROS控制端，雙虛擬機(jī)械臂顯示系統(tǒng)通過訂閱該主題獲得姿態(tài)角信息。

圖5 人體姿態(tài)識別包工作流程

佩戴在人體上的多維傳感器陣列會受到人體自然輕微抖動的干擾，產(chǎn)生頻率較為集中的干擾噪聲。本文中，人體姿態(tài)識別包采用復(fù)雜度低的均值濾波、卡爾曼濾波（Kalman filter）和利用凱撒 （Kaiser）窗函數(shù)設(shè)計的有限沖擊響應(yīng) （finite impulse response，F(xiàn)IR）低通濾波組成的濾波器組，來針對性地濾除人體自然抖動的噪聲，從而輸出穩(wěn)定可靠的加速度信號。圖6為一次人體姿態(tài)運(yùn)動采集到的加速度信號在經(jīng)過上述濾波器前后的對比。

姿態(tài)傳感器采集到的原始加速度數(shù)據(jù)與真實(shí)值的噪聲方差約為2.125×10－3，濾波后的噪聲方差約為1.76×10－8，較傳統(tǒng)卡爾曼濾波后的10－5數(shù)量級噪聲方差有了明顯的提高，可見該濾波器組對于人體自然抖動噪聲有了很好的抑制，從而獲得了更為精準(zhǔn)的人體姿態(tài)數(shù)據(jù)。

姿態(tài)角解算采用地理坐標(biāo)系與設(shè)備坐標(biāo)系兩種坐標(biāo)系對姿態(tài)的變化進(jìn)行研究［10］，其中地理坐標(biāo)系為參考坐標(biāo)系。傳感器運(yùn)動時，設(shè)備坐標(biāo)系與參考坐標(biāo)系產(chǎn)生的角度即為姿態(tài)角，分別為旋轉(zhuǎn)角γ（Roll）、傾斜角θ（Pitch）和偏移角φ（Yaw）來表示，如圖7所示。

圖6 姿態(tài)傳感器加速度信號濾波前后對比

圖7 傳感器姿態(tài)角

若通過角速度求解姿態(tài)角，四元素法與坐標(biāo)系變換理論相結(jié)合的方法［11］可以對姿態(tài)角進(jìn)行解算，但涉及到大量的矩陣變換和系數(shù)反解，運(yùn)算復(fù)雜度較高。為降低運(yùn)算復(fù)雜度，本文采用歐拉角法進(jìn)行姿態(tài)角解算［12］。傳感器三軸姿態(tài)角速度分別為wx、wy和wz，從參考坐標(biāo)系依次轉(zhuǎn)過γ、θ和φ 角則可以得到設(shè)備坐標(biāo)系，即

對式 （1）進(jìn)行矩陣運(yùn)算后可以得出

求解式 （2）中矩陣的逆，得到姿態(tài)角的表達(dá)式

對式 （3）求解便可得到γ、θ和φ 這3個姿態(tài)角參數(shù)。本文中，雙虛擬機(jī)械臂顯示包通過訂閱姿態(tài)角發(fā)布主題／robot／attitude來獲得姿態(tài)角信息。

3.2 語音識別包

ROS使用CMU Sphinx和Festival開源項目中的代碼，發(fā)布了獨(dú)立的語音識別包，可以將識別出來的語音轉(zhuǎn)換成文字，并交給雙虛擬機(jī)械臂顯示系統(tǒng)進(jìn)行實(shí)時處理［8］。其中的核心文件recognizer.py通過麥克風(fēng)收集語音消息，并調(diào)用語音識別庫進(jìn)行識別生成文本信息，如圖8所示。

圖8 ROS語音識別程序框架

本系統(tǒng)中添加了up （向上）、down （向下）、turn left（向左）、turn right（向右）、left rotate（向左旋轉(zhuǎn)）、right rotate（向右旋轉(zhuǎn)）、catch （抓?。┖蛂elease （釋放）8 個語音指令到離線語音包robocup.corpus文件中，將其在線生成的語音字典robocup.dic文件和語法文件robocup.lm下載并導(dǎo)入到本地，使用命令roslaunch 來運(yùn)行語音識別程序robocup.launch即可實(shí)現(xiàn)語音識別并控制機(jī)械臂執(zhí)行簡單的動作。識別生成的文本信息通過／recognizer／output主題發(fā)布消息，其余節(jié)點(diǎn)訂閱該主題即可獲得文本消息。

3.3 雙虛擬機(jī)械臂顯示包

為了改進(jìn)視頻反饋方式的實(shí)時性差、不能真實(shí)模擬工作環(huán)境的缺陷，提高遙操作機(jī)器人的精度，本文采用在虛擬現(xiàn)實(shí)的主顯示界面同時顯示雙虛擬機(jī)械臂的方法。其中虛擬機(jī)械臂1訂閱了人體姿態(tài)識別包的姿態(tài)角主題，實(shí)時顯示人體姿態(tài)的運(yùn)動情況，同時發(fā)送姿態(tài)信息到遠(yuǎn)程機(jī)械臂端的ROS堆；虛擬機(jī)械臂2則接收來自遠(yuǎn)程機(jī)械臂堆的真實(shí)機(jī)械臂姿態(tài)和周圍環(huán)境的情況，并通過虛擬現(xiàn)實(shí)技術(shù)實(shí)時顯示在主顯示界面上，達(dá)到操作者通過觀看主界面遙操作機(jī)械手的目的，如圖9所示。

圖9 虛擬機(jī)械臂1 （左）和虛擬機(jī)械臂2 （右）顯示界面

雙虛擬機(jī)械臂顯示ROS包接收來自遠(yuǎn)程機(jī)械臂姿態(tài)識別系統(tǒng)中激光傳感器和深度傳感器測量出來的周邊環(huán)境的激光數(shù)據(jù)，然后使用gmaping工具包生成虛擬現(xiàn)實(shí)的環(huán)境地圖，通過ROS 中的3D 可視化工具rviz顯示在主顯示界面上。

4 遠(yuǎn)程機(jī)械臂端

遠(yuǎn)程機(jī)械臂端ROS堆包括機(jī)械臂舵機(jī)控制包、機(jī)械臂姿態(tài)識別包和機(jī)械臂姿態(tài)運(yùn)算包3個部分，負(fù)責(zé)將收到的控制端姿態(tài)信息進(jìn)行解算，并驅(qū)動機(jī)械臂進(jìn)行工作，同時采用傳感器組對機(jī)械臂當(dāng)前的姿態(tài)和周圍環(huán)境進(jìn)行探測，并反饋探測到的數(shù)據(jù)到人機(jī)交互控制端。

機(jī)械臂姿態(tài)運(yùn)算ROS包接收來自人機(jī)交互控制端的人體姿態(tài)數(shù)據(jù)，將姿態(tài)信息進(jìn)行運(yùn)算，分解成機(jī)械手每個舵機(jī)的運(yùn)動角度。機(jī)械臂舵機(jī)控制包則通過遠(yuǎn)程ROS控制核心訂閱這些舵機(jī)運(yùn)動角度信息，實(shí)時驅(qū)動機(jī)械臂進(jìn)行運(yùn)動。本實(shí)驗系統(tǒng)以六自由度的舵機(jī)控制機(jī)械手為例，演示了姿態(tài)控制機(jī)械手的具體實(shí)現(xiàn)過程。圖10為機(jī)械臂舵機(jī)控制包根據(jù)人體姿態(tài)控制機(jī)械臂的實(shí)驗。

圖10 遠(yuǎn)程ROS機(jī)械手控制堆演示實(shí)驗

機(jī)械臂姿態(tài)識別ROS包通過讀取機(jī)械臂上的曲度傳感器和激光傳感器，獲取機(jī)械臂的運(yùn)動姿態(tài)和周圍環(huán)境的深度數(shù)據(jù)，反饋給本地人機(jī)交互系統(tǒng)進(jìn)行處理，操作者便可以通過主顯示界面直觀地看到遠(yuǎn)程機(jī)械臂的工作狀態(tài)。

5 結(jié)束語

本文設(shè)計了一種基于ROS機(jī)器人操作系統(tǒng)的空間機(jī)器人人機(jī)交互系統(tǒng)。該系統(tǒng)通過采集人體的姿態(tài)信息和語音控制信息，通過對采集到的信息進(jìn)行分析處理來控制遠(yuǎn)程機(jī)械臂進(jìn)行運(yùn)動，并將機(jī)械臂的實(shí)時姿態(tài)反饋至主顯示界面；同時，系統(tǒng)采用激光傳感器采集激光數(shù)據(jù)，并使用ROS包生成機(jī)械臂周圍的虛擬現(xiàn)實(shí)環(huán)境，解決了傳統(tǒng)空間機(jī)器人操控方式的操作繁瑣、系統(tǒng)延時大、現(xiàn)場感不強(qiáng)等缺點(diǎn)，使操作人員有如身臨其境地操作遠(yuǎn)程機(jī)械臂，能高效地完成機(jī)械臂控制作業(yè)。

［1］TANG Xinxing，NI Tao，Hironao Yamada，et al.Haptic feedback for master－slave construction tele－robot based on virtual reality technology ［J］.Machine Tool ＆ Hydraulics，2013，41 （21）：29－33 （in Chinese）. ［唐新星，倪濤，山田宏尚，等.主從遙操作工程機(jī)器人的虛擬觸覺反饋 ［J］.機(jī)床與液壓，2013，41 （21）：29－33.］

［2］TIAN Guo.Research of control strategies on tele－operated construction robot system based on wireless network ［D］.Guangdong：Guangdong University of Technology，2014 （in Chinese）.［田果.基于無線通信網(wǎng)絡(luò)的遙操作工程機(jī)器人系統(tǒng)控制策略研究 ［D］.廣東：廣東工業(yè)大學(xué)，2014.］

［3］CHEN Yimin，ZHANG Yunhua.Research on human－robot interaction technique based on hand gesture recognition ［J］.Robot，2009，31 （4）：351－356 （in Chinese）. ［陳一民，張云華.基于手勢識別的機(jī)器人人機(jī)交互技術(shù)研究 ［J］.機(jī)器人，2009，31 （4）：351－356.］

［4］SU Minfa.Home service robot control system based on speech signals recognition ［D］.Guangdong：Guangdong University of Technology，2014 （in Chinese）. ［蘇敏發(fā).基于語音識別的家用服務(wù)機(jī)器人控制系統(tǒng) ［D］.廣東：廣東工業(yè)大學(xué)，2014.］

［5］JIN Zuguang，CHEN Chao，TANG Jian.Design of the RFIDbased voice interaction system of indoor guide robot for the blind ［J］.Process Automation Instrumentation，2014，35（3）：73－76 （in Chinese）. ［靳祖光，陳超，唐堅.一種室內(nèi)導(dǎo)盲機(jī)器人的RFID－語音交互系統(tǒng)設(shè)計 ［J］.自動化儀表，2014，35 （3）：73－76.］

［6］HUANG Kaihong，YANG Xingrui，ZENG Zhiwen，et al.Design of outdoor mobile robot software system based on ROS［J］.Robot Technique and Application，2013，26 （4）：37－41（in Chinese）.［黃開宏，楊興銳，曾志文，等.基于ROS戶外移動機(jī)器人軟件系統(tǒng)構(gòu)建 ［J］.機(jī)器人技術(shù)與應(yīng)用，2013，26 （4）：37－41.］

［7］ZHANG Jianwei，ZHANG Liwei，HU Ying，et al.Opensource robot operating system—ROS ［M］.Beijing：Science Press，2012 （in Chinese）.［張建偉，張立偉，胡穎，等.開源機(jī)器人操作系統(tǒng)—ROS ［M］.北京：科學(xué)出版社，2012.］

［8］ROS Summarize ［EB／OL］. ［2013－10－1］.http：／／robotdu.com／thread－213－1－1.html，2013 （in Chinese）. ［ROS探索總結(jié) ［EB／OL］. ［2013－10－1］.http：／／robotdu.com／thread－213－1－1.html，2013.］

［9］GAO Ya，LI Xiaojuan，GUAN Yong，et al.Theorem prover ACL2－based verification of node communication in the robot operating system ROS ［J］.Journal of Chinese Computer Systems，2014，35 （9）：2126－2130 （in Chinese）.［高雅，李曉娟，關(guān)永，等.運(yùn)用定理證明器ACL2 驗證機(jī)器人操作系統(tǒng)ROS節(jié)點(diǎn)間通信 ［J］.小型微型計算機(jī)系統(tǒng)，2014，35 （9）：2126－2130.］

［10］XIAO Qian，YANG Ping，XU Libo.A gesture recognition method based on MEMS IMU ［J］.Journal of Transduction Technology，2013，26 （5）：611－615 （in Chinese）. ［肖茜，楊平，徐立波.一種基于MEMS慣性傳感器的手勢識別方法［J］.傳感技術(shù)學(xué)報，2013，26 （5）：611－615.］

［11］Yun X，Bachmann E R，McGhee R B.A simplified quaternion－based algorithm for orientation estimation from earth gravity and magnetic field measurements［J］.IEEE Transactions on Instrumentation and Measurement，2008，57 （3）：638－650.

［12］LIU Xing.The attitude test algorithm based on MEMS multidimensional inertial sensors ［D］.Harbin：Harbin Engineering University，2013 （in Chinese）.［劉星.多維MEMS慣性傳感器的姿態(tài)解算算法研究 ［D］.哈爾濱：哈爾濱工程大學(xué)，2013.］