基于智能手機(jī)控制的家居服務(wù)機(jī)器人研發(fā)

張毅 張磊 楊楊 陳紅松 黎勝輝 徐曉東

(重慶郵電大學(xué)，國家信息無障礙工程研發(fā)中心，重慶，400065)

引言

服務(wù)機(jī)器人是計(jì)算機(jī)技術(shù)、自動(dòng)控制技術(shù)、先進(jìn)制造技術(shù)、生物技術(shù)等多個(gè)學(xué)科快速發(fā)展的綜合產(chǎn)物。近年來服務(wù)機(jī)器人的研究取得了長足的進(jìn)步，已經(jīng)逐漸走進(jìn)人們的現(xiàn)實(shí)生活。隨著我國城市化的速度加快以及老齡人口的增多，越來越多的人將生活在一個(gè)相對獨(dú)立的環(huán)境里，越來越多的人希望生活中有一個(gè)忠實(shí)可靠的伴侶。而現(xiàn)有計(jì)算機(jī)技術(shù)、電子信息技術(shù)的高速發(fā)展也將推動(dòng)服務(wù)機(jī)器人進(jìn)入家庭，服務(wù)機(jī)器人近幾年來已經(jīng)成為機(jī)器人領(lǐng)域的一個(gè)熱點(diǎn)研究方向[1]。

當(dāng)前主流的人機(jī)交互方式采用用戶圖形界面（WINP/ GUI）或多媒體用戶界面，也是時(shí)下國內(nèi)外機(jī)器人控制系統(tǒng)普遍采用的交互方式，主要使用鍵盤、鼠標(biāo)與顯示器等IO設(shè)備[2]。與傳統(tǒng)命令界面相比，具有圖形界面的人機(jī)交互更簡便直觀，尤其是多媒體技術(shù)引入了音頻、視頻等動(dòng)態(tài)媒體，大大豐富了計(jì)算機(jī)表現(xiàn)信息的形式。然而，由于這類交互方式仍使用鍵盤、鼠標(biāo)等常規(guī)輸入設(shè)備，這種單通道的輸入不僅存在人機(jī)交互通信帶寬不平衡的瓶頸，而且效率差、缺乏靈活性，不符合人們自然行為習(xí)慣。理想的人機(jī)交互系統(tǒng)是多模態(tài)的，具有高友好度人機(jī)接口、便攜通用性及開放式系統(tǒng)結(jié)構(gòu)[3]。與此同時(shí)，若能利用網(wǎng)絡(luò)通訊技術(shù)解決機(jī)器人遠(yuǎn)程控制問題，無疑將大大提高機(jī)器人控制便利性并拓寬應(yīng)用范圍。

針對我國智能家居服務(wù)機(jī)器人的發(fā)展現(xiàn)狀與不足，我們研發(fā)了一種基于智能手機(jī)控制的家居服務(wù)機(jī)器人。通過智能手機(jī)遠(yuǎn)程控制端可以在世界上任何一個(gè)可以上網(wǎng)的地方看到用戶家庭里的狀況，并且可以用手機(jī)控制機(jī)器人的行走路徑，真正做到全方位無盲點(diǎn)的實(shí)時(shí)監(jiān)控?；贏RM平臺的嵌入式視覺處理系統(tǒng)實(shí)現(xiàn)手勢識別并準(zhǔn)確地控制機(jī)器人運(yùn)動(dòng)。利用智能手機(jī)開發(fā)平臺成熟的圖形界面與MULTI-TOUCH觸屏等交互技術(shù)可實(shí)現(xiàn)靈活便捷、自然高效的機(jī)器人多模態(tài)人機(jī)交互。還可以作為智能家居控制平臺，與智能家電進(jìn)行聯(lián)網(wǎng)，可以通過智能手機(jī)遠(yuǎn)程控制家里的電器完成一系列工作。

1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

本家居服務(wù)機(jī)器人系統(tǒng)各模塊利用通用平臺（Linux、Windows）進(jìn)行開發(fā)，模塊間留有獨(dú)立可擴(kuò)展的接口，可根據(jù)具體需求對相關(guān)部分進(jìn)行擴(kuò)展或裁減。本系統(tǒng)（如圖1）主要包括主控模塊、智能手機(jī)控制端、ZigBee智能家居、嵌入式視覺處理系統(tǒng)、超聲波模塊、電子羅盤模塊、語音模塊等。

圖1 系統(tǒng)結(jié)構(gòu)框圖

2 智能手機(jī)控制端

2.1 遠(yuǎn)程視頻監(jiān)控

遠(yuǎn)程視頻監(jiān)控主要依靠的硬件為wifi視頻模塊，該模塊利用H.264對視頻圖像進(jìn)行壓縮，采用用UDP協(xié)議向外傳送壓縮信息。通過智能手機(jī)終端的解壓后顯示圖像，實(shí)現(xiàn)視頻監(jiān)控。由于模塊使用的是wifi局域網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，不具備因特網(wǎng)訪問能力。因此，需要搭建網(wǎng)絡(luò)服務(wù)器進(jìn)行端口轉(zhuǎn)發(fā)來實(shí)現(xiàn)遠(yuǎn)程視頻及控制命令的傳輸。運(yùn)行機(jī)制如圖2。

圖2 遠(yuǎn)程視頻監(jiān)控系統(tǒng)框圖

2.2 基于全景紅外攝像頭的室內(nèi)定位系統(tǒng)

將普通RGB全景攝像頭去除紅外濾光片再加裝可見光濾波片之后便可改裝為全景紅外攝像頭。

圖3 普通攝像頭與紅外攝像頭對比

經(jīng)過改裝的攝像頭將只能看見紅外線，因此，只需在需要定位的物體上放置紅外LED便可進(jìn)行定位。為了確保在白天有陽光射入室內(nèi)的情況下定位系統(tǒng)也能正常工作，需要加厚可見光濾光片，同時(shí)加大LED燈的功率。（如圖3）。

3 ZigBee智能家居

ZigBee是一種新興的短距離、低功耗、低數(shù)據(jù)速率、低成本、低復(fù)雜度的無線網(wǎng)絡(luò)技術(shù)，采用了IEEE 802.15.4強(qiáng)有力的無線物理層所規(guī)定的全部優(yōu)點(diǎn)：省電、簡單、成本低的規(guī)格；同時(shí)增加了邏輯網(wǎng)絡(luò)、網(wǎng)絡(luò)安全和應(yīng)用層[4-5]。采用RS232/485接口數(shù)據(jù)透明傳輸，通過MESH網(wǎng)絡(luò)進(jìn)行串行數(shù)據(jù)通訊，使RS232/RS485數(shù)據(jù)流可以通過多跳方式進(jìn)行傳輸。

ZigBee智能家居是以機(jī)器人為核心建立的系統(tǒng)。智能家居感知系統(tǒng)可視為機(jī)器人本體的外部傳感器，依托感知網(wǎng)絡(luò)采集的數(shù)據(jù)和機(jī)器人本體傳感器采集的數(shù)據(jù)，能有效的擴(kuò)展移動(dòng)機(jī)器人的感知系統(tǒng)。其主要內(nèi)容是機(jī)器人與外部網(wǎng)絡(luò)接口的研究、數(shù)據(jù)融合模型、協(xié)同控制模型的研究、機(jī)器人對環(huán)境信息的感知與協(xié)同處理技術(shù)等。以機(jī)器人為核心建立的ZigBee智能家居示意圖如圖4所示。

圖4 以機(jī)器人為核心建立的ZigBee智能家居示意圖

3.1 ZigBee硬件部分：

圖5 Zigbee硬件部分

ZigBee模塊（如圖5）采用無線龍公司的CC2430模塊，集成符合IEEE802.15.4 標(biāo)準(zhǔn)的2.4 GHz 的 RF 無線電收發(fā)機(jī)和高性能、低功耗的8051微控制器內(nèi)核。具有優(yōu)良的無線接收靈敏度和強(qiáng)大的抗干擾性能，其電壓范圍為1.8V～3.6 V。ZigBee的外圍設(shè)備由4個(gè)按鍵和RS-232接口等組成。Zigbee部分整體框圖如圖6所示

圖6 ZigBee部分整體框圖

3.2 ZigBee軟件部分

系統(tǒng)數(shù)據(jù)流向主要集中在向上層匯聚，并沒有過多地同級通信，因此系統(tǒng)網(wǎng)絡(luò)采用星型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。一個(gè)ZigBee節(jié)點(diǎn)作為協(xié)調(diào)器，上電后，首先進(jìn)行硬件初始化，初始化完成后進(jìn)行協(xié)議相關(guān)參數(shù)配置，同時(shí)配置協(xié)調(diào)器的64位IEEE地址，協(xié)調(diào)器接著開始搜索網(wǎng)絡(luò)，根據(jù)鏈路質(zhì)量等選擇信道建立網(wǎng)絡(luò)。

圖7 協(xié)調(diào)器節(jié)點(diǎn)流程圖

圖8 終端節(jié)點(diǎn)流程圖

3.2.1 協(xié)調(diào)節(jié)點(diǎn)的工作原理

首先，協(xié)調(diào)節(jié)點(diǎn)初始化協(xié)議棧，并對信道進(jìn)行掃描，當(dāng)發(fā)現(xiàn)空閑信道時(shí)便創(chuàng)建一個(gè)網(wǎng)絡(luò)，等待子節(jié)點(diǎn)的入網(wǎng)請求，有子節(jié)點(diǎn)響應(yīng)時(shí)，與子節(jié)點(diǎn)建立綁定，為子節(jié)點(diǎn)分配地址，并開始等待子節(jié)點(diǎn)發(fā)送數(shù)據(jù)，接收完數(shù)據(jù)后進(jìn)行預(yù)處理后發(fā)往WiFi，再與智能終端交互數(shù)據(jù)。協(xié)調(diào)器需要一直監(jiān)聽網(wǎng)絡(luò)中子節(jié)點(diǎn)的信號，因此協(xié)調(diào)器要一直處于工作狀態(tài)。其工作流程圖如圖7所示。

3.2.2 終端節(jié)點(diǎn)的工作原理

終端節(jié)點(diǎn)通過掃描發(fā)現(xiàn)協(xié)調(diào)節(jié)點(diǎn)，并向協(xié)調(diào)節(jié)點(diǎn)發(fā)送入網(wǎng)請求并要求綁定，入網(wǎng)成功后，設(shè)置工作模式，對相關(guān)參數(shù)進(jìn)行配置并啟動(dòng)定時(shí)器，然后ZigBee終端節(jié)點(diǎn)采集傳感器信息或接收來自協(xié)調(diào)器的控制指令，打包經(jīng)射頻模塊發(fā)往路由節(jié)點(diǎn)或協(xié)調(diào)節(jié)點(diǎn)。流程圖如圖8所示。

4 嵌入式視覺處理系統(tǒng)

該嵌入式視覺處理系統(tǒng)主要基于OpenCV視覺庫在嵌入式平臺上利用類Haar特征和Adaboost算法實(shí)現(xiàn)手勢識別并控制機(jī)器人運(yùn)動(dòng)[7-8]。提出了一個(gè)簡單又實(shí)用的基于手勢跟蹤的動(dòng)態(tài)手勢理解方法，基本語義是控制輪椅的前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止。

4.1 基于手勢跟蹤的動(dòng)態(tài)手勢

將攝像頭獲取的圖像平均分為四個(gè)部分，如圖9所示。如果手勢為握拳的姿態(tài)，且手部區(qū)域的質(zhì)心在視頻圖像區(qū)域1中，即為前進(jìn)的控制語義；當(dāng)跟蹤的手勢質(zhì)心從區(qū)域1轉(zhuǎn)移到區(qū)域2中，則表示相應(yīng)的運(yùn)動(dòng)控制命令變?yōu)楹笸耍蝗绻謩輩^(qū)域的質(zhì)心位置在區(qū)域3內(nèi)，表示左轉(zhuǎn)的命令；若手勢區(qū)域的質(zhì)心位置在區(qū)域4內(nèi)，表示右轉(zhuǎn)的命令。當(dāng)手勢是手掌時(shí)，不管跟蹤的手勢質(zhì)心在哪個(gè)區(qū)域，都表示為停止的命令。

圖9 控制區(qū)域劃分

圖10給出了控制區(qū)域的手勢跟蹤結(jié)果，從圖可知，對于人手在復(fù)雜背景下的各種移動(dòng)，包括手勢在景深變化中引起的縮放和手勢的形狀和方向變化，系統(tǒng)都可以很好的理解手勢命令的變化。

圖10 控制區(qū)域的手勢跟蹤

4.2 利用OpenCV 視覺庫對算法進(jìn)行實(shí)現(xiàn)

在嵌入式系統(tǒng)上實(shí)現(xiàn)手勢識別算法，需將OpenCV視覺庫從X86平臺進(jìn)行移植到嵌入式平臺上，其中涉及在X86 平臺下進(jìn)行交叉編譯，去除OpenCV的highgui模塊中難以移植的接口部分等。

4.2.1 OpenCV移植

OpenCV免費(fèi)提供了基于MS-Windows和基于Linux操作系統(tǒng)的源代碼，但這些源碼主要都針對PC機(jī)平臺，對于具有嵌入式Linux操作系統(tǒng)的嵌入式ARM開發(fā)平臺，OpenCV并沒有作具體的移植介紹，若需在嵌入式ARM平臺上利用OpenCV進(jìn)行應(yīng)用開發(fā)，則必須對OpenCV進(jìn)行交叉編譯和移植。將編譯好的動(dòng)態(tài)鏈接庫下載到嵌入式Linux的文件系統(tǒng)中，并通過配置OpenCV環(huán)境變量便可以使用OpenCV中的相關(guān)函數(shù)[9-10]。

4.2.1 基于ARM處理器的硬件平臺

系統(tǒng)采用D881HD720P攝像頭，作為圖像采集前端，配以3.5寸的液晶顯示屏，作為圖像輸出以及人機(jī)交互界面。處理器采用三星公司的ARM9芯片S3C2440，F(xiàn)lash存儲器包括256M的Nand Flash和2M的Nor Flash，SDRAM內(nèi)存64M。硬件結(jié)構(gòu)框圖如下圖11。

圖11 硬件結(jié)構(gòu)框圖

5 實(shí)驗(yàn)及結(jié)果分析

在智能輪椅上驗(yàn)證基于OpenCV的手勢識別并控制機(jī)器人的有效性。硬件部分包括攝像頭、ARM平臺、家居服務(wù)機(jī)器人。軟件部分在利用Intel公司的開源OpenCV計(jì)算機(jī)視覺庫的基礎(chǔ)上，依據(jù)手勢膚色特征和輪廓特征檢測出手部區(qū)域作為被跟蹤對象的初始狀態(tài)，利用Camshift跟蹤算法與Kalman濾波相結(jié)合的方法進(jìn)行手勢的跟蹤，Camshift算法實(shí)現(xiàn)對手勢的自動(dòng)跟蹤，并輸出質(zhì)心位置為測量信號，采用Kalman濾波算法校對手心位置，可以克服Camshift算法的缺陷，以及有大面積膚色干擾時(shí)，也能實(shí)現(xiàn)實(shí)時(shí)、可靠的跟蹤。圖12顯示了跟蹤結(jié)果。

圖12 跟蹤結(jié)果

因?yàn)镵alman濾波器能預(yù)測手勢的位置，增強(qiáng)了跟蹤的魯棒性。根據(jù)跟蹤的動(dòng)態(tài)手勢理解方法，不同的動(dòng)態(tài)手勢對應(yīng)不同的控制指令，用戶通過觀看和改變手勢質(zhì)心在視頻圖像上所處的區(qū)域，即可控制機(jī)器人的運(yùn)動(dòng)。在實(shí)驗(yàn)室環(huán)境下進(jìn)行實(shí)驗(yàn)，這五種手勢的準(zhǔn)確率達(dá)到了90%。

智能手機(jī)控制機(jī)器人界面如圖14，智能手機(jī)可以通過網(wǎng)絡(luò)遠(yuǎn)程控制機(jī)器人運(yùn)動(dòng)并且可以檢測環(huán)境信息，試驗(yàn)驗(yàn)證可以達(dá)到預(yù)期的效果。

圖14 智能手機(jī)控制界面

6 結(jié)論

課題組設(shè)計(jì)并實(shí)現(xiàn)了基于智能手機(jī)控制的家居服務(wù)機(jī)器人，只需通過智能手機(jī)便可對家居服務(wù)機(jī)器人進(jìn)行便捷靈活的遙控操作?；贏RM平臺的嵌入式視覺處理系統(tǒng)實(shí)現(xiàn)手勢位置的準(zhǔn)確跟蹤，再結(jié)合手勢特征，可以得到五個(gè)控制指令去控制機(jī)器人的運(yùn)動(dòng)。此系統(tǒng)具有良好的實(shí)時(shí)性與人機(jī)交互性能，其高友好度的人機(jī)接口具有新穎的人體動(dòng)作解析及視頻反饋等功能。將機(jī)器人控制融入日常生活的技術(shù)實(shí)現(xiàn)，隨著服務(wù)性機(jī)器人進(jìn)入千家萬戶，將極大地改變?nèi)藗兾磥淼纳钅Ｊ健?/p>

[1] Drazen Brsci′c and Hideki Hashimoto. Mobile Robot as Physical Agent of Intelligent Space[J]. Journal of Computing and Information Technology, 2009: 81-94

[2] Baoye Song, Guohui Tian, Guodong Li, Fengyu Zhou and Dongxu Liu. ZigBee based Wireless Sensor Networks for Service Robot Intelligent Space[J]. International Conference on Information Science and Technology, 2011: 834-838.

[3] PENG Jun-jie,HEHui,ZHUPing-an,LIU Yan-ping,ZHANG Xue-jun, JIN Yi. ZigBee-based new approach to smart home[J]. J Shanghai Univ (Engl Ed), 2010:12-16.

[4] 王田苗,陶永,魏洪興等，基于智能空間的家庭服務(wù)機(jī)器人混合定位方法[J].北京航空航天大學(xué)學(xué)報(bào), 2009:231-235.

[5] 田國會,李曉磊,趙守鵬等，家庭服務(wù)機(jī)器人智能空間技術(shù)研究與進(jìn)展[J].山東大學(xué)學(xué)報(bào) (工學(xué)版), 2007:53-59.

[6] 何東之,于敬芝,王書鋒等，基于環(huán)繞智能的智能家居控制系統(tǒng)研究[J].計(jì)算機(jī)工 程, 2007:261-262.

[7] 孫凱，劉士榮.多目標(biāo)跟蹤的改進(jìn)Camshift/卡爾曼濾波組合算法[J].2009,38(1):9-14.

[8] P.Jia,H.Hu, T.Lu and K.Yuan. Head Gesture Recognition for Hands-free Control of an Intelligent Wheelchair [J]. Journal of Industrial Robot, 2007, 1(34):60-68.

[9] 于仕琪，劉瑞禎. 學(xué)習(xí)OpenCV（中文版）[M]. 北京：清華大學(xué)出版社，2009.

[10] 陳勝勇,劉勝.基于OpenCV 的計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)[M]. 北京：科學(xué)技術(shù)出版社，2008.