基于Leap Motion手勢控制的智能家居輔助控制系統(tǒng)研究

劉希睿 蔣江紅 唐盼

摘要：如今智能家居概念逐漸普及并且已經(jīng)發(fā)展應(yīng)用到生活的多個(gè)方面。針對殘疾人士及兒童缺乏人機(jī)交互的缺陷，對智能家居使用方式進(jìn)行創(chuàng)新以及進(jìn)一步開發(fā)。首先，展示以KEA128作為單片機(jī)的下位機(jī)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)；然后，選擇藍(lán)牙無線網(wǎng)絡(luò)通信技術(shù)作為通信橋；最后，詳細(xì)介紹Leap Motion實(shí)現(xiàn)原理、手勢定義設(shè)計(jì)及其具體實(shí)現(xiàn)。文章介紹了本系統(tǒng)在智能家居的基礎(chǔ)上進(jìn)行的應(yīng)用創(chuàng)新，提供更智能化的生活。實(shí)驗(yàn)證明，智能家居環(huán)境中可以應(yīng)用Leap Motion作為新型控制模式。

關(guān)鍵詞：Leap Motion；手勢控制；智能家居

隨著現(xiàn)代科技的迅速發(fā)展與人們?nèi)找嫔钏降奶岣?，智能家居的概念逐漸走入人們的視野，如今已經(jīng)應(yīng)用到生活的多個(gè)方面，如自動(dòng)化控制、醫(yī)療、智能家電等。越來越多的研究機(jī)構(gòu)研發(fā)智能家居產(chǎn)品，如國外的MIT，IBM，Microsoft[1]，還有國內(nèi)的華為、小米等。人們對智能家居概念的理解越深入，越相信科技能改善生活條件[2]。智能家居系統(tǒng)是指可以及時(shí)地[3]滿足用戶各種個(gè)性化需求、擬人化的系統(tǒng)。該系統(tǒng)利用計(jì)算機(jī)技術(shù)、綜合布線技術(shù)、網(wǎng)絡(luò)通信技術(shù)，集結(jié)構(gòu)、服務(wù)、管理、控制為一體[4]，實(shí)現(xiàn)家具的智能化，提供交互功能，使家居生活更加舒適、便捷[5]。

傳統(tǒng)的智能家居終端以手機(jī)、平板或者電腦為主，雖然使用簡便，但是對于手指有點(diǎn)觸障礙的人群以及小孩來說手機(jī)平板點(diǎn)觸式的控制方式并不適用[6]?？紤]到小孩子以及生活難以自理的殘疾人士的生活習(xí)慣，本系統(tǒng)在原先智能家居的基礎(chǔ)上加入手勢控制方式，可以滿足生活中人們的需求。實(shí)現(xiàn)新型的家居智能化，為用戶的家庭生活提供豐富多樣的交互模式和舒適便捷的操作體驗(yàn)。

本系統(tǒng)針對智能家居使用方式進(jìn)行應(yīng)用創(chuàng)新，采用手勢識(shí)別對家具電器進(jìn)行操控。本系統(tǒng)通過對Leap Motion智能手勢感應(yīng)器的進(jìn)一步開發(fā)，定義簡單的手勢動(dòng)作，達(dá)到控制家居家電的目的。實(shí)驗(yàn)中選擇成熟的藍(lán)牙技術(shù)作為通信連接橋，采用KEA128單片機(jī)，使用Leap Motion作為手勢智能識(shí)別器感知手勢動(dòng)作，并且將捕捉到的手勢軌跡信息發(fā)送到中央控制臺(tái)中?？刂婆_(tái)統(tǒng)籌管理計(jì)算并將信息傳遞給下位機(jī)，下位機(jī)根據(jù)接收到的數(shù)據(jù)消息執(zhí)行相應(yīng)的動(dòng)作。

1 硬件結(jié)構(gòu)設(shè)計(jì)

1.1 單片機(jī)選取與結(jié)構(gòu)設(shè)計(jì)

選擇NXP Semiconductors公司生產(chǎn)的KEA128AMLK單片機(jī)作為控制器，這款單片機(jī)有代碼燒錄用和供電用的引腳，同時(shí)，還可以快速地完成指令與獲取數(shù)據(jù)[7]。

實(shí)驗(yàn)電路中只取12個(gè)控制引腳用于電路控制，其余未使用的引腳為高阻態(tài)。可以控制8個(gè)家用電器（220 V電源）和4個(gè)低功耗用電器（5 V供電）。

5 V電路中采用低壓差穩(wěn)壓器TPS7350QDR，圖1為5 V穩(wěn)壓電路。該芯片是TI公司的一款超低壓差LDO，具有完善的保護(hù)電路功能，包括過流、過壓、電壓反接保護(hù)[8]。使用這個(gè)芯片只需要極少的外圍元件就能構(gòu)成高效的穩(wěn)壓電路。與LM2940及AS1117穩(wěn)壓器件相比，TPS7350具有更低的工作壓降和更小的靜態(tài)工作電流。使用此穩(wěn)壓器可以使電池獲得相對更長的使用時(shí)間。由于熱損失小，因此無需專門考慮散熱問題。TPS7350作為線性穩(wěn)壓芯片[9]、紋波小，能為單片機(jī)及片外AD模塊提供穩(wěn)定的工作電壓。

1.2 控制開關(guān)選擇

考慮到家用電器分為大功率電器與小功率電器。對于大功率電器，使用繼電器[10]作為控制開關(guān)；于小功率電器選擇高壓N溝道MOS管。

大功率電器使用繼電器作為控制開關(guān)，實(shí)驗(yàn)中采用高電位控制器[11]；小功率電器采用集成MOS管BTS7960。BTS7960是半橋驅(qū)動(dòng)芯片[12]，只需要1個(gè)芯片便可以驅(qū)動(dòng)一個(gè)電機(jī)、一個(gè)小燈泡或者其他低功耗電器。該芯片電流最高43 A，內(nèi)阻極小，所以發(fā)熱不厲害，能夠滿足家庭長時(shí)間使用的需要。

1.3 系統(tǒng)設(shè)計(jì)

在電路設(shè)計(jì)中使用小容量的鉭電容，因?yàn)榈刃Т?lián)電阻（Equivalent Series Resistance，ESR）阻值低[13]，系統(tǒng)不易穩(wěn)定，這時(shí)可通過串接0.7Ω左右的電阻解決。但是如果電容的值比較大（10 μF以上），為保證系統(tǒng)的穩(wěn)定，需要ESR在0.1Ω以上。因此，我們采用在輸入端和輸出端分別并聯(lián)100μF鉭電容和0.1μF貼片電容的方式使系統(tǒng)更加穩(wěn)定。

2 藍(lán)牙技術(shù)

2.1 通信模塊選擇

如今流行的無線通信模塊有WiFi，ZigBee，藍(lán)牙。表1為三者之間優(yōu)缺點(diǎn)比較。比較以上三者的優(yōu)缺點(diǎn)，選擇如今較為成熟的藍(lán)牙技術(shù)作為通信模塊。

2.2 藍(lán)牙技術(shù)分析

藍(lán)牙是一種無線數(shù)據(jù)與語音通信的開放性全球規(guī)范[21]。藍(lán)牙的工作頻段為2.4 GHz，數(shù)據(jù)速率為1 Mb/s，它低成本的無線連接技術(shù)為移動(dòng)設(shè)備提供通用的接口。藍(lán)牙具有的跳頻技術(shù)可以防止信號衰弱、減弱無線電產(chǎn)品對其的干擾，以保證鏈路穩(wěn)定，使藍(lán)牙通信模塊比其他模塊更穩(wěn)定可靠[22]。因此，選擇藍(lán)牙無線網(wǎng)絡(luò)技術(shù)作為通信模塊非常合適。

2.3 串口通信設(shè)計(jì)

藍(lán)牙模塊與主機(jī)之間通過串口發(fā)送數(shù)據(jù)文件進(jìn)行通信，主機(jī)每向單片機(jī)發(fā)送控制指令，單片機(jī)都會(huì)返回相應(yīng)的執(zhí)行情況，向主機(jī)表明執(zhí)行情況和現(xiàn)在的狀態(tài)。

此處對應(yīng)5個(gè)方法：InitPort（UINT portNo），OpenListenThread（）， WriteData（unsigned char* pData，unsigned int length），CloseListenThread（），ClosePort（）。portNo為串口對應(yīng)的數(shù)字，該系統(tǒng)中向下位機(jī)發(fā)送數(shù)據(jù)的串□為 COM3。

3 Leap Motion工作原理與手勢設(shè)計(jì)

3.1 Leap Motion工作原理

Leap Motion的雙目攝像頭[23]使用紅外線熱感應(yīng)器成像[24]，可以根據(jù)從不同角度捕捉到的畫面快速構(gòu)建三維空間[25]中手的運(yùn)動(dòng)信息[26-27]。該信息含有手的每一個(gè)姿勢和手指的動(dòng)作信息[28]，并且能識(shí)別出手中拿的工具，如鉛筆。圖3為Leap Motion構(gòu)建的三維坐標(biāo)系。其中手的運(yùn)動(dòng)信息包括手掌的列表信息，每一組這樣的信息被稱為“幀”，每個(gè)幀對象都會(huì)包含一組手掌列表信息。

3.2 Leap Motion手勢控制設(shè)計(jì)

定義手勢的實(shí)際意義如表2所示。手掌向前為打開開關(guān)指令，向后為關(guān)閉開關(guān)指令，向左向右為選擇指令。

3.3 Leap Motion手勢控制實(shí)現(xiàn)

從frame.hands（）中獲取手掌信息，Controller.addListener（listener）獲取監(jiān)聽權(quán)限，可以得到手掌的“幀”信息。從幀中得到前后兩次手掌的位置。圖3表示LeapMotion手勢控制實(shí)現(xiàn)流程。

分別記前后兩次手掌的位置為LastPosition和FormerPosition。根據(jù)方法hands（）[x].palmPosition（）可以得到手掌掌心的位置。比較前后兩次手掌掌心的位置坐標(biāo)，得到手掌的運(yùn)動(dòng)信息。設(shè)xLast和zLast為后一次手掌位置坐標(biāo)，XFOR和ZFOR為前一次。記：

disX表示前后手掌在X軸上的位移差，disZ表示Z軸上的位移差。根據(jù)disX與disZ可以得到手掌的詳細(xì)運(yùn)行情況，差值判定手掌運(yùn)動(dòng)情況模型如下：

4 結(jié)語

通過實(shí)驗(yàn)發(fā)現(xiàn)，手離傳感器越近，但不低于Leap Motion的最低范圍時(shí)，獲取的數(shù)據(jù)精確度最高。

實(shí)驗(yàn)中存在不可避免的誤差：測試的時(shí)間不同導(dǎo)致光線不同；并且每個(gè)人手運(yùn)動(dòng)軌跡也會(huì)有偏差。然而這些問題在實(shí)際應(yīng)用中是不允許出現(xiàn)的，因此該算法仍然還有改進(jìn)的空間。

實(shí)驗(yàn)證明，手勢控制方式理念可以加入到智能家居中作為新型的控制方式。同時(shí)，可以定義更多豐富的手勢，為其加入真實(shí)的意義。未來智能家居的發(fā)展必定呈欣欣向榮之態(tài)發(fā)展，并且控制方式也會(huì)多樣化。該系統(tǒng)作為智能家居應(yīng)用方面的創(chuàng)新，效果顯著，具有重要的應(yīng)用價(jià)值。

[參考文獻(xiàn)]

[1]JIANG L， LIU D Y， YANG B.Smart home research[J].Machine Learning and Cybernetics， 2004（2）：659-663.

[2]DEMIRIS G， RANTZ M J， AUD M A， et al.Older adults attitudes towards and perceptions of “smart home” technologies：a pilotstudy[J].Medical Informatics and the Internet in Medicine， 2004（2）：87-94.

[3]DAVIDOFF S， LEE M K， YIU C， et al.Principles of smart home control[C].Heidelberg：Internet Conference on UbiquitousComputing， 2006：19-34.

[4]HARPER R.Inside the smart home[M].Heidelberg：Springer Science & Business Media， 2006.

[5]HARGREAVES T， WILSON C， HAUXWELL B R.Learning to live in a smart home[J].Building Research & Information， 2018（l）：127-139.

[6]BASSILY D， GEORGOULAS C， GUETTLER J， et al.Intuitive and adaptive robotic arm manipulation using the leap motioncontroller[C].England：41st International Symposium on Robotics， 2014：1-7.

[7]JIN X， LI Y Y， XU T， et al.Active equilibrium control system for lion battery base on LTC3300 and LTC6804[C].Chengdu：Waveletactive media technology and information processing（ICCWAMTIP）， 2015 12th International Computer Conference， 2015：426-431.

[8]PU B J， XIA G M.Based on the research of self-balancing vehicle posture sensor system and design[C].Washington DC：IntelligentSystem Design and Engineering Applications， 2013 Fourth International Conference， 2013：193-196.

[9]DAS S D， JUE Y， CHOWDHURY M R， et al.Design and implementation of intelligent vehicle control system based on camerasensor[C].Switzerland：Applied Mechanics and Materials， Technology Publications， 2013.

[10]WANG B， HAN Z， KJR L， et al.Distributed relay selection and power control for multiuser cooperative communication networksusing stackelberg game distributed relay selection and power control for multiuser cooperative communication networks using stackelberg game[J].Mobile Computing， 2009（7）：975-990.

[ll]ZOU H W， LIMIN M A， ZHANG Y Y.Design of automotive starting protect controller based on NXP P89LPC901 MCU[J].International Electronic Elements， 2008（7）：23.

[12]SYPE D M， BOSSCHE A P， MAES J， et al.Gate-drive circuit for zero-voltage-switching half-and full-bridge converters[J].IndustryApplications， 2002（5）：1380-1388.

[13]ZHAO C， YIN H， YANG Z，et al.Equivalent series resistance-based energy loss analysis of a battery semiactive hybrid energy storagesystem[J].Energy Conversion， 2015（3）：1081-1091.

[14]WENBO Y， QUANYU W， ZHENWEI G.Smart home implementation based on internet and WiFi technology[C].Hangzhou：201534th Chinese Control Conference， 2015：9072-9077.

[15]WANG L， PENG D， ZHANG T.Design of smart home system based on WiFi smart plug[J].International Journal of Smart Home， 2015（6）：173-182.

[16]DEMETRIOU S N， ZHANG Y LEE， WANG X， et al.Guardian of the HAN：thwarting mobile attacks on smarthome devices usingos-level situation awareness[JJ.ArXiv Preprint ArXiv， 2017（1703）：1537.

[17]YUAN B， YE S.Energy-saving smart home based on ZigBee and fuzzy neural network[C].Fuzhou：International Conference for GreenInformatics， 2017：191-198.

[18]SIEKKINEN M， HIIENKARI M， NURMINEN J K， et al.How low energy is Bluetooth low energy？ Comparative measurementswith ZigBee/802.1 5.4 [C].Paris：Wireless Communications and Networking Conference Workshops， 2012：232-237.

[19]GOMEZ C J， OLLER， PARADELL S J.Overview and evaluation of Bluetooth low energy：an emerging low-power wirelesstechnology [J].Sensors， 2012（9）：11734-11753.

[20]KUMAR S， LEE S R.Android based smart home system with control via Bluetooth and Internet connectivity[C].Changsha：ConsumerElectronics， the 18th IEEE International Symposium， 2014：1-2.

[21]錢志鴻，劉丹.藍(lán)牙技術(shù)數(shù)據(jù)傳輸綜述[J].通信學(xué)報(bào)，2012（4）：143-151.

[22]GOLMIE N， REBALA O， CHEVROLLIER N.Bluetooth adaptive frequency hopping and scheduling[C].Montergy：MilitaryCommunications Conference， 2003.

[23]JIN H， CHEN Q， CHEN Z， et al.Multi-Leapmotion sensor based demonstration for robotic refine tabletop object manipulation task[J].China Association of Artificial Intelligence， Intelligence Technology， 2016（1）：104-113.

[24]NIGAM M I， VATSA， SINGH R.Leap signature recognation using hoof and hot features[C].Paris：International Conference ImageProcessing， 2014：5012-5016.

[25]BACHMANN D， WEICHERT F， RINKENAUER G.Evaluation of the leap motion controller as a new contact-free pointing device[J].Sensors， 2014（1）：214-233.

[26]POTTER L E， ARAULLO J， CARTER L.The leap motion controller：a view on sign language[C].Australia：Proceedings of the 25thAustralian Computer-Human Interaction Conference：augmentation， Application， Innovation， Collaboration， Association for ComputingMachinery， 2013：175-178.

[27]KHADEMI M， HONDORI H M， MCKENZIE A， et al.Free-hand interaction with leap motion controller for stroke rehabilitation[C].Toronto：CHF14 Extended Abstracts on Human Factors in Computing Systems， ACM， 2014：1663-1668.

[28]SUTTON J.Air painting with corel painter freestyle and the leap motion controller：a revolutionary new way to paint！[C].AnaheimAssociation for Computing Machinery Siggraph， 2013 Studio Talks， 2013：21.

[29]WEICHERT F， BACHMANN D， RUDAK B， et al. Analysis of the accuracy and robustness of the leap motion controller [J]. Sensors，2013（5）：6380-6393.

[30]GUNA J， JAKUS G， POGA6NIK M， et al. An analysis of the precision and reliability of the leap motion sensor and its suitability forstatic and dynamic tracking[J].Sensors， 2014（2）：3702-3720.

[31]MARIN G， DOMINIO F， ZANUTTIGH P.Hand gesture recognition with leap motion and Kinect devices[C].Paris：InternationalConference on Image Processing， 2014：1565-1569.