基于空中運(yùn)動/手勢控制接口的空中鼠標(biāo)設(shè)計

張家田 許凱 嚴(yán)正國

摘 要： 設(shè)計一款基于空中運(yùn)動/手勢控制接口技術(shù)的空中鼠標(biāo)。通過MEMS傳感器采集三軸加速度，利用空中運(yùn)動/手勢控制接口技術(shù)對三軸加速度進(jìn)行解算，輸出為位移、姿態(tài)和動作。用“位移”控制鼠標(biāo)指針移動；“姿態(tài)”和“動作”模擬多媒體播放快捷鍵和鼠標(biāo)按鍵功能。突破了傳統(tǒng)鼠標(biāo)必須在桌面上使用的限制，在鼠標(biāo)按鍵功能的基礎(chǔ)上融入多媒體快捷鍵播放功能，實(shí)現(xiàn)空中無按鍵的全手勢/運(yùn)動控制的空中鼠標(biāo)。

關(guān)鍵詞： MEMS傳感器； 空中運(yùn)動/手勢控制接口技術(shù)； 空中鼠標(biāo)； 三軸加速度

中圖分類號： TN911?34； TP334.2 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）06?0143?04

Design of air mouse based on interface technology of air motion and gesture control

ZHANG Jiatian， XU Kai， YAN Zhengguo

（MOE Key Laboratory of Photo Electricity Gas & Oil Logging and Detecting， Xian Shiyou University， Xian 710065， China）

Abstract： An air mouse based on the interface technology of air motion and gesture control was designed. The three?axis accelerations are acquired by MEMS sensor， and resolved by using the interface technology of air motion and gesture control to output the shift， posture and action. The “shift” is used to control the movement of mouse pointer， “posture” and “action” are used to simulate the functions of multimedia playing shortcut keys and mouse button. The limit that the traditional mouse must be used on the desktop was broken. The multimedia shortcut keys playing function is integrated on the basis of mouse button function to realize the full gesture and motion control of air mouse without buttons.

Keywords： MEMS sensor； air motion and gesture control interface technology； air mouse； three?axis acceleration

1968年鼠標(biāo)的出現(xiàn)是人機(jī)交互領(lǐng)域一個重大突破，它為計算機(jī)的操作提供了快捷便利的條件。鼠標(biāo)的發(fā)展經(jīng)歷了機(jī)械、光電及當(dāng)前廣泛運(yùn)用的光學(xué)鼠標(biāo)，這些鼠標(biāo)的操作都離不開以桌面為使用的限制。然而，在很多苛刻的環(huán)境下無法提供桌面時（如車上、床上、野外的辦公等），那么傳統(tǒng)鼠標(biāo)的使用就會受到極大的局限性。隨著微機(jī)電系統(tǒng)（Micro?Electro?Mechanical Systems，MEMS）的飛速發(fā)展，基于MEMS傳感器技術(shù)已被逐漸應(yīng)用到日常生活需求中。目前，對基于MEMS傳感器的無線鼠標(biāo)有一定的研究。密歇根大學(xué)很早就已經(jīng)將雙軸加速度計應(yīng)用到鼠標(biāo)的領(lǐng)域[1]，但是基于MEMS無線鼠標(biāo)設(shè)計大部分都是測量位移特性控制鼠標(biāo)移動[2]。然而，大量實(shí)驗(yàn)表明：利用MEMS傳感器很難準(zhǔn)確地測量位移[3]。而本文設(shè)計的MEMS傳感器空中鼠標(biāo)應(yīng)用了空中運(yùn)動/手勢控制接口技術(shù)，利用運(yùn)動矢量加速度在xOy平面投影的方向與模大小來控制鼠標(biāo)指針的移動方向與速度；通過手勢姿態(tài)和動作來模擬空鼠標(biāo)單/雙擊、滑輪鍵功能和部分快捷鍵功能。使空中鼠標(biāo)突破了傳統(tǒng)鼠標(biāo)必須在桌面上使用的限制，使用場合更加具有多元化。

1 系統(tǒng)方案設(shè)計

空中鼠標(biāo)系統(tǒng)設(shè)計分為兩部分：手持端和主機(jī)端。手持端是由可充電鋰電池、升壓穩(wěn)壓電路、電容式觸摸感應(yīng)開關(guān)、C8051F311、MEMS傳感器ADXL343和發(fā)送藍(lán)牙模塊組成?？罩惺髽?biāo)手持端設(shè)計框圖如圖1所示。

圖1 空中鼠標(biāo)手持端設(shè)計框圖

主機(jī)端是由接收藍(lán)牙模塊、UART轉(zhuǎn)USB橋接電路和PC上位機(jī)組成，空中鼠標(biāo)主機(jī)端設(shè)計框圖如圖2所示。

圖2 空中鼠標(biāo)主機(jī)端設(shè)計框圖

2 系統(tǒng)硬件設(shè)計

2.1 主控器與MEMS傳感器

本設(shè)計采用C8051F311單片機(jī)作為主控芯片，它具有增強(qiáng)型UART和增強(qiáng)型SPI串行接口，高速、流水線結(jié)構(gòu)的8051兼容的 CIP?51 內(nèi)核。ADXL343是一款多功能3軸、低功耗和具有I2C和SPI接口的數(shù)字輸出低g MEMS加速度計[4]。以高分辨率（13位）測量加速度，測量變化范圍達(dá)±16 g；內(nèi)置運(yùn)動檢測功能，可以檢測到活動、靜止和自由落體的運(yùn)動，所有中斷可獨(dú)立映射至兩個外部中斷引腳；采用32級FIFO緩沖器存儲數(shù)據(jù)，將MCU的負(fù)荷降至最低，并降低了整體系統(tǒng)功耗。

2.2 鋰電池充電電路設(shè)計

鋰電池充電電路采用了恒定電流/恒定電壓充電芯片TP4056為充電器?？罩惺髽?biāo)的鋰電池可用USB進(jìn)行充電，通過2管腳外接的電阻調(diào)節(jié)充電電流大小。鋰電池充電電路如圖3所示，紅色D1亮?xí)r表示正在充電，藍(lán)色D2亮?xí)r表示充電完成，當(dāng)欠壓、電池溫度過高、過低時D1，D2都熄滅[5]。

圖3 充電電路

2.3 升壓穩(wěn)壓電路設(shè)計

由可充電鋰電池給系統(tǒng)供電，長時間使用電池電壓會降低，不足以提供系統(tǒng)3.3 V正常工作電壓?，F(xiàn)采用BL8530芯片將低電壓（低至0.8 V）升壓穩(wěn)壓至3.3 V電壓。升壓穩(wěn)壓電路如圖4所示，BL8530只需要電感、輸出電容和肖特基二極管3個外部元件就可以輸出3.3 V電壓。

2.4 電容式觸控開關(guān)

應(yīng)用電容式觸控傳感器技術(shù)[6]，使空中鼠標(biāo)更加低功耗。手接觸電容式觸控開關(guān)（當(dāng)空中鼠標(biāo)正常使用時），使系統(tǒng)處于導(dǎo)通工作狀態(tài)；當(dāng)手不接觸電容開關(guān)時，系統(tǒng)處于低功耗待機(jī)狀態(tài)。

圖4 升壓穩(wěn)壓電路

2.5 藍(lán)牙通信

無線通信采用以CC2540為核心的低功耗藍(lán)牙4.0系列HM?11模塊，支持AT指令，可更改主、從模式以及串口波特率等參數(shù)。上位機(jī)與藍(lán)牙接收模塊之間應(yīng)用Silicon Labs公司的USB轉(zhuǎn)UART橋接芯片CP2102，實(shí)現(xiàn)了MEMS三軸加速度與上位機(jī)通信。

3 系統(tǒng)軟件設(shè)計

3.1 主程序設(shè)計

接觸空中鼠標(biāo)電容式觸摸鍵，使系統(tǒng)上電；系統(tǒng)初始化、配置UART、 SPI和使能中斷；對ADXL343寄存器進(jìn)行參數(shù)設(shè)置，包括活動閾值（THRESH_ACT）、靜止閾值（THRESH_INACT）、靜止時間（TIME_INACT）、數(shù)據(jù)格式（DATA_FORMAT）以及中斷使能與中斷映射等；等待外部DATA_READY中斷獲取DATAX0，DATAX1，DATAY0，DATAY1，DATAZ0，DATAZ1寄存器數(shù)據(jù)；通過藍(lán)牙發(fā)送包含三軸加速度的8個字節(jié)數(shù)據(jù)，系統(tǒng)主程序流程框圖如圖5所示。

圖5 系統(tǒng)主程序流程框圖

3.2 上位機(jī)軟件設(shè)計

在VB上位機(jī)將接收到的8 B進(jìn)行數(shù)據(jù)解析，如果沒找見第1個字節(jié)0xDD，返回值為1；第8個字節(jié)是對前7個字節(jié)CRC校驗(yàn)，如果校驗(yàn)錯誤，返回值為2；如果頭字節(jié)與CRC校驗(yàn)尾字節(jié)都接收正確，返回值為0，繼續(xù)讀取中間6個字節(jié)的加速度，數(shù)據(jù)格式為Data[N].ax，Data[N].ay，Data[N].az。由于MEMS傳感器安裝存在方向性，利用旋轉(zhuǎn)矩陣調(diào)整坐標(biāo)方向，使手勢運(yùn)動方向與MEMS傳感器坐標(biāo)方向相一致。數(shù)據(jù)接收流程圖見圖6。

圖6 數(shù)據(jù)接收流程圖

手勢姿態(tài)加速度Data[0]在xy，yz，xz三個平面的投影加速度為axy，ayz，axz。由于鼠標(biāo)指針在xy平面運(yùn)動，所以[axy]>閾值、[ayz]<閾值、[axz]<閾值，當(dāng)某個平面的投影加速度小于閾值時，表示在該平面保持靜止?fàn)顟B(tài)。利用xy平面投影加速度axy正負(fù)控制指針移動方向、 axy模大小控制指針移動速度。Data[0].ax、Data[0].ay按一定非線性對應(yīng)關(guān)系得到相對位移dx和dy，驅(qū)動鼠標(biāo)事件mouse_event（&H1，Int（dx），Int（dy），0，0）來控制鼠標(biāo)指針移動。手勢控制空中鼠標(biāo)傾斜角度越大，axy模越大，指針移動速度越快。空中鼠標(biāo)指針移動流程框圖如圖7所示。

利用當(dāng)前手勢姿態(tài)加速度Data[0]，解析為ax，ay，az，axy，ayz，axz，手勢姿態(tài)流程框圖如圖8所示，比較各個分量加速度與設(shè)定閾值的關(guān)系和手勢姿態(tài)保持時間（Time） 的關(guān)系，得到六種空間姿態(tài)（靜態(tài)）：上、下、左、右、前、后。六種姿態(tài)來驅(qū)動鍵盤事件（keybd_event），對鍵盤事件定義不同，實(shí)現(xiàn)不同的快捷鍵播放多媒體（PPT）功能，如F5，Alt+F4，Page_Up等快捷鍵。

通過手勢動作獲得N組加速度Data[N]，通過數(shù)據(jù)篩選法得到x，y，z三軸加速度的最大值與最小值，對應(yīng)三軸最值作差得到dx，dy，dz，記錄出現(xiàn)最大值時三軸對應(yīng)的N值ax_t1，ay_t1，az_t1和最小值時N值ax_t2，ay_t2，az_t2，當(dāng)dz>dx與dz>dy時，因?yàn)殡p擊時會出現(xiàn)四次極值，所以在一定時間內(nèi)比較連續(xù)極值的次數(shù)，判斷是否發(fā)生雙擊。手勢動作流程框圖如圖9所示，通過比較識別出七種動作（動態(tài)）：向左、向后、向前、向后、向下（左擊）、向上（右擊）與雙擊。各種手勢動作驅(qū)動不同事件來模擬鼠標(biāo)按鍵和媒體播放功能。

圖7 空鼠指針移動流程框圖

圖8 手勢姿態(tài)流程框圖

4 實(shí)驗(yàn)分析

隨機(jī)抽取20個人對空中鼠標(biāo)指針移動、PPT播放和鼠標(biāo)單/雙擊功能的準(zhǔn)確率做100次實(shí)驗(yàn)數(shù)據(jù)次數(shù)統(tǒng)計與分析，實(shí)驗(yàn)測試結(jié)果如表1所示。

圖9 手勢動作流程框圖

表1 基于空中運(yùn)動/手勢控制接口技術(shù)空中鼠標(biāo)實(shí)驗(yàn)測試

實(shí)驗(yàn)證明本文設(shè)計的空中鼠標(biāo)功能準(zhǔn)確率在96%以上。鼠標(biāo)指針移動失誤源于傾斜角度過大或過小導(dǎo)致偏離指定目標(biāo)；控制PPT播放失誤源于手勢姿態(tài)（靜態(tài)）不夠標(biāo)準(zhǔn)；鼠標(biāo)單/雙擊操作的失誤是未能向正確的方向做出對應(yīng)動作（誤動作），如向下動作一次是單擊，實(shí)驗(yàn)者不是向下動作，而是向右下方動作。通過給實(shí)驗(yàn)者指導(dǎo)使用空中鼠標(biāo)姿態(tài)與動作后再次實(shí)驗(yàn)統(tǒng)計，準(zhǔn)確率高達(dá)99%以上。

5 結(jié) 論

本文設(shè)計的空中鼠標(biāo)在具有傳統(tǒng)鼠標(biāo)功能的基礎(chǔ)上又融入了多媒體播放快捷鍵功能，更主要的是突破了傳統(tǒng)鼠標(biāo)必須放在桌面使用的限制，實(shí)現(xiàn)了空中無按鍵全手勢/運(yùn)動控制。實(shí)驗(yàn)證明：空中運(yùn)動/手勢控制接口技術(shù)對手勢姿態(tài)與動作的識別率高，準(zhǔn)確的控制鼠標(biāo)指針移動、模擬鼠標(biāo)按鍵功能和遙控多媒體播放。在空中運(yùn)動/手勢控制接口技術(shù)的基礎(chǔ)上，為進(jìn)一步開發(fā)人機(jī)體感交互設(shè)備提供參考。

參考文獻(xiàn)

[1] DRAKE A J， KIM H， CHAE J， et al. Two?dimensional position detection system with MEMS accelerometer for MOUSE applications [C]// Proceedings of 2001 IEEE Conference on Design Automation. [S.l.]： IEEE， 2001： 852?857.

[2] 陳建新，卜翔，王榮，等.基于MEMS加速度的三維無線鼠標(biāo)設(shè)計與實(shí)現(xiàn)[J].無線互聯(lián)科技，2011（8）：22?25.

[3] 陳建新，王榮，章韻.MEMS加速度傳感器的距離測量性能分析[J].電腦與電信，2011（11）：30?32.

[4] Analog Devices. ADXL343： 3?Axis， ±2 g/±4 g/±8 g/±16 g digital MEMS accelerometer datasheet [R]. US： Analog Devices， 2012.

[5] 丁學(xué)用，王玲玲，何彥廷.便攜式太陽能手機(jī)充電器設(shè)計[J].中國科技信息，2014（16）：190?192.

[6] 孫俊杰.用電容式觸控技術(shù)觸摸生活[J].中國電子商情·基礎(chǔ)電子，2010（7）：28?29.