基于數(shù)據(jù)手套的動(dòng)態(tài)手勢(shì)識(shí)別嵌入式平臺(tái)

吳煥斌 張文山 俞 政

?

基于數(shù)據(jù)手套的動(dòng)態(tài)手勢(shì)識(shí)別嵌入式平臺(tái)

吳煥斌 張文山 俞 政

本文論述了嵌入式環(huán)境下的動(dòng)態(tài)手勢(shì)平臺(tái)搭建方法以及基于數(shù)據(jù)手套的動(dòng)態(tài)手勢(shì)識(shí)別方案框架，分析了需要采用的關(guān)鍵技術(shù)。

近年來(lái)，虛擬現(xiàn)實(shí)領(lǐng)域發(fā)展迅速，虛擬現(xiàn)實(shí)領(lǐng)域的發(fā)展為現(xiàn)代社會(huì)提供了全新的人機(jī)交互方式，用戶可以利用人類本能的方式與計(jì)算機(jī)信息打交道。正是由于虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，基于鼠標(biāo)、鍵盤的交互工具和傳統(tǒng)的交互界面已不能適應(yīng)在虛擬環(huán)境中進(jìn)行交互的需要，而手勢(shì)、立體顯示等更自然的交互通道極大地提高了人機(jī)交互的自然性和高效性，逐漸成為國(guó)內(nèi)外研究的熱點(diǎn)。手勢(shì)識(shí)別技術(shù)是虛擬現(xiàn)實(shí)領(lǐng)域中十分重要的研究方向，目前在手勢(shì)識(shí)別軟件的研究上有基于視覺(jué)的手勢(shì)識(shí)別和數(shù)據(jù)手套手勢(shì)識(shí)別軟件，但是都是基于通用電腦來(lái)實(shí)現(xiàn)，其設(shè)備龐大，應(yīng)用不方便。當(dāng)前手勢(shì)識(shí)別技術(shù)在嵌入式軟件的應(yīng)用僅停留在動(dòng)作感知技術(shù)，主要應(yīng)用是在手機(jī)上的動(dòng)作感知，用戶通過(guò)揮動(dòng)、搖動(dòng)、滾動(dòng)手機(jī)來(lái)實(shí)現(xiàn)瀏覽圖片、播放音樂(lè)和進(jìn)行游戲操作，無(wú)法真正實(shí)現(xiàn)手部動(dòng)作的手勢(shì)識(shí)別。

本文提出了一種面向動(dòng)態(tài)手勢(shì)識(shí)別數(shù)據(jù)手套產(chǎn)品嵌入式系統(tǒng)，通過(guò)對(duì)數(shù)據(jù)手套的擴(kuò)展應(yīng)用、運(yùn)行于嵌入式系統(tǒng)以實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)識(shí)別，可實(shí)時(shí)的識(shí)別手部動(dòng)作并通過(guò)圖像、文字或聲音的方式展示出來(lái)，應(yīng)用于嵌入式系統(tǒng)中。本項(xiàng)目的研究和應(yīng)用可有力促進(jìn)動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)在嵌入式系統(tǒng)上的應(yīng)用和發(fā)展，成果可以廣泛應(yīng)用于人機(jī)交互科普展項(xiàng)設(shè)計(jì)、聾啞人群與正常人之間的交流等場(chǎng)合。

系統(tǒng)架構(gòu)方案

本文提出了一種基于數(shù)據(jù)手套的動(dòng)態(tài)手勢(shì)識(shí)別嵌入式平臺(tái)，該平臺(tái)由傳感器、ZigBee終端節(jié)點(diǎn)、ZigBee協(xié)調(diào)器、室內(nèi)嵌入式平臺(tái)組成室內(nèi)局域網(wǎng)絡(luò)，并通過(guò)智能網(wǎng)關(guān)、路由器將初步采集處理的數(shù)據(jù)經(jīng)由互聯(lián)網(wǎng)發(fā)送到云端服務(wù)器進(jìn)行融合分析處理，遠(yuǎn)端嵌入式平臺(tái)進(jìn)行也可隨時(shí)接收數(shù)據(jù)。具體的系統(tǒng)構(gòu)圖如圖1所示。

如系統(tǒng)結(jié)構(gòu)圖所示，數(shù)據(jù)手套各個(gè)節(jié)點(diǎn)的數(shù)據(jù)通過(guò)控制器與zigbee節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸。智能網(wǎng)關(guān)連接ZigBee協(xié)調(diào)器和室內(nèi)嵌入式平臺(tái)，采用ENC28J60以太網(wǎng)模塊編程實(shí)現(xiàn)，用于將ZigBee局域網(wǎng)中的數(shù)據(jù)轉(zhuǎn)化成可以在以太網(wǎng)傳輸。通過(guò)路由器的轉(zhuǎn)發(fā)，可以將傳感器的數(shù)據(jù)傳輸至云端的服務(wù)器。云端服務(wù)器相比較于本地服務(wù)器而言，維護(hù)成本較低，并且只要用戶可以訪問(wèn)互聯(lián)網(wǎng)，就能通過(guò)Android控制終端在任何地點(diǎn)訪問(wèn)獲取云服務(wù)器中的數(shù)據(jù)。云端服務(wù)器采用阿里云的云服務(wù)器架構(gòu)，并對(duì)其進(jìn)行二次開(kāi)發(fā)。用于接收傳感器數(shù)據(jù)，并進(jìn)行處理分析。室內(nèi)和遠(yuǎn)端的嵌入式平臺(tái)可以采用Android平臺(tái)，室內(nèi)直接采集智能網(wǎng)關(guān)中的數(shù)據(jù)，遠(yuǎn)端的接收云端服務(wù)器傳輸?shù)臄?shù)據(jù)，用戶可以在上面查看數(shù)據(jù)手套的數(shù)據(jù)模型。

平臺(tái)搭建關(guān)鍵技術(shù)

本文提出的嵌入式平臺(tái)主要采用基于linux內(nèi)核的Android平臺(tái)，搭建該平臺(tái)的關(guān)鍵技術(shù)如下。

（1）Android嵌入式環(huán)境下的Java虛擬機(jī)（Dalvik）性能優(yōu)化技術(shù)

Java虛擬機(jī)（Dalvik）由于對(duì)平臺(tái)無(wú)關(guān)性的要求，采用執(zhí)行字節(jié)碼（bytecode）的方式一般說(shuō)來(lái)會(huì)導(dǎo)致其執(zhí)行速度會(huì)稍慢。從最底層對(duì)虛擬機(jī)的實(shí)現(xiàn)進(jìn)行深入研究，使JVM可基于應(yīng)用程序本身的運(yùn)行條件和底層環(huán)境自動(dòng)調(diào)整它自己的行為，從而交付貫穿應(yīng)用程序生存期的最佳性能、可伸縮性和可靠性。其中自適應(yīng)優(yōu)化的技術(shù)難點(diǎn)是：如何建立執(zhí)行方式的自適應(yīng)調(diào)度模型，通過(guò)監(jiān)視代理機(jī)制，根據(jù)代碼的執(zhí)行情況，智能動(dòng)態(tài)地選擇按解釋技術(shù)或本地代碼執(zhí)行方式。

（2）Android嵌入式環(huán)境下3D動(dòng)態(tài)手勢(shì)還原虛擬技術(shù)

圖1　系統(tǒng)架構(gòu)圖

Android嵌入式環(huán)境下3D動(dòng)態(tài)手勢(shì)還原虛擬技術(shù)就是建立Android嵌入式環(huán)境下的OpenGL ES 3D游戲引擎，利用android.opengl的API來(lái)實(shí)現(xiàn)。通過(guò)OpenGL 的 API ， Android 能夠提供高性能的 3D 圖像。OpenGL 的 EGL 接口，是 OpenGL ES 和底層 Native平臺(tái)視窗系統(tǒng)之間的接口。

（3）嵌入式環(huán)境3D建模運(yùn)動(dòng)控制技術(shù)

整個(gè)建模技術(shù)操作系統(tǒng)平臺(tái)建立在嵌入式操作系統(tǒng)的基礎(chǔ)上，如Android操作系統(tǒng)（內(nèi)核為L(zhǎng)inux操作系統(tǒng)）進(jìn)行Opengl3維模型，有的嵌入式終端硬件平臺(tái)直接支持Opengl平臺(tái)，為3D模型構(gòu)建好了平臺(tái)。以高效，快速的開(kāi)發(fā)工具迅速構(gòu)建高度逼真的3D手部模型為基礎(chǔ)，采用科學(xué)的數(shù)據(jù)以及主流的編程語(yǔ)言為結(jié)構(gòu)為手段，搭建以智能嵌入式終端為載體，擁有自主知識(shí)產(chǎn)權(quán)和專利的手語(yǔ)識(shí)別的算法的核心技術(shù)產(chǎn)品。

結(jié)束語(yǔ)

本文著重提出了嵌入式環(huán)境下的動(dòng)態(tài)手勢(shì)平臺(tái)搭建方法以及基于數(shù)據(jù)手套的動(dòng)態(tài)手勢(shì)識(shí)別方案框架，主要的創(chuàng)新點(diǎn)如下。

（1）創(chuàng)新的使用加速度傳感器偵測(cè)手部動(dòng)作

本文數(shù)據(jù)手套采用加速度傳感器來(lái)偵測(cè)手部的平移、轉(zhuǎn)動(dòng)、翻轉(zhuǎn)等動(dòng)作，根據(jù)加速度傳感器檢測(cè)的矢量加速度值結(jié)合三維空間運(yùn)動(dòng)矢量關(guān)系，通過(guò)拉格朗日函數(shù)可以精確的計(jì)算出傳感器的在三維空間中姿勢(shì)的矢量數(shù)據(jù)，達(dá)到動(dòng)作識(shí)別效果。

（2）基于彎曲傳感器的手指運(yùn)動(dòng)偵測(cè)算法研究

本文數(shù)據(jù)手套采用壓電式彎曲傳感器來(lái)偵測(cè)手指的彎曲、伸展等動(dòng)作，通過(guò)安裝在手部各個(gè)手指關(guān)節(jié)位置的彎曲傳感器，可以實(shí)時(shí)的把手指的彎曲狀態(tài)通過(guò)傳感器的電阻變化反映出來(lái)，彎曲傳感器的電阻值的變化與彎曲角度通過(guò)特定的算法呈對(duì)應(yīng)關(guān)系。

（3）基于動(dòng)作承續(xù)的手勢(shì)語(yǔ)識(shí)別算法

本文研究的基于動(dòng)作承續(xù)的手勢(shì)語(yǔ)識(shí)別算法，是一種不同于基于時(shí)間幀手勢(shì)語(yǔ)識(shí)別的算法，采用先進(jìn)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)排列，支持海量詞組或語(yǔ)句的大規(guī)模識(shí)別，可以快速識(shí)別相對(duì)應(yīng)的手勢(shì)語(yǔ)并翻譯，因?yàn)椴皇苁謩?shì)語(yǔ)動(dòng)作發(fā)生的時(shí)間間隔限制，大大提高了手語(yǔ)識(shí)別精度，效率，可操作性和靈活性。

（4）智能動(dòng)態(tài)手勢(shì)識(shí)別及嵌入式3D動(dòng)態(tài)手勢(shì)應(yīng)用展現(xiàn)模式

本文研發(fā)的面向動(dòng)態(tài)手勢(shì)識(shí)別數(shù)據(jù)手套產(chǎn)品的嵌入式軟件是一款基于Android系統(tǒng)的動(dòng)態(tài)手勢(shì)識(shí)別應(yīng)用軟件，可廣泛適用于基于Android平臺(tái)的各種智能移動(dòng)終端，為動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)在嵌入式軟件應(yīng)用領(lǐng)域發(fā)展開(kāi)創(chuàng)了一個(gè)新的篇章。

吳煥斌1張文山1俞 政2

1.廣東科學(xué)中心；2.華南理工大學(xué)

10.3969/j.issn.1001-8972.2016.11.018