基于動態(tài)手勢的人機交互系統(tǒng)的研究與設計

姜 彪，李榮正

(上海工程技術大學 電子電氣工程學院,上海 201620)

基于動態(tài)手勢的人機交互系統(tǒng)的研究與設計

姜 彪，李榮正

(上海工程技術大學 電子電氣工程學院,上海 201620)

該系統(tǒng)是一個基于手勢手套、無線中繼控制站、上位機端等部分組成的包含手勢采集、傳輸、識別控制及處理的系統(tǒng);手勢手套主要由彎曲傳感器、陀螺儀加速度計、電阻電壓轉換電路和無線通信模塊組成，來實現(xiàn)手勢信息的采集、去噪、前壓縮、解算等功能，并通過無線通信將實時手勢信息交付給上一層；無線中繼端將其與多種傳感器電路、顯示屏、攝像頭、通信接口和常用的工業(yè)控制接口等集成到一塊上，采集其他傳感器信息結合前級的手勢信息，在短時間深度上對多種信息進行融合并通過控制算法輸出給控制器件；上位機主要負責手勢信息的建模還原和更長時間序列上和多維度的信息處理；網(wǎng)絡云端可以實現(xiàn)手勢信息的大數(shù)據(jù)處理、匹配和遠程交互等功能。經(jīng)實際檢測達到了理想的設計要求。

手勢系統(tǒng);分層;大數(shù)據(jù);人機交互;無線通信

0 引言

人機交互技術領域熱點技術的應用潛力已經(jīng)開始展現(xiàn)，比如智能手機配備的地理空間跟蹤技術；應用于可穿戴式計算機、隱身技術、浸入式和3D游戲等的動作識別技術；應用于虛擬現(xiàn)實、遙控機器人及遠程醫(yī)療等的觸覺交互技術[1]；對于有語言障礙的人士的無聲語音識別等。雖然具有巨大的潛力，但也面臨著巨大的挑戰(zhàn)如：基于視覺的手勢識別率低、實時性差，需要研究各種算法來改善識別的精度和速度，而且使用范圍局限還沒有進入真正的普及中；還有就是機器本身處理器，存儲能力，表達能力等也存在著挑戰(zhàn)。另外與“無所不在的計算”、“云計算”等相關技術的融合與促進也需要繼續(xù)探索[2]。

1 系統(tǒng)整體設計方案

依據(jù)處理信息的計算能力將手勢系統(tǒng)分解為手套采集部分、中繼混合控制部分、上位機分析處理部分和網(wǎng)絡云端部分。整個系統(tǒng)以分層的思想來設計，其中必要層是手勢手套層，每一層的手勢數(shù)據(jù)幀格式統(tǒng)一固定，其他層可以根據(jù)實際應用需求來進行組態(tài)連接，手勢手套采集的數(shù)據(jù)以信息流的方式在各層次間傳遞，每一層都可以獲取手勢信息流里的手勢數(shù)據(jù)，并根據(jù)自身平臺的計算能力和設定目的來進行相應的處理和應用。整個手勢系統(tǒng)由手勢數(shù)據(jù)信息流和手勢數(shù)據(jù)處理平臺組成[3]。

2 系統(tǒng)各個模塊設計

2.1 手勢手套硬件設計

手勢手套系統(tǒng)內(nèi)部結構如圖1所示。

圖1 手勢手套系統(tǒng)內(nèi)部結構

2.1.1 單片機最小系統(tǒng)設計

單片機最小系統(tǒng)上主控芯片主要有電源供電部分、彎曲傳感器接口、陀螺儀加速度計部分、電阻電壓轉換電路、2.4 G通信模塊、藍牙接口、I2C和接口，所以模塊都集成在一塊上。

2.1.2 傳感器模塊設計

此模塊的傳感器主要有彎曲傳感器、加速度計和陀螺儀。

1)手指彎曲采集：

為了測量手指彎曲程度，采用了曲度傳感器如圖2所示。

圖2 曲度傳感器

彎曲傳感器的工作原理好比一個電位器，通過曲度來改變阻值大小[4]：平直(常規(guī)阻值)；45°曲度(電阻值增加)；90°曲度(電阻值繼續(xù)增加)；180°曲度(最大電阻值)。

在基本的Flex傳感器電路用于阻抗緩沖的是單面運算放大器，因為由于彎曲傳感器的源阻抗類似于一個電壓分壓器，運算放大器的低偏置電流可以降低錯誤。而使用的是LM358和LM324。通過單片機AD采集通道讀取運算放大器的輸出電壓值[5]，即可得到當前傳感器彎曲程度，進而得到手指彎曲狀況。邊利用此數(shù)值為手指彎曲判斷服務。

2)手部空間角度采集：

加速度傳感器是一種能夠測量加速力的電子設備[6]。它的定義是：能感受加速度并轉換成可用輸出信號的傳感器。其中線加速度計的原理是慣性原理，也就是力的平衡。加速度傳感器長應用于地震檢波器設計, 監(jiān)測高壓導線舞動等[7]。

陀螺儀是用高速回轉體的動量矩敏感殼體相對慣性空間繞正交于自轉軸的一個或二個軸的角運動檢測裝置，如圖4所示。

圖3 陀螺儀

陀螺儀與加速度計數(shù)據(jù)融合:MPU6050上整合了加速度計和陀螺儀[8]，兩者配合以采集手部空間角度，它們一起組成了一個6自由度的慣性測量單元。

我國經(jīng)濟和對外貿(mào)易飛速發(fā)展使得物流運輸需求量不斷增加，集裝箱作為現(xiàn)代物流的重要載體，極大的提高了物流效率，但是由于集裝箱在運輸過程中時空跨度大、環(huán)境復雜、難以監(jiān)管，導致貨物失竊、產(chǎn)品變質、貨物損壞等各類事故頻發(fā)，甚至出現(xiàn)集裝箱被不法分子劫持進行危險品走私和恐怖襲擊的事故[1-2]，造成巨大的經(jīng)濟損失和不良的社會影響，因此對集裝箱在運輸過程中進行信息化管理具有重要意義。

圖4 MPU6050

2.2 中繼混控部分

手勢手套采集的手勢數(shù)據(jù)不能直接驅動控制物理實體，需要加上中轉和控制機構，使得手勢數(shù)據(jù)通過中繼混控的信息轉換能夠操控硬件設備如電機、舵機、燈等設備。

中繼混控實驗裝置主要由核心板、中繼底板、顯示、電機驅動及電機，非連續(xù)性舵機等部分組成。中繼底提供有攝像頭接口、線陣接口、屏幕及彩屏接口、舵機控制及電源接口、觸摸按鍵、光電編碼器接口及電路、2.4 G接口、模塊、藍牙接口、卡存儲接口、采集電路、接口等等，足以滿足各種常規(guī)的控制和傳感器的采集任務。由于中繼設備具有較多的傳感器設備，能夠獲取更多的信息，可以利用攝像頭捕捉手勢信息用以與手勢手套解算的手勢信息聯(lián)合手勢識別匹配，提高手勢識別的準確性，手勢信息輔以其他傳感器的信息對手套佩戴者的操控和交互提供更豐富的操作體驗。中繼混控底板和核心板的如圖3所示。

圖5 中繼混控底板PCB截圖

2.3 手部信息的采集與處理

手部活動非常靈活復雜，可以分為手指的彎曲和手在空間中的運動。不考慮手指的彎曲可以將手看成剛體，剛體在空間中的運動可以分為定點轉動和平動。因此可以利用陀螺儀采集手在空間三個軸上的運動角速度通過四元數(shù)轉換為空間角，利用加速度計的二重積分采集手在空間三個軸上的位移。經(jīng)過試驗證明該方案能夠比較準確的采集到手在空間中運動信息，并且實時性好。手指的彎曲采用彎曲度傳感器，彎曲度傳感器是有可變電阻組成的，它的阻值隨著其彎曲度變化而變化。利用彎曲度傳感器可以較精確的采集到手指的彎曲信息，陀螺儀和加速度計采集得到角度數(shù)據(jù)后，還需要進行濾波處理。算法受卡爾曼濾波中的一些思想啟發(fā)，但是它更簡單并且更容易在嵌入式設備中實現(xiàn)。

2.4 數(shù)據(jù)波形匹配

數(shù)據(jù)波形匹配即衡量兩個波形的相似度。由于實際產(chǎn)生的波形往往含有較豐富頻率分布的不規(guī)則波形，而設備元器件本身及外界的電磁干擾又不可避免地引入了干擾噪聲。另外，實際波形和預先設計波形間往往存在著時序上的差別，相位的改變同樣也不利于信號的擬合判別。選擇適當倍數(shù)去逼近，可以借用誤差能量來度量這對波形的相似程度。對于能量有限的信號而言，能量是確定的，相關系數(shù)的大小只由的積分所決定。如果兩完全不相似的波形其幅度取值和出現(xiàn)時刻是相互獨立、彼此無關的，其積分結果亦為0，所以當相關系數(shù)為0時相似度最差，即不相關。當相關系數(shù)為1，則誤差能量為0，說明這兩信號相似度很好，是線形相關的。因此把相關系數(shù)作為兩個信號波形的相似性(或線形相關性)的一種度量完全是有理論依據(jù)的、合理的。

2.5 數(shù)據(jù)存儲與讀取

數(shù)據(jù)存儲模塊，擬采用基于SD協(xié)議的的文件系統(tǒng)。此文件系統(tǒng)的最大好處是不限于硬件結構，只需要有SD協(xié)議就能使用，而且占用內(nèi)存少，與Windows文件io兼容，能夠支持實時操作系統(tǒng)，移植方便，操作簡單。數(shù)據(jù)存儲模塊的設計包括手勢波形庫的存儲與查詢。

手勢庫是整個系統(tǒng)的核心，為了以后升級更方便，也為了存儲的便利，文中把經(jīng)由分析得來的每個傳感器的波形圖建立起手勢波形庫存儲到sd卡內(nèi)，存儲的格式是波形的數(shù)據(jù)信息以及波形的傳感器序號和波形序號。當手勢到來之后讀取傳感器信息，進行波形匹配，匹配到則輸出相應的波形信號；沒有匹配到，則傳感器的輸出波形號零，其中0為無波形信息。最終得出一個由11個數(shù)字組成的編碼信息。

上電進行初始化，采集傳感器數(shù)據(jù)進行通信測試，初始化成功后即可進行正常工作模式。傳感器采集模塊采集傳感器數(shù)據(jù)，進行數(shù)據(jù)的處理波形編碼，比對存儲模塊中的波形庫得到相應的波形編號然后再比對已經(jīng)建立的手勢庫即可識別手勢。

3 軟件設計

3.1 手勢手套軟件設計

手套部分的軟件設計主要完成傳感器的采集、姿態(tài)解算和濾波，并將處理后的信息打包成通信幀并提交給上一層即可[9]。這使得單片機的傳感器采集更具有實時性，更加注重于原始數(shù)據(jù)的采集和濾波優(yōu)化上，使得采集手勢信息更加可靠，利于后期的加工處理。手勢手套的軟件設計流程如圖6所示。

圖6 手勢手套的軟件設計流程圖

3.2 上位機部分

圖7 上位機界面

1)數(shù)據(jù)接收部分主要負責接收上一層傳輸過來的手勢幀數(shù)據(jù)，并將其解碼、校驗、驗證，之后將有用的數(shù)據(jù)傳輸給其他模塊使用。

2)數(shù)據(jù)可視化，將獲取到的數(shù)據(jù)以直觀的柱狀圖、波形圖等形式表現(xiàn)出來，利于后期數(shù)據(jù)分析、特征提取、算法設計等；尤其是波形圖能反映手勢數(shù)據(jù)時間深度的信息，將手勢數(shù)據(jù)的分析和利用又提高到新的維度。

3)數(shù)據(jù)記錄，在軟件運行時數(shù)據(jù)記錄部分一直在記錄數(shù)據(jù)，可以由操作面板截取某一時間段的數(shù)據(jù)導出至表格，以便以后的分析，可以利用該功能錄制數(shù)據(jù)，將錄制的特征數(shù)據(jù)通過算法校正和修改錄入手勢數(shù)據(jù)庫，方便手勢數(shù)據(jù)庫的建立。

4)數(shù)據(jù)分析部分，可以由自己定制的算法和本地的手勢數(shù)據(jù)庫進行匹配來達到手勢識別的功能，或者實現(xiàn)其他的數(shù)據(jù)分析處理的過程，以供后級的處理平臺處理分析，現(xiàn)階段采用的本地數(shù)據(jù)庫對比算法為互相關算法，對各維度手勢信息的時間序列和本地標準數(shù)據(jù)庫進行加權的互相關計算，最后得出相似度較高的手勢數(shù)據(jù)庫編號，在對該手勢進行有效性檢驗，最后得出動態(tài)手勢的明確手勢含義。

5)數(shù)據(jù)的3D建模還原部分，利用數(shù)據(jù)驅動3D視圖的手模型，將信息還原，和真實的手勢姿態(tài)對比，可以分析手勢信息處理和采集后得到的姿態(tài)和原始姿態(tài)的差別，得出反饋，依次作為依據(jù)修正和改進手勢系統(tǒng)的性能指標，同時可以作為遠程交互的表現(xiàn)方式。

3.3 安卓端軟件設計

移動端由于安卓系統(tǒng)相比的開放性，前期主要使用安卓端開發(fā)，以后可以擴展到IOS端，APP主界面如圖8所示。

圖8 APP主界面

現(xiàn)階段能夠查看手勢手套的各種測量數(shù)據(jù)，如手指的彎曲度數(shù)據(jù)、手掌的空間角、手掌的三軸加速度等，并將其一部分以可視化的方式展現(xiàn)出來，以后可以在APP端將手勢信息加以利用，擴展接入到手機其他應用領域，也能通過手機這一平臺架將手勢手套和手勢數(shù)據(jù)接入到智能家居領域。這些能夠充分展現(xiàn)出手勢系統(tǒng)智能硬件的易擴展、多接入、多平臺等特性。

3.4 軟件流程

軟件流程如圖9所示。

圖9 軟件流程圖

4 測試與驗證方案

4.1 測試環(huán)境

主要測試環(huán)境為電工實驗室，配有實驗設備的防靜電實驗桌，個人電腦；實驗設備有穩(wěn)壓源兩臺，50 MHz示波器一臺，頻譜儀一臺，信號發(fā)生器一臺，手持萬用表一個。

4.2 關鍵功能測試

手掌姿態(tài)傳感器數(shù)據(jù)獲取測試，右手佩戴手套，手心朝下，小臂平行于地面，以手肘為圓心旋轉小臂大約120°，不斷往復，手指傳感器數(shù)據(jù)獲取測試，右手佩戴手套，手掌朝下，握拳、張開手指，不斷重復此動作，在虛擬示波器得到各傳感器的數(shù)據(jù)波形，可以看到5個手指的彎曲的傳感器的值波動較大。

將手勢數(shù)據(jù)通過藍牙傳輸給中繼控制端，中繼控制端根據(jù)手勢短時間上的匹配來進行不同語義上的解析，中繼設備從而實現(xiàn)對電機和舵機的間接控制，佩戴人員實現(xiàn)對設備的直接控制，大致控制手勢調整步驟如下：

手平移到被控設備上(電機、舵機)進入設備待選模式；單手抱拳，表示選擇該設備，進入手勢控制模式；如果選擇的是電機，此時手掌前后傾角大小直接用于控制電機轉速和方向；如果選中的是舵機，手掌作用傾角大小直接用于控制舵機的打角；手掌平移回到?jīng)]有設備的中間地方，單手抱拳，解除設備的控制狀態(tài)，設備維持在上一控制量上，回到步驟(1)的設備選擇狀態(tài)；如果發(fā)現(xiàn)突發(fā)情況，可以按下中繼板上的TSI按鍵可以緊急制動，即緊急停止所有設備。

4.3 可靠性測試

佩戴滿電狀態(tài)的手套使用3小時，重復做一組連續(xù)的動作，將姿態(tài)編碼發(fā)送到上位機上，與手勢的序列做對比，獲得的431組數(shù)據(jù)，其中沒有匹配上的數(shù)據(jù)位73組，準確率達到82%，此過程中系統(tǒng)穩(wěn)定工作，沒有發(fā)送程序跑飛或硬件錯誤狀態(tài)，靜電、電磁干擾等環(huán)境的適應能力強。

5 結論

本設計采用分層設計思想，將手勢系統(tǒng)分解為手套采集部分、中繼混合控制部分、上位機分析處理部分和網(wǎng)絡云端部分，設計出具體的人機交互融合方案，讓可穿戴設備能夠實現(xiàn)更加智能的數(shù)據(jù)交互。該手勢交互手套可應用在智能家居領域、工業(yè)控制方向、遠程操作工作、手語翻譯研究等多種領域，在操作、維護等方面充分考慮了人性化設計，具有很強的可行性，關鍵功能測試與性能驗證達到預期標準。本設計充分考慮了未來功能升級、規(guī)模擴展?jié)撛谛枨?，不同層次的部分均可加以擴展和應用。該手勢手套具備很強的新穎性和實用性，有良好的推廣價值。

[1] 孟祥旭，李學慶.人機交互技術-原理與應用[M].北京:清華大學出版社,2005.

[2] Grimes G J.Digital data entry glove interface device[P]. Technical Report US Patent，2011:1561-1566.

[3] Lee C, Xu Y.Online interactive learning of gestures interfaces[A]. Proceeding of IEEE International Conference on Robotics and Automation[C].2013:156-158.

[4] 董士海.人機交互進展及面臨的挑戰(zhàn)[J].計算機輔助設計與圖形學報，2004(10):20-21.

[5] 張海濤，閻貴平.加速度傳感器的原理及分析[J].電子設計技術，2003(21):21-23.

[6] 付夢印,鄧志紅,張繼偉.Kalman濾波理論及其在導航系統(tǒng)中的應用[M].北京:科學出版社，2003.

[7] 修國浩.基于WD/HMM的語音識別算法研究[D].秦皇島:燕山大學，2004.

[8] 江 浩，褚衍東，郭麗峰.曲線形態(tài)相似性的定義與度量[J].云南民族大學學報，2009(5):54-56.

[9] 鄒 波，張 華.多傳感器信息融合的改進擴展卡爾曼濾波定姿[J].計算機應用研究，2012(8):8-10.

[10] 敬 喜.卡爾曼濾波器及其應用基礎[M].北京:國防工業(yè)出版社，2014.

[11] 郝立果.基于加速度傳感器的運動信息采集和應用研究[D].天津:天津大學,2009.

[12] 曹 赟，周 宇，徐寅林.加速度傳感器在步態(tài)信號采集系統(tǒng)中的應用[J].信息化研究，2009(7):30-31.

Research and Design of Human Computer Interaction System Based on Dynamic Gesture

Jiang Biao, Li Rongzheng

(School of Electrical and Electronic Engineering,Shanghai University of Engineering Science, Shanghai 201620,China)

This paper describes a system based on hand gesture glove, wireless relay control station and host computer, including gesture acquisition, transmission, identification, control and processing. Hand gloves mainly consists of bending sensor, gyroscope, accelerometer, resistance voltage conversion circuit and wireless communication module, achieve the acquisition, denoising, compression, solving functions of gesture information;The ends of the wireless relay, with a variety of sensors display, camera, communication interface and common industrial control interface are integrated into a block, collect other sensor information with gesture information in combination with the previous level, . Analysis processing of the host computer mainly is responsible for the modeling of gesture information and information processing with longer time series and multi dimension ; Network cloud can realize the gesture information processing, matching and remote interactive functions. The ideal design requirements have been achieved through the experiment.

gesture system; hierarchical; large data; human-computer interaction; wireless communication

2016-11-25；

2016-12-21。

姜 彪(1992-)，男，河南鄭州人， 碩士研究生，主要從事控制及檢測技術、遠程監(jiān)測技術、隧道結構沉降檢測、人機交互方向的研究。李榮正，男，上海人，教授，碩士研究生導師，主要從事控制及檢測技術、遠程監(jiān)測技術、隧道結構沉降檢測方向的研究。

1671-4598(2017)08-0203-03

10.16526/j.cnki.11-4762/tp.2017.08.052

TP391.41

A