基于加速度傳感器的可擴(kuò)展手勢(shì)識(shí)別*

謝仁強(qiáng)，曹俊誠

（1.中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所中國科學(xué)院太赫茲固態(tài)技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海200050；2.上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院，上海201210）

基于加速度傳感器的可擴(kuò)展手勢(shì)識(shí)別*

謝仁強(qiáng)1，2，曹俊誠1*

（1.中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所中國科學(xué)院太赫茲固態(tài)技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海200050；2.上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院，上海201210）

為了提高基于加速度傳感器的動(dòng)態(tài)手勢(shì)識(shí)別算法的性能，并且增強(qiáng)系統(tǒng)的可擴(kuò)展性，提出了一種有效結(jié)合機(jī)器學(xué)習(xí)模型與模板匹配的方法。將手勢(shì)分為基本手勢(shì)和復(fù)雜手勢(shì)兩大類，其中復(fù)雜手勢(shì)可分割為基本手勢(shì)組成的序列；根據(jù)手勢(shì)運(yùn)動(dòng)的特點(diǎn)提取有效的特征量，并利用基本手勢(shì)樣本訓(xùn)練隨機(jī)森林模型，然后用其對(duì)基本手勢(shì)序列進(jìn)行分類預(yù)測(cè)；將預(yù)測(cè)結(jié)果進(jìn)行約翰遜編碼，再與標(biāo)準(zhǔn)模板序列進(jìn)行相似度匹配。實(shí)驗(yàn)結(jié)果表明，該方法獲得了99.75%的基本手勢(shì)識(shí)別率以及100%的復(fù)雜手勢(shì)識(shí)別率。算法既保證了手勢(shì)識(shí)別的精度，也提高了系統(tǒng)的可擴(kuò)展性。

手勢(shì)識(shí)別；加速度傳感器；手勢(shì)分割；隨機(jī)森林；相似度匹配

EEACC：7230；7320Edoi：10.3969/j.issn.1004-1699.2016.05.006

隨著傳感技術(shù)的快速發(fā)展，人機(jī)交互已經(jīng)成為人們?nèi)粘Ｉ畈豢苫蛉钡闹匾M成部分。手勢(shì)作為一種自然的人機(jī)接口，大大簡(jiǎn)化了交互的過程，使得人們能夠較為直觀地向機(jī)器以及計(jì)算機(jī)發(fā)送命令。過去幾年中，已經(jīng)提出的一些關(guān)于手勢(shì)識(shí)別的應(yīng)用包括智能輪椅［1］，電視控制系統(tǒng)［2］，智能戒指［3］，以及機(jī)器人輔助生活［4］等。

手勢(shì)識(shí)別目前主要有兩種實(shí)現(xiàn)方式，一種是基于計(jì)算機(jī)視覺的識(shí)別技術(shù)［5-6］，另一種是基于慣性傳感器的識(shí)別［7-10］。由于三軸加速度傳感器在可移動(dòng)性、低延時(shí)、低成本方面的優(yōu)勢(shì)，已被越來越多地嵌入到各類消費(fèi)電子產(chǎn)品中。在文獻(xiàn)［11-12］中，作者開發(fā)了一支基于加速度傳感器的數(shù)字筆以及一個(gè)軌跡識(shí)別算法，用以識(shí)別手寫數(shù)字和手勢(shì)。近來，多傳感器融合技術(shù)已被應(yīng)用在各類系統(tǒng)中以提高手勢(shì)識(shí)別的性能［13］。然而，融合多個(gè)傳感器將增加系統(tǒng)的成本開銷以及計(jì)算負(fù)擔(dān)。

就手勢(shì)識(shí)別算法而言，隱馬爾科夫模型［4］作為一種重要的統(tǒng)計(jì)模型目前應(yīng)用較為廣泛；其他一些已提出的手勢(shì)識(shí)別方法包括動(dòng)態(tài)時(shí)間規(guī)整［14-15］，符號(hào)序列與模板匹配［16］，最大概率的最長(zhǎng)公共子序列［17］，以及相似性傳播［18］等。然而，這些方法要么基于機(jī)器學(xué)習(xí)模型，算法具有較高的識(shí)別精度，但可擴(kuò)展性較差，如需往手勢(shì)庫中添加新手勢(shì)，則要預(yù)先收集大量的新手勢(shì)樣本。相反，模板匹配的方法可擴(kuò)展性較強(qiáng)，但識(shí)別準(zhǔn)確率一般要稍差一些。本文基于加速度傳感器提出一種有效結(jié)合機(jī)器學(xué)習(xí)模型與相似度匹配的方法。將手勢(shì)分為基本手勢(shì)和復(fù)雜手勢(shì)兩大類，其中復(fù)雜手勢(shì)可分割為基本手勢(shì)組成的序列；利用基本手勢(shì)訓(xùn)練隨機(jī)森林模型［19］，然后用其對(duì)基本手勢(shì)序列進(jìn)行分類預(yù)測(cè)；將預(yù)測(cè)結(jié)果進(jìn)行約翰遜編碼，再與標(biāo)準(zhǔn)模板序列進(jìn)行相似度匹配。算法既保證了手勢(shì)識(shí)別的精度，也提高了系統(tǒng)的可擴(kuò)展性。

1　硬件設(shè)計(jì)與系統(tǒng)流程

1.1硬件設(shè)計(jì)

本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)加速度傳感數(shù)據(jù)采集模塊和一個(gè)可擴(kuò)展的手勢(shì)識(shí)別算法。其中，傳感系統(tǒng)主要包含一個(gè)3軸MEMS（Microelectromechanical Systems）加速度傳感器（MMA9551L）和一個(gè)微控制器（IAP15W4K58S4）。MMA9551L的可選量程為±2 gn/±4 gn/±8 gn，電源電壓范圍1.71 V～1.89 V，而IAP15W4K58S4的電源電壓范圍為2.5 V～5.5 V，由于兩者IO電平不匹配，因此需在兩者之間加電平轉(zhuǎn)換芯片（PCA9306）。整個(gè)電路板的尺寸約為14 cm×2.4 cm，其實(shí)物如圖1所示。MMA9551L測(cè)量手勢(shì)模擬加速度信號(hào)，經(jīng)內(nèi)部自帶的16 bit A/D轉(zhuǎn)換器將其轉(zhuǎn)換為數(shù)字信號(hào)。微控制器通過IIC接口讀取加速度傳感器采集的加速度數(shù)據(jù)，然后將讀取的數(shù)據(jù)通過USB傳輸至PC，在PC上完成手勢(shì)的識(shí)別。本文系統(tǒng)采樣頻率為100 Hz，加速度測(cè)量范圍設(shè)為±8 gn。

圖1　加速度傳感數(shù)據(jù)采集模塊電路板

1.2系統(tǒng)流程

本文系統(tǒng)流程如圖2所示。首先，用戶手持加速度傳感數(shù)據(jù)采集模塊為手勢(shì)集合中的每個(gè)基本手勢(shì)采集樣本數(shù)據(jù)；經(jīng)信號(hào)預(yù)處理，手勢(shì)分割，特征提取之后作為訓(xùn)練樣本用于訓(xùn)練隨機(jī)森林模型；訓(xùn)練之后的模型即可用于對(duì)基本手勢(shì)進(jìn)行分類預(yù)測(cè)。然后，用戶輸入手勢(shì)集合中的復(fù)雜手勢(shì)；經(jīng)信號(hào)預(yù)處理，手勢(shì)分割之后，被切分成一個(gè)由基本手勢(shì)組成的序列；再經(jīng)特征提取之后用已訓(xùn)練的模型對(duì)序列中的每個(gè)基本手勢(shì)進(jìn)行分類識(shí)別。將識(shí)別出的基本手勢(shì)進(jìn)行約翰遜編碼，再與標(biāo)準(zhǔn)模板序列進(jìn)行相似度匹配，輸出最相似的手勢(shì)。

圖2　系統(tǒng)流程圖

圖38　個(gè)基本手勢(shì)的運(yùn)動(dòng)示意圖

2　手勢(shì)識(shí)別算法

本節(jié)首先對(duì)手勢(shì)進(jìn)行簡(jiǎn)單介紹，然后著重闡述手勢(shì)識(shí)別算法的原理。整個(gè)識(shí)別過程包括以下幾個(gè)步驟：數(shù)據(jù)采集與預(yù)處理、手勢(shì)分割、特征提取、分類器的構(gòu)建、基本手勢(shì)編碼、相似度匹配。

2.1手勢(shì)定義

在大多數(shù)現(xiàn)有的手勢(shì)識(shí)別系統(tǒng)中，手勢(shì)是作為一個(gè)整體被識(shí)別的，并且每個(gè)手勢(shì)均需收集大量的訓(xùn)練樣本；因此，這些系統(tǒng)不便于用戶添加新的手勢(shì)。本文提出一種可擴(kuò)展的手勢(shì)識(shí)別算法，將手勢(shì)分為兩大類：基本手勢(shì)和復(fù)雜手勢(shì)；其中，復(fù)雜手勢(shì)可拆分為基本手勢(shì)組成的序列。8個(gè)基本手勢(shì)的運(yùn)動(dòng)示意圖如圖3所示，包括：上（U），下（D），左（L），右（R），右上（UR），左下（LL），左上（UL），右下（LR）。6個(gè)復(fù)雜手勢(shì)的運(yùn)動(dòng)示意圖及其編號(hào)（1～6）如圖4。通過將復(fù)雜手勢(shì)拆分為基本手勢(shì)序列，例如，手勢(shì)“Z”（編號(hào)為4）可拆分為“右-左下-右”，系統(tǒng)只需采集基本手勢(shì)樣本來訓(xùn)練模型，然后利用已訓(xùn)練的模型對(duì)基本手勢(shì)序列中的每一個(gè)進(jìn)行分類識(shí)別；再將識(shí)別出的基本手勢(shì)序列與標(biāo)準(zhǔn)模板序列進(jìn)行相似度匹配，從而實(shí)現(xiàn)復(fù)雜手勢(shì)的識(shí)別。系統(tǒng)有效結(jié)合了機(jī)器學(xué)習(xí)模型的高準(zhǔn)確率以及模板匹配的可擴(kuò)展性，實(shí)現(xiàn)了基本手勢(shì)識(shí)別算法的復(fù)用，因而系統(tǒng)易于添加新手勢(shì)。

圖46　個(gè)復(fù)雜手勢(shì)的運(yùn)動(dòng)示意圖

2.2數(shù)據(jù)采集與預(yù)處理

用戶手持加速度傳感數(shù)據(jù)采集模塊，在豎直平面（x-y平面）內(nèi)完成圖3和圖4所示的手勢(shì)動(dòng)作。為了消除無意識(shí)的手勢(shì)，在執(zhí)行手勢(shì)動(dòng)作前需按下按鍵，這時(shí)微控制器開始采集加速度，完成手勢(shì)動(dòng)作后再松開按鍵。采集的原始加速度數(shù)據(jù)中含有重力加速度分量，為了準(zhǔn)確獲取手勢(shì)加速度，需要預(yù)先去除重力加速度在各軸的偏移

其中，ar為采集的原始加速度，as為去除重力加速度分量后的手勢(shì)加速度，N為采集的加速度樣本點(diǎn)數(shù)。由于手的抖動(dòng)，手勢(shì)加速度往往伴隨著高頻噪聲，為了不影響識(shí)別效果，本文采用滑動(dòng)均值濾波器來濾除高頻分量

這里，a為濾波后的手勢(shì)加速度，本文取k=5，即滑動(dòng)均值濾波器的點(diǎn)數(shù)設(shè)為11。手勢(shì)“左”的加速度預(yù)處理前后效果如圖5所示。

圖5　手勢(shì)“左”的加速度曲線

圖5中，上圖為預(yù)處理前的原始加速度曲線，下圖為預(yù)處理后的加速度曲線。可以看出，經(jīng)預(yù)處理重力加速度偏移已被移除，并且曲線更加平滑；注意到其波形類似于正弦曲線?！坝摇?、“上”、“下”的波形與此類似，但加速度方向和所在坐標(biāo)軸稍有變化；“右上”、“左下”、“左上”、“右下”則稍復(fù)雜，其同時(shí)在兩個(gè)坐標(biāo)軸上含有加速度分量

2.3手勢(shì)分割

為了準(zhǔn)確檢測(cè)手勢(shì)的起點(diǎn)和終點(diǎn)，從而截取有效的手勢(shì)信號(hào)段，本文采用基于加速度一階后向差分的檢測(cè)方法。在沒有手勢(shì)動(dòng)作時(shí)，加速度相對(duì)平穩(wěn)；而當(dāng)有手勢(shì)動(dòng)作發(fā)生時(shí)，加速度變化劇烈。對(duì)加速度信號(hào)進(jìn)行差分可反映加速度變化的劇烈程度。具體地，

注意到，此處取加速度后向差分的模值，并進(jìn)行了滑動(dòng)平均，J［n］為滑動(dòng)平均后的加速度差分信號(hào)，M=5。

手勢(shì)“三角形”（編號(hào)為6，基本手勢(shì)序列為D-R-UL）的加速度及加速度差分信號(hào)分別示于圖6（上）和圖6（下），可見每一個(gè)基本手勢(shì)都對(duì)應(yīng)一個(gè)加速度差分的主峰（圓圈標(biāo)識(shí)）；由于復(fù)雜手勢(shì)需分割為基本手勢(shì)序列，因此，可選擇相鄰兩個(gè)加速度差分峰值間的最小值（倒三角標(biāo)識(shí)）作為基本手勢(shì)的分割點(diǎn)；手勢(shì)的起點(diǎn)和終點(diǎn)則可通過一個(gè)閾值來確定（本文閾值設(shè)為0.025 g）。當(dāng)?shù)谝粋€(gè)波峰左邊下降至閾值時(shí)則為手勢(shì)的起點(diǎn)，最后一個(gè)波峰右邊下降至閾值時(shí)則為手勢(shì)的終點(diǎn)（正方形標(biāo)識(shí)）。手勢(shì)分割點(diǎn)及主峰值點(diǎn)已在加速度曲線中用豎直線標(biāo)出，可見利用加速度差分的方法可較好地將一個(gè)復(fù)雜手勢(shì)分割為三個(gè)基本手勢(shì)信號(hào)段，即得到一個(gè)長(zhǎng)度為三的基本手勢(shì)序列。對(duì)單獨(dú)的基本手勢(shì)而言，情況則稍簡(jiǎn)單一些，只需確定加速度差分主峰值左右兩邊的起點(diǎn)跟終點(diǎn)即可。

圖6　手勢(shì)分割

2.4特征提取

手勢(shì)分類的關(guān)鍵是提取能夠準(zhǔn)確描述手勢(shì)運(yùn)動(dòng)學(xué)特性的特征量，特征提取直接關(guān)系到手勢(shì)識(shí)別的準(zhǔn)確率，提取的特征必須能夠反映各類手勢(shì)的特點(diǎn)以及明顯區(qū)別于其他手勢(shì)的地方。由于復(fù)雜手勢(shì)已分割為基本手勢(shì)序列，因此只需提取基本手勢(shì)相關(guān)的特征即可。本文共定義了17個(gè)特征，分別為MAx，MAy，MAR，MAS，lmx，rmx，lmy，rmy，slmtx，srmtx，slmty，srmty，Jx，Jy，JR，SJR，r；其中下標(biāo)x和y表示分別在x和y軸提取的特征。以下為各個(gè)特征的具體定義：

①平均絕對(duì)加速度

其中L為手勢(shì)分割截取的有效手勢(shì)信號(hào)段的長(zhǎng)度。

②x和y軸平均絕對(duì)加速度的比值

③x和y軸平均絕對(duì)加速度之和

④加速度差分主峰值點(diǎn)左邊加速度絕對(duì)值最大時(shí)的加速度值

同理可得主峰值點(diǎn)右邊加速度絕對(duì)值最大時(shí)的加速度值rm。

⑤加速度差分主峰值點(diǎn)左邊大于閾值的加速度絕對(duì)值的最大值點(diǎn)的加速度符號(hào)

⑥加速度差分主峰值點(diǎn)左右兩邊加速度絕對(duì)值最大值點(diǎn)間的平均加速度導(dǎo)數(shù)

其中Δt為兩點(diǎn)間的時(shí)間差。

⑦x和y軸平均加速度導(dǎo)數(shù)的比值

⑧JR的符號(hào)SJR=sign（JR）

⑨x和y軸加速度間的相關(guān)系數(shù)

其中cov（x，y）為協(xié)方差，σx和σy為x和y軸加速度的標(biāo)準(zhǔn)差。

2.5分類器的構(gòu)建

在機(jī)器學(xué)習(xí)中，隨機(jī)森林是一個(gè)包含多棵決策樹的組合分類器，其輸出的類別是由各決策樹輸出的多數(shù)類而定。在建立每一棵決策樹的過程中，從N個(gè)訓(xùn)練樣本中有放回取樣N個(gè)樣本（即bootstrap取樣）對(duì)每個(gè)結(jié)點(diǎn)分裂時(shí)，從M個(gè)特征中隨機(jī)選擇log（M+1）個(gè)特征采用完全分裂的方式建立決策樹，不需要進(jìn)行剪枝。Weka是基于Java環(huán)境下開源的機(jī)器學(xué)習(xí)以及數(shù)據(jù)挖掘軟件，其源代碼可在它的官方網(wǎng)站下載。本文使用Weka中提供的隨機(jī)森林算法，利用已提取的17個(gè)基本手勢(shì)特征，共構(gòu)建了11棵決策樹。

2.6基本手勢(shì)編碼

基本手勢(shì)識(shí)別之后，需將其進(jìn)行4-bit約翰遜編碼以便能夠計(jì)算手勢(shì)間的相似度。8個(gè)基本手勢(shì)相應(yīng)的約翰遜編碼如表1所示，從R（C0）到LR（C7）依次進(jìn)行編碼。編碼規(guī)則可迭代地表示為

其中，B3，B2，B1，B0是二進(jìn)制bit，Cn和Cn+1是兩個(gè)相鄰的編碼，n=0～6，C0=0000。注意到：①任意兩個(gè)相鄰的編碼之間有且僅有1 bit不同；②第一個(gè)編碼（C0）與最后一個(gè)編碼（C7）之間有且僅有1 bit不同。兩個(gè)手勢(shì)編碼間的漢明距離可表示為不相同的二進(jìn)制比特的個(gè)數(shù)。給定任意兩個(gè)基本手勢(shì)Cx=X3X2X1X0和Cy=Y3Y2Y1Y0，則Cx和Cy之間的漢明距離可表示為

s的取值范圍為0～1，當(dāng)Cx與Cy相同時(shí)取1，相反時(shí)取0。注意到兩個(gè)手勢(shì)編碼不同的bit數(shù)越少（即漢明距離越小），手勢(shì)越相似。

即d（Cx，Cy）等于Cx⊕Cy中1的個(gè)數(shù)，且其取值范圍為0～4。由表1可以看出，任意兩個(gè)方向相鄰的手勢(shì)有1 bit不同，遞增地，任意兩個(gè)方向相反的手勢(shì)有4 bit不同。本文中利用兩個(gè)基本手勢(shì)編碼間的漢明距離來度量手勢(shì)間的相異性；將其轉(zhuǎn)化為歸一化的相似度

s的取值范圍為0～1，當(dāng)Cx與Cy相同時(shí)取1，相反時(shí)取0。注意到兩個(gè)手勢(shì)編碼不同的bit 數(shù)越少（即漢明距離越?。?，手勢(shì)越相似。

表1　8個(gè)基本手勢(shì)的約翰遜編碼

2.7相似度匹配

復(fù)雜手勢(shì)通過手勢(shì)分割變?yōu)榛臼謩?shì)序列，經(jīng)特征提取及模式分類之后得到一個(gè)已識(shí)別的基本手勢(shì)序列（可能存在誤識(shí)別）；將每個(gè)識(shí)別出的基本手勢(shì)進(jìn)行約翰遜編碼，再與標(biāo)準(zhǔn)模板序列進(jìn)行相似度匹配，即可識(shí)別出復(fù)雜手勢(shì)。假設(shè)輸入的復(fù)雜手勢(shì)已識(shí)別為序列A1′-A2′-A3′，將其與表2中的模板序列進(jìn)行相似度匹配；具體地，計(jì)算

其中，i=1～6，Si為已識(shí)別序列與第i個(gè)模板序列的總相似度。預(yù)測(cè)結(jié)果即為，即將最相似的手勢(shì)作為輸出結(jié)果。

3　實(shí)驗(yàn)結(jié)果

3.1基本手勢(shì)識(shí)別

為了測(cè)試手勢(shì)識(shí)別算法的效果，本文收集了5名實(shí)驗(yàn)者總共1 100個(gè)手勢(shì)樣例，其中800個(gè)基本手勢(shì)，300個(gè)復(fù)雜手勢(shì)。要求每位實(shí)驗(yàn)者按圖3和圖4所示，以正常的速度在豎直平面內(nèi)重復(fù)20次基本手勢(shì)動(dòng)作以及10次復(fù)雜手勢(shì)動(dòng)作。首先，利用800個(gè)基本手勢(shì)樣本，采用十折交叉驗(yàn)證的方法來評(píng)估隨機(jī)森林分類器的效果，得到如表3所示的混淆矩陣，可見800個(gè)樣本中僅有2個(gè)分類錯(cuò)誤，平均識(shí)別率達(dá)99.75%。然后，用所有800個(gè)樣本來訓(xùn)練模型，已訓(xùn)練的模型即可用于對(duì)復(fù)雜手勢(shì)分割成的基本手勢(shì)序列進(jìn)行分類識(shí)別。

表3　基本手勢(shì)識(shí)別的混淆矩陣

表4　由復(fù)雜手勢(shì)分割成的基本手勢(shì)的識(shí)別結(jié)果

3.2復(fù)雜手勢(shì)識(shí)別

300個(gè)復(fù)雜手勢(shì)經(jīng)手勢(shì)分割后得到900個(gè)基本手勢(shì)。利用3.1節(jié)已訓(xùn)練好的隨機(jī)森林分類模型對(duì)其進(jìn)行分類識(shí)別，得到表4所示的識(shí)別結(jié)果。平均識(shí)別率為97.3%，其中識(shí)別率最低的為“左上”，其識(shí)別率為88%。注意到，在分類錯(cuò)誤的樣例中，大多被誤分為與其相鄰的手勢(shì)，這為本文提出的基于約翰遜編碼的相似度匹配提供了數(shù)據(jù)支撐，因?yàn)橄噜弮蓚€(gè)手勢(shì)較為相似，可通過相似度匹配來進(jìn)行糾錯(cuò)。由隨機(jī)森林模型已識(shí)別的基本手勢(shì)序列經(jīng)約翰遜編碼之后，再與標(biāo)準(zhǔn)模板序列進(jìn)行相似度匹配，得到最終的復(fù)雜手勢(shì)輸出。其識(shí)別結(jié)果的混淆矩陣如表5所示，注意到每個(gè)復(fù)雜手勢(shì)均被正確識(shí)別。

表5　復(fù)雜手勢(shì)識(shí)別的混淆矩陣

算法在隨機(jī)森林分類器較高的基本手勢(shì)識(shí)別率的基礎(chǔ)上，采用基于約翰遜編碼的相似度匹配的方法成功地實(shí)現(xiàn)了序列糾錯(cuò)的效果；在提升識(shí)別精度的同時(shí)，也增強(qiáng)了系統(tǒng)的可擴(kuò)展性。表6對(duì)本文以及其他一些文獻(xiàn)中提出的不同手勢(shì)識(shí)別算法的性能做了比較，可以看出，本文提出的隨機(jī)森林與相似度匹配的方法性能略高于其他的算法。

表6　不同手勢(shì)識(shí)別算法的性能比較

4　結(jié)論

本文提出了基于加速度傳感器的可擴(kuò)展手勢(shì)識(shí)別算法。根據(jù)手勢(shì)運(yùn)動(dòng)的特點(diǎn)提取了有效的特征量，并利用基本手勢(shì)樣本構(gòu)建了隨機(jī)森林模型。通過將復(fù)雜手勢(shì)分割成基本手勢(shì)序列，并利用已訓(xùn)練的模型對(duì)其進(jìn)行分類識(shí)別；將識(shí)別出的序列經(jīng)約翰遜編碼之后，與標(biāo)準(zhǔn)模板序列進(jìn)行相似度匹配，得到最終的分類結(jié)果。算法有效地將隨機(jī)森林和相似度匹配結(jié)合起來，既保證了手勢(shì)識(shí)別的精度，也提高了系統(tǒng)的可擴(kuò)展性。然而，系統(tǒng)沒有考慮加速度傳感器的零點(diǎn)漂移問題，且系統(tǒng)只能識(shí)別由基本手勢(shì)組成的序列，不能識(shí)別一些不規(guī)則的手勢(shì)。在今后的研究工作中，可考慮如何對(duì)傳感器進(jìn)行校準(zhǔn)，以及如何引進(jìn)非規(guī)則手勢(shì)。

［1］Lu Tao.A Motion Control Method of Intelligent Wheelchair Based on Hand Gesture Recognition［C］//2013 IEEE 8th Conference on Industrial Electronics and Applications，2013：957-962.

［2］Lian Shiguo，Hu Wei，Wang Kai.Automatic User State Recogni?tion for Hand Gesture Based Low-Cost Television Control System［J］.IEEE Transactions on Consumer Electronics，2014，60（1）：107-115.

［3］Xie Renqiang，Sun Xia，Xia Xiang，et al.Similarity Matching-Based Extensible Hand Gesture Recognition［J］.IEEE Sensors Journal，2015，15（6）：3475-3483.

［4］Zhu Chun，Sheng Weihua.Wearable Sensor-Based Hand Gesture and Daily Activity Recognition for Robot-Assisted Living［J］. IEEE Transactions on Systems，Man and Cybernetics，Part A：Sys?tems and Humans，2011，41（3）：569-573.

［5］Alon Jonathan，Athitsos Vassilis，Yuan Quan，et al.A Unified Framework for Gesture Recognition and Spatiotemporal Gesture Segmentation［J］.IEEE Transactions on Pattern Analysis and Ma?chine Intelligence，2009，31（9）：1685-1699.

［6］Zhou Shengli，F(xiàn)ei Fei，Zhang Guanglie，et al.2D Human Gesture Tracking and Recognition by the Fusion of MEMS Inertial and Vi?sion Sensors［J］.IEEE Sensors Journal，2014，14（4）：1160-1170.

［7］肖茜，楊平，徐立波.一種基于MEMS慣性傳感器的手勢(shì)識(shí)別方法［J］.傳感技術(shù)學(xué)報(bào)，2013，26（5）：611-615.

［8］陳意，楊平，陳旭光.一種基于加速度特征提取的手勢(shì)識(shí)別方法［J］.傳感技術(shù)學(xué)報(bào)，2012，25（8）：1073-1078.

［9］王萬良，楊經(jīng)緯，蔣一波.基于運(yùn)動(dòng)傳感器的手勢(shì)識(shí)別［J］.傳感技術(shù)學(xué)報(bào)，2011，24（12）：1723-1727.

［10］劉蓉，劉明.基于三軸加速度傳感器的手勢(shì)識(shí)別［J］.計(jì)算機(jī)工程，2011，37（24）：141-143.

［11］Wang Jeen-Shing，Chuang Fang-Chen.An Accelerometer-Based Digital Pen With a Trajectory Recognition Algorithm for Handwrit?ten Digit and Gesture Recognition［J］.IEEE Transactions on In?dustrial Electronics，2012，59（7）：2998-3007.

［12］Hsu Yu-Liang，Chu Cheng-Ling，Tsai Yi-Ju，et al.An Inertial Pen with Dynamic Time Warping Recognizer for Handwriting and Ges?ture Recognition［J］.IEEE Sensors Journal，2015，15（1）：154-163.

［13］Zhang Xu，Chen Xiang，Li Yun，et al.A Framework for Hand Ges?ture Recognition Based on Accelerometer and EMG Sensors［J］. IEEE Transactions on Systems，Man and Cybernetics，Part A：Sys?tems and Humans，2011，41（6）：1064-1076.

［14］荊雷，馬文君，常丹華.基于動(dòng)態(tài)時(shí)間規(guī)整的手勢(shì)加速度信號(hào)識(shí)別［J］.傳感技術(shù)學(xué)報(bào)，2012，25（1）：72-76.

［15］周治平，苗敏敏.基于改進(jìn)DTW及互信息去噪的手勢(shì)認(rèn)證研究［J］.傳感技術(shù)學(xué)報(bào)，2014，27（8）：1070-1076.

［16］Xu Ruize，Zhou Shengli，Li Wen J.MEMS Accelerometer Based Nonspecific-User Hand Gesture Recognition［J］.IEEE Sensors Journal，2012，12（5）：1166-1173.

［17］Frolova Darya，Stern Helman，Berman Sigal.Most Probable Lon?gest Common Subsequence for Recognition of Gesture Character Input［J］.IEEE Transactions on Cybernetics，2013，43（3）：871-880.

［18］Akl Ahmad，F(xiàn)eng Chen，Valaee Shahrokh.A Novel Accelerome?ter-Based Gesture Recognition System［J］.IEEE Transactions on Signal Processing，2011，59（12）：6197-6205.

［19］Breiman Leo.Random Forests［J］.Machine Learning，2001，45（1）：5-32.

謝仁強(qiáng)（1991-），男，四川人，中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所碩士研究生，與上海科技大學(xué)聯(lián)合培養(yǎng)，主要為研究方向?yàn)榛趹T性傳感器的手勢(shì)識(shí)別技術(shù)，xierq@shanghaitech.edu.cn；

曹俊誠（1967-），男，江西人，中科院上海微系統(tǒng)與信息技術(shù)研究所研究員（二級(jí)）、博士生導(dǎo)師、中科院太赫茲固態(tài)技術(shù)重點(diǎn)實(shí)驗(yàn)室主任、國家杰出青年基金獲得者、中科院“百人計(jì)劃”、新世紀(jì)百千萬人才工程國家級(jí)人選、上海市優(yōu)秀學(xué)科帶頭人計(jì)劃入選者、國務(wù)院政府特殊津貼和上海市自然科學(xué)牡丹獎(jiǎng)獲得者。主要為從事THz物理、器件及通信與成像應(yīng)用等方面的研究，jccao@mail.sim.ac.cn。

Accelerometer-Based Extensible Hand Gesture Recognition*

XIE Renqiang1，2，CAO Juncheng1*
（1.Key Laboratory of Terahertz Solid-State Technology，Shanghai Institute of Microsystem and Information Technology，Chinese Academy of Sciences，Shanghai 200050，China；2.School of Information Science and Technology，ShanghaiTech University，Shanghai 201210，China）

This paper presents an algorithm combining machine learning model and template matching to improve the performance of accelerometer-based dynamic hand gesture recognition and enhance the extensibility of the system. Gestures are divided into two types，i.e.，the basic gesture and the complex gesture which can be decomposed into a basic gesture sequence.According to the characteristics of hand movements，effective features are extracted.A ran?dom forest model is constructed with the basic gesture samples，and then used to classify the basic gesture sequences. The predicted results are subsequently encoded with Johnson codes，and then matched with the standard template sequences by comparing the similarity.Experiment achieves 99.75%basic gesture recognition rate and 100% complex gesture recognition rate.The algorithm improves the performance as well as enhances the extensibility.

gesture recognition；accelerometer；gesture segmentation；random forest；similarity matching

TP212.9

A

1004-1699（2016）05-0659-06

項(xiàng)目來源：國家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃項(xiàng)目（2014CB339803）；國家高技術(shù)研究發(fā)展計(jì)劃（863）主題項(xiàng)目（2011AA010205）；國家自然科學(xué)基金項(xiàng)目（61131006）；國家重大科學(xué)儀器設(shè)備開發(fā)專項(xiàng)項(xiàng)目（2011YQ150021）

2015-12-21修改日期：2016-01-11