基于傳感器的腕部動(dòng)作檢測(cè)與手勢(shì)識(shí)別方法綜述

胡躍輝, 陳亞冬, 張 濤, 鐘紀(jì)權(quán), 王 星

(1.合肥工業(yè)大學(xué) 光電技術(shù)研究院,安徽 合肥 230009；2.合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院,安徽 合肥 230009；3.合肥溪流光電科技有限公司,安徽 合肥 230009；4.合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院,安徽 合肥 230009)

0 引 言

自2012年Google Glass問世以來(lái),各種可穿戴設(shè)備大量出現(xiàn)。主流的可穿戴設(shè)備基本分為三類：手腕部設(shè)備：蘋果手表,小米手環(huán)等；腳部設(shè)備：耐克智能運(yùn)動(dòng)鞋；頭部設(shè)備：谷歌眼鏡,微軟Hololens眼鏡等。不同于傳統(tǒng)的基于個(gè)人電腦和鼠標(biāo)的人機(jī)交互模式,基于可穿戴設(shè)備的人機(jī)交互方式也逐漸出現(xiàn)變化,國(guó)內(nèi)外對(duì)基于傳感器的腕部動(dòng)作檢測(cè)與手勢(shì)識(shí)別方法展開了長(zhǎng)期的研究。本文將對(duì)該研究進(jìn)行綜述。

1 檢測(cè)與識(shí)別方法的研究現(xiàn)狀與分析

對(duì)腕部動(dòng)作信號(hào)進(jìn)行檢測(cè)的傳感器有很多種,從其測(cè)量原理上可以分為聲學(xué)傳感、力學(xué)傳感、光學(xué)傳感、電學(xué)傳感、加速度測(cè)量等。在當(dāng)前的研究中,這幾種傳感器都實(shí)現(xiàn)了較好的測(cè)量效果和手勢(shì)識(shí)別結(jié)果。此外,近年來(lái)機(jī)器學(xué)習(xí)算法有了巨大的發(fā)展,廣泛應(yīng)用于基于傳感器的手勢(shì)識(shí)別的算法包括支持向量機(jī)(support vector machine,SVM)[1,2]、反向傳播(BP)神經(jīng)網(wǎng)絡(luò)[2,3]、低維的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[4,5]等。

1.1 腕部動(dòng)作檢測(cè)的力學(xué)傳感器方法

目前,常見的采集腕部皮膚表面的運(yùn)動(dòng)信號(hào)的微力學(xué)傳感器包括基于聚偏氟乙烯(polyvinylidene fluoride,PVDF)薄膜的壓力傳感器、基于駐極體薄膜的壓力傳感器、力敏感電阻傳感器、陶瓷壓電傳感器、電容壓力傳感器、改進(jìn)的氣壓傳感器等。

2018年,合肥工業(yè)大學(xué)的胡躍輝等人[6,7]研究了一種基于PVDF壓電薄膜的體積小、柔性好、靈敏度高,容易和皮膚接觸,可以舒適地對(duì)腕部的肌肉運(yùn)動(dòng)信號(hào)進(jìn)行檢測(cè)的傳感器。2019年,胡躍輝等人[8,9]基于PVDF傳感器及其陣列研究了一種進(jìn)行實(shí)時(shí)鼠標(biāo)手指動(dòng)作識(shí)別的方法。該方法利用PVDF腕部傳感器來(lái)構(gòu)成圍繞腕部一周的傳感器陣列,根據(jù)腕部信號(hào)的特征對(duì)該傳感器陣列的分布進(jìn)行優(yōu)化,使用該傳感器陣列采集用戶手指動(dòng)作時(shí)的手腕肌肉和肌腱運(yùn)動(dòng)對(duì)傳感器造成的壓電信號(hào),使用短時(shí)能量來(lái)實(shí)時(shí)檢測(cè)和提取運(yùn)動(dòng)信號(hào)片段,將其編碼為手指動(dòng)作的特征向量輸入到BP神經(jīng)網(wǎng)絡(luò),對(duì)三個(gè)基本的類鼠標(biāo)手指動(dòng)作的識(shí)別率達(dá)到了96.7 %。2020年,胡躍輝等人[10]研究了一種基于駐極體薄膜的壓力傳感器,能夠較好地測(cè)量腕部的肌肉運(yùn)動(dòng)信號(hào)。

2018年,中國(guó)科學(xué)技術(shù)大學(xué)的張宇飛等人[11,12]通過手腕周圍放置4只力敏感電阻器(force sensitive resistors,FSR)以捕捉不同手勢(shì)的手腕壓力分布,可以實(shí)時(shí)識(shí)別手勢(shì)并將其轉(zhuǎn)換為鼠標(biāo)的移動(dòng)。為了確保系統(tǒng)的實(shí)時(shí)性,設(shè)計(jì)了一些簡(jiǎn)單分類器來(lái)識(shí)別手勢(shì),從而降低時(shí)間的復(fù)雜性。此外,該原型體積小,能耗低,易于與智能手表和智能腕帶等普通可穿戴設(shè)備集成。研究表明,該系統(tǒng)在實(shí)時(shí)手勢(shì)識(shí)別方面性能良好,F得分高達(dá)92.55 %,處理數(shù)據(jù)平均延時(shí)小于50 ms。

2017年,卡爾加里大學(xué)的Booth R與Goldsmith P[13]通過放置在腕部?jī)?nèi)側(cè)的陶瓷壓電傳感器對(duì)5個(gè)手指的敲擊手勢(shì)進(jìn)行識(shí)別,利用SVM算法得到了97 %的識(shí)別率。2019年格拉斯哥大學(xué)的Liang X等人[14]使用電容壓力傳感器配合SVM算法對(duì)3種手勢(shì)進(jìn)行識(shí)別,得到了90 %以上的識(shí)別率。2019年,上海交通大學(xué)的Shull P B等人[15]使用改進(jìn)的氣壓傳感器來(lái)測(cè)量手腕運(yùn)動(dòng)時(shí)腕部壓力變化,從而實(shí)現(xiàn)手勢(shì)識(shí)別和手指角度估計(jì)。

2018年,三星的Byun S W等人[16]提出了一種基于柔性表皮觸覺傳感器陣列(flexible epidermal tactile sensor array,FETSA)的新型接觸式手勢(shì)識(shí)別方法,該方法用于根據(jù)手腕的運(yùn)動(dòng)來(lái)測(cè)量電信號(hào)。在該研究中,FETSA用于根據(jù)手腕的運(yùn)動(dòng)來(lái)測(cè)量傳感器的物理變形,以電阻值變化的形式獲取數(shù)據(jù)。

1.2 腕部動(dòng)作檢測(cè)的電學(xué)傳感器

常見的基于電學(xué)傳感的測(cè)量腕部運(yùn)動(dòng)方法：電阻抗斷層成像(electrical impedance tomography,EIT)的方法,表面肌電(surface electromyography,sEMG)信號(hào)的方法。該類方法大多需要將測(cè)量電極緊貼皮膚。2018年，倫敦大學(xué)的Wu Y等人[17]提出了一種基于電阻抗斷層成像的高精度手勢(shì)識(shí)別系統(tǒng)。該系統(tǒng)使用帶有電極的腕帶連接前臂。它設(shè)計(jì)了19種手勢(shì)用于識(shí)別,實(shí)時(shí)測(cè)量前臂骨骼和肌肉運(yùn)動(dòng)引起的內(nèi)部傳導(dǎo)率分布,利用所提出的循環(huán)分組方法,并將數(shù)據(jù)傳遞給自動(dòng)編碼器和分類器中進(jìn)行手勢(shì)識(shí)別,實(shí)現(xiàn)了超過98 %的準(zhǔn)確率。2019年,三星的Choi C等人[18]根據(jù)記錄在腕部背部的sEMG信號(hào)對(duì)3～5個(gè)手指手勢(shì)進(jìn)行分類。此外,結(jié)合CNN算法比較了主體內(nèi)模型和主體間模型之間的分類準(zhǔn)確性。此外,Jiang S等人[19]提出基于sEMG和慣性測(cè)量單元傳感融合的實(shí)時(shí)手勢(shì)識(shí)別腕帶的設(shè)計(jì)和驗(yàn)證,它對(duì)8種懸空手勢(shì)和4種平面手勢(shì)進(jìn)行識(shí)別,實(shí)驗(yàn)的懸空手勢(shì)和平面手勢(shì)的分類準(zhǔn)確率分別為92.6 %和88.8 %。

1.3 腕部動(dòng)作檢測(cè)的聲學(xué)傳感器

同時(shí),基于聲學(xué)的方法,如超聲、麥克風(fēng)等也成為一種人機(jī)交互的熱點(diǎn)。2017年,香港城市大學(xué)的Siddiqui N,Chan R H M[1]研究了手腕聲學(xué)測(cè)量的手勢(shì)識(shí)別,以開發(fā)低成本的可穿戴人機(jī)交互設(shè)備。該裝置結(jié)合線性判別分析算法對(duì)美國(guó)手語(yǔ)中的36個(gè)手勢(shì)的識(shí)別率達(dá)到了80 %以上。2017年,布里斯托大學(xué)的McIntosh J等人[20]比較了可穿戴式超聲設(shè)備的不同前臂安裝位置的性能,研究了由于位置移動(dòng)導(dǎo)致的性能下降,并開發(fā)了一種技術(shù)來(lái)補(bǔ)償這種錯(cuò)位,該技術(shù)結(jié)合了圖像處理和神經(jīng)網(wǎng)絡(luò),對(duì)10個(gè)離散手勢(shì)的屈伸進(jìn)行分類,準(zhǔn)確率超過98 %。此外,這種方法可以連續(xù)跟蹤單個(gè)數(shù)字屈曲,均方誤差(mean square error,MSE)小于5 %,還可以區(qū)分不同關(guān)節(jié)的屈曲程度。

1.4 腕部動(dòng)作檢測(cè)的光學(xué)傳感器

近幾年,基于可穿戴的光學(xué)的方法,如攝像頭、光電容積描記(photoplethysmography,PPG)技術(shù)等方法也開始逐漸出現(xiàn)并發(fā)展應(yīng)用。2018年,賓漢姆頓大學(xué)的Zhao T M等人[21]利用低成本的PPG傳感器成功地將特定的手勢(shì)信號(hào)從脈搏的PPG信號(hào)中分離出來(lái),通過對(duì)10個(gè)采集到的3 600多個(gè)手勢(shì)使用二類分類器進(jìn)行實(shí)驗(yàn),證明該系統(tǒng)可以從美國(guó)手語(yǔ)中區(qū)分出9種基本的手指手勢(shì),平均識(shí)別精度超過88 %。2018年,浙江大學(xué)的Chen F Y等人[22]提出了一種可穿戴式腕式攝像機(jī)。在實(shí)驗(yàn)中,它使用圖像識(shí)別技術(shù)成功識(shí)別出由美國(guó)手語(yǔ)定義的從0到9的10個(gè)手指手勢(shì),準(zhǔn)確率高達(dá)99.38 %。通過使用設(shè)計(jì)的算法和該裝置操縱機(jī)器人手臂來(lái)運(yùn)輸和堆積木,進(jìn)一步證明了其性能,并且可以分類由不同手指組合形成的手勢(shì)。

2 結(jié)束語(yǔ)

腕部動(dòng)作檢測(cè)與手勢(shì)識(shí)別是當(dāng)前的研究熱點(diǎn),本文對(duì)基于傳感器的腕部動(dòng)作檢測(cè)和手勢(shì)識(shí)別方法的研究工作進(jìn)行了介紹,重點(diǎn)介紹了傳感器技術(shù)在腕部動(dòng)作檢測(cè)與手勢(shì)識(shí)別中的國(guó)內(nèi)外研究現(xiàn)狀,包括聲學(xué)傳感(超聲、麥克風(fēng)),力學(xué)傳感，光學(xué)傳感(光電容積描記技術(shù)、攝像頭)，電學(xué)傳感(電阻抗斷層成像、電波導(dǎo)裝置),加速度測(cè)量等幾種傳感器以及對(duì)應(yīng)的識(shí)別算法?？梢钥吹?腕部動(dòng)作檢測(cè)與手勢(shì)識(shí)別技術(shù)已經(jīng)取得一定的進(jìn)展?？紤]到實(shí)際應(yīng)用場(chǎng)景,該研究應(yīng)該更加關(guān)注于如何保證識(shí)別動(dòng)作的實(shí)時(shí)性、準(zhǔn)確性、魯棒性,以及佩戴的舒適性和適用性。