基于毫米波感知的手勢識(shí)別技術(shù)研究進(jìn)展*

羅朗娟，王勇，何維

（1.重慶郵電大學(xué)校醫(yī)院，重慶 400065；2.重慶郵電大學(xué)通信與信息工程學(xué)院，重慶 400065）

0 引言

傳統(tǒng)的人機(jī)交互（HCI,Human Computer Interaction）技術(shù)主要利用鼠標(biāo)、鍵盤、觸摸屏傳感器控制等接觸式設(shè)備實(shí)現(xiàn)。隨著科學(xué)技術(shù)的發(fā)展，人們追求更加自然、方便的人機(jī)交互方式，使得傳統(tǒng)的接觸式人機(jī)交互技術(shù)發(fā)展受到了制約。事實(shí)上，手勢代替鍵盤、鼠標(biāo)等設(shè)備作為信號(hào)輸入源，可以幫助人們更直觀地與計(jì)算機(jī)交流。因此，非接觸式手勢識(shí)別技術(shù)在智慧醫(yī)療[1]、智能家居[2]和智能駕駛[3]等領(lǐng)域受到了廣泛關(guān)注。目前，手勢識(shí)別方式主要包括基于運(yùn)動(dòng)傳感器、基于計(jì)算機(jī)視覺和基于無線信號(hào)的手勢識(shí)別技術(shù)。

基于運(yùn)動(dòng)傳感器的手勢識(shí)別技術(shù)通常使用的傳感器包括加速度計(jì)、慣性傳感器等設(shè)備，通過這些設(shè)備采集人體手勢運(yùn)動(dòng)信息，進(jìn)一步對(duì)手勢運(yùn)動(dòng)數(shù)據(jù)進(jìn)行處理，從而實(shí)現(xiàn)手勢識(shí)別。文獻(xiàn)[4]提出了一種基于微機(jī)電系統(tǒng)（MEMS,Micro-Electro-Mechanical System）慣性傳感器的手勢識(shí)別方法，得到了較高的手勢識(shí)別性能，但由于該方法數(shù)據(jù)處理過程中沒有去除重力影響，使得MEMS 設(shè)備的使用姿態(tài)受到限制。文獻(xiàn)[5]設(shè)計(jì)了一種低成本、最小監(jiān)督的手勢識(shí)別系統(tǒng)，在數(shù)據(jù)互操作方面可直接與物聯(lián)網(wǎng)平臺(tái)兼容。然而，由于文獻(xiàn)[4]和[5]中用戶需要在手勢識(shí)別過程中一直佩戴傳感器，使得用戶體驗(yàn)感較差?；跈C(jī)器視覺的手勢識(shí)別技術(shù)往往需要先使用攝像頭（包括普通攝像頭、深度攝像頭等）采集用戶的手勢動(dòng)作數(shù)據(jù)，然后對(duì)手勢數(shù)據(jù)進(jìn)行檢測和處理，最后利用特征提取方法對(duì)手勢動(dòng)作特征進(jìn)行提取，再將特征提取后的手勢特征映射到空間中的點(diǎn)或軌跡，并將手勢特征轉(zhuǎn)化為手勢類別。盡管基于機(jī)器視覺的手勢識(shí)別方法往往具有很高的識(shí)別精度，但因其數(shù)據(jù)量大，使得該技術(shù)對(duì)處理器性能要求較高。

隨著Wi-Fi、藍(lán)牙等無線信號(hào)的廣泛使用，基于無線信號(hào)的手勢識(shí)別技術(shù)也受到了越來越多的關(guān)注。與接觸式傳感器和基于視覺的手勢識(shí)別技術(shù)相比，無線信號(hào)無需使用者佩戴專用設(shè)備，且不會(huì)暴露使用者隱私，能夠給用戶帶來良好的使用體驗(yàn)。然而，環(huán)境中豐富的多徑信號(hào)給手勢動(dòng)作的參數(shù)估計(jì)和識(shí)別都帶來了巨大的挑戰(zhàn)。近年來，隨著單片集成電路技術(shù)的快速發(fā)展，毫米波雷達(dá)系統(tǒng)己經(jīng)從傳統(tǒng)軍事領(lǐng)域逐漸轉(zhuǎn)移至民用領(lǐng)域，并且已經(jīng)成為人機(jī)交互技術(shù)領(lǐng)域的一個(gè)重要分支。由于毫米波雷達(dá)具有帶寬大、全時(shí)段工作且不受光線、雨雪等惡劣天氣的影響，同時(shí)在隱私保護(hù)方面優(yōu)勢顯著，因此利用毫米波雷達(dá)實(shí)現(xiàn)手勢識(shí)別是解決移動(dòng)式人機(jī)交互難題最有前景的技術(shù)之一。

基于此，本文在對(duì)比現(xiàn)有幾種手勢識(shí)別技術(shù)的基礎(chǔ)上，總結(jié)了近年來毫米波雷達(dá)手勢識(shí)別技術(shù)的研究進(jìn)展，并對(duì)未來的發(fā)展方向進(jìn)行了展望。

1 毫米波雷達(dá)手勢識(shí)別技術(shù)研究進(jìn)展

1.1 2016年至2018年

毫米波雷達(dá)手勢識(shí)別技術(shù)是先通過雷達(dá)傳感器采集手勢動(dòng)作的信號(hào)，再進(jìn)行數(shù)據(jù)處理、特征提取和識(shí)別，實(shí)現(xiàn)手勢識(shí)別。2016 年，文獻(xiàn)[6] 提出了一種基于毫米波雷達(dá)的新型的高分辨率、低功耗、微型人機(jī)交互手勢傳感技術(shù)Soli，該方法對(duì)高時(shí)間分辨率手勢跟蹤、交互模型和手勢詞匯表，并進(jìn)行了優(yōu)化，可以實(shí)現(xiàn)亞毫米級(jí)的手勢跟蹤精度。文獻(xiàn)[7] 介紹了一種基于調(diào)頻連續(xù)波（FMCW,Frequency Modulated Continuous Wave）技術(shù)的手勢識(shí)別系統(tǒng)，通過感知?jiǎng)討B(tài)手勢，保證了手勢識(shí)別系統(tǒng)的可靠性和健壯性。文獻(xiàn)[8] 給出了利用77 GHz FMCW 雷達(dá)并結(jié)合隱馬爾可夫模型進(jìn)行手勢分類，其手勢識(shí)別效果比之前工作中使用的SVM 分類器更好，證明了短距離手勢識(shí)別的可行性。

2018 年，文獻(xiàn)[9] 提出了使用FMCW 雷達(dá)設(shè)計(jì)具有噪聲去除和距離選通方法，并利用距離、速度和角度信息識(shí)別雷達(dá)視野中移動(dòng)手勢的可行性。文獻(xiàn)[10] 研究了雙通道多普勒雷達(dá)傳感器的人體手勢識(shí)別，實(shí)現(xiàn)計(jì)算機(jī)輸入設(shè)備遠(yuǎn)程鼠標(biāo)功能的可行性。文獻(xiàn)[11] 提出了一種利用短程緊湊型60 GHz 毫米波雷達(dá)傳感器，并結(jié)合長循環(huán)全卷積神經(jīng)網(wǎng)絡(luò)提取和處理一系列距離-多普勒?qǐng)D像，從而實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)手勢識(shí)別。文獻(xiàn)[12] 介紹了一種使用60 GHz 毫米波雷達(dá)傳感器進(jìn)行車載信息娛樂控制的手勢識(shí)別技術(shù)，通過檢測精細(xì)運(yùn)動(dòng)并提取特定的手勢特征，構(gòu)建能夠執(zhí)行實(shí)時(shí)手勢識(shí)別的機(jī)器學(xué)習(xí)引擎。

1.2 2019年至2020年

文獻(xiàn)[13]設(shè)計(jì)了一種基于24 GHz FMCW 雷達(dá)片上系統(tǒng)（SoC,System-on-Chip）的手勢空中書寫跟蹤系統(tǒng)，并利用長短期記憶（LSTM,Long Short-Term Memory）網(wǎng)絡(luò)區(qū)分順時(shí)針手勢、逆時(shí)針手勢、前后手勢、左右手勢，達(dá)到了97.6%的手勢識(shí)別準(zhǔn)確率。為了獲得更高的手勢識(shí)別精度，文獻(xiàn)[14]提出了一種基于RD-T 網(wǎng)絡(luò)的手勢識(shí)別方法，通過將感知圖像分類為距離-時(shí)間圖、多普勒-時(shí)間圖和距離-多普勒?qǐng)D，實(shí)現(xiàn)了高保真的特征提取和分類，達(dá)到了97.8%的平均識(shí)別準(zhǔn)確率。文獻(xiàn)[15]介紹了多輸入多輸出（MIMO,Multiple-Input Multiple-Output）毫米波雷達(dá)，通過設(shè)計(jì)最大掃描帶寬為5 GHz 的77 GHz 2×2 MIMO 雷達(dá)系統(tǒng)，能夠成功捕獲亞毫米級(jí)的手勢移動(dòng)軌跡。文獻(xiàn)[16]提出了一種基于端到端時(shí)間序列卷積神經(jīng)網(wǎng)絡(luò)（TS-CNN,Time Series Convolutional Neural Network）的FMCW 雷達(dá)手勢識(shí)別方法。該方法利用二維快速傅里葉變換提取中頻信號(hào)的頻譜，再將手勢映射到一組多幀距離多普勒?qǐng)D，最后設(shè)計(jì)TS-CNN 進(jìn)行特征提取和分類。實(shí)驗(yàn)結(jié)果表明，TS-CNN 方法的平均手勢識(shí)別準(zhǔn)確率達(dá)到了93%，驗(yàn)證了該方法的準(zhǔn)確性和FMCW雷達(dá)對(duì)復(fù)雜手勢識(shí)別的可靠性。

在上述研究中，大多數(shù)都采用了單通道毫米波雷達(dá)的徑向和微多普勒特征，忽略了微多普勒特征背景或目標(biāo)區(qū)域中包含的信息的重要性。文獻(xiàn)[17] 提出了一種聯(lián)合使用多通道標(biāo)志的手勢識(shí)別算法，融合了微多普勒特征和瞬時(shí)角度的信息，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢識(shí)別，達(dá)到了96.61%的分類準(zhǔn)確率。針對(duì)連續(xù)手勢識(shí)別的問題，一些學(xué)者對(duì)手勢分割技術(shù)進(jìn)行了深入研究，然而嵌入在數(shù)據(jù)流中的一系列手勢的檢測、分類和分割仍然難以處理。為了解決該問題，文獻(xiàn)[18] 設(shè)計(jì)了一種基于毫米波雷達(dá)和深度學(xué)習(xí)的手勢識(shí)別系統(tǒng)，借助高分辨率的手勢距離和多普勒特征，通過采用滑動(dòng)窗口將這些數(shù)據(jù)流分割成適當(dāng)?shù)臄?shù)據(jù)單元，再利用卷積神經(jīng)網(wǎng)絡(luò)完成手勢的識(shí)別。

在文獻(xiàn)[19] 中，采用77 GHz FMCW MIMO 雷達(dá)實(shí)現(xiàn)了三分支CNN 手勢識(shí)別。首先利用FMCW MIMO 雷達(dá)捕獲手勢數(shù)據(jù)，然后再利用離散傅里葉變換和多信號(hào)分類（MUSIC,Multiple Signal Classification）分別對(duì)快時(shí)間域、慢時(shí)間域進(jìn)行多幀累加，提取出多維特征，得到了超過96%的平均手勢識(shí)別準(zhǔn)確率。文獻(xiàn)[20]介紹了一種79 GHz、六端口架構(gòu)的毫米波雙基地雷達(dá)傳感器，可以檢測對(duì)象的精確運(yùn)動(dòng)并估計(jì)距離和相對(duì)速度。前述大多數(shù)毫米波FMCW 雷達(dá)手勢識(shí)別的研究都通過原始數(shù)據(jù)估計(jì)手勢動(dòng)作的距離和速度譜，而文獻(xiàn)[21]通過使用距離-角度圖（RAM,Range-Angle Map）作為輸入，訓(xùn)練了一個(gè)由CNN 和LSTM 組成的特征提取模型，提高了手勢識(shí)別率。

1.3 2021年至今

文獻(xiàn)[22]設(shè)計(jì)了一種毫米波雷達(dá)實(shí)時(shí)手勢識(shí)別系統(tǒng)，利用雷達(dá)傳感器進(jìn)行經(jīng)驗(yàn)特征提取，并部署一個(gè)多層感知器來推斷手勢的類型，得到了94.3%的手勢識(shí)別準(zhǔn)確率。文獻(xiàn)[23] 提出了一種基于毫米波雷達(dá)小樣本數(shù)據(jù)庫進(jìn)行手勢識(shí)別的方法，通過對(duì)雷達(dá)回波進(jìn)行二維傅里葉變換，提取手勢動(dòng)作的多普勒信息，構(gòu)建出手勢動(dòng)作時(shí)間-多普勒數(shù)據(jù)集，與不采用遷移學(xué)習(xí)方法相比，使用遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)手勢識(shí)別準(zhǔn)確率提高了20%。

2021 年5 月，文獻(xiàn)[24] 提出了一種利用FMCW 毫米波雷達(dá)對(duì)雷達(dá)回波進(jìn)行分析處理，再經(jīng)過濾除靜態(tài)雜波和恒虛警率檢測，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)7 種手勢進(jìn)行識(shí)別分類，實(shí)驗(yàn)結(jié)果證明所提方法可以快速有效地識(shí)別出不同類別的手勢，且對(duì)于未訓(xùn)練的測試集有很好的泛化性。文獻(xiàn)[25] 提出了一種基于雷達(dá)脈沖神經(jīng)網(wǎng)絡(luò)的手勢識(shí)別方法，在對(duì)距離多普勒或微多普勒雷達(dá)信號(hào)進(jìn)行預(yù)處理后，將雷達(dá)多普勒?qǐng)D編碼轉(zhuǎn)換為脈沖串，再將雷達(dá)脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)作為不同分類器的輸入，該方法在兩個(gè)公開數(shù)據(jù)集上的交叉驗(yàn)證中達(dá)到了98% 以上的手勢識(shí)別準(zhǔn)確率。文獻(xiàn)[26] 提出了一種基于串聯(lián)式一維神經(jīng)網(wǎng)絡(luò)的毫米波雷達(dá)動(dòng)態(tài)手勢識(shí)別方法，通過獲取動(dòng)態(tài)手勢的原始回波，再利用維卷積和池化操作對(duì)手勢特征進(jìn)行提取，最后利用長短期記憶網(wǎng)絡(luò)充分挖掘動(dòng)態(tài)手勢的幀間相關(guān)性，提高了手勢識(shí)別準(zhǔn)確率和訓(xùn)練收斂速度，從而達(dá)到96% 以上的手勢識(shí)別準(zhǔn)確率。文獻(xiàn)[27] 提出了一種基于FMCW 雷達(dá)的新型手勢識(shí)別系統(tǒng)，通過簡化雷達(dá)預(yù)處理，再結(jié)合利用深度可分離卷積訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)分類器，將分類器經(jīng)過優(yōu)化并部署在Coral Edge TPU 板上。實(shí)驗(yàn)結(jié)果表明，在低功耗和資源受限的環(huán)境下運(yùn)行時(shí)，對(duì)五位用戶執(zhí)行的8 種不同手勢分類準(zhǔn)確率為98.13%。

2 下一步研究方向

毫米波雷達(dá)手勢識(shí)別技術(shù)的提出使得人機(jī)交互不再依賴于穿戴式的設(shè)備，能夠使人機(jī)交互變得更加靈活和自然。為了便于應(yīng)用和推廣，毫米波雷達(dá)手勢識(shí)別系統(tǒng)智能化研究是未來重要的發(fā)展方向，實(shí)現(xiàn)智能化手勢識(shí)別面臨的挑戰(zhàn)如下：

（1）在手勢識(shí)別過程中，手勢動(dòng)作往往是連續(xù)的。因此，未來需要進(jìn)一步研究毫米波雷達(dá)連續(xù)手勢動(dòng)作檢測技術(shù)，通過對(duì)實(shí)時(shí)采集的手勢動(dòng)作信號(hào)進(jìn)行分割，實(shí)現(xiàn)對(duì)連續(xù)手勢動(dòng)作的動(dòng)態(tài)識(shí)別。

（2）在實(shí)際應(yīng)用中，由于環(huán)境的不確定性，手勢動(dòng)作易受環(huán)境中靜態(tài)和動(dòng)態(tài)目標(biāo)的干擾，因此未來研究過程中需要實(shí)際應(yīng)用場景，研究不同應(yīng)用場景下具有較高的魯棒性及識(shí)別準(zhǔn)確率的手勢識(shí)別系統(tǒng)。

（3）在實(shí)時(shí)手勢動(dòng)作識(shí)別中，雷達(dá)參數(shù)估計(jì)算法和識(shí)別算法往往影響手勢識(shí)別速度。因此，如何降低手勢參數(shù)估計(jì)及識(shí)別的運(yùn)算開銷，實(shí)現(xiàn)在采集數(shù)據(jù)的同時(shí)完成對(duì)更多手勢動(dòng)作的識(shí)別是設(shè)計(jì)實(shí)時(shí)手勢識(shí)別系統(tǒng)的主要目標(biāo)。

3 結(jié)束語

本文基于毫米波雷達(dá)手勢識(shí)別技術(shù)的相關(guān)研究進(jìn)行了分析和論述。首先對(duì)基于運(yùn)動(dòng)傳感器、基于計(jì)算機(jī)視覺和基于無線信號(hào)的手勢識(shí)別進(jìn)行了介紹；然后按時(shí)間順序分析了國內(nèi)外毫米波雷達(dá)手勢識(shí)別技術(shù)取得的研究進(jìn)展；最后針對(duì)毫米波雷達(dá)手勢識(shí)別研究中識(shí)別準(zhǔn)確率、系統(tǒng)魯棒性以及實(shí)時(shí)性等方面的問題提出了下一步研究計(jì)劃。