基于小樣本學習的毫米波雷達手勢識別方法*

龔樹鳳，李棋斌，施漢銀，林 超，李 翔

(1.浙江工業(yè)大學信息學院，浙江 杭州 310023；2.中國通信服務浙江慧展科技公司，浙江 杭州 311215)

近年來，隨著神經網絡、深度學習等人工智能技術的長足發(fā)展，手勢動作識別技術已成為無線感知、模式識別、計算機視覺、信號處理等領域的研究熱點之一，在安防監(jiān)控、人機交互、安全駕駛等領域，具有廣闊的市場前景和深遠的社會應用價值。 為此，工業(yè)界和學術界對手勢動作識別技術開展了諸多相關研究。 現(xiàn)有較為成熟的手勢識別技術，大多通過可穿戴設備[1-2]或者光學圖像[3-5]獲取手勢特征信息來實現(xiàn)手勢識別。 其中，基于可穿戴設備的手勢識別技術大多應用傳感器或者數(shù)據手套等進行信息獲取，存在著便攜性差且設備成本較高的問題；而基于光學圖像的手勢識別技術大多通過攝像頭來拍攝手勢信息，存在著高功耗問題；此外手勢識別技術的數(shù)據以圖像或者視頻的形式進行存儲，這種形式容易導致用戶隱私性、安全性等問題，且手勢識別技術本身在復雜環(huán)境中信息提取效率較低。 因此，研究一種基于其他傳感器的手勢識別技術具有非常重大的意義。

近幾年，由于雷達所具有的高分辨和低功率等特點使其在手勢識別技術方面得到了越來越廣泛的關注。 2014 年，Wan 等[6]為智能家居場景的手勢識別應用分別設計了舉手、伸手以及搖頭三種動作，并使用連續(xù)波雷達獲取手勢的距離、角度以及速度信息；2016 年，TI[7]使用FMCW 雷達提取手勢的距離與速度信息，使用隱馬爾可夫模型(Hidden Markov Model，HMM)進行手勢識別；2017 年，李剛等[8]使用時頻分析方法來提取手勢信號特征，并對四種微手勢進行識別。 然而，CW 雷達只能獲取手勢動作的速度信息，無法獲取距離信息，這影響了手勢識別精度。 2018 年，王俊等[9]提出了一種通過雷達多普勒信息實現(xiàn)的手勢識別方法；2019 年，王勇等[10]通過研究端到端的多維卷積神經網絡結構提高了微動手勢識別網絡訓練效率，并且還提出了一種基于雷達的雙流融合網絡進行手勢識別[11]。 2020 年，夏朝陽等[12]利用輕量化卷積神經網絡實現(xiàn)了對雷達手勢特征圖像的識別。 2021 年，章東平等[13]通過手部關鍵點及其相互間連接信息來增強手部圖像特征，以提高手勢識別的準確率；靳標等[14]利用串聯(lián)式一維神經網絡(1D-ScNN)對回波數(shù)據進行特征提取并用長短期記憶網絡進行聚合分類識別，取得了很好的識別精度。

雖然上述方法的識別精度高，但是所利用的算法模型普遍具有大數(shù)據集依賴性和計算復雜性。 基于深度學習的手勢識別是一種數(shù)據驅動算法，尚不能有效解決訓練數(shù)據稀缺和計算資源受限等問題。通常來說，高性能的識別網絡往往需要采用更深層的網絡結構，模型的參數(shù)規(guī)模越大，所需訓練樣本越多帶來計算復雜度越高，模型的過擬合風險也越大?；诶走_的手勢動作識別鮮有公開數(shù)據集，大多都是基于自測數(shù)據或仿真數(shù)據，并且實驗中在有限時間內也難以獲得大量雷達回波數(shù)據。 因此，如何在雷達手勢動作感知中有效借鑒遷移學習方法，研究在小樣本數(shù)據量的基礎上實現(xiàn)對手勢動作識別訓練，從而降低計算復雜度并保持較高的識別率是需要解決的問題之一。

基于上述分析，本文提出了一種基于毫米波雷達在小樣本場景下的手勢識別方法，首先對手勢的回波信號進行預處理，然后利用二維傅里葉變換得到手勢動作的距離-時間和速度-時間譜圖，最后設計了雙流融合的原型網絡進行加權融合來實現(xiàn)手勢識別。 本文采用77 GHz FMCW 雷達，驗證了本文網絡在不同樣本數(shù)量下對六類手勢的識別效果，結果表明所提算法能有效提高手勢識別的準確率，并且降低了計算復雜度。

1 系統(tǒng)原理及實驗方法

系統(tǒng)架構如圖1 所示，包括雷達信號采集、數(shù)據預處理和手勢識別等部分。 其中，毫米波雷達發(fā)射器用來發(fā)射雷達信號，通過數(shù)據采集卡進行不同手勢回波信號的采集并將數(shù)據傳輸?shù)诫娔X保存并處理。

圖1 手勢識別系統(tǒng)框圖

1.1 數(shù)據預處理

1.1.1 中頻信號提取

中頻信號獲取流程如圖2 所示，設雷達發(fā)射的鋸齒波信號為:

圖2 中頻信號獲取流程

式中:fT(τ)是發(fā)射信號頻率隨著時間變化的線性函數(shù)，fc是載波頻率，B是帶寬，ATX是發(fā)射信號的幅值，T是信號脈寬。

發(fā)射信號經過t0＝的時延和手勢運動使得接收端的頻移可表示為:

在接收端的信號由于時延和多普勒頻移，頻率變?yōu)?

接收信號可表示為:

式中:v是手勢在雷達徑向的運動速度，R0是在時間t＝0 時手勢與雷達的距離，c為光速，ARX是接收信號的幅值。

為了獲取發(fā)射信號和接收信號中的頻移和相位差，將發(fā)射信號STX(t)和接收信號SRX(t)輸入到混頻器后得到中頻信號:

由于實際測量中t0非常小，中頻信號頻率可近似為:

1.1.2 基于一維FFT 的距離信息提取

對所獲得的中頻信號進行一維傅里葉變換得到信號頻譜，然后通過峰值分析找到頻譜的譜峰位置，得到該中頻信號的頻率:

式中:k為信號調頻斜率，R為目標距離，c為光速，則可以得到:

然后對各個脈沖計算得出的距離進行整合，即可得到手勢距離隨時間變化信息。 由于手勢屬于微小的動作，若是參數(shù)設置不合理，容易產生無法識別的問題，所以還要考慮雷達的距離分辨力問題。 設相鄰兩目標間隔為ΔR，可以得到:

式中:T為信號脈寬，可以得到距離分辨率為:

本文對50 幀內總計6 400 個脈沖做快速傅里葉變換，并對所有脈沖蘊含的距離信息按照時間順序(幀的先后)進行整合排列，即可得到手勢距離隨時間的變化信息。 以手勢“后拉”為例，對單支天線采集的復數(shù)形式回波數(shù)據以幅值畫圖，其時域圖如圖3所示。 對每幀回波信號做一維FFT，就可得到手勢的距離信息，如圖4 所示。 通過譜峰位置搜索法得到每一幀的譜峰位置，在時間上進行拼接整合，最后可以得到手勢動作的距離-時間特征信息，如圖5 所示。

圖3 “后拉”手勢回波信號時域圖

圖4 “后拉”手勢不同幀的距離圖

圖5 “后拉”手勢的距離－時間特征圖

1.1.3 基于二維FFT 的速度信息提取

在一維傅里葉變換中，可以通過對譜峰位置分析得出距離信息。 但是在雷達實際工作中，由于手勢的運動導致回波信號和發(fā)射信號之間存在頻率差，從而產生多普勒頻率偏移，所以可以通過對多普勒頻率峰值的搜索得出物體的速度信息。

實驗中，雷達接收到的每一個信號在混頻得到中頻信號后，信號都分為50 幀，每一幀中有128 個chirp，每一個chirp 中共有128 個采樣點，所以每一幀的數(shù)據構成了一個128×128 的矩陣。 當人處于靜止狀態(tài)時，中頻信號的頻率基本恒定，經過一維傅里葉變換得到的距離信息相同，當人手勢發(fā)生變化時，信號的頻率隨著手勢的變化而變化。 對同一幀的目標進行二維傅里葉變換，得到該目標的多普勒頻率:

式中:f為chirp 信號中心頻率，可以得到:

將得到的目標多普勒頻率的峰值頻率進一步處理，得到每一幀數(shù)據中蘊含的速度-距離信息，如圖6所示；再將多幀數(shù)據根據譜峰位置搜索和拼接將每一幀中蘊含的速度信息進行整合排列，可以得到手勢的速度隨時間變化信息，手勢“后拉”經過二維傅里葉變換和多幀整合后得到的速度-時間特征信息如圖7 所示。

圖6 “后拉”手勢不同幀的距離－速度圖

圖7 “后拉”手勢的速度－時間特征圖

1.1.4 標準化處理

深度學習算法的效率不僅取決于網絡本身參數(shù)，還取決于輸入數(shù)據樣本的質量。 為了能夠更加準確地識別，本文將得到的圖片進行尺寸和像素值標準化。 尺寸標準化是讓每一個樣本數(shù)據圖像大小相同。 由于絕大多數(shù)深度網絡都存在全連接層，需要將參數(shù)的數(shù)量與輸入圖像的大小相關聯(lián)，所以在訓練測試以及驗證時，都要輸入同樣大小和格式的圖像數(shù)據。 而像素值標準化目的是為了將樣本中的像素值統(tǒng)一在灰度范圍[0，255]內。 為了能夠讓提取的特征更加顯著，本文將圖像設置為黑白圖像，采用28×28 的bmp 格式圖像用來作為神經網絡的輸入，其中單個手勢“后拉”的距離-時間特征和速度-時間特征經過處理后的圖像如圖8 所示。

圖8 “后拉”手勢歸一化后的特征圖

1.2 網絡結構設計

1.2.1 算法設計

本文的網絡結構主要在原型網絡[15]算法上進行改進，主要分為特征提取和距離度量兩個部分。特征提取通過一個卷積神經網絡提取出輸入圖片的特征，然后將其映射到一個空間內得到高維特征向量；通過對處于同一標簽的樣本進行特征向量求平均來計算原型中心向量，然后再計算測試樣本的特征向量，計算兩個向量之間的歐氏距離，將測試樣本分到距離最小的那一類。

具體的算法過程如下:

將包含k類的訓練集Sk輸入網絡中，網絡通過具有可學習參數(shù)φ的映射函數(shù)fφ(x)將樣本映射到映射空間中，得到樣本的特征向量，通過將訓練集中同一類的特征向量取平均得到每個類別的原型中心向量Ck，如下式所示:

式中:xi為第i個樣本的特征向量，yi為第i個樣本對應的標簽。 得到對應的原型中心向量后，將輸入的測試集樣本映射到樣本空間內，計算它和各個原型之間的歐氏距離，然后和它的真實類別的原型中心距離進行比較，得到分到每類的概率q。 計算公式如下:

式中:x為測試集樣本，M為樣本x的真實類別，CM為真實類別的原型中心向量，M′為所有可能的類別，fφ(x)是樣本x的特征向量。 其中距離最小的為最后的分類結果y。 具體計算公式如下:

根據測試集的分類結果來判斷映射函數(shù)的泛化能力，不斷對參數(shù)φ進行改進，得到最優(yōu)的映射函數(shù)fφ(x)。

1.2.2 網絡設計

本文整體的網絡結構如圖9 所示。 主要由兩路卷積神經網絡構成，分別由4 個卷積塊構成，包括一個二維卷積層、批處理歸一化層、激活函數(shù)層和最大池化層。 這種結構設計可以降低計算復雜度，從而縮短運行時間。 每個卷積塊的參數(shù)設置如表1 所示。 在實現(xiàn)手勢分類的過程中，首先將經過預處理后的距離-時間特征圖和速度-時間圖分別輸入兩路卷積神經網絡中，輸出2 種特征圖的分類結果，將得到的2 個輸出結果進行加權融合，融合公式如式(16)所示，然后得出最終的預測結果P。

表1 網絡參數(shù)設置

圖9 整體網絡結構圖

式中:W1和W2為權重系數(shù)，和為1，本文中W1和W2都等于0.5，S1和S2為雙流的兩個輸出結果。

2 實驗設計

我們對上述的整個系統(tǒng)進行了實驗設計和結果測試。

2.1 實驗設置

本文實驗采用的是TI 公司型號為IWR1443 的毫米波雷達和DCA1000 數(shù)據采集卡，如圖10(a)所示。 IWR1443 是工作在77 GHz ～81 GHz 頻段的FMCW 毫米波雷達，具有3 根天線發(fā)射線性調頻信號，4 根天線接收回波信號。 混頻器中得到的中頻信號經AD 采樣后由DCA1000 采集卡將數(shù)據傳輸?shù)絇C 端并在CPU 上進行解析和預處理，生成特征圖，然后送入網絡進行訓練。

圖10 實驗設置

整套雷達采集設備放置在房間內，每個受試者在雷達正前方0.3 m ～1.0 m 的范圍內完成手勢動作，如圖10(b)所示。 為了采集到完整的手勢信號，還需要對雷達參數(shù)進行一定的配置，表2 給出了雷達系統(tǒng)的配置參數(shù)。

表2 雷達參數(shù)設置

2.2 實驗數(shù)據集

為了能夠完整地獲取所需的手勢特征信息，需要對信號進行多幀積累。 其中，采集手勢特征的幀窗長度如果太短或手勢持續(xù)時間過短，就有可能無法完整捕捉持續(xù)時間長的手勢動作；而如果幀窗長度太長，得到一次手勢特征的時間較長，不利于后續(xù)對手勢動作的實時性研究及應用。 為了控制單個樣本規(guī)模并提高回波解析效率，本文在進行數(shù)據集制作時采用的時間基本都維持在了1.5 s 到2.0 s 左右。 手勢動作如圖11 所示。 為了模擬真實情況，注重實際中手勢的變化與多樣性，本文的手勢數(shù)據由5 名受試者共同采集，每名受試者每個動作采集10次，4 個接收通道則可以采集到40 個樣本，6 個手勢一共采集了1 200 個實際樣本數(shù)據。 這些樣本構成了一個比較小的手勢數(shù)據集，在每個手勢的200 個手勢樣本中隨機選取100 個樣本作為訓練集，其余的按1 ∶1 比例分別作為驗證集和測試集。

圖11 手勢示意圖

3 實驗結果分析

3.1 網絡訓練

本文所提出的雙流原型網絡是基于Pytorch 深度學習框架，在配置為Intel Core i7-8700 CPU(3.2 GHz)和NVIDIA GeForce RTX 2080Ti GPU 的服務器上進行訓練和測試。 采用隨機梯度下降法，初始學習率為0.01，每10 次迭代學習率減少為原來的一半。 迭代次數(shù)一共35 次，隨著迭代次數(shù)的增加，網絡的損失函數(shù)變化如圖12 所示，可以看出在20 輪之后的損失值趨于平穩(wěn)。 圖13 展現(xiàn)了多特征網絡的實驗預測結果，橫坐標代表預測值，縱坐標代表真實值，可以看出大部分手勢都能夠準確識別，也證明了網絡的有效性。 為了進一步驗證網絡的有效性，單支網絡的單特征手勢識別結果如表3 所示，可以看出測試中的6 個手勢在單個特征下的平均識別精度也都達到了90%以上，但比多特征融合的效果要差一些。

表3 手勢識別準確率 單位:%

圖12 模型損失函數(shù)

圖13 多特征識別混淆矩陣圖(訓練集100)

3.2 不同方法實驗結果比較

為了驗證系統(tǒng)的高識別準確度，我們與1DscNN[14]，RDA-T[11]，VGG16＿Net[16]等模型進行了比較。表4 將不同模型的單個特征和多特征經過網絡訓練，比較結果可知:一方面，相較于單特征識別網絡，多特征識別網絡能夠達到更高的準確率，說明多特征數(shù)據集能夠提供更豐富的信息，體現(xiàn)了進行雙流融合的優(yōu)越性；另一方面，本文所提的雙流網絡在每類樣本訓練集為100 時準確率達到了98.3%，相較于單特征識別網絡提高了4%～7%，體現(xiàn)了本文所設計的雙流網絡結構的可靠性。 通過對單特征識別網絡結構的改進和優(yōu)化，在保證識別準確率的基礎上有效降低了使用樣本數(shù)以及單個樣本訓練所需時間。 同時，比較同類方法的多特征識別網絡可知，VGG16-Net[16]、RDA-T[11]等多特征識別網絡，所需要的樣本大多在1 200 個以上，而1D-ScNN[14]網絡在訓練樣本為4 000 時才能夠達到96%左右。 本文網絡不僅在準確率上優(yōu)于同類方法，而且在樣本數(shù)量上減少了一半，大大降低了訓練時間。

表4 不同模型性能比較

3.3 訓練集大小對結果的影響

為了體現(xiàn)所提出的網絡結構在小樣本下的可靠性，實驗比較了不同訓練集大小對測試結果的影響。如圖14 所示，雖然提高樣本數(shù)量可以提高識別精度，但即使單個手勢樣本數(shù)只有20 個時也能夠達到95%準確度，這說明小樣本也依然能夠準確識別大部分手勢；當單個手勢訓練樣本為90 以后，識別準確率基本維持在98%左右，體現(xiàn)了本文小樣本識別方法的有效性，即只需要很少的訓練數(shù)據就能夠準確進行手勢識別，提供了工程應用實時性的技術基礎。

圖14 訓練集大小對結果的影響

4 總結

本文詳細介紹了一種基于多通道調頻連續(xù)波FMCW 毫米波雷達在小樣本場景下的手勢識別算法。 首先搭建了基于FMCW 雷達的手勢采集系統(tǒng)，對采集的手勢回波信號利用兩次FFT 及相關算法提取了手勢動作的距離-時間和多普勒-時間譜圖，進一步將其轉化為灰度圖像且做歸一化處理；然后設計了雙流融合的度量學習原型網絡，基于歸一化的灰度手勢譜圖進行訓練以最終獲得一個預測模型，實現(xiàn)了6 種手勢識別。 實驗結果和分析表明，本文提出的方法在訓練集個數(shù)為100 時，整體識別精度達到了98.3%，且提高了運行效率。

手勢識別雖已取得了較多的研究成果，但由于現(xiàn)實生活中的干擾情況很多，實際的應用效果仍需進一步提高，所以在未來的工作中，我們還將繼續(xù)優(yōu)化算法，以提升系統(tǒng)的抗干擾能力和泛化能力；此外，本文中的手勢識別只針對單個手勢而言，還沒有涉及到實際應用時連續(xù)手勢動作或多個手勢動作的識別，因此在未來工作中，我們還將研究手勢分割的問題，以實現(xiàn)連續(xù)手勢動作或多個手勢動作的識別。