基于雙流特征融合的FMCW雷達人體連續(xù)動作識別

屈樂樂， 張丁元， 楊天虹， 張麗麗， 孫延鵬

(沈陽航空航天大學電子信息工程學院， 遼寧沈陽 110136)

0 引言

目前人體動作識別技術(shù)應用范圍日漸廣泛，在醫(yī)療探測、安保防護、智能家居等方面都有廣泛的應用空間，但目前識別技術(shù)大多數(shù)依賴于接觸式傳感器或光學傳感器實現(xiàn)。其中接觸式傳感器因需要被監(jiān)測者佩戴所以對其活動空間產(chǎn)生一定的束縛，而光學傳感器因?qū)χ車h(huán)境光線條件有較高要求通常難以實現(xiàn)全天候工作，同時由于需要在終端采集用戶與生活環(huán)境的圖像或視頻，這對被檢測者隱私容易造成泄露。雷達因其自身特性可避免以上缺點，近年來被廣泛應用于人體動作識別領(lǐng)域的研究工作?；诶走_的人體動作識別方法主要采用連續(xù)波多普勒雷達、超寬帶脈沖雷達與調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave, FMCW)雷達三種雷達體制。相比于其他兩種，F(xiàn)MCW雷達具有成本低、距離分辨率與速度分辨率更高、抗干擾能力強等優(yōu)勢。

目前在基于FMCW雷達的人體動作識別工作中，微多普勒特征因其對不同目標動作的高區(qū)分度特性被應用于人體動作識別。在文獻[7]中研究者對微多普勒時頻譜圖進行分解得到對應軀干和肢體的等8種特征矢量并采用支持向量機對不同動作進行識別。文獻[8]通過提取FMCW雷達回波信號中的微多普勒信息并與其他接觸式傳感器信號進行融合實現(xiàn)對人體活動進行分類。也有研究者通過利用雷達的多個維度特征進行人體動作識別，文獻[9]將時頻譜圖有效面積的頻率上下限、功率密度及能量上下包絡和距離多普勒軌跡作為聯(lián)合特征對危險駕駛行為進行監(jiān)測。文獻[10]提出分別從微多普勒時頻譜圖中選取頻率間隙和從距離多普勒圖中選取高功率區(qū)域的橫縱寬度比值組成聯(lián)合特征作為人體不同步態(tài)的識別依據(jù)。文獻[11]基于卷積神經(jīng)網(wǎng)絡，通過提取固定幀時間長度拼接的距離-多普勒-時間圖特征進行手勢動作識別。

以上的動作識別工作都是針對離散化人體動作進行，而現(xiàn)實中人體動作往往為連續(xù)式產(chǎn)生，因此單一的離散化人體動作識別方法難以用到實際應用中，對此有研究者提出了連續(xù)人體動作識別方法。文獻[12]對回波信號進行預處理后提取其微多普勒特征，并采用支持向量機進行分類，但機器學習分類器普遍無法利用一組連續(xù)動作中不同動作的前后相關(guān)性進行類別判斷，因此識別準確率不高。文獻[13-16]引入長短期記憶網(wǎng)絡作為分類器對連續(xù)人體動作進行識別，其中文獻[13]提出分別采用微多普勒特征與距離時間特征作為識別依據(jù)并對識別結(jié)果進行對比，文獻[14]將雷達數(shù)據(jù)與接觸式傳感器數(shù)據(jù)進行特征融合得到最后識別結(jié)果，文獻[15-16]采用連續(xù)動作的微多普勒特征作為識別依據(jù)，分別搭建雙層長短期記憶網(wǎng)絡與雙層門控循環(huán)單元作為分類器進行識別，但文獻[15-16]將不同的離散化動作回波信號直接拼接得到模擬的連續(xù)動作回波信號，這種模擬的連續(xù)動作數(shù)據(jù)并不能體現(xiàn)人體在不同動作之間的轉(zhuǎn)換過程，因此與真實的人體連續(xù)動作數(shù)據(jù)還存在一定差異，并且只根據(jù)微多普勒時頻譜圖提取動作對應特征作為網(wǎng)絡輸入特征維度較為單一，動作識別準確率不高。

針對上述問題，本文提出一種基于雙流特征融合的人體連續(xù)動作識別方法。首先對采集的回波信號進行預處理得到距離時間圖與微多普勒時頻譜圖。之后采用主成分分析法(Principal Component Analysis, PCA)對各個時間段的距離時間圖與微多普勒時頻譜圖進行特征提取得到兩組特征向量再將兩組特征向量進行并聯(lián)融合。最后將融合后得到的雙流融合特征輸入到雙向長短期記憶(Bidirectional Long Short-Term Memory，Bi-LSTM) 網(wǎng)絡中訓練并得到識別結(jié)果。

1 連續(xù)人體動作識別

本文提出的連續(xù)人體動作識別方法主要流程包含回波信號預處理，特征提取與特征融合，Bi-LSTM網(wǎng)絡訓練與測試。所提人體動作識別方法的整體流程圖如圖1所示。

圖1 連續(xù)人體動作識別方法整體流程圖

1.1 回波信號預處理

在回波信號預處理階段，需要將調(diào)頻連續(xù)波雷達回波信號表示為二維矩陣(,)，其中=0,1,…,-1，=0,1,…,-1，和分別是雷達在一個調(diào)頻周期內(nèi)的采樣點數(shù)和總的調(diào)頻周期個數(shù)。對矩陣(,)的每一列進行離散傅里葉變換(Discrete Fourier Transform, DFT)得到

(1)

式中變量=0,1,…,-1包含探測目標距離雷達天線的距離信息。FMCW雷達距離分辨率Δ為

(2)

式中，為FMCW雷達的信號帶寬，為電磁波在空氣中的傳播速度。根據(jù)式(1)得到的距離時間圖對感興趣的距離單元信號進行相干疊加得到

(3)

式中與為目標所在距離單元的最小值與最大值。實驗時人體目標距離雷達的距離范圍為1.5～4.5 m, K波段雷達回波信號距離分辨率為0.075 m，因此與取值分別為20與60。之后對()進行短時傅里葉變換(Short-Time Fourier Transform, STFT)得到

(4)

式中()為漢明窗函數(shù)，為窗函數(shù)移動的索引值，窗函數(shù)每次移動時的重疊率為95%。最后根據(jù)(,)可以得到每個時間段內(nèi)對應動作的微多普勒時頻譜圖。

1.2 主成分分析

通過回波預處理得到連續(xù)人體動作回波的距離時間圖與微多普勒時頻譜圖后，采用PCA進行降維提取特征，具體計算過程如下：

3) 對協(xié)方差矩陣進行特征分解，得到特征值與投影特征向量；

4) 對特征值從大到小排序，選取其中累計貢獻率達到95%的前個特征值將其所對應的投影特征向量以列向量形式排列到一個矩陣中；

需指出的是在降維過程中需要保證對所用動作的同一維度圖同時進行PCA，即保證所有動作的特征投影到的主成分維度必須一樣。將動作的距離時間圖與微多普勒特征譜圖分別進行PCA后選取前800個主成分作為主成分分析結(jié)果，之后將同一時刻動作的距離時間特征與微多普勒特征主成分分析結(jié)果并聯(lián)融合得到該時刻的雙流融合特征。

1.3 Bi-LSTM網(wǎng)絡

本文搭建了兩個Bi-LSTM網(wǎng)絡框架，結(jié)構(gòu)圖分別如圖2(a)與(b)所示，網(wǎng)絡中各層尺寸大小見表1。圖2(a)為單層Bi-LSTM網(wǎng)絡結(jié)構(gòu)圖，網(wǎng)絡包含一個輸入層、一個Bi-LSTM層、一個全連接層與一個softmax輸出層，其中輸入層大小因需與主成分分析結(jié)果一致設(shè)置為800，Bi-LSTM層尺寸設(shè)置為2 400，表示該層含有2 400個循環(huán)單元，全連接層輸出大小為6，可以實現(xiàn)6分類。圖2(b)所表示的雙層Bi-LSTM網(wǎng)絡在單層Bi-LSTM網(wǎng)絡基礎(chǔ)上添加了一個相同尺寸的Bi-LSTM層。首先將每個時刻動作對應的雙流融合特征按時間順序通過輸入層輸入到網(wǎng)絡中，而后經(jīng)過Bi-LSTM網(wǎng)絡層得到時序特征，之后連接全連接與softmax分類器對輸入特征進行類別判斷，并在最后輸出結(jié)果。網(wǎng)絡所用損失函數(shù)為交叉熵損失函數(shù)，在梯度優(yōu)化方面采用Adam算法。Bi-LSTM網(wǎng)絡內(nèi)部層結(jié)構(gòu)圖如圖3(a)所示，在Bi-LSTM網(wǎng)絡層中包含兩個雙向的LSTM層，每個輸入單元對應兩個隱藏狀態(tài)信息，分別為()與()。其中()為從左向右的隱藏層結(jié)構(gòu)，()為從右向左的隱藏層結(jié)構(gòu)。因此Bi-LSTM網(wǎng)絡可以捕獲對于當前特定身體動作的前向與后向特征。當人類在連續(xù)活動狀態(tài)時，前后動作在順序上的相關(guān)性有著緊密的聯(lián)系，例如當人坐下之后就不會發(fā)生行走或跳躍等在站立條件下才能進行的動作，但可能會發(fā)生喝水、起立等動作或靜止無動作。一般的機器學習用作分類器只會局限于利用當前動作本身的特征而無法利用人體動作的順序相關(guān)性進行識別，而長短期記憶網(wǎng)絡因其自身特性可以有效地利用當前動作的前向特征作為識別依據(jù)，在此基礎(chǔ)上采用Bi-LSTM網(wǎng)絡作為分類器可以更好地捕捉動作前向與后向特征對連續(xù)動作進行識別。

(a) 單層Bi-LSTM網(wǎng)絡結(jié)構(gòu)

(a) Bi-LSTM網(wǎng)絡層結(jié)構(gòu)圖 (b) LSTM單元模型圖圖3 Bi-LSTM內(nèi)部結(jié)構(gòu)圖

表1 網(wǎng)絡各層尺寸大小

通過圖3(a)可以看出,Bi-LSTM網(wǎng)絡每個層的基本框架是LSTM單元，其內(nèi)部結(jié)構(gòu)如圖3(b)所示。在一個LSTM單元內(nèi)包含3個門，分別是遺忘門、輸入門與輸出門。其中遺忘門為數(shù)據(jù)進入LSTM 單元的第一步，決定該LSTM單元內(nèi)丟棄什么信息，當前單元的輸入序列與上一個單元的隱藏狀態(tài)(-1)作為它的輸入，通過激活函數(shù)得到遺忘門輸出，數(shù)學表達式如下：

=((-1)++)

(5)

式中()=(1+e-)，和為遺忘門加權(quán)系數(shù)，為遺忘門偏置。之后的輸入門決定該LSTM單元記住的信息。數(shù)學表達式如下：

=((-1)++)

(6)

=tanh((-1)++)

(7)

式中，，和為加權(quán)系數(shù)，和為偏置，和分別是輸入門兩個輸出。下一步對LSTM的細胞狀態(tài)()更新：

()=(-1)?+?

(8)

式中(-1)為上一個單元的細胞狀態(tài)，，與分別為上述計算的遺忘門與輸入門的結(jié)果。單元內(nèi)的輸出門負責決定該單元需要輸出給下一個單元的隱藏狀態(tài)信息()，計算公式如下所示：

=((-1)++)

(9)

()=tanh(())?

(10)

因此可得()公式表示如下：

退休安置指符合退休條件的煤礦職工依法辦理退休手續(xù)。內(nèi)部退養(yǎng)是指截至2017年12月31日，距法定退休年齡（含特殊工種退休年齡）5年以內(nèi)且養(yǎng)老保險繳費年限滿15年的（含退養(yǎng)結(jié)束時滿15年）職工自愿申請，企業(yè)同意，雙方簽訂內(nèi)部退養(yǎng)協(xié)議。分流安置是指總公司下屬子公司或分支機構(gòu)，根據(jù)需求提供工作崗位，員工自愿申請選擇競崗，被用工單位錄用的員工，其工作年限連續(xù)計算，不給予經(jīng)濟補償。解除（終止）勞動合同是指公司根據(jù)相關(guān)法律、法規(guī)的規(guī)定，與職工解除勞動關(guān)系，企業(yè)依法支付經(jīng)濟補償③。

()=((-1)++)

(11)

同理亦可得()公式為

()=((-1)++)

(12)

根據(jù)()與()可得當前時刻的隱藏狀態(tài)信息也是下一層網(wǎng)絡的輸入。

=()+()+

(13)

2 實測數(shù)據(jù)結(jié)果分析

2.1 實驗場景

實驗采用K波段FMCW雷達對人體所作不同動作回波信號進行采集，雷達具體參數(shù)如表2所示，基帶采樣數(shù)據(jù)傳輸?shù)接嬎銠C中采用MATLAB 2020a進行數(shù)據(jù)處理和Bi-LSTM網(wǎng)絡訓練及測試。實驗選定在實驗室環(huán)境中對3男1女共4人進行數(shù)據(jù)采集,實驗場景如圖4所示，每次采集過程中探測目標為一人。觀測目標對象從距離雷達3 m處開始活動，當雷達開始工作時，目標對象會按照隨機順序一次性做完彎腰拾東西、坐下、站起、跳躍與舉杯喝水這五種動作，每個對象的采集次數(shù)為10次，每次采集時間設(shè)定為20 s，記錄連續(xù)動作樣本總數(shù)共為40組。

表2 K波段FMCW雷達參數(shù)

圖4 實驗場景

2.2 實驗結(jié)果分析

(a) 距離時間圖

為了檢驗本文所提方法對連續(xù)人體動作的識別性能，分別將回波信號的距離時間特征、微多普勒特征和雙流融合特征向量輸入到本文所搭建的兩種Bi-LSTM網(wǎng)絡中進行訓練與測試，考慮到網(wǎng)絡一次只能輸出一個動作識別結(jié)果，因此不可以將一組連續(xù)動作的距離時間特征與距離多普勒特征直接進行PCA后并聯(lián)融合輸入網(wǎng)絡，而是需要對每組連續(xù)動作先進行分割操作。本文對每一組連續(xù)動作的距離時間圖分割成191個時長為1 s，間隔為0.1 s的距離時間圖，并對這些距離時間圖分別進行時頻分析，每組連續(xù)動作經(jīng)過如上操作會產(chǎn)生191個距離時間圖與微多普勒時頻譜圖，這些圖所包含的特征信息對應的是該組連續(xù)動作的191個時段內(nèi)的動作，而每一時段目標所作動作就是當前時段對應特征信息的動作標簽類別。在劃分訓練與測試樣本集時首先從收集到的數(shù)據(jù)樣本集中隨機抽取一人的所有樣本數(shù)據(jù)作為A組測試樣本集，其次將剩余3人的樣本數(shù)據(jù)按照1∶1的比例隨機劃分為訓練樣本集與B組測試樣本集，共計15組連續(xù)動作樣本用于訓練與25組連續(xù)動作樣本用于測試。采用連續(xù)動作訓練樣本集經(jīng)過上述分割操作并標記動作標簽類別后對Bi-LSTM網(wǎng)絡進行訓練，采用B組測試樣本經(jīng)過上述分割操作后進行隨機抽樣實驗測試，采用A組測試樣本經(jīng)過上述分割操作后進行留一法實驗測試，網(wǎng)絡每0.1 s會對測試樣本進行一次動作判定。網(wǎng)絡訓練過程中學習率設(shè)定為0.001，訓練迭代次數(shù)為100次，梯度下降方式采用小批量隨機下降法，批量大小設(shè)定為64，實驗結(jié)果如表3和表4所示。

表3 單層Bi-LSTM網(wǎng)絡不同動作識別準確率 %

表4 雙層Bi-LSTM網(wǎng)絡不同動作識別準確率 %

對比表3與表4結(jié)果可以看出，采用雙層Bi-LSTM的網(wǎng)絡對比只采用一層Bi-LSTM層可以有效地提高識別準確率，同時觀察兩種網(wǎng)絡模型在3種不同特征情況下對各個不同動作的識別準確率可以看出采用雙層Bi-LSTM網(wǎng)絡進行留一法實驗的平均識別準確率與隨機抽樣測試的平均識別準確率并無太大差別，在個別動作上的識別準確率互有高低，采用單層Bi-LSTM網(wǎng)絡進行的留一法實驗結(jié)果對比隨機抽樣實驗結(jié)果差距較大。因此雙層Bi-LSTM網(wǎng)絡具有更好的泛化能力，對未知目標樣本具有一定的識別能力。

為進一步驗證本文所提Bi-LSTM網(wǎng)絡對于連續(xù)人體動作的識別能力，本文將兩種Bi-LSTM網(wǎng)絡的雙流融合特征識別結(jié)果與文獻[15]和文獻[16]所用方法的識別結(jié)果進行對比，對比結(jié)果如表5所示。可以看出在隨機抽樣時間與留一法實驗兩種不同實驗類別情況下，采用雙層Bi-LSTM網(wǎng)絡對各個不同動作的識別準確率普遍高于其余3種網(wǎng)絡結(jié)構(gòu)。

表5 不同方法識別準確率對比 %

為進一步研究所提基于雙流融合特征的識別效果，本文對隨機抽樣實驗中若干樣本數(shù)據(jù)的識別結(jié)果進行對比，結(jié)果如圖6所示，圖6(a)與圖6(b)分別展示了在隨機抽樣實驗與同環(huán)境留一法實驗下采用3種不同特征對共計25個測試樣本每個具體的識別準確率情況。從圖中可以看出當將融合特征作為網(wǎng)絡輸入時識別準確率普遍較高，但也有個別數(shù)據(jù)會出現(xiàn)采用微多普勒特征識別率較高的情況。如圖6(a)中的7號、15號樣本和圖6(b)中的2號、9號樣本。

(a) 隨機抽樣實驗 (b) 留一法實驗圖6 測試樣本識別準確率

為進一步深入研究基于雙流融合特征的識別效果，對基于距離時間特征、微多普勒特征與雙流融合特征的Bi-LSTM網(wǎng)絡判別結(jié)果與人體真實動作進行對比，對比結(jié)果如圖7所示。

圖7 識別結(jié)果與真實動作比較圖

圖7中縱軸為動作類型，數(shù)字0～5分別表示無動作、坐下、站立、舉杯喝水、彎腰撿東西與跳躍動作，橫軸為一組動作的持續(xù)時間，動作總時長為20 s。可以看出當采用雙流融合特征作為網(wǎng)絡輸入時識別結(jié)果與真實值總體一致，突變較少，在個別動作判別上有少許的延后或提前。當采用單一特征時離散性的突變出現(xiàn)較多，且當采用距離時間特征作為Bi-LSTM網(wǎng)絡輸入時網(wǎng)絡判別值與真實動作差異更加明顯。此外在動作變化時特征譜圖也會產(chǎn)生急劇的變化，此時這種變化沒有對應的動作結(jié)果，Bi-LSTM只能根據(jù)來自先前時間的實際識別結(jié)果或延后時間的實際識別結(jié)果來決定此時的動作類型，因此可以發(fā)現(xiàn)Bi-LSTM根據(jù)融合特征得到的識別結(jié)果與真實發(fā)生的動作在動作變化時刻存在短暫提前或延遲情況，但這種情況并不會在整體上產(chǎn)生錯誤的分類。

3 結(jié)束語

本文提出了一種基于雙流特征融合的FMCW雷達連續(xù)人體動作識別方法。基于實測雷達數(shù)據(jù)處理的結(jié)果表明，采用該方法對連續(xù)人體動作的平均識別準確率可達到92.1%，對比采用單一維度特征進行識別效果有所提高，且通過留一法實驗得出本文所提方法具有一定泛化能力，對未知目標樣本具備一定的識別能力。但同時對個別動作識別準確率偏低，在下一階段工作中將重點提升識別準確率，使得該方法擁有更為廣闊的應用前景。