基于微多普勒特征和深度學(xué)習(xí)的人體動(dòng)作識(shí)別*

鐘瀅潔，李秋生,?

(贛南師范大學(xué) a.智能控制工程技術(shù)研究中心；b.物理與電子信息學(xué)院，江西 贛州 341000)

隨著社會(huì)的發(fā)展進(jìn)步，人們?cè)谏?、工作、出行等方面的安全防范意識(shí)逐漸增強(qiáng)，如何保證社會(huì)安全成為當(dāng)下人們面臨的最嚴(yán)峻的問題之一[1].由于在商場(chǎng)、銀行、醫(yī)院及保密機(jī)構(gòu)等場(chǎng)所可能存在安全隱患，因此在這些敏感場(chǎng)所內(nèi)識(shí)別異常行為，實(shí)現(xiàn)人體動(dòng)作識(shí)別具有重要意義[2].基于光學(xué)[3]和紅外視頻圖像[4]的人體動(dòng)作識(shí)別已經(jīng)廣泛應(yīng)用于安防監(jiān)控、體感游戲、自動(dòng)駕駛等方面[5].但是其易受光照、自然天氣因素影響.與其他傳感器，如攝像頭和紅外探測(cè)相比，毫米波雷達(dá)的主要優(yōu)點(diǎn)是受霧、雨等天氣影響比較小[6]，具有抗有限光照條件等低能見度環(huán)境的強(qiáng)大性能，可以全天候全天時(shí)工作，同時(shí)，保護(hù)了個(gè)人隱私安全.與其他微波相比，毫米波頻率高，波長(zhǎng)短，具有抗干擾能力強(qiáng)、探測(cè)性能好及分辨率高的優(yōu)勢(shì).因此，基于毫米波雷達(dá)的人體動(dòng)作識(shí)別是目前的熱門研究方向[7].

Bryan J等人[8]研究了利用超寬帶雷達(dá)對(duì)8種不同的人體活動(dòng)進(jìn)行分類，8種人體活動(dòng)包括跳躍、站坐轉(zhuǎn)換、爬行、靜止、行走、跑步、拳擊及旋轉(zhuǎn)，文中首先利用主成分分析(PCA)降低維數(shù)，同時(shí)利用支持向量機(jī)(SVM)對(duì)上述8種人體活動(dòng)進(jìn)行分類，該方法的分類精度達(dá)到85%.Tekeli B等人[9]提出利用信息理論特征選擇技術(shù)分析從人體動(dòng)作中提取的10個(gè)有效特征用于評(píng)價(jià)人體動(dòng)作識(shí)別所需的基本特征，同時(shí)最小化所需特征的總數(shù).實(shí)驗(yàn)結(jié)果表明，此特征選擇方法對(duì)人體行走、跑步、爬行和匍匐四類動(dòng)作在目標(biāo)沿雷達(dá)視線移動(dòng)時(shí)的分類正確率為96%，切線運(yùn)動(dòng)時(shí)的分類正確率為65%.文獻(xiàn)[10]中使用了一臺(tái)單發(fā)單收的工作在7.25 GHz的多普勒雷達(dá)探測(cè)人類活動(dòng)，采集人類仰泳、自由泳、蛙泳、劃艇及水中拖艇游泳5五種不同的水中活動(dòng)，并對(duì)其進(jìn)行時(shí)頻變換得到動(dòng)作的時(shí)頻譜圖，利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)訓(xùn)練譜圖得到的分類準(zhǔn)確率為87.8%左右.

本文利用77 GHz工業(yè)毫米波雷達(dá)作為傳感器獲取人體動(dòng)作，通過對(duì)人體目標(biāo)的調(diào)頻連續(xù)波雷達(dá)回波信號(hào)依次進(jìn)行快時(shí)間域快速傅里葉變換(FFT)加窗處理和慢時(shí)間域快速傅里葉加窗處理，獲取其在距離—多普勒域的二維分布，得到距離多普勒?qǐng)D像數(shù)據(jù)集.進(jìn)而提出利用3層卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)人體動(dòng)作的自動(dòng)特征提取與識(shí)別的仿真實(shí)驗(yàn).利用實(shí)測(cè)數(shù)據(jù)分析，驗(yàn)證了該方法在雷達(dá)識(shí)別人體動(dòng)作方面的有效性.

1 理論分析

1.1 毫米波雷達(dá)回波模型

與傳統(tǒng)脈沖雷達(dá)系統(tǒng)周期性地發(fā)射短脈沖不同，本實(shí)驗(yàn)采用77 GHz超寬帶調(diào)頻連續(xù)波雷達(dá)(FMCW)，通過連續(xù)發(fā)射信號(hào)頻率隨時(shí)間線性增加的調(diào)頻信號(hào)(Chrip信號(hào))測(cè)量目標(biāo)的距離、速度和角度[11].同時(shí)，77 GHz頻段下的SRR頻帶能提供的掃描帶寬高達(dá)4 GHz，距離分辨率和精度得到顯著提高，有利于進(jìn)行人體細(xì)微動(dòng)作的捕捉.本實(shí)驗(yàn)雷達(dá)采用正弦波對(duì)載頻進(jìn)行調(diào)頻，此時(shí)，雷達(dá)發(fā)射頻率可表示為

(1)

其發(fā)射信號(hào)可表示為

(2)

此時(shí)由目標(biāo)反射的回波信號(hào)表示為

(3)

其中，fm為調(diào)制頻率，Δf為頻率偏移量，T= 2R/c為滯留時(shí)間.

接收信號(hào)與發(fā)射信號(hào)在混頻器中外差后得到中頻信號(hào)，因此，差頻電壓表示如下：

(4)

1.2 微多普勒效應(yīng)分析

雷達(dá)通過發(fā)射天線發(fā)射電磁信號(hào)到目標(biāo)，同時(shí)接收天線接收目標(biāo)反射的回波信號(hào).假若目標(biāo)處于運(yùn)動(dòng)狀態(tài)，雷達(dá)接收信號(hào)的頻率發(fā)生改變，將偏離其發(fā)射信號(hào)的頻率，稱為“多普勒效應(yīng)”.多普勒頻移的程度取決于處于運(yùn)動(dòng)狀態(tài)的雷達(dá)檢測(cè)目標(biāo)的徑向速度.在雷達(dá)中，目標(biāo)相對(duì)雷達(dá)的徑向速度v遠(yuǎn)小于電磁波傳播速度c，當(dāng)運(yùn)動(dòng)目標(biāo)與雷達(dá)設(shè)備存在相對(duì)運(yùn)動(dòng)，動(dòng)目標(biāo)與雷達(dá)設(shè)備兩者之間的距離在t時(shí)刻可表示為

R(t)=R0-vt

(5)

電磁波來回的路程是目標(biāo)與雷達(dá)發(fā)射機(jī)之間距離的2倍，故時(shí)延可表示為

(6)

高頻相位差為

(7)

因此，目標(biāo)總的多普勒頻移為

(8)

目標(biāo)主體移動(dòng)產(chǎn)生多普勒偏移頻率，若目標(biāo)的任何部件存在微小移動(dòng)，該微動(dòng)會(huì)對(duì)雷達(dá)回波產(chǎn)生額外的頻率調(diào)制，從而生成信號(hào)邊頻.這種附加的多普勒調(diào)制稱為“微多普勒效應(yīng)”.因此微多普勒效應(yīng)指的是雷達(dá)目標(biāo)或目標(biāo)結(jié)構(gòu)中的振動(dòng)、旋轉(zhuǎn)等微小運(yùn)動(dòng)在雷達(dá)回波信號(hào)中產(chǎn)生多普勒頻率調(diào)制的物理現(xiàn)象.

1.3 基于距離多普勒特征的譜圖獲取

人體行走由身體各部分散射點(diǎn)運(yùn)動(dòng)關(guān)聯(lián)組合而成，其運(yùn)動(dòng)形式極為豐富，屬于典型的鉸接式非剛體運(yùn)動(dòng)[12].當(dāng)雷達(dá)對(duì)人體目標(biāo)探測(cè)時(shí)，其回波信號(hào)包含了人體平動(dòng)和非剛體性微動(dòng)所調(diào)制產(chǎn)生的混合多普勒信息，表現(xiàn)形式也極為復(fù)雜.在人體動(dòng)作識(shí)別方面，微多普勒效應(yīng)[13]被認(rèn)為是人體目標(biāo)運(yùn)動(dòng)特征在雷達(dá)回波中的獨(dú)特反映，標(biāo)志人體目標(biāo)的獨(dú)有特征.如今，雷達(dá)目標(biāo)的微動(dòng)特征有效提取和微多普勒效應(yīng)分析已經(jīng)成為雷達(dá)技術(shù)領(lǐng)域的研究熱門[14].目前研究通常利用人體行為的一維距離分辨率信息[15].本文在雷達(dá)人體動(dòng)作識(shí)別領(lǐng)域中應(yīng)用二維距離多普勒[16]圖像.

本文針對(duì)人體動(dòng)作識(shí)別，對(duì)人體行為數(shù)據(jù)進(jìn)行預(yù)處理，提取人體不同動(dòng)作的獨(dú)有特征，構(gòu)建二維距離-多普勒譜圖(R-D圖).人體動(dòng)作雷達(dá)回波處理流程圖如圖1所示.針對(duì)雷達(dá)數(shù)據(jù)，在Chrip信號(hào)的第m個(gè)周期的第n個(gè)采樣點(diǎn)對(duì)混頻后的中頻信號(hào)進(jìn)行采樣得到離散中頻信號(hào)，將其解析為二維數(shù)據(jù)矩陣RN×M，其中N為一個(gè)調(diào)頻周期內(nèi)的采樣點(diǎn)數(shù)，M為一個(gè)采樣動(dòng)作周期的總幀數(shù).

圖1 雷達(dá)信號(hào)處理流程圖

R=[r1…r2…rM]

(9)

rm= [r1,m…r2,m…rN,M]T

(10)

對(duì)其快時(shí)間維執(zhí)行加窗Range FFT，可以得到高分辨率一維距離信息.圖2所示為不同動(dòng)作的一維時(shí)間距離信息.在一維時(shí)間距離基礎(chǔ)上，將零頻分量搬至頻譜中心，繼而在慢時(shí)間維度執(zhí)行Doppler FFT得到距離多普勒?qǐng)D.該距離多普勒?qǐng)D有效提取了雷達(dá)信號(hào)幀下人體目標(biāo)所有散射點(diǎn)的距離及速度相關(guān)特征.基于人體不同動(dòng)作之間的差異，獲得不同距離多普勒?qǐng)D.圖3為不同動(dòng)作的距離多普勒?qǐng)D.

圖2 不同人體動(dòng)作一維時(shí)間距離像

圖3 不同人體動(dòng)作R-D圖

2 基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)通常由神經(jīng)元構(gòu)成，例如卷積層、池化層和完全連接層.通過神經(jīng)元之間的稀疏交互及卷積核參數(shù)共享，降低了神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度和參數(shù)量，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的數(shù)據(jù)重構(gòu)過程.

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心構(gòu)件，通過卷積運(yùn)算可實(shí)現(xiàn)圖像特征的有效提取.在卷積運(yùn)算中，卷積核的設(shè)計(jì)關(guān)系到圖像特征提取質(zhì)量.卷積核具有局部屬性，關(guān)注局部特征，將輸入數(shù)據(jù)加權(quán)求和后經(jīng)不同非線性激活函數(shù)處理得到輸出特征矩陣.

池化層(下采樣層)的目的是實(shí)現(xiàn)緩解卷積層對(duì)位置的敏感性.池化操作的目的主要有特征降維、防止過擬合、擴(kuò)大感受野及特征不變性.

全連接層的每個(gè)單獨(dú)神經(jīng)元都必須與其上層所有神經(jīng)單元互相連接，實(shí)現(xiàn)局部信息整合.它通過將二維特征矩陣轉(zhuǎn)換為一維特征向量，將卷積層提取的具有類別區(qū)分的信息映射到標(biāo)簽特征空間，實(shí)現(xiàn)分類識(shí)別.

2.2 模型結(jié)構(gòu)設(shè)計(jì)

針對(duì)不同分類識(shí)別，有各種不同的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì).本文研究的人體動(dòng)作識(shí)別問題的樣本基于實(shí)測(cè)雷達(dá)回波數(shù)據(jù)，屬于小樣本數(shù)據(jù)集，且經(jīng)預(yù)處理后樣本之間特征差異較為明顯，因此本文所搭建的網(wǎng)絡(luò)為小型淺層網(wǎng)絡(luò)，結(jié)構(gòu)如圖4所示.本文設(shè)計(jì)的淺層CNN結(jié)構(gòu)包含3層：第1層設(shè)計(jì)4個(gè)通道的3×3卷積核的卷積層實(shí)現(xiàn)淺層特征提取，接著一個(gè)3×3最大池化層；第2層設(shè)計(jì)8個(gè)通道3×3卷積核的卷積層與3×3最大值池化層；第3層設(shè)計(jì)16通道3×3卷積核的卷積層及3×3最大值池化層.網(wǎng)絡(luò)中池化層后利用ReLU激活函數(shù)對(duì)網(wǎng)絡(luò)中的特征進(jìn)行激活.ReLU激活函數(shù)收斂快，同時(shí)其為非飽和激活函數(shù)可防止梯度消失.輸入網(wǎng)絡(luò)之前，將距離多普勒譜圖的尺寸調(diào)整為90×90.輸入到全連接層之前，原始譜圖被映射成16個(gè)特征圖，并通過全連接層將所有特征圖映射成一個(gè)長(zhǎng)度為4的一維特征向量.將此生成的一維特征向量輸入到分類器，可以得到輸入譜圖在四種不同行為上的識(shí)別概率.網(wǎng)絡(luò)參數(shù)隨著訓(xùn)練過程的不斷迭代被逐步優(yōu)化，最終得到的參數(shù)即為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練權(quán)重參數(shù)，將權(quán)重參數(shù)加載于所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)，即得到最終的網(wǎng)絡(luò)模型，該模型可用于人體行為的識(shí)別.

圖4 設(shè)計(jì)的基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別模型

2.3 訓(xùn)練方法及超參數(shù)設(shè)置

本文所設(shè)計(jì)的人體行為識(shí)別模型采用交叉熵?fù)p失函數(shù).在所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型上，訓(xùn)練時(shí)的迭代批次設(shè)置為20，最大迭代次數(shù)設(shè)為100.在設(shè)計(jì)的網(wǎng)絡(luò)模型中進(jìn)行參數(shù)優(yōu)化時(shí)，采用SGD對(duì)網(wǎng)絡(luò)模型參數(shù)進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)置為0.001，動(dòng)量為0.9.在實(shí)驗(yàn)中為達(dá)到更好的訓(xùn)練效果，采用等間隔調(diào)整學(xué)習(xí)率，設(shè)置每隔一個(gè)epoch減小學(xué)習(xí)率，此時(shí)將學(xué)習(xí)率衰減因子設(shè)為0.98.

本文識(shí)別算法采用深度學(xué)習(xí)框架pytorch編寫實(shí)現(xiàn)，本試驗(yàn)運(yùn)行的軟硬件信息和環(huán)境配置為：4 核 CPU，Python3.7.

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)設(shè)置和數(shù)據(jù)獲取

本次實(shí)驗(yàn)中利用TI公司的工業(yè)毫米波雷達(dá)傳感器IWR1642和DCA1000數(shù)據(jù)采集板搭建了人體動(dòng)作實(shí)時(shí)數(shù)據(jù)采集平臺(tái)獲取測(cè)量到的人體動(dòng)作雷達(dá)回波數(shù)據(jù).雷達(dá)設(shè)備開發(fā)平臺(tái)配備PC控制終端mmWave Studio，可實(shí)現(xiàn)目標(biāo)回波的實(shí)時(shí)采集、傳輸處理和可視化.此雷達(dá)設(shè)備采集模塊如圖5所示.

圖5 雷達(dá)設(shè)備采集模塊 圖6 數(shù)據(jù)采集場(chǎng)景

為確保訓(xùn)練數(shù)據(jù)的有效性，本實(shí)驗(yàn)數(shù)據(jù)采集工作選擇在室外半開放式的空曠環(huán)境進(jìn)行，環(huán)境中無其他動(dòng)目標(biāo)干擾.雷達(dá)天線固定在高0.9 m的三腳架，被測(cè)目標(biāo)距離雷達(dá)2.5 m處.本文設(shè)置雷達(dá)為一發(fā)一收式，雷達(dá)參數(shù)設(shè)置見表1.被測(cè)人體目標(biāo)的數(shù)目為5人，身高分別為：153 cm、155 cm、156 cm、160 cm、175 cm.選擇4種人體日常行為動(dòng)作，分別為：站立；彎腰；揮手；行走.每種動(dòng)作采集持續(xù)時(shí)間設(shè)置為2 s.4種人體行為屬于日常動(dòng)作，動(dòng)作在距離像上既具有相似性，又具有很大區(qū)別.目標(biāo)正對(duì)雷達(dá)運(yùn)動(dòng)，每種行為重復(fù)50次.數(shù)據(jù)庫中的總樣本容量為1 000，按照8∶2∶1比例將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集及測(cè)試集.

表1 雷達(dá)設(shè)備參數(shù)設(shè)置

3.2 評(píng)價(jià)指標(biāo)與性能分析

借助混淆矩陣和一般分類任務(wù)指標(biāo)對(duì)所設(shè)計(jì)的模型進(jìn)行評(píng)價(jià)，利用準(zhǔn)確率、精確率、召回率和特異度指標(biāo)對(duì)模型評(píng)價(jià).

(11)

(12)

(13)

(14)

其中，Ptrue為所有正確分類樣本數(shù)，Pn為總的樣本數(shù)，TP為真陽、FP為偽陽、FN為偽陰、TN為真陰.

在模型訓(xùn)練過程中，用劃分的訓(xùn)練集和驗(yàn)證集譜圖訓(xùn)練神經(jīng)網(wǎng)絡(luò)，保存訓(xùn)練模型使用未參與訓(xùn)練的測(cè)試集譜圖對(duì)所設(shè)計(jì)的模型性能進(jìn)行測(cè)試.訓(xùn)練過程中，通過描繪訓(xùn)練集與驗(yàn)證集的損失值變化曲線觀察模型訓(xùn)練的好壞和訓(xùn)練過程的準(zhǔn)確率評(píng)價(jià)模型質(zhì)量，得到如圖7所示的損失值變化曲線與準(zhǔn)確率變化曲線.分析圖7可知，在訓(xùn)練過程中隨著EPOCHS增加，訓(xùn)練和驗(yàn)證的Loss值在不斷減小最終收斂，不存在過擬合.在訓(xùn)練進(jìn)行到30輪次時(shí)所設(shè)計(jì)模型基本收斂，識(shí)別準(zhǔn)確率達(dá)到較好水平.應(yīng)用設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了人體動(dòng)作精細(xì)識(shí)別，識(shí)別率準(zhǔn)確率達(dá)到98.91%.

圖7 損失值和準(zhǔn)確率變化曲線

混淆矩陣是網(wǎng)絡(luò)正確識(shí)別和錯(cuò)誤識(shí)別的直觀表示.本文利用混淆矩陣驗(yàn)證所設(shè)計(jì)模型的訓(xùn)練效果得到如圖8所示結(jié)果.混淆矩陣的每一列表示輸入譜圖的實(shí)際類型，每一行表示模型的預(yù)測(cè)類型.混淆矩陣的對(duì)角線是模型識(shí)別正確的情況.觀察圖8可知，對(duì)角線上的值普遍較高，說明所提網(wǎng)絡(luò)模型對(duì)大部分譜圖在各類行為上均能實(shí)現(xiàn)正確識(shí)別.圖中還表明站立和揮手兩種行為容易出現(xiàn)誤識(shí)別的情況.除了這兩個(gè)行為之外，所提出模型對(duì)其他日常行為的識(shí)別準(zhǔn)確率都達(dá)到100%.

圖8 混淆矩陣

同時(shí)，為了對(duì)所設(shè)計(jì)的模型進(jìn)行進(jìn)一步評(píng)價(jià)，利用精確率、召回率和特異度指標(biāo)對(duì)模型評(píng)價(jià)得到表2所示結(jié)果.

表2 模型評(píng)估指標(biāo)

3.3 性能對(duì)比與驗(yàn)證

為了更好地評(píng)估本文方法的識(shí)別性能，在本文構(gòu)建的微多普勒數(shù)據(jù)集上進(jìn)行分類效果驗(yàn)證，與文獻(xiàn)[8]中的分類算法進(jìn)行對(duì)比，對(duì)雷達(dá)采集的回波信號(hào)首先采用PCA提取主成分特征，再結(jié)合SVM分類器進(jìn)行分類識(shí)別.基于PCA和SVM分類模型應(yīng)用于本文數(shù)據(jù)集時(shí)優(yōu)先使用原始論文中的參數(shù)，SVM分類器采用的是高斯核函數(shù)K(xi,xj)=exp(-‖xi-xj‖2/σ2).表3給出了本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)與相關(guān)對(duì)比模型在統(tǒng)一數(shù)據(jù)集上的分類準(zhǔn)確率結(jié)果.在同一人體動(dòng)作數(shù)據(jù)集基礎(chǔ)上，對(duì)比本文與文獻(xiàn)[8]識(shí)別算法，本文設(shè)計(jì)的淺層CNN識(shí)別算法性能更好，能更好地提取不同人體動(dòng)作雷達(dá)回波特征.

表3 各模型不同人體動(dòng)作分類識(shí)別準(zhǔn)確率

為進(jìn)一步驗(yàn)證本文CNN模型，同時(shí)避免數(shù)據(jù)集劃分對(duì)測(cè)試效果的影響，設(shè)計(jì)五折交叉驗(yàn)證模型的魯棒性，最終得到模型的平均識(shí)別準(zhǔn)確率為98.04%.交叉驗(yàn)證結(jié)果見表4，表中穩(wěn)定的準(zhǔn)確率表明本文設(shè)計(jì)的模型具有較強(qiáng)的魯棒性.

表4 交叉驗(yàn)證準(zhǔn)確率

4 結(jié)束語

本文提出了一種基于微多普勒效應(yīng)的雷達(dá)人體動(dòng)作識(shí)別模型，能夠在保護(hù)個(gè)人隱私的前提下，避免有限光照條件和惡劣天氣的影響，完成人體日常動(dòng)作的識(shí)別.通過搭建77 GHz毫米波雷達(dá)數(shù)據(jù)采集系統(tǒng)獲得人體動(dòng)作雷達(dá)回波數(shù)據(jù)集，有效提取復(fù)雜人體回波微多普勒信息，構(gòu)建了距離多普勒?qǐng)D像數(shù)據(jù)集，設(shè)計(jì)了一種基于CNN的網(wǎng)絡(luò)模型，達(dá)到了良好的識(shí)別效果.與手動(dòng)提取人體回波特征相比，CNN網(wǎng)絡(luò)可自動(dòng)提取特征達(dá)到較好的檢測(cè)結(jié)果.以上結(jié)果證明本文提出的識(shí)別模型在提高識(shí)別準(zhǔn)確性、識(shí)別復(fù)雜度方面具有較高實(shí)用價(jià)值.但實(shí)驗(yàn)仿真設(shè)置在無其他目標(biāo)干擾的理想環(huán)境下進(jìn)行，在后續(xù)研究與實(shí)際應(yīng)用中還需考慮復(fù)雜環(huán)境下人體動(dòng)作的識(shí)別檢測(cè)和雜波抑制.