基于RDSNet的毫米波雷達(dá)人體跌倒檢測(cè)方法

元志安 周笑宇 劉心溥 盧大威* 鄧 彬 馬燕新

①(國(guó)防科技大學(xué)電子科學(xué)學(xué)院 長(zhǎng)沙 410073)

②(國(guó)防科技大學(xué)氣象海洋學(xué)院 長(zhǎng)沙 410073)

1 引言

據(jù)統(tǒng)計(jì)，我國(guó)每年至少有2000萬(wàn)老年人發(fā)生2500萬(wàn)次跌倒[1]，意外跌倒成為威脅老人安全的重大隱患。在家庭和醫(yī)療健康監(jiān)護(hù)中，如何及時(shí)準(zhǔn)確地進(jìn)行實(shí)時(shí)老人狀態(tài)監(jiān)測(cè)特別是跌倒檢測(cè)成為亟待解決的難題。

跌倒檢測(cè)算法主要分為兩種：穿戴式和非穿戴式。穿戴式方法針對(duì)固定對(duì)象進(jìn)行跌倒檢測(cè)，如利用慣性測(cè)量單元、加速度計(jì)和陀螺儀等傳感器組成的穿戴式跌倒檢測(cè)設(shè)備[2,3]；呂艷等人[4]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和手機(jī)傳感器的跌倒檢測(cè)系統(tǒng)，利用神經(jīng)網(wǎng)絡(luò)對(duì)智能手機(jī)內(nèi)置的三軸傳感器數(shù)據(jù)進(jìn)行訓(xùn)練和分類，可以達(dá)到較好的檢測(cè)效果。上述穿戴式方法主要存在體感上的不適和老人忘記主動(dòng)佩戴等問(wèn)題。

非穿戴式方法針對(duì)固定區(qū)域進(jìn)行檢測(cè)，主要有以下幾種傳感器：相機(jī)、WiFi、超寬帶雷達(dá)、毫米波雷達(dá)?；谙鄼C(jī)的跌倒檢測(cè)方法[5,6]不斷出現(xiàn)：Abobakr等人[7]通過(guò)深度殘差卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)對(duì)RGB-D圖像進(jìn)行跌倒分類；Feng等人[8]利用目標(biāo)檢測(cè)對(duì)復(fù)雜場(chǎng)景進(jìn)行人體檢測(cè)，并利用LSTM網(wǎng)絡(luò)對(duì)圖像進(jìn)行跌倒結(jié)果預(yù)測(cè)，得到較好的檢測(cè)效果。基于圖像檢測(cè)的方式存在侵犯?jìng)€(gè)人隱私風(fēng)險(xiǎn)，不適合用于洗手間、臥室等隱私場(chǎng)所，同時(shí)需要充足的光線，不適合夜晚場(chǎng)景的使用?；赪iFi的方法有著成本低的優(yōu)勢(shì)：Bao等人[9]基于WiFi通道狀態(tài)信息提出一種智能監(jiān)控系統(tǒng)，根據(jù)通道狀態(tài)信息的相位和幅度差值來(lái)建立跌倒檢測(cè)模型；Hu等人[10]提出DeFall的檢測(cè)方法，首先建立跌倒的通道狀態(tài)信息靜態(tài)模板庫(kù)，然后利用通道狀態(tài)信息估計(jì)跌倒時(shí)的速度進(jìn)行相似度匹配。基于WiFi的方式容易收到其他外來(lái)信號(hào)的干擾，同時(shí)上述算法基于傳統(tǒng)建模，泛化性較差?；诔瑢拵Ю走_(dá)的方法開(kāi)始出現(xiàn)：Mokhtari等人[11]對(duì)回波信號(hào)進(jìn)行特征提取，計(jì)算人體運(yùn)動(dòng)速度，利用運(yùn)動(dòng)速度的不同來(lái)進(jìn)行跌倒檢測(cè)；Maitre等人[12]利用CNN與LSTM網(wǎng)絡(luò)對(duì)超寬帶雷達(dá)信號(hào)的回波進(jìn)行特征提取和學(xué)習(xí)，能夠較好地完成跌倒檢測(cè)任務(wù)。上述基于超寬帶雷達(dá)的方法成本較高，且只對(duì)單一跌倒動(dòng)作進(jìn)行檢測(cè)，在動(dòng)作檢測(cè)擴(kuò)展方面仍需改進(jìn)。相比之下，毫米波雷達(dá)具有良好的安全性和穩(wěn)定性，且測(cè)量精度較高，成本較低，在跌倒檢測(cè)中有著獨(dú)特的優(yōu)勢(shì)。基于毫米波雷達(dá)的跌倒檢測(cè)算法日漸增多：Jin等人[13]利用毫米波雷達(dá)采集微多普勒特征，并利用CNN進(jìn)行訓(xùn)練和識(shí)別患者動(dòng)作，計(jì)算效率較高，但是算法的準(zhǔn)確率有待提高；Wang等人[14]基于CNN提出一種線核卷積神經(jīng)網(wǎng)絡(luò)(Line Kernel Convolutional Neural Network,LKCNN)用于提高跌倒檢測(cè)算法的準(zhǔn)確性，但存在檢測(cè)動(dòng)作單一的問(wèn)題；Shrestha等人[15]和Li等人[16]利用雙層LSTM結(jié)構(gòu)來(lái)對(duì)調(diào)頻連續(xù)波雷達(dá)信號(hào)進(jìn)行學(xué)習(xí)，達(dá)到對(duì)人體動(dòng)作進(jìn)行分類的目的，這兩種算法時(shí)延較大，需要進(jìn)一步提高運(yùn)行速度。上述基于毫米波雷達(dá)的方法仍存在網(wǎng)絡(luò)結(jié)構(gòu)單一，對(duì)于信號(hào)特征的提取和利用有限的問(wèn)題。

本文提出一種基于毫米波雷達(dá)的人體跌倒檢測(cè)算法，針對(duì)調(diào)頻連續(xù)波雷達(dá)數(shù)據(jù)序列，結(jié)合CNN和LSTM網(wǎng)絡(luò)設(shè)計(jì)一種距離多普勒熱圖序列檢測(cè)網(wǎng)絡(luò)(Range Doppler heatmap Sequence detect Network,RDSNet)。本文首先介紹跌倒檢測(cè)系統(tǒng)構(gòu)成，然后設(shè)計(jì)RDSNet網(wǎng)絡(luò)結(jié)構(gòu)，建立距離多普勒熱圖動(dòng)態(tài)序列檢測(cè)模型，構(gòu)建包括跌倒在內(nèi)的人體6種動(dòng)作姿態(tài)的訓(xùn)練數(shù)據(jù)集，通過(guò)實(shí)時(shí)測(cè)試結(jié)果對(duì)本文所提出的方法進(jìn)行有效驗(yàn)證和性能分析，并與其他跌倒檢測(cè)算法進(jìn)行對(duì)比，證明了算法的檢測(cè)精度高且實(shí)用性較好。

2 跌倒檢測(cè)系統(tǒng)構(gòu)成

本文設(shè)計(jì)的跌倒檢測(cè)系統(tǒng)屬于非穿戴式檢測(cè)設(shè)備，主要由毫米波雷達(dá)和PC機(jī)組成，系統(tǒng)組成如圖1所示。采用毫米波雷達(dá)可以在保護(hù)檢測(cè)對(duì)象的隱私情況下有效采集運(yùn)動(dòng)信息，同時(shí)不受光線影響。PC機(jī)搭載的RDSNet可以在經(jīng)過(guò)數(shù)據(jù)訓(xùn)練后實(shí)時(shí)檢測(cè)測(cè)試對(duì)象的跌倒及其他運(yùn)動(dòng)行為。

圖1 跌倒檢測(cè)系統(tǒng)構(gòu)成Fig.1 The pipeline of fall detection

2.1 調(diào)頻連續(xù)波雷達(dá)

毫米波雷達(dá)采用調(diào)頻連續(xù)波，一個(gè)調(diào)頻周期內(nèi)發(fā)射信號(hào)為[17]

式中，AT為發(fā)射信號(hào)的幅度，fc=79 GHz為中心頻率，B=4 GHz為帶寬，Tm=40 μs為信號(hào)調(diào)頻周期。經(jīng)過(guò)目標(biāo)和環(huán)境反射后，接收天線得到回波信號(hào)

式中，AR為回波信號(hào)的幅度，Δt為時(shí)延，Δfd表示多普勒頻移。發(fā)射信號(hào)與回波信號(hào)混頻處理并低通濾波得到中頻信號(hào)

式中，c 為光速，對(duì)中頻信號(hào)進(jìn)行采樣，在第n個(gè)重復(fù)周期的第m個(gè)采樣點(diǎn)，離散中頻信號(hào)為

式中，N為一幀內(nèi)重復(fù)周期數(shù)量，M為一個(gè)調(diào)頻周期內(nèi)的采樣點(diǎn)數(shù)。對(duì)一幀內(nèi)N個(gè)信號(hào)調(diào)頻周期的M個(gè)中頻信號(hào)采樣點(diǎn)數(shù)據(jù)分別做距離快速傅里葉變化(Fast Fourier Transform,FFT)和多普勒FFT，即可得到目標(biāo)場(chǎng)景的一幀距離多普勒分布熱圖。

2.2 CNN

卷積神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具有類似人眼的感受野[18]，能夠全面觀測(cè)目標(biāo)信息，在二維圖像處理領(lǐng)域有著廣泛應(yīng)用。

對(duì)于距離多普勒熱圖的特征提取，CNN有以下幾個(gè)優(yōu)點(diǎn)[19]：原始圖像直接輸入，可以避免大量的預(yù)處理；局部感受域獲取特征，可以減小圖像的平移、縮放和旋轉(zhuǎn)帶來(lái)的影響；參數(shù)共享機(jī)制可以減小網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度，提高計(jì)算效率；下采樣充分利用局部相關(guān)性信息，既減小數(shù)據(jù)處理量又可以保留結(jié)構(gòu)信息。

本文利用CNN的特征提取優(yōu)勢(shì)，通過(guò)非線性結(jié)構(gòu)有效地將多普勒熱圖的抽象表達(dá)提取出來(lái)，同時(shí)減少人工干預(yù)。

2.3 LSTM

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)[17]是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種特殊自回歸模型，通過(guò)加入長(zhǎng)期記憶單元和改變門結(jié)構(gòu)，緩解了循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)中的梯度彌散和梯度爆炸問(wèn)題，已廣泛應(yīng)用在序列數(shù)據(jù)處理中[20]。

LSTM結(jié)構(gòu)如圖2所示，相比于RNN只有一個(gè)傳遞狀態(tài)，LSTM有兩個(gè)傳輸狀態(tài)：ct和ht,ct相對(duì)變化速度很慢，對(duì)應(yīng)長(zhǎng)時(shí)間的變化狀態(tài)，ht與當(dāng)前單元輸入有關(guān)，相對(duì)變化速度較快，對(duì)應(yīng)短時(shí)間變化狀態(tài)。LSTM的前向計(jì)算公式為

圖2 LSTM網(wǎng)絡(luò)單元Fig.2 The unit of LSTM network

其中，ct和ht為本時(shí)刻傳輸狀態(tài)，Sf,Si,St和S0為4個(gè)門控狀態(tài)，[xt,ht-1]為輸入xt和上一時(shí)刻傳輸狀態(tài)ht-1的拼接向量，?為矩陣元素對(duì)應(yīng)相乘，⊕為對(duì)應(yīng)矩陣加法，Wf,Wi,Wt和W0為權(quán)重矩陣。

LSTM單元內(nèi)部主要進(jìn)行3個(gè)操作：

(1) 選擇遺忘：針對(duì)上一節(jié)點(diǎn)傳輸信息進(jìn)行選擇性忘記，利用門控狀態(tài)Sf來(lái)控制上一時(shí)刻的狀態(tài)ct-1的遺忘策略。

(2) 選擇記憶：針對(duì)本節(jié)點(diǎn)輸入進(jìn)行選擇性保留記憶，利用門控狀態(tài)Si和St來(lái)控制本時(shí)刻輸入xt和上一時(shí)刻輸出ht-1的記憶策略。

(3) 輸出生成：決定當(dāng)前模塊單元的輸出狀態(tài)，主要利用門控狀態(tài)S0來(lái)控制當(dāng)前節(jié)點(diǎn)輸出ht。

LSTM通過(guò)門控狀態(tài)來(lái)控制傳輸狀態(tài)，記憶需要長(zhǎng)時(shí)間保留的信息和內(nèi)容，丟棄不重要信息，將序列數(shù)據(jù)之間的時(shí)間相關(guān)性保留記憶并提取，刻畫序列數(shù)據(jù)的時(shí)間關(guān)聯(lián)信息。

3 RDSNet網(wǎng)絡(luò)設(shè)計(jì)

RDSNet主要由CNN和LSTM網(wǎng)絡(luò)組成，利用CNN高效的特征提取能力，完成單幅多普勒熱圖的特征提??；利用LSTM對(duì)序列數(shù)據(jù)的時(shí)間關(guān)聯(lián)刻畫作用，完成特征圖序列的時(shí)間相關(guān)性描述。輸入數(shù)據(jù)選擇距離多普勒熱圖，熱圖方法具有幾個(gè)優(yōu)點(diǎn)：敏感度較高，能夠快速準(zhǔn)確地捕捉運(yùn)動(dòng)信息。數(shù)據(jù)復(fù)雜度低，便于加快計(jì)算效率。不涉及成像，能夠較好地保護(hù)檢測(cè)對(duì)象的隱私。

RDSNet整體結(jié)構(gòu)如圖3所示，主要分為3個(gè)部分：CNN,LSTM和分類器。CNN有兩層結(jié)構(gòu)：第1層包含4通道3×3卷積核的卷積層和3×3最大值池化層，第2層包含8通道3×3卷積核的卷積層和3×3最大值池化層。LSTM網(wǎng)絡(luò)由單一隱藏層構(gòu)成，隱藏層維度為208。采用單層LSTM是為了加快收斂速度，提升RDSNet的計(jì)算效率。分類器網(wǎng)絡(luò)包含：拆分多維向量網(wǎng)絡(luò)、全連接層和線性整流函數(shù)(Rectified Linear Unit,ReLU)。ReLU函數(shù)計(jì)算方法為

圖3 RDSNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The structure of RDSNet

拆分多維向量網(wǎng)絡(luò)包含3通道33卷積核的卷積層和22最大值池化層，全連接層中dropout的比例設(shè)定為50%。

上述CNN部分層數(shù)、卷積核尺寸和通道數(shù)選取的依據(jù)：首先，參考類似圖像特征提取任務(wù)，如圖像分類、目標(biāo)檢測(cè)中的CNN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，選擇了比較常見(jiàn)的網(wǎng)絡(luò)層組合思路和結(jié)構(gòu)參數(shù)設(shè)定；其次，針對(duì)距離多普勒熱圖的特性，保證網(wǎng)絡(luò)既不會(huì)在訓(xùn)練過(guò)程中對(duì)訓(xùn)練集過(guò)擬合，也保持對(duì)測(cè)試集的泛化性，選擇了合適的卷積核數(shù)量和卷積層數(shù)；最后，RDSNet網(wǎng)絡(luò)可以同樣部署在樹(shù)莓派平臺(tái)，進(jìn)一步投入實(shí)際應(yīng)用，這需要網(wǎng)絡(luò)的結(jié)構(gòu)精簡(jiǎn)，計(jì)算復(fù)雜度較低，所以本文對(duì)CNN和LSTM進(jìn)行合適的結(jié)構(gòu)設(shè)定。

RDSNet為端到端的網(wǎng)絡(luò)結(jié)構(gòu)，輸入數(shù)據(jù)后可以自動(dòng)完成提取特征和學(xué)習(xí)時(shí)間序列模式，網(wǎng)絡(luò)最終直接輸出檢測(cè)結(jié)果。其工作流程為：首先將生成的距離多普勒熱圖序列按照時(shí)間順序拆分，每一時(shí)刻對(duì)應(yīng)的熱圖分別進(jìn)入CNN，由CNN網(wǎng)絡(luò)提取得到8通道特征向量序列。按照時(shí)間順序，依次將每個(gè)時(shí)刻對(duì)應(yīng)的1通道特征向量作為L(zhǎng)STM網(wǎng)絡(luò)記憶模塊的輸入值tm(m=0,1,2,···)，得到LSTM網(wǎng)絡(luò)的輸出序列hm(m=0,1,2,···)。將輸出序列hm拆分為多維向量進(jìn)入全連接層，通過(guò)ReLU函數(shù)得到最終結(jié)果。

4 實(shí)驗(yàn)驗(yàn)證

4.1 數(shù)據(jù)集構(gòu)建

在實(shí)驗(yàn)過(guò)程中，設(shè)計(jì)了跌倒、揮手、起立、靜止、走動(dòng)和翻身6個(gè)動(dòng)作。單次動(dòng)作數(shù)據(jù)包含8張距離多普勒熱圖，如表1所示。每個(gè)動(dòng)作在不同方向和不同姿勢(shì)下采集500次，共計(jì)3000組數(shù)據(jù)。同時(shí)為使數(shù)據(jù)具有更好的泛化性，選取身高、體重和年齡各不相同10名實(shí)驗(yàn)人員來(lái)進(jìn)行數(shù)據(jù)采集，形成人體姿態(tài)數(shù)據(jù)集。

表1 動(dòng)作設(shè)計(jì)及距離多普勒熱圖序列Tab.1 Motion design and range Doppler heat map sequence

在采集實(shí)驗(yàn)數(shù)據(jù)時(shí)，針對(duì)單人場(chǎng)景下的狀態(tài)監(jiān)測(cè)，設(shè)立單目標(biāo)運(yùn)動(dòng)場(chǎng)景。同時(shí)在采集各個(gè)動(dòng)作時(shí)加入隨機(jī)性，以不同的角度、位置、速度、方向和對(duì)象來(lái)進(jìn)行動(dòng)作數(shù)據(jù)的采集。

4.2 RDSNet訓(xùn)練與測(cè)試

實(shí)驗(yàn)采用的調(diào)頻連續(xù)波毫米波雷達(dá)設(shè)備支持77～81 GHz最大4 GHz的調(diào)頻帶寬，設(shè)置1個(gè)發(fā)射天線和1個(gè)接收天線，天線增益為12.2 dB，水平方向視場(chǎng)角為±47°，垂直方向?yàn)椤?9°，為達(dá)到足夠的檢測(cè)區(qū)域，設(shè)立雷達(dá)架設(shè)高度為1.5 m。實(shí)驗(yàn)采用的PC機(jī)配置為Windows10 64位操作系統(tǒng)，Intel i7 6核CPU，32 GB運(yùn)存，NVIDIA Quadro P1000顯卡，環(huán)境為Python3.6，深度學(xué)習(xí)框架為Pytorch 1.0.0。實(shí)驗(yàn)流程如圖4所示。

圖4 實(shí)驗(yàn)流程Fig.4 The process of experiments

首先設(shè)置雷達(dá)的參數(shù)并設(shè)計(jì)6種人體動(dòng)作(跌倒、揮手、起立、靜止、走動(dòng)和翻身)，對(duì)各種動(dòng)作進(jìn)行數(shù)據(jù)采集并建立訓(xùn)練數(shù)據(jù)集，將采集的熱圖序列輸入RDSNet進(jìn)行訓(xùn)練，CNN的輸入圖像分辨率為256×16，采用Adam優(yōu)化器，權(quán)重退化系數(shù)為10-5，該優(yōu)化器在其他圖像處理感知任務(wù)中得到廣泛應(yīng)用，在隨機(jī)梯度下降優(yōu)化器的基礎(chǔ)上能更好地避免陷入局部最優(yōu)解。學(xué)習(xí)率為0.001，訓(xùn)練輪數(shù)為20輪，每次迭代的批樣本數(shù)(batch size)為20，訓(xùn)練過(guò)程中利用GPU進(jìn)行加速計(jì)算。一次完整的訓(xùn)練耗時(shí)5 min。

模型訓(xùn)練結(jié)束后，采用實(shí)時(shí)測(cè)試的方式進(jìn)行模型效果驗(yàn)證，獲取實(shí)測(cè)結(jié)果數(shù)據(jù)。實(shí)驗(yàn)場(chǎng)景和雷達(dá)視角如圖5所示。

圖5 實(shí)驗(yàn)場(chǎng)景和雷達(dá)視角示意圖Fig.5 Experimental scene and radar perspective diagram

在測(cè)試過(guò)程中，為保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性、魯棒性和有效性，在測(cè)試過(guò)程遵循以下原則：

(1) 實(shí)時(shí)測(cè)試。模擬真實(shí)場(chǎng)景，測(cè)試對(duì)象實(shí)施動(dòng)作中間不停頓，連續(xù)完成所有動(dòng)作。

(2) 對(duì)象選取。選取與建立訓(xùn)練數(shù)據(jù)集不同的6名實(shí)驗(yàn)人員參與實(shí)時(shí)測(cè)試實(shí)驗(yàn)。

(3) 動(dòng)作選取。選取600個(gè)動(dòng)作(300次跌倒、其余動(dòng)作共300次)，動(dòng)作順序隨機(jī)組合。

(4) 動(dòng)作實(shí)施。測(cè)試過(guò)程選取不同的角度、方向、位置、速度和對(duì)象進(jìn)行測(cè)試。

4.3 實(shí)驗(yàn)結(jié)果對(duì)比分析

為對(duì)本文設(shè)計(jì)的跌倒檢測(cè)系統(tǒng)做出客觀公正的評(píng)價(jià)，將跌倒檢測(cè)系統(tǒng)與其他方法進(jìn)行對(duì)比分析。為探究基于毫米波雷達(dá)的跌倒檢測(cè)系統(tǒng)的可行性，本文將不同傳感器下的不同檢測(cè)方法進(jìn)行對(duì)比研究；為探究網(wǎng)絡(luò)結(jié)構(gòu)對(duì)跌倒檢測(cè)效果的影響，本文將基于毫米波雷達(dá)的不同網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行對(duì)比分析，分析系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)的合理性；為探究自身網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，本文將不同層數(shù)、類型的CNN和LSTM網(wǎng)絡(luò)進(jìn)行組合，測(cè)試網(wǎng)絡(luò)分類效果，得到最優(yōu)組合結(jié)構(gòu)。

首先將系統(tǒng)與不同傳感器下的不同檢測(cè)方法進(jìn)行性能對(duì)比，對(duì)比結(jié)果如表2不同檢測(cè)方法結(jié)果對(duì)比所示。通過(guò)結(jié)果對(duì)比可以看出，與穿戴式設(shè)備相比，文獻(xiàn)[3]提出方法在4種動(dòng)作分類時(shí)檢測(cè)準(zhǔn)確率最高，但是無(wú)法實(shí)時(shí)進(jìn)行檢測(cè)，RDSNet在4種動(dòng)作分類時(shí)檢測(cè)準(zhǔn)確率低于最高準(zhǔn)確率2.33%；文獻(xiàn)[4]提出方案在2種動(dòng)作分類時(shí)檢測(cè)準(zhǔn)確率最高，同時(shí)可以進(jìn)行有效的實(shí)時(shí)檢測(cè)，RDSNet在2種動(dòng)作分類時(shí)檢測(cè)準(zhǔn)確率低于最高準(zhǔn)確率0.18%；RDSNet在6種動(dòng)作種類時(shí)準(zhǔn)確率最高，達(dá)到93.33%，相比之下RDSNet對(duì)于多類動(dòng)作檢測(cè)泛化性較好；與非穿戴式設(shè)備相比，RDSNet在不同傳感器、不同檢測(cè)方法和不同種類動(dòng)作檢測(cè)中都具有最高的準(zhǔn)確率，在非穿戴式方法中具有明顯的優(yōu)勢(shì)。RDSNet網(wǎng)絡(luò)處理的時(shí)延小于50 ms，可以達(dá)到實(shí)時(shí)檢測(cè)，同時(shí)傳感器簡(jiǎn)單有效、成本較低，具有較高的實(shí)用價(jià)值。

表2 不同檢測(cè)方法結(jié)果對(duì)比Tab.2 Comparative experimental results of different detection methods

為進(jìn)一步探究網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于實(shí)驗(yàn)結(jié)果的影響，選取相同傳感器下(毫米波雷達(dá))的不同網(wǎng)絡(luò)結(jié)構(gòu)方法來(lái)進(jìn)行對(duì)比和研究，同時(shí)本文也對(duì)CNN,LSTM和CNN＋LSTM 3種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了實(shí)驗(yàn)對(duì)比研究，得出最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)果對(duì)比如表3所示。在不同種類的動(dòng)作檢測(cè)中，CNN＋LSTM的網(wǎng)絡(luò)結(jié)構(gòu)都具有最高的準(zhǔn)確率，且時(shí)延小于50 ms，滿足實(shí)時(shí)檢測(cè)要求，所以RDSNet采用CNN+LSTM的網(wǎng)絡(luò)結(jié)構(gòu)。

表3 相同傳感器下不同網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果對(duì)比Tab.3 The results of different network structures under the same sensor

最后對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的組合進(jìn)行對(duì)比實(shí)驗(yàn)，得到最優(yōu)方案。將不同層數(shù)的CNN和LSTM進(jìn)行組合，表4結(jié)果表明：2層CNN與1層LSTM組合準(zhǔn)確率最高(96.67%)，漏警率最低(3.33%)；3層CNN與1層LSTM組合虛警率最低(6%)；1層CNN與1層LSTM組合時(shí)延最低(＜38 ms)。因此最終確定RDSNet為2層CNN與1層LSTM組合，既能達(dá)到最高的準(zhǔn)確率、最低的漏警率，又可以保證時(shí)延較低，達(dá)到實(shí)時(shí)檢測(cè)的要求。

表4 不同網(wǎng)絡(luò)結(jié)構(gòu)組合結(jié)果對(duì)比Tab.4 Comparison results of different network structure combinations

測(cè)試跌倒(300次)、揮手(100次)、走動(dòng)(100次)和靜止(100次)4種動(dòng)作的分類結(jié)果及混淆矩陣，結(jié)果如圖6所示。

圖6 4種動(dòng)作分類RDSNet混淆矩陣Fig.6 RDSNet confusion matrix for 4 types of action classification

本文算法跌倒檢測(cè)的準(zhǔn)確率為96.67%，漏警率為3.33%，虛警率為8%，能夠達(dá)到較好的檢測(cè)效果。主要誤判結(jié)果為跌倒過(guò)程判斷為走動(dòng)(10次)，走動(dòng)過(guò)程判斷為跌倒(7次)，說(shuō)明走動(dòng)過(guò)程與跌倒過(guò)程兩個(gè)動(dòng)作同為劇烈運(yùn)動(dòng)，具有一定的相似性。

通過(guò)以上的實(shí)驗(yàn)結(jié)果對(duì)比和分析，得出以下結(jié)論：

(1) 通過(guò)不同傳感器的不同檢測(cè)方法對(duì)比，可以發(fā)現(xiàn)基于毫米波雷達(dá)的方法可以在非穿戴式方法中達(dá)到最優(yōu)檢測(cè)效果，在擴(kuò)展到多種動(dòng)作分類時(shí)具有較好的泛化性，并且可以實(shí)時(shí)檢測(cè)，具有較高的實(shí)用價(jià)值。

(2) 通過(guò)相同傳感器(毫米波雷達(dá))的不同網(wǎng)絡(luò)結(jié)構(gòu)的對(duì)比，得到CNN與LSTM組合的更優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，可以達(dá)到最佳檢測(cè)效果。

(3) 通過(guò)相同網(wǎng)絡(luò)結(jié)構(gòu)(CNN+LSTM)下的不同層數(shù)和類型的CNN和LSTM進(jìn)行組合，探究得到最優(yōu)組合結(jié)構(gòu)：2層CNN和1層LSTM組結(jié)合。該組合方式既可以達(dá)到最高的檢測(cè)準(zhǔn)確率和最低的漏警率，又可以保持較低時(shí)延，保證實(shí)時(shí)檢測(cè)作用。

5 結(jié)論

本文提出了一種基于毫米波雷達(dá)的人體跌倒檢測(cè)算法，能夠在保護(hù)個(gè)人隱私的前提下和無(wú)光線環(huán)境中有效工作。針對(duì)毫米波雷達(dá)的距離多普勒熱圖序列，設(shè)計(jì)了一種基于CNN和LSTM的RDSNet網(wǎng)絡(luò)模型，可以對(duì)動(dòng)態(tài)序列特征進(jìn)行高效學(xué)習(xí)，達(dá)到良好的檢測(cè)效果。本文建立了人體姿態(tài)數(shù)據(jù)集，利用數(shù)據(jù)集對(duì)RDSNet進(jìn)行訓(xùn)練，利用實(shí)時(shí)測(cè)試的方式對(duì)算法檢測(cè)結(jié)果進(jìn)行研究。與其他不同傳感器的方法相比，基于毫米波雷達(dá)的方法可以達(dá)到更優(yōu)的檢測(cè)效果；與其他網(wǎng)絡(luò)結(jié)構(gòu)相比，CNN+LSTM的網(wǎng)絡(luò)結(jié)構(gòu)在檢測(cè)的準(zhǔn)確率和泛化性上更具有優(yōu)勢(shì)；對(duì)不同的網(wǎng)絡(luò)結(jié)構(gòu)組合進(jìn)行對(duì)比研究，RDSNet可以達(dá)到最高的檢測(cè)準(zhǔn)確率和最低的漏警率。以上結(jié)果證明本文提出的跌倒檢測(cè)算法在提高檢測(cè)準(zhǔn)確性、降低計(jì)算時(shí)延、提升多動(dòng)作檢測(cè)泛化能力方面有明顯作用，具有較高實(shí)用價(jià)值。后續(xù)工作將對(duì)跌倒檢測(cè)算法在存在動(dòng)態(tài)干擾的真實(shí)環(huán)境中的應(yīng)用進(jìn)一步探究。