深度學(xué)習(xí)融合超寬帶雷達(dá)圖譜的跌倒檢測(cè)研究

何 密 平欽文 戴 然(陸軍軍醫(yī)大學(xué)生物醫(yī)學(xué)工程與影像醫(yī)學(xué)系 重慶 400038)

1 引言

我國(guó)是老年人口規(guī)模最大的國(guó)家，也將是人口老齡化速度最快的國(guó)家。2021年第7次人口普查顯示，60歲及以上人口為26402萬(wàn)人，占總?cè)丝诘?8.70%，65歲及以上人口為19064萬(wàn)人，占總?cè)丝诘?3.50%。根據(jù)聯(lián)合國(guó)人口預(yù)測(cè)，到2037年，我國(guó)60歲及以上老年人口將占到總?cè)丝诘?0%以上[1,2]。而隨著年齡的增長(zhǎng)，老年人的體質(zhì)衰退，聽(tīng)力、視力、平衡協(xié)調(diào)能力等方面下降，常常會(huì)導(dǎo)致老人突然失去平衡和行動(dòng)能力而發(fā)生跌倒。據(jù)世界衛(wèi)生組織(World Health Organization,WHO)報(bào)道每年65歲以上老人出現(xiàn)跌倒的概率為28%～35%，并隨著年齡增加而逐步提高；且跌倒是79歲以上老人意外傷害死亡最主要的原因之一，經(jīng)歷跌倒的老人比未跌倒過(guò)的老人更易死亡，風(fēng)險(xiǎn)比值為5.11[3]。研究顯示，老人跌倒后如能得到及時(shí)救助，可以有效降低80%的死亡風(fēng)險(xiǎn)和26%的長(zhǎng)期住院治療風(fēng)險(xiǎn)[4]。因此跌倒檢測(cè)技術(shù)具有重要的研究意義和社會(huì)價(jià)值。

根據(jù)不同的工作原理，跌倒檢測(cè)系統(tǒng)可分為接觸式(即可穿戴式)和非接觸式(即環(huán)境感知式)兩大類(lèi)[5–13]。環(huán)境感知式傳感器—雷達(dá)不受光照、聲音、溫度變化的影響，能較好地保護(hù)用戶(hù)隱私，近年來(lái)開(kāi)始應(yīng)用于人體行為和步態(tài)識(shí)別的研究[14]。由于窄帶多普勒雷達(dá)結(jié)構(gòu)簡(jiǎn)單、造價(jià)低廉，已廣泛應(yīng)用于非接觸式跌倒檢測(cè)研究[15–17]。相比窄帶多普勒雷達(dá)，超寬帶(Ultrawideband,UWB)雷達(dá)不僅能夠較好地分辨多普勒速度，還具備良好的距離分辨力，因此能夠給跌倒行為檢測(cè)提供更多維度的信息，以提高跌倒識(shí)別準(zhǔn)確率[18]。近年來(lái)，面向人體行為識(shí)別和智慧家居的超寬帶生物雷達(dá)實(shí)現(xiàn)了集成化、小型化和量產(chǎn)化，開(kāi)始應(yīng)用于室內(nèi)跌倒識(shí)別的研究中[19,20]。

在早期的雷達(dá)跌倒檢測(cè)算法研究中，多采用人工模式提取特征，如從雷達(dá)的距離多普勒譜圖和時(shí)間多普勒譜圖中提取多普勒帶寬、步伐頻率、多普勒最大值或最小值及其比值、小波變換系數(shù)、余弦變換系數(shù)、Mel-倒譜、線性預(yù)測(cè)編碼系數(shù)等特征[21]，并結(jié)合機(jī)器學(xué)習(xí)進(jìn)行分類(lèi)[22]。與人工提取特征模式相比，基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法能自動(dòng)提取特征，一般能獲得更好的分類(lèi)效果。但如果將雷達(dá)信號(hào)原始數(shù)據(jù)直接輸入深度學(xué)習(xí)網(wǎng)絡(luò)，往往會(huì)導(dǎo)致網(wǎng)絡(luò)的結(jié)構(gòu)偏大[23]。因此，目前大多數(shù)研究一般會(huì)對(duì)雷達(dá)原始數(shù)據(jù)做一些預(yù)處理再輸入深度學(xué)習(xí)網(wǎng)絡(luò)[18]，常用的預(yù)處理方法如小波變換、短時(shí)傅里葉變換(Short Time Fourier Transform,STFT)、稀疏自編碼器、主成分分析(Principal Component Analysis,PCA)等。Jokanovi?等人[24]通過(guò)連續(xù)波雷達(dá)采集3個(gè)受試者117 次跌倒和291次非跌倒數(shù)據(jù)，利用堆疊稀疏自編碼器自動(dòng)提取雷達(dá)時(shí)頻域和距離域信息的特征，再用多元邏輯回歸進(jìn)行分類(lèi)，最高的準(zhǔn)確率為97.1%，但對(duì)應(yīng)的靈敏度僅為79.0%。Erol等人[25]利用多維PCA自動(dòng)提取4個(gè)受試者的109次跌倒、105次坐下、95次彎腰和76次行走的3D距離-多普勒-時(shí)間數(shù)據(jù)的特征，檢測(cè)跌倒準(zhǔn)確率可達(dá)96%以上。Wang等人[26]提出了一種用于雷達(dá)微多普勒時(shí)序數(shù)據(jù)分類(lèi)的堆疊式門(mén)控循環(huán)單位(Gated Recurrent Units,GRU)網(wǎng)絡(luò)，用于識(shí)別人體運(yùn)動(dòng)類(lèi)型，在對(duì)整個(gè)序列進(jìn)行分類(lèi)時(shí)，GRU的表現(xiàn)明顯優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)。Taylor等人[27]利用CNN和PCA對(duì)數(shù)據(jù)集中198次跌倒和1435次非跌倒的多普勒時(shí)間譜圖像進(jìn)行訓(xùn)練和驗(yàn)證，準(zhǔn)確率可達(dá)95.3%。Anishchenko等人[28]利用兩個(gè)窄帶多普勒雷達(dá)進(jìn)行跌倒檢測(cè)，結(jié)合小波變換和AlexNet網(wǎng)絡(luò)，對(duì)5個(gè)受試者175次摔倒和175次非摔倒數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試，準(zhǔn)確率為99.3%，但數(shù)據(jù)偏少，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，數(shù)據(jù)劃分不互斥。Arab等人[29]利用連續(xù)小波變換預(yù)處理1000例動(dòng)作(其中跌倒125例)的雷達(dá)正交通道信號(hào)，得到去噪尺度圖，將其和原始信號(hào)輸入雙通道CNN中進(jìn)行跌倒檢測(cè)，準(zhǔn)確率為96%，但存在類(lèi)別嚴(yán)重不平衡和數(shù)據(jù)泄露等問(wèn)題。

從目前的國(guó)內(nèi)外研究現(xiàn)狀來(lái)看，基于雷達(dá)的非接觸跌倒檢測(cè)的樣本量普遍偏少，一般為2～5個(gè)受試者的數(shù)據(jù)，且不公開(kāi)；現(xiàn)有數(shù)據(jù)集的動(dòng)作類(lèi)型普遍偏少且場(chǎng)景單一[29]；因此，對(duì)于深度學(xué)習(xí)而言，現(xiàn)有數(shù)據(jù)集數(shù)據(jù)往往不足以訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，可能會(huì)導(dǎo)致網(wǎng)絡(luò)泛化能力差、通用性能低。以前的研究多采用窄帶多普勒雷達(dá)，導(dǎo)致行為識(shí)別精度不夠高。有些研究在網(wǎng)絡(luò)參數(shù)訓(xùn)練時(shí)存在數(shù)據(jù)泄露問(wèn)題，往往將同一人的動(dòng)作數(shù)據(jù)既用在訓(xùn)練集也用在驗(yàn)證集，而有些研究沒(méi)有測(cè)試集，也沒(méi)有采用多種場(chǎng)景中的數(shù)據(jù)進(jìn)行驗(yàn)證，模型的通用性和泛化能力未得到驗(yàn)證；Anishchenko等人[28]未對(duì)雷達(dá)數(shù)據(jù)做預(yù)處理，導(dǎo)致訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)普遍龐大，不適宜線上實(shí)時(shí)處理；有些算法僅使用了超寬帶雷達(dá)在某個(gè)距離單元的時(shí)間多普勒譜信息，同時(shí)浪費(fèi)了距離時(shí)間譜和距離多普勒譜的信息，在識(shí)別準(zhǔn)確率上還有待提高[20,30]。

因此本文將采用調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave,FMCW)超寬帶雷達(dá)在多個(gè)真實(shí)的室內(nèi)復(fù)雜場(chǎng)景下采集多名受試者的日常行為和跌倒的回波數(shù)據(jù)，設(shè)計(jì)深度學(xué)習(xí)網(wǎng)絡(luò)融合3種圖譜的信息，從而提高跌倒識(shí)別的準(zhǔn)確率，網(wǎng)絡(luò)訓(xùn)練、驗(yàn)證和測(cè)試過(guò)程中始終保證數(shù)據(jù)的互斥性。本文的整體研究框圖如圖1所示，超寬帶雷達(dá)在場(chǎng)景1下采集的數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練和交叉驗(yàn)證，場(chǎng)景2下采集的數(shù)據(jù)用于網(wǎng)絡(luò)測(cè)試，雷達(dá)采集的回波經(jīng)去斜處理、距離壓縮、動(dòng)目標(biāo)顯示(Moving Target Indication,MTI)等預(yù)處理，生成包含互補(bǔ)信息的距離時(shí)間譜、距離多普勒譜和時(shí)間多普勒譜3種圖譜，然后利用輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)MobileNet-V3基本結(jié)構(gòu)設(shè)計(jì)數(shù)據(jù)級(jí)、特征級(jí)和決策級(jí)3種融合方式下的深度學(xué)習(xí)網(wǎng)絡(luò)，最后給出是否跌倒的判斷。

圖1 深度學(xué)習(xí)融合超寬帶雷達(dá)圖譜檢測(cè)跌倒的整體研究框圖Fig.1 Overall research block diagram of deep learning fusing ultrawideband radar spectrograms for fall detection

2 雷達(dá)信號(hào)預(yù)處理

本研究中FMCW雷達(dá)發(fā)射和接收的信號(hào)為三角波形，如圖2所示。其中紅色線條為發(fā)射波形，藍(lán)色線條為接收波形，T為線性調(diào)頻信號(hào)的周期，PRT為脈沖重復(fù)周期，B為雷達(dá)發(fā)射信號(hào)的帶寬，fc為雷達(dá)中心頻率。

圖2 FMCW雷達(dá)發(fā)射和接收波形示意圖Fig.2 Schematic diagram of transmitting and receiving waveforms of the FMCW radar

FMCW雷達(dá)對(duì)接收回波Sr(t)進(jìn)行去斜處理，得到差頻信號(hào)Sb(t)[31]

其中，?表示共軛轉(zhuǎn)置，St(t)是發(fā)射信號(hào)。通過(guò)去斜處理，回波信號(hào)與發(fā)射信號(hào)之間的延時(shí)就轉(zhuǎn)換為不同差頻信號(hào)的頻率，對(duì)應(yīng)目標(biāo)的距離。差頻信號(hào)再經(jīng)傅里葉變換，從而得到目標(biāo)的一維距離像，如式(2)所示：

2.1 距離時(shí)間譜

一個(gè)發(fā)射周期的信號(hào)經(jīng)上述處理后得到一個(gè)一維距離像，將其離散化，按照距離單元排成行向量，如圖3中的行向量。多個(gè)周期的信號(hào)經(jīng)相同處理后，可以得到多個(gè)一維距離像，按照時(shí)間先后排列可形成一個(gè)距離時(shí)間矩陣RT，如圖3所示，其中行方向?yàn)榫嚯x單元，列方向?yàn)槁龝r(shí)間采樣(采樣率為1/PRT)。距離時(shí)間矩陣為

圖3 距離時(shí)間矩陣RT的排列示意圖Fig.3 Arrangement diagram of range-time matrix RT

其中，ts是慢時(shí)間采樣，R(ts)是慢時(shí)間的函數(shù)。

對(duì)距離時(shí)間矩陣RT先進(jìn)行MTI處理，抑制靜態(tài)雜波，然后再歸一化，并將歸一化幅值轉(zhuǎn)化為分貝表示，得到距離時(shí)間譜RTS，跌倒和行走的RTS分別如圖4所示：

圖4 跌倒和行走的距離時(shí)間譜圖Fig.4 Range-time spectrograms of fall and walk

其中，|·|表示取絕對(duì)值，max(·)表示求所有元素中的最大值。

2.2 距離多普勒譜

沿距離時(shí)間矩陣RT的慢時(shí)間方向(列方向)進(jìn)行Nfft點(diǎn)FFT變換，得到距離多普勒矩陣RD，如圖5所示，行方向?yàn)榫嚯x單元，列方向?yàn)槎嗥绽疹l率。對(duì)距離多普勒矩陣RD歸一化，并將歸一化幅值轉(zhuǎn)化為分貝表示，得到距離多普勒譜RDS，跌倒和行走的RDS分別如圖6所示。

圖5 距離多普勒矩陣RD的排列示意圖Fig.5 Arrangement diagram of range-Doppler matrix RD

圖6 跌倒和行走的距離多普勒譜圖Fig.6 Range-Doppler spectrograms of fall and walk

2.3 時(shí)間多普勒譜

對(duì)距離時(shí)間矩陣RT的第m個(gè)距離單元的時(shí)序信號(hào)RTm(n)(n=1,2,···,N)，進(jìn)行時(shí)頻分析(如STFT)，可以得到時(shí)間多普勒矩陣TD。為了更好地反映運(yùn)動(dòng)目標(biāo)特征，采用文獻(xiàn)[30]中的方法選取最優(yōu)距離單元上的信號(hào)RTm(n) 進(jìn)行STFT。

其中，n是慢時(shí)間采樣，k是頻率采樣，W(·)是滑窗函數(shù)，K是加窗傅里葉變換的點(diǎn)數(shù)。

同理，對(duì)時(shí)間多普勒矩陣TD歸一化，并將歸一化幅值轉(zhuǎn)化為分貝表示，得到距離多普勒譜TDS。跌倒和行走的TDS分別如圖7所示。

圖7 跌倒和行走的時(shí)間多普勒譜圖Fig.7 Time-Doppler spectrograms of fall and walk

3 基于MobileNet-V3網(wǎng)絡(luò)的數(shù)據(jù)融合

MobileNet-V3是由Google團(tuán)隊(duì)在2019年提出的專(zhuān)注于移動(dòng)端或者嵌入式設(shè)備中的輕量級(jí)CNN網(wǎng)絡(luò)，分為L(zhǎng)arge和Small兩個(gè)版本，網(wǎng)絡(luò)參數(shù)大小分別為5.4 MB和2.5 MB[32]。本文后面提及的MobileNet-V3網(wǎng)絡(luò)特指參數(shù)更小的Small版本。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)

3.1.1 MobileNet-V3網(wǎng)絡(luò)

MobileNet-V3相比CNN，能在準(zhǔn)確率小幅降低的前提下大大減少模型參數(shù)與運(yùn)算量是因?yàn)榘?個(gè)重要結(jié)構(gòu)：深度可分離卷積、倒殘差結(jié)構(gòu)和輕量級(jí)注意力模塊[32]，如圖8所示。具體包括：(1)深度可分離卷積中一個(gè)卷積核只作用一個(gè)輸入通道，逐點(diǎn)卷積運(yùn)算類(lèi)似標(biāo)準(zhǔn)卷積，使用尺寸為1×1的卷積核擴(kuò)大輸出特征的通道數(shù)，在提取雷達(dá)圖譜特征時(shí)減少了參數(shù)量和計(jì)算量。(2)倒殘差結(jié)構(gòu)在特征提取時(shí)首先使用標(biāo)準(zhǔn)卷積對(duì)特征進(jìn)行擴(kuò)維，然后使用深度可分離卷積進(jìn)一步提取特征且輸出通道維度與標(biāo)準(zhǔn)卷積輸出通道維度一致。倒殘差結(jié)構(gòu)能夠很好地保留雷達(dá)圖譜中的行為動(dòng)作重要特征信息，且對(duì)輸入特征重用，可避免模型在訓(xùn)練時(shí)出現(xiàn)梯度消失。(3)輕量級(jí)注意力模塊與倒殘差結(jié)構(gòu)相結(jié)合，調(diào)整不同通道的權(quán)重，從而保證模型更加關(guān)注雷達(dá)圖譜中的關(guān)鍵信息。

圖8 MobileNet-V3的核心結(jié)構(gòu)Fig.8 Core structure of MobileNet-V3

此外，MobileNet-V3采用h-swish激活函數(shù)能夠提高網(wǎng)絡(luò)精度[32]，其具體表達(dá)式為

其中，函數(shù)ReLU6 (x)=min(6,max(0,x))。Softmax交叉熵?fù)p失函數(shù)L用于衡量預(yù)測(cè)值與實(shí)際值之間的相似程度，其具體表達(dá)式為

其中，Ns是用于訓(xùn)練的樣本個(gè)數(shù)，pi是網(wǎng)絡(luò)輸出的概率。

3.1.2 數(shù)據(jù)級(jí)融合網(wǎng)絡(luò)

數(shù)據(jù)級(jí)融合網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)如圖9所示，該網(wǎng)絡(luò)將UWB雷達(dá)的距離時(shí)間譜、距離多普勒譜和時(shí)間多普勒譜3種圖譜分別讀取成灰度圖像，經(jīng)過(guò)統(tǒng)一尺寸變化后，然后將3個(gè)圖譜按初始權(quán)重相等的組合方式疊加融合在一起組成3通道數(shù)據(jù)?；跀?shù)據(jù)級(jí)融合的網(wǎng)絡(luò)由于結(jié)合了輕量級(jí)注意力模塊與倒殘差結(jié)構(gòu)，訓(xùn)練過(guò)程中可調(diào)整3種圖譜所在通道的權(quán)重，提高跌倒行為的識(shí)別能力。

圖9 數(shù)據(jù)級(jí)融合網(wǎng)絡(luò)的結(jié)構(gòu)示意圖Fig.9 Structure diagram of data level fusion network

3.1.3 特征級(jí)融合網(wǎng)絡(luò)

特征級(jí)融合網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)如圖10所示，共分3個(gè)支路，每個(gè)支路均采用MobileNet-V3網(wǎng)絡(luò)結(jié)構(gòu)，輸入3種圖譜的灰度圖像，分別提取每種圖譜的特征。在全連接層將3個(gè)支路提取的特征拼接作為分類(lèi)器的輸入，為了防止過(guò)擬合，提升網(wǎng)絡(luò)性能，再加入兩級(jí)Dropout層和全連接層，最后分類(lèi)器給出識(shí)別結(jié)果。

圖10 特征級(jí)融合網(wǎng)絡(luò)的結(jié)構(gòu)示意圖Fig.10 Structure diagram of feature level fusion network

3.1.4 決策級(jí)融合網(wǎng)絡(luò)

決策級(jí)融合網(wǎng)絡(luò)結(jié)構(gòu)如圖11所示，輸入也為3種圖譜的灰度圖像，分為兩部分：第1部分采用MobileNet-V3網(wǎng)絡(luò)分別對(duì)3種圖譜進(jìn)行特征提取并初步分類(lèi)，第2部分采用投票機(jī)制將分類(lèi)結(jié)果重新投票得出最終預(yù)測(cè)結(jié)果。投票機(jī)制采用多數(shù)投票的方式，將得分最高的結(jié)果作為最終預(yù)測(cè)結(jié)果。

圖11 決策級(jí)融合網(wǎng)絡(luò)的結(jié)構(gòu)示意圖Fig.11 Structure diagram of decision level fusion network

3.2 模型訓(xùn)練及評(píng)價(jià)

3.2.1 模型訓(xùn)練和測(cè)試

為了訓(xùn)練出可靠的網(wǎng)絡(luò)模型，本文采用K折交叉驗(yàn)證的方法，即每輪訓(xùn)練中選擇場(chǎng)景1中(K–1)/K數(shù)據(jù)作為訓(xùn)練集，1/K的數(shù)據(jù)作為驗(yàn)證集。另外，為了測(cè)試訓(xùn)練模型的泛化能力，本文將場(chǎng)景2下新受試者的數(shù)據(jù)作為測(cè)試集，對(duì)參數(shù)優(yōu)化后的模型進(jìn)行測(cè)試。

3.2.2 評(píng)價(jià)指標(biāo)

模型性能評(píng)價(jià)指標(biāo)主要包括靈敏度(Sensitivity,Se)、特異性(Specificity,Sp)、準(zhǔn)確率(Accuracy,Ac)、精密度(Precision,Pr)和F1-Score，計(jì)算公式如下：

其中，P表示真實(shí)跌倒的次數(shù)，N表示真實(shí)非跌倒的次數(shù)，TP表示判斷正確的跌倒次數(shù)，TN表示判斷正確的非跌倒次數(shù)，F(xiàn)N表示將真實(shí)跌倒判斷為非跌倒的次數(shù)，F(xiàn)P表示將真實(shí)非跌倒判斷為跌倒的次數(shù)。分別計(jì)算模型在交叉驗(yàn)證集和測(cè)試集中上述指標(biāo)的結(jié)果，以評(píng)估不同分類(lèi)模型的效果。

4 實(shí)驗(yàn)設(shè)計(jì)和數(shù)據(jù)采集

4.1 雷達(dá)跌倒檢測(cè)系統(tǒng)

本實(shí)驗(yàn)采用K波段UWB雷達(dá)探測(cè)系統(tǒng)，如圖12所示，工作帶寬設(shè)置為2 GHz，發(fā)射功率為12 dBm，發(fā)射波形為三角波，重復(fù)周期設(shè)置為0.5 ms，對(duì)應(yīng)的脈沖重復(fù)頻率為2000 Hz，快時(shí)間采樣頻率為500 kHz，天線方位和俯仰波束寬度分別為30°和20°。

圖12 K波段UWB雷達(dá)跌倒檢測(cè)系統(tǒng)Fig.12 K band UWB radar fall detection system

4.2 實(shí)驗(yàn)方案設(shè)計(jì)

實(shí)驗(yàn)盡可能全方位地考慮現(xiàn)實(shí)生活中的跌倒和日常行為動(dòng)作。日常行為動(dòng)作包括常見(jiàn)的行走、坐下、躺下、起立、慢速上下樓梯等的動(dòng)作，其特點(diǎn)是行動(dòng)速率較慢、速率變化幅度較小且頻率較低，與人體跌倒時(shí)速率急速變化區(qū)別較大，比較容易區(qū)分。此外，增加了較為劇烈的日常行為動(dòng)作，如慢跑、爬行等。跌倒動(dòng)作包括暈倒、跌倒、滑倒、上下樓梯絆倒等。考慮到現(xiàn)實(shí)生活中行為動(dòng)作發(fā)生位置的隨意性和方向的隨機(jī)性，動(dòng)作數(shù)據(jù)將在距離雷達(dá)不同位置、不同方位上采集。實(shí)驗(yàn)方案通過(guò)了陸軍軍醫(yī)大學(xué)倫理委員會(huì)批準(zhǔn)(批準(zhǔn)號(hào)：AF/sc-03/1.0,2021年)，由于跌倒實(shí)驗(yàn)本身存在一定危險(xiǎn)因素，考慮到老人普遍的身體狀況，本實(shí)驗(yàn)中的受試者均為青壯年，且跌倒在提供足夠緩沖的海綿墊上。實(shí)驗(yàn)共收集了36名受試者的數(shù)據(jù)，受試者男女的性別比例為23:13。實(shí)驗(yàn)中統(tǒng)計(jì)了受試者的年齡、身高、體重和體質(zhì)指數(shù)(Body Mass Index,BMI)信息，經(jīng)Shapiro-Wilk統(tǒng)計(jì)分析，除年齡以外其他參數(shù)均滿(mǎn)足正態(tài)分布。受試者統(tǒng)計(jì)信息如下：年齡為Q2(Q1,Q3)=22.0(20.0,24.75)，身高為169.1±8.0 cm，體重為59.9±9.5 kg，BMI為20.8±2.1 kg/m2。

本實(shí)驗(yàn)設(shè)計(jì)了常見(jiàn)的20種日常行為動(dòng)作及10種跌倒動(dòng)作，部分動(dòng)作示意圖如圖13所示。為增加樣本的多樣性，受試者每個(gè)動(dòng)作需重復(fù)測(cè)量3次，且每次動(dòng)作受試者可隨意發(fā)揮以增加隨機(jī)性。每條數(shù)據(jù)采集的時(shí)長(zhǎng)至少為5 s，參考文獻(xiàn)[18,33]，目前截取4 s時(shí)長(zhǎng)的數(shù)據(jù)進(jìn)行后續(xù)分析。場(chǎng)景1的房間尺寸為640 mm×492 mm×246 mm(長(zhǎng)×寬×高)，場(chǎng)景2的房間尺寸為560 mm×247 mm×263 mm(長(zhǎng)×寬×高)。為了模擬真實(shí)房間場(chǎng)景，兩個(gè)房間中隨機(jī)擺放了各種辦公桌椅、病床、沙發(fā)、鐵皮文件柜等，如圖14所示。

圖13 實(shí)測(cè)實(shí)驗(yàn)設(shè)計(jì)的日常行為與跌倒部分動(dòng)作示意圖Fig.13 Schematic diagram of daily behaviors and a part of falls designed in the experiment

圖14 實(shí)測(cè)實(shí)驗(yàn)多場(chǎng)景示意圖Fig.14 Multi-scene schematic diagram of the experiment

4.3 數(shù)據(jù)集的建立和劃分

本文數(shù)據(jù)庫(kù)K-UWB-MSHA-1.0共包含兩個(gè)場(chǎng)景下36名受試者共3240例UWB雷達(dá)行為測(cè)量數(shù)據(jù)，其中場(chǎng)景1采集的數(shù)據(jù)作為訓(xùn)練集(共2700例來(lái)自前30名受試者)，場(chǎng)景2采集的數(shù)據(jù)作為測(cè)試集(共540例來(lái)自后6名受試者)。附錄提供了數(shù)據(jù)集KUWB-MSHA-1.0的下載和使用說(shuō)明鏈接。為了提高訓(xùn)練模型的泛化能力，本文對(duì)訓(xùn)練集的樣本進(jìn)行數(shù)據(jù)增強(qiáng)處理，但考慮到雷達(dá)圖譜與自然圖像之間的差異，僅對(duì)3種圖譜進(jìn)行水平和垂直翻轉(zhuǎn)。因此數(shù)據(jù)增強(qiáng)后，5折交叉驗(yàn)證中訓(xùn)練集和驗(yàn)證集的樣本數(shù)量分別為6480和1620。

訓(xùn)練集、驗(yàn)證集和測(cè)試集的數(shù)據(jù)劃分遵循互斥原則，即不僅數(shù)據(jù)樣本互斥，而且每個(gè)受試者的所有樣本只能劃分至一個(gè)數(shù)據(jù)集，從而避免了驗(yàn)證和測(cè)試時(shí)的數(shù)據(jù)泄露。

4.4 網(wǎng)絡(luò)運(yùn)行環(huán)境

深度學(xué)習(xí)網(wǎng)絡(luò)模型訓(xùn)練的工作站采用專(zhuān)業(yè)版Windows10 64位操作系統(tǒng)，配置為Intel Xeon 6核CPU，191 GB運(yùn)行內(nèi)存，NVIDIA Quadro RTX 6000顯卡。深度學(xué)習(xí)框架采用Pytorch 1.10.1，環(huán)境Python版本為3.7.12，CUDA版本為11.1。

4.5 網(wǎng)絡(luò)參數(shù)

為了公平測(cè)試不同網(wǎng)絡(luò)的性能，模型訓(xùn)練階段采用固定的隨機(jī)數(shù)種子保證每種網(wǎng)絡(luò)模型劃分時(shí)訓(xùn)練集和驗(yàn)證集一致。此外輸入圖譜的尺寸、訓(xùn)練輪數(shù)、學(xué)習(xí)率等超參數(shù)也保持一致。具體而言，圖譜的輸入尺寸統(tǒng)一設(shè)置為224×224，每種網(wǎng)絡(luò)模型訓(xùn)練輪數(shù)皆為30，學(xué)習(xí)率為0.01，采用Adam優(yōu)化函數(shù)，每輪訓(xùn)練迭代的批樣本數(shù)為256，訓(xùn)練過(guò)程中利用GPU加速計(jì)算，權(quán)重衰減系數(shù)為10–5。模型訓(xùn)練完成后，利用場(chǎng)景2下的數(shù)據(jù)對(duì)模型進(jìn)行測(cè)試。表1分別列出了本文所用到的MobileNet-V3網(wǎng)絡(luò)(以距離時(shí)間譜為例)、數(shù)據(jù)級(jí)融合網(wǎng)絡(luò)、特征級(jí)融合網(wǎng)絡(luò)和決策級(jí)融合網(wǎng)絡(luò)的訓(xùn)練耗時(shí)，訓(xùn)練好后網(wǎng)絡(luò)模型的大小，以及利用這些網(wǎng)絡(luò)進(jìn)行單張圖片測(cè)試的平均耗時(shí)(1000張圖片耗時(shí)的平均值)?？梢钥闯觯瑔蝹€(gè)MobileNet-V3網(wǎng)絡(luò)和數(shù)據(jù)級(jí)融合網(wǎng)絡(luò)在大小和單張圖片測(cè)試耗時(shí)基本是一致的。決策級(jí)的網(wǎng)絡(luò)最大，約17.7 MB，單張圖片測(cè)試需要耗時(shí)0.1 s左右，可以做到實(shí)時(shí)處理。

表1 MobileNet-V3網(wǎng)絡(luò)和融合網(wǎng)絡(luò)的大小及耗時(shí)對(duì)比Tab.1 Comparison of size and time consumption of MobileNet-V3 network and fusion networks

5 實(shí)驗(yàn)結(jié)果與對(duì)比

圖15展示了利用場(chǎng)景1中單個(gè)圖譜的數(shù)據(jù)進(jìn)行5折交叉驗(yàn)證時(shí)準(zhǔn)確率(圖15(a)、圖15(c)和圖15(e))和交叉熵?fù)p失值(圖15(b)、圖15(d)和圖15(f))隨訓(xùn)練輪數(shù)的變化曲線。圖16展示了融合場(chǎng)景1中3種圖譜的數(shù)據(jù)進(jìn)行5折交叉驗(yàn)證時(shí)準(zhǔn)確率(圖16(a)、圖16(c)和圖16(e))和交叉熵?fù)p失值(圖16(b)、圖16(d)和圖16(f))隨訓(xùn)練輪數(shù)的變化曲線?？梢钥闯?，無(wú)論是單種圖譜還是融合方法經(jīng)過(guò)30輪的訓(xùn)練，準(zhǔn)確率和交叉熵?fù)p失值均趨于穩(wěn)定。相對(duì)于單個(gè)圖譜和其他兩種融合方法，特征級(jí)融合方法在不同折上性能差異比較大，從而表明該方法對(duì)數(shù)據(jù)的依賴(lài)較大，容易過(guò)擬合。

圖15 僅用單圖譜檢測(cè)跌倒的5折交叉驗(yàn)證的準(zhǔn)確率及交叉熵?fù)p失隨訓(xùn)練輪數(shù)的變化曲線Fig.15 Curves of accuracy and cross entropy loss of 5-fold cross-validation using one kind of spectrograms for fall detection

圖16 融合方法檢測(cè)跌倒的5折交叉驗(yàn)證的準(zhǔn)確率及交叉熵?fù)p失隨訓(xùn)練輪數(shù)的變化曲線Fig.16 Curves of accuracy and cross entropy loss of 5-fold cross-validation using fusion methods for fall detection

表2列出了單種圖譜和融合方法檢測(cè)跌倒的5折交叉驗(yàn)證的平均結(jié)果?？梢钥闯?，單種圖譜中檢測(cè)性能最優(yōu)的是距離時(shí)間譜，其5折交叉驗(yàn)證的準(zhǔn)確率為0.9923，其次是時(shí)間多普勒譜(準(zhǔn)確率為0.9893)。數(shù)據(jù)融合方法和決策融合方法的檢測(cè)性能都比單種圖譜方法的效果有所提升，決策模型在相同條件下檢測(cè)效果最佳，其5折交叉驗(yàn)證的準(zhǔn)確率可達(dá)0.9956。但特征級(jí)融合在5折交叉驗(yàn)證結(jié)果中，平均性能較單種圖譜有所下降，其原因是在某些折上檢測(cè)性能變差。

表3列出了僅用單種圖譜和融合方法在場(chǎng)景2的測(cè)試結(jié)果?？梢钥闯?，僅用距離時(shí)間譜的數(shù)據(jù)能夠獲得單種圖譜最高的檢測(cè)性能，準(zhǔn)確率為0.9537，但距離多普勒譜的準(zhǔn)確率只有0.9167，說(shuō)明其泛化能力較差。融合方法中，數(shù)據(jù)級(jí)和決策級(jí)融合相比于單種圖譜具有更好的預(yù)測(cè)性能。在新的場(chǎng)景下，決策級(jí)融合的方法具有最高的檢測(cè)性能，準(zhǔn)確率可達(dá)0.9778，F(xiàn)1-score可達(dá)0.9659。但特征級(jí)融合方法的性能相對(duì)于單種圖譜沒(méi)有提升，說(shuō)明其泛化能力差。另外表3與表2的結(jié)果具有一致性。

表2 跌倒檢測(cè)5折交叉驗(yàn)證評(píng)價(jià)指標(biāo)對(duì)比(場(chǎng)景1)Tab.2 Comparison of evaluation indicators for 5-fold cross-validation of fall detection (Scene 1)

表3 不同模型之間跌倒檢測(cè)性能的對(duì)比(場(chǎng)景2)Tab.3 Comparison of fall detection performance between different models (Scene 2)

圖17分別給出了用單種圖譜和融合方法對(duì)場(chǎng)景2的數(shù)據(jù)進(jìn)行測(cè)試時(shí)的混淆矩陣。為了驗(yàn)證不同方法在新場(chǎng)景下對(duì)新的受試者數(shù)據(jù)中檢測(cè)跌倒的準(zhǔn)確率之間是否存在統(tǒng)計(jì)性差異，本文將采用配對(duì)設(shè)計(jì)4表格資料卡方檢驗(yàn)(McNemar檢驗(yàn))。為此，分別計(jì)算需要對(duì)比的兩種方法中方法1判斷正確但方法2判斷錯(cuò)誤的個(gè)數(shù)a，方法1判斷錯(cuò)誤但方法2判斷正確的個(gè)數(shù)b。構(gòu)造統(tǒng)計(jì)量，χ2=(a ?b)2/(a+b)，則假設(shè)檢驗(yàn)為

圖17 用場(chǎng)景2數(shù)據(jù)測(cè)試各種模型時(shí)得到的混淆矩陣Fig.17 Confusion matrix obtained when testing various models using data of Scene 2

按顯著性水平α=0.05拒絕H0。本文的統(tǒng)計(jì)分析通過(guò)軟件統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案(Statistical Product and Service Solutions,SPSS)實(shí)現(xiàn)，結(jié)果表明決策級(jí)融合方法優(yōu)于單種圖譜方法(3個(gè)P值均<0.001)、數(shù)據(jù)級(jí)融合方法(P=0.003)和特征級(jí)融合方法(P<0.001)。數(shù)據(jù)級(jí)&特征級(jí)融合方法與單用距離時(shí)間譜(兩個(gè)P值均為1.000)和時(shí)間多普勒譜(P=0.152,P=0.690)的方法之間沒(méi)有顯著性差異，但優(yōu)于單用距離多普勒譜的方法(兩個(gè)P值均<0.001)。特征級(jí)與數(shù)據(jù)級(jí)融合方法之間沒(méi)有統(tǒng)計(jì)性差異(P=0.367)。

6 結(jié)語(yǔ)

為克服窄帶雷達(dá)獲取動(dòng)作行為信息有限以及現(xiàn)有數(shù)據(jù)集數(shù)據(jù)量偏少等問(wèn)題，本研究采用UWB雷達(dá)在2個(gè)真實(shí)的室內(nèi)復(fù)雜場(chǎng)景下采集36名受試者的日常行為和跌倒的回波數(shù)據(jù)，建立了動(dòng)作類(lèi)型豐富、多場(chǎng)景、多受試者的數(shù)據(jù)集，設(shè)計(jì)了基于MobileNet-V3的輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)融合3種雷達(dá)圖譜的信息以提高跌倒識(shí)別的性能。網(wǎng)絡(luò)模型在訓(xùn)練、驗(yàn)證和測(cè)試過(guò)程中始終保證數(shù)據(jù)的互斥性，防止了數(shù)據(jù)泄露的問(wèn)題。采用了多種指標(biāo)衡量比較不同融合模型的效果，并與單種圖譜的識(shí)別效果進(jìn)行了比較。通過(guò)統(tǒng)計(jì)分析發(fā)現(xiàn)，本文提出的決策級(jí)融合方法相對(duì)于單種圖譜、數(shù)據(jù)級(jí)、特征級(jí)融合方法，能夠提高跌倒檢測(cè)性能(統(tǒng)計(jì)分析表明所有P值不超過(guò)0.003)，其5折交叉驗(yàn)證的準(zhǔn)確率為0.9956，F(xiàn)1-score為0.9933，在新場(chǎng)景下測(cè)試的準(zhǔn)確率為0.9778，F(xiàn)1-score可達(dá)0.9659，具有較強(qiáng)的泛化能力。

由于雷達(dá)的型號(hào)參數(shù)和觀察角度會(huì)影響現(xiàn)有模型的識(shí)別性能，因此不同參數(shù)的雷達(dá)需要重新訓(xùn)練網(wǎng)絡(luò)，為了完善數(shù)據(jù)集，今后將增加更多的探測(cè)角度(如垂直雷達(dá)視線的角度)。在數(shù)據(jù)處理方面將考慮數(shù)據(jù)流的形式，以真正實(shí)現(xiàn)實(shí)時(shí)跌倒檢測(cè)，并進(jìn)一步分析不同圖譜對(duì)于不同動(dòng)作的識(shí)別性能是否存在差異。

附錄

K波段超寬帶雷達(dá)跌倒檢測(cè)圖譜數(shù)據(jù)集1.0(K-UWB-FDHA-1.0)依托《雷達(dá)學(xué)報(bào)》官方網(wǎng)站發(fā)布(附圖1)，網(wǎng)址為https://radars.ac.cn/web/data/getData?dataType=DatasetinthePaper。

附圖1 K波段超寬帶雷達(dá)跌倒檢測(cè)圖譜數(shù)據(jù)集-1.0發(fā)布網(wǎng)頁(yè)App.Fig.1 Release webpage of K band UWB radar spectrogram dataset-1.0 for fall detection