基于超寬帶沖激雷達的人體動作識別和心率估計數(shù)據(jù)集

鄭銘凱，饒彬*，王偉

1.中山大學(xué)，電子與通信工程學(xué)院，廣東深圳 518107

引 言

非接觸式醫(yī)療健康監(jiān)測，通常指不直接接觸人體，隔著衣服、空氣和障礙物等實現(xiàn)人體監(jiān)測。相較于傳統(tǒng)的接觸式系統(tǒng)，它解決了用戶依從性問題，避免了佩戴電極、傳感設(shè)備進行監(jiān)測帶來的不舒適感，更有助于將健康監(jiān)測融入日常生活[1]。除此之外，非接觸式的醫(yī)療健康監(jiān)測系統(tǒng)還可以對不適用于傳統(tǒng)醫(yī)療監(jiān)測手段的人員如燒傷、化學(xué)感染和受到核污染的病人進行醫(yī)學(xué)診斷和監(jiān)測，是對傳統(tǒng)醫(yī)學(xué)診療手段的有益補充[2]。

超寬帶沖激（Impulse-Radio Ultra-Wideband, IR-UWB）雷達技術(shù)是非接觸式醫(yī)療健康監(jiān)測系統(tǒng)中使用廣泛且極具潛力的一項技術(shù)[3]，能發(fā)射極窄（納秒級）的電磁脈沖信號，并通過記錄分析人體目標(biāo)所反射的電磁波信號得到被測人體生命特征相關(guān)的參數(shù)，從而實現(xiàn)對人體生理活動的監(jiān)測。相較基于氣味[4]、聲學(xué)[5-6]、光學(xué)[7-8]的非接觸式醫(yī)療健康監(jiān)測系統(tǒng)，基于IR-UWB 雷達的系統(tǒng)在保護用戶隱私的同時具備強抗干擾能力、較高精度等優(yōu)點；而相較基于其他類型射頻信號如毫米波、Wi-Fi 等的系統(tǒng)，其分辨力更高，穿透能力強，且能對多個人體目標(biāo)進行有效區(qū)分篩選[9]，在非接觸醫(yī)療和智慧健康等領(lǐng)域內(nèi)有著極大的應(yīng)用價值和廣闊的前景。

然而，目前缺乏健康監(jiān)測相關(guān)的公開數(shù)據(jù)集，很多研究缺乏實測數(shù)據(jù)支撐和驗證，這嚴(yán)重限制了IR-UWB 雷達技術(shù)的實用化進程。而人體動作數(shù)據(jù)和心跳數(shù)據(jù)分別作為非接觸式醫(yī)療健康監(jiān)測領(lǐng)域中典型的多點散射疊加運動數(shù)據(jù)和典型的近距離、低速度、小尺寸目標(biāo)數(shù)據(jù)，更是需要重點研究的內(nèi)容。為了促進其研究和發(fā)展，本研究使用單個IR-UWB 雷達設(shè)備，構(gòu)建了超寬帶沖激雷達人體動作識別和心率估計數(shù)據(jù)集，記錄多組人體動作以及心跳信息，可為相關(guān)研究提供基礎(chǔ)數(shù)據(jù)。

1 數(shù)據(jù)采集和處理方法

1.1 數(shù)據(jù)采集方法

1.1.1 數(shù)據(jù)采集設(shè)備

本研究的數(shù)據(jù)采集過程所使用的主要設(shè)備有IR-UWB 雷達設(shè)備和心率帶，分別負(fù)責(zé)記錄人體目標(biāo)的雷達回波數(shù)據(jù)和心率參考數(shù)據(jù)。

(1) IR-UWB 雷達

本研究使用的IR-UWB 雷達基于Novelda 公司的XeThru X4 超寬帶沖激雷達芯片設(shè)計封裝而成，其外觀和內(nèi)部結(jié)構(gòu)如圖1 所示。該設(shè)備由外部電源供電，使用TCP 協(xié)議實現(xiàn)與控制終端之間的通信。實驗時，控制終端發(fā)送啟動指令開始信號發(fā)射、采集和處理，并通過TCP 協(xié)議實時回傳雷達回波數(shù)據(jù)到終端進行記錄保存。

圖1 IR-UWB 雷達實物圖Figure 1 Physical image of IR-UWB radar

該雷達所發(fā)射的信號是高斯頻移脈沖信號，在時域上的持續(xù)時間為ns 級，而頻帶極寬，理論上有極高的距離分辨力，能有效捕捉人體目標(biāo)的變化，從而實現(xiàn)動作識別和心率估計。其歸一化時域波形和功率譜示意圖如圖2 所示。

圖2 IR-UWB 雷達發(fā)射信號時域波形和功率譜Figure 2 Time domain waveform and power spectrum of IR-UWB radar transmission signal

發(fā)射信號經(jīng)雷達天線發(fā)射后，經(jīng)過人體目標(biāo)和背景的反射，最終被雷達接收機接收。為盡可能完整地保留回波信息，便于后端從數(shù)據(jù)中挖掘出所需人體目標(biāo)信息，通常使用高速采樣接收機設(shè)計，該設(shè)計在對連續(xù)信號進行接收和處理后做離散采樣，形成一系列的采樣點。將采樣點按照時間順序排列成數(shù)組，稱為一個雷達幀，在不考慮單次采樣過程中目標(biāo)運動的前提下，可以認(rèn)為該雷達幀反映了當(dāng)前時刻雷達探測范圍內(nèi)人和物的分布情況。將多個雷達幀也按照時間順序排列在一起，如圖3 所示，即可構(gòu)成時間-距離二維雷達數(shù)據(jù)矩陣，圖中每個雷達幀之間的間隔為1/FPS，其中FPS為雷達幀采集幀率。由于人體目標(biāo)在做動作時，其四肢、軀干、頭頸等部位都會相對于雷達發(fā)生位移，而呼吸心跳所引起的胸腔起伏也會導(dǎo)致雷達回波信號發(fā)生變化，反映在數(shù)據(jù)中即為雷達幀隨時間不斷變化，因此可以通過分析不同雷達幀之間的變化情況，實現(xiàn)人體目標(biāo)的動作識別和心率估計。

圖3 IR-UWB 雷達回波數(shù)據(jù)樣式Figure 3 Echo data format of IR-UWB radar

為方便數(shù)據(jù)使用者對本數(shù)據(jù)集進行進一步分析，深入挖掘隱藏在回波信號中的人體目標(biāo)信息，本研究所用雷達設(shè)備主要指標(biāo)總結(jié)在表1 中。

表1 IR-UWB 雷達主要系統(tǒng)參數(shù)Table 1 Main indicators of IR-UWB radar

(2) 心率帶

本研究所使用的心率帶由Chileaf 公司生產(chǎn)，型號為CL806，支持藍牙5.0 協(xié)議和ANT +協(xié)議，可通過這兩種方式將心率數(shù)據(jù)進行傳輸和記錄，其實物圖如圖4 所示。心率帶的心率測試范圍為40-220 bpm，覆蓋正常心率范圍，在開放環(huán)境下最大傳輸距離為80 m，心率測試精度為±1 bpm，可滿足基本的評估和測試精度要求。

圖4 心率帶實物圖Figure 4 Physical image of the heart rate band

1.1.2 數(shù)據(jù)采集過程

本研究所面向的應(yīng)用場景是室內(nèi)的人體目標(biāo)動作識別和心率估計，將雷達放置在室內(nèi)桌面上，朝向目標(biāo)活動區(qū)域，通過雷達回波數(shù)據(jù)分析人體動作和生命體征，從而實現(xiàn)長時間的目標(biāo)監(jiān)測。為貼合應(yīng)用場景，本研究選擇在室內(nèi)的一些典型場景中完成采集數(shù)據(jù)，包括客廳、臥室、飯廳等；同時為了增加數(shù)據(jù)的多樣性，本數(shù)據(jù)集囊括了來自多位不同性別、體型和年齡的測試目標(biāo)的實驗數(shù)據(jù)，參與實驗采集的測試目標(biāo)相關(guān)信息如表2 所示。

表2 人體目標(biāo)基本信息Table 2 Basic information of human target

(1) 人體動作識別數(shù)據(jù)采集

人體活動識別可以用于對目標(biāo)當(dāng)前的狀態(tài)做出基本的判斷，在智能家居領(lǐng)域用戶也可以借助特定的動作向監(jiān)測設(shè)備傳遞控制信息。本研究選取了幾種具有典型特征的肢體動作和手勢動作進行數(shù)據(jù)采集，同時采集了部分無人場景的數(shù)據(jù)。有人場景下幾個人體動作的示意圖如圖5 所示。

圖5 人體動作示意圖Figure 5 Schematic diagram of human action

確定實驗所需采集的動作數(shù)據(jù)后，搭建數(shù)據(jù)采集實驗場景并開始數(shù)據(jù)采集。首先將雷達水平放置在桌面上，實驗場景中包含家庭中常見的家具包括餐桌、沙發(fā)和茶幾等，場景中留有足夠大的空間供測試目標(biāo)完成上述動作。實驗采集的基本信息如表3 所示，對于單次數(shù)據(jù)采集實驗，一位測試目標(biāo)順次完成上述動作，每個動作重復(fù)多次，動作之間留有3 s 以上的時間間隔以方便后續(xù)數(shù)據(jù)裁剪，并保證每一段數(shù)據(jù)中僅包含一個動作，實驗過程中同步使用攝像頭錄制實驗過程，方便數(shù)據(jù)標(biāo)注。每一位測試目標(biāo)都進行了2–3 次數(shù)據(jù)采集實驗。

表3 動作數(shù)據(jù)采集實驗基本信息Table 3 Basic information of the action data collection experiments

(2) 心率估計數(shù)據(jù)采集

進行心率數(shù)據(jù)采集時，為了減小身體隨機運動帶來的干擾，選擇使用坐姿進行心率數(shù)據(jù)的采集。實驗場景及雷達設(shè)置與動作數(shù)據(jù)采集實驗保持一致。測試過程中，測試目標(biāo)靜坐在椅子上，胸部與雷達天線中心平齊，天線正對目標(biāo)胸腔。雷達測量距離范圍設(shè)置為0.5–2 m，單次數(shù)據(jù)采集實驗時長為500 s，心率帶在實驗過程中同步記錄目標(biāo)心率信息。每名測試目標(biāo)重復(fù)完成2 次數(shù)據(jù)采集實驗。

1.2 數(shù)據(jù)處理與標(biāo)注

為了盡可能多地保留數(shù)據(jù)信息，避免不合適的數(shù)據(jù)預(yù)處理對數(shù)據(jù)使用者后續(xù)的處理造成影響，本數(shù)據(jù)集提供雷達原始回波數(shù)據(jù)，僅經(jīng)過簡單的裁剪與標(biāo)注，下面將分別介紹動作識別數(shù)據(jù)和心率估計數(shù)據(jù)的處理與標(biāo)注。

1.2.1 動作識別數(shù)據(jù)處理與標(biāo)注

本研究經(jīng)過多次數(shù)據(jù)采集實驗，確定所需采集的動作完成時間均在2–3 s 內(nèi)，因此將動作數(shù)據(jù)統(tǒng)一裁剪成時間長度為3 s 的數(shù)據(jù)片段，裁剪過程結(jié)合實驗過程中錄制的視頻進行。首先利用標(biāo)志動作完成雷達數(shù)據(jù)和視頻數(shù)據(jù)的時間同步，本研究選擇目標(biāo)向前走并在雷達前停住那一刻作為同步時間點，同步精度在一個脈沖重復(fù)周期內(nèi)，即0.05 s；之后依次標(biāo)記出每一段雷達數(shù)據(jù)對應(yīng)的動作類型，確保目標(biāo)動作完整地保留在所裁剪的數(shù)據(jù)內(nèi)，并處在數(shù)據(jù)的中間，目標(biāo)動作完成前后目標(biāo)處于靜止站立狀態(tài)；最后根據(jù)表4 所示的數(shù)據(jù)序號進行標(biāo)注。

表4 動作識別數(shù)據(jù)集基本信息Table 4 Basic information of the action recognition dataset

1.2.2 心率估計數(shù)據(jù)處理與標(biāo)注

對于心率數(shù)據(jù)，考慮到心率估計需要結(jié)合長時間的雷達回波數(shù)據(jù)進行判斷，本研究將心率估計數(shù)據(jù)統(tǒng)一裁剪為時間長度10 s 的數(shù)據(jù)片段，包括當(dāng)前這1 s 和此前的9 s 雷達回波數(shù)據(jù)，并將當(dāng)前時刻對應(yīng)的心率帶數(shù)據(jù)記錄下來作為數(shù)據(jù)標(biāo)簽，其處理與標(biāo)注過程如圖6 所示。

圖6 心率估計數(shù)據(jù)處理與標(biāo)注示意圖Figure 6 Schematic diagram for the processing and labeling of heart rate estimation data

2 數(shù)據(jù)樣本描述

本數(shù)據(jù)集共包含 2 個數(shù)據(jù)文件，數(shù)據(jù)格式為.mat 文件。其中人體動作識別數(shù)據(jù)集Dataset_HumanAction.mat 包含原始回波數(shù)據(jù)Data、數(shù)據(jù)標(biāo)簽Label 和數(shù)據(jù)描述Description 共三個變量；心率估計數(shù)據(jù)集Dataset_HeartRate.mat 包含原始回波數(shù)據(jù)Data 和心率參考值HeartRate_Ref 共兩個變量。下面將分別介紹：

2.1 動作識別數(shù)據(jù)樣本描述

動作識別原始回波數(shù)據(jù)Data 變量是一個大小為1629×1 的cell 類型變量，其中每一行都是一個大小為463（距離單元）×60（雷達幀）的二維矩陣樣本數(shù)據(jù)。為清晰展示數(shù)據(jù)樣式，選擇了向后走、彎腰拾物和揮手3 個典型動作的雷達回波數(shù)據(jù)進行展示，如圖7 所示。向后走的動作數(shù)據(jù)顯示目標(biāo)回波與雷達之間的距離隨時間增大；彎腰拾物的動作數(shù)據(jù)中存在明顯的回波峰值靠近雷達又遠離的特征，對應(yīng)于該動作中目標(biāo)上半身靠近雷達又遠離的過程；揮手的動作數(shù)據(jù)則有明顯的周期峰值。雷達回波數(shù)據(jù)能較好地反映人體目標(biāo)運動信息。

圖7 動作識別數(shù)據(jù)示例Figure 7 Data example of action recognition

動作數(shù)據(jù)標(biāo)簽Label 變量是一個大小為1629×1 的列向量，每一行是一個動作標(biāo)簽，對應(yīng)于相同行的動作數(shù)據(jù)。數(shù)據(jù)描述Description 變量是一個動作數(shù)據(jù)標(biāo)簽和動作類型的對應(yīng)表，供使用者隨時查閱。

2.2 心率估計數(shù)據(jù)樣本描述

心率估計原始回波數(shù)據(jù)Data 變量是一個大小為4670×1 的cell，其中每一行都是一個大小為234（距離單元）×200（雷達幀）的二維矩陣樣本數(shù)據(jù)。與上一節(jié)類似，圖8 中是一個數(shù)據(jù)樣本示例。

圖8 心率估計數(shù)據(jù)示例Figure 8 Data example of heart rate estimation

心率參考數(shù)據(jù)HeartRate_ref 變量是一個大小為4670×1 的列向量，每一行是一個由心率帶采集得到的心率參考數(shù)據(jù)，對應(yīng)于同一行的心率估計原始回波數(shù)據(jù)，范圍為50108 bpm。

3 數(shù)據(jù)質(zhì)量控制和評估

本數(shù)據(jù)集中的所有雷達回波數(shù)據(jù)都是通過超寬帶沖激雷達在專門設(shè)計的實驗中實測采集得到，通過合理設(shè)置實驗條件、場景和動作類型，保證雷達回波數(shù)據(jù)真實可靠實用。每個數(shù)據(jù)對應(yīng)的數(shù)據(jù)標(biāo)簽都由人工結(jié)合視頻文字信息進行標(biāo)注，并經(jīng)過人工核驗審查，確保數(shù)據(jù)標(biāo)注無誤。

4 數(shù)據(jù)價值

本研究針對IR-UWB 雷達在室內(nèi)人體感知領(lǐng)域公開數(shù)據(jù)集匱乏、仿真數(shù)據(jù)難以充分體現(xiàn)實際數(shù)據(jù)特征的問題，設(shè)計了10 種典型動作，包括全身運動動作和上肢單獨運動動作，還設(shè)計了較為純凈的心跳數(shù)據(jù)采集環(huán)境，構(gòu)建了人體動作識別數(shù)據(jù)集和心率估計數(shù)據(jù)集，為IR-UWB 雷達人體感知研究提供了單獨的、具有針對性的大幅度動作數(shù)據(jù)和微動數(shù)據(jù)。相較于目前公開的類似數(shù)據(jù)集[10-11]，本數(shù)據(jù)集提供了更加豐富的人體動作數(shù)據(jù)，還提供了首個心率估計公開數(shù)據(jù)集，為IR-UWB 雷達室內(nèi)人體感知領(lǐng)域相關(guān)數(shù)據(jù)做了有益補充。

本數(shù)據(jù)集涵蓋了室內(nèi)人體典型運動，可用于分析人體目標(biāo)動作和微動在IR-UWB 雷達回波信號中產(chǎn)生影響的規(guī)律，研究真實回波數(shù)據(jù)中的人體目標(biāo)特征提取算法，評估室內(nèi)人體感知方案效果，并最終實現(xiàn)對目標(biāo)用戶的心率監(jiān)測、睡眠分析、跌倒檢測、慢性病監(jiān)測和情緒感知等，從而推動IRUWB 雷達在健康監(jiān)護、運動分析、智能家居、場景監(jiān)控等領(lǐng)域的應(yīng)用。

5 數(shù)據(jù)使用方法和建議

本數(shù)據(jù)集是基于數(shù)學(xué)軟件MATLAB 生成的.mat 格式文件，主要包含原始回波數(shù)據(jù)和標(biāo)注文件。在使用本數(shù)據(jù)集時有兩種推薦使用方法：

① 首先基于原始數(shù)據(jù)進行分析，分析不同動作數(shù)據(jù)和心率數(shù)據(jù)在時域、頻域、時頻域或其他特征空間中的特點，設(shè)計合理的數(shù)據(jù)分析方法進行動作識別和心率估計，最后再用本數(shù)據(jù)集驗證算法性能；

② 對本數(shù)據(jù)集經(jīng)過合理的預(yù)處理后，按照6：2：2 的比例劃分成訓(xùn)練集、驗證集和測試集，把訓(xùn)練集數(shù)據(jù)作為單通道的灰度圖像輸入到神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練，用驗證集進一步調(diào)整超參數(shù)，最后用測試集驗證網(wǎng)絡(luò)性能。

數(shù)據(jù)作者分工職責(zé)

鄭銘凱（1999—），男，廣東省汕頭市人，碩士研究生，研究方向為組網(wǎng)融合和信號處理。主要承擔(dān)工作：數(shù)據(jù)采集方案制定，數(shù)據(jù)采集，數(shù)據(jù)加工與標(biāo)注，數(shù)據(jù)集制作。

饒彬（1980—），男，四川省成都市人，博士，副教授，研究方向為目標(biāo)跟蹤與數(shù)據(jù)融合、認(rèn)知電子戰(zhàn)、電子信息系統(tǒng)建模與仿真。主要承擔(dān)工作：數(shù)據(jù)采集方案制定，數(shù)據(jù)集制作。

王偉（1970—），男，安徽省巢湖市人，博士，教授，研究方向為信號處理、電磁環(huán)境效應(yīng)、電子信息系統(tǒng)建模與仿真。主要承擔(dān)工作：數(shù)據(jù)采集方案制定，數(shù)據(jù)集制作。