面向弱標(biāo)簽傳感器數(shù)據(jù)的人體活動(dòng)識(shí)別與定位

宋秀秀，周 華，何 軍，胡昭華

（南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京 210044）

0 引 言

隨著物聯(lián)網(wǎng)（IOU）和便攜式移動(dòng)設(shè)備的迅速發(fā)展，基于可穿戴傳感器的人體活動(dòng)識(shí)別研究已經(jīng)成為智能輔助系統(tǒng)的一個(gè)核心課題。它通過對(duì)加速度、磁力計(jì)等運(yùn)動(dòng)型傳感器獲取的人體信號(hào)數(shù)據(jù)進(jìn)行分析，理解人們?cè)诋?dāng)前環(huán)境下的運(yùn)動(dòng)模式，在個(gè)人健身訓(xùn)練、智能家居[1]、健康監(jiān)測(cè)[2]等方面有著廣泛的應(yīng)用。結(jié)合實(shí)際情況發(fā)現(xiàn)，人們?cè)谌粘Ｉ钪型ǔ２粫?huì)一直保持固定的某種運(yùn)動(dòng)模式，而是多種運(yùn)動(dòng)狀態(tài)的組合。與容易標(biāo)注的圖像或視頻對(duì)象不同，很難從人體佩戴傳感器獲取的時(shí)間序列數(shù)據(jù)中精確分割出某種特定活動(dòng)的時(shí)序邊界。幸運(yùn)的是，人們?cè)谟涗泜鞲衅鲾?shù)據(jù)的過程中雖然沒有明確標(biāo)記出特定活動(dòng)的起止位置，但是卻知道數(shù)據(jù)中包含哪種類型的活動(dòng)。在本文中，這種類型數(shù)據(jù)稱為弱標(biāo)簽傳感器數(shù)據(jù)。通常，數(shù)據(jù)集中活動(dòng)的持續(xù)時(shí)間不同，活動(dòng)的發(fā)生次數(shù)也不同，那么新的挑戰(zhàn)在于是否能夠利用弱標(biāo)簽傳感器數(shù)據(jù)設(shè)計(jì)一個(gè)新模型，使它不僅能夠識(shí)別弱標(biāo)簽傳感器數(shù)據(jù)中的活動(dòng)類型，而且還能確定活動(dòng)的位置。

考慮到弱標(biāo)簽傳感器數(shù)據(jù)是按時(shí)間先后順序排列的一維時(shí)序信號(hào)，所以選用一維卷積網(wǎng)絡(luò)學(xué)習(xí)序列數(shù)據(jù)的局部特征。通過對(duì)實(shí)驗(yàn)數(shù)據(jù)可視化的研究發(fā)現(xiàn)，特定活動(dòng)區(qū)域和背景區(qū)域的信號(hào)值存在一定的差異。受注意力機(jī)制[3]的啟發(fā)，可以把注意力集中在感興趣的活動(dòng)區(qū)域，快速提取序列中關(guān)鍵有用的信息。因此，將卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制相融合，加強(qiáng)對(duì)特定活動(dòng)區(qū)域的關(guān)注，抑制無關(guān)的背景噪聲信息，利用收集的弱標(biāo)簽數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)模型，實(shí)現(xiàn)活動(dòng)的分類和定位。

1 相關(guān)工作

活動(dòng)識(shí)別過程主要分為特征和識(shí)別兩大部分，其中，識(shí)別的結(jié)果取決于特征提取的質(zhì)量好壞。傳統(tǒng)的活動(dòng)識(shí)別研究大多數(shù)是基于統(tǒng)計(jì)學(xué)習(xí)方法進(jìn)行識(shí)別，這些方法需要手動(dòng)設(shè)計(jì)特征，其特征主要包括時(shí)域[4]、頻域和時(shí)頻域特征。如文獻(xiàn)[5]中通過收集加速度傳感器數(shù)據(jù)計(jì)算滑動(dòng)窗口內(nèi)的均值、標(biāo)準(zhǔn)差、偏度、相關(guān)性等特征，并送到SVM分類器中去識(shí)別其活動(dòng)，但是對(duì)于區(qū)分上下樓相似動(dòng)作的識(shí)別性能較差。文獻(xiàn)[6]中將從傳感器活動(dòng)數(shù)據(jù)中提取樣本熵特征來提供給極限學(xué)習(xí)機(jī)（ELM）進(jìn)行活動(dòng)識(shí)別。Cheng等利用隱馬爾可夫模型對(duì)每個(gè)活動(dòng)類別建模，選擇概率最高的作為分類結(jié)果[7]。隨著傳感器的應(yīng)用范圍變大，手工設(shè)計(jì)特征的不足也越來越明顯。當(dāng)傳感器應(yīng)用于不同的活動(dòng)類型時(shí)，依賴于特定領(lǐng)域知識(shí)的淺層特征可能就不適用于其他類型的數(shù)據(jù)，導(dǎo)致后續(xù)分類器的泛化性能不高。

隨著深度學(xué)習(xí)的興起，構(gòu)建的網(wǎng)絡(luò)模型能從海量數(shù)據(jù)中自動(dòng)學(xué)習(xí)更系統(tǒng)、更深層次、更具區(qū)分能力的信息，越來越多的神經(jīng)網(wǎng)絡(luò)被應(yīng)用于活動(dòng)識(shí)別。如Ronao等提出一種卷積神經(jīng)網(wǎng)絡(luò)Convnet，從原始序列中自動(dòng)提取數(shù)據(jù)的魯棒性特征，結(jié)果表明，網(wǎng)絡(luò)可以較好地對(duì)數(shù)據(jù)分類，尤其是區(qū)分具有相似性的上下樓活動(dòng)[8]。后來Hammerla在文獻(xiàn)[9]中進(jìn)行了評(píng)估DNN、CNN、LSTM三種模型在人體活動(dòng)識(shí)別中的表現(xiàn)，結(jié)果表明，LSTM在大型基準(zhǔn)數(shù)據(jù)集和短時(shí)長(zhǎng)活動(dòng)的識(shí)別性能優(yōu)于其他兩種方法，而CNN對(duì)于固定活動(dòng)數(shù)據(jù)的識(shí)別性能較好?？偨Y(jié)發(fā)現(xiàn)以上方法都是屬于監(jiān)督學(xué)習(xí)的范疇，需要大量精確標(biāo)記時(shí)序邊界的活動(dòng)數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。

2 主要工作

本文將活動(dòng)識(shí)別問題轉(zhuǎn)化為時(shí)序分類與定位任務(wù)，研究?jī)?nèi)容主要包括三個(gè)部分：

1）使用一維卷積神經(jīng)網(wǎng)絡(luò)提取輸入數(shù)據(jù)的潛在特征。

2）在提取特征的基礎(chǔ)上引入注意力機(jī)制，學(xué)習(xí)不同時(shí)間幀采樣數(shù)據(jù)在時(shí)間維度上的位置權(quán)重。

3）用中值濾波方法對(duì)一維概率序列做平滑處理，找出局部最小值作為閾值門限，進(jìn)而定位出特定活動(dòng)的起始位置和結(jié)束位置。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

將一維卷積神經(jīng)網(wǎng)絡(luò)作為基本網(wǎng)絡(luò)，由輸入層、卷積層、池化層、全連接層、輸出層組成。為了快速定位活動(dòng)片段，在池化層和全連接層之間引入新的注意力層，整個(gè)模型框圖如圖1所示。因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)需要固定大小的輸入，所以在數(shù)據(jù)做特征提取和分類之前，使用滑動(dòng)窗技術(shù)對(duì)弱傳感器數(shù)據(jù)進(jìn)行采樣，使每條樣本序列中包含固定的時(shí)間幀片段。然后在每個(gè)采樣間隔內(nèi)存儲(chǔ)加速度計(jì)x軸、y軸、z軸的數(shù)據(jù)。最后對(duì)樣本集統(tǒng)一做標(biāo)準(zhǔn)化處理，使它們的信號(hào)值保持在一定范圍。

圖1 基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型

1）輸入層

輸入層中沒有輸入向量，只有輸出向量。設(shè)輸入向量矩陣的大小為M×N，M代表樣本數(shù)，N代表每條樣本的屬性值。

2）卷積層

卷積核每沿時(shí)間軸滑動(dòng)一次，卷積核的權(quán)值向量和樣本的子序列值就做一次點(diǎn)乘求和。點(diǎn)積運(yùn)算的值加上偏置得到的結(jié)果送入ReLU激活函數(shù)，得到下一層的卷積特征。卷積層的操作過程如下：

式中：αi,j是第i行第j列單元的輸出值；F是濾波器的大?。▽挾群透叨认嗤粀m,n表示過濾器的第m行第n列的權(quán)重值。

3）池化層

在兩層卷積層中間銜接一個(gè)池化層，池化層采用最大值采樣方式，輸出固定過濾區(qū)域中的最大值。這樣既可以二次提取卷積特征圖中重要的特征，也簡(jiǎn)化了網(wǎng)絡(luò)計(jì)算的復(fù)雜度。

4）注意力層

數(shù)據(jù)特征經(jīng)過卷積和池化交替處理之后，變成更具代表性的抽象特征表示。為了更好地突出采樣數(shù)據(jù)之間的差異，將池化層輸出的特征矩陣x輸入到三層全連接網(wǎng)絡(luò)中。網(wǎng)絡(luò)輸出經(jīng)歸一化函數(shù)給出一維的概率分布，計(jì)算過程如下所示：

式中：(w1,w2)，(b1,b2)代表權(quán)值矩陣和偏置量；αt是t時(shí)間幀采樣數(shù)據(jù)的權(quán)重值，也表示該時(shí)間幀是目標(biāo)活動(dòng)片段的可能性大小。經(jīng)過注意力篩選之后，過濾了大部分噪聲信息，使特征z中包含更多關(guān)于目標(biāo)活動(dòng)特征的重要信息。

5）全連接層

將加權(quán)后的特征向量z整合為一維特征，輸入到全連接網(wǎng)絡(luò)中。

6）輸出層

為了給出最后分類的結(jié)果，使全連接層輸出映射到樣本序列的標(biāo)記空間，并將輸出層第k個(gè)神經(jīng)元的激活函數(shù)定義為如下形式：

式中：k為活動(dòng)的類別數(shù)；αk即當(dāng)前特征屬于不同活動(dòng)類型的概率。

2.2 活動(dòng)定位算法

經(jīng)過注意力層輸出的一維概率序列主要由兩部分組成，其中，目標(biāo)活動(dòng)區(qū)域與背景區(qū)域交界處的兩邊權(quán)重值有較大的差異，可以將整個(gè)概率序列的包絡(luò)看作是一條曲線，尋找其中的局部最小值。由于原始概率序列存在多個(gè)局部波峰和波谷，影響谷底的檢測(cè)。所以在搜索局部最小值之前，對(duì)概率序列做中值濾波處理。對(duì)比概率序列的前后波形發(fā)現(xiàn)，序列中的大部分毛刺被消除，概率序列變的更加平滑，如圖2所示。

圖2 概率序列濾波前后的波形對(duì)比

中值濾波方法[10]定義了一個(gè)固定長(zhǎng)度的窗口，對(duì)內(nèi)部的信號(hào)值按升序排列，取中值作為窗口中心位置信號(hào)值作為輸出。因?yàn)闉V波過程中噪聲數(shù)據(jù)在排序的時(shí)候被排到了左邊或右邊，所以能夠有效地消除尖峰噪聲。

在滿足已知特征的條件下，經(jīng)過多次試驗(yàn)證明，滑動(dòng)窗口大小為5的時(shí)候?yàn)V波效果比較好。然后取局部最小值0.015作為最優(yōu)閾值門限，高于門限設(shè)為1狀態(tài)，低于門限設(shè)為0狀態(tài)。將濾波后的概率序列轉(zhuǎn)變成只有兩種狀態(tài)構(gòu)成的數(shù)字信號(hào)波形，根據(jù)波形上升或下降趨勢(shì)的突發(fā)轉(zhuǎn)變點(diǎn)，完成對(duì)活動(dòng)片段的定位，活動(dòng)片段定位算法：

1.Input：數(shù)字信號(hào)序列S

2.Output：活動(dòng)時(shí)序區(qū)間L

3.L=pd.DataFrame（columns=[′label′，′begin′，′end′]）//創(chuàng)建表格存儲(chǔ)活動(dòng)的起點(diǎn)和終點(diǎn)

4.Begin

5.start=[]，end=[] //初始化起始和結(jié)束

6.ifa[0]==1如果第一個(gè)采樣點(diǎn)狀態(tài)為1

then

start=[0] //把第一個(gè)坐標(biāo)點(diǎn)作為活動(dòng)的開始end if

7.if a[?1]==1 //如果最后一個(gè)采樣點(diǎn)狀態(tài)為1

Then

end=[len（a）?1] //把最后一個(gè)坐標(biāo)點(diǎn)作為活動(dòng)的結(jié)束

end if

8.diff=a[：?1]?a[1：] //對(duì)序列切片，得到兩個(gè)序列片段兩個(gè)片段相減得到一個(gè)差值區(qū)間

9.start=np.hstack（（start，np.where（diff==?1）[0]+1））

//當(dāng)差值=?1時(shí)，返回坐標(biāo)點(diǎn)的索引并加1，把坐標(biāo)點(diǎn)按水平方向堆疊，如[s1，s2，s3]表示活動(dòng)的起始點(diǎn)

10.end=np.hstack（（np.where（diff==1）[0]，end））

//當(dāng)差值=1時(shí)，返回坐標(biāo)點(diǎn)的索引把坐標(biāo)點(diǎn)按水平方向堆疊，如[e1，e2，e3]表示活動(dòng)的結(jié)束點(diǎn)

11.L[′label′]=label //把活動(dòng)類別添加到表格第1列

12.L[′begin′]=start.astype（′int′）//把起始區(qū)間添加到表格第2列

13.L[end′]=start.astype（′end′）//把結(jié)束區(qū)間添加到表格第3列

return L

end

學(xué)習(xí)注意力分布時(shí)，特征向量的初始長(zhǎng)度為64?，F(xiàn)在將活動(dòng)區(qū)間內(nèi)的數(shù)值增大32倍，映射到原始序列長(zhǎng)度為2 048時(shí)間幀的片段中，實(shí)現(xiàn)對(duì)于弱標(biāo)簽傳感器中活動(dòng)片段的定位。活動(dòng)片斷定位結(jié)果如圖3所示。

圖3 活動(dòng)片段的定位

3 實(shí)驗(yàn)結(jié)果與分析

首先在公開的人體活動(dòng)UCI數(shù)據(jù)集上，驗(yàn)證本文提出的模型能否實(shí)現(xiàn)強(qiáng)監(jiān)督模式下的人體活動(dòng)識(shí)別，然后驗(yàn)證模型在弱標(biāo)簽數(shù)據(jù)集上的性能。

3.1 數(shù)據(jù)集介紹

數(shù)據(jù)集介紹如表1所示。

表1 數(shù)據(jù)集統(tǒng)計(jì)

1）UCI HAR數(shù)據(jù)集[11]

實(shí)驗(yàn)數(shù)據(jù)來源于三星手機(jī)內(nèi)置的加速度、陀螺儀傳感器，通過設(shè)置傳感器的固定頻率，以捕獲人們運(yùn)動(dòng)時(shí)的信號(hào)數(shù)據(jù)。數(shù)據(jù)采集工作由30名不同年齡的用戶完成，他們?cè)谘吓宕髟O(shè)備執(zhí)行指定的活動(dòng)，例如站立、坐、躺、上樓梯，下樓梯等活動(dòng)。使用寬度為128的窗口和50%的覆蓋率對(duì)原始序列采樣得到10 411個(gè)樣本序列，本次實(shí)驗(yàn)只對(duì)3個(gè)靜態(tài)活動(dòng)和3個(gè)動(dòng)態(tài)活動(dòng)的加速度數(shù)據(jù)進(jìn)行分析。

2）弱標(biāo)簽傳感器數(shù)據(jù)集[12]

實(shí)驗(yàn)數(shù)據(jù)來自弱標(biāo)簽傳感器數(shù)據(jù)集，采集數(shù)據(jù)前把智能手機(jī)內(nèi)置加速度傳感器的采樣頻率設(shè)為50 Hz。采集過程中，10名志愿者把設(shè)備放在褲子口袋，分別收集四組數(shù)據(jù)。每組共完成五種活動(dòng)，包括走路，跑步，跳躍，上樓梯與下樓梯。其中，“走路”代表背景活動(dòng)，其余四種表示待識(shí)別和定位的活動(dòng)。樣本數(shù)據(jù)如圖4所示，數(shù)據(jù)集共28 797個(gè)樣本序列，70%作為訓(xùn)練集，30%作為測(cè)試集。為了測(cè)試模型的定位性能，對(duì)測(cè)試集中的數(shù)據(jù)樣本做精細(xì)標(biāo)注如圖4所示。

圖4 紅色虛線框內(nèi)表示的是標(biāo)簽“跑步”活動(dòng)，其余背景部分屬于“走路”活動(dòng)

3.2 性能評(píng)價(jià)指標(biāo)

因?yàn)槊織l樣本序列中活動(dòng)發(fā)生的次數(shù)以及持續(xù)間隔都是不固定的，所以本文用精確率（Precsion）和召回率（Recall）兩個(gè)指標(biāo)評(píng)價(jià)模型在弱標(biāo)簽數(shù)據(jù)集的定位性能。計(jì)算精確率和召回率需要活動(dòng)預(yù)測(cè)框與真實(shí)標(biāo)注框的重疊度大小。

計(jì)算公式如下：

式中：A表示活動(dòng)位置的人工標(biāo)注矩形框；B表示活動(dòng)位置的預(yù)測(cè)矩形框。當(dāng)序列中所有活動(dòng)片段的重疊度閾值大于0.4時(shí)，即認(rèn)為定位正確。precision表示預(yù)測(cè)結(jié)果中（預(yù)測(cè)活動(dòng)正確定位的樣本數(shù)）/（預(yù)測(cè)活動(dòng)正確定位的樣本數(shù)+預(yù)測(cè)活動(dòng)定位錯(cuò)誤的樣本數(shù)），如式（8）所示:

式中：TP為預(yù)測(cè)框和標(biāo)注框的重疊度>閾值；FP為預(yù)測(cè)框和標(biāo)注框的重疊度<閾值。recall表示預(yù)測(cè)活動(dòng)正確定位的樣本數(shù)÷活動(dòng)樣本總數(shù)，如式（9）所示：

式中FN表示活動(dòng)被漏檢。

3.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)在框架Tensorflow上運(yùn)行，在模型訓(xùn)練過程中，每次選擇64個(gè)樣本，并設(shè)置學(xué)習(xí)率為0.000 1，使用Adam方法優(yōu)化網(wǎng)絡(luò)。使用Dropout機(jī)制對(duì)其進(jìn)行正則化，防止網(wǎng)絡(luò)發(fā)生過擬合。當(dāng)?shù)螖?shù)Epoch=25時(shí)，訓(xùn)練結(jié)束。本文采用CNN結(jié)構(gòu)和Deepconvlstm結(jié)構(gòu)作為基準(zhǔn)模型作為對(duì)比，其中，CNN網(wǎng)絡(luò)由卷積層、池化層、全連接層和輸出層組成。Deepconvlstm使用文獻(xiàn)[13]中的默認(rèn)參數(shù)設(shè)置。

1）在HAR數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，如表2所示。

表2 在UCIHAR數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

由表2可以看出，三種模型都獲得超過92%的準(zhǔn)確率，表明本文提出的模型在強(qiáng)監(jiān)督人體運(yùn)動(dòng)模式下也可以較好的識(shí)別。但是，和基準(zhǔn)模型相比，本文模型并沒有占到太多的優(yōu)勢(shì)，原因可能是CNN網(wǎng)絡(luò)本身就有很強(qiáng)的特征提取能力，很難對(duì)其改進(jìn)。

2）在弱標(biāo)簽數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表3所示。

表3 在弱標(biāo)簽數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

由表3可以看出，本文提出的注意力模型在弱標(biāo)簽數(shù)據(jù)集上產(chǎn)生了明顯的性能提升，準(zhǔn)確率比CNN和DeepConvLSTM模型提高了3.64%和2.18%。雖然兩個(gè)基準(zhǔn)模型能夠自動(dòng)提取活動(dòng)的特征并進(jìn)行分類，但是它們無法檢測(cè)序列中的活動(dòng)片段。而本文提出的基于注意力機(jī)制的卷積網(wǎng)絡(luò)模型不僅在分類性能上有了提升，而且還能對(duì)序列中活動(dòng)的位置準(zhǔn)確定位，如圖5所示。

圖5 活動(dòng)多個(gè)片段的定位

4 結(jié) 語

針對(duì)強(qiáng)監(jiān)督模式下人體活動(dòng)識(shí)別需要大量精確標(biāo)注樣本的情況，本文提出一種基于可穿戴傳感器的弱監(jiān)督人體活動(dòng)識(shí)別與定位方法。實(shí)驗(yàn)結(jié)果表明，引入注意力機(jī)制后，模型會(huì)選擇感興趣的區(qū)域，忽略無關(guān)的背景信息，從而提高了網(wǎng)絡(luò)的定位精度。與基線模型相比，本文提出的模型更適合處理弱標(biāo)簽數(shù)據(jù)，既能夠?qū)θ鯓?biāo)簽傳感器數(shù)據(jù)中的活動(dòng)進(jìn)行準(zhǔn)確識(shí)別，又能夠定位活動(dòng)的具體時(shí)間位置。在未來的工作中，將收集更多具有多樣性的人體活動(dòng)數(shù)據(jù)集，改進(jìn)模型以實(shí)現(xiàn)對(duì)弱標(biāo)簽傳感器數(shù)據(jù)中多種標(biāo)簽活動(dòng)的識(shí)別和定位。