基于改進(jìn)機(jī)器學(xué)習(xí)的人體行為識別方法研究

陶加貴，胡勝男，戴建卓，張思聰

（1.國網(wǎng)江蘇省電力有限公司電力科學(xué)研究院，江蘇 南京 211103；2.國網(wǎng)電力科學(xué)研究院武漢南瑞有限責(zé)任公司，湖北 武漢 430074）

人體行為識別（human activity recognition，HAR）是智能化研究中的一個重要方向，具有廣泛的應(yīng)用前景，在智能家居、智慧醫(yī)療、老人病人監(jiān)護(hù)等方面發(fā)揮著極其重要的作用[1]。由于認(rèn)知缺陷和身體受損，依賴人群和老年人在日常生活活動中極易發(fā)生意外，應(yīng)用人體行為識別系統(tǒng)，對突發(fā)情況進(jìn)行及時檢測并自動發(fā)送警報[2-3]，可以在很大程度上解決依賴人群和老年人的活動監(jiān)護(hù)問題。

基于傳感器的人體行為識別已成為近年來人工智能領(lǐng)域的研究熱點[4]，通過機(jī)器學(xué)習(xí)等方法將傳感器收集的傳感數(shù)據(jù)有效地映射到人類的行為活動中。傳統(tǒng)的機(jī)器學(xué)習(xí)實現(xiàn)行為識別遵循自上而下的方法，包括數(shù)據(jù)收集、信號預(yù)處理和分割、手工構(gòu)建特征和選擇及分類[5]。然而，在不同的領(lǐng)域中評判人工提取特征的有效性是非常困難的，并且還需要進(jìn)行耗時的特征選擇和一定的降維方法以減少計算復(fù)雜度[6-8]。同時特征選擇的不恰當(dāng)使用易導(dǎo)致模型缺乏概括性或建模復(fù)雜活動細(xì)節(jié)的能力，這會影響識別精度。

在人類活動識別框架的所有不同階段中，特征提取是最重要的階段[9]，關(guān)于如何通過提取專家驅(qū)動的特征來改進(jìn)人類活動識別系統(tǒng)，已經(jīng)做了大量的工作。HASSAN MM等人[10]依據(jù)統(tǒng)計特性從原始數(shù)據(jù)中提取高效特征，然后采用核主成分分析（kernel principal component analysis，KPCA）進(jìn)行降維，最后使用深度信任網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得了較高的識別效率；MA Congcong 等人[11]采用自適應(yīng)的滑動窗口對時序動作數(shù)據(jù)進(jìn)行分段并提取相關(guān)特征，將特征規(guī)范化后進(jìn)行特征選擇，利用多元高斯分布實現(xiàn)了不同坐姿狀態(tài)的識別；張俐等人[12]依據(jù)經(jīng)驗提取行為特征后，基于互信息理論設(shè)計了一種前向搜索的非線性特征選擇算法，尋找與多分類標(biāo)簽相關(guān)的最優(yōu)子集，并降低計算復(fù)雜度；王瑞杰等人[13]在特征選擇的過程引入冗余性分析，將冗余特征剔除，以提高分類準(zhǔn)確率和降低計算復(fù)雜度。伴隨著傳感器技術(shù)的高速發(fā)展，行為識別領(lǐng)域可獲取的傳感器數(shù)據(jù)越來越多[14]，面對多維度、大體量的行為信號數(shù)據(jù)，依賴專家經(jīng)驗和信號處理技術(shù)的傳統(tǒng)行為識別方法已經(jīng)無法滿足更高精度的行為分析需求，因此，迫切需要研究一種新的方法以減少復(fù)雜的預(yù)處理和特征選擇的干預(yù)。

而近年來，多層次結(jié)構(gòu)和再學(xué)習(xí)訓(xùn)練的特點使得深度學(xué)習(xí)具有更大的優(yōu)勢，可以彌補(bǔ)傳統(tǒng)行為識別方法的人工提取特征的不足并避免特征選擇的干預(yù)[15]。結(jié)合深度置信網(wǎng)絡(luò)（deep belief network，DBN）在提取特征和處理高維、非線性數(shù)據(jù)等方面的優(yōu)勢，文中提出一種基于深度置信網(wǎng)絡(luò)-支持向量機(jī)（deep belief network-support vector machine，DBN-SVM）的行為識別模型，以行為數(shù)據(jù)預(yù)處理獲取的時頻域信號作為DBN-SVM 的模型輸入，以供DBN 實現(xiàn)高層次的特征提取、獲取更具辨別力的行為特征向量；之后輸入SVM 進(jìn)行行為分類識別，通過對DBN-SVM 模型的網(wǎng)絡(luò)層數(shù)等參數(shù)設(shè)置進(jìn)行實驗分析，確定了模型參數(shù)；最后以不同數(shù)據(jù)集和分類器進(jìn)行行為識別分類，驗證了提出方法的有效性。

1 原始數(shù)據(jù)預(yù)處理

1.1 濾波降噪

從傳感器中采集的原始行為數(shù)據(jù)不可避免地帶有大量的噪聲信息。這是因為在采集數(shù)據(jù)時，用戶身上發(fā)生的抖動、與衣服之間的摩擦以及其他因素，這些因素會使得原始數(shù)據(jù)中含有大量的噪聲，影響人體行為識別效果[16]。文中選擇中值濾波器和低通巴特沃斯濾波器過濾掉原始數(shù)據(jù)中的噪聲。圖1 為濾波之前的行為數(shù)據(jù)信號，圖2 為濾波之后的行為數(shù)據(jù)信號。從圖中可以看出，使用濾波器過濾后的傳感器數(shù)據(jù)會更加地平滑，更容易識別波形的周期性。

圖1 濾波之前的行為信號波形Fig.1 Behavior signal waveform before filtering

圖2 濾波之后的行為信號波形Fig.2 Behavior signal waveform after filtering

1.2 時頻域變換

行為數(shù)據(jù)信號在采集的過程中會受到重力的作用，使得加速度計采集的各個軸的加速度除了包含運動產(chǎn)生的線性加速度之外，還包含了重力加速度分量，需要利用濾波器分離信號。

低通濾波器是一種允許低于截止頻率的數(shù)據(jù)通過的濾波器，可以篩選出頻率高于截止頻率的數(shù)據(jù)[17]。由于高頻數(shù)據(jù)變化快，低頻數(shù)據(jù)變化慢，可知重力加速度是一種低頻數(shù)據(jù)，運動加速度是一種高頻數(shù)據(jù)。因此可以使用低通濾波器將加速度計傳感器的加速度分離成重力加速度和線性加速度[10]。在此基礎(chǔ)上，通過歐幾里得范數(shù)的計算和快速傅里葉變換獲取時頻域信號。時域信號包括：身體加速度、重力加速度等；頻域信號包括身體線性加速度、身體角速度等。具體信號如表1所示。

表1 時域頻域信號Tab.1 Time domain-frequency domain signals

表1 中，前置字母t，f 分別表示時域、頻域信號，BodyAcc 表示身體加速度，GravityAcc 表示重力加速度，BodyAccJerk 表示身體加加速度，Body-AngularSpeed 表示身體角速度，BodyAngularAcc表示身體角加速度，BodyAccMag表示身體加速度大小，GravityAccMag 表示重力加速度大小，Body-AngularSpeedMag 表示身體角加速度大小，Body-AccJerkMag 表示身體加加速度大小，BodyAngularAccMag表示角加速度大小。

1.3 窗口分割

從傳感器中采集的數(shù)據(jù)一般比較長，而且每次采集的數(shù)據(jù)長度不一定相同。如果不將其切分成較短的數(shù)據(jù)段就提取特征，這樣提取的特征通常不能很好地表示出數(shù)據(jù)的真實特性，對整個人體行為識別產(chǎn)生影響，導(dǎo)致識別不準(zhǔn)確。因此，在對采集的數(shù)據(jù)進(jìn)行去除噪聲之后，還需要使用滑動窗口對信號進(jìn)行采樣，以方便后面進(jìn)行特征提取和分類識別。

滑動窗口分割技術(shù)是指使用一個固定長度的窗口沿著時間序列向前移動，每移動一次就提取其窗口內(nèi)的數(shù)據(jù)作為一個數(shù)據(jù)段，每個窗口之間存在一定的重疊率（使窗口中可以包含更多信息），窗口滑動至?xí)r序數(shù)據(jù)尾部，可得到一組連續(xù)的樣本集用于活動分類[18]。圖3 為包含3 個活動數(shù)據(jù)的滑動窗口分割技術(shù)時間序列示意圖。

圖3 滑動窗口分割技術(shù)時間序列示意圖Fig.3 Schematic of sliding window segmentation technique time series

圖3 中，A1，A2，A3表示3 個持續(xù)時間不同的動作，W1，W2，W3，W4表示相同大小的滑動窗口。本文依據(jù)經(jīng)驗將滑動窗口大小設(shè)置為2.56 s，并以50%的重疊率進(jìn)行數(shù)據(jù)分段。2.56 s 的窗口大小可以滿足絕大多數(shù)動作所需的時間，同時50%的重疊率可以保證當(dāng)前動作信息的完整度。

2 基于DBN-SVM的行為識別模型

2.1 DBN模型

DBN 由若干層受限玻爾茲曼機(jī)器（restricted Boltzmann machine，RBM）堆疊組成，是一種廣泛應(yīng)用的深度學(xué)習(xí)模型，主要包括預(yù)訓(xùn)練和反向調(diào)參兩部分[19]。DBN 可以將原始數(shù)據(jù)中的深層特征以非線性變換的形式自動提取，首先以無監(jiān)督的方式逐層訓(xùn)練DBN 模型提取高層特征，然后采取反向微調(diào)算法實現(xiàn)模型的有監(jiān)督訓(xùn)練，最后采用訓(xùn)練好的模型對行為測試集進(jìn)行分類，并記錄每個隱含層的輸出向量。相比于傳統(tǒng)的顯層分類器如多層前饋神經(jīng)網(wǎng)絡(luò)（back propagation，BP）、人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）等神經(jīng)網(wǎng)絡(luò)，DBN 可以更好地避免過擬合。DBN 的結(jié)構(gòu)如圖4所示。

圖4 DBN結(jié)構(gòu)圖Fig.4 Structure diagram of DBN

DBN 由多個RBM 堆疊而成，RBM 的結(jié)構(gòu)如圖5所示。可視單元v和隱藏單元h被連接成DBN 的基礎(chǔ)單元。連接可見單位和隱藏單位之間神經(jīng)元的權(quán)重是相互獨立的，沒有可見或隱藏的連接，但是相鄰層之間是互相聯(lián)通的。

圖5 RBM的結(jié)構(gòu)Fig.5 Structure of RBM

如圖5所示，RBM 單元中包含了m個可見單元和n個隱藏單元，a，b分別為單元偏置，w為相鄰層之間的連接權(quán)重。

聯(lián)合結(jié)構(gòu)網(wǎng)絡(luò)的層間單元節(jié)點具有的能量如下式：

式中：wij為第i個節(jié)點vi與第j個節(jié)點hj之間的權(quán)重值。

RBM 中可見層與隱含層之間的聯(lián)合概率分布可由網(wǎng)絡(luò)的節(jié)點能量表示，即

則可見層與隱藏層的邊緣概率分布為

其中

式中：f(x)為激活函數(shù)。

RBM 通過對比散度算法更新概率分布和能量值以獲取DBN 的網(wǎng)絡(luò)參數(shù)θ={w,a,b}，分別表示為

式中：k為迭代次數(shù)；η為學(xué)習(xí)率。

利用DBN提取行為高層特征的過程如圖6所示。它通過一個非監(jiān)督貪婪逐層方法預(yù)訓(xùn)練獲得權(quán)重，將可視層輸入的行為樣本映射到高層。

圖6 DBN提取特征過程Fig.6 Feature extraction process of DBN

經(jīng)過DBN 網(wǎng)絡(luò)映射后提取的高層特征y表示如下：

式中：v為可視層輸入特征；θDBN為模型的網(wǎng)絡(luò)參數(shù)。

2.2 模型構(gòu)建

深層信念網(wǎng)絡(luò)在底層有定向連接，在頂層有無定向連接，這有助于模擬向量空間和隱藏層之間觀察到的分布以學(xué)習(xí)對變換、噪聲和位移不變的穩(wěn)健特征。但DBN 的輸出不穩(wěn)定，具有一定的隨機(jī)性[20]。

因此，為了減少DBN 模型輸出的隨機(jī)性，文中利用DBN 模型輸出高維度特征矩陣，通過在DBN 的輸出層接入多個SVM 分類器進(jìn)行行為識別，可以有效提升模型的泛化能力和可靠性?；贒BN-SVM的人體行為識別流程如圖7所示。

圖7 基于DBN-SVM行為識別流程Fig.7 Behavior recognition process based on DBN-SVM

利用DBN-SVM 模型提取行為的高層特征主要包括以下4個步驟：

1）利用智能手機(jī)傳感器獲得人體不同的行為信號；

2）對原始行為信號進(jìn)行降噪處理并分段，標(biāo)準(zhǔn)化后將行為數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

3）建立DBN-SVM 模型并根據(jù)行為樣本維數(shù)確定模型輸入層節(jié)點，使用訓(xùn)練數(shù)據(jù)集對DBN 模型進(jìn)行逐層訓(xùn)練，對模型權(quán)重進(jìn)行權(quán)重和閾值的反向微調(diào)，最后提取出行為的高層特征；

4）將提取的高層行為特征輸入到SVM 分類器，獲得行為識別準(zhǔn)確率。

利用DBN-SVM 模型提取高層特征的過程如下：①采集多種行為信號；②對行為信號進(jìn)行預(yù)處理去除噪聲并分段；③劃分行為數(shù)據(jù)集為訓(xùn)練集和測試集；④初始化DBN 相關(guān)參數(shù)；⑤訓(xùn)練集訓(xùn)練DBN；⑥測試集輸入已訓(xùn)練的DBN 模型，隱含層輸出向量，獲取行為特征向量集。

3 實驗分析

3.1 實驗環(huán)境配置

實驗以PyCharm Edition 2019為開發(fā)環(huán)境，操作環(huán)境為內(nèi)存4 GB 的Windows 10 系統(tǒng)，CPU 配置為Intel?Core?i5-2400 CPU@3.10 GHz。

3.2 實驗數(shù)據(jù)集

本文采用公開的基于智能手機(jī)的人體行為識別數(shù)據(jù)集——UCI 數(shù)據(jù)集[18]進(jìn)行實驗。UCI 數(shù)據(jù)集共10 929 條數(shù)據(jù)，由30 名年齡為19～48 歲的志愿者采集，通過將智能手機(jī)放置于志愿者的腰部獲取加速度計和陀螺儀相關(guān)數(shù)據(jù)，采集頻率為50 Hz，共采集6 種活動，包括：步行、步行-上樓、步行-下樓、坐立、站立、躺著。數(shù)據(jù)集按照70%和30%的比例隨機(jī)被分為7 767 個訓(xùn)練集和3 162 個測試集。訓(xùn)練集和測試集中的每條原始行為數(shù)據(jù)通過濾波器降噪并將原始行為信號分離為17 個時頻域信號，之后以2.56 s 的固定滑動窗口將數(shù)據(jù)分割為連續(xù)的小片段構(gòu)成數(shù)據(jù)集，直接輸入到DBN-SVM 模型中提取行為高層特征實現(xiàn)活動識別。

3.3 評價指標(biāo)

實驗中采用以準(zhǔn)確率、精確率、召回率和f1分?jǐn)?shù)作為模型的評價指標(biāo)。由于不同行為的樣本數(shù)量分布不均，綜合四個指標(biāo)測評模型的效率，可以實現(xiàn)模型對負(fù)樣本的高區(qū)分能力、對正確樣本的識別能力和穩(wěn)健性[21]。

準(zhǔn)確率（acc）可以最直觀地展示分類結(jié)果，表示預(yù)測樣本為正確分類的結(jié)果占總樣本數(shù)量的比例。但是當(dāng)每個樣本占總樣本的比例非常不平衡時，占比高的類別對最終的準(zhǔn)確率影響很大，這是單獨使用準(zhǔn)確率無法避免的缺陷，計算公式如下式：

式中：ncorrect為正確分類的樣本個數(shù)；ntotal為總樣本個數(shù)；TP為實際為正被預(yù)測為正的樣本數(shù)量；FN為實際為正但被預(yù)測為負(fù)的樣本的數(shù)量；FP為實際為負(fù)但被預(yù)測為正的樣本數(shù)量；TN為實際為負(fù)被預(yù)測為負(fù)的樣本的數(shù)量。

精確率（pre）指模型預(yù)測為正的樣本在實際中也正的樣本占被預(yù)測為正的樣本的比例。精確率可以實現(xiàn)分類器不將負(fù)樣本錯誤標(biāo)記為正樣本，計算方法如下式所示：

召回率（recall）指實際為正的樣本中被預(yù)測為正的樣本所占實際為正的樣本的比例，召回率可以表示分類器找到所有正樣本的能力，計算方法如下式所示：

f1分?jǐn)?shù)（f1-score）為精確率和召回率的調(diào)和平均值，計算方法如下式所示：

3.4 模型參數(shù)設(shè)置

DBN 的網(wǎng)絡(luò)層數(shù)、神經(jīng)單元個數(shù)、學(xué)習(xí)率、迭代次數(shù)等參數(shù)設(shè)置對最后的識別精度都會產(chǎn)生影響。本實驗將研究不同的參數(shù)設(shè)置對行為識別的影響。RBM 學(xué)習(xí)速率為0.1，迭代次數(shù)設(shè)置為60次。首先研究不同網(wǎng)絡(luò)層數(shù)的影響，將每層網(wǎng)絡(luò)的隱藏層與輸出層單元個數(shù)設(shè)置為100，提取高層特征后使用SVM 進(jìn)行行為識別。圖8 為1～10 層網(wǎng)絡(luò)進(jìn)行行為識別的準(zhǔn)確率，從圖中可以看出，當(dāng)網(wǎng)絡(luò)層數(shù)為4時，行為識別取得了較高的準(zhǔn)確率。因此，DBN-SVM 的模型參數(shù)設(shè)置如下：輸入層節(jié)點個數(shù)100，隱藏層1 節(jié)點個數(shù)60，隱藏層2 節(jié)點個數(shù)20，輸出層節(jié)點數(shù)6，網(wǎng)絡(luò)層數(shù)4，學(xué)習(xí)率0.1，迭代次數(shù)60。

圖8 不同網(wǎng)絡(luò)層數(shù)的行為識別準(zhǔn)確率Fig.8 Behavior recognition accuracy of different network layers

3.5 實驗分析

分析提出的DBN-SVM 模型對6 種行為動作的識別情況，實驗結(jié)果如圖9所示。

圖9 DBN-SVM模型行為識別率Fig.9 Behavior recognition rate of DBN-SVM model

實驗結(jié)果表明，提出的識別算法對步行、步行-上樓、步行-下樓、坐立、站立、躺著6種動作的識別率分別為96.33%，93.12%，92.67%，97.43%，95.19%，96.40%，對坐立的識別率最高，對步行-下樓的識別率最低，對6 種活動的平均識別率達(dá)到了95.19%。

傳統(tǒng)的基于加速度和角速度的行為識別方式是提取行為信號的時域和頻域信號，之后在滑動窗口內(nèi)提取統(tǒng)計特征，包括均值、最大值、最小值、軸相關(guān)性等，然后將獲取的特征矢量集輸入分類器中進(jìn)行分類識別，常用的分類器包括SVM，BP 神經(jīng)網(wǎng)絡(luò)及ANN 等。本次實驗將提出的DBN-SVM 模型與傳統(tǒng)的分類方法（DBN，ANN，SVM和BP）進(jìn)行對比，其中ANN，SVM和BP輸入的特征矢量是與DBN-SVM 模型相同，是經(jīng)過簡單預(yù)處理之后的時頻域信號。4種方法對各活動的識別率如圖10所示。

圖10 各模型對各活動的行為識別率Fig.10 The behavior recognition rate of each model for each activity

由實驗結(jié)果可以發(fā)現(xiàn)，各模型對6 種活動的識別存在以下特點：由于不同活動之間存在相似性，步行與步行-上樓、步行-下樓容易發(fā)生誤判，站立、坐立和躺著3種行為容易識別錯誤，但本文提出的方法活動誤判的概率非常低，且該模型對6 種行為動作的平均識別率達(dá)到了95.19%，高于DBN（2.45%），ANN（13.02%），SVM（23.79%），BP（14.71%），因此得出本文提出的行為識別方法具有較高的識別率。

將各模型應(yīng)用于WIDSM[22]行為數(shù)據(jù)集中，行為識別的結(jié)果如表2所示。

表2 各模型在WIDSM數(shù)據(jù)集行為識別結(jié)果Tab.2 Behavior recognition results of each model in WIDSM data set

表2 中，準(zhǔn)確率、精確率、召回率、f1分?jǐn)?shù)4 個常用指標(biāo)的實驗結(jié)果表明，文中提出的DBNSVM 對6 種行為的識別率較高且較均衡，其次是DBN 模型，因為DBN-SVM 提取了行為的高層特征，特征間關(guān)聯(lián)性強(qiáng)且極具辨別力，因此分類識別效果更好。DBN-SVM 模型相較于DBN，SVM，ANN，BP，平均識別率分別提高了4.84%，15.92%，12.13%，14.92%。

4 結(jié)論

文中在分析深度置信網(wǎng)絡(luò)的原理和傳統(tǒng)機(jī)器學(xué)習(xí)方法的缺陷的基礎(chǔ)上，結(jié)合集成學(xué)習(xí)提出了一種基于DBN-SVM 模型的行為識別方法。該方法通過DBN 提取行為數(shù)據(jù)時頻域信號的高層特征，在實驗中不斷調(diào)整設(shè)置模型參數(shù)，之后應(yīng)用于SVM 并取得了較好的行為識別結(jié)果。相比于以手工制作方法提取特征有傳統(tǒng)方法，DBNSVM 模型不需要在滑動窗口內(nèi)依據(jù)專家經(jīng)驗提取統(tǒng)計特征，利用DBN 模型直接獲取高層特征，無需進(jìn)行特征選擇，減少了行為識別過程中的計算量。將該方法應(yīng)用于現(xiàn)有的UCI 數(shù)據(jù)集中，取得了較好的識別效果。同時，與現(xiàn)有的行為識別方法相比，本方法仍具有較好的識別性能。實驗結(jié)果表明，本方法可以實現(xiàn)較高準(zhǔn)確率的人體行為識別，具有一定的研究意義。

在人體日?；顒又?，由于加速度、角速度等十分相似，某些活動極易被分到與其相似的活動中，使得行為識別的精確率無法達(dá)到最優(yōu)，未來將著力研究相似活動混淆分類的問題，以提升活動識別精度。