加速度數(shù)據(jù)特征在人體行為識(shí)別中的應(yīng)用研究

盧先領(lǐng)，王洪斌，王瑩瑩，徐 仙

(江南大學(xué) a. 輕工過程先進(jìn)控制國(guó)家教育部重點(diǎn)實(shí)驗(yàn)室；b. 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 2141 22)

加速度數(shù)據(jù)特征在人體行為識(shí)別中的應(yīng)用研究

盧先領(lǐng)a,b，王洪斌a,b，王瑩瑩b，徐 仙b

(江南大學(xué) a. 輕工過程先進(jìn)控制國(guó)家教育部重點(diǎn)實(shí)驗(yàn)室；b. 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 2141 22)

為提高基于加速度傳感器的人體行為識(shí)別率，提出2種新的加速度數(shù)據(jù)特征。一種通過計(jì)算加速度矢量與重力方向夾角的小波能量來揭示加速度方向變化的本質(zhì)，從時(shí)頻分析的角度區(qū)分不同行為；另一種提取加速度數(shù)據(jù)重排后的關(guān)鍵點(diǎn)連線斜率，突出數(shù)據(jù)的差異和分布特點(diǎn)。將上述2種特征與常用的6種特征相結(jié)合，訓(xùn)練基于支持向量機(jī)的多類分類器，對(duì)7種日常行為進(jìn)行識(shí)別。檢測(cè)結(jié)果表明，獨(dú)立檢測(cè)法和留一交叉檢測(cè)法對(duì)7種行為的平均識(shí)別率分別可達(dá)92.70%和95.08%。

加速度傳感器；人體行為；數(shù)據(jù)特征；小波能量；斜率；支持向量機(jī)

1 概述

隨著普適計(jì)算的深入研究，高正確率的人體行為識(shí)別作為普適計(jì)算的研究重點(diǎn)已經(jīng)得到越來越多人的重視。而微機(jī)電系統(tǒng)的迅速發(fā)展，使各種類型的傳感器用于人體行為識(shí)別成為可能[1]。在眾多類型的傳感器中，加速度傳感器不僅具有高精度、低成本、便于攜帶等優(yōu)點(diǎn)，而且彌補(bǔ)了基于計(jì)算機(jī)視覺方法[2-3]的監(jiān)控范圍局限、受環(huán)境變量影響較大等缺陷，應(yīng)用范圍越來越廣。

近年來，不少研究人員采用單個(gè)加速度傳感器識(shí)別人體行為取得了較好的成果。但對(duì)上樓和下樓的區(qū)分并不理想，文獻(xiàn)[4]采用KNN作為分類器時(shí)，上樓和下樓的識(shí)別率為69.57%和47.83%，采用J48作為分類器時(shí)，兩者的識(shí)別率僅為52.63%和36.84%。在文獻(xiàn)[5]中，19個(gè)下樓行為全部識(shí)別錯(cuò)誤，21個(gè)上樓行為僅有9個(gè)識(shí)別正確，作者也明確表示上、下樓的識(shí)別難度較大。文獻(xiàn)[6]針對(duì)這一問題采用小波能量和四分位間距獲得了比較理想的結(jié)果，但并沒有加入其他行為進(jìn)行研究。提取加速度數(shù)據(jù)特征是行為識(shí)別的重點(diǎn)，常用特征有均值[7-8]、方差或標(biāo)準(zhǔn)差[7-8]、傳感器任意兩軸數(shù)據(jù)的相關(guān)系數(shù)[8]、快速傅里葉變換(Fast F ourier Transform, F FT)系數(shù)[8]和基于功率譜密度(Power S pectral Density, PSD)振幅的均值和標(biāo)準(zhǔn)差等[9]。此外，不少研究采用新穎的特征來提高識(shí)別率，文獻(xiàn)[10]提出一種基于AR模型的特征，對(duì)4種行為的平均識(shí)別率可達(dá)92.25%，文獻(xiàn)[11]提出一種失重特征，進(jìn)一步提高了上述4種行為的識(shí)別率。但是這2種方法的識(shí)別行為較少，應(yīng)用范圍受到局限。

本文在常用的6種時(shí)頻特征的基礎(chǔ)上添加了2種新穎特征，對(duì)7種日常行為進(jìn)行識(shí)別。

2 特征提取和分類器構(gòu)建

2.1 加速度數(shù)據(jù)采集和加窗處理

本文以Freescale公司生產(chǎn)的MMA7361L三軸加速度傳感器為核心進(jìn)行數(shù)據(jù)采集，采樣頻率設(shè)定為100 H z，靈敏度設(shè)置為–6.0 g～+6.0 g。傳感器的Y軸豎直向下，X軸和Z軸分別指向人體側(cè)方和前方，傳感器模塊放置于人體腰腹位置，如圖1所示。為了滿足系統(tǒng)實(shí)時(shí)性的要求，對(duì)傳感器每一軸數(shù)據(jù)進(jìn)行加窗處理，本文選用的窗長(zhǎng)為512，相鄰窗有256個(gè)數(shù)據(jù)重復(fù)，這種50%的重疊率被廣泛應(yīng)用，因此，采集一個(gè)窗口數(shù)據(jù)所需時(shí)間為5.12 s。

圖1 加速度數(shù)據(jù)采集模塊放置位置示意圖

2.2 特征提取

2.2.1 基于角度的小波能量提取

人在運(yùn)動(dòng)過程中，傳感器三軸的測(cè)量值包含了重力加速度，去除重力加速度后的真實(shí)值不僅體現(xiàn)了加速度的大小，還提供了加速度的方向信息。由于重力方向不變，加速度矢量的真實(shí)值與重力方向夾角的小波能量(Wavelet Energy, W E)(簡(jiǎn)稱基于角度的小波能量)可以揭示出運(yùn)動(dòng)過程中加速度方向變化的本質(zhì)，對(duì)包含上、下樓在內(nèi)的多種行為有較強(qiáng)的區(qū)分能力。

根據(jù)圖1所示的傳感器三軸位置關(guān)系，人在靜止站立時(shí)，傳感器只受重力影響，計(jì)算此時(shí)X, Y和Z軸輸出數(shù)據(jù)的平均值Xo,Yo和Zo，即可得到重力加速度，矢量表示為G=(Xo,Yo, Zo)。設(shè)Xi, Yi和Zi分別為傳感器三軸第i個(gè)采樣數(shù)據(jù)，則Mi=(Xi, Yi, Zi)表示傳感器的第i個(gè)測(cè)量值，故加速度矢量第i個(gè)真實(shí)值可估算為Mi-G。根據(jù)矢量運(yùn)算法則，采集第i個(gè)數(shù)據(jù)時(shí)的真實(shí)值和重力方向之間的夾角估算為(t為極小的正實(shí)數(shù)，以保證分母不為0)：

小波能量等于信號(hào)經(jīng)過小波分解后細(xì)節(jié)分量系數(shù)的平方和[6]，設(shè)l?為第l個(gè)窗內(nèi)iθ的集合，選擇db5小波作為母小波，對(duì)l?進(jìn)行8層分解，提取第7層和第8層細(xì)節(jié)分量系數(shù)，計(jì)算小波能量。

其中，cd?lk表示對(duì)l?進(jìn)行小波分解后第k層細(xì)節(jié)分量系數(shù)；WEl為第l個(gè)窗基于角度的小波能量值。

選擇4個(gè)實(shí)驗(yàn)者上、下樓時(shí)的7個(gè)連續(xù)窗數(shù)據(jù)，計(jì)算基于角度的小波能量，結(jié)果如圖2所示。由于上、下樓時(shí)加速度矢量與重力方向夾角的變化頻率存在差異，基于角度的小波能量區(qū)別明顯。此外，通過實(shí)驗(yàn)發(fā)現(xiàn)，基于角度的小波能量對(duì)上樓和行走、下樓和行走、上樓和騎腳踏車都有不同程度的區(qū)分能力，但是并不適用于行走和跑步以及下樓和騎腳踏車的區(qū)分。

圖2 上下樓基于角度的小波能量值

在圖3(a)和圖3(b)中，行走和跑步以及下樓和騎腳踏車基于角度的小波能量出現(xiàn)了混淆，僅采用這一特征并不能對(duì)上述4種行為進(jìn)行區(qū)分。

隨著信息技術(shù)的不斷發(fā)展與升級(jí)，“微媒體”得到迅速發(fā)展，媒體傳播已經(jīng)告別了傳統(tǒng)的傳播方式，進(jìn)入了全新的“微時(shí)代”。而且“微媒體”具有著這個(gè)時(shí)代得天獨(dú)厚的優(yōu)勢(shì)，它的信息具有開放性、資源也具有高度的共享性、信息傳播的途徑更為廣泛而且沒有門檻限制。因?yàn)樗?dú)有的多元化、高效率、低門檻、靈活性受到廣大群眾的青睞。而作為當(dāng)代的大學(xué)生，可以通過“微媒體”來填補(bǔ)自己精神層面的缺失，也可以利用它獨(dú)特優(yōu)勢(shì)來宣傳積極正能量的事情，通過這樣的方式來不斷培養(yǎng)自己的精神文明。

圖3 不同行為之間的混淆

2.2.2 關(guān)鍵點(diǎn)連線斜率的提取

將豎直方向的加速度數(shù)據(jù)按照從小到大的順序重新排列后，計(jì)算某些點(diǎn)的連線斜率(簡(jiǎn)稱關(guān)鍵點(diǎn)連線斜率)不僅可以排除異常值和極值的影響，突出數(shù)據(jù)分布特點(diǎn)，還能體現(xiàn)出人體運(yùn)動(dòng)的劇烈程度，解決行走和跑步以及下樓和騎腳踏車混淆的問題。

表1 5組連線斜率及混淆行為的差異值

在表1中，為了使混淆行為之間的差異最大化，應(yīng)選擇差異值較大時(shí)的數(shù)據(jù)點(diǎn)作為關(guān)鍵點(diǎn)，計(jì)算K值。drun-walk的最大值出現(xiàn)在第3組數(shù)據(jù)中，而ddownstairs-cycle的最大值出現(xiàn)在第1組數(shù)據(jù)中，但是兩者的第二大值同時(shí)出現(xiàn)在第2組數(shù)據(jù)中。為了保證較大的區(qū)分度和算法的統(tǒng)一性，選擇第2組中的m, n作為關(guān)鍵點(diǎn)位置，即數(shù)據(jù)重排后一個(gè)窗內(nèi)的第50個(gè)和第462個(gè)數(shù)據(jù)點(diǎn)作為關(guān)鍵點(diǎn)。計(jì)算4種行為連續(xù)7個(gè)窗的關(guān)鍵點(diǎn)連線斜率，經(jīng)規(guī)范化后，如圖4所示。

圖4 4種行為的關(guān)鍵點(diǎn)連線斜率

在圖4(a)中，由于跑步和行走的運(yùn)動(dòng)劇烈程度不同，兩者的關(guān)鍵點(diǎn)連線斜率區(qū)別明顯。在圖4(b)中，雖然兩者數(shù)值接近，但下樓的關(guān)鍵點(diǎn)連線斜率大于騎腳踏車，兩者不再混淆。

2.2.3 6種常用時(shí)頻特征

為了進(jìn)一步提高識(shí)別率，除了基于角度的小波能量和關(guān)鍵點(diǎn)連線斜率外，還對(duì)每個(gè)窗口數(shù)據(jù)提取了均值、標(biāo)準(zhǔn)差、傳感器任意兩軸數(shù)據(jù)的相關(guān)系數(shù)、FFT前32維系數(shù)、基于PSD振幅的均值和標(biāo)準(zhǔn)差6種特征。其中，時(shí)域特征包括均值、標(biāo)準(zhǔn)差、任意兩軸數(shù)據(jù)的相關(guān)系數(shù)；頻域特征有FFT前32維系數(shù)、基于PSD振幅的均值和標(biāo)準(zhǔn)差。FFT的第1維系數(shù)是信號(hào)的直流分量，與均值重復(fù)，實(shí)際僅提取剩下的31維FFT系數(shù)。

2.3 基于SVM的多類分類器

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

本文在Matlab環(huán)境下對(duì)數(shù)據(jù)進(jìn)行仿真處理。選擇10個(gè)實(shí)驗(yàn)者(5名男性，5名女性)佩戴加速度數(shù)據(jù)采集模塊并按照各自的習(xí)慣完成7種日常行為(上樓、下樓、站立、行走、躺臥、騎腳踏車和跑步)，每種行為的持續(xù)時(shí)間不少于3 min，選擇其中的2 min數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。傳感器的采樣頻率為100 H z，每一軸可采集12 00 0個(gè)數(shù)據(jù)，共有45個(gè)窗，計(jì)算每一個(gè)窗的多種特征構(gòu)成實(shí)驗(yàn)樣本，則每種行為有450個(gè)樣本。采用獨(dú)立檢測(cè)法時(shí)，隨機(jī)選擇其中315個(gè)作為訓(xùn)練樣本，剩下的135個(gè)作為測(cè)試樣本。采用留一交叉檢測(cè)法時(shí)，將所有實(shí)驗(yàn)樣本分成5個(gè)子集，輪流將每個(gè)子集作為測(cè)試樣本，剩下的4個(gè)作為訓(xùn)練樣本，則訓(xùn)練樣本和測(cè)試樣本分別包含360個(gè)和90個(gè)樣本。

3.2 檢測(cè)效果和分析

為了驗(yàn)證本文提出2種特征的有效性，將全部特征分成3組，第1組為2.2.3節(jié)中常用的6種特征集合；第2組包含第1組的所有特征并添加了基于角度的小波能量，共7種特征；第3組包含了第2組的所有特征并添加了關(guān)鍵點(diǎn)連線斜率，共8種特征，也是全部的特征集合。

利用上述3組特征集分別訓(xùn)練SVM，并對(duì)7種行為進(jìn)行識(shí)別，采用獨(dú)立檢測(cè)法和留一交叉檢測(cè)法的平均識(shí)別率如圖5和圖6所示。

圖5 獨(dú)立檢測(cè)的識(shí)別結(jié)果

圖6 留一交叉檢測(cè)的識(shí)別結(jié)果

在2種檢測(cè)方法中，加入基于角度的小波能量后，多種行為的識(shí)別率有不同程度的提高。從圖5(a)和圖6(a)中可知，上樓的識(shí)別率提高了14.81%和14.45%，在圖5(b)和圖6(b)中，下樓的識(shí)別率提高了30.37%和29.96%。加入關(guān)鍵點(diǎn)連線斜率后，突出了運(yùn)動(dòng)的劇烈程度和數(shù)據(jù)的分布特點(diǎn)，行走和跑步的識(shí)別率大幅增長(zhǎng)，下樓和騎腳踏車也得到了進(jìn)一步的區(qū)分。在最終結(jié)果中，與未添加2種特征相比，如圖5(b)和圖6(b)、圖5(d)和圖6(d)、圖5(f)和圖6(f)以及圖5(g)和圖6(g)所示，行走的識(shí)別率增長(zhǎng)了9.63%和12.22%，跑步的識(shí)別率增長(zhǎng)了20.74%和21.11%，下樓的識(shí)別率增長(zhǎng)了40%和43.3%，而騎腳踏車的識(shí)別率增長(zhǎng)了17.04%和18.89%，效果令人滿意。此外，在站立和躺臥2種靜止行為的識(shí)別中，由于加速度變化較小，識(shí)別難度低，如圖5(c)和圖5(e)、圖6(c)和圖6(e)所示，測(cè)試樣本全部識(shí)別正確。因此，基于角度的小波能量和關(guān)鍵點(diǎn)連線斜率可以有效提高多種人體行為的識(shí)別率。

3.3 識(shí)別結(jié)果

將基于角度的小波能量和關(guān)鍵點(diǎn)連線斜率與常用的6種特征結(jié)合，對(duì)7種人體行為進(jìn)行識(shí)別，采用2種檢測(cè)方法的混淆矩陣如圖7所示。矩陣中“/”前面和后面的數(shù)字分別表示采用獨(dú)立檢測(cè)和留一交叉檢測(cè)時(shí)被識(shí)別的測(cè)試樣本個(gè)數(shù)。

圖7 7種行為的混淆矩陣

在圖7中，上樓雖然有小部分與騎腳踏車和行走混淆，但是和下樓的區(qū)分明顯，兩者僅有個(gè)別測(cè)試樣本發(fā)生混淆。在下樓和騎腳踏車的識(shí)別方面，135個(gè)測(cè)試樣本分別僅有19個(gè)和16個(gè)出現(xiàn)混淆，而90個(gè)測(cè)試樣本也僅有12個(gè)和6個(gè)識(shí)別出錯(cuò)，正確率得到了改善。另外，在采用留一交叉檢測(cè)法識(shí)別行走時(shí)，90個(gè)測(cè)試樣本全部正確。除此之外，由于躺臥和站立2種靜止行為的識(shí)別難度較低，采用本文的8種特征，2種檢測(cè)結(jié)果均全部正確。最終識(shí)別結(jié)果顯示，采用2種檢測(cè)方法對(duì)7種行為的平均識(shí)別率分別可達(dá)92.70%和95.08%。

4 結(jié)束語(yǔ)

本文采用單個(gè)加速度傳感器識(shí)別人體行為，提出了2種新的加速度數(shù)據(jù)特征：基于角度的小波能量和關(guān)鍵點(diǎn)連線斜率，從時(shí)頻分析和數(shù)值差異角度區(qū)分不同行為。采用獨(dú)立檢測(cè)法和留一交叉檢測(cè)法的結(jié)果表明了添加2種特征的有效性，最終識(shí)別率高達(dá)90%以上。今后將進(jìn)一步研究?jī)?yōu)化特征集和構(gòu)建分類器的方法，提高行為識(shí)別的正確率。

[1] Li Ming, V iktor R, G autam T, et al. Multimodal Physical Activity Recog nition by Fusing T emporal and Cepstral Information[J]. IEEE T ransactions on Ne ural Sy stems and Rehabilitation Engineering, 2010, 18(4): 1-10.

[2] 胡 石, 梅 雪. 人體行為動(dòng)作的形狀輪廓特征提取及識(shí)別[J]. 計(jì)算機(jī)工程, 2012, 38(2): 198-200.

[3] 梅 雪, 張繼法, 許松松, 等. 基于運(yùn)動(dòng)方向的視角無(wú)關(guān)行為識(shí)別方法[J]. 計(jì)算機(jī)工程, 2012, 38(15): 159-161, 165.

[4] Maquire D, Frisby R. Comparison of Featu re Classification Algorithms for Activity R ecognition Based on Accelerometer and Heart Rate Data[C]//Proc. of the 9th IT & T Conference. Dublin, Ireland: Dublin Institute of Technology Press, 2009.

[5] Ravi N, Da ndekar N, Mysore P, et al. Activity Recognition from Accelerometer Data[C]//Proc. of the 17th Conference on Innovative Applications of Artific ial Intelligence. Pittsburgh, USA: AAAI Press, 2005: 1541-1546.

[6] Xue Yang, Jin Lianwen. Discrimination Between Upstairs and Downstairs Bas ed on Ac celerometer[J]. Emer ging T echnologies of Ubiquitous Com puting Systems, 20 11, 94(6): 1173-1177.

[7] Jennifer R K, Gary M W, Samuel A M. Activity Recognition Using Cell Phone Accelerom eters[J]. ACM SIGKDD Exploration Newsletter, 2010, 12(2): 74-82.

[8] Preece S J, Goulermas J Y, Kenney L P J, et al. A Comparison of Feature Extraction Methods for the Classification of Dynamic Activities from Accelerometer D ata[J]. IEEE Transactions on Biomedical Engineering, 2009, 56(3): 871-879.

[9] Yang Jie, Wang Shuangquan, Chen Ningjiang, et al. Wearable Accelerometer Based Extendable Activity Recognition System[C]//Proc. of IEEE International Conf erence on Robotics and Automation. Anchorage, USA: IEEE Press, 2010: 3641-3647.

[10] He Zhe nyu, Jin Lianwen. Activity Recognition from Acceleration D ata Using AR Model Representation and SV M[C]// Proc. of International Conference on Machine Learning and Cybernetics. [S. l.]: IEEE Press, 2008: 2245-2250.

[11] He Zhenyu, Liu Zhibin, Jin Lian wen, et al. W eightlessness Feature——A Novel Fe ature for Single Tri-axial Accelerometer B ased Activity R ecognition[C]//Proc. of Int ernational Conference on Pattern Recognition. Tampa, USA: IEEE Press, 2008: 1-4.

編輯 顧逸斐

Application Research on Acceleration Data Features in Human Behavior Recognition

LU Xian-linga,b, WANG Hong-bina,b, WANG Ying-yingb, XU Xianb

(a. Key Laboratory of Light Industry Advanced Process Control, Ministry of Education; b. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China)

Two novel features for acceleration data are applied to improve recognition accuracy of human activities. One feature uncovers the essential of acceleration direction by calculating the Wavelet Energy(WE) of angle between acceleration vector and gravity direction, and distinguishes different activities from time-frequency analysis. The other feature extracts from the slope of ke y points connection after acceleration data are rearranged, which highlights the dif ference and distribution of acceleration data. The t wo novel features can b e combined with the six traditional widely used features to constitute feature sets, which allows to train the multi-class c lassifier based on Support Vector Machine(SVM), and to identify seven Activities of Daily Living(ADL). Two test results show that the average recognition accuracy of independent test method and leave one out cross test method can reach 92.70% and 95.08% respectively.

acceleration sensor; human behavior; data feature; Wavelet Energy(WE); slope; Support Vector Machine(SVM)

10.3969/j.issn.1000-3428.2014.05.037

中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)基金資助項(xiàng)目(JUSRP21129)；江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程基金資助項(xiàng)目。

盧先領(lǐng)(1972－)，男，副教授、博士，主研方向：行為識(shí)別，無(wú)線傳感器網(wǎng)絡(luò)；王洪斌、王瑩瑩、徐 仙，碩士研究生。

2013-03-13

2013-05-06E-mail：jnluxl@gmail.com

1000-3428(2014)05-0178-05

A

TP75