基于BSN和CHMMs的人體日常動(dòng)作識(shí)別方法研究

姜 鳴＊，， 王 哲 龍， 劉 曉 博， 趙 紅 宇， 胡 耀 華

(1.大連理工大學(xué) 控制科學(xué)與工程學(xué)院，遼寧 大連 116024；2.東莞理工學(xué)院 電子工程學(xué)院，廣東 東莞 523808；3.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所 機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110016；4.大連交通大學(xué) 電氣信息學(xué)院，遼寧 大連 116028)

0 引 言

人體傳感器網(wǎng)絡(luò)(body sensor networks，BSN)是無(wú)線傳感器網(wǎng)絡(luò)在人體監(jiān)督中的應(yīng)用，通過(guò)多個(gè)固定在人體上的傳感器節(jié)點(diǎn)，BSN可以采集各肢體部位的運(yùn)動(dòng)信號(hào)，使用無(wú)線網(wǎng)絡(luò)將這些信號(hào)發(fā)送到遠(yuǎn)程接收終端，通過(guò)分析這些運(yùn)動(dòng)數(shù)據(jù)來(lái)識(shí)別不同的人體動(dòng)作[1].已有研究顯示，應(yīng)用 BSN 識(shí) 別老年 人[2－3]、慢性病患者[4－5]，以及術(shù)后病人[6]等特殊人群的日常動(dòng)作，可以有效地提高對(duì)這些人群的醫(yī)療監(jiān)護(hù)質(zhì)量[7－8].

BSN數(shù)據(jù)的處理通常被歸結(jié)為一個(gè)分類過(guò)程[9]，每個(gè)類別對(duì)應(yīng)一個(gè)人體動(dòng)作，常用的分類器包括貝葉斯分類器、決策樹(shù)、最近鄰分類器、支持向量機(jī)和隱馬爾可夫模型等[10－13]，分類過(guò)程通?；谔卣鲗尤诤虾突跊Q策層融合兩種數(shù)據(jù)融合方式[14].在基于特征層融合的分類方式中，首先提取每個(gè)傳感器節(jié)點(diǎn)的信號(hào)特征，之后使用特征選擇和特征降維技術(shù)將這些特征整合為特征向量，最后使用分類器對(duì)特征向量進(jìn)行分類.在基于決策層融合的分類方式中，首先提取每個(gè)傳感器節(jié)點(diǎn)的信號(hào)特征形成特征向量，之后使用分類器對(duì)每個(gè)特征向量進(jìn)行單獨(dú)分類，最后應(yīng)用決策規(guī)則對(duì)分類結(jié)果進(jìn)行融合.以上兩種分類方式的不足之處在于，分類過(guò)程只考慮了傳感器節(jié)點(diǎn)本身對(duì)分類結(jié)果的影響，而不同傳感器節(jié)點(diǎn)之間的內(nèi)在關(guān)聯(lián)在分類過(guò)程中沒(méi)有被充分考慮，因此限制了分類結(jié)果的準(zhǔn)確率.

本文建立一個(gè)基于BSN的人體日常動(dòng)作監(jiān)督平臺(tái)，通過(guò)固定在人體四肢和腰部的5個(gè)加速度傳感器節(jié)點(diǎn)采集人體的動(dòng)作信號(hào).針對(duì)動(dòng)作識(shí)別過(guò)程中存在的多傳感器數(shù)據(jù)融合問(wèn)題，提出一種基于耦合隱馬爾可夫模型(coupled hidden Markov models，CHMMs)的動(dòng)作識(shí)別方法，該方法在分類過(guò)程中通過(guò)建立不同傳感器節(jié)點(diǎn)之間的關(guān)聯(lián)，提高識(shí)別結(jié)果的正確率.

1 耦合隱馬爾可夫模型

1.1 模型的建立

CHMMs是Brand等[15]在隱馬爾可夫模型(hidden Markov models，HMMs)基礎(chǔ)上提出的擴(kuò)展模型.HMMs是用來(lái)描述含有隱含未知參數(shù)的馬爾可夫過(guò)程的概率模型，已經(jīng)成功地在語(yǔ)音識(shí)別、圖像識(shí)別和生物序列分析等多個(gè)領(lǐng)域中得到應(yīng)用[16].CHMMs將多個(gè)HMMs結(jié)合在一起，能夠?qū)卸鄠€(gè)相互關(guān)聯(lián)數(shù)據(jù)鏈的隨機(jī)過(guò)程進(jìn)行建模和統(tǒng)計(jì)分析.目前CHMMs已經(jīng)在語(yǔ)音信號(hào)處理[17]和生物信號(hào)處理[18]中得到使用.BSN 中每個(gè)傳感器節(jié)點(diǎn)構(gòu)成一個(gè)單獨(dú)的數(shù)據(jù)源，因此BSN數(shù)據(jù)包含多個(gè)相互關(guān)聯(lián)的數(shù)據(jù)鏈，適合采用CHMMs對(duì)其進(jìn)行建模和分析.

本文采用CHMMs作為動(dòng)作識(shí)別工具，對(duì)每個(gè)人體日常動(dòng)作建立一個(gè)模型，模型結(jié)構(gòu)如圖1所示，其中N為傳感器節(jié)點(diǎn)的數(shù)量，T為觀測(cè)序列的長(zhǎng)度表示第n個(gè)(1≤n≤N)傳感器節(jié)點(diǎn)在第t個(gè)(1≤t≤T)時(shí)段內(nèi)的隱藏狀態(tài)表示第n個(gè)傳感器節(jié)點(diǎn)在第t個(gè)時(shí)段內(nèi)輸出的觀測(cè)值.在本文建立的CHMMs中，傳感器節(jié)點(diǎn)的隱藏狀態(tài)代表了相應(yīng)肢體部位的運(yùn)動(dòng)模式，同一肢體部位運(yùn)動(dòng)模式的不同轉(zhuǎn)換方式描述了該肢體部位的不同動(dòng)作，不同肢體部位之間運(yùn)動(dòng)模式的相互影響描述了不同肢體部位之間的協(xié)同運(yùn)動(dòng).

圖1 應(yīng)用BSN數(shù)據(jù)建立的人體日常動(dòng)作的CHMMs結(jié)構(gòu)Fig.1 Structure of CHMMs for modeling human daily activities based on BSN data

1.2 模型參數(shù)的訓(xùn)練

令第n個(gè)數(shù)據(jù)鏈包含Kn個(gè)狀態(tài)，in表示其中的第i(1≤i≤Kn)個(gè)狀態(tài)，令λ表示CHMMs的參數(shù)集合，λ包含以下參數(shù).

本文采用Pernkopf[19]提出的基于期望值最大(expectation maximization，EM)算法的參數(shù)訓(xùn)練方法進(jìn)行參數(shù)估計(jì)，使用訓(xùn)練數(shù)據(jù)集X0訓(xùn)練參數(shù)集λ，基本思路如下:首先給出參數(shù)集的初始估計(jì)λ′；在E階段，應(yīng)用forward－backward算法計(jì)算在參數(shù)集λ′下，CHMMs對(duì)訓(xùn)練數(shù)據(jù)集X0的似然值P(X0｜λ′)；在M階段，重新估計(jì)參數(shù)集λ″使得CHMMs的似然值最大化；E階段和M階段迭代交替進(jìn)行，直到似然值的增長(zhǎng)P(X0｜λ″)－P(X0｜λ′)小于指定閾值.

1.3 應(yīng)用CHMMs進(jìn)行動(dòng)作識(shí)別

本文應(yīng)用CHMMs作為分類工具對(duì)Q個(gè)人體日常動(dòng)作進(jìn)行識(shí)別.令X表示總訓(xùn)練數(shù)據(jù)集，X中的元素為等長(zhǎng)的觀測(cè)序列，即帶有動(dòng)作標(biāo)簽的特征向量序列.令Xq(q＝1，…，Q)表示X的子集，Xq包含所有屬于第q個(gè)人體日常動(dòng)作的訓(xùn)練樣本.建立Q個(gè)CHMMs，每個(gè)模型描述一個(gè)人體日常動(dòng)作，令λq表示通過(guò)Xq訓(xùn)練得到的第q個(gè)模型的參數(shù)集.對(duì)未知?jiǎng)幼黝悇e的觀測(cè)序列y，首先計(jì)算所有CHMMs對(duì)y的似然值，之后選擇具有最大似然值的模型對(duì)應(yīng)的人體日常動(dòng)作，即識(shí)別結(jié)果為

2 基于BSN的人體日常動(dòng)作監(jiān)督平臺(tái)

2.1 監(jiān)督平臺(tái)的建立

本文建立了一個(gè)基于BSN的人體日常動(dòng)作監(jiān)督平臺(tái)，平臺(tái)由信號(hào)采集端和信號(hào)接收端組成.圖2所示為本文建立的BSN監(jiān)督平臺(tái)中各節(jié)點(diǎn)的示意圖.傳感器節(jié)點(diǎn)上安裝有一枚三軸加速度傳感器 (ADXL330)，能夠采集±3g范圍內(nèi)的三維加速度信號(hào).傳感器節(jié)點(diǎn)負(fù)責(zé)將采集到的加速度信號(hào)通過(guò)無(wú)線收發(fā)芯片發(fā)送至信號(hào)接收節(jié)點(diǎn)，信號(hào)接收節(jié)點(diǎn)將接收到的信號(hào)保存在電腦中.實(shí)驗(yàn)中信號(hào)采集端包括5個(gè)傳感器節(jié)點(diǎn)，分別固定在人體左右前臂、胸口和左右小腿.

2.2 實(shí)驗(yàn)數(shù)據(jù)的采集

實(shí)驗(yàn)有8名志愿者參加(4男、4女)，共進(jìn)行9個(gè)日常動(dòng)作，包括“站”“坐”“躺”“走路”“上樓”“下樓”“跑步”“騎車”和“劃船”，前7個(gè)動(dòng)作在實(shí)驗(yàn)室中完成，后2個(gè)動(dòng)作在健身房中使用健身器械完成.實(shí)驗(yàn)中加速度信號(hào)的采樣頻率為20Hz，每個(gè)動(dòng)作的持續(xù)時(shí)間約為20s，每個(gè)動(dòng)作重復(fù)進(jìn)行3次.圖3所示為使用本文建立的BSN監(jiān)督平臺(tái)采集到的“走路”的一組加速度數(shù)據(jù)，圖中橫軸表示樣本點(diǎn)的數(shù)量n，縱軸為加速度傳感器輸出的電壓值V，與實(shí)際加速度值呈線性關(guān)系.從圖3中可以直觀地觀察到，不同加速度傳感器的信號(hào)波形之間具有較明顯的關(guān)聯(lián)，具有相似的波形周期，這種關(guān)聯(lián)是由不同肢體部位之間的協(xié)同運(yùn)動(dòng)所產(chǎn)生的.

圖2 BSN監(jiān)督平臺(tái)Fig.2 BSN monitoring platform

圖3 使用BSN監(jiān)督平臺(tái)采集到的“走路”的一組加速度信號(hào)Fig.3 Acceleration signals of walking collected by using BSN monitoring platform

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理

首先使用滑動(dòng)窗口分割技術(shù)將實(shí)驗(yàn)數(shù)據(jù)分割為若干等長(zhǎng)的時(shí)間片段(觀測(cè)窗口)，每個(gè)觀測(cè)窗口擁有一個(gè)人體動(dòng)作的標(biāo)簽，實(shí)驗(yàn)中滑動(dòng)窗口的長(zhǎng)度選擇為32個(gè)樣本點(diǎn)(約1.5s)，相鄰觀測(cè)窗口之間有50%(16個(gè)樣本點(diǎn))的數(shù)據(jù)重疊，可以避免窗口邊緣的信息丟失.之后提取觀測(cè)窗口內(nèi)的信號(hào)特征，形成特征向量.實(shí)驗(yàn)中選擇的信號(hào)特征包括時(shí)域特征和頻域特征兩部分，如表1所示，這些特征的有效性在已有文獻(xiàn)中得到了證明[9－13].

表1 實(shí)驗(yàn)中選擇提取的信號(hào)特征Tab.1 Extracted signal features in the experiment

3.2 實(shí)驗(yàn)結(jié)果分析

本文采用十折交叉驗(yàn)證的方式驗(yàn)證本文提出的動(dòng)作識(shí)別方法的效果，具體步驟如下:(1)將經(jīng)過(guò)預(yù)處理之后的實(shí)驗(yàn)數(shù)據(jù)隨機(jī)分為10個(gè)大小相同的子集；(2)選擇其中1個(gè)子集作為測(cè)試數(shù)據(jù)集，合并其他9個(gè)子集作為訓(xùn)練數(shù)據(jù)集，訓(xùn)練CHMMs，并計(jì)算在測(cè)試集下的識(shí)別正確率；(3)循環(huán)執(zhí)行步驟(2)共10次，每次選擇不同子集作為測(cè)試數(shù)據(jù)集；(4)將平均10次測(cè)試結(jié)果的正確率作為最終的識(shí)別結(jié)果.在訓(xùn)練和測(cè)試CHMMs時(shí)，觀測(cè)序列的長(zhǎng)度選擇為10，即每10個(gè)特征向量組成一個(gè)觀測(cè)序列，相鄰觀測(cè)序列之間有9個(gè)特征向量的重疊，確保序列邊緣信息不被丟失.此外，實(shí)驗(yàn)中選擇了一些常用的人體動(dòng)作識(shí)別方法進(jìn)行對(duì)比，包括基于特征層融合和基于決策層融合的兩種分類方式，分別選擇支持向量機(jī)(support vector machine，SVM)和隱馬爾可夫模型作為分類器.在特征層融合中，將不同傳感器節(jié)點(diǎn)的特征向量進(jìn)行直接累加；在決策層融合中，使用貝葉斯決策準(zhǔn)則作為融合分類結(jié)果的方法.這些識(shí)別方法同樣采用十折交叉驗(yàn)證方式得到最終的正確率.

表2所示為使用不同識(shí)別方法得到的識(shí)別結(jié)果的正確率，A1～A9分別代表實(shí)驗(yàn)中進(jìn)行的9個(gè)人體動(dòng)作.從表2中可以看到，本文提出的基于CHMMs的動(dòng)作識(shí)別方法的平均識(shí)別正確率最高，達(dá)到91.81%，而基于特征層融合和決策層融合的兩種分類方式，無(wú)論采用SVM還是HMM作為分類器，都沒(méi)有取得理想的識(shí)別效果.這說(shuō)明本文提出的基于CHMMs的動(dòng)作識(shí)別方法能夠挖掘不同傳感器節(jié)點(diǎn)之間的關(guān)聯(lián)性，從而有效地提高人體動(dòng)作識(shí)別結(jié)果的正確率.實(shí)驗(yàn)中除了計(jì)算識(shí)別結(jié)果的正確率，即精確度(accuracy)，還計(jì)算了靈敏度(sensitivity)和特異度(specificity)這兩個(gè)常用的評(píng)價(jià)分類器性能的指標(biāo)[20]來(lái)進(jìn)一步驗(yàn)證本文提出方法的效果，其中靈敏度和特異度的定義如下:

表3所示為使用不同動(dòng)作識(shí)別方法得到的所有動(dòng)作識(shí)別結(jié)果的平均精確度、靈敏度和特異度.從表3中可以看到，除了精確度外，本文提出的動(dòng)作識(shí)別方法在靈敏度和特異度兩個(gè)指標(biāo)上同樣取得了滿意的結(jié)果.

表2 使用不同動(dòng)作識(shí)別方法得到的人體動(dòng)作識(shí)別結(jié)果的正確率Tab.2 Accurate rate of human activity recognition by using different recognition methods

表3 使用不同識(shí)別方法得到的人體動(dòng)作識(shí)別結(jié)果的平均精確度、靈敏度和特異性Tab.3 Average accuracy，sensitivity and specificity of human activity recognition by using different recognition methods

4 結(jié) 論

本文建立了一個(gè)基于BSN的人體日常動(dòng)作監(jiān)督平臺(tái)，使用固定在人體四肢和腰部的5個(gè)加速度節(jié)點(diǎn)采集人體動(dòng)作信號(hào)，通過(guò)分析這些信號(hào)來(lái)識(shí)別人體動(dòng)作.針對(duì)動(dòng)作識(shí)別過(guò)程中存在的多傳感器數(shù)據(jù)融合問(wèn)題，提出了一個(gè)基于CHMMs的動(dòng)作識(shí)別方法，該方法能夠有效地挖掘不同傳感器信號(hào)之間的關(guān)聯(lián)，提高識(shí)別結(jié)果的正確率.通過(guò)對(duì)實(shí)驗(yàn)采集的9個(gè)人體日常動(dòng)作的加速度數(shù)據(jù)進(jìn)行處理，發(fā)現(xiàn)使用本文提出的動(dòng)作識(shí)別方法的識(shí)別結(jié)果取得了滿意的精確度(平均0.918)、靈敏度(平均0.354)和特異度(平均0.931)，均高于已有的基于特征層融合和決策層融合的動(dòng)作識(shí)別方法.實(shí)驗(yàn)結(jié)果說(shuō)明，本文提出的基于CHMMs的動(dòng)作識(shí)別方法符合BSN數(shù)據(jù)的特點(diǎn)，能夠在基于BSN的人體日常動(dòng)作識(shí)別中得到應(yīng)用.

[1]YANG G Z，Yacoub M.Body Sensor Networks[M].New York:Springer－Verlag，2006.

[2]Scanaill C N，Carew S，Barralon P，etal.A review of approaches to mobility telemonitoring of the elderly in their living environment [J].Annals of Biomedical Engineering，2006，34(4):547－563.

[3]King R C，Atallah L，Wong C，etal.Elderly risk assessment of falls with BSN [C]／／Proceedings of 2010International Conference on Body Sensor Networks. Washington D C:IEEE Computer Society，2010:30－35.

[4]Steele B G，Belza B，Cain K，etal.Bodies in motion:Monitoring daily activity and exercise with motion sensors in people with chronic pulmonary disease[J].Journal of Rehabilitation Research and Development，2003，40(5):45－58.

[5]Boyle J， Karunanithi M， Wark T，etal.Quantifying functional mobility progress for chronic disease management [C]／／ 28th Annual International Conference of Engineering in Medicine and Biology Society.New York:IEEE，2006:5916－5919.

[6]WANG Zhe－long，JIANG Ming，ZHAO Hong－yu，etal.A pilot study on evaluating recovery of the post－operative based on acceleration and sEMG [C]／／Proceedings of 2010International Conference on Body Sensor Networks. Washington D C:IEEE Computer Society，2010:3－8.

[7]Aziz O，Lo B，Pansiot J，etal.From computers to ubiquitous computing by 2010:health care [J].Philosophical Transactions of the Royal Society A:Mathematical，Physical and Engineering Sciences，2008，366(1881):3805－3811.

[8]Atallah L， YANG Guang－zhong. The use of pervasive sensing for behaviour profiling—a survey[J].Pervasive and Mobile Computing，2009，5(5):447－464.

[9]Preece J S，Goulermas Y J，Kenney P J L，etal.Activity identification using body－mounted sensors— a review of classification techniques [J].Physiological Measurement，2009，30(4):1－33.

[10]BAO Ling，Intille S S.Activity recognition from user－annotated acceleration data [J]. Pervasive Computing — Lecture Notes in Computer Science，2004，31(1):1－17.

[11]SUN Zuo－lei， MAO Xu－chu， TIAN Wei－feng，etal.Activity classification and dead reckoning for pedestrian navigation with wearable sensors [J].Measurement Science and Technology，2009，20(1):1－10.

[12]YIN Jie，YANG Qiong，Pan J J.Sensor－based abnormal human－activity detection [J].IEEE Transactions on Knowledge and Data Engineering，2008，20(8):1082－1090.

[13]Singla G，Cook D，Edgecombe M S.Recognizing independent and joint activities among multiple residents in smart environments [J]. Ambient Intelligence and Humanized Computing Journal，2010，1(1):57－63.

[14]YANG G Z，HU X P.Multi－sensor fusion[M]／／YANG G Z， Yacoue M，eds. Body Sensor Networks.New York:Springer－Verlag，2006:239－286.

[15]Brand M，Oliver N，Pentland A.Coupled hidden Markov models for complex action recognition [C]／／ 1997IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Juan:IEEE Computer Society，1997:994－999.

[16]Dietterich T G.Machine learning for sequential data:A review [J].Structural，Syntactic，and Statistical Pattern Recognition，2002，2396(1):227－246.

[17]Chu S M， Huang T S. Audio－visual speech modeling using coupled hidden Markov models[C]／／2002IEEE International Conference on Acoustics，Speech，and Signal Processing(ICASSP).Orlando:IEEE，2002:2009－2012.

[18]Rezek I，Roberts S J.Estimation of coupled hidden Markov models with application to biosignal interaction modelling [C]／／ Neural Networks for Signal Processing X:Proceedings of the 2000IEEE Signal Processing Society Workshop.Sydney:IEEE，2000:804－813.

[19]Pernkopf F.3Dsurface analysis using coupled HMMs [J]. Machine Vision and Applications，2005，16(5):298－305.

[20]Fawcett T.An introduction to ROC analysis[J].Pattern Recognition Letters，2006，27(8):861－874.