基于多傳感器的人體運(yùn)動(dòng)模式識(shí)別*

張乾勇， 張 濤， 趙治羽

(西南交通大學(xué) 電氣工程學(xué)院，四川 成都 611756)

0 引 言

人體運(yùn)動(dòng)模式識(shí)別在健康監(jiān)測、下肢假體運(yùn)動(dòng)控制[1]、外骨骼等新興應(yīng)用領(lǐng)域有著重要地位。諸如行走(walking,W)、跑步(running,R)、上樓梯(stair ascent,SA)、下樓梯(stair descent,SD)等是日常中必不可少的運(yùn)動(dòng)，識(shí)別這些運(yùn)動(dòng)以判斷受試者當(dāng)前運(yùn)動(dòng)狀態(tài)，可為下肢假體或外骨骼提供必要的控制信息。目前對(duì)人體運(yùn)動(dòng)模式[1]進(jìn)行識(shí)別所采用的傳感器主要有3類：生物特征傳感器、運(yùn)動(dòng)特征傳感器及視覺傳感器。由于像表面肌電圖(surface electromyography,sEMG)信號(hào)測量設(shè)備穿戴復(fù)雜且易受干擾，而視覺傳感器這種非侵入式不適用于穿戴式設(shè)備，在下肢外骨骼系統(tǒng)中均不宜采用。針對(duì)運(yùn)動(dòng)特性傳感器，Liu Z等人[2]利用三軸磁力計(jì)、三軸加速度計(jì)及腳底壓力傳感器測量人體運(yùn)動(dòng)數(shù)據(jù)，識(shí)別5種運(yùn)動(dòng)模式。文獻(xiàn)[3]利用9軸慣性測量單元(inertial measurement unit，IMU)及氣壓計(jì)，通過滑動(dòng)窗口提取人體運(yùn)動(dòng)信息，識(shí)別8種運(yùn)動(dòng)模式。

運(yùn)動(dòng)模式識(shí)別大多采用固定采樣窗口長度對(duì)傳感器信號(hào)進(jìn)行連續(xù)采樣，未利用人體運(yùn)動(dòng)具有準(zhǔn)周期特性，從而增加了計(jì)算成本與復(fù)雜度，當(dāng)運(yùn)動(dòng)模式包括跑步這類步頻較高的運(yùn)動(dòng)時(shí)，需計(jì)算頻域或時(shí)頻域特征，不能滿足實(shí)際需要。

受Huang H等人[4,5]利用肌電圖(electromyography,EMG)信號(hào)對(duì)運(yùn)動(dòng)模式進(jìn)行識(shí)別研究的啟發(fā)，本文設(shè)計(jì)了自適應(yīng)多運(yùn)動(dòng)模式關(guān)鍵步態(tài)事件監(jiān)測算法，在關(guān)鍵事件前后計(jì)算下肢運(yùn)動(dòng)加速度時(shí)域特征，經(jīng)Relief特征選擇后用于訓(xùn)練線性判別分析(linear discriminant analysis,LDA)分類器，從而對(duì)行走(W),跑步(R),上樓梯(SA),下樓梯(SD)這4種常見運(yùn)動(dòng)模式進(jìn)行分類識(shí)別。

1 傳感器網(wǎng)絡(luò)設(shè)計(jì)

傳感器包括三軸加速度計(jì)與薄膜電阻式壓力傳感器。數(shù)據(jù)采集系統(tǒng)所有組成模塊均由項(xiàng)目組成員獨(dú)立制作，其系統(tǒng)構(gòu)成如圖1所示。

圖1 測量系統(tǒng)組成框圖

傳感器網(wǎng)絡(luò)系統(tǒng)測量人體5個(gè)部位加速度數(shù)據(jù)與雙腳底各測量點(diǎn)壓力數(shù)據(jù)，并將人體運(yùn)動(dòng)數(shù)據(jù)發(fā)送至電腦端進(jìn)行記錄處理，也可存儲(chǔ)至板載MiroSD卡中。加速度測量模塊采集三軸加速度數(shù)據(jù)，分辨率為12位，測量范圍±4gn，電阻式壓力傳感器采集分辨率為8位。各傳感器采集模塊通過自定義通信協(xié)議將數(shù)據(jù)傳輸至數(shù)據(jù)采集板，采樣頻率100 Hz。

數(shù)據(jù)采集板傳輸存儲(chǔ)數(shù)據(jù)媒介包括藍(lán)牙、MicroSD卡和RS-232，用于不同使用場合。由于后續(xù)實(shí)驗(yàn)多在戶外進(jìn)行，每個(gè)傳感器模塊設(shè)計(jì)應(yīng)遵循輕量、尺寸小、便于安裝、省電等特點(diǎn)，部分電路設(shè)計(jì)參數(shù)為數(shù)據(jù)采集板STM32F765 10 cm×6 cm，壓力采集STM32F405FLX-A301 3.9 cm×2.9 cm，加速度計(jì)STM32F405ADXL363 3.7 cm×2.8 cm，系統(tǒng)供電采用2 000 mA·h單片鋰電池供電，所有傳感器正常工作情況下功耗約370 mW，滿足戶外長時(shí)間實(shí)驗(yàn)需要。

測量設(shè)備安裝穿戴如圖2所示，5個(gè)加速度計(jì)分別位于軀干前部、左右大腿中部、左右小腿中部，采用魔術(shù)帶對(duì)加速度模塊進(jìn)行固定。連接加速度計(jì)線材在綁帶處采用S形固定，以減少運(yùn)動(dòng)過程中線材對(duì)加速度計(jì)的影響。

圖2 傳感器系統(tǒng)穿戴安裝

腳底壓力測量點(diǎn)為人行走時(shí)受力變化最為明顯的4個(gè)點(diǎn)，測量點(diǎn)位如圖3(a)所示。由于直接將壓力傳感器固定在鞋底受力相對(duì)分散，故將壓力傳感器按圖3(b)所示進(jìn)行布置能夠真實(shí)反映各點(diǎn)壓力變化情況，并保護(hù)傳感器件。

圖3 壓力測量鞋及傳感器布置方式

2 數(shù)據(jù)處理過程

傳感器數(shù)據(jù)的處理主要包含三部分：步態(tài)事件監(jiān)測、計(jì)算加速度特征、分類決策。系統(tǒng)總體識(shí)別流程如圖4所示。

圖4 運(yùn)動(dòng)模式識(shí)別流程

2.1 數(shù)據(jù)的預(yù)處理

人體運(yùn)動(dòng)頻率一般不超過5 Hz，在實(shí)際測量過程中信號(hào)中摻雜高頻信號(hào)，需要對(duì)信號(hào)進(jìn)行濾波處理。腳底壓力原始數(shù)據(jù)經(jīng)過一個(gè)截止頻率5 Hz的二階Butterworth低通濾波器，處理加速度信號(hào)則采用截止頻率40 Hz的二階Butterworth低通濾波器。處理加速度信號(hào)時(shí)，截止頻率不宜過小，否則會(huì)導(dǎo)致信號(hào)包含的信息過度流失，難以區(qū)分類別。

2.2 步態(tài)事件識(shí)別算法

一般可將下肢運(yùn)動(dòng)簡單分為支撐相與擺動(dòng)相，劃分依據(jù)為腳跟觸地(heel contact,HC)與腳尖離地(toe off,TO)2個(gè)關(guān)鍵步態(tài)事件?，F(xiàn)有研究多采用開關(guān)式壓力傳感器或運(yùn)用單一閾值[6]、斜率[7]等對(duì)模擬信號(hào)進(jìn)行處理，不能及時(shí)、準(zhǔn)確識(shí)別關(guān)鍵步態(tài)事件。本文將腳底AB點(diǎn)(如圖3(a))壓力數(shù)據(jù)求取用以識(shí)別TO事件，將D點(diǎn)壓力數(shù)據(jù)用于識(shí)別HC事件，并設(shè)計(jì)了一種多運(yùn)動(dòng)模式下HC-TO識(shí)別算法，能有效識(shí)別W，R，SA，SD運(yùn)動(dòng)模式下的TO和HC事件。

算法內(nèi)基準(zhǔn)閾值隨波形變化而自動(dòng)調(diào)整，以識(shí)別壓力波形變化部分，并在此基礎(chǔ)上識(shí)別HC-TO事件。然而在上下樓梯時(shí)，通過單一閾值或者聯(lián)合斜率等條件對(duì)腳底壓力進(jìn)行步態(tài)事件識(shí)別效果并不理想，會(huì)出現(xiàn)HC事件誤檢。在1個(gè)運(yùn)動(dòng)周期L內(nèi)，考慮在監(jiān)測到1個(gè)步態(tài)事件后加入屏蔽窗口對(duì)后續(xù)事件誤檢進(jìn)行過濾，發(fā)生在屏蔽窗口內(nèi)的指定事件將不被報(bào)出。圖5所示為步態(tài)事件誤檢屏蔽原理。

圖5 步態(tài)事件誤檢屏蔽原理

設(shè)在第k點(diǎn)狀態(tài)為ST(k) ，計(jì)算窗口內(nèi)數(shù)據(jù)組為S(k)，則TO-HC步態(tài)事件識(shí)別為

(1)

HC事件判定所需條件ΘHC

TO監(jiān)測所需條件ΘTO

算法主要步驟如下：

初始

α←0.03，b←2,flag=Still,Timer=0,WindowSize=150

1)if采樣點(diǎn)k≥WindowSize

then窗口內(nèi)數(shù)組S(k)基準(zhǔn)Ω

Ω←min(S(k))+α[max(S(k))-min(S(k))]+b

2)if第k采樣點(diǎn)數(shù)據(jù)P(k)≥Ω視為腳部開始動(dòng)作

thenTimer←0Frame(k)←100

elseTimer←Timer+1

ifTimer>200大于2 000 ms，

thenflag←Still

3)ifST(k)滿足條件Θ

then重新開始計(jì)算L用于下次事件監(jiān)測

WindowSize←1.5L

flag←Events

重復(fù)步驟(1)～步驟(3)

算法中參數(shù)的選取僅作為參考值，根據(jù)實(shí)際系統(tǒng)進(jìn)行調(diào)整。

2.3 特征選擇

在每個(gè)運(yùn)動(dòng)周期內(nèi)，分別對(duì)HC，TO時(shí)點(diǎn)前后一段時(shí)間內(nèi)加速度數(shù)據(jù)進(jìn)行特征值計(jì)算，計(jì)算窗口長度50～300 ms，從而得到4個(gè)數(shù)據(jù)組Pre-HC，Post-HC，Pre-TO，Post-TO。在后文中將建立4個(gè)分類器對(duì)這4組數(shù)據(jù)進(jìn)行識(shí)別，以判斷當(dāng)前周期內(nèi)人的運(yùn)動(dòng)模式。

考慮實(shí)際系統(tǒng)對(duì)實(shí)時(shí)性的要求，本文選擇6個(gè)較為簡單的時(shí)域特性均值、中位數(shù)、最大值、最小值、四分位差、方差，此時(shí)特征向量維度為90。

Relief-F特征選擇法對(duì)于多分類特征選擇具有很高的運(yùn)行效率。對(duì)于訓(xùn)練集S為{(x1,y1),(x2,y2),…,(xm,ym)}，對(duì)于每個(gè)樣例xi，假設(shè)其屬于第k類，在第k類樣本中最近樣本xi,nh被稱為猜中近鄰(near-hit)，在其他類樣本中最近樣本xi,nm被稱為猜錯(cuò)近鄰(near-miss)。每個(gè)特征維度j得分為

(2)

式中pl為第l類樣本占所有異類樣本比例。在得到所有特征分?jǐn)?shù)之后，選取分?jǐn)?shù)最高的N個(gè)特征作為訓(xùn)練分類器的數(shù)據(jù)特征集。

3 分類器設(shè)計(jì)

LDA作為經(jīng)典線性分類算法在機(jī)器學(xué)習(xí)中運(yùn)用廣泛。對(duì)于多分類問題，LDA算法提供特征最優(yōu)投影面ω將數(shù)據(jù)的特征向量映射到一維空間，根據(jù)決策規(guī)則對(duì)該數(shù)據(jù)類別進(jìn)行判斷決策。

如前述在每個(gè)運(yùn)動(dòng)周期內(nèi)，對(duì)HC,TO時(shí)點(diǎn)前后加速度數(shù)據(jù)加窗、提取特征值，并分別進(jìn)行運(yùn)動(dòng)模式識(shí)別。所涉及4個(gè)分類器在每個(gè)運(yùn)動(dòng)周期內(nèi)需要進(jìn)行投票，以決定當(dāng)前所屬運(yùn)動(dòng)模式。本文所建立的分類器均采用LDA分類器進(jìn)行分類，投票結(jié)果取得票數(shù)最多類別。若平票，則隨機(jī)選取作為最終識(shí)別結(jié)果。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)者身高170 cm，體重50 kg。實(shí)驗(yàn)中臺(tái)階為建筑樓梯，臺(tái)階長度28 cm，高度17 cm。本文實(shí)驗(yàn)所涉及運(yùn)動(dòng)模式包括W，R，SA，SD。實(shí)驗(yàn)者在聽到開始后進(jìn)行相應(yīng)的運(yùn)動(dòng)，在某一模式結(jié)束后站立約2 s結(jié)束數(shù)據(jù)采集。在W運(yùn)動(dòng)模式測試中測量范圍包括實(shí)驗(yàn)者進(jìn)行靜止-走路-靜止運(yùn)動(dòng)，R運(yùn)動(dòng)模式測試中測量范圍包括靜止-跑-靜止運(yùn)動(dòng)，SA運(yùn)動(dòng)模式測試中測量范圍包括靜止-走-上樓梯-走靜止、SD運(yùn)動(dòng)模式測試中測量范圍包括靜止-走-下樓梯-走-靜止。數(shù)據(jù)采集系統(tǒng)通過藍(lán)牙將加速度與腳底壓力數(shù)據(jù)傳至PC端并存儲(chǔ)。

HC-TO步態(tài)事件的監(jiān)測算法在W,R,SA,SD運(yùn)動(dòng)模式下基本能夠正確及時(shí)識(shí)別所有的HC,TO事件，識(shí)別準(zhǔn)確率分別為100 %(36/36)，96.25 %(154/160),92.00 %(184/200),96.12 %(198 /206)。識(shí)別錯(cuò)誤基本發(fā)生在起步時(shí)刻，若不考慮初始起步情況，則識(shí)別率分別為100 %,100 %,99.00 %,99.03 %。識(shí)別效果如圖6。

圖6 HC-TO識(shí)別效果

對(duì)分類器正確率進(jìn)行評(píng)估。分類混淆矩陣CM定義為

(3)

式中aij為第i類測試數(shù)據(jù)通過分類器被分為第j類占所有測試樣本百分比。

加速度數(shù)據(jù)截取窗口長度50～300 ms，對(duì)于不同窗口長度， Relief特征選擇個(gè)數(shù)從5～30的情況下，4種運(yùn)動(dòng)模式平均識(shí)別率如圖7所示。

圖7 不同因素對(duì)識(shí)別率的影響

取窗口長度260 ms，特征選取個(gè)數(shù)25個(gè)，所設(shè)計(jì)的分類器利用LOO法所檢驗(yàn)的混淆矩陣CM如圖8所示，其平均識(shí)別率為94.79 %。

圖8 各運(yùn)動(dòng)模式識(shí)別正確率

5 結(jié)束語

本文從硬件系統(tǒng)開始，介紹了能夠識(shí)別多種運(yùn)動(dòng)模式的可穿戴系統(tǒng)與識(shí)別算法。傳感器網(wǎng)絡(luò)采集人體下肢5個(gè)位置加速度及腳底壓力數(shù)據(jù)，通過數(shù)據(jù)采集板發(fā)送至電腦。腳底壓力原始數(shù)據(jù)經(jīng)過低通濾波后用于HC，TO步態(tài)事件的識(shí)別，以截取4個(gè)窗口內(nèi)加速度數(shù)據(jù)用于訓(xùn)練所設(shè)計(jì)的4個(gè)LDA分類器，并在一個(gè)步態(tài)周期內(nèi)對(duì)所有識(shí)別結(jié)果進(jìn)行投票表決確定最終識(shí)別結(jié)果。本文所提出的屏蔽窗口HC-TO識(shí)別算法能夠有效識(shí)別關(guān)鍵步態(tài)事件，在此基礎(chǔ)上研究了不同截取窗口長度對(duì)識(shí)別正確率的影響。該分類器能夠在消耗較少計(jì)算資源的基礎(chǔ)上提供94.79 %的平均分類正確率，為算法的實(shí)物實(shí)現(xiàn)奠定了基礎(chǔ)。