基于多傳感器數(shù)據(jù)融合的人體運動模式識別研究

張　毅, 任同輝, 羅　元

(1.重慶郵電大學(xué) 信息無障礙工程研發(fā)中心，重慶　400065;2.重慶郵電大學(xué) 光纖通信技術(shù)重點實驗室，重慶　400065)

?

基于多傳感器數(shù)據(jù)融合的人體運動模式識別研究

張毅1, 任同輝1, 羅元2

(1.重慶郵電大學(xué) 信息無障礙工程研發(fā)中心，重慶400065;2.重慶郵電大學(xué) 光纖通信技術(shù)重點實驗室，重慶400065)

針對單一傳感器在人體運動姿態(tài)監(jiān)測中誤差較大的問題，提出了一種基于加速度傳感器和陀螺儀數(shù)據(jù)融合的人體運動模式識別方法；該方法使用陀螺儀輸出的人體運動信息對加速度傳感器采集到的姿態(tài)角信息進(jìn)行修正，采用卡爾曼濾波算法實現(xiàn)多傳感器信息的融合，有效提高了姿態(tài)角度測量的準(zhǔn)確度；根據(jù)人體日常的活動狀態(tài)構(gòu)建了基于人體姿態(tài)角度特征的隱馬爾可夫模型實現(xiàn)人體運動模式的識別；實驗表明，該方法比采用單一傳感器方法識別的準(zhǔn)確率高，可以有效區(qū)分不同的日常活動行為。

運動模式識別；卡爾曼濾波；數(shù)據(jù)融合；姿態(tài)檢測

0　引言

近幾年來，我國已逐步進(jìn)入老齡化人口發(fā)展階段。老年人群體質(zhì)虛弱，行動遲緩，平衡能力較差，獨立生活中經(jīng)常會有跌倒等危險動作的發(fā)生。調(diào)查資料顯示，跌倒是造成中國65歲以上老年人死亡傷害的首位因素[1]，給老年群體的生活帶來極大的負(fù)面影響，老年人健康救助服務(wù)已成為當(dāng)今社會必須面對的問題[2]。為了讓老年群體能夠自由獨立活動，在出現(xiàn)意外危險情況時候能夠及時被發(fā)現(xiàn)并得到幫助，老年人行為識別和健康監(jiān)測技術(shù)勢必成為當(dāng)下社會的研究熱點。

目前，對于行為識別的研究主要有兩類基本方法：1)基于視頻圖像的監(jiān)測方法，具有代表性的是基于kinect的圖像處理方法[3]，該類方法采用視頻感應(yīng)器獲取活動目標(biāo)的深度圖像特征進(jìn)行分析，缺點是對監(jiān)測區(qū)域光線條件要求苛刻，監(jiān)測范圍有限，而且不能保證用戶的隱私安全[4]；2)基于穿戴式裝置的監(jiān)測方法，采用目前技術(shù)較為成熟的MEMS傳感器設(shè)備，如加速度計、陀螺儀和地磁計等組成的姿態(tài)檢測系統(tǒng)檢測人的不同活動信息[5]。該類方法可以有效的保護(hù)用戶隱私，其設(shè)備價格低廉能夠得到廣泛的推廣[6]。

在運動檢測技術(shù)研究中一般使用加速度傳感器，由于加速度傳感器的工作特性，在勻變速狀態(tài)下測量信息是非常準(zhǔn)確的，然而人的日?；顒油际亲兗铀俣冗\動，重力加速度與變加速度疊加導(dǎo)致測量結(jié)果誤差很大。鑒于此，本文設(shè)計一種穿戴式裝置，采用加速度傳感器和陀螺儀兩種傳感器來進(jìn)行信息數(shù)據(jù)的采集，通過Kaman濾波將多源信息進(jìn)行融合處理從而得到改善的測量值，提高采集信息的可信度[7]。采用隱馬爾科夫模型(HMM，Hidden Markov Model)的識別算法對角度信息進(jìn)行分析來提取老年人日?；顒拥奶卣髦?，并由輸入序列與建立的HMM模型的匹配實時分析當(dāng)前時刻人體的運動模式，以實現(xiàn)上下樓梯，站立到坐下、步行和跌倒等常見的老年人運動模式的識別。

1　數(shù)據(jù)的采集與融合

1.1數(shù)據(jù)采集部位的選取和空間坐標(biāo)系的構(gòu)建

為了采集人體運動信息，首先需要建立人體運動的空間坐標(biāo)系。由于人體運動的復(fù)雜性，身體各部位在同一運動中具有很大差別，如手腕、膝蓋、肩部等部位在日?；顒訒r情況復(fù)雜多變、抖動頻繁，運動出現(xiàn)的隨機(jī)性較高，不同運動間的轉(zhuǎn)變不具有可預(yù)測性，因此不能作為運動信息的采集部位。而人體的上軀干部位(頸部以下、腰部以上)在日常活動中動作變化相對平穩(wěn)，在行走、站立和跌倒等活動中軀體變化幅度大，特征明顯，因此本文將人體上軀干部位作為傳感器的佩戴位置進(jìn)行信息數(shù)據(jù)的采集。

以傳感器佩戴位置作為原點建立人體軀干坐標(biāo)系oxyz，再以地面坐標(biāo)系作為固定的笛卡爾坐標(biāo)系OXYZ，其中Z軸與水平面相垂直，X軸和Y軸與水平面平行。軀干坐標(biāo)系oxyz會隨著人體的運動而運動，在軀干坐標(biāo)系中，x軸指向軀干前方，y軸指向左方，z軸指向上方[8]。當(dāng)身體處于靜止站立狀態(tài)時，人體軀干坐標(biāo)系oxyz與地面坐標(biāo)系OXYZ之間是相互平行的。人體坐標(biāo)系如圖1。

圖1　人體運動空間坐標(biāo)系

1.2信息數(shù)據(jù)的采集與融合算法處理

本系統(tǒng)選用三軸數(shù)字加速度傳感器ADXL345采集人體重力加速度信息，選用MEMS三軸角速度傳感器(陀螺儀)L3G4200D采集人體姿態(tài)角度信息，設(shè)置采樣頻率50 Hz，信息采集模塊將采集的加速度數(shù)據(jù)和陀螺儀數(shù)據(jù)傳給PC機(jī)來做融合處理。通過對加速度傳感器和陀螺儀獲取的數(shù)據(jù)進(jìn)行融合來實時修正系統(tǒng)所采集到的角度值，達(dá)到克服單傳感器在姿態(tài)角測量過程中的偏差問題。

圖2加速度傳感器測量角度原理

當(dāng)加速度傳感器處于靜止?fàn)顟B(tài)時：

由歸一化矢量值計算出重力矢量在三個坐標(biāo)軸方向的夾角θacc_x、θacc_y、θacc_z，夾角的計算方法如下：

設(shè)角速度傳感器繞坐標(biāo)軸X、Y、Z軸測量得到的轉(zhuǎn)動角速度分別為ωx、ωy、ωz，同樣需要將測得的角速度轉(zhuǎn)化為相應(yīng)的轉(zhuǎn)動角度，根據(jù)采集到的當(dāng)前轉(zhuǎn)動角速度，結(jié)合系統(tǒng)采樣周期計算出陀螺儀繞三軸方向的轉(zhuǎn)動角度：

其中:θgy_x、θgy_y、θgy_z表示計算后對應(yīng)X、Y、Z三個坐標(biāo)軸的轉(zhuǎn)動角度，dt表示陀螺儀數(shù)據(jù)的采樣周期。

通過Kalman濾波器對加速度傳感器和陀螺儀采集的信息進(jìn)行融合，將加速度傳感器測量值作為預(yù)測值，陀螺儀測量值作為觀測值，用觀測值修正加速度傳感器的預(yù)測值作為輸出值。采用加速度傳感器估計出陀螺儀漂移誤差b作為狀態(tài)向量得到系統(tǒng)的狀態(tài)方程和觀測方程：

(1)

公式(1)中，ωgy表示包含固定偏差的陀螺儀輸出角速度，θacc表示經(jīng)處理后得到的加速度傳感器的角度值，ωg、ωa分別為陀螺儀和加速度傳感器的測量噪聲，二者相互相互獨立的，為便于計算，假設(shè)二者為白噪聲，滿足正態(tài)分布。設(shè)系統(tǒng)測量噪聲為ω(k)，采樣周期為TS，得到系統(tǒng)的狀態(tài)方程和測量方程：

(2)

(3)

公式(3)中，Kg(k)表示k時刻的卡爾曼增量，P(k|k-1)表示k-1時刻系統(tǒng)的協(xié)方差。H為測量系統(tǒng)的輸出矩陣。HT為其轉(zhuǎn)置矩陣。R(k)表示測量噪聲的協(xié)方差。由此計算出出融合的姿態(tài)角：

(4)

公式(4)中，θgy(k)、θacc(k)分別為k時刻陀螺儀和加速度傳感器輸出的姿態(tài)角，θ(k)為經(jīng)融合處理后的k時刻姿態(tài)角的輸出值，也是該時刻卡爾曼濾波輸出的最優(yōu)值。同時得出k時刻系統(tǒng)狀態(tài)的協(xié)方差：

(5)

公式(1)到公式(5)是完整的Kalman濾波計算過程。公式(3)和公式(5)用于保障濾波算法的遞歸性和持續(xù)性，當(dāng)系統(tǒng)收到k+1時刻陀螺儀的角速度輸出后回到方程(1)的計算，此時系統(tǒng)進(jìn)入k+1時刻的濾波運算。

這里將采集的多傳感器數(shù)據(jù)進(jìn)行融合處理后，克服了單獨使用加速度傳感器測量角度的誤差問題，使采集的人體姿態(tài)角數(shù)據(jù)更加接近真實值。為了說明本文融合算法的效果，圖3與圖4給出在X軸方向上測量姿態(tài)角融合前后的對比圖，其中橫軸表示時間，單位為ms，縱軸表示角度數(shù)值。由于該曲線圖在其他兩個坐標(biāo)軸方向的效果是類似，此處不做贅述。

圖3　X軸方向平穩(wěn)步行時的角度對比

圖4　X軸方向快速行走時的角度對比

圖3為人體做平穩(wěn)步行時測量的姿態(tài)角度曲線，從圖中可以發(fā)現(xiàn)經(jīng)過數(shù)據(jù)融合前后的運動姿態(tài)角度變化不大，曲線重合率高，融合前的數(shù)據(jù)曲線干擾也相對較小，這是由于當(dāng)人體在做緩慢平穩(wěn)運動時傳感器的測量誤差較小的原因，數(shù)據(jù)融合的效果沒有很明顯體現(xiàn)出來。圖4為人體在做快速行走時測量的姿態(tài)角度曲線，此時人體的運動較為劇烈，從圖中可以發(fā)現(xiàn)經(jīng)過數(shù)據(jù)融合的測量角度相比融合前測量的角度值差別很大。分析其原因，當(dāng)人體處于平穩(wěn)緩慢運動狀態(tài)時傳感器處于測得的角度值干擾小，準(zhǔn)確度高，當(dāng)人體處于劇烈運動狀態(tài)時，由于加速度傳感器受重力影響以及陀螺儀的零點漂移等因素導(dǎo)致測量的角度值必定不準(zhǔn)確，由圖4可知本次實驗中數(shù)據(jù)融合前后產(chǎn)生的最大角度差高達(dá)10°。因此本文引入多傳感器數(shù)據(jù)融合方法可以有效計算人體運動矢量方向上的最優(yōu)估計值，系統(tǒng)受外力干擾出現(xiàn)的重力矢量偏移和零點漂移將被有效的減小，從而得到平滑有效的姿態(tài)角度值。

2　基于隱馬爾科夫模型的識別方法的實現(xiàn)

2.1對隱馬爾可夫模型的定義

隱馬爾科夫模型(hiddenmarkovmodel，HMM)是一種概率統(tǒng)計模型，其廣泛應(yīng)用于語音處理、生物信息等領(lǐng)域。在運動模式識別中本文選用HMM的方法，設(shè)運動模型經(jīng)歷的若干狀態(tài)序列記為q={q1,q2,q3,…qM}，觀察序列記為O={o1,o2,o3,…,oT}，T為觀察序列的長，通過分析觀察序列來分析隱狀態(tài)q的轉(zhuǎn)移情況。

一個有N個狀態(tài)的HMM模型(記作S1,S2,S3,…,SN)可由三元組參數(shù)表示，γ={π,A,B}，各個參數(shù)的含義：

2.2HMM的識別算法的實現(xiàn)

對HMM的參數(shù)進(jìn)行估計，本文選用標(biāo)準(zhǔn)的Baum-Welch算法，該算法計算復(fù)雜度較低，時效性高，核心思想是通過遞歸計算更新權(quán)重，有效降低復(fù)雜度，以此得到能更準(zhǔn)確解釋樣本序列的模型參數(shù)。算法計算過程如下：

定義變量δt(i,j)對應(yīng)觀察序列O，設(shè)Si、Sj分別為t時刻和t+1時刻所處的狀態(tài)。得：

(1)

定義變量ηt(i)，設(shè)ηt(i)為觀察序列在t時刻處于狀態(tài)Si的概率。得：

(2)

由公式(1)、(2)得：

aij、bj(k)、πi即為重估后的HMM參數(shù)，從而得到新的模型γ。

2.運用有效方法，銜接算理和算法。處理算理與算法的關(guān)系注意：一是算理與算法是計算教學(xué)中有機(jī)統(tǒng)一的整體，算理和算法并重；二是算理教學(xué)需借助直觀，引導(dǎo)學(xué)生經(jīng)歷自主探索、充分感悟的過程，要把握好算法提煉的時機(jī)和教學(xué)的“度”；三要防止算理與算法間出現(xiàn)斷痕或硬性對接，必要時進(jìn)行指導(dǎo)。

Viterbi算法以動態(tài)規(guī)劃為基礎(chǔ)，通過觀察到的輸出序列，對狀態(tài)序列做最佳估計得出最佳狀態(tài)序列，本文選用Viterbi算法來計算似然度進(jìn)行模式識別。Viterbi算法的計算過程如下：

(3)

公式(3)為系統(tǒng)的初始化條件，對其進(jìn)行前向遞歸，得：

(4)

公式(4)表示在i狀態(tài)下計算出t時刻σt(j)的最大值，令：

P=maxσt(j)

qT=argmax[σt(i)]

由qt+1遞歸運算得qt,t=1,2,3,…,T-1，取最大的概率值所對應(yīng)的運動模型做為識別的結(jié)果，即判斷出當(dāng)前的運動狀態(tài)。人體運動模式識別的流程如圖5所示。

圖5　運動模式的識別流程

3　實驗驗證與結(jié)果分析

本文定義了6種運動狀態(tài)，靜坐:S(1)，坐到站立:S(2)，站到坐下:S(3)，行走:S(4)，上下樓梯:S(5)，跌倒:S(6)；以這六種運動狀態(tài)作為識別的目標(biāo)對象建立模型。當(dāng)人體做日?；顒訒r不同運動狀態(tài)之間是可以相互轉(zhuǎn)變的。本文定義的六種運動狀態(tài)轉(zhuǎn)移關(guān)系如圖6所示。

圖6　運動狀態(tài)轉(zhuǎn)移關(guān)系

通過實驗觀察，平常人行走時身體偏航角(繞x軸旋轉(zhuǎn)角度)變化范圍為±10°，俯仰角(繞y軸旋轉(zhuǎn)角度)變化范圍為0°到10°；上下樓梯時偏航角變化范圍為±15°，俯仰角變化范圍為0°到15°；坐在椅子上時偏航角變化范圍微小，不會對人體姿態(tài)的改變產(chǎn)生影響，俯仰角在±20°范圍內(nèi)變化。當(dāng)人體俯仰角大于45°或者小于-30°時極易跌倒；偏航角大于30°或者小于-30°時也很容易發(fā)生跌倒。以上數(shù)值可以作為判斷人體狀態(tài)的閾值。

考慮老年人體質(zhì)衰弱等健康因素，實驗選擇5名普通人作為監(jiān)測對象來模擬老年人的日?；顒訝顟B(tài)，5名實驗室對象年齡均在25歲—30歲之間，身高體重正常，無肢體疾病。進(jìn)行了兩組實驗并對結(jié)果進(jìn)行觀察和對比：第一組實驗采用單一加速度傳感器采集人體運動信息作為運動模式識別的數(shù)據(jù)；第二組實驗采用多傳感器數(shù)據(jù)融合后的運動信息作為運動模式識別的數(shù)據(jù)。實驗時將傳感器裝置佩戴于每位實驗對象的上肢部位，在沒有外界干擾的情況下進(jìn)行1小時的隨機(jī)活動，傳感器信息采集模塊獲得的數(shù)據(jù)通過無線通信模塊傳至上位機(jī)進(jìn)行數(shù)據(jù)的分析處理和運動模式的識別。實驗記錄結(jié)果見表1。

表1　6種活動狀態(tài)的識別率

由表1可知在不同狀態(tài)轉(zhuǎn)移的運動模式的識別中，相比第一組實驗，第二組實驗的識別成功率有顯著的增加，第一組實驗的平均識別率為83.5%，第二組實驗的平均識別率達(dá)到94.2%。在跌倒的識別中第二組實驗的識別率達(dá)到了97.2%，成功率最高。分析其原因是發(fā)生跌倒時人體角度變化范圍大，經(jīng)過特征提取后的可觀測序列所占比例大，使得跌倒動作的輸出概率值較高，易于識別。由站到坐下或由坐到站立過程中情人體姿態(tài)角度的變化情況相似，因此識別率相近。上下樓梯運動的識別率最低，原因是上下樓梯過程較為復(fù)雜，運動中由于用力不均導(dǎo)致人體姿態(tài)變化偏離正常角度范圍，導(dǎo)致采集的信息出現(xiàn)偏差，從而影響了結(jié)果的判斷。實驗結(jié)果驗證了信息融合的方法比使用單一傳感器能夠更精確地識別出人體不同的日常運動狀態(tài)。

4　結(jié)論

人體運動模式識別技術(shù)在助老助殘、健康監(jiān)護(hù)以及輔助醫(yī)療領(lǐng)域擁有廣泛的應(yīng)用前景，其潛在價值有待進(jìn)一步的挖掘。本文通過使用加速度傳感器和陀螺儀采集人體在不同運動模式下姿態(tài)角度的變化信息，將多傳感器數(shù)據(jù)信息進(jìn)行融合提取特征角度值，構(gòu)建HMM運動模型，根據(jù)融合特征值識別運動模式。實驗結(jié)果表明本文方法能有效識別人體不同的日?；顒印Ｏ乱徊降墓ぷ鲗⑨槍Ω┥韽澭?、跑步以及跳躍等較復(fù)雜的動作進(jìn)行分類識別研究。

[1] 李冬, 梁山. 基于加速度傳感器的老年人跌倒檢測裝置設(shè)計[J]. 傳感器與微系統(tǒng), 2008,27(9):85-88.

[2] Yu X G. Approaches and principles of fall detection for elderly and patient[A]. Proceedings of the 10th IEEE International Conference on e-health Networking,Applicationsand Services[C]. Singapore, 2008:42-47.

[3] Alexiadis D S, Zarpalas D, Daras P. Real-Time, Full 3-D Reconstruction of Moving Foreground Objects from Multiple Consumer Depth Cameras[J]. IEEE Transactions on Multimedia, 2013,15(2):339-358.

[4] Mansur A, Makihara Y, Yagi Y. Inverse dynamics for action recognition[J]. IEEE Transactions on Cybernetics, 2013,43(4):1226-1236.

[5] 秦勇, 臧希喆, 王曉宇, 等. 基于MEMS慣性傳感器的機(jī)器人姿態(tài)檢測系統(tǒng)的研究[J].傳感技術(shù)學(xué)報, 2007,20(2):298-301.

[6] Wingrave C A, Williamson B, Varcholik Paul D, et al. The Wiimote and Beyond: Spatially Convenient Devices for 3D User Interfaces[J]. IEEE Computer Graphics and Applications, 2010,30(2):71-85.

[7] 趙蕊, 賀建軍. 多傳感器信息融合技術(shù)[J]. 計算機(jī)測量與控制, 2007, 15(9): 1124-1126.

[8] 曹玉珍, 蔡偉超, 程旸. 基于MEMS加速度傳感器的人體姿態(tài)檢測技術(shù)[J]. 納米技術(shù)與精密工程, 2010,8(1):37-41.

Research of Human Motion Recognition Based on Multi-Sensor Data Fusion

Zhang Yi1，Ren Tonghui1，Luo Yuan2

(1.Information Accessibility Engineering R&D Center, Chongqing University of Posts and Telecommunications,Chongqing400065, China; 2.Key Laboratory of Optical Fibler Communication Technology, Chongqing University of Posts and Telecommunications, Chongqing400065, China)

To deal with the problem of large deviation of single sensor in the human motion attitude recognition monitoring, an human motion recognition method based on data fusion between acceleration transducer and gyroscope is proposed. In the method, the attitude angle output by acceleration transducer is modified by the human motion information output by gyroscope, multi-sensor data fusion is achieved by using Kalman filtering algorithm to effectively improve the accuracy of attitude angle measurement. According to the daily movement of human body, Hidden Markov Model based on attitude angle feature is built for human motion recognition. Experiments show that, the proposed method performs better with higher accuracy rate than method using single sensor, which can effectively distinguish between different daily activities.

motion pattern recognition; Kalman filtering; data fusion; attitude detection

2015-08-02；

2015-11-11。

科技部國際合作項目(2010DFA12160)；國家自然科學(xué)基金(51075420)。

張毅(1966-)，男，重慶潼南人，教授，博士生導(dǎo)師，主要從事機(jī)器人、多模人-機(jī)接口與信息無障礙技術(shù)方向的研究。

羅元(1972-)，女，貴州貴陽人，教授，碩士生導(dǎo)師，主要從事機(jī)器視覺、智能信號處理和數(shù)字圖像處理方向的研究。

1671-4598(2016)01-0303-05

10.16526/j.cnki.11-4762/tp.2016.01.084

TP391.4

A