基于特征選擇加權(quán)支持向量機(jī)的運(yùn)動(dòng)模式識(shí)別

北京信息科技大學(xué)高動(dòng)態(tài)導(dǎo)航技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100101

一、引言

人體運(yùn)動(dòng)模式識(shí)別是指對(duì)人體多種運(yùn)動(dòng)狀態(tài)的感知過(guò)程，主要通過(guò)對(duì)傳感器數(shù)據(jù)的分析，實(shí)現(xiàn)運(yùn)動(dòng)模式的識(shí)別[1]。在行人導(dǎo)航航位推算系統(tǒng)中，準(zhǔn)確的運(yùn)動(dòng)模式認(rèn)知，有助于準(zhǔn)確獲得行為軌跡，可應(yīng)用于老弱病殘等群體日常看護(hù)、行人導(dǎo)航、消防救援等領(lǐng)域[2]。

FederiaInderst等人[3]通過(guò)腰部穿戴IMU單元測(cè)量慣性數(shù)據(jù)，提取標(biāo)準(zhǔn)差、幅值范圍和最值作為分類(lèi)特征，采用兩級(jí)分類(lèi)方式，實(shí)現(xiàn)分類(lèi)正確率為87.56%。Thomas Moder等人[4]提取行人運(yùn)動(dòng)的最大值、均值、標(biāo)準(zhǔn)差、均方差、四分位差和頻率為分類(lèi)特征，采用決策樹(shù)進(jìn)行運(yùn)動(dòng)分類(lèi)與識(shí)別，識(shí)別率為89%。NatthaponPannurat等人[5]提取多種時(shí)域數(shù)據(jù)作為分類(lèi)特征，對(duì)八種分類(lèi)算法進(jìn)行評(píng)估，SVM分類(lèi)方法對(duì)運(yùn)動(dòng)模式識(shí)別率為91%。

但以往方法，均存在選取的特征向量信息重疊的情況，沒(méi)有解決特征冗余的問(wèn)題。基于這些研究，本文基于Relief-F算法對(duì)IMU提取的特征向量進(jìn)行權(quán)重估計(jì)，根據(jù)Relief-F算法構(gòu)造一個(gè)特征元素權(quán)重向量，增大不同類(lèi)特征向量的差異性，作為輸入進(jìn)行支持向量機(jī)分類(lèi)計(jì)算，識(shí)別站立、走、跑、跳、跌倒、上樓、下樓7種運(yùn)動(dòng)狀態(tài)，提高了人體運(yùn)動(dòng)模式識(shí)別分類(lèi)的精度和效率。

二、系統(tǒng)介紹

1、數(shù)據(jù)采集和處理

本文采用法國(guó)SBG Systems公司的MEMS慣性測(cè)量單元Ellipse-N進(jìn)行測(cè)試，模塊安裝在測(cè)試人員腰部，如圖1所示，依照右手笛卡爾坐標(biāo)系，傳感器的x軸與地面垂直，y軸與地面平行，z軸指向人體運(yùn)動(dòng)前進(jìn)方向。

對(duì)傳感器原始數(shù)據(jù)預(yù)處理以提取運(yùn)動(dòng)傳感器的時(shí)域特征，采用3階巴特沃斯低通濾波，截止頻率fc=5Hz，如圖2所示?？梢钥闯觯瑪?shù)據(jù)經(jīng)過(guò)預(yù)處理后，消除了噪聲，保留了加速度信號(hào)的特征，信號(hào)更加平滑，系統(tǒng)的分類(lèi)準(zhǔn)確度明顯提高。

2、特征提取

特征提取對(duì)于多運(yùn)動(dòng)模式識(shí)別的精度有很大的影響。慣性測(cè)量單元Ellipse-N采集三軸加速度信號(hào)和三軸角速度信號(hào)，其中每軸數(shù)據(jù)都可以提取出不同的特征量。因?yàn)闀r(shí)域特征的提取計(jì)算復(fù)雜度低、耗時(shí)短[6]，所以本文選取適用于實(shí)時(shí)性要求較高的系統(tǒng)的多種時(shí)域特征。用n來(lái)表示一個(gè)時(shí)間窗口的大小，即窗口內(nèi)數(shù)據(jù)的行數(shù)，用i來(lái)表示第i行數(shù)據(jù)。

取三軸合加速度A為特征提取與分類(lèi)的初始數(shù)據(jù)，ax、ay、az分別為加速度計(jì)的三軸數(shù)據(jù)。在確保精度的同時(shí)，要減少計(jì)算復(fù)雜性。合加速度公式為：

特征向量β由多個(gè)時(shí)域特征元素βi(i∈{1, 2, 3, 4,5, 6})構(gòu)成，特征向量公式為：

式中，β1—方差；

β2—四分位間距；

β3—峰值；

β4—加速度均值；

β5—過(guò)均值點(diǎn)個(gè)數(shù)；

β6—幅值。

（1）方差

設(shè)x1,x2,…,xn是角速度傳感器數(shù)據(jù)x的一個(gè)樣本，特征元素方差β1公式如下式所示：

圖3為多種模式下方差的分布。圖中定義每50個(gè)數(shù)據(jù)點(diǎn)劃分為一個(gè)窗口，模擬實(shí)時(shí)情況下的數(shù)據(jù)處理。

（2）四分位間距

取特征元素β2為四分位間距，把加速度計(jì)x軸的數(shù)據(jù)ax從小到大排列為ax1,ax2,...axn，并均分為四份，處于三個(gè)分割點(diǎn)位置的數(shù)值即為四分位數(shù)（Quartile）。第三個(gè)四分位數(shù)和第一個(gè)四分位數(shù)的差值即為四分位間距（InterQuartile Range，IQR），計(jì)算公式為：

式中：IQR—四分位間距；

Q1—第一個(gè)四分位數(shù)；

Q3—第三個(gè)四分位數(shù)。

四分位間距的分布情況如圖4所示。

（3）均值

特征元素加速度均值β3，分布情況如圖5所示，計(jì)算公式如下：

（4）最大值

特征元素加速度最大值β4，可反應(yīng)加速度信號(hào)在一個(gè)周期內(nèi)的變化強(qiáng)度，峰值絕對(duì)值越大，說(shuō)明運(yùn)動(dòng)幅度越大，可用來(lái)區(qū)分運(yùn)動(dòng)和靜止的狀態(tài)模式。最大值的分布情況如圖6所示，計(jì)算公式如下。

其中，A—特征元素幅值。

（5）過(guò)均值點(diǎn)個(gè)數(shù)

特征元素過(guò)均值點(diǎn)個(gè)數(shù)β4，計(jì)算公式為：

（6）幅值

特征元素幅值β6，定義為最大值和最小值之差，計(jì)算公式為：

三、算法描述[10]

1、Relief-F算法

Relief-F（Relevant Features）是Relief算法的擴(kuò)展，由Kononenko[7]于1994年在Kira工作的基礎(chǔ)上提出的一種處理多類(lèi)別特征選擇算法。這是一種過(guò)濾式特征選擇方法，也叫特征權(quán)重算法，根據(jù)各個(gè)特征和類(lèi)別的相關(guān)性賦予不同的權(quán)重，權(quán)重值小于某個(gè)閾值的特征將被剔除，僅能處理兩類(lèi)別數(shù)據(jù)。

設(shè)D={X1,X2,...,Xm}(i=1, 2…m)是待進(jìn)行分類(lèi)的對(duì)象全體，Xi為其中任意一個(gè)樣本，xi=[xi1,xi2,…,xin]T（p=1, 2…n）表示Xi的n個(gè)特征值，λi=[ai1,ai2,…,ain]T（p=1, 2…n）表示Xi各維特征值的權(quán)值。從D中隨機(jī)選擇樣本Xi以后，從和Xi同類(lèi)的樣本中尋找k個(gè)最近鄰樣本H={H1,H2,...,Hk}(j=1, 2…k) (特征值hj=[hj1,hj2,…,hn]Tp=1,2…n)，稱(chēng)為Near Hit，從和Xi不同類(lèi)的樣本中尋找k個(gè)最近鄰樣本M={M1,M2,...,Mk}(j=1,2…k) (特征值mj=[mj1,mj2,…,mn]Tp=1,2…n)，稱(chēng)為Near Misses。

設(shè)diff_hiti是n×1的矩陣，表示Xi和H在每個(gè)特征上的差異：

其中，max(xi) 、min(xi)—特征值中最大值和最小值。

設(shè)diff_missi是n×1的矩陣，表示Xi和M在每個(gè)特征上的差異：

其中，P(L)—待分類(lèi)類(lèi)別的概率，是第L類(lèi)的樣本數(shù)與數(shù)據(jù)集中樣本的總數(shù)之比。

此過(guò)程重復(fù)m次進(jìn)行迭代，權(quán)重值由下式更新：

由此，得到特征集中每一個(gè)特征的權(quán)重值向量λm。

2、SVM分類(lèi)方法

支持向量機(jī)（Support Vector Machine，SVM）通過(guò)構(gòu)造一個(gè)分類(lèi)函數(shù)或分類(lèi)器，把數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)非線(xiàn)性映射到一個(gè)高維特征空間中，從而進(jìn)行線(xiàn)性分類(lèi)，然后在新特征空間中構(gòu)造最優(yōu)分類(lèi)面，形成樣本分類(lèi)，可用于預(yù)測(cè)未知數(shù)據(jù)[8]。SVM算法簡(jiǎn)單，魯棒性好，在過(guò)擬合、運(yùn)算速度和分類(lèi)精度等方面都比傳統(tǒng)的分類(lèi)算法具有明顯的優(yōu)勢(shì)。

考慮線(xiàn)性可分的分類(lèi)問(wèn)題，設(shè)訓(xùn)練樣本集合為：

其中，每一個(gè)xi對(duì)應(yīng)一個(gè)數(shù)據(jù)向量；yi是xi對(duì)應(yīng)的類(lèi)標(biāo)簽；d為空間維數(shù)。

設(shè)d維空間中線(xiàn)性判別函數(shù)的一般形式為：

其中，w—法向量；

b—偏移量，超平面與原點(diǎn)的距離；

(w*,b*) —最優(yōu)解。

根據(jù)SVM的基本思想，如果超平面分類(lèi)線(xiàn)性函數(shù)f(x)=sign(w*x+b*)可以將訓(xùn)練樣本準(zhǔn)確的區(qū)別開(kāi)，并且使分類(lèi)間隔最大即離超平面最近的距離其實(shí)是最遠(yuǎn)的，則這個(gè)超平面是最優(yōu)超平面[9]，其解(w*,b*)為最優(yōu)解。

對(duì)于線(xiàn)性不可分的線(xiàn)性支持向量機(jī)的學(xué)習(xí)問(wèn)題，變成如下凸二次規(guī)劃問(wèn)題：

其中，ξi—松弛變量；

C—懲罰參數(shù)，C〉0。

設(shè)問(wèn)題（14）的解為(w*,b*)，于是可以得到最優(yōu)分離超平面w*x+b*=0及分類(lèi)決策函數(shù)f(x)=sign(w*x+b*)。

對(duì)于非線(xiàn)性可分的運(yùn)動(dòng)模式分類(lèi)問(wèn)題要引入核函數(shù)，將訓(xùn)練樣本映射到高維空間，問(wèn)題可轉(zhuǎn)變?yōu)榫€(xiàn)性可分。核函數(shù)的加入將分類(lèi)模型轉(zhuǎn)變?yōu)橄铝泄剑?/p>

其中，K(xi,x)—核函數(shù)。

則式（14）中的優(yōu)化問(wèn)題變成如下形式：

3、基于Relief-F的SVM運(yùn)動(dòng)模式分類(lèi)算法

對(duì)于非線(xiàn)性可分的運(yùn)動(dòng)模式分類(lèi)問(wèn)題要引入核函數(shù)，把特征權(quán)向量和核函數(shù)二者結(jié)合起來(lái)，可以得到特征加權(quán)核函數(shù)，然后再應(yīng)用到非線(xiàn)性SVM中，為得到較佳的實(shí)驗(yàn)效果，選擇高斯核函數(shù)作為高斯徑向基函數(shù)分類(lèi)器的核函數(shù)。

（1）收集原始樣本數(shù)據(jù)集D：

（2）根據(jù)Relief- F算法分別計(jì)算每個(gè)特征向量的權(quán)值（m=30，迭代30次），得出下式[7]：

剔除特征屬性權(quán)重值最小的β5，從上述權(quán)重值可以看出，方差、均值、四分位間距等都是分類(lèi)主要的影響因素，增大其權(quán)重值（按照踢出的權(quán)重值取平均，加在各個(gè)權(quán)值里），由此構(gòu)造新的特征權(quán)重向量:

（3）選取高斯核函數(shù)K(x,xc)：

其中，xc—核函數(shù)中心；

σ—核函數(shù)的寬度參數(shù)，控制函數(shù)的徑向作用范圍。

選取適當(dāng)?shù)膮?shù)C，構(gòu)造并求解最優(yōu)化問(wèn)題：

其中，α—拉格朗日乘子。

（4）選擇α*的一個(gè)正分量計(jì)算：

由此構(gòu)造決策函數(shù)：

四、實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提出方法的有效性，設(shè)計(jì)了測(cè)試實(shí)驗(yàn)。實(shí)驗(yàn)人數(shù)30（男性20名，女性10名），按要求完成站立、走、跑、跳、跌倒、上樓、下樓7種運(yùn)動(dòng)模式。在實(shí)驗(yàn)過(guò)程對(duì)測(cè)試人員的行為不作任何約束，跌倒實(shí)驗(yàn)在4m×1m×0.2m的海綿墊子上完成。

本文進(jìn)行兩組對(duì)比實(shí)驗(yàn)，分別采用多時(shí)域特征向量和基于Relief-F特征加權(quán)的多時(shí)域特征向量作為SVM運(yùn)動(dòng)模式識(shí)別的數(shù)據(jù)。數(shù)據(jù)分別在系統(tǒng)平臺(tái)上實(shí)驗(yàn)驗(yàn)證，以分類(lèi)準(zhǔn)確度（一種運(yùn)動(dòng)模式被分類(lèi)器判定為其所屬類(lèi)別的幾率）作為評(píng)判標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果如表1～表4所示。

表1、表2為第一組實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)采用多時(shí)域特征向量作為SVM運(yùn)動(dòng)模式識(shí)別的數(shù)據(jù)。其中表1為7種運(yùn)動(dòng)模式的分類(lèi)準(zhǔn)確度?？梢钥闯觯捎谂c其它幾種動(dòng)作的區(qū)分度較大，站立的準(zhǔn)確度達(dá)到100%；而坐、跳和跌倒、上樓和下樓區(qū)分度較小，準(zhǔn)確度較低。表2列出了7種運(yùn)動(dòng)模式的混淆情況，跳、跌倒之間易錯(cuò)誤識(shí)別，上樓、下樓易誤識(shí)別為走。

表3和表4列出了第二組實(shí)驗(yàn)的結(jié)果，實(shí)驗(yàn)采用基于Relief-F特征加權(quán)的多時(shí)域特征向量作為SVM運(yùn)動(dòng)模式識(shí)別的數(shù)據(jù)。對(duì)于較難區(qū)分的上樓和下樓，識(shí)別精度提高了5%，跌倒的識(shí)別精度提高了7%。

由此可以看出，采用本文提出的方法在訓(xùn)練時(shí)間上好于傳統(tǒng)的SVM分類(lèi)器。采用相同服務(wù)器進(jìn)行測(cè)試，傳統(tǒng)SVM訓(xùn)練平均時(shí)間為3s，而本文平均為1.5s，僅為傳統(tǒng)方法耗時(shí)的1/2，顯示出其時(shí)間上的優(yōu)勢(shì)。

表1 第一組實(shí)驗(yàn)7種運(yùn)動(dòng)模式的分類(lèi)準(zhǔn)確度

表2 第一組實(shí)驗(yàn) 7種運(yùn)動(dòng)模式的混淆矩陣

表3 第二組實(shí)驗(yàn)7種運(yùn)動(dòng)模式的分類(lèi)準(zhǔn)確度

表4 第二組實(shí)驗(yàn)中7種運(yùn)動(dòng)模式的混淆矩陣

五、結(jié)束語(yǔ)

基于對(duì)Relief-F特征加權(quán)SVM的人體運(yùn)動(dòng)模式識(shí)別算法的詳細(xì)闡述，對(duì)多種運(yùn)動(dòng)狀態(tài)樣本集進(jìn)行了分類(lèi)。實(shí)驗(yàn)結(jié)果表明，這種方法在分類(lèi)準(zhǔn)確率上優(yōu)于傳統(tǒng)的SVM分類(lèi)器，具有計(jì)算準(zhǔn)確度高、高效、簡(jiǎn)單的特點(diǎn)。