基于Tsfresh-RF特征提取的人體步態(tài)識別算法①

張曉東,陳 煒,孫玉超,魏麗璞

1(天津理工大學(xué) 機(jī)械工程學(xué)院 天津市先進(jìn)機(jī)電一體化系統(tǒng)設(shè)計(jì)與智能控制重點(diǎn)實(shí)驗(yàn)室,天津 300384)

2(天津理工大學(xué) 機(jī)械工程學(xué)院 機(jī)電工程國家級實(shí)驗(yàn)教學(xué)示范中心,天津 300384)

3(天津理工大學(xué) 中環(huán)信息學(xué)院,天津 300350)

4(軍事科學(xué)院系統(tǒng)工程研究院 衛(wèi)勤保障技術(shù)研究所,天津 300161)

近年來,越來越多的下肢外骨骼機(jī)器人被應(yīng)用在醫(yī)療、軍事、工業(yè)等領(lǐng)域[1].在這些設(shè)備的控制中,準(zhǔn)確的步態(tài)數(shù)據(jù)檢測和識別顯得尤為重要.通過深入研究,下肢外骨骼已朝著更智能的人機(jī)協(xié)作方向發(fā)展,許多研究者通過檢測穿戴者的運(yùn)動意圖來提高步態(tài)識別能力,從而增強(qiáng)人機(jī)協(xié)調(diào)能力[2,3].

以往對不同步態(tài)數(shù)據(jù)檢測的研究主要通過肌電(EMG)傳感器[4]、慣性(IMU)傳感器[5]、足壓傳感器[6]和電容傳感器[7]等實(shí)現(xiàn).例如Kuang 等[8]利用膠水將足底壓力傳感器粘貼在鞋墊上,將肌電傳感器直接粘貼在受試者的小腿皮膚上來采集人體步態(tài)數(shù)據(jù).但由于粘貼不牢靠和肌肉的特殊性,這些信號是不穩(wěn)定的,對受試者產(chǎn)生了很大不便.慣性傳感器和電容傳感器都需要綁帶綁在人體身上采集數(shù)據(jù),不同的是電容傳感器受到了皮膚狀況和汗液的影響[9,10].采集到的數(shù)據(jù)需要特征提取和分類器識別.Li 等[11]使用絕對值和方差積分特征提取,支持向量機(jī)作為分類器來識別五種步態(tài),最終證明個體差異和樣本大小都會影響步態(tài)分類的準(zhǔn)確性.Wu 等[12]提出了一種基于簡化支持向量機(jī)的下肢運(yùn)動識別多分類算法,成功識別站立、行走和上下樓梯的運(yùn)動.Antwi-Afari 等[13]研究建筑工人失衡步態(tài)檢測的最佳分類方法,發(fā)現(xiàn)隨機(jī)森林、K 近鄰、支持向量機(jī)比其他分類器表現(xiàn)更好.

上述工作主要通過不同傳感器采集人體數(shù)據(jù)、提取特征和選擇分類器來提高步態(tài)識別準(zhǔn)確率.盡管這些方法在一定程度可以有效提高步態(tài)識別準(zhǔn)確率,但這一領(lǐng)域的研究范圍和深度仍不夠.Lee 等[14]證明,由于可變環(huán)境因素的影響,無法保證步態(tài)識別的性能,最常見的可變因素有人體負(fù)重、行走速度、傳感器的選擇等;此外,不同傳感器位置和動作幅度也是兩個不容忽視的因素.有學(xué)者基于肌電圖研究了不同傳感器位置步態(tài)識別的影響.例如Huang 等[15]研究表面肌電在左右大腿、左右小腿對8 種步態(tài)識別的影響,結(jié)果平均準(zhǔn)確率達(dá)到92.23%.盡管有這些出色的結(jié)果,但這并不意味著基于IMU 的步態(tài)識別在不同傳感器位置肯定存在同樣的結(jié)論,基于IMU 的不同轉(zhuǎn)彎角度對步態(tài)識別的影響鮮有報(bào)道.此外針對時間序列特征提取是一個非常耗時的過程,因?yàn)榭茖W(xué)家和工程師必須考慮各種信號處理和時間序列分析的算法,來識別和提取有意義的時間特征序列.Chinimilli 等[16]提出包括加速度、角速度在內(nèi)的平均值、標(biāo)準(zhǔn)差、平均絕對差、平均合成加速度、峰值之間的時間等86 個特征提取算法,但特征提取的過程較為復(fù)雜,應(yīng)用范圍局限.

為了提升人體步態(tài)識別準(zhǔn)確率和實(shí)用性,我們采用一種基于Tsfresh 工具和監(jiān)督機(jī)器學(xué)習(xí)隨機(jī)森林算法(RF)來完成步態(tài)模式獲取.Tsfresh 工具用于自動提取過濾步態(tài)時間序列特征,監(jiān)督機(jī)器學(xué)習(xí)隨機(jī)森林算法(RF)用于判定步態(tài)模式.實(shí)驗(yàn)環(huán)節(jié)我們招募4 名健康的志愿者進(jìn)行實(shí)驗(yàn),兩個IMU 傳感器分別綁定在受試者的左大腿前面和右小腿后面,讓受試者模擬九種步態(tài)事件(如站立、坐立、平地行走、上樓梯、下樓梯、轉(zhuǎn)彎30 度、轉(zhuǎn)彎60 度、轉(zhuǎn)彎90 度和轉(zhuǎn)彎180 度)來收集加速度、角速度、角度等數(shù)據(jù).然后將采集的步態(tài)數(shù)據(jù)通過無線藍(lán)牙5.0 傳到計(jì)算機(jī).結(jié)果表明:在人體不同傳感器位置和不同轉(zhuǎn)彎角度步態(tài)下,基于Tsfresh-RF 的算法模型魯棒性較好,是一種有效的、準(zhǔn)確的步態(tài)識別方法.

本文的其余部分組織如下.第1 節(jié)描述了識別算法包括特征提取和分類算法.第2 節(jié)詳細(xì)介紹了實(shí)驗(yàn)的過程和方法.第3 節(jié)是實(shí)驗(yàn)結(jié)果與分析數(shù)據(jù),包括不同傳感器位置對步態(tài)識別影響、3 種算法的比較結(jié)果以及轉(zhuǎn)彎角度的變化對算法識別準(zhǔn)確率的影響.第4 節(jié)得出結(jié)論.

1 Tsfresh-RF 算法

本文提出一種基于Tsfresh 時間序列特征提取和RF 的人體步態(tài)識別算法模型.步態(tài)數(shù)據(jù)獲取采用一種無線多通道傳感器裝置,通過藍(lán)牙5.0與計(jì)算機(jī)連接.具體步態(tài)識別流程如圖1所示.

圖1 基于Tsfresh-RF 算法的步態(tài)識別流程

1.1 Tsfresh 特征提取

采集人體下肢步態(tài)信息時,兩個傳感器采集到的數(shù)據(jù)通過藍(lán)牙同時上傳到計(jì)算機(jī),所以首先需要分割I(lǐng)MU1和IMU2 的數(shù)據(jù),其次需要特征提取,特征提取的主要目的是對原始加速度、角速度、角度等信號進(jìn)行降維,降低模式識別和分類的復(fù)雜性,進(jìn)而提高步態(tài)識別和分類的效率[17].因此,提取范圍廣、復(fù)雜度低、效率高的特征至關(guān)重要[18].本文提取的原始數(shù)據(jù)為時間序列,時間序列是在時間上連續(xù)進(jìn)行的觀測序列[19].本文采用一種Python 包Tsfresh 工具來提取特征,與傳統(tǒng)特征提取方法相比,該算法效率高和范圍廣,且能自動地計(jì)算出大量的時間序列特征[20].時間序列通常包含噪聲、冗余或無關(guān)信息.為了避免提取不相關(guān)的特性,Tsfresh 有一個內(nèi)置的過濾過程.具體流程如圖2所示.

圖2 Tsfresh 特征提取基本流程

本文初步提取13 734 個特征,然后將空值和無效值去掉,最后利用Tsfresh 的特征選擇功能進(jìn)一步過濾掉對識別結(jié)果影響不明顯的特征,得到6993 個特征數(shù)量.

1.2 RF 分類算法

隨機(jī)森林分類器是一種用于分類的集成學(xué)習(xí)技術(shù),由多個決策樹組成.該方法有助于減少模型方差和最小化訓(xùn)練數(shù)據(jù)集的過擬合[21].由于RF 分類器中的每個節(jié)點(diǎn)被分割成有限數(shù)量的隨機(jī)預(yù)測變量,因此相對于SVM和ANN 等其他分類器,它被認(rèn)為是更強(qiáng)大的分類器[22].其算法如算法1.

算法1.RF 分類器T={(xi,yi)■■■xi∈Rd,yi ∈Y} 1≤i≤n輸入:訓(xùn)練集,Rd;隨機(jī)森林的規(guī)模l,隨機(jī)抽取的屬性子集的大小m,測試樣例x;y∈Y輸出:測試樣例x 的類別標(biāo)簽;1.for(;;)i=1i≤1i++2.從訓(xùn)練集T 中按一定比例有放回地隨機(jī)抽取一個子集;3.end for i=1i≤1i++Ti 4.for(;;)5.從d 個屬性中,隨機(jī)地抽取m 個屬性;6.用決策樹樹算法在包含m 個列的樣例集 上構(gòu)建決策樹;7.end for RF={DT1,DT2,···,DTl}TiDTi 8.采用投票機(jī)制,用決策森林 對測試用樣例x 進(jìn)行分類;9.輸出x 的類別y.

為了識別不同類型的步態(tài),機(jī)器學(xué)習(xí)分類器需要從IMU 提取的數(shù)據(jù)特征學(xué)習(xí)獨(dú)特的信號模式.Antwi-Afari 等[13]研究了基于足底壓力的建筑工人失衡步態(tài)檢測的最佳分類方法,發(fā)現(xiàn)隨機(jī)森林、K 近鄰、支持向量機(jī)比其他分類器表現(xiàn)更好.然而,由于分類器的性能取決于數(shù)據(jù)類型和特征類型,大多數(shù)研究表明,不存在單一的最佳分類器[23].因此有必要測試不同的分類器.本研究還將支持向量機(jī)和樸素貝葉斯分類器作為對比.

支持向量機(jī)(SVM)是一種基于統(tǒng)計(jì)學(xué)的機(jī)器學(xué)習(xí)方法.支持向量機(jī)通常在許多二分類問題或多分類問題中表現(xiàn)出出色性能.它是在各類之間尋找最優(yōu)的分離決策超平面,并使每個類的模式[24]之間的距離最大.通過使用核函數(shù)將數(shù)據(jù)集映射到內(nèi)積空間,從而創(chuàng)建一個非線性結(jié)構(gòu),它可以受益于轉(zhuǎn)換特征空間中的最大邊緣超平面[25].

樸素貝葉斯,它是一種簡單但極為強(qiáng)大的預(yù)測建模算法.它的基本思想是根據(jù)給定的待分類數(shù)據(jù),分別求解在該數(shù)據(jù)屬于各個目標(biāo)類別的概率,概率最大的類別即為最終的類別,如式(1)所示.

其中,y是類別,x是待分類項(xiàng).

在樸素貝葉斯中,特征屬性之間相互獨(dú)立的,因此p(yi|x)可以通過式(2)進(jìn)行求解.

其中,α是x的各項(xiàng)特征屬性.

1.3 算法評估

為了消除指標(biāo)之間的量綱和取值范圍差異的影響,需要進(jìn)行標(biāo)準(zhǔn)化處理,將數(shù)據(jù)按照比例進(jìn)行縮放,使之落入一個特定的區(qū)域,便于進(jìn)行綜合分析.我們采用零-均值規(guī)范化即標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化,經(jīng)過處理的數(shù)據(jù)的均值為0,標(biāo)準(zhǔn)差為1.公式為:

其中,x為原始數(shù)據(jù)的均值,σ為原始數(shù)據(jù)的標(biāo)準(zhǔn)差.

同時為了得到可靠穩(wěn)定的分類模型,我們利用五五折交叉驗(yàn)證法評估識別準(zhǔn)確率.將所選數(shù)據(jù)隨機(jī)分成5 份,每一次將其中一份作為測試數(shù)據(jù),其余四分作為訓(xùn)練數(shù)據(jù),這個過程共進(jìn)行5 次.

整體識別準(zhǔn)確率(RA)的計(jì)算方法為:

其中,Ncorr為正確識別測試數(shù)據(jù)的個數(shù),Ntotal為測試數(shù)據(jù)的總數(shù).

由于某些步態(tài)更容易被錯誤地識別為其他步態(tài),因此建立混淆矩陣C來量化誤差,公式如下:

每個元素計(jì)算如下:

其中,nij表示為第i種模式下的測試數(shù)據(jù)量被識別為第j種模式,ni為模式i中測試的總量.當(dāng)cij(i≠j)值較大時,表示模態(tài)i很容易被誤歸為模態(tài)j.

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)采集

本系統(tǒng)選用了基于ICM42605 的九軸姿態(tài)傳感器來實(shí)現(xiàn)對人體運(yùn)動狀態(tài)的測量與跟蹤.WT52HB是一種USB 適配器模塊,內(nèi)置nRf52832 藍(lán)牙芯片.該藍(lán)牙適配器傳輸穩(wěn)定,最遠(yuǎn)距離可達(dá)50 米.在識別系統(tǒng)開始時,同步采集兩個IMU 傳感器數(shù)據(jù)信號.每個IMU生成9 個通道數(shù)據(jù),包括角度3 個通道(偏轉(zhuǎn)、橫搖、俯仰),加速度3 個通道(AccX、AccY、AccZ),角速度3 個通道(GryoX、GryoY、GryoZ).考慮到傳輸效率和信息質(zhì)量,我們將采樣頻率設(shè)為50 Hz,與其他研究者[26]相同.傳感器采集到的信號通過藍(lán)牙模塊傳輸?shù)诫娔X端進(jìn)行濾波、分割、特征提取和歸一化等數(shù)據(jù)處理.然后將處理好的數(shù)據(jù)輸送給3 個分類器訓(xùn)練分類器模型.最后,從分類器的輸出結(jié)果評價(jià)不同傳感器位置和不同步態(tài)對識別結(jié)果的影響.

在研究中,我們招募了4 名身體健全的男性志愿者.年齡范圍:25–26 歲;身高范圍:163.0–177.0 cm;體重范圍:57–71 kg.實(shí)驗(yàn)在溫度、濕度和通風(fēng)條件適宜的環(huán)境下進(jìn)行.這項(xiàng)實(shí)驗(yàn)是根據(jù)《赫爾辛基宣言》的原則進(jìn)行的.

為最大限度獲得有效人體運(yùn)動信息,傳感器節(jié)點(diǎn)的位置應(yīng)慎重選擇.根據(jù)人體下肢運(yùn)動生物力學(xué)[27],我們選擇人體下肢左大腿和右腳踝靠上部位放置姿態(tài)傳感器.如圖3所示.

圖3 IMU1 模塊在左大腿(左);IMU2 模塊在右腳踝靠上部位(右上);藍(lán)牙模塊和傳感器綁帶(右下)

2.2 具體步驟

實(shí)驗(yàn)前,被試者需滿足以下要求:首先,熟悉相關(guān)實(shí)驗(yàn)設(shè)備,如IMU、PC、秒表、綁帶等;其次,不允許進(jìn)行體育鍛煉,以避免疲勞所引起的并發(fā)癥;最后,穿輕薄長褲,以有效固定姿態(tài)傳感器,從而更有效的采集步態(tài)數(shù)據(jù).

實(shí)驗(yàn)研究了站立(ST)、坐立(SI)、上樓梯 (SA)、下樓梯 (SD)、平地正常行走(NW)、轉(zhuǎn)彎30 度(T30)、轉(zhuǎn)彎60 度(T60)、轉(zhuǎn)彎90 度(T90)、轉(zhuǎn)彎180 度(T180) 9 種運(yùn)動模式.每種步態(tài)測試8 次.

在每次試驗(yàn)中,當(dāng)受試者準(zhǔn)備好,他們會向工作人員發(fā)送指令來收集信號.實(shí)驗(yàn)開始時,受試者要求先直立站5 s 使傳感器數(shù)據(jù)平穩(wěn).在站立實(shí)驗(yàn)中受試者被要求在每次試驗(yàn)中保持靜止5 s;在坐立實(shí)驗(yàn)中,受試者被安排坐在42 cm 高的椅子上坐立5 s.在一個寬75 cm,深30 cm,高15.6 cm 的臺階上進(jìn)行上下樓梯實(shí)驗(yàn),每次實(shí)驗(yàn)為3 個步態(tài)周期即8 步.平地正常行走要求受試者按照自己習(xí)慣速度在平地向前行走18 步.在轉(zhuǎn)彎步態(tài)研究中,我們提前設(shè)計(jì)好30 度、60 度、90 度、180 度的左轉(zhuǎn)彎測試角,受試者從轉(zhuǎn)彎開始到結(jié)束約3 個步態(tài)周期即9 步.

每次實(shí)驗(yàn)結(jié)束后,要求受試者休息5 分鐘,以消除因運(yùn)動引起的疲勞,避免對下次實(shí)驗(yàn)產(chǎn)生負(fù)面影響.

3 結(jié)果與討論

3.1 傳感器位置對識別算法影響

從表1可以看出,9 種(ST、SI、NW、SA、SD、T30、T60、T90、T180)步態(tài)的測試平均識別準(zhǔn)確率差異顯著,最高為0.91,最低為0.65.ST、SD 的步態(tài)子階段識別表現(xiàn)最好,在所有子階段都取得了相對較高的準(zhǔn)確率.T180 表現(xiàn)最差,步態(tài)識別準(zhǔn)確率都在0.74以下.步態(tài)T30 出現(xiàn)了0.30、0.25 的特殊情況,這可能和識別分類器有關(guān).

表1 9 種步態(tài)識別準(zhǔn)確率

為了驗(yàn)證Tsfresh-RF 算法模型識別性能,我們分別使用SVM和NB 算法來對比分析.結(jié)果如圖4所示,RF 算法性能明顯高于其它兩個算法,不僅準(zhǔn)確率相對較高,而且步態(tài)識別穩(wěn)定性較強(qiáng).另外兩個IMU 同時識別能夠有效提高識別準(zhǔn)確率.IMU1和IMU2 相比較IMU2 對識別結(jié)果影響顯著.由此說明傳感器位置的放置對步態(tài)識別有重要影響.當(dāng)步態(tài)訓(xùn)練數(shù)據(jù)來自更多位置傳感器時,步態(tài)識別更加準(zhǔn)確.

圖4 不同傳感器位置平均識別率

圖5進(jìn)一步說明了隨機(jī)森林算法在每種步態(tài)識別中的優(yōu)越性.其中針對SI、T30 兩種步態(tài)支持向量機(jī)也表現(xiàn)出一定的分類能力.樸素貝葉斯分類器表現(xiàn)相對較差,只有在SA 步態(tài)識別時3 個分類器識別率相同.

圖5 不同分類器在每種步態(tài)下識別率

3.2 轉(zhuǎn)彎角度對識別算法影響

此外,為了進(jìn)一步研究轉(zhuǎn)彎角度對步態(tài)識別的影響,實(shí)驗(yàn)分別測試了志愿者在轉(zhuǎn)彎30 度、60 度、90 度和180 度情況下的步態(tài).如圖6顯示了不同轉(zhuǎn)彎角度的識別率.發(fā)現(xiàn)RF 表現(xiàn)出較高的準(zhǔn)確率,T60、T90 兩種步態(tài)普遍比T30、T180 兩種步態(tài)識別率高.從轉(zhuǎn)彎幅度分析4 種步態(tài)準(zhǔn)確率從大到小分別是T180、T30、T60、T90.即步態(tài)轉(zhuǎn)彎幅度越大步態(tài)識別率越低.

圖6 不同轉(zhuǎn)彎角度識別準(zhǔn)確率

3.3 混淆矩陣

9種步態(tài)被3 種分類器訓(xùn)練和測試,總體結(jié)果如圖7所示.在矩陣中,橫坐標(biāo)表示真實(shí)值、縱坐標(biāo)表示預(yù)測值.藍(lán)色越深意味著越高的步態(tài)識別精度.主對角線顯示的數(shù)據(jù)是真實(shí)值和預(yù)測值相同的數(shù)據(jù).非主對角線的數(shù)據(jù)顯示的是真實(shí)值和預(yù)測值不一樣的數(shù)據(jù).從每個分類器的混淆矩陣中可以看出,不同分類器對步態(tài)識別結(jié)果有很大影響且RF 準(zhǔn)確性更高一些.用于訓(xùn)練和預(yù)測的數(shù)據(jù)來自不同步態(tài)的情況下,結(jié)果差異明顯.這說明不同步態(tài)識別對結(jié)果具有很大影響.例如NB 用T30 訓(xùn)練和用T30、T60、T90、T180 預(yù)測的結(jié)果(分別為0.25、0.35、0.10、0.30).在其他分類器SVM和RF 中也發(fā)現(xiàn)了類似的結(jié)果.在SVM 中用步態(tài)SA 的數(shù)據(jù)進(jìn)行訓(xùn)練,用SI 數(shù)據(jù)進(jìn)行預(yù)測(SA-SI:0.25)表現(xiàn)最差.RF 最差結(jié)果來自SA-SI(0.25).在NB中,SD-SA和T30-T60 表現(xiàn)最差,分別為0.40和0.35.

圖7 3 種分類器下步態(tài)識別準(zhǔn)確率矩陣

4 結(jié)論與展望

本文采用一種藍(lán)牙無線多通道信號采集裝置來采集人體下肢的加速度、角速度、角度等信號.傳感器分別固定在下肢不同位置,4 名健康的志愿者進(jìn)行實(shí)驗(yàn),模擬九種步態(tài)事件.提出了一種基于Tsfresh-RF 特征提取的人體步態(tài)識別算法模型.同時采用支持向量機(jī)和樸素貝葉斯進(jìn)行比較.結(jié)果表明:(1)在兩個傳感器同時識別下,Tsfresh-RF 獲得了最佳分類效果,9 種步態(tài)平均準(zhǔn)確率達(dá)到91%;(2)傳感器布置位置對步態(tài)識別的準(zhǔn)確性有顯著影響,其中小腿的影響大于大腿且在一定范圍內(nèi)傳感器布置越多準(zhǔn)確率越高;(3)轉(zhuǎn)彎步態(tài)識別率T180＞T30＞T60＞T90,且RF 表現(xiàn)出較好識別率.可以得出結(jié)論:在人體不同傳感器位置和不同轉(zhuǎn)彎角度步態(tài)下,基于Tsfresh-RF 的步態(tài)識別算法模型魯棒性更好,可以實(shí)現(xiàn)更精確的人體步態(tài)識別.此外步態(tài)識別系統(tǒng)訓(xùn)練在單一位置傳感采集是不夠的且動作幅度大小會影響識別準(zhǔn)確率.在未來的研究中,應(yīng)考慮步態(tài)識別系統(tǒng)與外骨骼系統(tǒng)的結(jié)合.此外,還需要研究實(shí)時步態(tài)的識別方法.