基于Xception-LSTM的下肢運(yùn)動(dòng)能力評(píng)價(jià)方法

張燕，王銘玥，王婕，姜愷寧，張?bào)揸?/p>

1.河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津市 300130；2.鄭州大學(xué)國(guó)際學(xué)院，河南鄭州市450001

我國(guó)老齡化問(wèn)題日趨顯著[1]。預(yù)計(jì)到2050 年，老年人口將超4 億。大部分老年人會(huì)出現(xiàn)嚴(yán)重的運(yùn)動(dòng)障礙，步態(tài)特征發(fā)生明顯變化[2-3]，通過(guò)評(píng)估下肢能力可為配備相應(yīng)的助行設(shè)備提供參考。有必要對(duì)老年人下肢運(yùn)動(dòng)能力進(jìn)行量化評(píng)估[4]。

目前，一般采用評(píng)價(jià)量表和步態(tài)指數(shù)對(duì)運(yùn)動(dòng)能力進(jìn)行評(píng)估。大部分評(píng)價(jià)量表基于《國(guó)際功能、殘疾和健康分類(lèi)》標(biāo)準(zhǔn)演化而來(lái)，根據(jù)國(guó)情改進(jìn)評(píng)估內(nèi)容并進(jìn)行等級(jí)劃分[5-6]。如日本根據(jù)身體功能、精神行動(dòng)障礙等方面評(píng)估老年人活動(dòng)能力，美國(guó)的評(píng)估工具最小數(shù)據(jù)庫(kù)(Minimum Data Set,MDS)和澳大利亞的養(yǎng)老護(hù)理評(píng)估表(Aged Care Funding Instrument,ACFI)等[7-9]。這些量表存在耗時(shí)長(zhǎng)、主觀性強(qiáng)等弊端，且準(zhǔn)確性主要依靠醫(yī)師的經(jīng)驗(yàn)和水平。此外，一些研究提出采用步態(tài)指數(shù)來(lái)實(shí)現(xiàn)病理步態(tài)的定量分析，如吉萊特步態(tài)指數(shù)(Gillette Gait Index,GGI)、步態(tài)偏差指數(shù)(Gait Deviation Index,GDI)、步態(tài)外形分?jǐn)?shù)(Gait Profile Score,GPS)、步態(tài)變異指數(shù)(Gait Variability Index,GVI)和分類(lèi)定向步態(tài)評(píng)分(Classifier Oriented Gait Score,COGS)等[10-13]。這些步態(tài)指數(shù)能夠準(zhǔn)確評(píng)估運(yùn)動(dòng)能力，但由于采集過(guò)程和特征提取過(guò)程復(fù)雜，并不適合老年人下肢運(yùn)動(dòng)能力的評(píng)估。

本研究提出一種基于Xception、長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM) 并聯(lián)的Xception-LSTM 網(wǎng)絡(luò)與核主成分分析(kernel principal component analysis,KPCA)相結(jié)合的下肢運(yùn)動(dòng)能力評(píng)估方法。在此基礎(chǔ)上，建立融合步態(tài)圖像特征、膝關(guān)節(jié)角度和地面反作用力(ground reaction force,GRF)的下肢運(yùn)動(dòng)能力評(píng)估指標(biāo)步行能力評(píng)分(gait ability score,GAS)。

1 資料與方法

1.1 一般資料

2016 年8 月至2017 年3 月，選取學(xué)校和周邊社區(qū)自愿參與本研究的中老年人和年輕健康人共40例。通過(guò)威斯康辛步態(tài)量表(Wisconsin Gait Scale,WGS)對(duì)受試者進(jìn)行評(píng)估。WGS 是基于步行視頻的用于評(píng)定步態(tài)異常的半主動(dòng)評(píng)定方法，總分45分，分?jǐn)?shù)越高，表明步態(tài)異常越嚴(yán)重。根據(jù)專(zhuān)業(yè)醫(yī)師的評(píng)分建議，本研究將試驗(yàn)對(duì)象分為不具有任何運(yùn)動(dòng)障礙的20～39 歲的年輕健康人作為對(duì)照組，共20 例，WGS 評(píng)分14 分；40～59 歲的中年組共10 例，WGS 評(píng)分15～30 分；60～70 歲的老年組共10 例，WGS 評(píng)分31～45 分。中年組、老年組作為試驗(yàn)組。對(duì)所有受試者進(jìn)行不借助任何儀器或協(xié)助的步態(tài)信息采集。

1.2 數(shù)據(jù)采集

采用Vicon MX三維步態(tài)采集設(shè)備(英國(guó)VICON公司)進(jìn)行數(shù)據(jù)采集。將反光標(biāo)記球固定在人體下肢的各個(gè)標(biāo)記點(diǎn)處，通過(guò)視頻捕捉設(shè)備記錄受試者的運(yùn)動(dòng)狀況，得到受試者在三維空間的運(yùn)動(dòng)信息；通過(guò)測(cè)力板采集腳底的壓力信息。得到受試者行走時(shí)步態(tài)視頻、膝關(guān)節(jié)角度和GRF。

1.3 評(píng)估模型的建立

采用ViBe 算法對(duì)步態(tài)視頻進(jìn)行預(yù)處理，提取步態(tài)輪廓圖像。采用Xception-LSTM 網(wǎng)絡(luò)提取步態(tài)輪廓圖像特征，并與膝關(guān)節(jié)角度、GRF 串聯(lián)成融合特征。最后經(jīng)KPCA降維處理，生成GAS。

1.3.1Xception-LSTM網(wǎng)絡(luò)特征提取

Xception-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)是由在ImageNet 上預(yù)訓(xùn)練的Xception 和LSTM 并聯(lián)結(jié)合。其中，Xception 包括14個(gè)卷積塊(Block_1～Block_14)。見(jiàn)圖1。

經(jīng)網(wǎng)絡(luò)訓(xùn)練，采用遷移學(xué)習(xí)，將在ImageNet數(shù)據(jù)庫(kù)上預(yù)訓(xùn)練的模型參數(shù)作為Xception 的初始化參數(shù)。首先，Xception 網(wǎng)絡(luò)的所有卷積塊參數(shù)不動(dòng)，僅訓(xùn)練LSTM 網(wǎng)絡(luò)；然后訓(xùn)練整個(gè)Xception-LSTM 模型；再根據(jù)采集的步態(tài)圖像數(shù)據(jù)集對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，以提高模型準(zhǔn)確率和泛化能力；最后，利用神經(jīng)網(wǎng)絡(luò)注意機(jī)制合并由Xception 和LSTM 產(chǎn)生的兩個(gè)特征，得到全連接層特征FC，并與膝關(guān)節(jié)角度、GRF 數(shù)據(jù)經(jīng)特征歸一化后串聯(lián)融合成融合特征。見(jiàn)圖2。

1.3.2特征歸一化

圖1 Xception-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

圖2 Xception-LSTM特征提取與特征融合

對(duì)Xception-LSTM 提取的步態(tài)圖像特征與膝關(guān)節(jié)角度、GRF 串聯(lián)成的融合特征矩陣M=[m1,m2,...,mk]l×k歸一化，l為特征融合后的維度，k為實(shí)驗(yàn)對(duì)象的人數(shù)，mi為第i個(gè)受試者的融合特征。計(jì)算每一名受試者的均值μi和方差σi，將M歸一化為[0,1]范圍內(nèi)的MG，公式為：

1.3.3特征降維與GAS建立

在KPCA 中，通過(guò)定義閾值(E)和方差貢獻(xiàn)度(VAF)，確定降維后的特征維度。利用降維后的特征[c1,c2,...,ck]r×k建立GAS。

任意受試者的融合特征cα與年輕健康組融合特征向量平均值偏差為：

計(jì)算原始的GAS：

對(duì)年輕健康組的均值與方差進(jìn)行Z-Score標(biāo)準(zhǔn)化：

對(duì)所有受試者，可用下式進(jìn)行定量評(píng)估：

GAS ≥100，運(yùn)動(dòng)能力正常；GAS越小，運(yùn)動(dòng)障礙越嚴(yán)重。

1.4 統(tǒng)計(jì)學(xué)分析

采用SPSS 19.0 軟件進(jìn)行統(tǒng)計(jì)學(xué)分析。組間GAS比較采用t檢驗(yàn)，WGS 評(píng)分與GAS 進(jìn)行Pearson 相關(guān)性分析。顯著性水平α=0.05。

2 結(jié)果

中年組和老年組的GAS 均明顯低于年輕健康組(P＜0.01)，且老年組明顯低于中年組(P＜0.01)。見(jiàn)表1。GAS與WGS評(píng)分呈負(fù)相關(guān)(r=-0.91,P ＜0.01)。見(jiàn)圖3。

表1 三組間GAS比較

圖3 GAS與WGS的相關(guān)性分析

3 討論

本研究利用視頻信息和運(yùn)動(dòng)信息，實(shí)現(xiàn)人體運(yùn)動(dòng)能力客觀評(píng)價(jià)，為康復(fù)訓(xùn)練方案的制定和輔助行走設(shè)備的控制奠定基礎(chǔ)。

人體衰老后，多種因素相互作用，造成肌肉萎縮和身體功能下降。大部分運(yùn)動(dòng)功能評(píng)價(jià)方法在步態(tài)分析中只用到矢狀面的下肢關(guān)節(jié)運(yùn)動(dòng)信息或部分關(guān)節(jié)在特定姿態(tài)下的運(yùn)動(dòng)信息，而人體步行過(guò)程涉及中樞命令和下肢各關(guān)節(jié)的協(xié)同運(yùn)作，任何正常步態(tài)產(chǎn)生環(huán)節(jié)或各環(huán)節(jié)的相互聯(lián)系出現(xiàn)問(wèn)題都會(huì)引起異常步態(tài)[14-15]。老年人肌肉力量下降，身體控制能力減弱，平衡穩(wěn)定性不足，行走時(shí)為避免跌倒損傷，足跟著地時(shí)會(huì)加倍小心。這種身體保護(hù)機(jī)制，導(dǎo)致足底壓力分布發(fā)生變化[16-17]。隨著年齡增長(zhǎng)，膝關(guān)節(jié)和小腿的靈活性顯著下降，膝關(guān)節(jié)活動(dòng)范圍變小，小腿離地?cái)[動(dòng)角速度下降，發(fā)生步態(tài)變化[18]。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)在計(jì)算機(jī)視覺(jué)、圖像識(shí)別和心電圖分類(lèi)等領(lǐng)域成效卓然，通過(guò)大量數(shù)據(jù)訓(xùn)練的CNN 能夠提取具有代表性的數(shù)據(jù)特征[19-22]。與傳統(tǒng)特征相比，高層的深度特征與低層特征結(jié)合能夠得到更具表達(dá)能力的特征信息。文獻(xiàn)[23]用CNN 自動(dòng)提取乳腺圖像特征并結(jié)合形態(tài)和紋理特征，建立一個(gè)乳腺腫瘤分類(lèi)模型，準(zhǔn)確性很高。LSTM 作為循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的一種變體結(jié)構(gòu)，能更好地挖掘序列時(shí)間信息[24-26]。文獻(xiàn)[27]將CNN 和LSTM 結(jié)合用于手勢(shì)識(shí)別，性能優(yōu)于單獨(dú)使用CNN 或LSTM?？紤]到步態(tài)視頻能夠直觀反映人體運(yùn)動(dòng)狀態(tài)，且步態(tài)圖像前后信息之間存在時(shí)序相關(guān)性，為能提取步態(tài)圖像中包含的時(shí)空特征，并有效地學(xué)習(xí)步態(tài)圖像的結(jié)構(gòu)特征，本研究將CNN與LSTM結(jié)合提取步態(tài)圖像特征。

本研究提出一種基于Xception 與LSTM 結(jié)合的下肢運(yùn)動(dòng)能力評(píng)價(jià)方法，通過(guò)效果最優(yōu)的Xception-LSTM提取步態(tài)視頻圖像的步態(tài)特征，與膝關(guān)節(jié)角度、GRF 融合后建立步態(tài)指標(biāo)對(duì)老年人的下肢運(yùn)動(dòng)能力進(jìn)行評(píng)估。結(jié)果顯示，年齡對(duì)膝關(guān)節(jié)、GRF 等影響顯著，隨著年齡增長(zhǎng)，各項(xiàng)功能均有顯著下降，GAS也明顯降低，說(shuō)明GAS可以客觀量化老年人下肢運(yùn)動(dòng)能力。GAS 與WGS 呈顯著負(fù)相關(guān)，說(shuō)明GAS 在老年人下肢運(yùn)動(dòng)能力評(píng)估方面的有效性與臨床相關(guān)性。

本算法通過(guò)提取步態(tài)特征并由此建立指標(biāo)，使得針對(duì)老年人下肢運(yùn)動(dòng)能力系統(tǒng)、量化的評(píng)估成為可能。但本研究仍存在不足之處。在未來(lái)的研究當(dāng)中可以增加受試者的數(shù)量，顯示各年齡段的運(yùn)動(dòng)能力；針對(duì)不同障礙程度的老年人，提供不同的康復(fù)指導(dǎo)。