基于Kinect的人體非對稱步態(tài)識別及骨骼關(guān)鍵點(diǎn)位置重要性分析

摘" 要：首先利用Kinect采集10名受試者分別模擬正常步態(tài)及4種非對稱步態(tài)時的全身骨骼關(guān)鍵點(diǎn)數(shù)據(jù)，依次對數(shù)據(jù)進(jìn)行濾波去噪、標(biāo)準(zhǔn)化等預(yù)處理過程，然后利用循環(huán)神經(jīng)網(wǎng)絡(luò)模型對上述5種步態(tài)進(jìn)行分類，并通過平均精確率指標(biāo)評價輸入不同數(shù)量和不同位置骨骼關(guān)鍵點(diǎn)時的識別效果。結(jié)果表明，當(dāng)輸入25個骨骼關(guān)鍵點(diǎn)信息時，模型的識別平均精確率為98.8%；當(dāng)輸入相同骨骼關(guān)鍵點(diǎn)數(shù)量（8個和4個）時，下肢骨骼關(guān)鍵點(diǎn)對于人體非對稱步態(tài)的識別重要性大于上肢骨骼關(guān)鍵點(diǎn)。當(dāng)僅輸入2個骨骼關(guān)鍵點(diǎn)時，上肢骨骼關(guān)鍵點(diǎn)對于非對稱步態(tài)的識別重要性大于下肢骨骼關(guān)鍵點(diǎn)。上述研究結(jié)果可以為基于Kinect的人體步態(tài)對稱性分析，尤其是采集方案設(shè)計提供一定的參考。

關(guān)鍵詞：Kinect；步態(tài)對稱性；骨骼關(guān)鍵點(diǎn)；深度學(xué)習(xí)；數(shù)據(jù)處理

中圖分類號：R318" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號：2095-2945（2025）06-0094-05

Abstract： This study initially employed Kinect to capture full-body skeletal keypoint data from 10 subjects simulating both normal gait and four types of asymmetric gaits. The data underwent preprocessing steps such as filtering and normalization. Subsequently， a recurrent neural network（RNN） model was utilized to classify the aforementioned five types of gaits. The classification performance was evaluated using the average precision metric under varying numbers and locations of skeletal keypoints. Results indicate that with 25 skeletal keypoints as input， the model achieved an average precision of 98.8% in gait recognition. Moreover， for the same number of keypoints（8 and 4）， lower limb keypoints were more crucial than upper limb keypoints in identifying human asymmetric gaits. Conversely， when using only 2 keypoints， upper limb keypoints were more significant for gait recognition than lower limb keypoints. These findings contribute insights into Kinect-based analysis of human gait symmetry， particularly in the design of data acquisition protocols.

Keywords： Kinect; gait symmetry; skeletal key point; deep learning; data processing

人體步態(tài)對稱性是指左右兩側(cè)身體結(jié)構(gòu)和運(yùn)動方式的相似性，被視為人體正常行走和運(yùn)動的基礎(chǔ)。不同類型的運(yùn)動障礙、肌肉骨骼疾病以及神經(jīng)系統(tǒng)疾病都會導(dǎo)致人體步態(tài)的非對稱性，因此對人體非對稱性步態(tài)的研究具有重要的臨床意義[1]。傳統(tǒng)上，步態(tài)對稱性的評估主要依賴于人工觀察和主觀判斷，這種方法存在主觀性強(qiáng)、可重復(fù)性差等問題。另一方面，采用運(yùn)動學(xué)、表面肌電等測評技術(shù)雖可以獲取客觀測量結(jié)果，但是需要將傳感器附著在被采集對象的身體上，傳感器的貼附容易引起測試對象的不適，進(jìn)而降低其對于數(shù)據(jù)采集環(huán)節(jié)的依從性，嚴(yán)重情況下甚至?xí)芙^佩戴，導(dǎo)致數(shù)據(jù)采集失敗。同時，傳感器的貼附可能會從“軀體”和“心理”2個層面阻礙患者最自然的步行狀態(tài)。因此，如何在不影響自然步行狀態(tài)的前提下（即非接觸式）檢測并準(zhǔn)確識別其非對稱步態(tài)成為臨床步態(tài)分析面臨的一個關(guān)鍵性問題。骨骼關(guān)鍵點(diǎn)檢測技術(shù)的出現(xiàn)為非對稱性步態(tài)的“非接觸式”客觀評估提供了新的方法[2]。這種技術(shù)主要基于計算機(jī)視覺和機(jī)器學(xué)習(xí)的方法，從圖像或視頻中提取人體關(guān)節(jié)的位置信息，實(shí)現(xiàn)對人體姿態(tài)和運(yùn)動的描述和分析[3]。

骨骼關(guān)鍵點(diǎn)檢測過程主要包括以下幾個步驟：數(shù)據(jù)采集和預(yù)處理、關(guān)鍵點(diǎn)定位、關(guān)鍵點(diǎn)連接、關(guān)鍵點(diǎn)跟蹤和姿態(tài)估計。首先，通過Kinect相機(jī)或深度傳感器采集人體運(yùn)動的數(shù)據(jù)，然后對數(shù)據(jù)進(jìn)行預(yù)處理，例如去噪、濾波和標(biāo)準(zhǔn)化。接下來，利用深度學(xué)習(xí)模型對圖像或視頻中的關(guān)鍵點(diǎn)進(jìn)行定位。緊接著，根據(jù)關(guān)鍵點(diǎn)的位置信息，通過連接不同關(guān)節(jié)的關(guān)鍵點(diǎn)形成人體骨骼模型。最后，通過跟蹤關(guān)鍵點(diǎn)的位置變化可以實(shí)時估計人體的姿態(tài)[4]。在獲取準(zhǔn)確骨骼關(guān)鍵點(diǎn)數(shù)據(jù)的基礎(chǔ)上，選擇合適的識別算法對于非對稱性步態(tài)的評價效果同樣非常重要[5-6]，傳統(tǒng)的機(jī)器學(xué)習(xí)方法主要有支持向量機(jī)（Support Vector Machine， SVM）、隨機(jī)森林、K最近鄰算法（K-nearest neighbor， KNN）等[7-8]，但上述方法存在一定的局限性[9]，例如由于步態(tài)數(shù)據(jù)的特征維度較高，且樣本數(shù)據(jù)量一般有限，因此上述分類方法在處理數(shù)據(jù)時容易出現(xiàn)過擬合與欠擬合的問題，導(dǎo)致模型的泛化能力受到極大的限制。

近年來，隨著深度學(xué)習(xí)算法的發(fā)展，尤其是深度神經(jīng)網(wǎng)絡(luò)能夠自主學(xué)習(xí)和提取復(fù)雜的步態(tài)特征信息，省去了大量人工設(shè)計的過程，使得其在處理步態(tài)分類識別問題方面具有獨(dú)特優(yōu)勢[10]。例如，Khokhlova等[11]設(shè)計了一種基于Kinect和循環(huán)神經(jīng)網(wǎng)絡(luò)算法（LSTM算法）的步態(tài)對稱性識別模型；Bari等[12-13]提出了2種基于Kinect和深度卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識別方法；Jun等[14]則針對異常步態(tài)識別問題，提出了一種基于Kinect和門控循環(huán)單元的深度神經(jīng)網(wǎng)絡(luò)識別方法。需要指出的是，現(xiàn)有研究將Kinect識別的全身骨骼關(guān)鍵點(diǎn)坐標(biāo)信息作為識別任務(wù)的輸入特征時，普遍將所有骨骼關(guān)鍵點(diǎn)信息作為輸入，這種方式雖然可以提升識別精度，但是其中不可避免存在一些冗余信息，使得模型訓(xùn)練的時間和計算量有所增加。另一方面，根據(jù)人體運(yùn)動協(xié)同理論可知，中樞神經(jīng)系統(tǒng)采取分層控制的方式來簡化多關(guān)節(jié)運(yùn)動的控制，從而達(dá)到降低運(yùn)動控制冗余的目的[15-16]。因此，在生理上，關(guān)節(jié)組合之間的協(xié)同被認(rèn)為是人體中樞神經(jīng)系統(tǒng)對肢體多關(guān)節(jié)運(yùn)動的一種調(diào)控策略。為此，本文假設(shè)不同關(guān)節(jié)組合對于對稱性步態(tài)的影響存在一定的差異，換言之，不同關(guān)節(jié)位置的骨骼關(guān)鍵點(diǎn)對于非對稱步態(tài)的識別效果影響存在差異，尤其是下肢檢測到的骨骼關(guān)鍵點(diǎn)對于非對稱步態(tài)的識別重要性更顯著。

為了驗(yàn)證上述假設(shè)，本文采用Kinect有效收集10名受試者正常對稱步態(tài)以及模擬4種非對稱步態(tài)狀態(tài)下的骨骼關(guān)鍵點(diǎn)數(shù)據(jù)，對數(shù)據(jù)進(jìn)行預(yù)處理后，利用循環(huán)神經(jīng)網(wǎng)絡(luò)模型識別上述非對稱步態(tài)類型，并通過模型的平均精確率指標(biāo)來分析改變輸入骨骼關(guān)鍵點(diǎn)的位置和數(shù)量時模型的分類效果。

1" 方法

1.1" 數(shù)據(jù)采集

本文中的數(shù)據(jù)采集對象為10名健康成年人（男性6人，女性4人，平均年齡23±1.3歲）；男性身高（1.72±0.14 m），女性身高（1.63±0.12 m）。上述受試者均不存在任何神經(jīng)、肌肉、骨骼等方面的疾病，所有參與本次數(shù)據(jù)采集的受試者均充分了解實(shí)驗(yàn)內(nèi)容，并簽署知情同意書。實(shí)驗(yàn)過程中模擬的5種步態(tài)類型見表1。

每位受試者采用正常步態(tài)行走（圖1）的基礎(chǔ)上，通過調(diào)整單側(cè)鞋底厚度來模擬4種不同非對稱程度的步態(tài)類型，且每種步態(tài)類型采集有效時長均達(dá)到1 200個連續(xù)幀以上，并通過Kinect v2獲取逐幀骨架及每一個關(guān)節(jié)關(guān)鍵點(diǎn)在三維空間中坐標(biāo)信息，即骨骼關(guān)鍵點(diǎn)數(shù)據(jù)，具體如圖2所示。

1.2" 數(shù)據(jù)處理

考慮到Kinect捕獲的步態(tài)坐標(biāo)數(shù)據(jù)存在一定的信號噪聲，為此，本文首先采用移動窗對25個關(guān)節(jié)點(diǎn)（圖3）的序列數(shù)據(jù)進(jìn)行中值濾波，以實(shí)現(xiàn)平滑和去噪目的，然后再對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。在此基礎(chǔ)上，本文所采集的數(shù)據(jù)集包含了10名受試者采用5種不同的步態(tài)時的骨骼關(guān)鍵點(diǎn)數(shù)據(jù)，選取其中的80%作為訓(xùn)練集，20%作為測試集，并依次選擇表2中的骨骼關(guān)鍵點(diǎn)組合作為模型的輸入數(shù)據(jù)。

本文中模型訓(xùn)練及測試過程均在Windows 10系統(tǒng)pytorch的深度學(xué)習(xí)框架下完成，主要基于循環(huán)神經(jīng)網(wǎng)絡(luò)算法來通過對骨骼關(guān)鍵點(diǎn)序列數(shù)據(jù)進(jìn)行處理，從而達(dá)到對5種步態(tài)類型進(jìn)行分類識別的目的。具體在處理該步態(tài)時間序列數(shù)據(jù)時，首先將時間序列的窗口長度設(shè)定為100，epoch代表訓(xùn)練次數(shù)，設(shè)定為200，隱藏層的節(jié)點(diǎn)個數(shù)設(shè)定為128。測試集大小test_size設(shè)為0.2，dropout設(shè)定為0.5。num_layer代表著RNN和GRU的層數(shù)，將其設(shè)定為2。初始學(xué)習(xí)率lr設(shè)定為0.000 01，batch_size表示批量大小，設(shè)定為64。詳細(xì)信息見表3。

1.3" 評價指標(biāo)

模型評估指標(biāo)通常用來衡量模型在分類任務(wù)中的效果，本文采用平均精確率（Mean Precision）指標(biāo)來評價模型在分類非對稱步態(tài)方面的能力。該指標(biāo)指的是每個類別精確率的平均值，其中每個類別的精確率是指在該類別上正確預(yù)測的樣本數(shù)量與該類別所有樣本數(shù)量之比。精確率越高，表示分類器在預(yù)測正例時的準(zhǔn)確性越高，其計算公式為

式中：TP為模型將正類別樣本正確地預(yù)測為正類別的樣本數(shù)；FP為模型將負(fù)類別樣本錯誤地預(yù)測為正類別的樣本數(shù)。

式中：Precisionn表示第n個類別的精確率；n表示n分類任務(wù)，本文取n=5。

2" 結(jié)果與討論

本文中通過改變輸入骨骼關(guān)鍵點(diǎn)的數(shù)量和位置，以觀察模型識別效果。不同輸入特征對應(yīng)的識別結(jié)果見表4，由表中數(shù)據(jù)可以看出，當(dāng)輸入25個骨骼關(guān)鍵點(diǎn)信息時，模型的識別平均精確率為98.8%；隨著輸入骨骼關(guān)鍵點(diǎn)數(shù)目的減少，識別效果越差；當(dāng)輸入骨骼關(guān)鍵點(diǎn)數(shù)目大于或等于4時，此時分類識別精確率都在85%以上。當(dāng)輸入骨骼關(guān)節(jié)的數(shù)目小于4時，平均精確率都低于80%。

另一方面，在保持骨骼關(guān)鍵點(diǎn)數(shù)量不變的前提下，通過改變關(guān)鍵點(diǎn)位置組合方式，對比了單獨(dú)輸入上肢骨骼關(guān)鍵點(diǎn)和單獨(dú)輸入下肢骨骼關(guān)鍵點(diǎn)信息時模型的分類識別效果?？梢园l(fā)現(xiàn)，在輸入8個骨骼關(guān)鍵點(diǎn)的前提下，輸入下肢骨骼關(guān)鍵點(diǎn)（髖、膝、踝關(guān)節(jié)等）的平均精確率為96.9%，而輸入上肢骨骼關(guān)鍵點(diǎn)（肩、肘、腕關(guān)節(jié)等）時的平均識別精確率為95.3%，顯著低于前者。類似地，在輸入4個骨骼關(guān)鍵點(diǎn)的前提下，輸入左、右下肢關(guān)節(jié)骨骼關(guān)鍵點(diǎn)的平均識別精確率分別為92.9%和91.6%，而輸入左、右上肢骨骼關(guān)鍵點(diǎn)的平均識別精確率為89.3%和88.1%。這說明在輸入8個和4個骨骼關(guān)鍵點(diǎn)的前提下，下肢骨骼關(guān)鍵點(diǎn)對于人體非對稱步態(tài)的識別重要性大于上肢骨骼關(guān)鍵點(diǎn)。

最后，當(dāng)僅輸入2個骨骼關(guān)鍵點(diǎn)時，即僅輸入上肢腕關(guān)節(jié)和肘關(guān)節(jié)的模型平均識別精確率分別為78.3%和78.9%，而僅輸入下肢踝關(guān)節(jié)和膝關(guān)節(jié)時的模型平均識別精確率只有69.5%和68.1%。上述結(jié)果說明，當(dāng)輸入骨骼關(guān)鍵點(diǎn)降低到一定數(shù)量以后，上肢骨骼關(guān)鍵點(diǎn)對于非對稱步態(tài)的識別重要性大于下肢骨骼關(guān)鍵點(diǎn)。

3" 結(jié)論

本文基于Kinect和深度學(xué)習(xí)算法實(shí)現(xiàn)了對人體非對稱步態(tài)的分類識別，識別精確率可以達(dá)到98%以上；同時，證明了人體上下肢骨骼關(guān)鍵點(diǎn)對于非對稱步態(tài)識別的重要性存在差異，其中，在分別輸入8個和4個骨骼關(guān)鍵點(diǎn)時，下肢骨骼關(guān)鍵點(diǎn)在非對稱步態(tài)識別中的重要性高于上肢骨骼關(guān)鍵點(diǎn)。然而，當(dāng)僅輸入2個骨骼關(guān)鍵點(diǎn)時，上肢骨骼關(guān)鍵點(diǎn)對非對稱步態(tài)識別的貢獻(xiàn)則超過下肢骨骼關(guān)鍵點(diǎn)。上述研究結(jié)果可以為基于骨骼關(guān)鍵點(diǎn)檢測的人體步態(tài)對稱性研究方案設(shè)計提供一些借鑒和參考。

參考文獻(xiàn)：

[1] 張幼安，侯振杰，坎標(biāo)，等.基于Kinect的帕金森病步態(tài)不對稱性識別方法[J].中國康復(fù)理論與實(shí)踐，2018，24（7）：795-801.

[2] 張世宇，祁子禹，干智超，等.基于Kinect v2低成本動作捕捉系統(tǒng)在步態(tài)分析中的開發(fā)及應(yīng)用[J].中國神經(jīng)精神疾病雜志，2023，49（1）：54-59.

[3] 張笑宇，陳凱，楊穎.基于Kinect系統(tǒng)的步態(tài)參數(shù)提取方法[J].數(shù)據(jù)采集與處理，2022，37（4）：872-882.

[4] 田皓宇，馬昕，李貽斌.基于骨架信息的異常步態(tài)識別方法[J].吉林大學(xué)學(xué)報（工學(xué)版），2022，52（4）：725-737.

[5] 劉芳超，周謀望，李濤.基于人工智能算法的步態(tài)分析在疾病臨床診療中的應(yīng)用進(jìn)展[J].中國康復(fù)醫(yī)學(xué)雜志，2023，38（6）： 836-840.

[6] THAKUR D，LALWANI P. Comparative performance of machine learning models for the classification of human gait[J].Biomedical physics amp; engineering express，2024，10（2）.

[7] 高經(jīng)緯，馬超，姚杰，等.基于機(jī)器學(xué)習(xí)的人體步態(tài)檢測智能識別算法研究[J].電子測量與儀器學(xué)報，2021，35（3）：49-55.

[8] 王全坤，郭冰菁，尤愛民，等.基于SVM的偏癱患者異常步態(tài)識別與臨床康復(fù)輔助診斷系統(tǒng)[J].計算機(jī)應(yīng)用與軟件，2023，40（10）：94-100.

[9] KOHNEHSHAHRI F，MERLO A，MAZZOLI D，et al. Machine learning applied to gait analysis data in cerebral palsy and stroke： A systematic review[J].Gait amp; Posture，2024， 111（6）：105-121.

[10] 田皓宇，馬昕，李貽斌.基于骨架信息的異常步態(tài)識別方法[J].吉林大學(xué)學(xué)報（工學(xué)版），2022，52（4）：725-737.

[11] KHOKHLOVA M，MIGNIOT C，MOROZOV A， et al. Normal and pathological gait classification LSTM model[J]. Artificial Intelligence in Medicine，2019，94（3）：54-66.

[12] BARI H， GAVILOVA M. KinectGaitNet： kinect-based gait recognition using deep convolutional neural network[J]. Sensors，2022，22（7）：2631.

[13] BARI H， GAVILOVA M. Artificial neural network based gait recognition using kinect sensor[J].IEEE Access，2019， 7（1）：162708-162722.

[14] JUN K，LEE Y，LEE S，et al." Pathological gait classification using kinect v2 and gated recurrent neural networks[J]. IEEE Access，2020，8（1）：139881-139891.

[15] DEJNABADI H，JOLLES B，AMINIAN K. A new approach for quantitative analysis of inter-joint coordination during gait[J].IEEE Transactions on Biomedical Engineering，2008， 55（2）：755-764.

[16] 熊啟亮，諶穎，莫杰義，等.基于加速度信號的人體爬行與步行過程中多關(guān)節(jié)協(xié)同運(yùn)動模式對比[J].中國醫(yī)學(xué)物理學(xué)雜志，2023，40（7）：884-889.

基金項(xiàng)目：國家自然科學(xué)基金（32460238）；江西省自然科學(xué)基金（20232BAB206134）

第一作者簡介：蒙新興（1989-），男，助理工程師。研究方向?yàn)獒t(yī)療信號檢測與分析。

*通信作者：熊啟亮（1989-），男，博士，副教授。研究方向?yàn)樯镝t(yī)學(xué)信號檢測與處理。