基于Kinect V2的上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)系統(tǒng)研究

毛堃

摘 要：我國每年發(fā)生腦卒中的病人就高達(dá)200萬，其中大部分存在不同程度的偏癱。數(shù)量龐大的偏癱待康復(fù)的患者對(duì)現(xiàn)有的醫(yī)療體系造成了巨大的壓力，而現(xiàn)有的上肢康復(fù)訓(xùn)練主要還是一對(duì)一的訓(xùn)練模式，指標(biāo)量化程度低，評(píng)價(jià)主觀性較強(qiáng)，因此，急需一種更為高效的訓(xùn)練模式和評(píng)價(jià)方法。本文提出一種基于Kinect V2的上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)系統(tǒng)。該系統(tǒng)采用卡爾曼濾波對(duì)骨骼數(shù)據(jù)進(jìn)行濾波，使用C#實(shí)現(xiàn)人機(jī)交互界面，并搭建出基于SQL Server的運(yùn)動(dòng)數(shù)據(jù)庫，最終通過動(dòng)態(tài)時(shí)間規(guī)整算法實(shí)現(xiàn)對(duì)上肢康復(fù)運(yùn)動(dòng)的評(píng)價(jià)。

關(guān)鍵詞：Kinect V2;上肢康復(fù);卡爾曼濾波;動(dòng)態(tài)時(shí)間規(guī)整

中圖分類號(hào)：TP391.41;TH789 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2020）25-0009-04

Abstract： In China， there are 2 million stroke patients every year， and most of them have different degree of hemiplegic. The hospital have huge pressure to deal with these mass number of stroke patients. Meanwhile， recent rehabilitation training is mainly one-to-one mode， where index has low quantization and assessment is strong subjective. Therefore， a more efficient rehabilitation training mode and assessment is needed. In this paper， a rehabilitation assessment system based on Kinect V2 for upper limb was proposed. In this system， the bones data is filtered by Kalman filter， HMI is realized with C#， and movement database is established based on SQL Server. Finally， rehabilitation assessment for upper limb is achieved by applying Dynamic Time Warping （DTW） algorithm.

Keyword： Kinect V2;upper limb rehabilitation;Kalman filter;DTW

1 研究背景

根據(jù)統(tǒng)計(jì)，我國每年發(fā)生腦中風(fēng)病人達(dá)200萬，發(fā)病率高達(dá)120/10萬?，F(xiàn)幸存中風(fēng)病人 700 萬，其中450萬病人不同程度喪失勞動(dòng)力和生活不能自理，致殘率高達(dá)75%，其中偏癱最為常見[1]。醫(yī)學(xué)證明，除了藥物治療之外，運(yùn)動(dòng)康復(fù)訓(xùn)練對(duì)于偏癱患者的康復(fù)具有至關(guān)重要的作用。然而，康復(fù)訓(xùn)練是一個(gè)長(zhǎng)期的過程。而目前的上肢康復(fù)訓(xùn)練主要還是醫(yī)師與患者一對(duì)一的訓(xùn)練模式，但由于專業(yè)的康復(fù)醫(yī)護(hù)人員與患者數(shù)量嚴(yán)重不匹配，康復(fù)訓(xùn)練過于單調(diào)枯燥，康復(fù)動(dòng)作評(píng)價(jià)仍然存在一定的主觀性，因此，急需一種更為高效的訓(xùn)練模式和評(píng)價(jià)方法。

隨著軟件技術(shù)的飛速發(fā)展，虛擬現(xiàn)實(shí)技術(shù)已日趨成熟，被廣泛應(yīng)用于游戲、工程制造、航空航天和醫(yī)療領(lǐng)域，而其在醫(yī)療康復(fù)中的應(yīng)用價(jià)值已經(jīng)得到了學(xué)者們的廣泛認(rèn)可，并進(jìn)行了一系列的實(shí)驗(yàn)與研究。意大利貝加莫大學(xué)的Vitali等人基于Kinect開發(fā)了用于上肢康復(fù)訓(xùn)練的評(píng)估軟件，由于肩膀運(yùn)動(dòng)過程中肩關(guān)節(jié)的運(yùn)動(dòng)中心位置可能發(fā)生位移，因此，采用iPi Soft Studio對(duì)肩關(guān)節(jié)做無標(biāo)記運(yùn)動(dòng)捕捉，從而實(shí)現(xiàn)Kinect對(duì)肩關(guān)節(jié)旋轉(zhuǎn)中心識(shí)別的偏差進(jìn)行修正[2]。美國卡內(nèi)基梅隆大學(xué)的Min Hun Lee等人開發(fā)了基于Kinect的運(yùn)動(dòng)康復(fù)評(píng)價(jià)系統(tǒng)。該系統(tǒng)采用機(jī)器學(xué)習(xí)算法對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行評(píng)價(jià)。研究者還通過對(duì)11名健康志愿者和15名偏癱患者進(jìn)行實(shí)驗(yàn)，驗(yàn)證了該系統(tǒng)的有效性[3]。華東理工的蔣婷婷實(shí)現(xiàn)了基于虛擬環(huán)境的上肢主動(dòng)康復(fù)控制系統(tǒng)，用于中風(fēng)病人的康復(fù)訓(xùn)練，論證了虛擬現(xiàn)實(shí)系統(tǒng)有助于提高患者在訓(xùn)練過程中的積極性，對(duì)中風(fēng)病人的上肢康復(fù)訓(xùn)練是有效的[4]。

雖然上述基于Kinect上肢康復(fù)訓(xùn)練系統(tǒng)已經(jīng)能實(shí)現(xiàn)對(duì)患者上肢康復(fù)運(yùn)動(dòng)進(jìn)行簡(jiǎn)單評(píng)價(jià)，但是由于現(xiàn)有的Kinect輸出的骨骼信號(hào)仍然存在噪點(diǎn)，特別是當(dāng)骨骼數(shù)據(jù)出現(xiàn)較大偏差時(shí)，傳統(tǒng)的濾波算法在對(duì)其進(jìn)行濾波時(shí)跟蹤性能較差。因此，本文采用卡爾曼濾波算法，實(shí)現(xiàn)對(duì)于上肢的穩(wěn)定識(shí)別，并最終通過動(dòng)態(tài)時(shí)間規(guī)整算法實(shí)現(xiàn)對(duì)上肢康復(fù)運(yùn)動(dòng)的評(píng)價(jià)。

2 系統(tǒng)總體設(shè)計(jì)

本系統(tǒng)采用Kinect V2體感傳感器，一方面可以對(duì)康復(fù)專家的標(biāo)準(zhǔn)上肢康復(fù)動(dòng)作進(jìn)行識(shí)別和錄制;另一方面，對(duì)患者的上肢康復(fù)訓(xùn)練動(dòng)作進(jìn)行識(shí)別，PC電腦將康復(fù)專家和患者的骨骼數(shù)據(jù)通過動(dòng)畫的方式在人機(jī)交互界面中顯示出來，同時(shí)，將骨骼數(shù)據(jù)實(shí)時(shí)保存到SQL Server數(shù)據(jù)庫中，并最終根據(jù)患者和專家之間的動(dòng)作匹配度給出患者本次的運(yùn)動(dòng)評(píng)價(jià)，本系統(tǒng)的控制框圖如圖1所示。

本系統(tǒng)采用的是微軟公司推出的Kinect第二代體感傳感器（Kinect V2），目前廣泛應(yīng)用于消費(fèi)娛樂電子市場(chǎng)。該傳感器由一個(gè)分辨率為1 920×1 080的彩色攝像頭、深度傳感器（包括紅外發(fā)射器和接收器）和麥克風(fēng)陣列等部件組成，能快速實(shí)現(xiàn)對(duì)人體骨骼的識(shí)別以及定位，并支持每秒30幀的數(shù)據(jù)輸出。其中，每一幀中的數(shù)據(jù)中可以最大同時(shí)輸出6個(gè)人的骨骼數(shù)據(jù)，包括每個(gè)人25個(gè)關(guān)節(jié)點(diǎn)的三維坐標(biāo)數(shù)據(jù)。與此同時(shí)，Kinect V2具有較大的識(shí)別距離，最大和最小識(shí)別距離分別為4.5 m和0.5 m，傳感器感知視野水平角度最大為70°，垂直角度最大為60°。Kinect V2較大的可識(shí)別角度/距離和強(qiáng)大的骨骼識(shí)別能力為本系統(tǒng)的運(yùn)動(dòng)識(shí)別提供了硬件保障。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 卡爾曼濾波

卡爾曼濾波算法是一種利用觀測(cè)值和估計(jì)值對(duì)真實(shí)的數(shù)據(jù)值進(jìn)行估計(jì)修正的過程，在對(duì)動(dòng)態(tài)的數(shù)據(jù)處理方面，具有較好的濾波效果和預(yù)測(cè)效果，因此，廣泛應(yīng)用于航空、雷達(dá)跟蹤等領(lǐng)域?？柭鼮V波算法的核心公式為：

式中，[xk]表示[k]時(shí)刻的先驗(yàn)狀態(tài)估計(jì)值，即根據(jù)[k-1]時(shí)刻的最優(yōu)估計(jì)所預(yù)測(cè)得的[k]時(shí)刻的結(jié)果;[xk-1]和[xk]分別表示為第[k-1]時(shí)刻和[k]時(shí)刻的后驗(yàn)狀態(tài)估計(jì)值，即最優(yōu)估計(jì)值;[Pk]表示[k]時(shí)刻的先驗(yàn)狀態(tài)估計(jì)值的協(xié)方差，即[xk]的協(xié)方差;[Pk-1]和[Pk]分別表示[k-1]時(shí)刻和[k]時(shí)刻的后驗(yàn)狀態(tài)估計(jì)值的協(xié)方差，即[xk-1]和[xk]的協(xié)方差;[H]表示狀態(tài)變量到測(cè)量的轉(zhuǎn)換矩陣;[zk]表示測(cè)量值;[Kk]表示濾波增益矩陣;[A]表示狀態(tài)轉(zhuǎn)移矩陣;[Q]表示系統(tǒng)的協(xié)方差;[R]表示噪聲協(xié)方差;[B]表示輸入轉(zhuǎn)換為狀態(tài)的矩陣。

本系統(tǒng)采用卡爾曼濾波對(duì)來自于Kinect V2的骨骼三維坐標(biāo)數(shù)據(jù)進(jìn)行濾波，特別是對(duì)于由服裝衣著造成的關(guān)節(jié)點(diǎn)識(shí)別錯(cuò)誤造成的噪聲數(shù)據(jù)的濾波，從而實(shí)現(xiàn)對(duì)真實(shí)骨骼數(shù)據(jù)的穩(wěn)定跟蹤，保證了后續(xù)的運(yùn)動(dòng)匹配和評(píng)價(jià)的準(zhǔn)確性。

3.2 人機(jī)交互界面設(shè)計(jì)

本系統(tǒng)使用Visual Studio 2017對(duì)人機(jī)交互界面進(jìn)行基于C#的編程，使醫(yī)生和患者在使用本系統(tǒng)時(shí)有較好的用戶體驗(yàn)。本系統(tǒng)的人機(jī)交互界面如圖2所示。

本系統(tǒng)的人機(jī)交互界面實(shí)現(xiàn)了從Kinect V2骨骼數(shù)據(jù)的讀取和三維骨骼視圖顯示、數(shù)據(jù)庫的連接和讀取顯示、專家標(biāo)準(zhǔn)動(dòng)作的錄制、患者康復(fù)的運(yùn)動(dòng)評(píng)價(jià)等，具有界面友好、操作方便和運(yùn)行流暢的優(yōu)點(diǎn)。

3.3 數(shù)據(jù)庫的搭建

本系統(tǒng)采用SQL Server搭建出上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)系統(tǒng)的數(shù)據(jù)庫，用于醫(yī)生/患者的基本信息、專家的上肢標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)、患者的上肢康復(fù)運(yùn)動(dòng)數(shù)據(jù)等的存儲(chǔ)和讀取。其中的運(yùn)動(dòng)數(shù)據(jù)表中，保存了所有上肢關(guān)節(jié)的三維坐標(biāo)及關(guān)節(jié)的角度值，方便后期實(shí)現(xiàn)運(yùn)動(dòng)的快速重現(xiàn)以及數(shù)據(jù)的分析和處理。

3.4 運(yùn)動(dòng)匹配與評(píng)價(jià)

在患者上肢康復(fù)運(yùn)動(dòng)完成后，系統(tǒng)自動(dòng)將動(dòng)作數(shù)據(jù)與存儲(chǔ)在數(shù)據(jù)庫中的專家標(biāo)準(zhǔn)動(dòng)作運(yùn)動(dòng)數(shù)據(jù)進(jìn)行匹配。由于患者上肢各部位的尺寸與專家存在差異，而且完成整套動(dòng)作中的時(shí)間也很難保持一致，采用傳統(tǒng)的歐式距離模板匹配法很難實(shí)現(xiàn)動(dòng)作評(píng)價(jià)，因此，本系統(tǒng)采用能對(duì)兩個(gè)數(shù)據(jù)進(jìn)行拉伸和收縮以進(jìn)行最佳匹配的動(dòng)態(tài)時(shí)間規(guī)整（Dynamic Time Warping，DTW）算法進(jìn)行患者上肢運(yùn)動(dòng)數(shù)據(jù)與標(biāo)準(zhǔn)動(dòng)作之間的匹配。

本系統(tǒng)將患者上肢的肘關(guān)節(jié)、肩關(guān)節(jié)和腕關(guān)節(jié)的三維坐標(biāo)作為DTW算法匹配的基礎(chǔ)數(shù)據(jù)，通過對(duì)三個(gè)關(guān)節(jié)的DTW距離值進(jìn)行累加，從而得到最終整個(gè)上肢的DTW距離值。根據(jù)DTW距離值的大小對(duì)患者上肢康復(fù)運(yùn)動(dòng)的標(biāo)準(zhǔn)程度進(jìn)行評(píng)價(jià)打分，醫(yī)生可以基于該系統(tǒng)的評(píng)價(jià)分?jǐn)?shù)對(duì)患者的康復(fù)狀態(tài)進(jìn)行有效評(píng)估，從而對(duì)患者進(jìn)行下一階段更為合適的康復(fù)運(yùn)動(dòng)訓(xùn)練。

4 系統(tǒng)驗(yàn)證

為了驗(yàn)證本上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)系統(tǒng)的有效性，以一個(gè)正常人進(jìn)行一次左手碰頭的動(dòng)作進(jìn)行實(shí)驗(yàn)。

在Kinect V2的濾波方面，實(shí)驗(yàn)數(shù)據(jù)表明，經(jīng)過卡爾曼濾波后，人體上肢的骨骼運(yùn)動(dòng)數(shù)據(jù)變得更為穩(wěn)定。以肘部的[X]軸坐標(biāo)值為例，一次左手碰頭的動(dòng)作持續(xù)時(shí)間約8 s，具體的數(shù)據(jù)波形如圖3所示。

波形圖中的灰色曲線為未經(jīng)過濾波的原始數(shù)據(jù)，而黑色曲線為經(jīng)過卡爾曼濾波后的數(shù)據(jù)。從圖3中可以看出，在骨骼數(shù)據(jù)出現(xiàn)突變時(shí)，本系統(tǒng)可以對(duì)其進(jìn)行有效濾波，并能快速對(duì)動(dòng)作進(jìn)行跟蹤。

在對(duì)于上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)方面，測(cè)試者分別通過以下三種動(dòng)作來模仿標(biāo)準(zhǔn)動(dòng)作。

動(dòng)作1：動(dòng)作緩慢，但是與標(biāo)準(zhǔn)動(dòng)作保持一致。

動(dòng)作2：與標(biāo)準(zhǔn)動(dòng)作在位置和速度上保持高度一致。

動(dòng)作3：與標(biāo)準(zhǔn)動(dòng)作在位置和速度方面都有較大差異。

本系統(tǒng)自動(dòng)將上述測(cè)試者的上肢運(yùn)動(dòng)數(shù)據(jù)與事先錄制好的標(biāo)準(zhǔn)模板數(shù)據(jù)進(jìn)行匹配，得到最終的DTW距離值分別為20.05、12.13、39.51。

從上述匹配結(jié)果可以看出：距離值最大的是動(dòng)作3，匹配度最低;距離值最小是動(dòng)作2，匹配度最高;而動(dòng)作1的距離值居中，匹配度居中。這證明了本系統(tǒng)對(duì)動(dòng)作識(shí)別和評(píng)價(jià)的有效性。

5 結(jié)語

本文基于Kinect體感傳感器搭建了一種上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)系統(tǒng)，通過非接觸式的方式對(duì)上肢運(yùn)動(dòng)進(jìn)行識(shí)別，采用卡爾曼濾波算法對(duì)來自Kinect的骨骼數(shù)據(jù)進(jìn)行濾波，并利用DTW算法實(shí)現(xiàn)運(yùn)動(dòng)匹配。實(shí)驗(yàn)結(jié)果表明，本文所搭建的基于Kinect的上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)系統(tǒng)能實(shí)現(xiàn)對(duì)上肢運(yùn)動(dòng)的穩(wěn)定識(shí)別和運(yùn)動(dòng)評(píng)價(jià)，并具有成本低、精度高、操作簡(jiǎn)單和攜帶方便等優(yōu)點(diǎn)，使得醫(yī)護(hù)人員可以對(duì)上肢康復(fù)運(yùn)動(dòng)進(jìn)行標(biāo)準(zhǔn)化評(píng)價(jià)，提高評(píng)價(jià)效率。

參考文獻(xiàn)：

[1] Coker R H，Deutz N E，Schutzler S，et al. Nutritional supplementation with essential amino acids and phytosterols may reduce risk for metabolic syndrome and cardiovascular disease in overweight individuals with mild hyperlipidemia[J]. Journal of Endocrinology Diabetes & Obesity，2015（2）：1069.

[2]Vitali A ， Regazzoni D ， Rizzi C ， et al. Neuro-cognitive Rehabilitation： Design of VR Serious Games for Patients with Severe Memory Loss[C]// CAD'20. 2020.

[3] Lee Min Hun， Siewiorek Daniel P， Smailagic Asim， et al. Learning to assess the quality of stroke rehabilitation exercises [C].//24th ACM International Conference on Intelligent User Interfaces. Marina del Ray， United states： Association for Computing Machinery， 2019.

[4]蔣婷婷.基于虛擬環(huán)境的中風(fēng)病人上肢康復(fù)主動(dòng)控制系統(tǒng)研究[D].上海：華東理工大學(xué)，2017.