融合機(jī)器視覺(jué)與慣性傳感器的智能康復(fù)評(píng)估技術(shù)

孫洪明，鄭建立，尹梓名

（上海理工大學(xué) 健康科學(xué)與工程學(xué)院，上海 200093）

0 引 言

腦卒中（Cerebral Apoplexy，CA），又稱(chēng)中風(fēng)、腦血管意外（Cerebral Vascular Accident，CVA），是導(dǎo)致人類(lèi)死亡的主要疾病之一，超過(guò)50%的腦卒中患者因?yàn)檫\(yùn)動(dòng)功能障礙導(dǎo)致生活質(zhì)量降低。腦卒中患者在康復(fù)治療的過(guò)程中伴隨著運(yùn)動(dòng)功能的評(píng)估，這種評(píng)估在確定運(yùn)動(dòng)功能狀態(tài)和制定康復(fù)訓(xùn)練方案方面起著重要的作用。

目前，人體姿態(tài)識(shí)別的實(shí)現(xiàn)方式主要有3種：

基于可穿戴式的人體姿態(tài)識(shí)別。Zhang等使用單個(gè)固定在患者手腕上方的慣性傳感器（Inertial Measurement Unit，IMU），自動(dòng)收集患者運(yùn)動(dòng)過(guò)程中的加速度，實(shí)驗(yàn)結(jié)果表明在腦卒中術(shù)后偏癱康復(fù)患者上肢運(yùn)動(dòng)功能評(píng)定量表（Brunnstrom）分期上具有82.1%的準(zhǔn)確度；沈天毓等使用5個(gè)傳感器獲取受試者6個(gè)范式下的加速度、角速度信號(hào)，統(tǒng)計(jì)結(jié)果表明在H-Y分期和UPDRSⅢ評(píng)分的預(yù)測(cè)準(zhǔn)確率分別為72.8%和68.64%；金琦等研制人體姿態(tài)設(shè)備，采用星型+總線的混合拓?fù)浣Y(jié)構(gòu)，把采集單元佩戴在人體全身各個(gè)關(guān)鍵部位，可用于人體姿態(tài)的捕捉；周瑞文等基于九軸IMU的動(dòng)作捕捉硬件設(shè)計(jì)系統(tǒng)框架，可以實(shí)現(xiàn)人體的姿態(tài)估計(jì)和關(guān)節(jié)角估計(jì)。

基于機(jī)器視覺(jué)的體姿態(tài)識(shí)別。Seunghee Lee和Ali Ozturk等使用Kinect獲取地標(biāo)位置、關(guān)節(jié)角度等信息對(duì)腦卒中術(shù)后偏癱康復(fù)患者使用Fugl-Meyer量表進(jìn)行上肢運(yùn)動(dòng)功能評(píng)定；Cao等提出一種實(shí)時(shí)的方法（OpenPose），檢測(cè)多人的2D姿態(tài)；Cheng等使用單個(gè)視頻估計(jì)三維人體姿態(tài)，引入遮擋感知的深度學(xué)習(xí)框架，解決單目視頻因?yàn)檎趽鯇?dǎo)致的三維人體姿態(tài)估計(jì)不準(zhǔn)確的問(wèn)題。

基于機(jī)器視覺(jué)與IMU的人體姿態(tài)識(shí)別。使用兩者結(jié)合的方式，大都通過(guò)融合多視點(diǎn)視頻和IMU傳感器數(shù)據(jù)來(lái)估計(jì)三維人體姿態(tài)，不需要光學(xué)標(biāo)記和復(fù)雜的硬件設(shè)置。Timo von Marcard等提出了一種結(jié)合單個(gè)手持相機(jī)和附著在身體四肢的慣性測(cè)量單元來(lái)估計(jì)室外環(huán)境下3D人體姿態(tài)的方法；Zhang等使用多視角圖像和附著在人體四肢的幾個(gè)慣性測(cè)量單元來(lái)估計(jì)三維人體姿態(tài)。

針對(duì)腦卒中病人居家康復(fù)評(píng)估問(wèn)題，本論文提出了一種應(yīng)用于移動(dòng)端的、融合機(jī)器視覺(jué)獲取的單視頻數(shù)據(jù)與固定在人體上肢的IMU數(shù)據(jù)的數(shù)據(jù)采集和智能分析方法，以彌補(bǔ)兩種方式在單獨(dú)康復(fù)評(píng)估過(guò)程中的劣勢(shì)。從視頻數(shù)據(jù)中獲得無(wú)漂移的精準(zhǔn)的3D人體坐標(biāo)點(diǎn)信息；基于IMU提供完整的肢體旋轉(zhuǎn)、運(yùn)動(dòng)過(guò)程中的加速度和角速度的信息；旋轉(zhuǎn)機(jī)器視覺(jué)的坐標(biāo)系與IMU的坐標(biāo)系對(duì)齊，保障數(shù)據(jù)采集的準(zhǔn)確性，將采集的數(shù)據(jù)放到分類(lèi)模型進(jìn)行訓(xùn)練，以獲得腦卒中患者的Brunnstrom分期量表的上肢智能康復(fù)評(píng)估結(jié)果。

1 系統(tǒng)框架和方法簡(jiǎn)介

1.1 系統(tǒng)框架

使用智能手機(jī)藍(lán)牙獲取綁定在患者上肢I(xiàn)MU傳輸?shù)闹w方向等信息，即加速度、角速度、角度的變化，通過(guò)手機(jī)攝像頭獲取BlazePose算法捕捉的上肢運(yùn)動(dòng)軌跡，即肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)的3D坐標(biāo)點(diǎn)的變化。要采集患者的肢體方向和運(yùn)動(dòng)軌跡信息，需要配準(zhǔn)IMU與機(jī)器視覺(jué)的坐標(biāo)系，將IMU和機(jī)器視覺(jué)的數(shù)據(jù)融合，把融合后的數(shù)據(jù)輸入長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM），使用五折交叉驗(yàn)證提高所建立模型的可信度，最后得到Brunnstrom分期的結(jié)果。系統(tǒng)框架如圖1所示。

圖1 系統(tǒng)框架Fig.1 System framework

1.2 多節(jié)點(diǎn)可穿戴式慣性傳感器方法

本文使用維特智能BWT901BLECL 5.0型號(hào)的九軸慣性傳感器，該產(chǎn)品尺寸為36×51.3×15 mm，重量為20 g，數(shù)據(jù)輸出頻率最高為50 Hz，IMU綁定的坐標(biāo)系軸指向上方、軸水平向左、軸垂直向外，如圖2（a）所示。通過(guò)藍(lán)牙通信，可測(cè)量3軸的加速度、角速度和四元數(shù)信息，利用四元數(shù)計(jì)算相應(yīng)傳感器的姿態(tài)角，計(jì)算公式如式（1）～（3）所示。為滿(mǎn)足患者居家康復(fù)評(píng)估的基本需要，盡可能降低康復(fù)成本，僅使用兩個(gè)維特智能慣性傳感器，用彈性繃帶固定于患者手腕上方（距腕關(guān)節(jié)約1／4前臂長(zhǎng)度距離處）和肩關(guān)節(jié)下方（距肩關(guān)節(jié)約1／2上臂長(zhǎng)度距離處），采集患者上肢運(yùn)動(dòng)過(guò)程的數(shù)據(jù)，如圖2（b）所示。

圖2 慣性傳感器外形、坐標(biāo)系定義及其綁定形式Fig.2 IMU shape、coordinate system definition and its binding form

其中，、、、代表四元數(shù)，、、分別代表俯仰角、翻滾角、偏航角。

1.3 機(jī)器視覺(jué)傳感方法

2020年，google研究人員在跨平臺(tái)的機(jī)器學(xué)習(xí)框架MediaPipe上，推出了用于單人人體姿態(tài)估計(jì)的算法BlazePose，該算法是可以推斷出33個(gè)人體關(guān)鍵點(diǎn)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)，在移動(dòng)設(shè)備上的適配性表現(xiàn)突出。

與基于熱圖的技術(shù)相比，基于回歸的方法對(duì)計(jì)算的要求更少，可擴(kuò)展性更高，但是其在預(yù)測(cè)關(guān)節(jié)的平均坐標(biāo)值時(shí)，常常存在無(wú)法解決的潛在的模糊性問(wèn)題。Newell等人使用堆疊沙漏網(wǎng)絡(luò)對(duì)人體關(guān)節(jié)點(diǎn)進(jìn)行預(yù)測(cè)，應(yīng)用了更少的參數(shù)，也取得了較好的預(yù)測(cè)效果，但是該網(wǎng)絡(luò)較大，不利于在移動(dòng)設(shè)備上運(yùn)行。BlazePose算法受到堆疊沙漏網(wǎng)絡(luò)的啟發(fā)，采用熱圖、偏移量和回歸相結(jié)合的方法，但其只在訓(xùn)練階段使用熱圖和偏移損失，并在運(yùn)行推理之前從模型中刪除相應(yīng)的輸出層，使其足夠輕，可以在移動(dòng)端運(yùn)行，網(wǎng)絡(luò)體系結(jié)構(gòu)如圖3所示。

圖3 網(wǎng)絡(luò)體系結(jié)構(gòu)Fig.3 Network architecture

通過(guò)智能手機(jī)拍攝視頻數(shù)據(jù)，使用BlazePose算法對(duì)視頻中的人物進(jìn)行姿態(tài)識(shí)別，獲取人體的3D坐標(biāo)點(diǎn)，坐標(biāo)原點(diǎn)位于視頻圖像的左上角，軸正方向水平指向視頻圖像的右方，軸正方向垂直指向視頻圖像的下方，軸垂直于視頻圖像向里。為減小手機(jī)攝像頭與受試者之間距離不同，導(dǎo)致所獲取3D坐標(biāo)點(diǎn)的差異，將坐標(biāo)原點(diǎn)換算到肩關(guān)節(jié)坐標(biāo)與髖關(guān)節(jié)坐標(biāo)的交點(diǎn)，如圖4所示。

圖4 坐標(biāo)原點(diǎn)平移轉(zhuǎn)換Fig.4 Coordinate origin translation conversion

1.4 關(guān)聯(lián)機(jī)器視覺(jué)與慣性傳感器的數(shù)據(jù)

為提高采集數(shù)據(jù)的準(zhǔn)確性，將機(jī)器視覺(jué)與慣性傳感器的數(shù)據(jù)進(jìn)行關(guān)聯(lián)，旋轉(zhuǎn)BlazePose的坐標(biāo)系使其與慣性傳感器的坐標(biāo)系對(duì)齊。腦卒中患者固定好IMU后，可在外力的輔助下，肩關(guān)節(jié)外展90°，肘關(guān)節(jié)屈曲90°，通過(guò)將機(jī)器視覺(jué)所測(cè)量的二維平面上肘關(guān)節(jié)的角度與慣性傳感器所測(cè)量軸的關(guān)節(jié)角度做對(duì)比，調(diào)整手機(jī)攝像頭的傾斜角度與IMU的綁定位置，進(jìn)一步校準(zhǔn)兩者的坐標(biāo)系。以右臂為例，按式（4）使用患者手腕關(guān)節(jié)坐標(biāo)點(diǎn)（，，）和肘關(guān)節(jié)的坐標(biāo)點(diǎn) （，，） 計(jì)算前臂（1(，，)）的位置、按式（5）肘關(guān)節(jié)坐標(biāo)點(diǎn)（，，）和肩關(guān)節(jié)的坐標(biāo)點(diǎn)（，，）計(jì)算大臂（2(，，)）的位置，降低因?yàn)椴煌颊呱现L(zhǎng)度不同而導(dǎo)致數(shù)據(jù)采集的誤差。

1.5 神經(jīng)網(wǎng)絡(luò)模型

長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM（Long Short-Term Memory）是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，可以解決循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在長(zhǎng)序列訓(xùn)練過(guò)程中的梯度消失和梯度爆炸問(wèn)題。因?yàn)镽NN在某時(shí)刻的隱藏層信息只與當(dāng)前時(shí)刻的輸入和上一時(shí)刻的隱藏層信息有關(guān)，沒(méi)有記憶功能，所以在處理序列較長(zhǎng)的數(shù)據(jù)時(shí)，序列后面部分的梯度很難反向傳播到前面的序列，產(chǎn)生梯度消失的問(wèn)題。為了解決RNN的長(zhǎng)期依賴(lài)問(wèn)題，LSTM應(yīng)運(yùn)而生，引入了輸入門(mén)、遺忘門(mén)、輸出門(mén)，通過(guò)輸入門(mén)和遺忘門(mén)的信息，可以控制LSTM長(zhǎng)期記憶某個(gè)時(shí)間步（timestep）細(xì)胞狀態(tài)的值，LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。與RNN相比，LSTM能夠在較長(zhǎng)的時(shí)間序列中有更好的表現(xiàn)。

圖5 LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 LSTM neural network structure

2 實(shí)驗(yàn)驗(yàn)證

2.1 數(shù)據(jù)采集

由于在臨床環(huán)境下對(duì)腦卒中患者康復(fù)評(píng)估涉及到患者隱私問(wèn)題，且患者所處的Brunnstrom分期分布不均勻，導(dǎo)致很難收集到腦卒中患者真實(shí)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行康復(fù)評(píng)估模型的訓(xùn)練，所以采取招募志愿者培訓(xùn)后模擬腦卒中患者各個(gè)Brunnstrom分期的方式進(jìn)行實(shí)驗(yàn)數(shù)據(jù)的采集。招募的45名志愿者都需完成一次Ⅰ～Ⅵ期Brunnstrom分期上肢運(yùn)動(dòng)過(guò)程的模擬。分析Brunnstrom量表可知，讓腦卒中患者偏癱側(cè)做摸肩動(dòng)作，其運(yùn)動(dòng)過(guò)程可以反應(yīng)出腦卒中患者相應(yīng)的Brunnstrom分期。具體數(shù)據(jù)采集過(guò)程如下：

（1）初始位置：被試者上身挺直，采取坐立位，面向前方，頸部伸直，待測(cè)上肢自然下垂于身體一側(cè)，掌心朝向前方，另一側(cè)上肢自然放在同側(cè)下肢之上，下肢放松屈膝90°；

（2）偏癱側(cè)的手臂慢慢抬高，使肩關(guān)節(jié)外展，外展至90°時(shí)，手掌呈中立位；

（3）若肩關(guān)節(jié)無(wú)法外展至90°，則屈肘90°，前臂旋前旋后；

（4）屈曲肘關(guān)節(jié)，手掌緩緩旋外，用手指觸摸偏癱側(cè)的肩膀；

（5）肘關(guān)節(jié)伸展，手掌慢慢旋內(nèi)，回到（2）終止時(shí)的位姿，上肢自然下垂回到初始位姿。

2.2 數(shù)據(jù)分析

Brunnstrom不同分期的主要差異是由肘關(guān)節(jié)、肩關(guān)節(jié)的活動(dòng)度決定的。在康復(fù)評(píng)定過(guò)程中，機(jī)器視覺(jué)可獲取上肢的運(yùn)動(dòng)軌跡，IMU可檢測(cè)前臂和上臂的加速度、角速度、角度變化。角度變化能夠直觀地顯示出腦卒中患者上肢關(guān)節(jié)的活動(dòng)范圍：V期患者在肘關(guān)節(jié)伸直的情況下，肩可外展90°；Ⅵ期患者運(yùn)動(dòng)協(xié)調(diào)程度近于正常人，可以完成摸肩動(dòng)作。Ⅴ和Ⅵ期患者在康復(fù)評(píng)定過(guò)程中前臂和上臂的活動(dòng)范圍和旋轉(zhuǎn)情況如圖6和圖7所示，實(shí)線和無(wú)線條的一系列點(diǎn)分別代表前臂和上臂角度變化情況，藍(lán)色線表示上肢與水平面（地面）的夾角，當(dāng)與水平面的夾角超過(guò)180°以后，該夾角會(huì)變成-180°，綠色線和紅色線分別表示上肢沿著冠狀軸和矢狀軸的旋轉(zhuǎn)角度。此外，加速度、角速度的變化也可反應(yīng)出患者在康復(fù)評(píng)定過(guò)程的運(yùn)動(dòng)細(xì)節(jié)，所以選取兩個(gè)九軸傳感器的加速度、角速度、角度和機(jī)器視覺(jué)獲取的上肢關(guān)節(jié)坐標(biāo)點(diǎn)共40個(gè)指標(biāo)作為L(zhǎng)STM神經(jīng)網(wǎng)絡(luò)的特征值。

圖6 Brunnstrom V期患者上肢肢體方向變化與運(yùn)動(dòng)軌跡Fig.6 The change of direction and movement trajectory of upper limbs in Brunnstrom stage V patient

圖7 BrunnstromⅥ期患者上肢肢體方向變化與運(yùn)動(dòng)軌跡Fig.7 The change of direction and movement trajectory of upper limbs in Brunnstrom stageⅥpatients

2.3 建立預(yù)測(cè)模型

本文使用LSTM神經(jīng)網(wǎng)絡(luò)分別對(duì)IMU采集數(shù)據(jù)、機(jī)器視覺(jué)采集的上肢關(guān)鍵點(diǎn)數(shù)據(jù)、兩者結(jié)合的數(shù)據(jù)進(jìn)行學(xué)習(xí)，分別建立相應(yīng)的腦卒中患者的Brunnstrom分期預(yù)測(cè)模型。45個(gè)志愿者Ⅰ～Ⅵ期的數(shù)據(jù)共270組，根據(jù)所模擬的分期情況，I～VI期的數(shù)據(jù)各45個(gè)。為減小數(shù)據(jù)集劃分對(duì)分期模型精準(zhǔn)度的影響，通過(guò)五折交叉驗(yàn)證的方式，將某期受試者按照6.4：1.6：2的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并利用不同的數(shù)據(jù)集劃分來(lái)對(duì)模型做5組不同的訓(xùn)練與驗(yàn)證，提高Brunnstrom預(yù)測(cè)分期結(jié)果的可信度。

2.4 實(shí)驗(yàn)結(jié)果與分析

測(cè)試集樣本總數(shù)為54個(gè)，使用相應(yīng)的數(shù)據(jù)對(duì)該數(shù)據(jù)訓(xùn)練的Brunnstrom分期模型進(jìn)行驗(yàn)證，不同數(shù)據(jù)源訓(xùn)練模型效果如圖8所示。僅使用BlazePose算法獲取的上肢關(guān)鍵點(diǎn)訓(xùn)練出的模型在測(cè)試集樣本的準(zhǔn)確率為55.6%，此模型對(duì)Ⅲ～Ⅵ期識(shí)別效果極差，Brunnstrom分期預(yù)測(cè)真實(shí)值與預(yù)測(cè)值的對(duì)比，如圖9所示。準(zhǔn)確率較低的原因：該模型不能檢測(cè)到腦卒中患者在Brunnstrom量表上肢肢體的旋轉(zhuǎn)和細(xì)微震顫的情況。只使用IMU數(shù)據(jù)訓(xùn)練的模型在測(cè)試集樣本的準(zhǔn)確率為92.6%，相對(duì)于前者，準(zhǔn)確率有所提高，但是與兩者結(jié)合后的數(shù)據(jù)訓(xùn)練的模型效果相比還是有所欠缺。

圖8 不同數(shù)據(jù)源訓(xùn)練效果對(duì)比Fig.8 Comparison of training effects of different data sources

IMU與機(jī)器視覺(jué)結(jié)合的數(shù)據(jù)訓(xùn)練出的Brunnstrom分期模型在測(cè)試集的預(yù)測(cè)結(jié)果如圖9所示，僅僅一個(gè)Ⅰ期腦卒中患者被預(yù)測(cè)為Ⅱ期，預(yù)測(cè)模型對(duì)Ⅰ期患者預(yù)測(cè)的準(zhǔn)確率為88.9%，其余分期預(yù)測(cè)的準(zhǔn)確率為100%，模型綜合預(yù)測(cè)的準(zhǔn)確率為98.1%。Ⅰ期患者預(yù)測(cè)出現(xiàn)偏差的原因：首先，腦卒中Ⅰ期患者上肢雖然沒(méi)有明顯運(yùn)動(dòng)，但是腦卒中患者在發(fā)起運(yùn)動(dòng)的過(guò)程中可能會(huì)發(fā)生震顫，IMU捕獲到上肢震顫的信號(hào)，在模型訓(xùn)練的過(guò)程中，導(dǎo)致與Ⅱ期僅出現(xiàn)輕微聯(lián)合反應(yīng)運(yùn)動(dòng)的患者情況混淆；其次，訓(xùn)練模型的數(shù)據(jù)量不足，也對(duì)預(yù)測(cè)的準(zhǔn)確性造成影響。測(cè)試集的分類(lèi)結(jié)果表明，本文方法能夠較好地對(duì)腦卒中患者實(shí)現(xiàn)Brunnstrom分期預(yù)測(cè)。

圖9 Brunnstrom分期預(yù)測(cè)真實(shí)值與預(yù)測(cè)值的對(duì)比Fig.9 Comparison of Brunnstrom＇s staged forecasts between real and predicted values

3 結(jié)束語(yǔ)

為了實(shí)現(xiàn)腦卒中患者遠(yuǎn)程的居家康復(fù)評(píng)估，本文利用智能手機(jī)和慣性傳感器來(lái)對(duì)腦卒中患者進(jìn)行遠(yuǎn)程居家Brunnstrom分期預(yù)測(cè)，避免腦卒中患者頻繁前往康復(fù)醫(yī)院進(jìn)行康復(fù)評(píng)估，有利于康復(fù)醫(yī)師了解到患者的康復(fù)情況，及時(shí)制定合適患者的康復(fù)計(jì)劃。在未來(lái)研究中，會(huì)將該系統(tǒng)推廣到臨床中，建立更加真實(shí)、全面的腦卒中患者的康復(fù)過(guò)程的數(shù)據(jù)庫(kù)，提高預(yù)測(cè)模型的適用性和準(zhǔn)確率。此外，陸續(xù)開(kāi)展對(duì)手部功能的預(yù)測(cè)評(píng)估研究，期望建立一個(gè)更完善的基于“互聯(lián)網(wǎng)+”的遠(yuǎn)程康復(fù)評(píng)估系統(tǒng)。