基于Azure Kinect骨骼追蹤的腕關(guān)節(jié)活動度測量方法

張文波，瞿暢，周建萍，張小萍，張嘯天

1.南通大學機械工程學院，江蘇南通市 226019；2.南通大學附屬醫(yī)院，江蘇南通市 226001

0 引言

腦卒中、帕金森病等在老年人中高發(fā)，容易出現(xiàn)肢體功能障礙。同時，因老年人活動不便，容易發(fā)生摔傷、扭傷等。在后期的康復治療中，借助醫(yī)療器械進行康復訓練的案例普遍存在[1]。在腕關(guān)節(jié)康復訓練中，受傷關(guān)節(jié)活動范圍的準確測量對指導康復訓練、避免二次損傷具有重要意義。

人體關(guān)節(jié)活動度傳統(tǒng)的測量方法有通用量角器、電子角度計、二維影像測量[2]等。使用上述方法測量時，因皮膚軟組織活動性大、量角器放置不準、二維影像所標手掌、手臂軸線不準等導致測量結(jié)果相差較大。因此，人們進一步研究出新型的測量方法，包括基于慣性傳感器的測量系統(tǒng)[3]、基于伸展運動傳感器的測量系統(tǒng)[4]、可穿戴超聲傳感的腕部測量[5]。這些方法的測量精度能滿足臨床要求，但都需佩戴設(shè)備，操作復雜且主要是對肢體大關(guān)節(jié)活動度的測量。另有研究人員利用手機應(yīng)用程序增強現(xiàn)實技術(shù)(augmented reality,AR)尺子等對腕關(guān)節(jié)活動度進行測量[6-8]，該方法只需用手機檢測手腕邊緣或定位點即可，測量簡單，目前iPhone 手機的AR 尺子角度測量功能需要收費，而Android 手機尚未開通。國際上還存在光學運動捕捉測量系統(tǒng)[9]、motion analysis 三維運動捕捉分析測量系統(tǒng)[10]，這兩種測量系統(tǒng)先進，測量結(jié)果精確，但設(shè)備昂貴，空間環(huán)境要求高，難以普及。

近幾年，一種基于Kinect 的關(guān)節(jié)活動度測量方法逐漸進入人們視野，研究人員通過Kinect 采集到的骨骼關(guān)節(jié)點數(shù)據(jù)實現(xiàn)上肢部分關(guān)節(jié)活動度自動測量[11]，該方法主要是針對上肢肩、肘等大關(guān)節(jié)的測量。由于Kinect 的骨骼追蹤數(shù)據(jù)抖動、穩(wěn)定性差[12]，直接應(yīng)用Kinect 捕捉到的關(guān)節(jié)點數(shù)據(jù)，尚無法實現(xiàn)小關(guān)節(jié)(手腕、手指等)活動度測量。隨著Kinect 硬件的不斷升級，最新的Azure Kinect關(guān)節(jié)點提取數(shù)量和精度較Kinect V1、Kinect V2 有較大的提高[13]，為基于骨骼追蹤，實現(xiàn)腕關(guān)節(jié)活動度的自動測量提供可能性。

本文基于Azure Kinect 骨骼追蹤功能，提出一種腕關(guān)節(jié)活動度測量方法。該方法采用霍爾特雙參數(shù)指數(shù)平滑算法消除關(guān)節(jié)點抖動，以骨骼長度為約束篩選關(guān)節(jié)點坐標，提高了關(guān)節(jié)點空間位置的捕捉準確率，進而提高測量精度。

1 資料與方法

1.1 一般資料

2021年5月至10月，在南通大學機械工程學院招募5 例健康志愿者，其中3 例男性，2 例女性；身高(170±10)cm；體質(zhì)量(65±15)kg；年齡(24±1)歲。

納入標準：①無認知障礙；②手臂、手腕、手均無任何疾??；③能自由控制手腕運動且能達到最大范圍。

所有受試者均詳細了解試驗內(nèi)容并能承擔可能發(fā)生的危險，簽署知情同意書。本研究已經(jīng)南通大學機械工程學院倫理審查。

分別采用下述方法、AR 尺子、二維影像對其中2例男性的左手、1例男性的右手、1例女性的左手、1例女性的右手(以下簡稱“男1 左、男2 左、男3 右、女1 左、女2 右”)進行10 組腕關(guān)節(jié)活動度的測量，以驗證該方法的可靠性。

1.2 方法

Azure Kinect 是將深度傳感器、空間麥克風陣列、視頻攝像頭和方向傳感器整合成一體式的小型設(shè)備，通過時差測距(time of flight,TOF)原理獲取深度信息[14]。Azure Kinect 的人體跟蹤功能可跟蹤人體在不同時間的位置、提供人體圖像分段、包含視場角(field of view,FOV)中每個不完整或完整人體在解剖學上正確的骨干，估算人體3D 關(guān)節(jié)和關(guān)鍵點，以便完整清晰且唯一地鑒別多骨骼人體。Azure Kinect 的人體跟蹤功能可同時追蹤6個人的空間位置。在個體中，Azure Kinect 可識別出包含指尖、手掌、手腕、手肘等呈左右對稱的32個關(guān)節(jié)點。見圖1。

圖1 Azure Kinect關(guān)節(jié)點示意圖

基于Azure Kinect 的骨骼追蹤進行腕關(guān)節(jié)活動度的測量流程如下。首先創(chuàng)建人體跟蹤器，將捕獲到的人體三維關(guān)節(jié)點輸出；設(shè)計正交試驗以求最佳測量位姿；采用霍爾特雙參數(shù)指數(shù)平滑法對獲得的關(guān)節(jié)點進行平滑處理，剔除異常關(guān)節(jié)點；以骨骼長度為約束進一步篩選出符合真實空間位置的關(guān)節(jié)點，根據(jù)此關(guān)節(jié)點坐標和空間向量計算夾角；最后求多幀夾角平均值作為最終的腕關(guān)節(jié)活動度。

1.2.1 測量位姿選擇

1.2.1.1 關(guān)節(jié)點坐標的獲取

Azure Kinect 獲取視場內(nèi)人體的彩色圖像、紅外圖像、深度圖像，以自身焦點為坐標原點提取人體空間關(guān)節(jié)點；當提取到32個關(guān)節(jié)點并能完整正確地連成人體骨架時，即生成唯一身份標識號(identity document,ID)。該骨架中每個關(guān)節(jié)點有唯一的標識符如手、腕、肘和對應(yīng)的三維坐標信息。針對腕關(guān)節(jié)活動度的測量，本文捕捉手腕、手掌、肘及指尖的關(guān)節(jié)點坐標。

1.2.1.2 確定最佳測量位姿

由于Azure Kinect關(guān)節(jié)點提取過程中距離、角度、姿勢問題以及硬件穩(wěn)定性問題，捕捉到的關(guān)節(jié)點坐標會出現(xiàn)抖動和突變，尤其是手掌坐標數(shù)據(jù)。因此需要確定最佳測量位姿(距離、角度、姿勢)以盡量減少關(guān)節(jié)點抖動。

Azure Kinect深度測量有效范圍為250～5 460 mm、俯仰角范圍為-90°～90°，測量姿勢見圖2。在室內(nèi)、常溫條件下以距離、角度、姿勢為因素(不考慮因素間的交互作用)，各因素水平見表1。以手掌坐標抖動程度(X、Y、Z坐標值標準差之和)為指標設(shè)計正交試驗以確定最佳測量位姿，抖動程度公式如下：

表1 因素水平表

其中N為試驗次數(shù)100，μx、μy、μz分別為X、Y、Z坐標值期望。

本試驗共有3 個因素，且不考慮因素間的交互作用，故選用正交表L9(34)來安排試驗。試驗方案見表2，試驗結(jié)果分析見表3。

表2 試驗方案表

表3 試驗結(jié)果分析

在本試驗中，試驗指標是抖動程度，故指標越小越好。由表2 可知，1 號試驗指標最小，對應(yīng)的優(yōu)位姿為：A1B1C1，即距離為1 000 mm、角度為-45°、姿勢為圖2a。由表3 可知，三因素對抖動程度的影響由大到小依次為：A、B、C，同時，表3 也驗證了三因素之間無明顯交互作用。

圖2 測量姿勢示意圖

1.3 霍爾特雙參數(shù)指數(shù)平滑法

以優(yōu)位姿A1B1C1進行測量時，關(guān)節(jié)點抖動會有明顯減小，但是仍存在輕微抖動，而平滑算法對抖動數(shù)據(jù)的處理有明顯效果，所以本文擬用平滑算法對數(shù)據(jù)進行進一步處理。

平滑算法種類繁多，有一次指數(shù)平滑法、布朗單一參數(shù)指數(shù)平滑法、霍爾特雙參數(shù)指數(shù)平滑法(又稱霍爾特濾波)等。當存在趨勢時，一次指數(shù)平滑法平滑效果較差，布朗單一參數(shù)指數(shù)平滑法一次、二次平滑值都滯后于實際值，而霍爾特雙參數(shù)指數(shù)平滑法可直接對趨勢進行平滑，平滑效果明顯且無滯后，因此本文采用霍爾特雙參數(shù)指數(shù)平滑法。該算法通過對前期數(shù)據(jù)特征的處理，對當前趨勢進行評估，結(jié)合前期數(shù)據(jù)的趨勢對后期數(shù)據(jù)進行預測和平滑，因其有兩個參數(shù)所以具有很大的靈活性?；魻柼仉p參數(shù)指數(shù)平滑法的基本平滑公式如下[15]：

其中α,β為平滑參數(shù)，用以賦予不同的權(quán)重。St為當前幀的平滑值，Bt為當前幀的趨勢值，Yt為當前幀的實際值。公式(2)利用前一幀的趨勢值Bt-1對當前幀的平滑值St進行修正，將前一幀的平滑值St-1與前一幀的趨勢值Bt-1相加，進而消除滯后現(xiàn)象，更新到最新的St。公式(3)通過前一幀的趨勢值Bt-1和當前幀與前一幀平滑值的差值(St-St-1)來共同修正當前幀的趨勢值Bt。

預測公式為：

其中T為預測步長，即當前幀與預測幀的距離,是通過當前幀的平滑值St和當前幀的趨勢值Bt對第(t+T)幀進行預測的數(shù)據(jù)。

本文主要是針對腕關(guān)節(jié)活動度的測量，需要多幀數(shù)據(jù)進行評估，對每一幀數(shù)據(jù)都進行霍爾特平滑處理，故預測步長為1，即T=1。參數(shù)α、β可通過擬合的方法獲得，這樣需要大量數(shù)據(jù)反復實驗。利用步長加速法對α,β的最優(yōu)值進行搜索，最后優(yōu)選出α=0.39,β=0.37，采取該數(shù)值會使實際值與預測值的離差平方和最小，提高預測的準度[16]。因本試驗對人體幀的捕獲共進行100 次，初始平滑值S1的選取為第一幀數(shù)據(jù)與第二幀數(shù)據(jù)的平均值，初始趨勢值B1的選取為第二幀數(shù)據(jù)與第一幀數(shù)據(jù)的差值。由于初始值S1、B1只作簡單賦值，并不能準確反映當前的平滑值與趨勢值，需要經(jīng)過多幀的相互自糾修正才能達到對平滑值與趨勢值的要求。反復試驗發(fā)現(xiàn)在經(jīng)過28幀的自糾修正后，平滑值與趨勢值能準確反映當前的真實情況，所以平滑結(jié)果從第31幀開始計。以該算法分別對手肘、手腕、掌心、指尖從31 幀到100 幀關(guān)節(jié)點的X坐標值進行濾波。濾波前后X坐標值的對比圖用Origin 2017 繪制，如圖3 所示，可直觀的看出平滑處理后的數(shù)據(jù)比原始數(shù)據(jù)更加穩(wěn)定，幅度變化更小，可見平滑效果明顯。對手肘、手腕等關(guān)節(jié)點的Y、Z坐標值進行濾波處理，其結(jié)果與X坐標值類似，此處不再贅述。

圖3 濾波前后X坐標值對比

1.4 骨長約束

由于在任何正常運動狀態(tài)下人體的骨骼長度是保持不變的，所以在霍爾特濾波處理的基礎(chǔ)上，以骨骼長度為約束，進一步篩選符合真實位置的關(guān)節(jié)點三維坐標。由Azure Kinect 檢測70 幀人體濾波后的肘腕距離、掌腕距離、指腕距離，對上述三組數(shù)據(jù)用Origin 2017進行正態(tài)性驗證，驗證發(fā)現(xiàn)三組數(shù)據(jù)均服從置信水平α=0.05 的正態(tài)分布。為了更直觀的觀察三組數(shù)據(jù)的正態(tài)性，將上述三組數(shù)據(jù)分別擬合成正態(tài)曲線，擬合結(jié)果見圖4。

圖4 擬合正態(tài)曲線

重復多次以上試驗發(fā)現(xiàn)由Azure Kinect 檢測的人體濾波后的肘腕距離、掌腕距離、指腕距離均服從正態(tài)分布，與實際距離相比其準確率分別高達98%、95%、96%，可作為骨長約束的判別依據(jù)。

由正態(tài)分布特性可知，數(shù)據(jù)在(μ±2σ)范圍內(nèi)的概率為95.44%、在(μ±3σ)范圍內(nèi)的概率為99.73%。如果骨長約束范圍設(shè)置為(μ±3σ)，將僅剔除0.27%的抖動數(shù)據(jù)，達不到理想要求，而將骨長約束范圍設(shè)置為(μ±2σ)時，可以剔除邊緣4.56%的抖動數(shù)據(jù)，滿足試驗要求，故骨長約束范圍設(shè)置為(μ±2σ)。將此約束應(yīng)用于上述三組數(shù)據(jù)，結(jié)果顯示符合約束的數(shù)據(jù)占比分別為94.29%、95.71%、97.14%，表明該骨長約束范圍有良好的約束效果。

1.5 腕部活動度計算

在人手腕的解剖學結(jié)構(gòu)中，手腕的屈伸運動可認為是繞一根軸旋轉(zhuǎn)，側(cè)偏運動可認為是繞另一根軸旋轉(zhuǎn)[17]。根據(jù)轉(zhuǎn)向不同，屈伸運動分為掌屈和背屈，手掌向手心方向旋轉(zhuǎn)為掌屈，反之為背屈，見圖5。同理，側(cè)偏運動分為尺偏和橈偏，手掌向尺骨方向旋轉(zhuǎn)為尺偏，反之為橈偏。見圖6。手掌所在軸線與手臂所在軸線的夾角即為掌屈、背屈、尺偏、橈偏角度。

圖5 屈伸運動示意圖

圖6 側(cè)偏運動示意圖

本文利用經(jīng)濾波處理且滿足骨長約束的手肘、手腕、手掌、指尖的空間坐標計算關(guān)節(jié)角度。在掌屈與背屈的測量中，由于手指在這一方向會出現(xiàn)較大的彎曲，很難保持平直，對結(jié)果造成一定的影響，而手掌坐標則相對穩(wěn)定。故掌屈、背屈利用手掌、手腕、手肘這三個關(guān)節(jié)點的空間坐標來計算。而在尺偏和橈偏的測量中，手指在這一方向的彎曲幾乎為零，并且手掌坐標抖動相對較大，而指尖坐標穩(wěn)定，所以尺偏、橈偏利用指尖、手腕、手肘這三個關(guān)節(jié)點的空間坐標來計算。

以掌屈為例，設(shè)手肘的坐標為P1(x1,y1,z1)、手腕的坐標為P2(x2,y2,z2)、手掌的坐標為P3(x3,y3,z3)。則空間向量：

當y3＞y2時，θ為掌屈角度；當y3＜y2時，θ為背屈角度。

尺偏、橈偏角度計算時需將上式中的手掌坐標P3(x3,y3,z3)換成指尖坐標P4(x4,y4,z4),相應(yīng)的：

當y4＞y2時，γ為尺偏角度；當y4＜y2時，γ為橈偏角度。

為提高測量精度，擴大容錯率，將符合骨長約束的角度累加之后平均，將該平均值作為最終的腕關(guān)節(jié)活動度。

1.6 統(tǒng)計學分析

采用Origin 2017分析顯示，置信水平α=0.05，測量數(shù)據(jù)不屬于正態(tài)分布，采用秩和檢驗法來檢驗本方法與另外兩種方法之間是否存在系統(tǒng)誤差。對于給定顯著性水平α=0.05，測量數(shù)據(jù)個數(shù)n1=10，n2=10，n3=10，由秩和臨界值表可查得R1的上限T2=127，下限T1=83，對本方法進行秩和檢驗。采用Pearson 相關(guān)性分析評價本方法與AR 尺子、二維影像測量方法的相關(guān)性，其中r∈[-1,1]，r值越趨近于1，表示相關(guān)性越好。計算本方法相對于AR尺子、二維影像測量數(shù)據(jù)的誤差，在Origin 2017軟件中繪制分析。顯著性水平α=0.05。

2 結(jié)果

各科目的R1均在范圍內(nèi)，且數(shù)據(jù)居中，故本方法與AR 尺子、二維影像測量方法無顯著性差異，根據(jù)文獻[2]、[6-8]可知AR 尺子、二維影像測量數(shù)據(jù)無系統(tǒng)誤差，故本方法測量數(shù)據(jù)亦無系統(tǒng)誤差。見表4。本方法與AR 尺子、二維影像均有很強的相關(guān)性。見表5。

表4 各組測量數(shù)據(jù)的秩和(R1)

表5 各科目相關(guān)系數(shù)

掌屈測量中最大誤差分別為1.34°、1.58°，背屈測量中最大誤差分別為1.44°、1.61°，尺偏測量中最大誤差分別為-1.47°、1.48°，橈偏測量中最大誤差分別為1.56°、-1.36°。見圖7。

圖7 測量數(shù)據(jù)誤差

3 討論

腕關(guān)節(jié)活動度測量在康復治療及傷殘等級評定等方面有著非常重要的作用，如本測量方法可實時獲得腕關(guān)節(jié)活動度，可為康復設(shè)備提供數(shù)據(jù)支撐，為患者腕關(guān)節(jié)受限程度提供判斷依據(jù)；同時該方法也可幫助醫(yī)師制定康復方案，評價康復效果并推動康復評定技術(shù)的發(fā)展。

本研究主要是利用Azure Kinect 骨骼追蹤功能，設(shè)計正交試驗以求得最佳測量位姿，運用霍爾特雙參數(shù)指數(shù)平滑法、骨長約束等對腕關(guān)節(jié)各科目進行角度測量。本研究顯示，本方法與AR 尺子、二維影像測量方法之間存在很高的相關(guān)性，最高可達0.998，最大誤差也僅在1.61°以內(nèi)，具有較高的測量精度。

本方法與AR尺子測量相比，雖然操作都較簡單，但本方法沒有定位點難以確定、運行不暢等問題；二維影像測量屬于傳統(tǒng)方法，操作繁瑣且不能實時測量，本方法操作簡單、測量速度快、可實時測量；基于傳感器的測量方法需要在測量部位佩戴不同的傳感器，這將給受試者帶來不便，影響測量，而本方法不需要佩戴任何設(shè)備，只需以優(yōu)位姿A1B1C1測量即可；光學運動捕捉系統(tǒng)測量精度高，但系統(tǒng)龐大、對空間環(huán)境要求嚴格，而本方法系統(tǒng)簡單，對空間環(huán)境無嚴格要求，容易實現(xiàn)，適合推廣。

在小關(guān)節(jié)活動度的測量中，雖然Azure Kinect 可以識別出手部的3 個關(guān)節(jié)點，但這些關(guān)節(jié)點尚不足以計算手指的活動度。為了解決這一問題，有研究人員通過在手部粘貼反光標記，利用卷積神經(jīng)網(wǎng)絡(luò)和手姿態(tài)評估來測量小關(guān)節(jié)活動度[18]，而本方法不需要粘貼任何標記，在有無衣服遮擋條件下均可對小關(guān)節(jié)(腕部)活動度進行測量。前代Kinect對小關(guān)節(jié)活動度的測量主要是通過深度圖像完成的，最大測量誤差可以控制在2°以內(nèi)[19]，而本方法是通過獲取關(guān)節(jié)點來測量的，針對關(guān)節(jié)點抖動問題，本文通過對關(guān)節(jié)點數(shù)據(jù)的處理使最大測量誤差控制在1.61°以內(nèi)。本研究顯示，Azure Kinect 腕關(guān)節(jié)角度測量方式與傳統(tǒng)測量方式測量結(jié)果無明顯差異，可以應(yīng)用于腕關(guān)節(jié)活動度的測量，并滿足實時測量要求。

綜上所述，本文提出一種基于Azure Kinect 骨骼追蹤并融合霍爾特濾波、骨長約束的腕關(guān)節(jié)活動度測量方法，實現(xiàn)了腕關(guān)節(jié)掌屈、背伸、尺偏、橈偏角度的自動測量。該方法不僅測量精度能夠滿足臨床要求，而且操作簡單，能夠?qū)崟r獲得測量結(jié)果，為手腕關(guān)節(jié)活動度的測量提供了一種新的手段。由于Azure Kinect 目前尚無法追蹤到手指關(guān)節(jié)點，因此本文尚不能完成對手指關(guān)節(jié)活動度的測量，這將是下一步的研究重點。另外，本研究受試者均是健康青年，下一步需要對健康受損人群進行研究。

利益沖突聲明：所有作者聲明不存在利益沖突。