基于Kinect技術(shù)的胸外心臟按壓輔助訓(xùn)練系統(tǒng)研究

摘 要：隨著計(jì)算機(jī)視覺和人機(jī)交互技術(shù)的發(fā)展，運(yùn)動(dòng)捕捉技術(shù)逐漸開始在各領(lǐng)域得到應(yīng)用和普及，具有較強(qiáng)的教學(xué)實(shí)踐指導(dǎo)意義。本文根據(jù)對(duì)心肺復(fù)蘇（CPR）教學(xué)現(xiàn)狀的需求分析，研究開發(fā)了一種基于Kinect技術(shù)的胸外心臟按壓輔助訓(xùn)練系統(tǒng)，旨在提高醫(yī)療專業(yè)人員在緊急情況下執(zhí)行高質(zhì)量心肺復(fù)蘇的能力。系統(tǒng)通過實(shí)時(shí)捕捉操作者的動(dòng)作并提供反饋，幫助用戶學(xué)習(xí)和改進(jìn)按壓技巧。研究結(jié)果表明，該系統(tǒng)能夠有效提高用戶的CPR技能，具有較高的實(shí)用性和教育價(jià)值。

關(guān)鍵詞：Kinect；胸外心臟按壓；輔助訓(xùn)練

中圖分類號(hào)：TP 31 文獻(xiàn)標(biāo)志碼：A

心臟驟停是臨床上常見的危急重癥，致死率高[1]。高質(zhì)量的CPR能顯著提升患者生存率，但CPR普及率低，尤其在中國(guó)，大眾普遍缺乏相關(guān)知識(shí)。非專業(yè)人員因缺乏訓(xùn)練，操作可能不規(guī)范，影響救援效果。傳統(tǒng)胸外心臟按壓訓(xùn)練方式成本高、反饋不及時(shí)、效率低。隨著技術(shù)發(fā)展，Kinect技術(shù)已應(yīng)用于醫(yī)療領(lǐng)域[2]，本系統(tǒng)通過捕捉人體三維骨骼信息，實(shí)時(shí)評(píng)估按壓深度、頻率和姿勢(shì)，提供即時(shí)反饋，解決傳統(tǒng)訓(xùn)練不足。當(dāng)前，CPR教學(xué)正借助互聯(lián)網(wǎng)等新興媒體，從面對(duì)面教學(xué)向多樣化方式轉(zhuǎn)變，促進(jìn)技能普及[3]。BESKIND等[4]發(fā)現(xiàn)視頻訓(xùn)練在提高CPR技能質(zhì)量和反應(yīng)能力方面優(yōu)勢(shì)顯著。PAGLINO M等[5]研究了一個(gè)以視頻為媒介的小學(xué)生CPR教學(xué)計(jì)劃，學(xué)生通過視頻學(xué)習(xí)CPR操作，并在人體模型上進(jìn)行練習(xí)。NAS等[6]發(fā)現(xiàn)虛擬培訓(xùn)在胸部按壓速度上優(yōu)于面對(duì)面培訓(xùn)，但在按壓深度上稍顯不足。LEARY等[7]創(chuàng)建了一個(gè)模擬的虛擬現(xiàn)實(shí)環(huán)境，學(xué)員可以與環(huán)境互動(dòng)，并且參與訓(xùn)練的人體模型能夠提供反饋。萬資鈺[8]在高級(jí)生命支持訓(xùn)練系統(tǒng)中加入了Kinect圖像識(shí)別技術(shù)用來對(duì)訓(xùn)練者操作過程中訓(xùn)練姿態(tài)進(jìn)行識(shí)別與糾正。

1 相關(guān)技術(shù)與開發(fā)平臺(tái)

1.1 Kinect技術(shù)概述

Kinect V2擁有三個(gè)關(guān)鍵組件：紅外投影器、彩色攝像頭和紅外攝像頭。紅外投影器與紅外攝像頭協(xié)同工作，實(shí)現(xiàn)深度感知，能夠捕捉深度圖像并進(jìn)行人體跟蹤。彩色攝像頭則負(fù)責(zé)捕捉場(chǎng)景和人物的RGB圖像，提供彩色圖像流，使得簡(jiǎn)單的人臉識(shí)別成為可能。此外，Kinect V2底部配備了四個(gè)麥克風(fēng)，它們線性排列且等距分布，能夠同時(shí)收集聲音信息，并通過數(shù)字語音處理技術(shù)，實(shí)現(xiàn)聲源定位。Kinect V1和Kinect V2的骨骼追蹤功能是其顯著特點(diǎn)之一，能夠精確地定位和追蹤人體骨骼關(guān)節(jié)點(diǎn)，提供實(shí)時(shí)的3D骨骼坐標(biāo)信息，為各種應(yīng)用提供了強(qiáng)大的交互能力。Kinect在醫(yī)療范疇的應(yīng)用廣泛，涵蓋復(fù)健操練、體態(tài)量化、機(jī)能評(píng)價(jià)、人身辨識(shí)以及新科技探索等多重要領(lǐng)域。

1.2 Unity3D三維建模平臺(tái)

該系統(tǒng)將動(dòng)畫創(chuàng)作中的角色原型引入至虛擬建構(gòu)環(huán)境，開展相應(yīng)劇本的編撰，以此實(shí)現(xiàn)虛擬行動(dòng)的復(fù)刻。Unity3D系UnityTechnologies企業(yè)所研發(fā)之軟件工具，專為生成三維動(dòng)畫、構(gòu)建虛擬環(huán)境與執(zhí)行物理運(yùn)算等任務(wù)而設(shè)計(jì)，具備跨平臺(tái)特性，適用于游戲開發(fā)及其他多媒體應(yīng)用領(lǐng)域。作為一款跨平臺(tái)的開發(fā)工具，Unity3D集成了三維游戲引擎所需的編輯器框架、圖像渲染模塊、地形處理系統(tǒng)等核心功能，能夠生成引人入勝的三維視覺體驗(yàn)。該工具所配套的編程語言包括C#與JavaScript等，允許開發(fā)者在Unity3D的開發(fā)環(huán)境中便捷地制作出動(dòng)態(tài)的三維視覺效果。X、開放圖形庫技術(shù)。很多類似于Maya、使用如3D Max在內(nèi)的流行三維建模工具所創(chuàng)建的內(nèi)容能夠順暢且高效地集成至Unity3D環(huán)境。

2 輔助訓(xùn)練系統(tǒng)的實(shí)現(xiàn)

為了構(gòu)建胸外按壓輔助訓(xùn)練系統(tǒng)，第一步是收集運(yùn)動(dòng)信息。該系統(tǒng)利用無須人體額外佩戴的Kinect體感裝置來獲取動(dòng)作數(shù)據(jù)，并將這些實(shí)際操作記錄為虛擬檔案。建立基準(zhǔn)數(shù)據(jù)庫至關(guān)重要，因?yàn)樗苯佑绊懼麄€(gè)輔助平臺(tái)的專業(yè)水平和實(shí)用性。

2.1 標(biāo)準(zhǔn)數(shù)據(jù)庫的設(shè)計(jì)

構(gòu)建規(guī)范數(shù)據(jù)庫的核心要素如下。1）**數(shù)據(jù)收集流程**：應(yīng)選用具備專業(yè)知識(shí)的急救人員進(jìn)行操作，確保采用標(biāo)準(zhǔn)化的心肺復(fù)蘇胸外按壓動(dòng)作作為數(shù)據(jù)采集的基礎(chǔ)，以確保數(shù)據(jù)的精度和一致性。 2） **數(shù)據(jù)標(biāo)準(zhǔn)化與準(zhǔn)確性**：建立一個(gè)專業(yè)且標(biāo)準(zhǔn)化的數(shù)據(jù)庫，能有效降低因參考數(shù)據(jù)偏差導(dǎo)致的評(píng)估不精確問題，從而減輕后續(xù)數(shù)據(jù)處理與調(diào)整的工作負(fù)擔(dān)。 3） **任務(wù)模型與用戶匹配**：在計(jì)算動(dòng)作數(shù)據(jù)時(shí)，需通過調(diào)整任務(wù)模型與用戶之間的對(duì)應(yīng)關(guān)系，確保動(dòng)作的準(zhǔn)確性和兼容性。此步驟涉及執(zhí)行三種不同動(dòng)作，通過這些動(dòng)作姿態(tài)來校正人體各部位與Unity虛擬人物骨骼的相對(duì)位置，這直接影響了數(shù)據(jù)的準(zhǔn)確性及其后續(xù)處理的復(fù)雜度。 4）**Kinect數(shù)據(jù)采集**：在使用Kinect設(shè)備進(jìn)行數(shù)據(jù)收集時(shí)，應(yīng)將其完整記錄救護(hù)員的動(dòng)作過程，以便于在后續(xù)的數(shù)據(jù)修正階段，以視頻為依據(jù)，提供直觀的參考，確保數(shù)據(jù)的可靠性和精確性。在構(gòu)建數(shù)據(jù)庫時(shí)，須收集若干批次數(shù)據(jù)，各批次中急救人員面對(duì)Kinect紅外攝像頭的角度各異。

2.2 人體姿態(tài)特征提取

本文提取的角度特征、速度特性均遵循核心數(shù)據(jù)特性提取的準(zhǔn)則：一是特征數(shù)據(jù)能刻畫動(dòng)作的獨(dú)有狀況；二是特征數(shù)據(jù)在動(dòng)作全周期內(nèi)保持連貫性與穩(wěn)定性，實(shí)現(xiàn)了從原始數(shù)據(jù)到簡(jiǎn)化形式的降維，從而縮減了運(yùn)算負(fù)荷，減輕了計(jì)算難度；三是即便遭遇不可抗力的外界干擾，特征數(shù)據(jù)仍具備不變性。利用抽取的人體姿態(tài)角度特征作為后續(xù)章節(jié)中DTW算法匹配對(duì)應(yīng)幀的評(píng)判基準(zhǔn)。利用提取效率及方向?qū)傩宰鳛樵u(píng)估標(biāo)準(zhǔn)。

2.3 DTW算法匹配

該系統(tǒng)運(yùn)用DTW算法對(duì)測(cè)試個(gè)體的動(dòng)作序列與基準(zhǔn)動(dòng)作序列的相應(yīng)幀進(jìn)行匹配，匹配準(zhǔn)則基于所抽取的人體姿勢(shì)角度特性。DTW算法憑借其簡(jiǎn)潔與高效的特點(diǎn)，普遍應(yīng)用于語音識(shí)別、文本信息匹配等范疇，乃是一種旨在優(yōu)化模板匹配的算法。該方法的核心理念在于，通過拉長(zhǎng)及壓縮時(shí)間序列，以評(píng)估測(cè)試案例與基準(zhǔn)案例之間的相似度，進(jìn)而構(gòu)建一條連接二者的時(shí)間校準(zhǔn)對(duì)應(yīng)軌跡。在求解環(huán)節(jié)，目標(biāo)是識(shí)別兩個(gè)樣本間累積距離最短的路徑，以此界定最優(yōu)路徑。

Kinect 采集的數(shù)據(jù)的速率大約 30 幀/s，一個(gè)動(dòng)作序列可看作為連續(xù)多幀骨架數(shù)據(jù)的集合。定義兩個(gè)動(dòng)作序列U=（U1，U2，…，Um）和V=（V1，V2，…，Vn），U為測(cè)試序列，V為標(biāo)準(zhǔn)序列，長(zhǎng)度分別m幀和n幀。通常情況下m≠n，需要構(gòu)建一個(gè)m×n的矩陣網(wǎng)格，定義矩陣D如公式（1）所示。

（1）

最優(yōu)匹配路徑如圖1 所示，為了在該網(wǎng)格矩陣內(nèi)識(shí)別一條涵蓋特定節(jié)點(diǎn)的最短路徑，此路徑連接的節(jié)點(diǎn)代表了兩個(gè)序列各自幀中的對(duì)應(yīng)點(diǎn)。將此最短路徑命名為有序路徑WK=（ω1，ω2，…，ωK）這一組連續(xù)矩陣元素用來映射動(dòng)作序列U、V的角度特征對(duì)應(yīng)關(guān)系，W的第k-1、k個(gè)元素分別定義WK-l=D（i'，j'）k-l，Wk=D（i，j）k。這條最優(yōu)路徑要滿足以下4個(gè)約束條件。1）邊界約束：ω1=D（1，1）， ωk=D（m，n）。2） 有界性：max（m，n）≤k≤m+n-1。3）連續(xù)性：ωi=D（i，j）" "ωk-1=D（i'，j'），i-i'≤1，j-j'≤1。4）單調(diào)性：不允許同時(shí)出現(xiàn)i-i'=1，j-j'=1。

根據(jù)上述幾個(gè)約束條件，計(jì)算距離矩陣的最優(yōu)路徑，如果序列U中的某一幀Ui和序列V中的某一幀Vj，對(duì)應(yīng)到最優(yōu)路徑中的同一個(gè)元素上，那么Ui和Vj即是對(duì)應(yīng)幀。

2.4 系統(tǒng)評(píng)分設(shè)計(jì)

本系統(tǒng)的中心模塊為評(píng)分機(jī)制的構(gòu)建，融合DTW算法匹配幀間關(guān)節(jié)的角度及速度指標(biāo)。以計(jì)算測(cè)試參與者執(zhí)行的動(dòng)作序列與預(yù)定標(biāo)準(zhǔn)動(dòng)作序列之間的角度偏差作為評(píng)估基準(zhǔn)：鑒于心肺復(fù)蘇過程中按壓動(dòng)作的特性，此設(shè)計(jì)方案進(jìn)一步分析了動(dòng)作序列的速度參數(shù)，將速度的離散程度作為評(píng)價(jià)的另一關(guān)鍵指標(biāo)。此外，該平臺(tái)還將提供太極動(dòng)作的時(shí)長(zhǎng)信息，并通過整合分析，評(píng)定成績(jī)。評(píng)分算法具體計(jì)算流程如圖2所示。

2.4.1 人體姿態(tài)角度差異計(jì)算

假設(shè)長(zhǎng)度分別為m幀和n幀的兩個(gè)動(dòng)作序列A=（A1，A2，…，Am）和B=（B1，B2，…，Bn）有k個(gè)對(duì)應(yīng)幀。A為測(cè)試序列B為標(biāo)準(zhǔn)序列。Bi幀對(duì)應(yīng)的角度特征為θi，幀Bi對(duì)應(yīng)的角度特征用θi表示（角度特征是一個(gè)16維的向量），測(cè)試動(dòng)作序列A與標(biāo)準(zhǔn)動(dòng)作序列B的距離即把A中每個(gè)幀與其對(duì)應(yīng)幀的距離求和再取平均值（即DAngle），如公式（2）所示。

（2）

式中：Di Angle表示Bi幀角度特征與Bi幀角度特征的曼哈頓距離；Bi表示序列B中的任意一幀；Bi'表示序列A中，與幀Bi對(duì)應(yīng)的幀。

2.4.2 人體姿態(tài)速度差異計(jì)算

序列A與序列B之間對(duì)應(yīng)幀的速度偏差計(jì)算機(jī)制相仿。令Bi幀的速度特征為vi，Bi'幀的速度特征為vi'（速度特征是一個(gè)20維的向量，表示每個(gè)關(guān)節(jié)點(diǎn)的瞬時(shí)速度）。序列A與序列的速度特征距離計(jì)算如公式（3）所示。

（3）

式中：Di Speed表示Bi幀速度特征與Bi'幀速度特征的曼哈頓距離。

2.4.3 得分計(jì)算

上述計(jì)算反映的是兩個(gè)動(dòng)作序列間的差異度，序列間越是相像，其距離數(shù)值越低；反之，若序列差異顯著，則距離數(shù)值相應(yīng)增加。借助轉(zhuǎn)換，將間距轉(zhuǎn)化為評(píng)價(jià)指標(biāo)，具體而言，若間距更廣，則評(píng)分較低；反之，若間距較窄，則評(píng)分較高。映射公式如公式（4）所示。

S=α·（S-β） （4）

式中：S表示角度或者速度得分；α與β是映射參數(shù)，應(yīng)該根據(jù)實(shí)際測(cè)試情況選擇合理的值，使得分能映射到合理的范圍內(nèi)。

2.4.4 系統(tǒng)的三維重建

在三維組件的設(shè)計(jì)探索中，旨在克服將Kinect捕獲的各個(gè)關(guān)節(jié)旋轉(zhuǎn)信息映射至Unity3D角色模型對(duì)應(yīng)關(guān)節(jié)位置的挑戰(zhàn)。一旦收集到特定關(guān)鍵點(diǎn)的信息，鑒于Kinect固有的噪聲影響，就必須執(zhí)行去噪操作以優(yōu)化數(shù)據(jù)質(zhì)量。為保證人物姿態(tài)和生理構(gòu)造的一致性，對(duì)各關(guān)鍵點(diǎn)的轉(zhuǎn)動(dòng)進(jìn)行必要的限制。此步驟旨在生成更為自然、合理的模型姿勢(shì)。最后，通過調(diào)整Kinect坐標(biāo)系統(tǒng)與Unity3D中的鏡像和旋轉(zhuǎn)校正，成功再現(xiàn)由Kinect捕獲的三維動(dòng)作。

Kinect與Unity組件通過調(diào)用特定函數(shù)實(shí)現(xiàn)信息交換，其中Unity組件側(cè)重于利用二維繪圖工具構(gòu)建虛擬環(huán)境及動(dòng)作元素，在Unity3D平臺(tái)內(nèi)執(zhí)行模塊集成、數(shù)據(jù)解析與互動(dòng)管理，以此確保能即時(shí)呈現(xiàn)用戶的三維動(dòng)畫效果。

3 試驗(yàn)設(shè)計(jì)與分析

選取30名學(xué)員對(duì)系統(tǒng)功能進(jìn)行測(cè)試，將受試者分為AB兩組：A組未使用系統(tǒng)輔助訓(xùn)練（15人）；B組使用系統(tǒng)輔助訓(xùn)練（15人），經(jīng)過兩周的分開訓(xùn)練后測(cè)試。結(jié)果顯示B組平均得分（88.3）明顯高于A組平均得分（70.5），說明系統(tǒng)對(duì)CPR動(dòng)作水平的提高具有顯著效果，提高了訓(xùn)練的效率。成績(jī)見表1。

通過試驗(yàn)數(shù)據(jù)來看，本系統(tǒng)對(duì)CPR動(dòng)作的評(píng)價(jià)機(jī)制已經(jīng)充分驗(yàn)證了項(xiàng)目的可行性、可靠性和先進(jìn)性。經(jīng)過系統(tǒng)的輔助訓(xùn)練后，在實(shí)際的CPR動(dòng)作考核中成績(jī)提升顯著。評(píng)分較之前提高了20%～40% 。

4 結(jié)論

通過剖析胸外心臟按壓技巧教育現(xiàn)狀，本文明確了系統(tǒng)的任務(wù)及實(shí)施流程，并采用Kinect技術(shù)及Unity平臺(tái)，創(chuàng)制了一款旨在輔助練習(xí)者提升胸外按壓技能的訓(xùn)練系統(tǒng)，該系統(tǒng)能夠評(píng)估操作者的動(dòng)作準(zhǔn)確性與及時(shí)性，并提供必要的反饋以糾正不規(guī)范的操作。動(dòng)作捕捉單元能夠?qū)⒂脩舻牟噬曨l流呈現(xiàn)在界面上，并在彩色視頻上標(biāo)注出骨骼數(shù)據(jù)流所對(duì)應(yīng)的空間坐標(biāo)及關(guān)鍵點(diǎn)位置；動(dòng)作評(píng)價(jià)單元已成功構(gòu)建了對(duì)使用者動(dòng)作進(jìn)行評(píng)判與修正的功能，展現(xiàn)出較為理想的性能；而實(shí)現(xiàn)的三維重構(gòu)組件，則具備即時(shí)將收集到的被試者運(yùn)動(dòng)信息輸入至角色模型內(nèi)，進(jìn)而操控虛擬角色的能力。此方案旨在適當(dāng)?shù)剌o佐傳統(tǒng)教學(xué)，不僅能夠幫助用戶對(duì)其動(dòng)作進(jìn)行自我校準(zhǔn)與修正，還能提升訓(xùn)練的科學(xué)性與吸引力。通過實(shí)施自主學(xué)習(xí)與自我評(píng)估機(jī)制，成功克服了傳統(tǒng)胸外按壓技藝教學(xué)中的效率低下及反饋滯后難題，為推行系統(tǒng)化與科學(xué)性的胸外按壓技能實(shí)踐與培訓(xùn)，提供了堅(jiān)實(shí)的數(shù)據(jù)支撐。進(jìn)而顯著提升了訓(xùn)練效能，展現(xiàn)出極高的實(shí)踐價(jià)值。對(duì)Kinect在體育、在虛擬現(xiàn)實(shí)顯示、動(dòng)畫創(chuàng)作、體感互動(dòng)游戲等范疇的應(yīng)用，具備實(shí)際的借鑒意義。

參考文獻(xiàn)

[1]王歡，鄭家偉，彭登高.心臟驟?；颊咝姆螐?fù)蘇后自主循環(huán)恢復(fù)和生存的影響因素分析[J].嶺南急診醫(yī)學(xué)雜志，2024，29（2）： 82-85.

[2]曹雅，于生元. Microsoft Kinect 體感技術(shù)在神經(jīng)系統(tǒng)疾病中的應(yīng)用[J].醫(yī)學(xué)研究生學(xué)報(bào)，2017（3）：329-332.

[3]高玉潔，劉京銘，唐曉英，等.心肺復(fù)蘇教學(xué)及實(shí)踐智能化輔助技術(shù)的研究進(jìn)展[J].中國(guó)急救醫(yī)學(xué)，2022（1）：76-80.

[4]BESKIND D L， STOLZ U， THIEDE R，et al. Viewing a Brief"Chest-Compression-Only CPR Video Improves Bystander CPR Performance and Responsiveness In High School Students； a cluster randomized trial.[J]. Resuscitation， 2016（104）：28-33.

[5]PAGLINO M， CONTRI E， BAGGIANI M， et al. A video-based training to effectively teach CPR with long-term retention： the ScuolaSalvaVita.it （“SchoolSavesLives.it”） project.[J]. Internal amp; Emergency Medicine， 2019（2）：275-279.

[6]ORIS NAS J T P V. Effect of Face-to-Face vs Virtual Reality"Training on Cardiopulmonary Resuscitation Quality， A Randomized"Clinical Trial[J]. JAMA cardiology， 2020（3）：328-335.

[7]LEARY， MARION. Method and Systems for Virtual and Augmented"Reality Training for Responding to Emergency Conditions： WO2018US29387[P]. WO2018200692A1， 2018.

[8]萬資鈺.高級(jí)生命支持訓(xùn)練系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].沈陽：遼寧大學(xué)，2017.