非接觸式人體膝關(guān)節(jié)健康監(jiān)測(cè)系統(tǒng)的實(shí)現(xiàn)*

王一丁 嚴(yán)純賢 李 虎

(北方工業(yè)大學(xué)信息學(xué)院，100144，北京)

近年來(lái)，互聯(lián)網(wǎng)與醫(yī)療服務(wù)的結(jié)合形成一系列智慧醫(yī)療服務(wù)方案，新型醫(yī)療技術(shù)使疾病預(yù)防更加及時(shí)，病變監(jiān)測(cè)更加簡(jiǎn)單方便.

在傳統(tǒng)的膝關(guān)節(jié)健康監(jiān)測(cè)領(lǐng)域中，最主要的研究手段是步態(tài)分析[1]，該方法通過(guò)研究患者下肢力線(髖- 膝- 踝)在行走過(guò)程中動(dòng)力學(xué)參數(shù)的變化情況，然后量化骨骼系統(tǒng)的建康狀況與神經(jīng)系統(tǒng)的調(diào)節(jié)能力，從而反映患者的健康狀況.[2]但是傳統(tǒng)設(shè)備穿戴繁瑣、操作困難，并且肢體和監(jiān)測(cè)設(shè)備存在直接接觸的情況，一定程度上影響了受測(cè)者在監(jiān)測(cè)過(guò)程中的監(jiān)測(cè)結(jié)果；目前基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)研究雖然有很多，但是缺乏監(jiān)測(cè)人體下肢力線進(jìn)行人體膝關(guān)節(jié)健康的研究. 綜上所述，為了進(jìn)一步實(shí)現(xiàn)更加豐富的智慧醫(yī)療產(chǎn)品，本文設(shè)計(jì)了一種基于非接觸式人體膝關(guān)節(jié)健康監(jiān)測(cè)系統(tǒng)，通過(guò)內(nèi)嵌深度學(xué)習(xí)和監(jiān)測(cè)算法于一體的膝關(guān)節(jié)監(jiān)測(cè)設(shè)備，實(shí)現(xiàn)對(duì)人體膝關(guān)節(jié)病變的及時(shí)監(jiān)測(cè)與康復(fù)訓(xùn)練的合理指導(dǎo)，有助于實(shí)現(xiàn)自我健康管理，逐步形成“家庭醫(yī)療”與“社區(qū)醫(yī)療”等人體健康監(jiān)測(cè)模式.

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)總體框架

本文自主研究設(shè)計(jì)了一款非接觸式監(jiān)測(cè)人體膝關(guān)節(jié)健康狀況的系統(tǒng)，該健康監(jiān)測(cè)系統(tǒng)主要由數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、構(gòu)建模型和算法、界面顯示4個(gè)模塊組成. 其中數(shù)據(jù)采集模塊通過(guò)深度相機(jī)獲取人體下肢力線(髖- 膝- 踝)的深度信息，然后利用深度學(xué)習(xí)提取人體下肢力線空間位置數(shù)據(jù)；數(shù)據(jù)預(yù)處理模塊通過(guò)小波函數(shù)對(duì)采集到的原始數(shù)據(jù)進(jìn)行降噪、濾波[3]，使其處理后的數(shù)據(jù)高度還原真實(shí)的運(yùn)動(dòng)信息；構(gòu)建模型和算法模塊將預(yù)處理后的人體下肢力線數(shù)據(jù)進(jìn)行膝關(guān)節(jié)模型構(gòu)建，并提取相關(guān)運(yùn)動(dòng)學(xué)指標(biāo)建立監(jiān)測(cè)算法；監(jiān)測(cè)結(jié)果模塊將受測(cè)者膝關(guān)節(jié)健康監(jiān)測(cè)結(jié)果進(jìn)行可視化操作，并實(shí)時(shí)顯示受測(cè)者膝關(guān)節(jié)在監(jiān)測(cè)過(guò)程中的運(yùn)動(dòng)情況. 整體的人體膝關(guān)節(jié)健康監(jiān)測(cè)系統(tǒng)框架如圖1所示.

1.2 系統(tǒng)的實(shí)現(xiàn)

本系統(tǒng)通過(guò)將深度相機(jī)和計(jì)算機(jī)嵌入定制的廣告機(jī)中，實(shí)現(xiàn)了非接觸式監(jiān)測(cè)人體膝關(guān)節(jié)的一體化，且系統(tǒng)使用簡(jiǎn)單，搭配語(yǔ)音提示和觸摸操作，極大簡(jiǎn)化了受測(cè)者在監(jiān)測(cè)過(guò)程中的方式.

為了實(shí)現(xiàn)人機(jī)交互，本系統(tǒng)設(shè)計(jì)了軟件界面顯示，包括監(jiān)測(cè)過(guò)程中的人體髖- 膝- 踝運(yùn)動(dòng)變化以及系統(tǒng)監(jiān)測(cè)結(jié)果的可視化. 系統(tǒng)的外觀設(shè)計(jì)以及系統(tǒng)的主界面顯示如圖2～3所示.

其中，系統(tǒng)界面的下方部分為受測(cè)者被系統(tǒng)實(shí)時(shí)監(jiān)測(cè)到的畫(huà)面；左上角為開(kāi)始按鈕和監(jiān)測(cè)結(jié)束后的評(píng)測(cè)結(jié)果；右上角為仿真健康人體模型，它將在監(jiān)測(cè)過(guò)程中起到示范功能，引導(dǎo)受測(cè)者在監(jiān)測(cè)膝關(guān)節(jié)健康期間做相關(guān)運(yùn)動(dòng).

2 基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)提取

2.1 數(shù)據(jù)采集

本系統(tǒng)使用微軟開(kāi)發(fā)的Kinect2相機(jī)實(shí)現(xiàn)數(shù)據(jù)采集，該相機(jī)支持采集高分辨率彩色圖像，本文采集的彩色圖像主要用于用戶界面顯示；Kinect2相機(jī)還擁有紅外攝像頭，使用飛行時(shí)間(Time Of Flight,簡(jiǎn)稱TOF)技術(shù)[4],可以不受外界光線等因素的干擾探測(cè)出物體與相機(jī)之間的實(shí)際距離，進(jìn)而獲得空間信息，用于深度學(xué)習(xí)處理.

2.2 基于DenseNet網(wǎng)絡(luò)的深度學(xué)習(xí)

DenseNet網(wǎng)絡(luò)將所有上層的輸出都作為下一層的輸入，這種稠密結(jié)構(gòu)大幅度減少網(wǎng)絡(luò)參數(shù)，同時(shí)特征復(fù)用使網(wǎng)絡(luò)更加容易訓(xùn)練，有效改善了梯度消失和模型退化問(wèn)題.[5]本文將對(duì)DenseNet網(wǎng)絡(luò)進(jìn)行相關(guān)的優(yōu)化，使其能更精準(zhǔn)地獲取人體下肢力線的位置信息. 該網(wǎng)絡(luò)結(jié)構(gòu)主要由2個(gè)全連接層和3個(gè)Dense Block構(gòu)成，為進(jìn)一步有效解決過(guò)擬合和梯度消失問(wèn)題，網(wǎng)絡(luò)結(jié)構(gòu)中還添加了Dropout模塊. 考慮到系統(tǒng)界面的人機(jī)交互效果，本文設(shè)計(jì)的網(wǎng)絡(luò)輸出結(jié)果不僅僅是下肢力線的坐標(biāo)數(shù)據(jù)，還有人體的其他主要關(guān)鍵點(diǎn)的位置坐標(biāo). 網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖4 所示.

在完成上述網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)后，將2 068張像素為200×200的深度圖進(jìn)行網(wǎng)絡(luò)訓(xùn)練，最后用新數(shù)據(jù)測(cè)試網(wǎng)絡(luò)效果得到的結(jié)果如圖5所示.

從測(cè)試結(jié)果可以看出，本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)能夠較為準(zhǔn)確地獲取到人體主要關(guān)鍵點(diǎn)的坐標(biāo)位置，并且在不同形態(tài)情況下仍具有良好的效果.

關(guān)鍵點(diǎn)正確估計(jì)的比例(Percentage of Correct Keypoints，簡(jiǎn)稱PCK)是人體姿態(tài)預(yù)測(cè)方法中測(cè)量人體關(guān)節(jié)點(diǎn)準(zhǔn)確性的常用指標(biāo)之一，該指標(biāo)對(duì)真實(shí)數(shù)據(jù)的標(biāo)簽值與計(jì)算估計(jì)的關(guān)節(jié)點(diǎn)進(jìn)行歸一化操作，然后將其歸一化距離小于某一特定閾值的比例作為估計(jì)結(jié)果.

將本文上述經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練后得到的深度圖像數(shù)據(jù)集進(jìn)行不同閾值的PCK評(píng)估，最終估計(jì)結(jié)果如表1所示.

表1 人體關(guān)鍵點(diǎn)估計(jì)結(jié)果表

對(duì)比其他人體姿態(tài)估計(jì)方法[6- 8]，本文設(shè)計(jì)的網(wǎng)絡(luò)達(dá)到了PCK@0.2為90.97%的精確度，這證明了基于DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)提取人體關(guān)節(jié)點(diǎn)方法的優(yōu)越性，結(jié)果如表2所示.

表2 PCK@0.2估計(jì)結(jié)果對(duì)比

3 數(shù)據(jù)處理及監(jiān)測(cè)算法

3.1 小波分解與重構(gòu)

由于人體在運(yùn)動(dòng)過(guò)程中發(fā)生抖動(dòng)、環(huán)境等非可控因素的干擾導(dǎo)致得到的髖- 膝- 踝角度信息攜帶一定程度的誤差，對(duì)膝關(guān)節(jié)健康監(jiān)測(cè)算法的準(zhǔn)確性產(chǎn)生極大影響. 為了獲取精準(zhǔn)的髖- 膝- 踝運(yùn)動(dòng)信息，提升算法的魯棒性，利用小波分解[9]實(shí)現(xiàn)對(duì)運(yùn)動(dòng)數(shù)據(jù)的濾波處理，把真實(shí)的運(yùn)動(dòng)信息從復(fù)雜環(huán)境中分離出來(lái). 小波分解流程如圖6所示.

通過(guò)對(duì)獲取得到的原始人體髖- 膝- 踝運(yùn)動(dòng)信號(hào)經(jīng)過(guò)小波分解與重構(gòu)處理后，可以有效地防止噪聲對(duì)有用運(yùn)動(dòng)信號(hào)的干擾，從而有助于對(duì)受測(cè)者的膝關(guān)節(jié)健康狀況進(jìn)行高精度分析.

3.2 模型構(gòu)建和監(jiān)測(cè)算法

人體在運(yùn)動(dòng)過(guò)程中髖- 膝- 踝的角度數(shù)據(jù)會(huì)發(fā)生明顯變化，時(shí)間序列的變化情況能夠直接的反映膝關(guān)節(jié)健康狀況. 動(dòng)態(tài)條件下，人體自身有速度、加速度、周期和頻率等，在彼此之間相互影響的同時(shí)，也受到如重心等其他因素的影響，共同反映人體的運(yùn)動(dòng)過(guò)程. 本系統(tǒng)針對(duì)人體髖- 膝- 踝部位構(gòu)建的簡(jiǎn)化人體運(yùn)動(dòng)模型如圖7所示.

在圖7中，人體的軀干用OA表示，人體的股骨用BO表示，人體的脛骨用BC表示，則人體髖- 膝- 踝的運(yùn)動(dòng)狀態(tài)可用BO與BC之間的夾角θ1表示，而軀干與垂直軸線的夾角θ2表示人體運(yùn)動(dòng)時(shí)的重心變化.θ1與θ2分別可用式(1)～(2)表示.

(1)

(2)

其中，Y為垂直軸線的單位向量.

構(gòu)建人體仿真模型有助于提取合適的運(yùn)動(dòng)指標(biāo)，為實(shí)現(xiàn)精準(zhǔn)的監(jiān)測(cè)算法打下了基礎(chǔ).

膝關(guān)節(jié)評(píng)分是評(píng)估膝關(guān)節(jié)損傷程度、選擇治療方案及評(píng)估治療效果的一種直觀指標(biāo)，它是一種問(wèn)卷式的評(píng)定，由受測(cè)者根據(jù)自己的具體情況填寫(xiě)表格，最后交給醫(yī)生作為評(píng)估受測(cè)者膝關(guān)節(jié)健康狀況的重要依據(jù).

本系統(tǒng)通過(guò)和北京首鋼醫(yī)院骨科專家的交流，選擇美國(guó)膝關(guān)節(jié)協(xié)會(huì)評(píng)分(the America knee society score，簡(jiǎn)稱KSS)作為本系統(tǒng)監(jiān)測(cè)算法的參考指導(dǎo)，該標(biāo)準(zhǔn)通過(guò)膝評(píng)分、功能評(píng)分評(píng)估膝關(guān)節(jié)整體的功能和形態(tài)，解決了其它膝關(guān)節(jié)評(píng)分標(biāo)準(zhǔn)中不全面、不敏感等缺點(diǎn)，更加精準(zhǔn)地評(píng)估了關(guān)節(jié)的自身?xiàng)l件，能夠最大程度反映受測(cè)者膝關(guān)節(jié)的真實(shí)健康狀況.[10-11]

本文參照KSS標(biāo)準(zhǔn)，結(jié)合非接觸式系統(tǒng)的特性，將屈曲變化、過(guò)伸、髖- 膝- 踝的運(yùn)動(dòng)角度以及加速度和其它相關(guān)動(dòng)力學(xué)參數(shù)提取整合成監(jiān)測(cè)算法，得到本文監(jiān)測(cè)系統(tǒng)評(píng)估膝關(guān)節(jié)健康狀況的指標(biāo)函數(shù)如式(3)所示.

S=F(N,T,θ′1,θ′2,α)

(3)

滿足條件為式(4)所示.

θ′1=f(θ1)，θ′2=f(θ2)

(4)

其中，T為運(yùn)動(dòng)時(shí)長(zhǎng)，N為T(mén)時(shí)間內(nèi)所完成的運(yùn)動(dòng)次數(shù)，α為運(yùn)動(dòng)過(guò)程的加速度，F(xiàn)、f為監(jiān)測(cè)系統(tǒng)的相關(guān)評(píng)分方法，S為最后的監(jiān)測(cè)結(jié)果得分，而系統(tǒng)得分根據(jù)KSS標(biāo)準(zhǔn)分為4個(gè)等級(jí)：<60分為差，≥60～≤69分為可，≥70～≤84分為良，≥85～≤100為優(yōu).

本系統(tǒng)根據(jù)科學(xué)的膝關(guān)節(jié)評(píng)分標(biāo)準(zhǔn)設(shè)計(jì)出符合醫(yī)學(xué)理論的監(jiān)測(cè)算法，達(dá)到和傳統(tǒng)穿戴式方法一樣量化膝關(guān)節(jié)健康程度的目標(biāo)，最后并把監(jiān)測(cè)算法得出的健康情況可視化反饋給受測(cè)者.

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文所研究的人體膝關(guān)節(jié)健康監(jiān)測(cè)系統(tǒng)能夠監(jiān)測(cè)膝關(guān)節(jié)健康狀況，本文對(duì)該系統(tǒng)進(jìn)行了測(cè)試，為了盡可能減少外界干擾，將其他可能影響監(jiān)測(cè)結(jié)果的因素進(jìn)行削弱，測(cè)試場(chǎng)地均在光線良好的干凈室內(nèi)中. 在測(cè)試過(guò)程中，受測(cè)者需跟隨仿真健康人體模型做步行、蹲起、腿部屈曲等相關(guān)運(yùn)動(dòng)，且與模型動(dòng)作盡量保持一致. 考慮到不同年齡和性別的人體膝關(guān)節(jié)健康狀況存在較大差異，本文將對(duì)多位隨機(jī)挑選的受測(cè)者進(jìn)行測(cè)試，其中部分受測(cè)者的信息如表3所示.

表3 部分受測(cè)者基本信息

在表3中， 1 號(hào)受測(cè)者和 6 號(hào)受測(cè)者沒(méi)有相關(guān)的膝關(guān)節(jié)疾病，并且都有日常做運(yùn)動(dòng)的習(xí)慣； 2 號(hào)受測(cè)者由于年齡偏大，膝關(guān)節(jié)偶爾有不舒服的癥狀，平時(shí)也很少參加鍛煉身體的活動(dòng)； 3～5號(hào)受測(cè)者身體素質(zhì)較好，且沒(méi)有相關(guān)膝關(guān)節(jié)的疾病，但是同樣缺乏日常的運(yùn)動(dòng). 以上受測(cè)者均無(wú)其他有關(guān)身體健康的疾病，且能夠在測(cè)試期間外進(jìn)行正常生活.

通過(guò)對(duì)表 3 中受測(cè)者進(jìn)行膝關(guān)節(jié)健康監(jiān)測(cè)的相關(guān)測(cè)試后得到了多組受測(cè)者運(yùn)動(dòng)的數(shù)據(jù)波形，現(xiàn)節(jié)選 1 號(hào) 與 2 號(hào)受測(cè)者髖- 膝- 踝運(yùn)動(dòng)數(shù)據(jù)，如圖8～9所示.

圖8與圖9分別完整地展示了1號(hào)受測(cè)者與2號(hào)受測(cè)者的膝關(guān)節(jié)健康監(jiān)測(cè)過(guò)程，其中(a)的波形表示受測(cè)者的重心移動(dòng)情況，即鉛垂線與軀干構(gòu)成夾角的運(yùn)動(dòng)變化；(b)表示(a)進(jìn)行小波分解與重構(gòu)處理后得到的運(yùn)動(dòng)信號(hào)；(c)表示受測(cè)者膝關(guān)節(jié)的實(shí)時(shí)運(yùn)動(dòng)信號(hào)，它為受測(cè)者髖- 膝- 踝所構(gòu)成夾角的運(yùn)動(dòng)情況；(d)表示(c)通過(guò)小波分解與重構(gòu)處理后得到的運(yùn)動(dòng)信號(hào). 可以發(fā)現(xiàn)，小波分解與重構(gòu)處理后的信號(hào)更加平滑，減少了信號(hào)的抖動(dòng)和毛刺，即其能夠有效地抑制運(yùn)動(dòng)過(guò)程中產(chǎn)生的噪聲干擾.

根據(jù)圖8(b)與圖9(b)對(duì)比可見(jiàn)：圖8(b)中的信號(hào)峰值更加穩(wěn)定，這表明1號(hào)受測(cè)者的重心在監(jiān)測(cè)過(guò)程中能夠很好地協(xié)助髖- 膝- 踝運(yùn)動(dòng)；對(duì)比圖8(d)與圖9(d)可以看出：圖8(d)中的髖- 膝- 踝運(yùn)動(dòng)信號(hào)較圖9(d)中的髖- 膝- 踝運(yùn)動(dòng)信號(hào)顯得更加平滑. 通過(guò)對(duì)兩位受測(cè)者的運(yùn)動(dòng)波形簡(jiǎn)單分析得出：1號(hào)受測(cè)者在膝關(guān)節(jié)健康監(jiān)測(cè)期間內(nèi)所完成的運(yùn)動(dòng)情況優(yōu)于2 號(hào)受測(cè)者.

在受測(cè)者完成膝關(guān)節(jié)健康監(jiān)測(cè)系統(tǒng)測(cè)試后，得到部分受測(cè)者的膝關(guān)節(jié)健康監(jiān)測(cè)結(jié)果，如表4所示.

表4 部分受測(cè)者膝關(guān)節(jié)健康監(jiān)測(cè)結(jié)果

在表4中，匹配度為受測(cè)者和仿真模型之間的運(yùn)動(dòng)擬合度. 對(duì)照該系統(tǒng)的監(jiān)測(cè)結(jié)果可以看出：1 號(hào)受測(cè)者和 6 號(hào)受測(cè)者的評(píng)測(cè)結(jié)果較高，2 號(hào)受測(cè)者的評(píng)測(cè)結(jié)果最低，而3～5號(hào)受測(cè)者的評(píng)測(cè)結(jié)果相對(duì)穩(wěn)定且得分在正常范圍，這高度符合每位受測(cè)者的膝關(guān)節(jié)健康狀況.

將上述的6位受測(cè)者再進(jìn)行KSS標(biāo)準(zhǔn)自測(cè)后，對(duì)比本系統(tǒng)的監(jiān)測(cè)情況，結(jié)果如表5所示.

從表5可以看出，系統(tǒng)監(jiān)測(cè)誤差在10%以內(nèi)，總體誤差只有6%，受測(cè)者的KSS標(biāo)準(zhǔn)得分與本系統(tǒng)的監(jiān)測(cè)評(píng)估成，得分趨勢(shì)基本一致. 對(duì)于本系統(tǒng)得分總體低于KSS標(biāo)準(zhǔn)情況，經(jīng)過(guò)與骨科專家的交流分析，推測(cè)可能是由于受測(cè)者自測(cè)KSS時(shí)的主觀估計(jì)而系統(tǒng)監(jiān)測(cè)算法相對(duì)嚴(yán)格也更加客觀造成的結(jié)果. 專家同時(shí)指出，只要偏差控制在5%左右，系統(tǒng)的監(jiān)測(cè)結(jié)果則可以代替?zhèn)鹘y(tǒng)的評(píng)估方法.

表5 KSS標(biāo)準(zhǔn)與系統(tǒng)結(jié)果對(duì)比表

綜上所述，本文研究設(shè)計(jì)的非接觸式人體膝關(guān)節(jié)健康監(jiān)測(cè)系統(tǒng)評(píng)估結(jié)果與KSS標(biāo)準(zhǔn)相似度高，可以方便、快捷、有效地獲取受測(cè)者的膝關(guān)節(jié)健康狀況，從而提供了一種監(jiān)測(cè)人體膝關(guān)節(jié)健康的新工具.

5 結(jié)語(yǔ)

本文通過(guò)對(duì)人體膝關(guān)節(jié)的健康狀況進(jìn)行研究，提出了一種基于深度學(xué)習(xí)非接觸式膝關(guān)節(jié)健康監(jiān)測(cè)系統(tǒng). 該系統(tǒng)完成了軟件與硬件的設(shè)計(jì)，實(shí)現(xiàn)了基于神經(jīng)網(wǎng)絡(luò)提取人體主要關(guān)節(jié)點(diǎn)坐標(biāo)信息的方法，重點(diǎn)對(duì)髖- 膝- 踝運(yùn)動(dòng)數(shù)據(jù)進(jìn)行了小波分解與重構(gòu)處理，并研究設(shè)計(jì)了人體膝關(guān)節(jié)健康監(jiān)測(cè)算法，最終經(jīng)過(guò)評(píng)測(cè)系統(tǒng)得到了受測(cè)者的膝關(guān)節(jié)健康狀況，通過(guò)對(duì)比受測(cè)者的真實(shí)健康狀況進(jìn)而驗(yàn)證了本研究工作的可靠性，故該系統(tǒng)可以作為醫(yī)護(hù)人員或自身膝關(guān)節(jié)健康監(jiān)測(cè)的一種評(píng)估參考.

本文人體髖- 膝- 踝數(shù)據(jù)提取網(wǎng)絡(luò)的精度可進(jìn)一步提高，為了更好地監(jiān)測(cè)預(yù)防人體的膝關(guān)節(jié)健康狀況，未來(lái)將針對(duì)人體的膝關(guān)節(jié)進(jìn)行多點(diǎn)部位監(jiān)測(cè)并設(shè)計(jì)更加完善的人體膝關(guān)節(jié)健康監(jiān)測(cè)算法.