基于Stacked Hourglass的智能康復(fù)評估系統(tǒng)研究

盧鵬飛　鄭建立　尹梓名

摘要：2020年康復(fù)領(lǐng)域異常嚴(yán)峻，一方面，疫情爆發(fā)，人群不易聚集，患者不方便去醫(yī)院或者康復(fù)中心做康復(fù)及檢測身體狀況，另一方面，全球人口老齡化問題加劇，老人腿腳不方便，不便于頻繁地去康復(fù)中心復(fù)查，并且全國康復(fù)中心資源較少，不僅造成康復(fù)師工作壓力增大，還會出現(xiàn)醫(yī)患溝通不充分，延誤康復(fù)等問題。隨著人工智能技術(shù)不斷發(fā)展，機器視覺在人工智能中的表現(xiàn)尤為突出，其中骨架識別不斷被認(rèn)可，應(yīng)用在了多個領(lǐng)域。因此本次研究設(shè)計了基于StackedHourglass的智能康復(fù)評估系統(tǒng)，期望可以提高康復(fù)醫(yī)師工作效率。本系統(tǒng)主要為智能康復(fù)評估，首先構(gòu)建以量表為中心，建立量表答題結(jié)構(gòu)的數(shù)據(jù)庫，將量表儲存在數(shù)據(jù)庫中。其次，將骨架識別移植到移動端軟件識別出量表所需數(shù)據(jù)。然后，將骨架識別數(shù)據(jù)通過計算，算出填表所需值，智能填表。最后，通過各個量表數(shù)據(jù)，全部顯示出來并提供給康復(fù)師，讓康復(fù)師了解患者狀況。通過這些步驟設(shè)計量表模型，完成智能康復(fù)評估。

關(guān)鍵詞：骨架識別;Hourglass;TensorFlow;智能量表

【Abstract】Thefieldofrehabilitationin2020isextremelysevere.Ononehand，theoutbreakoftheepidemicmakesitdifficultforpeopletogather，anditisinconvenientforpatientstogotohospitalsorrehabilitationcentersforrehabilitationandchecktheirphysicalconditions.Ontheotherhand，theproblemofglobalpopulationaginghasintensified，andthelegsandfeetoftheelderlyareinconvenient.Notonlyfrequentvisitstorehabilitationcentersforreviewandfewerresourcesinrehabilitationcentersacrossthecountryincreasetheworkpressureofrehabilitationpractitioners，butalsoinadequatecommunicationbetweendoctorsandpatientsanddelaysinrehabilitationwillalsohappen.Withthecontinuousdevelopmentofartificialintelligencetechnology，theperformanceofmachinevisioninartificialintelligenceisparticularlyprominent，amongwhichskeletonrecognitioniscontinuouslyrecognizedandappliedinmanyfields.Therefore，thisstudydesignsanintelligentrehabilitationevaluationsystembasedonStackedHourglass，hopingtoimprovetheefficiencyofrehabilitationphysicians.Thissystemismainlyforintelligentrehabilitationassessment.First，buildadatabasewiththescaleasthecenter，establishthestructureofthescale，andstorethescaleinthedatabase.Secondly，transplanttheskeletonrecognitiontothemobileterminalsoftwaretorecognizethedatarequiredbythescale.Then，theskeletonidentificationdataiscalculatedtoachievetherequiredvalueforfillingtheform，andtheformisfilledintelligently.Finally，throughthedataofeachscale，allaredisplayedtotherehabilitationpractitioner，sothattherehabilitationpractitionercanunderstandthepatient'scondition.Throughthesesteps，thescalemodelisdesignedtocompletetheintelligentrehabilitationassessment.

【Keywords】skeletonrecognition;Hourglass;TensorFlow;intelligentformfilling

作者簡介：盧鵬飛（1994-），男，碩士研究生，主要研究方向：醫(yī)學(xué)人工智能;鄭建立（1965-），男，博士，副教授，主要研究方向：醫(yī)學(xué)信息系統(tǒng)與集成技術(shù)、醫(yī)學(xué)儀器嵌入式技術(shù);尹梓名（1986-），男，博士，講師，主要研究方向：臨床決策支持、醫(yī)學(xué)人工智能。

0引言

智能康復(fù)評估系統(tǒng)是用戶通過手機等移動端使用攝像頭等硬件運用機器視覺來非人工填寫康復(fù)健康表并輔助患者訓(xùn)練的智能系統(tǒng)，讓康復(fù)師和患者隨時隨地了解患者或自己的康復(fù)狀況，可以免去醫(yī)生和患者必須在固定位置、固定時間診斷所造成的資源浪費，大大地減少了醫(yī)生和患者雙方的時間和經(jīng)濟成本，同時也可以避免一些誤診，錯填的意外情況[1-3]。智能量表的準(zhǔn)確性和完整性對后續(xù)的康復(fù)計劃和康復(fù)實施都具有重大意義?？紤]到疫情的影響，許多醫(yī)院及康復(fù)中心每天的接診人數(shù)受限，并需要先預(yù)約才能就診，這就導(dǎo)致預(yù)約患者多數(shù)時候都要等待數(shù)日才能就診，既耽誤康復(fù)進度，又可能會進一步加劇醫(yī)患矛盾。為了改變康復(fù)診斷現(xiàn)狀，就會希望能夠依托骨架識別等智能技術(shù)手段，實現(xiàn)智能量表和智能訓(xùn)練，以優(yōu)化康復(fù)流程。智能量表就是智能填寫康復(fù)量表，患者可以在任意地點、任意時間完成康復(fù)量表的智能填寫，通過骨架識別的技術(shù)，模擬康復(fù)師與患者的問診流程，智能收集患者身體狀況等信息，形成初步的康復(fù)量表，以供康復(fù)師了解康復(fù)進度。智能訓(xùn)練就是智能指導(dǎo)輔助患者訓(xùn)練，患者同樣解除了時間與地點的束縛，可以隨時隨地訓(xùn)練。

骨架識別技術(shù)是通過深度學(xué)習(xí)技術(shù)學(xué)習(xí)出人體的骨架，行為識別分析的相關(guān)研究可以追溯到1975年Johansson[4]的一個實驗，研究提出了12點人體模型，這種描述行為的點模型方法對后來基于人體結(jié)構(gòu)的行為描述算法起到了重要的指導(dǎo)作用。在引發(fā)學(xué)界廣泛關(guān)注的同時，骨架識別技術(shù)也開始進入發(fā)展階段，通過對多個人物圖像數(shù)據(jù)集進行學(xué)習(xí)，輸出相關(guān)的骨架關(guān)鍵點位置數(shù)據(jù)。目前，世界范圍內(nèi)開放骨架識別主要有OpenPose[5-6]等，中國方面則有清華大學(xué)-紫為云使能中心、京東云人體關(guān)鍵點檢測等。但在垂直領(lǐng)域，如康復(fù)，相關(guān)的骨架識別并不多，且多以治療為主。

本次研究的主要內(nèi)容是基于StackedHourglass的智能康復(fù)評估訓(xùn)練系統(tǒng)。研究中將使用康復(fù)中心正規(guī)的康復(fù)量表建立量表數(shù)據(jù)庫，將一些可以智能量表的數(shù)據(jù)整理出來，在系統(tǒng)中運用骨架識別技術(shù)進行智能量表，并將其數(shù)據(jù)存入數(shù)據(jù)庫SQLite中，以供康復(fù)師使用。此后通過患者類型，將患者分配到不同的訓(xùn)練中，患者可以隨同制作好虛擬人物一起訓(xùn)練。通過骨架識別，系統(tǒng)可識別出患者的動作是否標(biāo)準(zhǔn)并給予提示，再對患者的動作進行后續(xù)的評估和打分，填入量表中。

1骨架識別模型構(gòu)建

本系統(tǒng)運用的是StackedHourglass骨架識別模型，該模型是通過多個沙漏網(wǎng)絡(luò)串聯(lián)起來得到的，通過各個沙漏模型輸出的關(guān)節(jié)點信息來提高各個關(guān)節(jié)點的識別精度，再通過中間監(jiān)督的方式來提高精確度。沙漏網(wǎng)絡(luò)是StackedHourglass模型的核心部分，可通過提取多層次的特征來識別出骨架的關(guān)鍵點，是對CNN神經(jīng)網(wǎng)絡(luò)的一次升級，具有更高的準(zhǔn)確性。

1.1沙漏網(wǎng)絡(luò)

首先，要了解沙漏網(wǎng)絡(luò)與CNN神經(jīng)網(wǎng)絡(luò)的不同。CNN網(wǎng)絡(luò)是通過不斷的分層提取特征，而后使用最后一層的卷積特征進行識別，這會造成一些圖片信息的丟失，并且由于骨架關(guān)鍵點的不同最好的識別精度會發(fā)生在不同層次的特征圖上，由此則會造成骨架識別各個關(guān)鍵點的最佳精度不能統(tǒng)一在一個特征圖上，而沙漏網(wǎng)絡(luò)就很好地解決了這個問題。

沙漏網(wǎng)絡(luò)中使用了多層的特征，整體結(jié)構(gòu)如圖1所示，就像一個沙漏，C1～C7就與CNN網(wǎng)絡(luò)一樣，可進行深層特征提取。而與其不同的是，沙漏網(wǎng)絡(luò)又在位于其后的C1a～C4a中復(fù)用了C1～C4，并運用在后面的層次中，這樣就防止了信息的缺失。

在后半部分，沙漏網(wǎng)絡(luò)通過合并2個不同的層次，如C4b是通過對C7進行上采樣擴大一倍后再與C4a合并而來，通過這樣的層層疊加后，最后一層C1b就保留了所有圖像的信息。

1.2數(shù)據(jù)集

本次實驗選用的是AIChallenger數(shù)據(jù)集。AIChallenger數(shù)據(jù)集是由“AIChallenger全球AI挑戰(zhàn)賽”提供的，這是目前對于骨架數(shù)據(jù)標(biāo)記較為完善的數(shù)據(jù)集。本數(shù)據(jù)集包括著70萬個人體動作分析標(biāo)注數(shù)據(jù)、30萬張圖片場景標(biāo)注和語義描述數(shù)據(jù)，是國內(nèi)迄今公開的規(guī)模最大的科研數(shù)據(jù)集。

AIChallenger數(shù)據(jù)集如圖2所示。本次實驗選取了22447個人體圖片數(shù)據(jù)作為訓(xùn)練集，1501個作為測試集。本實驗只需要單人的骨架識別，因此所有的圖片數(shù)據(jù)都是單個人的圖像數(shù)據(jù)，具有很好的針對性。

1.3實驗結(jié)果

本實驗通過對比較常用的開源骨架識別技術(shù)openpose和本次研究選用的骨架識別技術(shù)Hourglass進行對比。實驗結(jié)果見表1。

從表1的結(jié)果可以看出，Hourglass的關(guān)鍵點正確估計的比例高于目前常用的骨架識別技術(shù)openpose，由于openpose主要使用多個CNN進行訓(xùn)練，而在前文的介紹中，提到了Hourglass比CNN所保留的數(shù)據(jù)更多，并且運用中間監(jiān)督提升了精確度，所以Hourglass骨架識別整體效率同樣高于openpose。

2康復(fù)評估系統(tǒng)設(shè)計

2.1系統(tǒng)架構(gòu)

本次研究的康復(fù)評估訓(xùn)練系統(tǒng)，以Android手機軟件作為系統(tǒng)與患者的交互的載體，通過手機端的攝像頭獲取圖像數(shù)據(jù)，并對獲取的圖像數(shù)據(jù)進行深度學(xué)習(xí)，將其量化，整理出量表所需要的數(shù)據(jù)。整體系統(tǒng)架構(gòu)如圖3所示，應(yīng)用層包括漸進式的情景交互康復(fù)評估虛擬場景、康復(fù)效果評估和康復(fù)量表評估。其中，康復(fù)效果評估為動態(tài)評估，通過在訓(xùn)練過程中，患者所做出的動作是否標(biāo)準(zhǔn)，進行一個完整性的評估，而康復(fù)量表評估為靜態(tài)評估，讓患者做出一個動作，對該動作的程度進行評估。在姿態(tài)評估與數(shù)據(jù)存儲層中，姿態(tài)評估運用的是StackedHourglass骨架識別技術(shù)，由計算機訓(xùn)練出具有較高準(zhǔn)確率的模型，再通過TensorFlow-lite技術(shù)，將模型移植到移動端，在識別出骨架關(guān)鍵點后通過靜態(tài)評

估運算和動態(tài)評估運算得出量表所需要的數(shù)據(jù)，存入數(shù)據(jù)庫中，供系統(tǒng)的康復(fù)評估使用。

2.2康復(fù)評估

康復(fù)評估主要是對患者的康復(fù)狀況進行一次智能填寫康復(fù)量表，系統(tǒng)會根據(jù)患者的個人情況分配患者需要評估的康復(fù)量表，患者根據(jù)提示進行操作，在許多問題上，可以通過骨架識別技術(shù)幫助患者完成康復(fù)量表，具體如圖4所示。由圖4可知，患者登錄自己的賬號進入主界面2，點擊參加評估，進入界面3選擇自己要評估的量表，進入界面4，根據(jù)提示進行評估，在評估中，如界面4中的題目就可以運用智能評估，點擊智能評估，患者將手機放在手機支架上，正對自己，界面上顯示患者的圖像，系統(tǒng)播放動作動畫與語音，患者跟隨動畫和語音提示來做一些康復(fù)量表所需要的動作，手機攝像頭會對患者的動作進行捕捉，實時獲取其關(guān)節(jié)點信息保存到數(shù)據(jù)庫中，再將所需數(shù)據(jù)通過計算得出量表的所填項填寫到量表中，展示到界面7上，評估結(jié)束后可在主界面2上點擊“我的評估”獲取如界面8展示的評估信息。

2.2.1靜態(tài)評估

在該模塊中，通過骨架識別出來的數(shù)據(jù)需要通過計算處理得出系統(tǒng)所需要的數(shù)據(jù)，如在填寫關(guān)節(jié)活動度量表中，需要測量左肘關(guān)節(jié)活動的最小角度，此時就需要獲取該患者左手肘、左手腕和左肩膀的關(guān)鍵點位置，由于運用的是移動端前置攝像頭，所以左手位置也在圖像左邊，通過對3個關(guān)鍵點的位置數(shù)據(jù)，計算出其手肘角度。左手肘角度計算流程如圖5所示。由圖5可知，A表示系統(tǒng)通過骨架識別出來的左手腕、左手肘和左肩的關(guān)鍵點標(biāo)記，B表示識別出的各個關(guān)鍵點的位置坐標(biāo)，C為角度計算公式，通過該公式，得出D的結(jié)果，再將結(jié)果填寫進康復(fù)量表中。

2.2.2動態(tài)評估

康復(fù)訓(xùn)練評估主要是幫助患者自己進行康復(fù)的訓(xùn)練，通過隨同手機屏幕上的虛擬虛線人物的動作進行康復(fù)訓(xùn)練，系統(tǒng)會提示患者調(diào)整自己的姿勢，起到很好的規(guī)范動作作用，并對患者訓(xùn)練的動作進行評估。

虛擬虛線人物如圖6所示，這個動畫是通過MOHO動畫制作軟件制作，先將頭部四肢軀干等綁定好骨骼，對虛擬人物做訓(xùn)練所需要的動作，再將該動畫轉(zhuǎn)為gif格式，移植到系統(tǒng)中去。

在評估中，系統(tǒng)通過骨架識別出來的數(shù)據(jù)需要通過計算處理得出系統(tǒng)所需要的數(shù)據(jù)，該評估通過計算出人體四肢的角度，實時對患者的訓(xùn)練動作做出評價，系統(tǒng)中會設(shè)定好該訓(xùn)練動作于該時段內(nèi)四肢角度的一個范圍，系統(tǒng)識別出的角度如果有一個在此范圍之外，會在界面上顯示紅叉，如果四肢角度都在此范圍內(nèi)就會顯示綠勾，最后會根據(jù)綠勾與紅叉的比例進行一個打分，判斷康復(fù)訓(xùn)練的完成度，并將該評分計入康復(fù)量表中，參與量表的評估。

3結(jié)束語

本文設(shè)計的基于StackedHourglass的智能康復(fù)評估系統(tǒng)能通過骨架識別的技術(shù)讓患者可以在空閑之余對自己的康復(fù)情況進行一定的評估與訓(xùn)練，可以免去醫(yī)生和患者必須在固定位置、固定時間診斷所造成的資源浪費，大大地減少了醫(yī)生和患者雙方的時間和經(jīng)濟成本，同時也可以避免一些誤診，錯填的意外情況。此外，患者也可以隨時隨地進行康復(fù)訓(xùn)練，加快其康復(fù)進程。

本系統(tǒng)在疫情期間可以有效防止康復(fù)中心人群聚集，減少醫(yī)患接觸，同時也可以緩和醫(yī)患關(guān)系。但是現(xiàn)階段康復(fù)量表數(shù)據(jù)較少，也只做了骨骼活動度的量表評估和訓(xùn)練評估，具有一定的局限性，因此，如何兼容其他復(fù)雜的量表將會是下一步的研究方向。

參考文獻

[1]NEWELLA，YANGKaiyu，DENGJia.StackedHourglassnetworksforhumanposeestimation[M]//LEIBEB，MATASJ，SEBEN.ComputerVision-ECCV2016LectureNotesinComputerScience.Cham：Springer，2016，9912：483-499.

[2]BAOWenxia，YANGYaping，LIANGDong，etal.Multi-residualmodulestackedHourglassnetworksforhumanposeestimation[J].JournalofBeijingInstituteofTechnology，2020，29（1）：110-119.

[3]HUAGuoguang，LILihong，LIUShiguang.Multipathaffinagestacked—hourglassnetworksforhumanposeestimation[J].FrontiersofComputerScience（print），2020，14（12）：219-229.

[4]JOHANSSONG.Visualmotionperception[J].ScientificAmerican，1975，232（6）：76-88.

[5]都文龍.基于多尺度級聯(lián)沙漏網(wǎng)絡(luò)的人體姿勢估計[D].杭州：杭州電子科技大學(xué)，2019.

[6]陳汝峰，謝鵬飛，彭成，等.基于OpenPose的人體姿態(tài)檢測系統(tǒng)設(shè)計與實現(xiàn)[J].電子世界，2020（17）：183-184.

[7]曹青峰.基于深度學(xué)習(xí)的人體骨架動作識別[D].徐州：中國礦業(yè)大學(xué)，2020.

[8]YANGHaiwei，JIANGPeilin，WANGFei.Multi-view-basedposeestimationanditsapplicationsonintelligentmanufacturing[J].Sensors，2020，20（18）：5072.

[9]MIURAT，SAKOS.3Dhumanposeestimationmodelusinglocation-mapsfordistortedanddisconnectedimagesbyawearableomnidirectionalcamera[J].IPSJTransactionsonComputerVisionandApplications，2020，12（1）：4160-4169.

[10]趙康.利用稀疏編碼結(jié)合深度學(xué)習(xí)的人體姿態(tài)估計[J].信息技術(shù)，2020，44（9）：61-65，69.

[11]BASTIANBT，VICTORJC.Detectionandposeestimationofauto-rickshawsfromtrafficimages[J].MachineVisionandApplications，2020，31（6）：393-403.

[12]LIYang，LIKan，WANGXinxin，etal.Exploringtemporalconsistencyforhumanposeestimationinvideos[J].PatternRecognition，2020，103（1-3）：107258.

[13]BENZINEA，LUVISONB，PHAMQC，etal.Single-shot3Dmulti-personposeestimationincompleximages[J].PatternRecognition，2020，112（1-2）：107534.

[14]BINYanrui，CHENZhaomin，WEIXiushen，etal.Structure-awarehumanposeestimationwithgraphconvolutionalnetworks[J].PatternRecognition，2020，106：107410.

[15]ZHENGGuanghui，WANGSuyu，YANGBin.Hierarchicalstructurecorrelationinferenceforposeestimation[J].Neurocomputing，2020，404：186-197.

[16]YANGXiaohan，LIXiaojuan，GUANYong，etal.Overfittingreductionofposeestimationfordeeplearningvisualodometry[J].ChinaCommunications，2020，17（6）：196-210.