基于端云協(xié)同的商用設(shè)備運(yùn)動(dòng)糾正系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)①

徐 淵 劉志剛 王 卅 包云崗

(*中國(guó)科學(xué)院計(jì)算技術(shù)研究所 北京 100190)

(**中國(guó)科學(xué)院大學(xué) 北京 100049)

0 引言

反饋在人們運(yùn)動(dòng)鍛煉過(guò)程中扮演著十分重要的角色,因?yàn)樗梢宰R(shí)別出運(yùn)動(dòng)中身體姿勢(shì)的正確性并糾正錯(cuò)誤。但在多數(shù)情況下,人們幾乎無(wú)法獲取系統(tǒng)性的反饋來(lái)幫助他們糾正身體姿勢(shì),他們獲取反饋的唯一信息來(lái)源可能是一面無(wú)法提供任何專業(yè)指導(dǎo)的鏡子,他們需要分散注意力來(lái)觀察鏡中的自己,這進(jìn)一步地降低了運(yùn)動(dòng)質(zhì)量。

盡管近幾年有很多運(yùn)動(dòng)糾正相關(guān)的研究來(lái)幫助經(jīng)驗(yàn)不足的用戶提高運(yùn)動(dòng)質(zhì)量,但是它們提供的方法既不便捷、也不精確。一方面,一些現(xiàn)有的工作通過(guò)基于深度信息的光學(xué)傳感器獲取骨骼信息,并根據(jù)這些信息估計(jì)不同部位的關(guān)節(jié)角度[1-2]。這種方法通常只能提取人體骨骼正視圖,并測(cè)量運(yùn)動(dòng)涉及到的關(guān)節(jié),因此它們不夠精確。另一方面,一些基于傳統(tǒng)光學(xué)跟蹤系統(tǒng)[3-4]和基于慣性測(cè)量單元(inertial measurement units,IMU)的跟蹤系統(tǒng)[5-6]通過(guò)在重要的人體解剖位置附加光學(xué)標(biāo)記或者IMU 傳感器,從而提供精確的運(yùn)動(dòng)信息。但是,這些方法需要使用的傳感器價(jià)格昂貴,很難在普通用戶中普及。

實(shí)現(xiàn)利用智能商用設(shè)備上的傳感器糾正運(yùn)動(dòng)錯(cuò)誤姿勢(shì)的挑戰(zhàn)在于運(yùn)動(dòng)糾正應(yīng)用的計(jì)算需求與商用移動(dòng)設(shè)備硬件資源的計(jì)算能力之間的不匹配。智能手機(jī)和平板電腦等移動(dòng)設(shè)備依靠單目相機(jī)只能生成不帶有深度數(shù)據(jù)的2D 圖像,而從這些2D 圖像中提取骨架信息需要應(yīng)用深度神經(jīng)網(wǎng)絡(luò)(deep neural networks,DNN),這導(dǎo)致在精確性和響應(yīng)性的約束下,骨架信息提取過(guò)程對(duì)硬件資源的需求很高。然而,移動(dòng)設(shè)備為了滿足功耗和成本的約束,計(jì)算能力往往非常有限,只能進(jìn)行輕量級(jí)的運(yùn)算。因此,研究人員對(duì)在商用移動(dòng)設(shè)備中運(yùn)行此類人工智能應(yīng)用程序的性能提出了擔(dān)憂[7]。

為了應(yīng)對(duì)這一挑戰(zhàn),本文證明了可以通過(guò)構(gòu)建物端云端協(xié)同計(jì)算環(huán)境來(lái)滿足上述約束。具體而言,基于云服務(wù)商提供的強(qiáng)大的服務(wù)器,可以將計(jì)算密集型的骨架提取任務(wù)卸載到云端服務(wù)器中,從而獲得實(shí)時(shí)分析結(jié)果。本文的實(shí)驗(yàn)進(jìn)一步表明,盡管本地設(shè)備和遠(yuǎn)程服務(wù)器之間的數(shù)據(jù)傳輸會(huì)引入網(wǎng)絡(luò)延遲,但是這些額外的開(kāi)銷是可以接受的,并不會(huì)打破端到端實(shí)時(shí)性的約束。

基于上述觀察,本文設(shè)計(jì)了一個(gè)基于端云協(xié)同的GymBeats 運(yùn)動(dòng)糾正系統(tǒng),該系統(tǒng)可以為沒(méi)有經(jīng)驗(yàn)的用戶提供專業(yè)的運(yùn)動(dòng)糾正反饋。首先將縮放后的2D 圖像從智能手機(jī)傳輸?shù)皆品?wù)器,然后從每個(gè)圖像中提取身體關(guān)鍵點(diǎn)。為了驗(yàn)證動(dòng)作的正確性,設(shè)計(jì)了一種新穎的上下文感知運(yùn)動(dòng)糾正方法,將從身體關(guān)鍵點(diǎn)獲取的特征與本文動(dòng)作庫(kù)中每個(gè)動(dòng)作的狀態(tài)進(jìn)行匹配。該方法包括2 個(gè)階段,即狀態(tài)識(shí)別階段和錯(cuò)誤識(shí)別階段。狀態(tài)識(shí)別階段用于估計(jì)練習(xí)中每個(gè)動(dòng)作的狀態(tài),包括站立、下蹲、底部、站起。錯(cuò)誤識(shí)別階段用于檢查用戶動(dòng)作與標(biāo)準(zhǔn)規(guī)則是否匹配。

受GymSoles[8]和FEMO 啟發(fā)[6],本文提供了2種反饋機(jī)制,即基于語(yǔ)音的實(shí)時(shí)反饋和基于可視化報(bào)告的運(yùn)動(dòng)后反饋。本文訪問(wèn)了大學(xué)校園內(nèi)的一群健身愛(ài)好者來(lái)確定用戶需求,并通過(guò)咨詢一些專業(yè)教練來(lái)設(shè)計(jì)不同運(yùn)動(dòng)的匹配規(guī)則。

1 研究動(dòng)機(jī)

本文建議使用商用設(shè)備來(lái)進(jìn)行動(dòng)作糾正,主要是因?yàn)楫?dāng)前的動(dòng)作糾正方案并不能完全滿足用戶的需求。本節(jié)首先通過(guò)調(diào)研確定了用戶對(duì)于運(yùn)動(dòng)反饋系統(tǒng)的真實(shí)需求,然后逐個(gè)分析現(xiàn)有解決方案的問(wèn)題,最后介紹了本文的GymBeats 方案。

1.1 用戶需求

為了解用戶在運(yùn)動(dòng)時(shí)的實(shí)際需求,在大學(xué)校園內(nèi)對(duì)一群健身愛(ài)好者進(jìn)行了半結(jié)構(gòu)化訪談,讓他們說(shuō)出理想的運(yùn)動(dòng)糾正設(shè)備應(yīng)當(dāng)具備的功能,最終總結(jié)了3 個(gè)最主要的功能如下。

便攜的廉價(jià)設(shè)備(portable cheap device,PCD)。在收到的所有回復(fù)中,最關(guān)心的問(wèn)題就是設(shè)備的便攜性和價(jià)格。首先是設(shè)備價(jià)格不能太貴,假如設(shè)備太貴的話,受訪人通常情愿花錢請(qǐng)私教,這樣可以獲取更人性化的指導(dǎo)。此外,他們希望設(shè)備具有便攜性,以便他們可以在任何地方使用,例如健身房或家里。

豐富的運(yùn)動(dòng)庫(kù)(rich exercises benchmark,REB)。考慮到單一鍛煉對(duì)肌肉刺激的局限性以及鍛煉種類的多樣性,受訪人希望隨著他們的需求變化,系統(tǒng)可以隨之不斷豐富鍛煉動(dòng)作類型。因此該軟件應(yīng)當(dāng)可以識(shí)別各種運(yùn)動(dòng)類型并提供糾正建議,從而指導(dǎo)用戶。

專業(yè)的反饋(professional feedback,PF)。本文的目標(biāo)用戶是非專業(yè)的初學(xué)者,他們往往需要專業(yè)的反饋意見(jiàn),這樣可以幫助他們提高動(dòng)作質(zhì)量。因此,該軟件應(yīng)當(dāng)能夠準(zhǔn)確識(shí)別每個(gè)錯(cuò)誤并提供實(shí)時(shí)反饋。

1.2 相關(guān)工作

先前關(guān)于運(yùn)動(dòng)糾正的方法主要包括使用光學(xué)跟蹤相機(jī)、基于慣性測(cè)量單元(inertial measurement unit,IMU)的傳感器和壓敏設(shè)備。如表1 所示,本小節(jié)根據(jù)上述3 個(gè)要求進(jìn)一步討論當(dāng)前技術(shù)存在的問(wèn)題。

表1 本文方法與其他運(yùn)動(dòng)糾正相關(guān)工作比較

1.2.1 光學(xué)運(yùn)動(dòng)跟蹤

光學(xué)運(yùn)動(dòng)跟蹤系統(tǒng)根據(jù)傳感源不同可以分為2類。第1 類是基于光學(xué)標(biāo)記的系統(tǒng),例如Vicon[3]和OptiTrack[4]。這些商業(yè)系統(tǒng)通過(guò)將光學(xué)標(biāo)記安裝在用戶的重要解剖位置(例如關(guān)節(jié))來(lái)提供高精確的跟蹤結(jié)果。但是,這種高精度的反饋需要一套昂貴的配件[9],包括鏡頭、光學(xué)標(biāo)記及其配套軟件。普通用戶通常負(fù)擔(dān)不起這么高昂的價(jià)格。第2 類是基于光學(xué)深度信息的系統(tǒng)。這些系統(tǒng)使用基于深度信息的設(shè)備(例如ASUS Xtion[1]和Microsoft Kinetic[2])從獲取的深度圖像中檢測(cè)骨骼位置,并推斷每個(gè)像素的身體部位的分布[10]?；诠趋佬畔?這些系統(tǒng)可以提取與關(guān)節(jié)角度有關(guān)的信息,并用這些信息匹配標(biāo)準(zhǔn)運(yùn)動(dòng)姿勢(shì)。開(kāi)源和無(wú)需使用光學(xué)標(biāo)記的特性使此類系統(tǒng)廣泛用于各種訓(xùn)練的糾正[11]。然而基于光學(xué)深度的系統(tǒng)具有3 個(gè)問(wèn)題。首先,無(wú)論是Kinetic 還是Xtion 都尚未廣泛普及,并且由于用戶需要將其連接到筆記本電腦上使用,所以并不便攜。其次,僅憑借正面測(cè)量出的角度信息不足以識(shí)別一些運(yùn)動(dòng)錯(cuò)誤,例如后仰。最后,這種系統(tǒng)提供的是視覺(jué)的實(shí)時(shí)反饋,這會(huì)在用戶運(yùn)動(dòng)時(shí)分散注意力。

1.2.2 基于IMU 的運(yùn)動(dòng)跟蹤

基于IMU 的運(yùn)動(dòng)跟蹤系統(tǒng)提供了基于商用可穿戴設(shè)備(例如智能手表和手環(huán))的便攜式廉價(jià)解決方案。通過(guò)分析多軸加速度計(jì)的測(cè)量數(shù)據(jù),這些系統(tǒng)能執(zhí)行活動(dòng)識(shí)別[12-13]、步態(tài)分析[14-15]和健康監(jiān)測(cè)[16-17]等任務(wù)。此外,一些工作著重于使用IMU 數(shù)據(jù)來(lái)檢測(cè)和協(xié)助運(yùn)動(dòng)[18-19]。例如,FEMO 使用附著在啞鈴上的無(wú)源RFID 標(biāo)簽的反射后向散射信號(hào)的多普勒頻移曲線來(lái)識(shí)別現(xiàn)場(chǎng)的自由重量訓(xùn)練,評(píng)估動(dòng)作質(zhì)量,并向用戶提供有用的反饋。與光學(xué)運(yùn)動(dòng)跟蹤系統(tǒng)不同,基于IMU 的運(yùn)動(dòng)跟蹤系統(tǒng)要實(shí)現(xiàn)高精度,就需要在身體上部署多個(gè)IMU 傳感器,并進(jìn)行一些額外的工作,包括廣泛的校準(zhǔn)以及精確地將每個(gè)傳感器安放到身體的特定部位。通常,只從智能手表獲取到的IMU 的數(shù)據(jù)不足以準(zhǔn)確跟蹤身體姿勢(shì)[20]。

1.2.3 壓力數(shù)據(jù)跟蹤

壓力數(shù)據(jù)跟蹤系統(tǒng)通過(guò)測(cè)量地面反作用力和壓力中心(center of pressure,CoP)的位移來(lái)分析平衡性和腳部動(dòng)力學(xué)信息。這些數(shù)據(jù)從壓敏設(shè)備(如測(cè)力板和支撐智能鞋墊)中采集得到。由于成本昂貴和缺乏便攜性,壓力數(shù)據(jù)跟蹤系統(tǒng)主要用于實(shí)驗(yàn)室的康復(fù)研究[21]和步態(tài)分析[22]。文獻(xiàn)[8]提出了一種基于智能鞋墊的運(yùn)動(dòng)糾正系統(tǒng)GymSoles,該系統(tǒng)基于腳部CoP 提供震動(dòng)和視覺(jué)反饋,從而糾正下蹲和舉重時(shí)的身體姿勢(shì)。盡管壓力數(shù)據(jù)跟蹤系統(tǒng)可以實(shí)現(xiàn)準(zhǔn)確的CoP 跟蹤數(shù)據(jù),但此跟蹤系統(tǒng)只能用于某些與壓力有關(guān)的特定運(yùn)動(dòng),例如下蹲和硬拉。然而,大部分其他運(yùn)動(dòng)都無(wú)法通過(guò)CoP 進(jìn)行分析,例如啞鈴前舉、啞鈴側(cè)舉和杠鈴臥推。

2 系統(tǒng)概述

本節(jié)簡(jiǎn)單介紹了GymBeats 及其總體設(shè)計(jì)架構(gòu)和運(yùn)行時(shí)的工作流程。

2.1 GymBeats

隨著計(jì)算機(jī)視覺(jué)技術(shù)的飛速發(fā)展,越來(lái)越多的研究工作開(kāi)始關(guān)注如何利用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)算法從沒(méi)有深度信息的2D 圖片中檢測(cè)出姿勢(shì)信息[23-24]。2D 圖片可以通過(guò)智能手機(jī)和筆記本電腦等商用設(shè)備輕松獲取?；谶@些工作,本文提出了GymBeats 系統(tǒng)(見(jiàn)圖1),這是一種使用商用設(shè)備的運(yùn)動(dòng)糾正系統(tǒng),并為用戶提供專業(yè)的反饋。智能手機(jī)可以通過(guò)將圖像發(fā)送到云端進(jìn)行動(dòng)作分析。GymBeats 系統(tǒng)首先識(shí)別運(yùn)動(dòng)類型,從2D 圖像中提取骨骼信息。接著,它在豐富的運(yùn)動(dòng)動(dòng)作庫(kù)中搜索該運(yùn)動(dòng)類型的規(guī)則信息,并與實(shí)時(shí)骨骼信息進(jìn)行匹配。最后,用戶可以通過(guò)系統(tǒng)中2 個(gè)反饋機(jī)制(實(shí)時(shí)語(yǔ)音反饋和可視化運(yùn)動(dòng)報(bào)告反饋)進(jìn)行身體姿勢(shì)的糾正。

圖1 使用智能手機(jī)的相機(jī)進(jìn)行動(dòng)作糾正應(yīng)用程序?qū)嵗?/p>

2.2 GymBeats 總體架構(gòu)

GymBeats 框架是一個(gè)端-云協(xié)同系統(tǒng)(圖2),其數(shù)據(jù)和代碼分布在云端服務(wù)器(灰色虛線方塊)和用戶移動(dòng)設(shè)備(灰色實(shí)線方塊)上?？蚣苤邪?個(gè)基礎(chǔ)處理階段:骨架提取階段、上下文感知識(shí)別階段和評(píng)估反饋階段。在骨骼提取階段,系統(tǒng)會(huì)處理傳感器數(shù)據(jù),提取出鍛煉者的身體關(guān)鍵點(diǎn)位置以及一些基本運(yùn)動(dòng)特征。上下文感知識(shí)別階段會(huì)通過(guò)提取出的信息驗(yàn)證動(dòng)作的正確性,并將兩種不同形式的反饋結(jié)果反饋到用戶的移動(dòng)端設(shè)備上。

2.3 GymBeats 工作流程

圖2 顯示了GymBeats 框架的工作流程。本文詳細(xì)描述執(zhí)行的每個(gè)步驟(下列數(shù)字與圖2 中的數(shù)字一一對(duì)應(yīng))。

圖2 GymBeats 框架總體架構(gòu)

①用戶在鍛煉過(guò)程中通過(guò)固定的智能手機(jī)或筆記本電腦對(duì)運(yùn)動(dòng)過(guò)程中每一個(gè)動(dòng)作進(jìn)行錄制。GymBeats 會(huì)將視頻中的每一幀從移動(dòng)端設(shè)備發(fā)送到云端服務(wù)器中進(jìn)行處理。

②GymBeats 在云服務(wù)器中利用OpenPose[25]框架識(shí)別出用戶每一個(gè)動(dòng)作的姿勢(shì),并在每一幀中生成一組用戶身體的關(guān)鍵點(diǎn)。OpenPose 是一套基于深度神經(jīng)網(wǎng)絡(luò)DNN 的實(shí)時(shí)多人2D 姿勢(shì)估計(jì)框架,集成了許多先進(jìn)的視覺(jué)技術(shù)。本文選擇該框架出于以下2 個(gè)原因。第一,相較于Alpha-Pose[26]和Mask R-CNN[27]等復(fù)雜高精度模型,OpenPose 對(duì)多人目標(biāo)檢測(cè)進(jìn)行了優(yōu)化。這使得OpenPose 不會(huì)像其他復(fù)雜模型一樣其計(jì)算開(kāi)銷會(huì)隨著場(chǎng)景中人數(shù)的增多而呈線性增長(zhǎng),這對(duì)于健身房這種頻繁有人在鏡頭前走動(dòng)的開(kāi)放場(chǎng)景提供了實(shí)時(shí)性保障。第二,雖然針對(duì)移動(dòng)端深度優(yōu)化的TensorFlow Lite[28]框架可以在手機(jī)芯片中提供實(shí)時(shí)的檢測(cè)信息,但是由于模型精度不高,在本文的實(shí)驗(yàn)中發(fā)現(xiàn)無(wú)法用該模型成功檢測(cè)出人體側(cè)面和背面的關(guān)鍵點(diǎn),因此并不適用于本文的需求。綜上,本文發(fā)現(xiàn)只有OpenPose 可以在提供高精度的前提下保障實(shí)時(shí)性。

③由于用戶在拍攝過(guò)程中可能會(huì)存在噪聲和遮擋,例如一幀中存在其他目標(biāo)或者器械擋住用戶,因此GymBeats 對(duì)每一幀目標(biāo)用戶的身體關(guān)鍵點(diǎn)進(jìn)行預(yù)處理操作,從而保證運(yùn)動(dòng)糾正過(guò)程的精確性。

④GymBeats 會(huì)從預(yù)處理后的身體關(guān)鍵點(diǎn)中提取運(yùn)動(dòng)相關(guān)的特征值并發(fā)送給識(shí)別模塊。這些特征值與運(yùn)動(dòng)的類別相關(guān),例如膝蓋角度和髖骨角度等。

⑤GymBeats 通過(guò)在云端建立一個(gè)運(yùn)動(dòng)基準(zhǔn)庫(kù)存儲(chǔ)每一個(gè)類型的動(dòng)作及其與該動(dòng)作相應(yīng)的正確性匹配規(guī)則。這些從每幀中提取的特征會(huì)與運(yùn)動(dòng)基準(zhǔn)庫(kù)中的正確性動(dòng)作規(guī)則進(jìn)行匹配,從而驗(yàn)證每個(gè)動(dòng)作的正確性。匹配過(guò)程包含特定運(yùn)動(dòng)的狀態(tài)識(shí)別和錯(cuò)誤識(shí)別。

⑥對(duì)于每一幀,GymBeats 都會(huì)提供實(shí)時(shí)的語(yǔ)音反饋,從而幫助用戶及時(shí)糾正其動(dòng)作,防止運(yùn)動(dòng)造成的身體損傷。

⑦在用戶完成所有動(dòng)作后,GymBeats 還會(huì)把一份可視化運(yùn)動(dòng)報(bào)告發(fā)送到用戶的移動(dòng)端設(shè)備上。該報(bào)告包含該運(yùn)動(dòng)鍛煉過(guò)程中的各個(gè)性能的指標(biāo),幫助用戶系統(tǒng)性地了解自己每個(gè)動(dòng)作的規(guī)范性。

3 系統(tǒng)實(shí)現(xiàn)

本節(jié)詳細(xì)描述GymBeats 框架的系統(tǒng)設(shè)計(jì)和各個(gè)模塊面臨的挑戰(zhàn)和解決方案。3.1 節(jié)重點(diǎn)展示預(yù)處理組件如何處理實(shí)際環(huán)境中噪聲和遮擋問(wèn)題。3.2節(jié)通過(guò)深蹲實(shí)例介紹本文的狀態(tài)識(shí)別和錯(cuò)誤識(shí)別組件如何利用基準(zhǔn)庫(kù)中的規(guī)則進(jìn)行匹配。3.3 節(jié)將介紹運(yùn)動(dòng)評(píng)估反饋模塊如何實(shí)現(xiàn)實(shí)時(shí)語(yǔ)音反饋和運(yùn)動(dòng)后的可視化報(bào)告反饋。

3.1 骨架提取模塊

骨架提取模塊負(fù)責(zé)從用戶上傳的視頻中的每一幀提取目標(biāo)身體的關(guān)鍵點(diǎn)并轉(zhuǎn)換為特征值。在這個(gè)過(guò)程中最大的挑戰(zhàn)就是噪聲和遮擋問(wèn)題。

(1)噪聲問(wèn)題。在真實(shí)運(yùn)動(dòng)環(huán)境中,GymBeats通過(guò)商用設(shè)備獲取到的數(shù)據(jù)可能存在兩種噪聲干擾。第1 種噪聲是多用戶干擾。因?yàn)樵诮∩矸恐薪?jīng)常會(huì)有大量人群來(lái)回走動(dòng),本文必須要能夠從這些運(yùn)動(dòng)的人中識(shí)別出目標(biāo)用戶,并在整個(gè)過(guò)程中跟蹤目標(biāo)的運(yùn)動(dòng)動(dòng)作。第2 種噪聲是運(yùn)動(dòng)方向干擾。由于不同運(yùn)動(dòng)匹配的規(guī)則依賴于運(yùn)動(dòng)的方向(例如正面或者側(cè)面相機(jī)),因此,必須可以自動(dòng)地確定用戶運(yùn)動(dòng)的方向并提取相應(yīng)的身體關(guān)鍵點(diǎn)。

針對(duì)多用戶干擾噪聲,本文通過(guò)估計(jì)用戶的相對(duì)相機(jī)的位置來(lái)識(shí)別出目標(biāo)用戶。這是由于目標(biāo)用戶不同于來(lái)回走動(dòng)的噪聲人群,其通常在一個(gè)地方相對(duì)靜止地完成一系列動(dòng)作。因此,目標(biāo)用戶相對(duì)相機(jī)的距離也基本沒(méi)有太大變化。針對(duì)運(yùn)動(dòng)方向噪聲,本文通過(guò)分析提取到的身體關(guān)鍵點(diǎn)的分布來(lái)確定目標(biāo)相對(duì)相機(jī)的方向。例如,相比于正面,側(cè)面方向識(shí)別出雙肩關(guān)鍵點(diǎn)的距離要小得多。

(2)遮擋問(wèn)題。遮擋是現(xiàn)實(shí)中最常見(jiàn)的問(wèn)題。例如,當(dāng)用戶左側(cè)面向相機(jī)錄制視頻時(shí),可以從目標(biāo)用戶的右肩和右膝蓋處提取到身體關(guān)鍵點(diǎn)。但是,當(dāng)用戶下蹲時(shí),杠鈴片會(huì)遮蓋用戶的小腿,這大大降低該部位關(guān)鍵點(diǎn)提取的準(zhǔn)確性。

針對(duì)遮擋干擾,本文采用自適應(yīng)關(guān)鍵點(diǎn)的預(yù)測(cè)方法解決。該方法是基于提取到的關(guān)鍵點(diǎn)置信度、特定運(yùn)動(dòng)的先驗(yàn)信息和用戶方向這3 個(gè)信息。具體來(lái)說(shuō),當(dāng)身體關(guān)鍵點(diǎn)模糊或不可見(jiàn)時(shí),DNN 模型生成的置信度將會(huì)變得很小,甚至為零。因此,當(dāng)置信度降至某個(gè)閾值以下時(shí),可以認(rèn)為關(guān)鍵點(diǎn)無(wú)效。由于杠鈴只覆蓋部分身體關(guān)鍵點(diǎn)(例如下蹲時(shí)的肩膀關(guān)鍵點(diǎn)),因此可以利用其他高置信度的關(guān)鍵點(diǎn)來(lái)預(yù)測(cè)被遮擋的關(guān)鍵點(diǎn)位置。此外,本文還選擇與用戶方向相同的身體關(guān)鍵點(diǎn)作為主要參考依據(jù)。例如,當(dāng)智能手機(jī)位于用戶左側(cè)時(shí),可以認(rèn)為從身體左側(cè)部位提取的關(guān)鍵點(diǎn)更為可信。

3.2 上下文感知識(shí)別模塊

上下文感知識(shí)別模塊負(fù)責(zé)將骨架提取模塊識(shí)別出來(lái)的特征值與云端基準(zhǔn)庫(kù)中相應(yīng)運(yùn)動(dòng)的規(guī)則進(jìn)行匹配,從而識(shí)別出用戶動(dòng)作的正確性。本文以杠鈴深蹲為例來(lái)描述此前相關(guān)工作的缺陷并介紹如何解決這些問(wèn)題。選擇該運(yùn)動(dòng)的原因有兩個(gè)。首先,杠鈴深蹲是一種全方位的力量運(yùn)動(dòng),可以直接訓(xùn)練核心和背部肌肉群,包括脊柱直肌、繩肌、臀大肌、內(nèi)收肌、股四頭肌和斜方肌[29]。由于杠鈴深蹲非常復(fù)雜,可以借此對(duì)本文的方法進(jìn)行全面的描述。其次,杠鈴深蹲是一種危險(xiǎn)的力量運(yùn)動(dòng),動(dòng)作錯(cuò)誤和杠鈴重量過(guò)大都會(huì)對(duì)鍛煉者造成嚴(yán)重?fù)p傷。因此,杠鈴深蹲是最近的工作中主要關(guān)注的鍛煉之一[8,11]。

盡管有許多書籍介紹杠鈴深蹲的動(dòng)作規(guī)范,但是本文遵循權(quán)威的杠鈴訓(xùn)練書籍,即《Starting Strength Basic Barbell Training》[30]。在描述需求規(guī)范之前,首先對(duì)負(fù)重下的身體運(yùn)動(dòng)系統(tǒng)做一個(gè)必要介紹。當(dāng)把用戶和杠鈴視為同一個(gè)系統(tǒng)時(shí),系統(tǒng)的重心(center of mass,COM)將從髖骨的中部位置移動(dòng)到背部負(fù)重杠鈴中部。當(dāng)用戶本身負(fù)載更重的杠鈴時(shí),用戶-杠鈴系統(tǒng)的COM 可以近似為杠鈴自身的中點(diǎn)。因此,本文要對(duì)杠鈴進(jìn)行很大范圍的移動(dòng)時(shí),考慮杠鈴本身的平衡性就非常重要。

腳中點(diǎn)位于足弓下方,是身體保持平衡的關(guān)鍵位置。圖3顯示了在用戶-杠鈴系統(tǒng)中背部杠鈴和腳中點(diǎn)之間的關(guān)系,其中,Rh和Rk分別表示運(yùn)動(dòng)員的髖骨角度和膝蓋角度。顯然,當(dāng)腳中點(diǎn)位于COM的垂直線上時(shí),系統(tǒng)將達(dá)到平衡。此外,任何杠鈴運(yùn)動(dòng)的本質(zhì)都是抵抗重力的向下做功。因此,最高效的杠鈴移動(dòng)姿勢(shì)是保持COM 與腳中點(diǎn)形成一條直線,僅垂直移動(dòng)杠鈴。

圖3 杠鈴系統(tǒng)的診斷信息

杠鈴深蹲本文在圖4 中總結(jié)了4 個(gè)杠鈴深蹲的基本要求規(guī)范。其中,虛線表示COM,黑色實(shí)心圓圈表示杠鈴。

圖4 杠鈴深蹲的基本要求規(guī)范

(1)平背。深蹲最大危險(xiǎn)是腰部受傷。這些損傷是由于椎骨在負(fù)重作用下運(yùn)動(dòng)不當(dāng),向前或者向后擠壓椎間盤造成的。用戶應(yīng)當(dāng)保證背部平坦,因?yàn)槠教沟谋巢靠梢苑乐寡翟谪?fù)重過(guò)程中過(guò)度伸展或彎曲,并確保力在椎間盤上正確分布。

(2)動(dòng)作到位。深蹲的深度是影響關(guān)節(jié)穩(wěn)定性與安全性的重要因素。正確的下蹲動(dòng)作要求臀部下降到膝蓋骨頂端以下的位置,從而使股四頭肌產(chǎn)生向前力與腘繩肌產(chǎn)生的向后力保持平衡。在此深度以上的深蹲稱為部分深蹲。該動(dòng)作不會(huì)給臀大肌、內(nèi)收肌或腘繩肌施加壓力,而是給膝蓋和四頭肌施加壓力。此外,由于運(yùn)動(dòng)范圍短,部分深蹲會(huì)讓用戶負(fù)載更大的重量,從而增大脊柱過(guò)度負(fù)重導(dǎo)致的背部損傷風(fēng)險(xiǎn)。

(3)不能前傾。在下蹲過(guò)程中,用戶的膝蓋會(huì)向前彎曲,目光前視。因此,當(dāng)身體失去平衡時(shí),用戶會(huì)本能地前傾。失衡會(huì)使COM(杠鈴)和腳中點(diǎn)之間的水平偏移產(chǎn)生力矩(旋轉(zhuǎn)力)。用戶必須提供一定的力來(lái)抵消旋轉(zhuǎn)力的影響并重新獲得平衡性。因此,在整個(gè)負(fù)載運(yùn)動(dòng)中,用戶必須確保COM始終與腳中點(diǎn)在一條垂直線上。

(4)膝蓋腳趾共線。杠鈴深蹲過(guò)程中和膝蓋相關(guān)的錯(cuò)誤類型通常有兩種:膝蓋內(nèi)扣和前伸。本文著重于第1 類錯(cuò)誤類型。因?yàn)榈? 類錯(cuò)誤類型取決于用戶的股骨、脛骨和軀干尺寸。對(duì)于一些股骨短而脛骨長(zhǎng)的人,膝蓋是可以在腳趾的前面。而對(duì)于第1 類錯(cuò)誤類型,當(dāng)膝蓋彼此向內(nèi)移動(dòng)時(shí),股骨內(nèi)側(cè)和外側(cè)的肌肉功能會(huì)減弱,這會(huì)導(dǎo)致用戶失去平衡并磨損膝蓋軟骨。因此,正確的動(dòng)作應(yīng)是將膝蓋保持與腳趾在一條直線上。

基準(zhǔn)庫(kù)動(dòng)作規(guī)則盡管此前有相關(guān)工作[11]通過(guò)考慮髖骨角度、膝蓋角度以及這兩個(gè)角度之間的比率來(lái)分析運(yùn)動(dòng)姿勢(shì)錯(cuò)誤。但是這些粗粒度方法無(wú)法準(zhǔn)確識(shí)別出所有動(dòng)作錯(cuò)誤。例如,針對(duì)膝蓋腳趾共線的錯(cuò)誤識(shí)別,則需要考慮膝蓋之間的距離而不是角度。此外,很多動(dòng)作在不同狀態(tài)下匹配的規(guī)則也是不同的。例如,動(dòng)作到位錯(cuò)誤的識(shí)別首先需要檢查用戶是否已經(jīng)蹲到底部。為了解決這些問(wèn)題,本文設(shè)計(jì)了一種新穎的上下文感知運(yùn)動(dòng)糾正方法(參見(jiàn)圖5)。如表2 所示,除了傳統(tǒng)的膝蓋角度Rk和髖骨角度Rh外,本文還提出了一些新的識(shí)別指標(biāo),包括膝蓋角速度Vk、深度角Rd、杠鈴距離Db和膝蓋距離Dk。這些指標(biāo)在被提取后會(huì)與基準(zhǔn)庫(kù)中相應(yīng)動(dòng)作的規(guī)則進(jìn)行匹配。整個(gè)匹配過(guò)程包含兩個(gè)階段:狀態(tài)識(shí)別和錯(cuò)誤識(shí)別。

表2 上下文感知運(yùn)動(dòng)糾正方法的度量值

狀態(tài)識(shí)別仍然以杠鈴深蹲為例。通常在整個(gè)運(yùn)動(dòng)過(guò)程中,用戶可能處于以下4 種狀態(tài)之一:站立、下蹲、底部、站起。本文同時(shí)使用膝蓋角度和膝蓋角速度來(lái)識(shí)別負(fù)重過(guò)程中的每個(gè)狀態(tài)。具體而言,Vk為正值表示用戶處于站起狀態(tài),為負(fù)值表示處于下蹲狀態(tài)。當(dāng)用戶開(kāi)始/結(jié)束下蹲并處于站立狀態(tài)時(shí),Vk和Rk分別接近0 rad/s 和180 °。如果在上述條件下Rk遠(yuǎn)小于180 °,則意味著用戶處于底部狀態(tài)。

錯(cuò)誤識(shí)別對(duì)于每一種錯(cuò)誤類型,采用以下糾正方法。

(1) 平背。通過(guò)追蹤底部狀態(tài)下髖骨角Rh識(shí)別。如果髖骨角接近40 °或更大,則認(rèn)為該動(dòng)作符合平背要求。當(dāng)背部向內(nèi)彎曲時(shí),脛骨平面的高度將會(huì)低于標(biāo)準(zhǔn)高度,使得髖骨角明顯減小。

(2) 動(dòng)作到位。通過(guò)追蹤底部狀態(tài)下深度角Rd識(shí)別。如果深度角接近10 °或更小,本文認(rèn)為該動(dòng)作滿足動(dòng)作到位要求。這里選擇10 °而非負(fù)值,是因?yàn)橄鄬?duì)真實(shí)髖關(guān)節(jié)位置,從2D 圖像中提取的髖關(guān)節(jié)關(guān)鍵點(diǎn)存在一定的偏移。

(3) 不能前傾。通過(guò)追蹤站起狀態(tài)下杠鈴距離指數(shù)Ib識(shí)別。如果杠鈴距離指數(shù)在-0.05～0.05范圍內(nèi)波動(dòng),本文認(rèn)為該動(dòng)作滿足不能前傾的要求。正如3.2 節(jié)討論的那樣,杠鈴和腳中點(diǎn)之間距離偏移會(huì)導(dǎo)致用戶失去平衡。由于杠鈴距離Db會(huì)隨著相機(jī)和用戶之間的距離發(fā)生變化,因此需要用該距離與用戶身高的比值。

(4) 膝蓋腳趾共線。通過(guò)追蹤用戶全程狀態(tài)下膝蓋距離指數(shù)Ik識(shí)別。如果膝蓋距離指數(shù)達(dá)到0.05或者更大,本文認(rèn)為該動(dòng)作滿足膝蓋腳趾共線的要求。這里不直接使用膝蓋距離Dk來(lái)估計(jì)該誤差的原因與Ib相同。

3.3 運(yùn)動(dòng)評(píng)估反饋模塊

運(yùn)動(dòng)評(píng)估反饋模塊是向用戶的移動(dòng)端設(shè)備提供運(yùn)動(dòng)的正確性匹配結(jié)果。根據(jù)3.2 節(jié)中討論的需求調(diào)查,本文發(fā)現(xiàn)專業(yè)的運(yùn)動(dòng)評(píng)估反饋是幫助用戶改善運(yùn)動(dòng)姿勢(shì)的關(guān)鍵要素之一。因此,GymBeats 提供2 種反饋。

(1)語(yǔ)音反饋。GymBeats 會(huì)將上下文感知識(shí)別階段的生成結(jié)果轉(zhuǎn)化為語(yǔ)音指令并發(fā)送到用戶的移動(dòng)端設(shè)備中。例如,當(dāng)識(shí)別出運(yùn)動(dòng)動(dòng)作不到位時(shí),GymBeats 會(huì)發(fā)送一條語(yǔ)音指令到用戶手機(jī),從而提醒其需要再向下再蹲一點(diǎn)。收到指令后,本地智能手機(jī)上的應(yīng)用程序?qū)⒄{(diào)用文本語(yǔ)音引擎(android text to sound,TTS)接口來(lái)發(fā)出語(yǔ)音提示。

在運(yùn)動(dòng)期間,為了確保安全性和人機(jī)交互的友好性,GymBeats 需要能夠?qū)崟r(shí)識(shí)別錯(cuò)誤并對(duì)錯(cuò)誤做出足夠迅速的反應(yīng)。假如用戶在杠鈴深蹲時(shí)接收到過(guò)時(shí)的語(yǔ)音命令,并按照命令指示進(jìn)行動(dòng)作,則很可能會(huì)導(dǎo)致受傷。基于DNN 的2D 姿態(tài)提取模型需要的強(qiáng)大計(jì)算能力,但是智能手機(jī)中有限的硬件資源并不能予以支撐。如圖6 所示,在本地智能手機(jī)上處理一幀時(shí),端到端延遲高達(dá)15.7 s。此外,分辨率為1920×1080 的原始RGB 圖像的大小為5.93 MB,在每秒30 FPS 的處理頻率下會(huì)浪費(fèi)過(guò)多的帶寬。

圖6 從發(fā)送一個(gè)視頻幀到接收到一條語(yǔ)音反饋的端到端延遲

為了實(shí)現(xiàn)實(shí)時(shí)語(yǔ)音看反饋,需要減少每幀的處理時(shí)間并縮短兩幀之間的間隔時(shí)間(即提高幀速率)。一方面,GymBeats 將姿勢(shì)提取的所有計(jì)算工作轉(zhuǎn)移到功能強(qiáng)大的遠(yuǎn)程服務(wù)器上,并將端到端的等待時(shí)間顯著減少到93.2 ms。另一方面,姿勢(shì)提取模型所需的圖像分辨率固定為300×300。在此基礎(chǔ)上,GymBeats 首先使用OpenCV 庫(kù)將原始圖像尺寸從1920×1080 調(diào)整為300×300 分辨率,然后將原始圖像壓縮為40.76 kB jpeg 格式的圖像。如圖7所示,GymBeats 在本地智能手機(jī)上以30 FPS的速率發(fā)送視頻幀,并測(cè)量手機(jī)發(fā)送幀的帶寬和在遠(yuǎn)程服務(wù)器中接收幀的速率。從圖中可以看出,調(diào)整大小操作可以將帶寬從28.1 Mbps(三角點(diǎn))顯著減少到7.4 Mbps(圓點(diǎn)),并將幀率從4.3 FPS(三角點(diǎn)線)增加到24.5 FPS(圓點(diǎn)線)。

圖7 本地手機(jī)發(fā)送視頻幀帶寬和在云端服務(wù)器接收幀率

(2) 可視化反饋。本文的可視化反饋以視頻報(bào)告的形式生成,并在用戶運(yùn)動(dòng)完后可以下載。具體而言,在處理完每個(gè)視頻幀并在上下文感知識(shí)別階段生成結(jié)果之后,本文將結(jié)果附加到每個(gè)視頻幀上,并將其存儲(chǔ)在云中。圖8 顯示了視頻報(bào)告中的2 個(gè)幀,在每幀左上角1/4 處顯示用戶當(dāng)前運(yùn)動(dòng)狀態(tài)和錯(cuò)誤識(shí)別結(jié)果。本文還添加了輔助線,以幫助用戶糾正錯(cuò)誤姿勢(shì),例如標(biāo)準(zhǔn)的重心COM 線和杠鈴的真實(shí)軌跡。用戶可以瀏覽包含這些診斷信息的完整視頻以及動(dòng)作明顯出錯(cuò)的關(guān)鍵視頻幀。

圖8 可視化視頻報(bào)告反饋

4 實(shí)驗(yàn)

本節(jié)通過(guò)一項(xiàng)用戶研究來(lái)評(píng)估2 種反饋機(jī)制在深蹲運(yùn)動(dòng)中的作用。

4.1 實(shí)驗(yàn)配置

本文使用商用智能手機(jī)和遠(yuǎn)程功能強(qiáng)大的服務(wù)器進(jìn)行實(shí)驗(yàn)(實(shí)驗(yàn)視頻發(fā)布在網(wǎng)站https://www.bilibili.com/video/BV1q54y1t7FQ)。智能手機(jī)是配備高通驍龍845 CPU@2.8 GHz、6 GM RAM 和超光敏AI 后置攝像頭的Android 手機(jī),該攝像頭可以在120 FPS 的速率下錄制1080p 視頻。本文使用的無(wú)線耳機(jī)是Sumsang Galaxy Buds,用于發(fā)出語(yǔ)音指令。智能手機(jī)通過(guò)無(wú)源5 GHz 頻段無(wú)線網(wǎng)絡(luò)連接到實(shí)驗(yàn)室中功能強(qiáng)大的遠(yuǎn)程服務(wù)器(英特爾Xeon Silver 4114 CPU@2.20 GHz,31 G RAM 和Titan X Pro GPU)。

選擇15 位年齡分布在18～35 歲之間的志愿者,在填寫同意書后,使用GymBeats 系統(tǒng)錄制他們的運(yùn)動(dòng)視頻。由于GymBeats 旨在幫助初學(xué)者用戶提高運(yùn)動(dòng)表現(xiàn),因此本文選擇的所有志愿者都沒(méi)有足夠的杠鈴深蹲經(jīng)驗(yàn)。其中10 名志愿者幾乎沒(méi)有去過(guò)健身房,而其中5 名志愿者每周去健身房花費(fèi)3～5 h 進(jìn)行有氧運(yùn)動(dòng)。所有的15 名志愿者從未練習(xí)過(guò)杠鈴深蹲,但讓一位經(jīng)驗(yàn)豐富的教練在鍛煉前進(jìn)行了標(biāo)準(zhǔn)動(dòng)作示范。志愿者將在以下3 種情況進(jìn)行杠鈴深蹲訓(xùn)練:(1)無(wú)反饋(no feedback,NF);(2)實(shí)時(shí)語(yǔ)音反饋(real-time voice feedback,RVF);(3)運(yùn)動(dòng)后可視化反饋(post-exercise visual feedback,PVF)。在確保所有其他條件相同的前提下,每個(gè)志愿者在每種情況下都必須重復(fù)杠鈴深蹲5組。在動(dòng)作結(jié)束后,給每位志愿者一份問(wèn)卷,詢問(wèn)他們關(guān)于這3 種類型的反饋的有用性和偏好。此外,還將要求他們提供有關(guān)當(dāng)前GymBeats 系統(tǒng)設(shè)計(jì)和交互模式的其他建議。

4.2 狀態(tài)和錯(cuò)誤識(shí)別

本實(shí)驗(yàn)重點(diǎn)是測(cè)試3.2 節(jié)中討論的狀態(tài)和錯(cuò)誤識(shí)別閾值的有效性。如圖9 所示,本文進(jìn)行了一組對(duì)照實(shí)驗(yàn),觀察在運(yùn)動(dòng)過(guò)程中標(biāo)準(zhǔn)動(dòng)作和錯(cuò)誤動(dòng)作的指標(biāo)數(shù)據(jù)分布。首先收集了示范教練的指標(biāo)數(shù)據(jù),作為基本事實(shí)對(duì)照組。然后跟蹤了15 名志愿者的指標(biāo)數(shù)據(jù),并選擇了不符合這4 個(gè)標(biāo)準(zhǔn)要求的動(dòng)作數(shù)據(jù)。

圖9 錯(cuò)誤識(shí)別流程

圖10 展示了狀態(tài)識(shí)別的指標(biāo)結(jié)果。從圖10 中可以觀察到5 個(gè)虛線灰色方形中的數(shù)據(jù)具有相同的分布,這表明志愿者進(jìn)行了5 次重復(fù)的深蹲運(yùn)動(dòng)。本文在第1 個(gè)數(shù)據(jù)波形中標(biāo)記了深蹲運(yùn)動(dòng)的4 個(gè)狀態(tài)。志愿者蹲下時(shí)膝蓋角速度為負(fù),而志愿者站起時(shí),膝蓋的角速度為正值。當(dāng)膝蓋角速度接近于0 rad/s時(shí),如果膝蓋角接近于180 °,說(shuō)明志愿者處于站立狀態(tài)。如果膝蓋角遠(yuǎn)小于180 °,則說(shuō)明志愿者處于底部深蹲狀態(tài)。

圖10 狀態(tài)識(shí)別度量值測(cè)量

圖11 分別展示了錯(cuò)誤動(dòng)作的指標(biāo)值分布,這些動(dòng)作分別無(wú)法滿足平背、動(dòng)作到位、不能前傾以及膝蓋腳趾共線的要求。三角組成的波形表示志愿者的標(biāo)準(zhǔn)指標(biāo)分布,而圓形組成的波形表示志愿者的錯(cuò)誤分布。本文是用虛線表示每個(gè)指標(biāo)中的閾值,從而識(shí)別動(dòng)作是否滿足要求?？梢郧逦乜吹?志愿者背部向后彎曲時(shí),髖部角低于60 °(圖11(a))。當(dāng)志愿者深蹲不到位時(shí),深度角則超過(guò)了10 °(圖11(b))。當(dāng)志愿者前傾時(shí),杠鈴距離指數(shù)超過(guò)0.05 或者低于-0.05(圖11(c))。當(dāng)志愿者膝蓋和腳趾不處于一條直線時(shí),膝蓋距離指數(shù)超過(guò)0.05(圖11(d))。

圖11 錯(cuò)誤識(shí)別度量值測(cè)量

發(fā)現(xiàn)1上下文感知方法對(duì)于杠鈴深蹲細(xì)粒度的狀態(tài)識(shí)別和錯(cuò)誤識(shí)別來(lái)說(shuō)十分必要。這種運(yùn)動(dòng)糾正方法也可以很好地應(yīng)用到其他運(yùn)動(dòng)類型中。

4.3 運(yùn)動(dòng)質(zhì)量提高

為了驗(yàn)證GymBeats 在深蹲運(yùn)動(dòng)中改善身體姿勢(shì)的效果,本文統(tǒng)計(jì)了15 名志愿者在無(wú)反饋、實(shí)時(shí)語(yǔ)音反饋和運(yùn)動(dòng)后可視化報(bào)告反饋條件下的動(dòng)作指標(biāo)。具體來(lái)說(shuō),每位志愿者總共進(jìn)行9 次深蹲運(yùn)動(dòng)。其中前3 次運(yùn)動(dòng)在無(wú)反饋下進(jìn)行,中間3 次運(yùn)動(dòng)在語(yǔ)音反饋下進(jìn)行,最后3 次運(yùn)動(dòng)在可視化報(bào)告反饋下進(jìn)行。本文僅關(guān)注特定狀態(tài)下的指標(biāo)數(shù)據(jù),例如平背錯(cuò)誤識(shí)別中深蹲底部狀態(tài)的髖部角度量,因?yàn)檫@些數(shù)據(jù)對(duì)于準(zhǔn)確分析身體姿勢(shì)的改善至關(guān)重要。

圖12 展示了本文深蹲實(shí)驗(yàn)中的指標(biāo)分布,虛線表示每個(gè)度量值的閾值。對(duì)于平背錯(cuò)誤識(shí)別(圖12(a)),本文觀察到實(shí)驗(yàn)數(shù)據(jù)分布分別是無(wú)反饋(M=[34.2,33,32.8])、實(shí)時(shí)語(yǔ)音反饋(M=[56,56.4,53.6])和運(yùn)動(dòng)后可視化反饋(M=[36.2,43.3,52.7])。對(duì)于動(dòng)作到位錯(cuò)誤識(shí)別(圖12(b)),本文觀察到實(shí)驗(yàn)數(shù)據(jù)分布分別是無(wú)反饋(M=[6.9,7.5,13.6])、實(shí)時(shí)語(yǔ)音反饋(M=[3.4,1.2,1.2])和運(yùn)動(dòng)后可視化反饋(M=[10.4,5.1,1.4])。對(duì)于不能前傾錯(cuò)誤識(shí)別(圖12(c)),本文觀察到實(shí)驗(yàn)數(shù)據(jù)分布分別是無(wú)反饋(M=[0.06,0.04,0.09])、實(shí)時(shí)語(yǔ)音反饋(M=[0.02,0.03,0.01])和運(yùn)動(dòng)后可視化反饋(M=[0.11,0.03,0.01])。最后,對(duì)于膝蓋腳趾共線錯(cuò)誤識(shí)別(圖12(d)),本文觀察到實(shí)驗(yàn)數(shù)據(jù)分布分別是無(wú)反饋(M=[0.05,0.06,0.06])、實(shí)時(shí)語(yǔ)音反饋(M=[0.03,0.04,0.04])和運(yùn)動(dòng)后可視化反饋(M=[0.06,0.05,0.04])。

圖12 無(wú)經(jīng)驗(yàn)志愿者在無(wú)反饋、實(shí)時(shí)語(yǔ)音反饋和運(yùn)動(dòng)后可視化反饋3 種情況下的上下文感知度量值分布

通過(guò)對(duì)比每個(gè)度量值與虛線所表示的閾值,可以發(fā)現(xiàn)實(shí)時(shí)語(yǔ)音反饋RVF 是糾正無(wú)經(jīng)驗(yàn)志愿者錯(cuò)誤身體姿勢(shì)的最佳方法。這是因?yàn)橹驹刚咴诎l(fā)現(xiàn)錯(cuò)誤后可以立即糾正。另一方面,運(yùn)動(dòng)后可視化反饋PVF 在每次運(yùn)動(dòng)結(jié)束后起到作用。志愿者在看過(guò)報(bào)告后可以找到姿勢(shì)錯(cuò)誤的地方,并在下一組運(yùn)動(dòng)中更正錯(cuò)誤。但即使志愿者從PVF 意識(shí)到了自己所有的姿勢(shì)錯(cuò)誤,也不一定能在下一組中全部糾正。

發(fā)現(xiàn)2志愿者可以從GymBeats 中的實(shí)時(shí)語(yǔ)音反饋和運(yùn)動(dòng)后可視化反饋中受益。這兩個(gè)反饋之間的區(qū)別在于志愿者是否實(shí)時(shí)獲取到運(yùn)動(dòng)糾正信息。

4.4 反饋偏好

本文分別對(duì)5 位教練和15 位志愿者進(jìn)行主觀評(píng)價(jià)偏好的問(wèn)卷調(diào)查。問(wèn)卷的形式為針對(duì)每個(gè)反饋的5 分李克特量表(1 分表示非常低,5 分表示非常高),該調(diào)查表的結(jié)果如圖13 所示。

圖13 教練與無(wú)經(jīng)驗(yàn)志愿者對(duì)不同反饋的主觀評(píng)價(jià)

對(duì)于教練,就有效性而言,3 種反饋中均值最高的是運(yùn)動(dòng)后可視化反饋(M=4.6,SD=0.5),其次分別是實(shí)時(shí)語(yǔ)音反饋(M=4.2,SD=0.4)和無(wú)反饋(M=2.2,SD=0.4)。單項(xiàng)方差分析測(cè)試顯示主要影響數(shù)據(jù)為F2,12=35.43,p＜0.00001。本文通過(guò)Tukey’s HSD 測(cè)試分別識(shí)別RVF-NF 和PVF-NF 的差異性。數(shù)據(jù)顯示有經(jīng)驗(yàn)的教練更喜歡PVF 而不是RVF,這是因?yàn)樗麄兪煜?biāo)準(zhǔn)的深蹲動(dòng)作,因此RVF 幾乎沒(méi)有幫助。而更直觀的運(yùn)動(dòng)后可視化報(bào)告反饋PVF 對(duì)于他們而言更為有效。

對(duì)于無(wú)經(jīng)驗(yàn)志愿者而言,結(jié)果卻并不一樣。3種反饋中均值最高的是實(shí)時(shí)語(yǔ)音反饋(M=4.4,SD=0.8),其次分別是運(yùn)動(dòng)后可視化反饋(M=4,SD=0.6)和無(wú)反饋(M=2.8,SD=0.8)。同時(shí),單項(xiàng)方差分析測(cè)試顯示主要影響數(shù)據(jù)為F2,42=18.2,p＜0.00001。與教練數(shù)據(jù)相似,Tukey’s HSD 測(cè)試表明,與NF 相比,RVF 和PVF 都被認(rèn)為有效。

顯然,教練和無(wú)經(jīng)驗(yàn)志愿者對(duì)于不同反饋的主觀性偏好各有不同。首先,由于無(wú)經(jīng)驗(yàn)志愿者缺乏深蹲練習(xí)的經(jīng)驗(yàn),他們希望GymBeats 可以實(shí)時(shí)糾正他們的錯(cuò)誤,因此更喜歡RVF 而不是PVF。其次,志愿者的3 種反饋的標(biāo)準(zhǔn)差和無(wú)反饋的均值都大于教練。這是因?yàn)橹驹刚呷狈I(yè)知識(shí),并沒(méi)有意識(shí)到深蹲運(yùn)動(dòng)中非標(biāo)準(zhǔn)動(dòng)作的危害性。最后,志愿者之間的個(gè)體差異比教練之間的個(gè)體差異數(shù)值更顯著,這導(dǎo)致3 種反饋的接受范圍變化幅度更大。

發(fā)現(xiàn)3對(duì)于無(wú)經(jīng)驗(yàn)志愿者,實(shí)時(shí)反饋對(duì)于改善運(yùn)動(dòng)表現(xiàn)更為有效,而運(yùn)動(dòng)后反饋對(duì)于有經(jīng)驗(yàn)的教練而言更為有效。與無(wú)反饋情況相比,另兩種類型反饋都認(rèn)為是有效的。

5 結(jié)論

本文提出了一種新穎的基于端云協(xié)同的運(yùn)動(dòng)糾正框架GymBeats,該框架可以使用智能手機(jī)和筆記本電腦等商用設(shè)備進(jìn)行運(yùn)動(dòng)糾正。具體來(lái)說(shuō),本文描述了現(xiàn)有解決方案存在的不足,并提出了一種細(xì)粒度的上下文感知運(yùn)動(dòng)糾正方法,包括狀態(tài)識(shí)別和錯(cuò)誤識(shí)別。在此基礎(chǔ)上,設(shè)計(jì)了基于端云協(xié)同的概念驗(yàn)證原型,可以生成實(shí)時(shí)語(yǔ)音和運(yùn)動(dòng)后的可視化反饋。GymBeats 共有3 個(gè)處理階段,包括骨骼提取、上下文感知識(shí)別和評(píng)估反饋階段。本文與15 位志愿者一起評(píng)估了GymBeats。結(jié)果表明,實(shí)時(shí)語(yǔ)音和運(yùn)動(dòng)后的可視化反饋都顯著改善了用戶在深蹲運(yùn)動(dòng)中的身體姿勢(shì)。下一步,GymBeats 將在智能手機(jī)上建立一個(gè)有前景的健身生態(tài)系統(tǒng),并為人們的整體運(yùn)動(dòng)和健康做出貢獻(xiàn)。