人體運(yùn)動(dòng)形態(tài)估計(jì)技術(shù)發(fā)展綜述

林浩翔 黃靖敏 李萬益 鄔依林 黃用有

摘要：人體運(yùn)動(dòng)形態(tài)估計(jì)技術(shù)是目前國內(nèi)外研究的熱點(diǎn)方向，該技術(shù)主要用于體育、音樂、舞蹈等運(yùn)動(dòng)形體化教學(xué);制作角色動(dòng)畫、3D人物的立體電影;人體運(yùn)動(dòng)形態(tài)識別、檢測及跟蹤監(jiān)控;醫(yī)學(xué)保健和無人駕駛;AR體育賽事運(yùn)動(dòng)追蹤以及輔助評分系統(tǒng)等很多領(lǐng)域。文章以人體運(yùn)動(dòng)形態(tài)估計(jì)為主題，對該技術(shù)的應(yīng)用和發(fā)展做一個(gè)綜述，供相關(guān)方向讀者了解。

關(guān)鍵詞：人體運(yùn)動(dòng)形態(tài);三維可視化;技術(shù)應(yīng)用和發(fā)展

中圖分類號：TP18? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）16-0003-05

1 前言

人體運(yùn)動(dòng)形態(tài)估計(jì)也稱人體運(yùn)動(dòng)形態(tài)三維可視化，是目前國內(nèi)外研究的熱點(diǎn)方向。其可以把二維圖像的人體運(yùn)動(dòng)形態(tài)進(jìn)行三維化展示，該技術(shù)主要用于體育、音樂舞蹈等運(yùn)動(dòng)三維形體化教學(xué)[1- 2];制作角色動(dòng)畫、3D人物的立體電影[3-5];醫(yī)療保健、無人駕駛、AR、智能評審輔助系統(tǒng);人體運(yùn)動(dòng)形態(tài)識別，檢測，跟蹤監(jiān)控[6- 7]等很多領(lǐng)域。該技術(shù)發(fā)展已經(jīng)有一段時(shí)間，國內(nèi)外許多學(xué)者都在研究，并且所研究的成果都能在各個(gè)領(lǐng)域成功運(yùn)用，發(fā)揮了關(guān)鍵作用。下面本文就運(yùn)動(dòng)形體化教學(xué)、角色動(dòng)畫制作、無人駕駛、智能評審輔助系統(tǒng)、人體運(yùn)動(dòng)跟蹤、運(yùn)動(dòng)形態(tài)識別與檢測監(jiān)控幾個(gè)方面技術(shù)發(fā)展和缺陷進(jìn)行綜述。

2 三維形體化教學(xué)

形體運(yùn)動(dòng)教學(xué)[1-2]是大多數(shù)教學(xué)機(jī)構(gòu)開設(shè)的必備課程，其涉及體育、音樂舞蹈的學(xué)習(xí)，可以為參與教學(xué)的人提供一套立體的姿態(tài)進(jìn)行參考學(xué)習(xí)、矯正動(dòng)作。其可以在各個(gè)角度去查看正確的姿態(tài)動(dòng)作，并可以通過所錄視頻還原自己三維運(yùn)動(dòng)形態(tài)進(jìn)行對比，是形體運(yùn)動(dòng)教學(xué)良好的教學(xué)材料。國內(nèi)外目前形體運(yùn)動(dòng)三維可視化這類教學(xué)材料比較少，需要更穩(wěn)定技術(shù)進(jìn)行制作和開發(fā)，該技術(shù)應(yīng)用如圖1所示。

形體運(yùn)動(dòng)的三維可視化的案例如圖1所示，其均為單視角人體運(yùn)動(dòng)形態(tài)的三維估計(jì)。該三維可視化效果比較真實(shí)，其姿態(tài)表示清晰，可以供使用者參考標(biāo)準(zhǔn)姿態(tài)，并且對照自己的訓(xùn)練姿態(tài)進(jìn)行矯正，在形體化教學(xué)上有巨大的促進(jìn)作用。教學(xué)3D可視化結(jié)合深度學(xué)習(xí)會取得比較理想的教學(xué)效果。

運(yùn)動(dòng)形態(tài)視頻三維可視化過程中的2D關(guān)鍵點(diǎn)檢測，對于高速運(yùn)動(dòng)圖像和模糊圖像要適當(dāng)?shù)靥幚?，保證2D關(guān)鍵點(diǎn)檢測的位置準(zhǔn)確，以此確保估計(jì)出的3D人體運(yùn)動(dòng)立體模型的準(zhǔn)確。目前，一些姿態(tài)檢測技術(shù)還要進(jìn)行不斷完善，才能還原出更準(zhǔn)確三維運(yùn)動(dòng)形態(tài)。

3 角色動(dòng)畫制作

制作角色動(dòng)畫及3D人的立體電影通常用于媒體發(fā)布、游戲開發(fā)。這類技術(shù)應(yīng)用很廣[3-5]，比如騰訊視頻中的3D國漫，在國漫中人物打斗、人物一些運(yùn)動(dòng)姿態(tài)展、動(dòng)物角色場景合成現(xiàn)等都可以運(yùn)用本項(xiàng)目的技術(shù);還有一些大型游戲中游戲角色的模型設(shè)計(jì)，角色的動(dòng)作設(shè)計(jì)及相關(guān)配套的連貫性姿態(tài)表示也可以用本項(xiàng)目的技術(shù)，如圖2所示。目前，國內(nèi)外相關(guān)基礎(chǔ)研究還在進(jìn)行中，技術(shù)還存在很多地方需要提升，比如多人姿態(tài)估計(jì)、角色間的姿態(tài)交互設(shè)計(jì)，以及姿態(tài)和語音匹配的設(shè)計(jì)等問題仍需進(jìn)一步解決。

圖2為形體運(yùn)動(dòng)可視化的3D角色模型生成的一些應(yīng)用。圖2（a）顯示單視角圖像進(jìn)行輪廓提取預(yù)處理，然后場景分割，再生成場景深度圖，利用深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型預(yù)測出3D角色模型，該模型可以在此基礎(chǔ)上進(jìn)行細(xì)節(jié)修改。圖2（b）顯示了3D角色模型可以用于場景融合，融入生活的場景中，該應(yīng)用用于電影制作和游戲過場動(dòng)畫制作也比較常見，較難拍攝的動(dòng)作姿態(tài)和場景都可以通過3D角色模型與視頻場景進(jìn)行融合。圖2（c）展示了所計(jì)算3D角色模型與相應(yīng)視角的匹配程度，如果模型在相應(yīng)視角的投影能和該視角的人物基本重合，就說明該模型大小與真實(shí)人物大小基本匹配，同時(shí)也說明了形體運(yùn)動(dòng)的三維可視化的真實(shí)性可以達(dá)到比較高的精確水平。

視頻或圖像三維可視化時(shí)，如何實(shí)現(xiàn)多或單角色模型互動(dòng)的三維人體運(yùn)動(dòng)估計(jì)，并且所生成人體運(yùn)動(dòng)立體模型（骨架）換算成3D角色模型細(xì)節(jié)的計(jì)算和生成方法需要得出，其中有身高、體重、皮膚、肢體粗細(xì)等細(xì)節(jié)計(jì)算和生成。3D角色模型如何自然地融入真實(shí)世界的視頻和場景，并且實(shí)現(xiàn)和場景的物品或環(huán)境進(jìn)行交互，比如打電話、丟垃圾等。該技術(shù)涉及的圖像預(yù)處理技術(shù)比較多，非常依賴于圖像預(yù)處理技術(shù)的好壞。

4 運(yùn)動(dòng)形態(tài)識別、檢測與監(jiān)控

形體運(yùn)動(dòng)的三維可視化可以很好地實(shí)現(xiàn)人體運(yùn)動(dòng)形態(tài)識別、檢測及跟蹤監(jiān)控[6-7]，可以對人的一些設(shè)定的高危動(dòng)作進(jìn)行識別，并進(jìn)行實(shí)時(shí)監(jiān)控。比如乘坐地鐵或其他交通工具，站立乘客需要扶好車內(nèi)扶手欄桿，若乘客疏忽時(shí)，可以語音提示乘客，此時(shí)姿態(tài)識別的應(yīng)用就派上用場，形體運(yùn)動(dòng)可視化就可以計(jì)算站立乘客的3D姿態(tài)，判斷是否拉好扶好的姿態(tài)。部分檢測樣例如圖3所示。目前這個(gè)方向的研究，國內(nèi)外也還是在進(jìn)行，也是一個(gè)熱點(diǎn)方向，技術(shù)拓展也需要大幅度提升。同時(shí)也存在一些問題，比如，多人物的動(dòng)作識別和分類如何進(jìn)行建模。其可通過形體運(yùn)動(dòng)的三維可視化形成多個(gè)人體運(yùn)動(dòng)立體模型，并對多個(gè)立體模型的肢體位置進(jìn)行建模計(jì)算，做約束模型并實(shí)現(xiàn)最后分類，把分類結(jié)果輸出到原二維視頻。此外，姿態(tài)的多分類問題，姿態(tài)相互遮擋識別問題等都需要進(jìn)一步去解決。

從圖3可以看出，運(yùn)動(dòng)形態(tài)識別在運(yùn)動(dòng)形態(tài)三維可視化的基礎(chǔ)上進(jìn)行判斷，在還原出三維運(yùn)動(dòng)形態(tài)的同時(shí)，進(jìn)行較完善的數(shù)學(xué)建模，根據(jù)數(shù)學(xué)模型判斷姿態(tài)的類型。

5 無人駕駛

無人駕駛同樣可以運(yùn)用到3D人體姿態(tài)估計(jì)技術(shù)[8]，倘若車內(nèi)有人，可以根據(jù)人體的姿態(tài)判斷合理的車速和更加平緩的路線。如圖4 （a）所示，人在看書，前方有車輛，無人自動(dòng)駕駛系統(tǒng)會自動(dòng)降速并選擇安全路線，就可以在行駛時(shí)減少意外發(fā)生的可能。

隨著社會的發(fā)展進(jìn)步，智能汽車、無人駕駛技術(shù)逐漸成為近幾年汽車行業(yè)研究和發(fā)展的重點(diǎn)，而行人檢測作為智能汽車外部環(huán)境感知中的核心技術(shù)之一，也一直是研究的熱點(diǎn)。人體三維姿態(tài)估計(jì)技術(shù)的實(shí)時(shí)性和高精確度性可有效提升無人駕駛汽車智能化水平。如圖4（b）所示能實(shí)時(shí)檢測到行人3D姿態(tài)，并對人體姿態(tài)信息進(jìn)行快速判斷識別（如行人打車、揮手等典型動(dòng)作、交警指揮動(dòng)作等），則能有效提升無人駕駛汽車的智能化水平。運(yùn)用面向無人駕駛的交通行人三維姿態(tài)檢測和估計(jì)方法，可實(shí)現(xiàn)分層式優(yōu)化，實(shí)時(shí)計(jì)算求解行人的3D姿態(tài)，可以達(dá)到實(shí)時(shí)準(zhǔn)確檢測行人的要求。

6 訓(xùn)練機(jī)器人

人體姿態(tài)估計(jì)技術(shù)亦可運(yùn)用到機(jī)器人的訓(xùn)練中，既可以給機(jī)器人提供大量的數(shù)據(jù)參考，也可以按照比例將動(dòng)作還原，讓機(jī)器人的自我學(xué)習(xí)速度大幅增加，也可根據(jù)數(shù)據(jù)去糾正錯(cuò)誤。在醫(yī)療保健領(lǐng)域，可以通過機(jī)器人實(shí)施康復(fù)訓(xùn)練。運(yùn)用傷患以往的姿態(tài)估計(jì)數(shù)據(jù)，更快地配合機(jī)器人實(shí)施康復(fù)訓(xùn)練，讓傷患的恢復(fù)效果更好。

康復(fù)機(jī)器人目前是一個(gè)新興的研究領(lǐng)域，隨著社會老齡化和肢體殘疾患者康復(fù)意識的崛起，康復(fù)機(jī)器人產(chǎn)業(yè)越來越受到重視。通過康復(fù)機(jī)器人，患者可以進(jìn)行重復(fù)運(yùn)動(dòng)，重新學(xué)會控制運(yùn)動(dòng)系統(tǒng)。此外，機(jī)器人可以幫助物理治療師進(jìn)行工作輔助，設(shè)定康復(fù)目標(biāo)，將物理治療師從繁重的工作中解脫。

如圖5（a）所示，上肢康復(fù)機(jī)器人[9]和老年人互動(dòng)樣例，上肢運(yùn)動(dòng)功能障礙是腦卒中、創(chuàng)傷性腦損傷、脊髓損傷、多發(fā)性硬化癥的常見后遺癥，嚴(yán)重影響患者的日常生活能力。研究人員希望這種機(jī)器人系統(tǒng)能夠優(yōu)化患者大腦運(yùn)動(dòng)功能神經(jīng)的重塑，恢復(fù)大腦對上肢運(yùn)動(dòng)的有效控制，從而提高患者的日常生活能力。

下肢康復(fù)機(jī)器人的研發(fā)，一直是國際康復(fù)醫(yī)學(xué)的難點(diǎn)、熱點(diǎn)和痛點(diǎn)。主要適應(yīng)于有腦卒中病人、脊髓損傷病人、高齡老人等引起下肢功能站立無力、肌肉萎縮、關(guān)節(jié)僵硬等癥狀?？梢詭椭∪酥匦抡玖?、恢復(fù)行走的功能，很多國家都在探索這個(gè)領(lǐng)域。

康復(fù)機(jī)器人還配有顯示器，病人在使用機(jī)器人進(jìn)行鍛煉恢復(fù)時(shí)，顯示器上會顯示騎馬、跑步、走路等游戲，通過游戲建立的虛擬場景，能幫助病人激活腦部重塑，幫助他們更好地康復(fù)。圖5（b）所示為下肢康復(fù)機(jī)器人訓(xùn)練樣例。

隨著人類衰老，人形機(jī)器人將會在中風(fēng)和癡呆等老年病的治療中越來越普遍地應(yīng)用。而人形機(jī)器人中社交輔助機(jī)器人的使用案例較多。不久的將來，社交輔助機(jī)器人能夠幫助嚴(yán)重功能障礙患者提高生存率，對患者進(jìn)行更細(xì)致地照顧。機(jī)器人將成為病人康復(fù)中的伴侶，鼓勵(lì)患者完成康復(fù)訓(xùn)練，并詳細(xì)記錄康復(fù)數(shù)據(jù)。

7 體育競賽評審輔助系統(tǒng)

人體運(yùn)動(dòng)形態(tài)三維可視化可用于體育競賽評審輔助系統(tǒng)[10]，如圖5（a）所示上肢康復(fù)機(jī)器人，該評分系統(tǒng)可通過向選手的身體及其周邊投射紅外線，完成動(dòng)作追蹤，AI技術(shù)根據(jù)動(dòng)作的三維立體圖像進(jìn)行分析，結(jié)合歷史表演數(shù)據(jù)，按照打分標(biāo)準(zhǔn)判斷該技術(shù)的完成度。裁判在此類技術(shù)的協(xié)助下，可以提供更加準(zhǔn)確的分?jǐn)?shù)。不僅如此，AI評分系統(tǒng)還可捕捉運(yùn)動(dòng)員的瞬間動(dòng)作和身體扭轉(zhuǎn)角度（三維立體圖像舉例），并清晰展現(xiàn)給觀眾，讓觀眾通過畫面了解更多的比賽細(xì)節(jié)，提高比賽的娛樂性。在系統(tǒng)功能實(shí)現(xiàn)的過程中，可以依靠深度特征和骨骼關(guān)節(jié)數(shù)據(jù)實(shí)現(xiàn)特征數(shù)據(jù)提取，然后利用傅里葉算法完成特征融合和動(dòng)作分類識別。從系統(tǒng)功能測試結(jié)果來看，能夠用于準(zhǔn)確識別各組難度動(dòng)作，滿足競賽評審輔助需求。

體操競技的動(dòng)作華麗炫目、動(dòng)態(tài)感十足，且技術(shù)難度大，對于裁判而言，評分也愈發(fā)困難，歷屆奧運(yùn)會上質(zhì)疑裁判員評分不公的情況多有發(fā)生。為了讓賽事評分更加公正，此次東京奧運(yùn)會在體操項(xiàng)目上引進(jìn)了由日本富士通公司開發(fā)的AI評分輔助系統(tǒng)，在本屆東京奧運(yùn)會運(yùn)動(dòng)員的最終得分，就是結(jié)合AI和裁判的判斷，再經(jīng)裁判綜合判斷后，最終打出的分?jǐn)?shù)。總而言之用AI技術(shù)協(xié)助評判，可以大大降低判罰不公之類的情況。一些關(guān)于AI評分系統(tǒng)的應(yīng)用如圖6所示。

綜上所述，開發(fā)的體育競賽評審輔助系統(tǒng)能夠幫助人員從繁重的評審處理工作中解脫出來，在節(jié)省賽事管理人力、物力的同時(shí)，保證比賽結(jié)果公平、公正。實(shí)際在系統(tǒng)開發(fā)與實(shí)現(xiàn)過程中，需要加強(qiáng)計(jì)算機(jī)智能算法應(yīng)用，通過與標(biāo)準(zhǔn)動(dòng)作比較，完成運(yùn)動(dòng)員3D動(dòng)作識別，輔助人員合規(guī)開展評審工作，繼而使競賽評審技術(shù)水平得到有效提升。

8 運(yùn)動(dòng)員追蹤功能

人體運(yùn)動(dòng)三維可視化技術(shù)被應(yīng)用在英特爾開發(fā)的3DAT（3D Athlete Tracking，3D運(yùn)動(dòng)員追蹤）技術(shù)，該技術(shù)可通過攝像機(jī)捕捉和AI智能算法把計(jì)算機(jī)視覺和AI技術(shù)結(jié)合在了一起，再結(jié)合阿里巴巴的云計(jì)算技術(shù)，構(gòu)建3D網(wǎng)格并捕捉運(yùn)動(dòng)員的多個(gè)關(guān)鍵骨骼點(diǎn)，并在幾秒鐘內(nèi)提供運(yùn)動(dòng)員速度、身體角度、加速度、步長等方面的數(shù)據(jù)，實(shí)現(xiàn)對運(yùn)動(dòng)員3D形態(tài)的數(shù)據(jù)提取，這是過去運(yùn)動(dòng)員和教練員用肉眼無法捕捉到的信息。

因此在平時(shí)訓(xùn)練中，3D運(yùn)動(dòng)員跟蹤技術(shù)可以作為運(yùn)動(dòng)員的“隱形教練”，借助3DAT技術(shù)，記錄運(yùn)動(dòng)員的歷史數(shù)據(jù)還能夠?qū)崿F(xiàn)對訓(xùn)練趨勢的追溯，在精準(zhǔn)分析運(yùn)動(dòng)姿態(tài)、聚合運(yùn)動(dòng)數(shù)據(jù)的基礎(chǔ)上，教練員可以整理并提出科學(xué)訓(xùn)練計(jì)劃和專家策略，有效提升訓(xùn)練效率，可以極大地幫助運(yùn)動(dòng)員通過更科學(xué)的手段實(shí)現(xiàn)運(yùn)動(dòng)表現(xiàn)的突破。

在2021東京奧運(yùn)會的田徑賽場上首次出現(xiàn)的“3D運(yùn)動(dòng)員跟蹤技術(shù)”，成為賽事轉(zhuǎn)播的新亮點(diǎn)。例如在田徑短跑項(xiàng)目中，通過3DAT技術(shù)觀眾可以看到每個(gè)運(yùn)動(dòng)員的實(shí)時(shí)奔跑速度，并在即時(shí)回放中對比賽亮點(diǎn)進(jìn)行分析、解讀和復(fù)核，能為奧運(yùn)會觀眾帶來全新的體驗(yàn)。該技術(shù)的一些應(yīng)用如圖7所示。

9 結(jié)束語

人體運(yùn)動(dòng)形態(tài)估計(jì)技術(shù)是一項(xiàng)比較前沿的技術(shù)，計(jì)算機(jī)視覺熱點(diǎn)的研究技術(shù)，也是人工智能發(fā)展的關(guān)鍵技術(shù)之一。人體運(yùn)動(dòng)形態(tài)估計(jì)技術(shù)涉及的應(yīng)用遠(yuǎn)遠(yuǎn)不止本文提及的幾個(gè)方面，其還涉及遙控遙感技術(shù)、AR人機(jī)交互和罪犯追蹤等研究領(lǐng)域，是一項(xiàng)應(yīng)該廣泛的核心技術(shù)。人體運(yùn)動(dòng)形態(tài)估計(jì)的研究目前仍然在繼續(xù)中，只要不斷完善該項(xiàng)技術(shù)，就能使得計(jì)算機(jī)視覺乃至人工智能領(lǐng)域有本質(zhì)上的突破。該項(xiàng)技術(shù)的研究還依賴于計(jì)算機(jī)硬盤的配置，必須配置高端性能的計(jì)算機(jī)才能很好地完成計(jì)算任務(wù)?？傮w來說，該技術(shù)是一項(xiàng)值得重點(diǎn)發(fā)展的技術(shù)。

參考文獻(xiàn)：

[1] Zhen J N，F(xiàn)ang Q，Sun J M，et al.SMAP： Single-Shot Multi-person Absolute 3D Pose Estimation[C].Proceedings of the ECCV 2020， Glasgow， United kingdom， Springer Science and Business Media Deutschland GmbH，2020：550-566.

[2] Benzine A，Luvison B，Pham Q C，et al.Single-shot 3D multi-person pose estimation in complex images[J].Pattern Recognition，2021，112：107534.

[3] Ionescu C，Papava D，Olaru V，et al.Human3.6M：large scale datasets and predictive methods for 3D human sensing in natural environments[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（7）：1325-1339.

[4] Pe?a-Tapia E，Hachiuma R，Pasquali A，et al.LCR-SMPL：toward real-time human detection and 3D reconstruction from a single RGB image[C]// Recife，Brazil：2020 IEEE International Symposium on Mixed and Augmented Reality Adjunct. IEEE，2020：211-212.

[5] Bogo F， Kanazawa A， Christoph Lassner， Gehler P， et al. Black. Keep it SMPL： Automatic estimation of 3D human pose and shape from a single image[C]. Scottsdale，AZ，United States：Proceedings of the 21st ACM Conference on Computer and Communications Security， CCS 2014.Springer Verlag， 2016： 561-578.

[6] Bagautdinov T，Alahi A，F(xiàn)leuret F，et al.Social scene understanding：end-to-end multi-person action localization and collective activity recognition[C]// Honolulu，HI，USA：2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE，2017：3425-3434.

[7] Zhu K J，Wang R X，Cheng J，et al.A novel skeleton-based action recognition method via cuboid rearranging[C]// Wuyishan，China：2018 IEEE International Conference on Information and Automation.IEEE，2018：286-292.

[8] 徐彬，鄭燕萍，曹高興.面向無人駕駛的行人三維姿態(tài)估計(jì)方法[J].科學(xué)技術(shù)與工程，2018，18（34）：85-91.

[9] 吳炳堅(jiān).基于互聯(lián)網(wǎng)的上肢康復(fù)機(jī)器人[J].機(jī)械制造，2021，59（7）：6-10.

[10] 尹霞.基于計(jì)算機(jī)智能算法下的體育競賽評審輔助系統(tǒng)開發(fā)與實(shí)現(xiàn)研究[J].現(xiàn)代科學(xué)儀器，2020（1）：50-53.

【通聯(lián)編輯：唐一東】