林浩翔 黃靖敏 李萬益 鄔依林 黃用有
摘要:人體運(yùn)動(dòng)形態(tài)估計(jì)技術(shù)是目前國內(nèi)外研究的熱點(diǎn)方向,該技術(shù)主要用于體育、音樂、舞蹈等運(yùn)動(dòng)形體化教學(xué);制作角色動(dòng)畫、3D人物的立體電影;人體運(yùn)動(dòng)形態(tài)識別、檢測及跟蹤監(jiān)控;醫(yī)學(xué)保健和無人駕駛;AR體育賽事運(yùn)動(dòng)追蹤以及輔助評分系統(tǒng)等很多領(lǐng)域。文章以人體運(yùn)動(dòng)形態(tài)估計(jì)為主題,對該技術(shù)的應(yīng)用和發(fā)展做一個(gè)綜述,供相關(guān)方向讀者了解。
關(guān)鍵詞:人體運(yùn)動(dòng)形態(tài);三維可視化;技術(shù)應(yīng)用和發(fā)展
中圖分類號:TP18? ? ? 文獻(xiàn)標(biāo)識碼:A
文章編號:1009-3044(2022)16-0003-05
1 前言
人體運(yùn)動(dòng)形態(tài)估計(jì)也稱人體運(yùn)動(dòng)形態(tài)三維可視化,是目前國內(nèi)外研究的熱點(diǎn)方向。其可以把二維圖像的人體運(yùn)動(dòng)形態(tài)進(jìn)行三維化展示,該技術(shù)主要用于體育、音樂舞蹈等運(yùn)動(dòng)三維形體化教學(xué)[1- 2];制作角色動(dòng)畫、3D人物的立體電影[3-5];醫(yī)療保健、無人駕駛、AR、智能評審輔助系統(tǒng);人體運(yùn)動(dòng)形態(tài)識別,檢測,跟蹤監(jiān)控[6- 7]等很多領(lǐng)域。該技術(shù)發(fā)展已經(jīng)有一段時(shí)間,國內(nèi)外許多學(xué)者都在研究,并且所研究的成果都能在各個(gè)領(lǐng)域成功運(yùn)用,發(fā)揮了關(guān)鍵作用。下面本文就運(yùn)動(dòng)形體化教學(xué)、角色動(dòng)畫制作、無人駕駛、智能評審輔助系統(tǒng)、人體運(yùn)動(dòng)跟蹤、運(yùn)動(dòng)形態(tài)識別與檢測監(jiān)控幾個(gè)方面技術(shù)發(fā)展和缺陷進(jìn)行綜述。
2 三維形體化教學(xué)
形體運(yùn)動(dòng)教學(xué)[1-2]是大多數(shù)教學(xué)機(jī)構(gòu)開設(shè)的必備課程,其涉及體育、音樂舞蹈的學(xué)習(xí),可以為參與教學(xué)的人提供一套立體的姿態(tài)進(jìn)行參考學(xué)習(xí)、矯正動(dòng)作。其可以在各個(gè)角度去查看正確的姿態(tài)動(dòng)作,并可以通過所錄視頻還原自己三維運(yùn)動(dòng)形態(tài)進(jìn)行對比,是形體運(yùn)動(dòng)教學(xué)良好的教學(xué)材料。國內(nèi)外目前形體運(yùn)動(dòng)三維可視化這類教學(xué)材料比較少,需要更穩(wěn)定技術(shù)進(jìn)行制作和開發(fā),該技術(shù)應(yīng)用如圖1所示。
形體運(yùn)動(dòng)的三維可視化的案例如圖1所示,其均為單視角人體運(yùn)動(dòng)形態(tài)的三維估計(jì)。該三維可視化效果比較真實(shí),其姿態(tài)表示清晰,可以供使用者參考標(biāo)準(zhǔn)姿態(tài),并且對照自己的訓(xùn)練姿態(tài)進(jìn)行矯正,在形體化教學(xué)上有巨大的促進(jìn)作用。教學(xué)3D可視化結(jié)合深度學(xué)習(xí)會取得比較理想的教學(xué)效果。
運(yùn)動(dòng)形態(tài)視頻三維可視化過程中的2D關(guān)鍵點(diǎn)檢測,對于高速運(yùn)動(dòng)圖像和模糊圖像要適當(dāng)?shù)靥幚?,保證2D關(guān)鍵點(diǎn)檢測的位置準(zhǔn)確,以此確保估計(jì)出的3D人體運(yùn)動(dòng)立體模型的準(zhǔn)確。目前,一些姿態(tài)檢測技術(shù)還要進(jìn)行不斷完善,才能還原出更準(zhǔn)確三維運(yùn)動(dòng)形態(tài)。
3 角色動(dòng)畫制作
制作角色動(dòng)畫及3D人的立體電影通常用于媒體發(fā)布、游戲開發(fā)。這類技術(shù)應(yīng)用很廣[3-5],比如騰訊視頻中的3D國漫,在國漫中人物打斗、人物一些運(yùn)動(dòng)姿態(tài)展、動(dòng)物角色場景合成現(xiàn)等都可以運(yùn)用本項(xiàng)目的技術(shù);還有一些大型游戲中游戲角色的模型設(shè)計(jì),角色的動(dòng)作設(shè)計(jì)及相關(guān)配套的連貫性姿態(tài)表示也可以用本項(xiàng)目的技術(shù),如圖2所示。目前,國內(nèi)外相關(guān)基礎(chǔ)研究還在進(jìn)行中,技術(shù)還存在很多地方需要提升,比如多人姿態(tài)估計(jì)、角色間的姿態(tài)交互設(shè)計(jì),以及姿態(tài)和語音匹配的設(shè)計(jì)等問題仍需進(jìn)一步解決。
圖2為形體運(yùn)動(dòng)可視化的3D角色模型生成的一些應(yīng)用。圖2(a)顯示單視角圖像進(jìn)行輪廓提取預(yù)處理,然后場景分割,再生成場景深度圖,利用深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型預(yù)測出3D角色模型,該模型可以在此基礎(chǔ)上進(jìn)行細(xì)節(jié)修改。圖2(b)顯示了3D角色模型可以用于場景融合,融入生活的場景中,該應(yīng)用用于電影制作和游戲過場動(dòng)畫制作也比較常見,較難拍攝的動(dòng)作姿態(tài)和場景都可以通過3D角色模型與視頻場景進(jìn)行融合。圖2(c)展示了所計(jì)算3D角色模型與相應(yīng)視角的匹配程度,如果模型在相應(yīng)視角的投影能和該視角的人物基本重合,就說明該模型大小與真實(shí)人物大小基本匹配,同時(shí)也說明了形體運(yùn)動(dòng)的三維可視化的真實(shí)性可以達(dá)到比較高的精確水平。
視頻或圖像三維可視化時(shí),如何實(shí)現(xiàn)多或單角色模型互動(dòng)的三維人體運(yùn)動(dòng)估計(jì),并且所生成人體運(yùn)動(dòng)立體模型(骨架)換算成3D角色模型細(xì)節(jié)的計(jì)算和生成方法需要得出,其中有身高、體重、皮膚、肢體粗細(xì)等細(xì)節(jié)計(jì)算和生成。3D角色模型如何自然地融入真實(shí)世界的視頻和場景,并且實(shí)現(xiàn)和場景的物品或環(huán)境進(jìn)行交互,比如打電話、丟垃圾等。該技術(shù)涉及的圖像預(yù)處理技術(shù)比較多,非常依賴于圖像預(yù)處理技術(shù)的好壞。
4 運(yùn)動(dòng)形態(tài)識別、檢測與監(jiān)控
形體運(yùn)動(dòng)的三維可視化可以很好地實(shí)現(xiàn)人體運(yùn)動(dòng)形態(tài)識別、檢測及跟蹤監(jiān)控[6-7],可以對人的一些設(shè)定的高危動(dòng)作進(jìn)行識別,并進(jìn)行實(shí)時(shí)監(jiān)控。比如乘坐地鐵或其他交通工具,站立乘客需要扶好車內(nèi)扶手欄桿,若乘客疏忽時(shí),可以語音提示乘客,此時(shí)姿態(tài)識別的應(yīng)用就派上用場,形體運(yùn)動(dòng)可視化就可以計(jì)算站立乘客的3D姿態(tài),判斷是否拉好扶好的姿態(tài)。部分檢測樣例如圖3所示。目前這個(gè)方向的研究,國內(nèi)外也還是在進(jìn)行,也是一個(gè)熱點(diǎn)方向,技術(shù)拓展也需要大幅度提升。同時(shí)也存在一些問題,比如,多人物的動(dòng)作識別和分類如何進(jìn)行建模。其可通過形體運(yùn)動(dòng)的三維可視化形成多個(gè)人體運(yùn)動(dòng)立體模型,并對多個(gè)立體模型的肢體位置進(jìn)行建模計(jì)算,做約束模型并實(shí)現(xiàn)最后分類,把分類結(jié)果輸出到原二維視頻。此外,姿態(tài)的多分類問題,姿態(tài)相互遮擋識別問題等都需要進(jìn)一步去解決。
從圖3可以看出,運(yùn)動(dòng)形態(tài)識別在運(yùn)動(dòng)形態(tài)三維可視化的基礎(chǔ)上進(jìn)行判斷,在還原出三維運(yùn)動(dòng)形態(tài)的同時(shí),進(jìn)行較完善的數(shù)學(xué)建模,根據(jù)數(shù)學(xué)模型判斷姿態(tài)的類型。
5 無人駕駛
無人駕駛同樣可以運(yùn)用到3D人體姿態(tài)估計(jì)技術(shù)[8],倘若車內(nèi)有人,可以根據(jù)人體的姿態(tài)判斷合理的車速和更加平緩的路線。如圖4 (a)所示,人在看書,前方有車輛,無人自動(dòng)駕駛系統(tǒng)會自動(dòng)降速并選擇安全路線,就可以在行駛時(shí)減少意外發(fā)生的可能。
隨著社會的發(fā)展進(jìn)步,智能汽車、無人駕駛技術(shù)逐漸成為近幾年汽車行業(yè)研究和發(fā)展的重點(diǎn),而行人檢測作為智能汽車外部環(huán)境感知中的核心技術(shù)之一,也一直是研究的熱點(diǎn)。人體三維姿態(tài)估計(jì)技術(shù)的實(shí)時(shí)性和高精確度性可有效提升無人駕駛汽車智能化水平。如圖4(b)所示能實(shí)時(shí)檢測到行人3D姿態(tài),并對人體姿態(tài)信息進(jìn)行快速判斷識別(如行人打車、揮手等典型動(dòng)作、交警指揮動(dòng)作等),則能有效提升無人駕駛汽車的智能化水平。運(yùn)用面向無人駕駛的交通行人三維姿態(tài)檢測和估計(jì)方法,可實(shí)現(xiàn)分層式優(yōu)化,實(shí)時(shí)計(jì)算求解行人的3D姿態(tài),可以達(dá)到實(shí)時(shí)準(zhǔn)確檢測行人的要求。
6 訓(xùn)練機(jī)器人
人體姿態(tài)估計(jì)技術(shù)亦可運(yùn)用到機(jī)器人的訓(xùn)練中,既可以給機(jī)器人提供大量的數(shù)據(jù)參考,也可以按照比例將動(dòng)作還原,讓機(jī)器人的自我學(xué)習(xí)速度大幅增加,也可根據(jù)數(shù)據(jù)去糾正錯(cuò)誤。在醫(yī)療保健領(lǐng)域,可以通過機(jī)器人實(shí)施康復(fù)訓(xùn)練。運(yùn)用傷患以往的姿態(tài)估計(jì)數(shù)據(jù),更快地配合機(jī)器人實(shí)施康復(fù)訓(xùn)練,讓傷患的恢復(fù)效果更好。
康復(fù)機(jī)器人目前是一個(gè)新興的研究領(lǐng)域,隨著社會老齡化和肢體殘疾患者康復(fù)意識的崛起,康復(fù)機(jī)器人產(chǎn)業(yè)越來越受到重視。通過康復(fù)機(jī)器人,患者可以進(jìn)行重復(fù)運(yùn)動(dòng),重新學(xué)會控制運(yùn)動(dòng)系統(tǒng)。此外,機(jī)器人可以幫助物理治療師進(jìn)行工作輔助,設(shè)定康復(fù)目標(biāo),將物理治療師從繁重的工作中解脫。
如圖5(a)所示,上肢康復(fù)機(jī)器人[9]和老年人互動(dòng)樣例,上肢運(yùn)動(dòng)功能障礙是腦卒中、創(chuàng)傷性腦損傷、脊髓損傷、多發(fā)性硬化癥的常見后遺癥,嚴(yán)重影響患者的日常生活能力。研究人員希望這種機(jī)器人系統(tǒng)能夠優(yōu)化患者大腦運(yùn)動(dòng)功能神經(jīng)的重塑,恢復(fù)大腦對上肢運(yùn)動(dòng)的有效控制,從而提高患者的日常生活能力。
下肢康復(fù)機(jī)器人的研發(fā),一直是國際康復(fù)醫(yī)學(xué)的難點(diǎn)、熱點(diǎn)和痛點(diǎn)。主要適應(yīng)于有腦卒中病人、脊髓損傷病人、高齡老人等引起下肢功能站立無力、肌肉萎縮、關(guān)節(jié)僵硬等癥狀??梢詭椭∪酥匦抡玖?、恢復(fù)行走的功能,很多國家都在探索這個(gè)領(lǐng)域。
康復(fù)機(jī)器人還配有顯示器,病人在使用機(jī)器人進(jìn)行鍛煉恢復(fù)時(shí),顯示器上會顯示騎馬、跑步、走路等游戲,通過游戲建立的虛擬場景,能幫助病人激活腦部重塑,幫助他們更好地康復(fù)。圖5(b)所示為下肢康復(fù)機(jī)器人訓(xùn)練樣例。
隨著人類衰老,人形機(jī)器人將會在中風(fēng)和癡呆等老年病的治療中越來越普遍地應(yīng)用。而人形機(jī)器人中社交輔助機(jī)器人的使用案例較多。不久的將來,社交輔助機(jī)器人能夠幫助嚴(yán)重功能障礙患者提高生存率,對患者進(jìn)行更細(xì)致地照顧。機(jī)器人將成為病人康復(fù)中的伴侶,鼓勵(lì)患者完成康復(fù)訓(xùn)練,并詳細(xì)記錄康復(fù)數(shù)據(jù)。
7 體育競賽評審輔助系統(tǒng)
人體運(yùn)動(dòng)形態(tài)三維可視化可用于體育競賽評審輔助系統(tǒng)[10],如圖5(a)所示上肢康復(fù)機(jī)器人,該評分系統(tǒng)可通過向選手的身體及其周邊投射紅外線,完成動(dòng)作追蹤,AI技術(shù)根據(jù)動(dòng)作的三維立體圖像進(jìn)行分析,結(jié)合歷史表演數(shù)據(jù),按照打分標(biāo)準(zhǔn)判斷該技術(shù)的完成度。裁判在此類技術(shù)的協(xié)助下,可以提供更加準(zhǔn)確的分?jǐn)?shù)。不僅如此,AI評分系統(tǒng)還可捕捉運(yùn)動(dòng)員的瞬間動(dòng)作和身體扭轉(zhuǎn)角度(三維立體圖像舉例),并清晰展現(xiàn)給觀眾,讓觀眾通過畫面了解更多的比賽細(xì)節(jié),提高比賽的娛樂性。在系統(tǒng)功能實(shí)現(xiàn)的過程中,可以依靠深度特征和骨骼關(guān)節(jié)數(shù)據(jù)實(shí)現(xiàn)特征數(shù)據(jù)提取,然后利用傅里葉算法完成特征融合和動(dòng)作分類識別。從系統(tǒng)功能測試結(jié)果來看,能夠用于準(zhǔn)確識別各組難度動(dòng)作,滿足競賽評審輔助需求。
體操競技的動(dòng)作華麗炫目、動(dòng)態(tài)感十足,且技術(shù)難度大,對于裁判而言,評分也愈發(fā)困難,歷屆奧運(yùn)會上質(zhì)疑裁判員評分不公的情況多有發(fā)生。為了讓賽事評分更加公正,此次東京奧運(yùn)會在體操項(xiàng)目上引進(jìn)了由日本富士通公司開發(fā)的AI評分輔助系統(tǒng),在本屆東京奧運(yùn)會運(yùn)動(dòng)員的最終得分,就是結(jié)合AI和裁判的判斷,再經(jīng)裁判綜合判斷后,最終打出的分?jǐn)?shù)。總而言之用AI技術(shù)協(xié)助評判,可以大大降低判罰不公之類的情況。一些關(guān)于AI評分系統(tǒng)的應(yīng)用如圖6所示。
綜上所述,開發(fā)的體育競賽評審輔助系統(tǒng)能夠幫助人員從繁重的評審處理工作中解脫出來,在節(jié)省賽事管理人力、物力的同時(shí),保證比賽結(jié)果公平、公正。實(shí)際在系統(tǒng)開發(fā)與實(shí)現(xiàn)過程中,需要加強(qiáng)計(jì)算機(jī)智能算法應(yīng)用,通過與標(biāo)準(zhǔn)動(dòng)作比較,完成運(yùn)動(dòng)員3D動(dòng)作識別,輔助人員合規(guī)開展評審工作,繼而使競賽評審技術(shù)水平得到有效提升。
8 運(yùn)動(dòng)員追蹤功能
人體運(yùn)動(dòng)三維可視化技術(shù)被應(yīng)用在英特爾開發(fā)的3DAT(3D Athlete Tracking,3D運(yùn)動(dòng)員追蹤)技術(shù),該技術(shù)可通過攝像機(jī)捕捉和AI智能算法把計(jì)算機(jī)視覺和AI技術(shù)結(jié)合在了一起,再結(jié)合阿里巴巴的云計(jì)算技術(shù),構(gòu)建3D網(wǎng)格并捕捉運(yùn)動(dòng)員的多個(gè)關(guān)鍵骨骼點(diǎn),并在幾秒鐘內(nèi)提供運(yùn)動(dòng)員速度、身體角度、加速度、步長等方面的數(shù)據(jù),實(shí)現(xiàn)對運(yùn)動(dòng)員3D形態(tài)的數(shù)據(jù)提取,這是過去運(yùn)動(dòng)員和教練員用肉眼無法捕捉到的信息。
因此在平時(shí)訓(xùn)練中,3D運(yùn)動(dòng)員跟蹤技術(shù)可以作為運(yùn)動(dòng)員的“隱形教練”,借助3DAT技術(shù),記錄運(yùn)動(dòng)員的歷史數(shù)據(jù)還能夠?qū)崿F(xiàn)對訓(xùn)練趨勢的追溯,在精準(zhǔn)分析運(yùn)動(dòng)姿態(tài)、聚合運(yùn)動(dòng)數(shù)據(jù)的基礎(chǔ)上,教練員可以整理并提出科學(xué)訓(xùn)練計(jì)劃和專家策略,有效提升訓(xùn)練效率,可以極大地幫助運(yùn)動(dòng)員通過更科學(xué)的手段實(shí)現(xiàn)運(yùn)動(dòng)表現(xiàn)的突破。
在2021東京奧運(yùn)會的田徑賽場上首次出現(xiàn)的“3D運(yùn)動(dòng)員跟蹤技術(shù)”,成為賽事轉(zhuǎn)播的新亮點(diǎn)。例如在田徑短跑項(xiàng)目中,通過3DAT技術(shù)觀眾可以看到每個(gè)運(yùn)動(dòng)員的實(shí)時(shí)奔跑速度,并在即時(shí)回放中對比賽亮點(diǎn)進(jìn)行分析、解讀和復(fù)核,能為奧運(yùn)會觀眾帶來全新的體驗(yàn)。該技術(shù)的一些應(yīng)用如圖7所示。
9 結(jié)束語
人體運(yùn)動(dòng)形態(tài)估計(jì)技術(shù)是一項(xiàng)比較前沿的技術(shù),計(jì)算機(jī)視覺熱點(diǎn)的研究技術(shù),也是人工智能發(fā)展的關(guān)鍵技術(shù)之一。人體運(yùn)動(dòng)形態(tài)估計(jì)技術(shù)涉及的應(yīng)用遠(yuǎn)遠(yuǎn)不止本文提及的幾個(gè)方面,其還涉及遙控遙感技術(shù)、AR人機(jī)交互和罪犯追蹤等研究領(lǐng)域,是一項(xiàng)應(yīng)該廣泛的核心技術(shù)。人體運(yùn)動(dòng)形態(tài)估計(jì)的研究目前仍然在繼續(xù)中,只要不斷完善該項(xiàng)技術(shù),就能使得計(jì)算機(jī)視覺乃至人工智能領(lǐng)域有本質(zhì)上的突破。該項(xiàng)技術(shù)的研究還依賴于計(jì)算機(jī)硬盤的配置,必須配置高端性能的計(jì)算機(jī)才能很好地完成計(jì)算任務(wù)??傮w來說,該技術(shù)是一項(xiàng)值得重點(diǎn)發(fā)展的技術(shù)。
參考文獻(xiàn):
[1] Zhen J N,F(xiàn)ang Q,Sun J M,et al.SMAP: Single-Shot Multi-person Absolute 3D Pose Estimation[C].Proceedings of the ECCV 2020, Glasgow, United kingdom, Springer Science and Business Media Deutschland GmbH,2020:550-566.
[2] Benzine A,Luvison B,Pham Q C,et al.Single-shot 3D multi-person pose estimation in complex images[J].Pattern Recognition,2021,112:107534.
[3] Ionescu C,Papava D,Olaru V,et al.Human3.6M:large scale datasets and predictive methods for 3D human sensing in natural environments[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(7):1325-1339.
[4] Pe?a-Tapia E,Hachiuma R,Pasquali A,et al.LCR-SMPL:toward real-time human detection and 3D reconstruction from a single RGB image[C]// Recife,Brazil:2020 IEEE International Symposium on Mixed and Augmented Reality Adjunct. IEEE,2020:211-212.
[5] Bogo F, Kanazawa A, Christoph Lassner, Gehler P, et al. Black. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image[C]. Scottsdale,AZ,United States:Proceedings of the 21st ACM Conference on Computer and Communications Security, CCS 2014.Springer Verlag, 2016: 561-578.
[6] Bagautdinov T,Alahi A,F(xiàn)leuret F,et al.Social scene understanding:end-to-end multi-person action localization and collective activity recognition[C]// Honolulu,HI,USA:2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE,2017:3425-3434.
[7] Zhu K J,Wang R X,Cheng J,et al.A novel skeleton-based action recognition method via cuboid rearranging[C]// Wuyishan,China:2018 IEEE International Conference on Information and Automation.IEEE,2018:286-292.
[8] 徐彬,鄭燕萍,曹高興.面向無人駕駛的行人三維姿態(tài)估計(jì)方法[J].科學(xué)技術(shù)與工程,2018,18(34):85-91.
[9] 吳炳堅(jiān).基于互聯(lián)網(wǎng)的上肢康復(fù)機(jī)器人[J].機(jī)械制造,2021,59(7):6-10.
[10] 尹霞.基于計(jì)算機(jī)智能算法下的體育競賽評審輔助系統(tǒng)開發(fā)與實(shí)現(xiàn)研究[J].現(xiàn)代科學(xué)儀器,2020(1):50-53.
【通聯(lián)編輯:唐一東】