具有自主感知行為的虛擬人運(yùn)動控制技術(shù)研究綜述

何長鵬+羅鴻斌+張燕

摘要：由于人體結(jié)構(gòu)及其運(yùn)動的復(fù)雜性，導(dǎo)致在虛擬人形象化建模、運(yùn)動控制方面存在諸多困難和挑戰(zhàn)。本文通過對相關(guān)研究工作進(jìn)行歸納總結(jié)，指出了在形象化人體建模方面存在的問題，并給出了解決這些問題的關(guān)鍵技術(shù)和方法；在運(yùn)動控制技術(shù)方面，將傳統(tǒng)的方法與最新的方法對比分析，重點(diǎn)分析了如何建立自主虛擬人感知模型，實(shí)現(xiàn)自主虛擬人行為控制和決策，使虛擬人具有“自我意識”。

關(guān)鍵詞：虛擬人；形象化；運(yùn)動控制；感知模型

中圖分類號 TP391.41 文獻(xiàn)標(biāo)識碼 A 文章編號：1009-3044（2016）27-0147-03

虛擬人（Avatar）是人類自身在虛擬空間中的化身[1]。在人機(jī)交互研究領(lǐng)域內(nèi)，研究者往往會考慮到虛擬人、虛擬人環(huán)境和終端用戶這三者之間的交互作用，通過在虛擬空間中建立各種形象化的虛擬人模型，并借助可視化的虛擬人集合外觀、動作姿態(tài)變化，來反應(yīng)用戶的行為和表情特征，從而達(dá)到增強(qiáng)用戶交流的效果和沉浸感[2]。隨著人工智能技術(shù)和多媒體技術(shù)的發(fā)展，虛擬人技術(shù)的研究更趨向于智能化和多樣化，人們將現(xiàn)實(shí)生活中的一些娛樂活動搬到了虛擬空間當(dāng)中，例如虛擬舞臺的出現(xiàn)，通過建立虛擬場景，讓虛擬人來演繹音樂與舞蹈的內(nèi)在聯(lián)系。在建立虛擬場景以后，讓虛擬人通過邏輯推理與學(xué)習(xí)，形成自身對虛擬環(huán)境的認(rèn)識，使虛擬人具有“自我意識”，并將用戶意圖解釋為具體任務(wù)。如何構(gòu)建個性化的虛擬人，實(shí)現(xiàn)具有自主感知行為的虛擬人運(yùn)動控制，是虛擬人研究領(lǐng)域內(nèi)所關(guān)注的焦點(diǎn)。

本文首先介紹虛擬人體建模方面的研究工作，就虛擬人形象化建模存在的問題，給出具體的關(guān)鍵技術(shù)和方法；然后，對傳統(tǒng)的運(yùn)動控制技術(shù)和方法加以歸納總結(jié)，并分析了自主感知行為的運(yùn)動捕獲數(shù)據(jù)驅(qū)動方法；最后，就自主感知行為虛擬人運(yùn)動控制研究方面的存在的難點(diǎn)以及未來研究的方向，給出一些自己的想法。

1人體建模方法研究

人體是一個復(fù)雜的生命體系統(tǒng)，由骨骼、皮膚、肌肉和神經(jīng)系統(tǒng)等組成，其中關(guān)節(jié)和骨骼的自由度較多。目前，人體建模面臨兩方面的問題：一是虛擬人骨骼結(jié)構(gòu)的簡化及數(shù)學(xué)表達(dá)；二是建立逼真的外形，這是兩個相互依賴的問題[1]。虛擬人的運(yùn)動控制大部分是基于骨骼模型，也稱之為骨骼動畫。由于肌肉和神經(jīng)系統(tǒng)的建立存在著很大的困難，研究的難度巨大，所以骨骼模型忽略了肌肉和神經(jīng)系統(tǒng)。依據(jù)人體解剖學(xué)原理，人們制定了兩個重要的國際標(biāo)準(zhǔn)H-Anim和MPEG-4來表示虛擬人骨骼結(jié)構(gòu)[3]，主要是將人體的骨骼和關(guān)節(jié)進(jìn)行簡化，減少其自由度，這樣可以降低建模的難度。人體建模的方法主要有基于幾何的方法、基于二維照片重構(gòu)方法和基于人體測量學(xué)的方法等[4。

（1） 基于幾何建模技術(shù)研究較多，常常采用棒狀型、體模型和表面模型（如圖1所示）。虛擬人幾何建模主要是使用三維造型軟件，如Poser、3dsMax、Maya等來構(gòu)建人體模型。針對 Poser 軟件輸出的人體模型缺乏關(guān)節(jié)點(diǎn)數(shù)據(jù)問題，文獻(xiàn)[7]提出一種基于模型的快速人體建模方法。給出一種骨架提取算法。此方法從Poser輸出的人體模型中提取出其骨架以后，將骨架層與皮膚層綁定，應(yīng)用運(yùn)動學(xué)方法使得骨骼驅(qū)動皮膚變形。依據(jù)H-Anim標(biāo)準(zhǔn)建立分層的骨骼模型，通過設(shè)置所有關(guān)節(jié)的自由度（DOF），采用三角網(wǎng)格方法來仿真皮膚層。

（2） 基于二維圖片重構(gòu)方法，采用數(shù)字圖像處理的方法，提取二維圖片中人體的特征點(diǎn)和參數(shù)，來重構(gòu)三維人體模型。李毅等人[6]針對輸入的草圖，提出一種通過草繪三維人體建模的模板形變方法。將草圖特征映射到三維人體模板，實(shí)現(xiàn)個性化的三維人體建模。有文獻(xiàn)提出了一種基于視頻的人體骨架建模新方法，通過提取視頻序列中人體骨架的特征，建立透視投影下的三維人體骨架模型，然后通過蒙皮來建立虛擬人皮膚模型。

（3） 基于人體測量學(xué)的方法，主要是借助一些三維掃描儀，依據(jù)人體測量學(xué)的原理，來構(gòu)建三維人體模型。文獻(xiàn)[7]提出一種采用 Kinect 掃描人體重建個性化人體模型方法，此方法的主要目的是用來解決三維試衣系統(tǒng)中人體建模方法難于建立大量個性化的三維人體模型的問題。通過掃描獲得各種不同類型人體的測量數(shù)據(jù)，可以迅速構(gòu)建參數(shù)化的人體模型，實(shí)現(xiàn)個性化、多樣化的逼真虛擬人模型。

以上三種人體建模方法，存在的主要問題就是建立的虛擬人模型，只有單一的骨骼層或皮膚層，即便已經(jīng)將二者關(guān)聯(lián)起來，即將骨骼層和皮膚層綁定，通過骨骼層驅(qū)動皮膚層變形。但是在虛擬人運(yùn)動過程中，存在皮膚層的塌陷、斷裂等問題，研究者往往忽略了這些問題，未來研究的主要方向就是如何有效的解決上述問題，建立肌肉層模型，實(shí)現(xiàn)逼真的虛擬人外形。

2 虛擬人運(yùn)動控制技術(shù)的相關(guān)方法

虛擬人運(yùn)動控制一直是虛擬人研究領(lǐng)域的關(guān)鍵技術(shù)之一。早期的虛擬人運(yùn)動控制，主要是通過數(shù)值計(jì)算方式控制虛擬人運(yùn)動。近期國內(nèi)外出現(xiàn)了大量有關(guān)虛擬人應(yīng)用軟件，最顯著的特點(diǎn)就對運(yùn)動控制的效率以及實(shí)時性有了很高的要求，研究者關(guān)注的焦點(diǎn)是如何將人工智能技術(shù)與運(yùn)動控制技術(shù)結(jié)合在一起，實(shí)現(xiàn)“自主”虛擬人。在自主虛擬人行為感知系統(tǒng)當(dāng)中，虛擬人根據(jù)行為決策系統(tǒng)輸出的決策結(jié)果，依靠運(yùn)動控制系統(tǒng)，執(zhí)行相應(yīng)行為動作，例如前往某個地方、閑逛、攻擊目標(biāo)、逃避危險等[15]。

2.1 傳統(tǒng)的運(yùn)動控制技術(shù)

在虛擬人研究領(lǐng)域，傳統(tǒng)的運(yùn)動控制技術(shù)主要有基于關(guān)鍵幀的方法、基于物理控制方法、基于動力學(xué)方法、基于運(yùn)動學(xué)的方法等。

1）關(guān)鍵幀方法。

2）物理控制的方法。

3）運(yùn)動學(xué)方法。

4）動力學(xué)方法。

5）視頻數(shù)據(jù)驅(qū)動的方法。

2.2 基于運(yùn)動捕獲數(shù)據(jù)的控制方法

人體運(yùn)動捕獲數(shù)據(jù)是直接記錄人體的運(yùn)動數(shù)據(jù)并將其用于生成計(jì)算機(jī)動畫 ，因其視覺真實(shí)感、富有表現(xiàn)力等優(yōu)勢，越來越多地被應(yīng)用于動畫、電影制作以及游戲等產(chǎn)業(yè)中。利用傳感設(shè)備捕獲人體運(yùn)動數(shù)據(jù)，捕獲到的運(yùn)動數(shù)據(jù)描述了骨架的結(jié)構(gòu)以及在各個時間點(diǎn)的運(yùn)動參數(shù)，它可以視為一個時變函數(shù)[10]，給定時間參數(shù)，可以確定該時刻人體各關(guān)節(jié)的狀態(tài)信息。由于捕獲的數(shù)據(jù)存在一定的冗余，為了驅(qū)動虛擬人在三維虛擬空間中更流暢運(yùn)動，需要對捕獲的運(yùn)動數(shù)據(jù)預(yù)處理，提取一些關(guān)鍵幀數(shù)據(jù)11]，將關(guān)鍵幀數(shù)據(jù)與人體模型進(jìn)行映射。

對于精度較高的捕獲設(shè)備，得到的運(yùn)動數(shù)據(jù)準(zhǔn)確度高，能充分體現(xiàn)出運(yùn)動的細(xì)節(jié)。文獻(xiàn)[12]中作者將捕獲的動作文件進(jìn)行編輯，來合成逼真的虛擬人運(yùn)動。文獻(xiàn)[13]中采用實(shí)時的動作捕獲技術(shù)，在虛擬舞臺上進(jìn)行現(xiàn)場戲劇表演，實(shí)現(xiàn)了仿真人體的舞蹈動畫。這是將傳統(tǒng)的藝術(shù)表演形式搬移到了虛擬空間，是藝術(shù)領(lǐng)域內(nèi)一次技術(shù)革新，引起越來越多研究者們對這種新的藝術(shù)表達(dá)方式的關(guān)注。文獻(xiàn)[14]提出一種“模板化”的運(yùn)動控制方法，主要是將捕獲的運(yùn)動數(shù)據(jù)，根據(jù)稀疏主成分分析方法、Group lasso以及 Exclusive group lasso三者結(jié)合起來，找到每一種運(yùn)動內(nèi)在的具有語義特征的自由度，并將其包裝成模板化的運(yùn)動參數(shù)留給用戶，用戶便可根據(jù)該參數(shù)的語義描述，直觀地進(jìn)行實(shí)時的模板化運(yùn)動合成和控制。

上述方法各有優(yōu)缺點(diǎn)，基于運(yùn)動捕獲的方法，雖然可以提高運(yùn)動控制的效率和實(shí)時性，但是其無法適應(yīng)虛擬環(huán)境的變化，運(yùn)動顯得死板僵硬的缺點(diǎn)也很明顯；基于物理控制的實(shí)時計(jì)算方法，雖然可以使虛擬人運(yùn)動顯得真實(shí)，但是計(jì)算復(fù)雜、占用資源的缺點(diǎn)也限制了應(yīng)用的范圍。因此，可以采用多種方法綜合的途徑進(jìn)行，糅合每一種方法的優(yōu)點(diǎn)，這樣能極大地提高虛擬人運(yùn)動控制的實(shí)時性。

3 自主感知行為的運(yùn)動捕獲數(shù)據(jù)驅(qū)動方法

前面所述的內(nèi)容，研究者關(guān)注的焦點(diǎn)是虛擬人運(yùn)動的逼真性與實(shí)時性，根本上忽略了虛擬人與虛擬環(huán)境之間的交互性?？紤]到虛擬人與虛擬環(huán)境之間的交互作用，研究者提出通過建立自主感知模型APM，Autonomous Perception Model），使虛擬人實(shí)現(xiàn)自主行為控制。自主感知模型是自主虛擬人理解周圍環(huán)境、進(jìn)行自主行為控制以及決策的基礎(chǔ)，其主要目標(biāo)是通過不斷地監(jiān)測虛擬環(huán)境的變化，為行為控制模型提供必要的信息。

3.1 感知模型

通過建立感知模型來模擬虛擬人對虛擬環(huán)境感知限制，主要由視覺、聽覺和觸覺過濾器組成。視覺過濾器的原理是采用計(jì)算機(jī)視覺計(jì)算的方法計(jì)算出虛擬環(huán)境中各個對象與人眼之間的相對距離，根據(jù)設(shè)定的虛擬人所觀察的范圍，判斷某個對象是否在虛擬人視野范圍之內(nèi)。為了提高感知模型檢測的準(zhǔn)確性，可以采用經(jīng)典的可見性計(jì)算方法分別求解虛擬人到包圍盒8個頂點(diǎn)的視線與其他物體包圍盒矩形是否有交點(diǎn)來判定空間的遮擋關(guān)系，包圍盒的選取要求光線與包圍盒的求交測試盡可能的簡單。將得到的對象信息與虛擬人直接關(guān)聯(lián)，植入能否被感知的狀態(tài)值，設(shè)置虛擬人對物體的感知權(quán)限。聽覺和觸覺過濾器主要作為視覺過濾器的補(bǔ)充，擴(kuò)大虛擬人的感知范圍。

3.2 行為決策模型

決策網(wǎng)絡(luò)是一種表達(dá)解決決策問題的有向無環(huán)圖。有文獻(xiàn)中使用GeNie&Smile決策網(wǎng)絡(luò)包編程實(shí)現(xiàn)虛擬人行為決策模型。作者在行為決策模型設(shè)計(jì)中，將決策網(wǎng)絡(luò)劃分為頂級網(wǎng)絡(luò)、一級子網(wǎng)絡(luò)和以下各級子網(wǎng)絡(luò)組成。一級子網(wǎng)絡(luò)包括熟識行為網(wǎng)路、攻擊響應(yīng)網(wǎng)絡(luò)、呼救響應(yīng)網(wǎng)絡(luò)以及補(bǔ)充能量行為網(wǎng)絡(luò)。

3.3 運(yùn)動控制模型

虛擬人根據(jù)行為決策系統(tǒng)輸出的決策結(jié)果，依靠運(yùn)動控制系統(tǒng)，執(zhí)行相應(yīng)行為動作。在高層控制中，通過設(shè)計(jì)路徑規(guī)劃器，根據(jù)目標(biāo)地點(diǎn)，生成虛擬人的運(yùn)動路徑軌跡。路徑規(guī)劃器采用A*算法進(jìn)行路徑搜索。通過使用碰撞檢測，可在運(yùn)動控制物理層上檢測出虛擬人之間及與虛擬環(huán)境景物之間發(fā)生的碰撞，并進(jìn)行相應(yīng)的碰撞反應(yīng)處理[8]。

4 總結(jié)與展望

由于人體結(jié)構(gòu)及其運(yùn)動的復(fù)雜性，導(dǎo)致在虛擬人形象化建模、運(yùn)動控制方面存在諸多困難和挑戰(zhàn)。本文在閱讀大量文獻(xiàn)的基礎(chǔ)上，通過分析總結(jié)了具有自主感知行為的虛擬人運(yùn)動控制的方法。在形象化虛擬人建模方面，針對建立的虛擬人體模型缺乏逼真度等問題，將相關(guān)研究成果進(jìn)行概括總結(jié)，分析了虛擬人體建模的關(guān)鍵技術(shù)和方法。在運(yùn)動控制技術(shù)方面，將傳統(tǒng)的方法與最新的方法對比總結(jié)，重點(diǎn)介紹如何建立自主虛擬人感知模型，實(shí)現(xiàn)自主虛擬人行為控制和決策，使虛擬人具有“自我意識”。 如前文所述，由于人體自身的復(fù)雜性，自主感知行為的虛擬人運(yùn)動控制技術(shù)還存在著一些問題有待于解決。

參考文獻(xiàn)：

[1] 何長鵬，侯進(jìn)，王獻(xiàn).基于骨骼的三維虛擬人運(yùn)動合成方法研究[J].計(jì)算機(jī)工程與科學(xué)，2014，36（4）：737-740.

[2] J. Hou， F. Xu， L. Wu， and H. H. Mi. Avatar-based human communication： a review[J].International Journal of Modelling and Simulation，2012，32（4）：273-278.

[3] 夏時洪，王兆其.虛擬人合成研究進(jìn)展[J].中國科學(xué)F輯：信息科學(xué)，2009，39（5）：483-498.

[4] O. Schreer，R.Englert，P.Eisert，and R.Tanger.Real-time vision and speech driven avatars for multimedia applications[J].IEEE Trans. Multimedia， 2008，10（3）：352-360.

[5] 呂治國，李焱，賀漢根.基于Poser 模型的三維人體建模方法[J].計(jì)算機(jī)工程，2008，34（13）：256-261.

[6] 李毅，劉興川，孫亭.草繪3維人體建模的模板形變方法[J].中國圖象圖形學(xué)報(bào)，2015，20（6）：0828-0835.

[7] 姚礪，李奧瓊，王慧潔.個性化人體特征曲線驅(qū)動的三維服裝變形[J].計(jì)算機(jī)仿真，2015，32（7）：426-432.

[8] 劉渭濱，周亮，邢薇薇，等.自主虛擬人真實(shí)感行為與運(yùn)動建模的研究[J].北京理工大學(xué)學(xué)報(bào)，2010，30（10）：1189-1193.

[9] J.L.Ren，Z.B.Zheng， Z.M.Jiao.Simulation of virtual human running based on inverse kinematics[C].//in Proc. 2nd Int. Conf. Education Technology and Computer， Shanghai， China， Jun.2010：360-363.

[10] S.L.Li，J.H.Liang，B.Wu，and L.Chen，etc.Dynamic motion editing by combining an extension of the prioritized inverse kinematics with active dynamic control[C].//in Proc. IEEE Int.Conf.Mechatronics and Automation，Changchun， China，Aug.2009：4067-4074.

[11] F. Multon，R.Kulpa，L.Hoyet，and T. Komura.Interactive animation of virtual humans based on motion capture data[J].Computer Animation and Virual Vorlds，2009，20（5）：491-500.

[12] C.E.Colvin，J.H. Babcock，J.H.Forrest，C.M.Stuart，M.J.Tonnemacher，and W.S.Wang.Multiple user motion capture and systems engineering[C].//in Proc. IEEE Systems and Information Engineering Design Symposium，Charlottesville， VS，USA，Apr.2011：137-140.

[13] C.TAY and R. Green. Human motion capture and representation[C].//in Proc. 24th Int. Conf. Image and Vision Computing， Wellington，New Zealand，Nov，2009：209-214.

[14] J.Geigel and M. Schweppe. Motion capture for real-time control of virtual actors in live， distributed， theatrical performances[C].//in Proc.IEEE Int. Conf. Automatic Face & Gesture Recognition and Workshops， Santa Barbara， CA， Mar. 2011：774-779.

[15] 夏貴羽，孫懷江.模板化的人體運(yùn)動合成[J].自動化學(xué)報(bào)，2015，41（4）：758-771.

[16] W. Meng，W.B.Guo，and C. M. Zhu. Motion fusion technique based on characteristics of human motion[J]. Journal of Computer Applications，2011，3（1）：42-44.

[17] 羅陸鋒，鄒湘軍，張叢，謝雷.基于實(shí)時數(shù)據(jù)的角色運(yùn)動建模與仿真[J].系統(tǒng)仿真學(xué)報(bào)，2015，27（4）：677-681.