基于U3D的人物重定位技術(shù)

趙崇博 邢世林 馮奕銘 甄潤佳 郭慶

摘? 要：虛擬維修在航空培訓(xùn)領(lǐng)域被廣泛應(yīng)用，隨之出現(xiàn)了某單一設(shè)備弊端突出等問題。虛擬維修重定位技術(shù)的研究是為了解決虛擬維修系統(tǒng)在實際應(yīng)用中存在的人體模型飄移，靈敏度低，人體動作存在時延等問題所導(dǎo)致的低浸入感的弊端。本次研究將通過結(jié)合光學(xué)動作捕捉系統(tǒng)和慣性動作捕捉系統(tǒng)兩種不同的動作捕捉技術(shù)，同時利用光學(xué)高位置定位精度及慣性高轉(zhuǎn)角測量精度的特點，生成系統(tǒng)而全面可行的低成本、高可靠性多系統(tǒng)融合的混合式解決方案。最終，建立一個虛擬維修場景加以驗證。

關(guān)鍵詞：虛擬現(xiàn)實? 慣性傳感器? 運動重定向? 動作捕捉

中圖分類號：TP317 ? ? ? ? ? 文獻標識碼：A 文章編號：1674-098X（2020）07（c）-0004-03

Abstract： Virtual maintenance is widely used in the field of aviation training. The research of virtual maintenance repositioning technology is to solve the disadvantages of low immersion caused by drifting， low sensitivity and delay of human body movement in the practical application of virtual maintenance system. This research will combine the two different motion capture technologies of optical motion capture system and inertial motion capture system， and at the same time make use of the characteristics of optical high position positioning accuracy and inertial high angle measurement accuracy to generate a comprehensive and feasible hybrid solution with low cost and high reliability of multi-system fusion. Finally， a virtual maintenance scenario is established for verification.

Key Words： Virtual reality;Inertial sensor;Motion redirection;Motion capture

虛擬現(xiàn)實技術(shù) （VR技術(shù)） 是模擬人在自然環(huán)境中的視、聽、觸等人類感官，將現(xiàn)實中的各類感覺高度還原。目前，作為體感交互主流的慣捕系統(tǒng)（下文簡稱“慣捕”），基于人體工程學(xué)各部位的六自由度信息捕獲，實時展現(xiàn)人體運動姿態(tài)。此系統(tǒng)不易受外部環(huán)境影響，性價比高，但飄移誤差較大，靈敏度低。而VR技術(shù)主要應(yīng)用的光捕系統(tǒng)（下文簡稱“光捕”）在靈敏度，漂移誤差，動作時延等方面都要優(yōu)于慣捕系統(tǒng)，但也存在易受場地環(huán)境影響的問題。此次研究將兩項技術(shù)結(jié)合使用，實現(xiàn)更好的VR浸入式體驗。

1? 實驗系統(tǒng)總體框架

VR技術(shù)綜合了多種先進的技術(shù)，能夠為人們創(chuàng)造一個仿真的虛擬環(huán)境， 帶給使用者高度的真實感和沉浸感[1-2]。本系統(tǒng)采用3dsMAX為虛擬場景和三維模型的建模工具，以Unity3D虛擬仿真軟件作為虛擬現(xiàn)實開發(fā)引擎，Perception Neuron體感設(shè)備作為捕捉用戶動作信息的采集器，Microsoft Visual Studio2018為程序開發(fā)整合平臺，HTC vive作為用戶浸入體驗窗口和用戶頭部轉(zhuǎn)角信息采集器，開發(fā)了基于U3D的人物重定位虛擬仿真系統(tǒng)。通過建模、虛擬環(huán)境建模、動捕數(shù)據(jù)與虛擬人物骨骼的綁定、光捕對慣捕的綁定和算法優(yōu)化4個階段完成[3]。有效避免光捕受信號遮擋造成數(shù)據(jù)間斷以及運動捕捉系統(tǒng)在實時驅(qū)動過程中受到外界干擾會產(chǎn)生噪聲數(shù)據(jù)所帶來的影響[4]。

2? 虛擬現(xiàn)實中人物重定位的三維建模

2.1 人物建模

在3dsMAX三維建模軟件中進行對人物模型的構(gòu)建，為虛擬維修場景提供代替操作者的角色。相比于Perception Neuron工程包本身自帶的機器人，更具有真實性。構(gòu)建多邊形立體或多邊形平面，通過指令調(diào)節(jié)物體形狀以及比例關(guān)系。在接近人體形狀的條件下，盡量做到模型線條的均勻，減少分叉。為后期骨骼的綁定以及模型的渲染做準備。

2.2 虛擬人物模型的骨骼建模及綁定

在3dsMAX軟件的控制面板中創(chuàng)建基本人物骨架，然后調(diào)整骨架的比例關(guān)系使其更加接近人體骨架。比較Neuron的骨骼結(jié)構(gòu)，在控制面板中對身體各個結(jié)構(gòu)的關(guān)節(jié)數(shù)進行增刪，使其與Neuron動捕數(shù)據(jù)相匹配。然后進行蒙皮操作，通過調(diào)整骨架的大小，反復(fù)操作確保其各個關(guān)節(jié)完全匹配。

2.3 維修廠虛擬場景的三維建模

基于Unity3D的游戲開發(fā)平臺，并以自身對于民用航空發(fā)動機工程的認識為基礎(chǔ)，仿造cfm56-7發(fā)動機，利用CATIA三維建模軟件構(gòu)建航空發(fā)動機模型。并給予其合適的貼圖、渲染以及比例關(guān)系，從而提高發(fā)動機模型整體的逼真度。利用3dsMAX三維建模軟件對廠房以及飛機駕駛艙進行構(gòu)建。注意模型的類型應(yīng)與Unity3D兼容。按照實際大修廠房內(nèi)部的布局，將模型（如大修廠房、飛機、維修工具箱、梯子、貨架等）導(dǎo)入Unity3D工程的場景中進行擺放。

3? 光捕校準慣捕的具體實施方案

3.1 原理及優(yōu)缺點

HTC光捕定位原理：

由兩個形成對角的定位基站，其中每個基站中都有可以繞兩個軸旋轉(zhuǎn)的紅外發(fā)射器陣列，兩個轉(zhuǎn)軸以10ms的相位差交替工作，發(fā)射紅外線掃描空間。HTC光捕頭盔和定位器中有大量的紅外線接收器?；鹃W光后重置所有設(shè)備的時間，通過設(shè)備中各個紅外線接收器接受信號的時間來解算位置信息。

光捕定位的優(yōu)點是解算效率高，由于紅外發(fā)射器激光掃描空間周期很短，所以誤差很小。缺點是需要使用空間比較空曠，如果障礙物多，會影響光信號傳播，則需加裝多個基站。

慣捕定位原理：

慣捕設(shè)備利用的是慣性陀螺儀的原理，各根節(jié)點分別直接測取轉(zhuǎn)角（rotation）信息，根據(jù)轉(zhuǎn)角變化率 得到加速度，進而積分得到速度和位置（position）信息。因為位置信息是通過積分得出的，所以存在系統(tǒng)積累的誤差，這個誤差會隨使用時間的增長而增加。但由于慣性定位使用陀螺儀工作，所以對工作環(huán)境的要求不如光學(xué)定位苛刻。

在慣捕的全身定位中，依據(jù)根節(jié)點的位置，建立相對極坐標系，根據(jù)末端節(jié)點的陀螺儀，計算末端節(jié)點相對于根節(jié)點的相對角度。將肢體每段的長度給予固定值，即末端節(jié)點相對于根節(jié)點（hip）的相對距離;進而推算出根節(jié)點的空間位置坐標。總之，整個人體骨架是一個以ROOT（hip）為根的樹，每個骨架節(jié)點都有一個以自己為坐標原點的局部坐標系[5]。

運動捕捉利用傳感器采集到的真人運動數(shù)據(jù)驅(qū)動和控制虛擬人，效果逼真， 能生成許多復(fù)雜運動。但其不足之處是：虛擬人與真人外形和身高不匹配;真人運動受傳感器和電纜限制;放置在皮膚和衣服上的標志及傳感器的移動會影響數(shù)據(jù)的準確性等，這些都會導(dǎo)致虛擬人產(chǎn)生不自然的動作[6]。

3.2 虛擬與現(xiàn)實間對象映射

在實現(xiàn)光捕校準慣捕之前，需要具體了解現(xiàn)實中HTC光捕頭盔、HTC光捕定位器、光捕定位基站、諾亦騰慣捕穿戴設(shè)備在unity工程中對應(yīng)的虛擬對象。諾亦騰動捕設(shè)備的每個慣性傳感器都叫做“Neuron（神經(jīng)元）”，負責測量位置數(shù)據(jù)、旋轉(zhuǎn)方向和加速度數(shù)據(jù)，測量到的數(shù)據(jù)流會被傳輸?shù)紿ub主節(jié)點中進行處理，然后連接到電腦端Axis Neuron動作捕捉軟件中。經(jīng)處理的浮點型二進制數(shù)的骨骼節(jié)點數(shù)據(jù)將會以BVH數(shù)據(jù)幀的方式在當?shù)鼐W(wǎng)絡(luò)上進行廣播。

unity工程中用steamVR資源包提供的camera對象讀取HTC光捕頭盔返回的位置坐標和相對轉(zhuǎn)角。諾亦騰資源包中的robot對象的根節(jié)點反映了其他各個節(jié)點相對根節(jié)點的轉(zhuǎn)角和根節(jié)點本身的相對位置坐標。由于慣捕的位置坐標會隨時間“漂移”（位置的積累誤差），但各個子節(jié)點相對根節(jié)點的相對轉(zhuǎn)角隨時間不會有“漂移”。所以整體構(gòu)思是，把光學(xué)捕捉的位置坐標返回值賦給工程中諾亦騰慣捕robot的根節(jié)點而保留諾亦騰robot各個子節(jié)點和根節(jié)點的相對轉(zhuǎn)角。

3.3 實施方案

首先，根據(jù)慣捕“定位精度差，轉(zhuǎn)角精度高”的特點，保留全部節(jié)點的轉(zhuǎn)角信息，去掉根節(jié)點的位置信息。我們編寫follow腳本，將操作人腰間佩戴的光捕定位器的位置坐標賦值給諾亦騰robot的根節(jié)點。這樣就消除了慣捕帶來的漂移誤差。

其次，由于需要HTC的光捕頭盔和諾亦騰慣捕穿戴設(shè)備結(jié)合，如果將諾亦騰robot頭部和光捕camera直接綁定，同時讀取光捕頭盔的位置坐標和諾亦騰robot的根節(jié)點位置坐標（由光捕定位器提供），會造成“身首異處”的現(xiàn)象，這是由于頭和身體同時定位會打破robot整體的相對位置關(guān)系。所以我們提出一個解決方案：通過屏蔽HTC的位置移動腳本midden腳本使其跟隨robot頭部移動。再屏蔽諾亦騰頭部模型的轉(zhuǎn)角腳本，改用follow腳本使其轉(zhuǎn)角跟隨HTC頭盔。這樣不但使HTC光捕頭盔能正常使用，而且還保證了工程中人物模型的完整性。最終達到整體上光捕校準慣捕的目的。

3.4 項目成果和具體效果

在完成基礎(chǔ)步驟和優(yōu)化方案后，操作人可以在頭戴設(shè)備中，看到自己的全身模型，并且長時間使用設(shè)備也不會使人物模型的位置發(fā)生漂移。在此基礎(chǔ)上，可以有效地完成虛擬維修教學(xué)的任務(wù)。

4? 結(jié)語

基于虛擬維修中人物重定位技術(shù)，針對工業(yè)領(lǐng)域虛擬仿真實驗室中人物的視覺與現(xiàn)實的偏差進行研究，使得光學(xué)動作捕捉系統(tǒng)和慣性動作捕捉系統(tǒng)在U3D這個強大開源兼容的底層系統(tǒng)中得到融合，將多組設(shè)備二次開發(fā)，突出各自優(yōu)勢。解決了在單一技術(shù)中出現(xiàn)的漂移誤差較大，靈敏度低等問題，同時又能解決用戶體驗感差，眩暈感強烈的問題。從而在使用過程中能夠達到更好的沉浸效果。該技術(shù)的突破了原有的單一設(shè)備的局限性，使得虛擬仿真技術(shù)更加成熟，仿真效果得到提升。

參考文獻

[1] 劉敏.渦扇發(fā)動機控制系統(tǒng)故障診斷與容錯控制研究[D].大連：大連理工大學(xué)，2019.

[2] 楊姣.基于Unity3D的航空發(fā)動機虛擬現(xiàn)實設(shè)計與研究[D].成都：西華大學(xué)，2018.

[3] 吳予忠，張渝舜，趙新宇，等.基于Unity3D的航空發(fā)動機虛擬維修仿真系統(tǒng)的開發(fā)[J].科技創(chuàng)新導(dǎo)報，2018，15（10）：15-16.

[4] 劉闖.七自由度上肢外骨骼機械臂的控制策略研究[D].北京：北京郵電大學(xué)，2019.

[5] 王玉琦.空間雙臂機器人捕獲自旋目標的協(xié)調(diào)操作柔順控制研究[D].北京：北京郵電大學(xué)，2019.

[6] 于富洋.裝備虛擬維修過程建模和仿真研究及應(yīng)用[D].北京：北京理工大學(xué)，2016.