基于光學運動捕捉的虛擬人體標定技術(shù)

侯永隆， 寧 濤， 王 可

（1. 北京航空航天大學機械工程及自動化學院，北京 100191；2. 北京瑞風協(xié)同科技股份有限公司，北京 100098）

基于光學運動捕捉的虛擬人體標定技術(shù)

侯永隆1， 寧 濤1， 王 可2

（1. 北京航空航天大學機械工程及自動化學院，北京 100191；2. 北京瑞風協(xié)同科技股份有限公司，北京 100098）

分析關(guān)節(jié)對骨骼段運動的約束，基于光學運動捕捉設備給出兩種關(guān)節(jié)中心參數(shù)估計模型——雙骨骼段模型和球模型。對兩種模型分別給出最小二乘解法，通過求解線性方程組得到關(guān)節(jié)中心位置。利用虛擬鉸鏈測試了兩種解法的精度，選取精度較高的雙骨骼段模型，結(jié)合虛擬人的關(guān)節(jié)結(jié)構(gòu)提出一種虛擬人體標定技術(shù)。比較某表演者四肢的測量值和標定值，得出標定誤差在 4.3%以內(nèi)。對標定后的虛擬人進行驅(qū)動，標定后的虛擬人逼真地復制了表演者的動作，并減少了肢體交叉。

光學運動捕捉；關(guān)節(jié)中心參數(shù)估計；最小二乘法；虛擬人體標定

在傳統(tǒng)的制造業(yè)中產(chǎn)品的可維修性驗證評估依賴于物理樣機，設計和制造中的缺陷在后期的裝配和維修中才能發(fā)現(xiàn)，影響了效率，增加了產(chǎn)品成本。隨著數(shù)字樣機技術(shù)和虛擬現(xiàn)實技術(shù)的發(fā)展，虛擬維修技術(shù)和虛擬裝配技術(shù)逐漸應用于制造業(yè)等工業(yè)領(lǐng)域。

虛擬維修作為一門新興的科學技術(shù)，剛出現(xiàn)就引起了國內(nèi)外研究者的廣泛關(guān)注[1]。賓夕法尼亞大學人體建模和仿真中心開發(fā)了Jack軟件，可以根據(jù)人體尺寸進行動態(tài)縮放，可對虛擬產(chǎn)品設計通過虛擬人進行測試，還可通過動作參數(shù)化描述(Parameterized Action Representation, PAR)將自然語言轉(zhuǎn)化為虛擬人可執(zhí)行的基本動素(Basic Motion)[2,3]。法國Dassault公司開發(fā)的Delmia已經(jīng)實現(xiàn)虛擬人的行走、攀爬、使用簡單工具進行維修仿真。蔣科藝等人基于Jack系統(tǒng)建立了沉浸式虛擬維修仿真原型系統(tǒng)，并以某機構(gòu)的拆裝為例對其進行了初步的應用驗證[4]。北京航空航天大學陳善敏等將光學捕捉設備、數(shù)據(jù)手套、陀螺儀引入虛擬維修系統(tǒng)，提出了一種虛擬人驅(qū)動算法，建立了沉浸式的虛擬維修場景[5]。

虛擬人是模擬和仿真的核心，虛擬人與表演者的匹配程度決定了虛擬人復制表演者動作的精確度。如果虛擬人的尺寸大于表演者的尺寸則在仿真時容易發(fā)生肢體交叉，如圖1所示；在沉浸式維修仿真中表演者實際未和物體接觸，虛擬人卻已經(jīng)與物理樣機發(fā)生碰撞，影響了沉浸感。同樣若虛擬人尺寸小于表演者尺寸，表演者和物體接觸，虛擬人卻仍未與物理樣機發(fā)生碰撞，同樣會影響沉浸感。

圖1 虛擬人肢體交叉

Jack和Delmia雖然提供了驅(qū)動虛擬人的接口，可以建立沉浸式的虛擬維修系統(tǒng)，然而它們的虛擬人體模型庫都是基于國外人體測量學數(shù)據(jù)庫建立的，無法做到表演者和虛擬人的匹配。文獻[6]基于國標人體測量學通過三次樣條插值在Jack軟件中建立了人體模型庫，然而在虛擬人建模中，我們關(guān)心的是旋轉(zhuǎn)關(guān)節(jié)中心之間的距離而非人體測量學意義上的關(guān)節(jié)長度。

用手動測量的方式獲取表演者的重要人體尺寸不僅操作繁瑣且無法準確測量旋轉(zhuǎn)關(guān)節(jié)中心的距離。本文首先結(jié)合我國成年人人體尺寸標準建立了虛擬人體模型；其次分析關(guān)節(jié)對骨骼段的運動約束給出兩種關(guān)節(jié)中心參數(shù)估計模型；最后利用光學運動捕捉設備，如圖2所示，左圖為表演者和測量標記點；右圖為光學相機獲取表演者的運動數(shù)據(jù)計算主要關(guān)節(jié)的關(guān)節(jié)中心，提出一種快速自動虛擬人標定技術(shù)并給出了標定精度。

圖2 光學運動捕捉設備

1 虛擬人體建模

為了能在網(wǎng)絡中表述虛擬人，兩個重要的國際標準VRML和MPEG-4都提供了虛擬人的描述標準。參考VRML標準和MPEG-4標準，考慮人體各關(guān)節(jié)的自由度及仿真和模擬的真實性，在我國成年人人體尺寸標準—GB10000—88的基礎(chǔ)上基于VS2008、OpenGL開發(fā)了58個骨骼段，46個關(guān)節(jié)，177個自由度的虛擬人體模型，界面如圖3所示。

圖3 虛擬人體模型界面

圖4(a)為虛擬人的所有骨骼段，共有58段；圖4(b)標識了骨骼段和關(guān)節(jié)序號，其中手部（包含38個骨骼段）未繪出。如圖4(b)所示，虛擬人為樹形結(jié)構(gòu)。根關(guān)節(jié)為0號關(guān)節(jié)，有3個平移自由度和3個旋轉(zhuǎn)自由度，控制整個虛擬人的位置和朝向。每個段有3個自由度控制著各骨骼段的朝向。

圖4 虛擬人骨骼段及關(guān)節(jié)

2 關(guān)節(jié)中心參數(shù)估計

光學式運動捕捉設備因其表演者活動范圍大，無電纜、機械裝置的限制，而被廣泛應用。我們的系統(tǒng)中采用光學捕捉設備來獲取人體運動數(shù)據(jù)，并將3個標記點固定到一個板上構(gòu)成標記點組(Trackables)，從而保證了標記點組的剛體特性，如圖5所示。

圖5 標記點組

虛擬人體標定的目的是獲取表演者主要骨骼段長度并將這些尺寸賦予虛擬人，而表演者骨骼段長度的獲取可通過求解關(guān)節(jié)中心的距離獲得，因此關(guān)節(jié)中心的參數(shù)估計成為虛擬人體標定的核心。分析關(guān)節(jié)對骨骼段運動的約束結(jié)合光學捕捉設備的特點得出兩種關(guān)節(jié)中心參數(shù)估計模型。

雙骨骼段模型：如圖6所示，如果骨骼段i和j上都至少有3個標記點，則對于每一個骨骼段可以分別建立一個局部坐標系。將連接兩骨骼段的關(guān)節(jié)i在它們的局部坐標系中的局部坐標變換到世界坐標系中，兩者應相等[7,8]。

圖6 雙骨骼段模型

球模型：如圖7所示，根據(jù)骨骼段s1上的3個標記點 A、B、C的坐標建立一個局部坐標系f1，將段s2上的3個標記點M、N、P的坐標變換到f1中，3個標記點M、N、P的運動軌跡為以關(guān)節(jié)J的中心為球心，以各點到關(guān)節(jié)中心的距離為半徑的球面[9-12]。

圖7 球模型

針對每種模型本文分別提出了一種最小二乘算法，均能快速得到解析解。

2.1 雙骨骼段模型最小二乘法求解

用光學捕捉設備獲得N幀標記點(Marker)在世界坐標系中的坐標，將第i幀同一關(guān)節(jié)的兩相鄰骨骼段 s1和 s2上的標記點組構(gòu)成的局部坐標系分別記為。關(guān)節(jié)中心在中的坐標分別為。記R1、t1分別為將(a, b, c)變換到世界坐標系的旋轉(zhuǎn)矩陣和平移向量， R2、 t2分別為將(d, e, f)變換到世界坐標系的旋轉(zhuǎn)矩陣和平移向量。則有記則有一幀捕捉數(shù)據(jù)可以得到3個等式，N幀共得到3N個等式。第 i個等式的形式為：由此得優(yōu)化目標函數(shù)

對式(1)求偏導，整理得

2.2 球模型最小二乘法求解

同樣通過光學捕捉設備獲得 N幀標記點在世界坐標系中的坐標，對于第i幀可以通過骨骼段 s1上標記點 A、B、C的坐標建立局部坐標系，將骨骼段 s2上標記點 M在世界坐標系中的坐標變換到局部坐標系中，變換后坐標為，設關(guān)節(jié)中心在局部坐標系中的坐標為CM=(a, b, c)，M到關(guān)節(jié)中心的距離為r。由此可得：

展開得：

整理式(4)得：

其中，

以肘關(guān)節(jié)為例，如圖8所示，記錄1000幀小臂上的標記點變換到由大臂標記點組構(gòu)建的局部坐標系中的坐標，使用OpenGL將其繪制出來，從不同的視角我們看出坐標變換后小臂上的標記點的運動軌跡的確為一球。

圖8 小臂標記點運動軌跡

2.3 兩種模型的精度

為了測試兩種模型的精度，本文用虛擬鉸鏈和虛擬標記點來模擬關(guān)節(jié)。對于虛擬標記點加入隨機誤差，精確關(guān)節(jié)中心坐標為(0, 50, 200)，利用兩種模型分別對關(guān)節(jié)中心求解三次，球模型平均誤差為 6.21mm，雙骨骼段模型的平均誤差為4.50mm。這是由于對于球模型不僅需要用標記點建立局部坐標系，還需要將相鄰骨骼段的標記點變換到該坐標系中，誤差會產(chǎn)生累積，而雙骨骼段模型僅需建立坐標系即可，沒有標記點坐標誤差的二次累積。

3 虛擬人體標定

被標定的表演者充分運動各關(guān)節(jié)，光學運動捕捉設備捕捉表演者的運動數(shù)據(jù)，利用關(guān)節(jié)中心參數(shù)估計算法可以求解關(guān)節(jié)中心的位置。計算相鄰關(guān)節(jié)的距離即可得到表演者主要骨骼段的尺寸。

3.1 虛擬人主要骨骼段標定

由于實際標定中標記點組并不是牢固地綁定在骨骼上，皮膚、肌肉和衣服的滑動影響了標記點組的剛體特性，同時光學捕捉設備存在識別錯誤和噪聲，這些都會影響標定的精度。利用關(guān)節(jié)中心參數(shù)估計算法可得各關(guān)節(jié)在其相關(guān)聯(lián)的骨骼段上的標記點組所構(gòu)成的局部坐標系中的坐標，將該局部坐標變換到世界坐標系中，計算相鄰關(guān)節(jié)的距離即可得到表演者主要骨骼段的尺寸。在實際標定時選取精度更高的雙骨骼段最小二乘算法進行求解。記錄1000幀各標記點組的世界坐標。當兩幀捕捉數(shù)據(jù)時間間隔較短時，捕獲的運動數(shù)據(jù)會比較接近，為此每隔0.2s記錄一次捕捉數(shù)據(jù)，用標記點組的3個點構(gòu)建一個局部坐標系，當1000幀數(shù)據(jù)記錄完畢時可由1000幀數(shù)據(jù)建立各關(guān)節(jié)的約束方程，求解方程可得各關(guān)節(jié)在局部坐標系中的坐標，將局部坐標變換到世界坐標系中可得一些標定約束如肩高，腳踝高等。

記得到的初始標定數(shù)據(jù)為：大臂長：Lua；小臂長：Lfa；大腿長：Lth；小腿長：Lsh；肩寬：Wsld；肩高：Hsld；腳踝高：Hank。這幾個參數(shù)是標定的關(guān)鍵，其它主要骨骼段或包含在軀干內(nèi)或可移動范圍較小可以通過對原始尺寸的縮放得到（主要骨骼段參看圖4(b)）。

LIniSegi為骨骼段i的標定前長度，cos(i, Z)為骨骼段i和世界坐標系Z軸的夾角余弦。將骨骼段12、0、1、4按系數(shù) ScaleCoe1縮放得到標定后的長度 LCalSegi。

Stature為表演者的身高，其實際尺寸可由測量獲得。利用 ScaleCoe2縮放得到段2、3標定后的長度。

根據(jù) ScaleCoe3得段5標定后的尺寸，至此虛擬人的各骨骼段的尺寸（手、足骨骼段除外）標定完成。整個虛擬人的標定流程如圖 9所示。

圖9 虛擬人體標定流程圖

3.2 標定精度

因標記點到關(guān)節(jié)中心的距離為定值，故距離的變化可衡量標定的精度?，F(xiàn)以肘關(guān)節(jié)和小臂上標記點組重心的距離為例測試標定精度。左肘關(guān)節(jié)與左臂標記點的距離記為 DistL，右肘關(guān)節(jié)與右臂標記點的距離記為DistR。

表1 肘關(guān)節(jié)與小臂標記點距離

由表 1得左臂標記點與肘關(guān)節(jié)最大距離出現(xiàn)在6000幀，最小距離出現(xiàn)在3000幀，兩者差值為 7.69mm；右臂標記點與肘關(guān)節(jié)最大距離出現(xiàn)在5000幀，最小距離出現(xiàn)在1000幀，兩者差值為5.65mm。

表 1的數(shù)據(jù)間接反映了標定具有較高的精度，然而卻不夠直觀。為了給出衡量標定精度的基準，我們測量了身高為1740mm的表演者的四肢長度。在標定中我們求得的是關(guān)節(jié)中心到關(guān)節(jié)中心的距離，用測量工具測量時很難精確確定關(guān)節(jié)中心，因此，測量值可能會帶有較大誤差，然而卻仍能為我們提供一個合理的估計。在測量時由于髖關(guān)節(jié)的位置較難確定，故沒有測量大腿的長度。各骨骼段的測量值分別為：左大臂—298mm，左小臂—257mm，右大臂—295mm，右小臂—255mm，左小腿—394mm，右小腿—397mm。利用4組捕捉數(shù)據(jù)對表演者進行了標定，四肢的標定長度如表2所示。

表2 四肢標定值

由表2數(shù)據(jù)求得各骨骼段的平均標定誤差：左大臂：6mm；左小臂：2.5mm；右大臂：12.75mm；右小臂：2mm；左小腿：13mm；右小腿：10.5mm。由此計算得到各骨骼段的標定誤差在 4.3%之內(nèi)。由生物力學文獻[13]可知人體關(guān)節(jié)并不是精確的旋轉(zhuǎn)關(guān)節(jié)，在一個正常的行走循環(huán)中膝關(guān)節(jié)中心上下平均移動7mm、前后14.3mm、側(cè)向5.6mm，因此標定誤差在13mm以內(nèi)達到了較高精度。

虛擬人標定完成后，利用本課題組開發(fā)的驅(qū)動算法對虛擬人進行驅(qū)動，圖 10為虛擬人與表演者的動作對比，可以看出虛擬人較為逼真地復制了表演者的動作且在表演者肢體接近時未出現(xiàn)肢體干涉現(xiàn)象。

4 結(jié) 論

本文分析關(guān)節(jié)對骨骼段的約束建立了關(guān)節(jié)參數(shù)估計模型，并分別給出了最小二乘解法，兩種模型均可通過解線性方程組得到關(guān)節(jié)中心位置。利用光學運動捕捉設備捕獲多幀表演者的運動數(shù)據(jù)，基于雙骨骼段模型最小二乘算法，提出一種虛擬人體標定技術(shù)，實現(xiàn)了虛擬人的精確標定。以某表演者四肢的測量長度為基準得出標定誤差在4.3%之內(nèi)。對標定后的虛擬人進行驅(qū)動，虛擬人較為逼真地復制了表演者的動作，減少了肢體交叉。

圖10 虛擬人與表演者動作對比

在后續(xù)工作中可用本文提出的虛擬人體標定技術(shù)標定不同身高百分位的表演者，建立符合我國人口數(shù)據(jù)的本土化的虛擬人體模型庫。

[1] 劉 佳, 劉 毅. 虛擬維修技術(shù)發(fā)展綜述[J]. 計算機輔助設計與圖形學學報, 2009, 21(11): 1519-1534.

[2] Badler N, Bindiganavale R N, Allbeck J, et al. Parameterized action representation and natural language instructions for dynamic behavior modification of embodied agents [R]. SS-00-02,2000.

[3] Bindiganavale R N. Building parameterized action representations from observation [D]. Philadelphia, USA: University of Pennsylvania, 2000.

[4] 蔣科藝, 郝建平. 沉浸式虛擬維修仿真系統(tǒng)及其實現(xiàn)[J]. 計算機輔助設計與圖形學學報, 2005, 17(15): 1120-1123.

[5] Chen Shanmin, Ning Tao, Wang Ke. Motion control of virtual human based on optical motion capture in immersive virtual maintenance system [C]// Proceedings-2011 International Conference on Virtual Reality and Visualization(ICVRV'11). Piscataway: IEEE Computer Society, 2011: 52-56.

[6] 王 維, 李 焱, 賀漢根. 基于國標人體測量學數(shù)據(jù)的虛擬人縮放方法 [J]. 計算機仿真, 2006, 23(7): 219-222.

[7] O’Brien J F, Bodenheimer Jr R E, Brostow G J, et al. Automatic joint parameter estimation from magnetic motion capture data [C]//Michael M, Torsten M. Proceedings of Graphics Interface 2000. Montreal, Canada: Taylor & Francis, 2000,53-60.

[8] Ringer M, Lasenby J. A procedure for automatically estimating model parameters in optical motion capture [J]. Image and Vision Computing, 2004, 22: 843-850.

[9] Silaghi M C, Plankers R, Boulic R, et al. Local and global skeleton fitting techniques for optical motion capture [J]. Modeling and Motion Capture Techniques for Virtual Environments, 1998, 1537: 26-40.

[10] Kirk A G, O’Brien J F, Forsyth D A. Skeletal parameter estimation from optical motion capture data [C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Computer Society, 2005: 782-788.

[11] Gamage S S H U, Lasenby J. New least squares solutions for estimating the average center of rotation and the axis of rotation [J]. Journal of Biomechanics, 2002, 35: 87-93.

[12] Chang L Y, Pollard N S. Constrained least-squares optimization for robust estimation of center of rotation [J]. Journal of Biomechanics, 2007, 40: 1392-1400.

[13] Lafortune M A, Cavanagh P R, Sommer H J, et al. Three-dimensional kinematics of the human knee during walking [J]. Journal of Biomechanics, 1992, 25(4): 347-357.

A Technique for Virtual Human Calibration Based on Optical Motion Capture

Hou Yonglong1, Ning Tao1, Wang Ke2
(1. School of Mechanical Engineering and Automation, Beijing University of Aeronautics and Astronautics, Beijing 100191, China; 2. Beijing Rainfe Technology Co., Ltd, Beijing 100098, China )

Based on optical motion capture, two joint center estimation models: Bi-segment Model and Sphere Model are given by analyzing the motion of segments constrained by joints. For each model a least squares solution is presented respectively and the joint center location could be acquired by solving a linear equation. A virtual linkage is used to test the accuracy of the two least squares solutions. Using the Bi-segment Model which is more accurate, a technique for virtual human calibration is proposed based on the topology of the virtual human. The comparison of measured values and calibrated values of a performer demonstrates errors for limbs are less than 4.3%. Finally, the calibrated virtual human is driven. The result shows the virtual human can mimic the performer vividly and limbs intersection cases are reduced.

optical motion capture; joint center estimation; least squares solution; virtual human calibration

A

2095-302X (2013)05-0126-06

2013-02-04；定稿日期：2013-04-07

國家自然科學基金資助項目（51075021）

侯永隆（1989-），男，山東濰坊人，碩士研究生，主要研究方向為CAD/CAM、虛擬現(xiàn)實。E-mail：houylong@126.com

TP 391.9