虛擬手的姿態(tài)控制與變形仿真

劉 磊，李繼婷

(北京航空航天大學(xué)虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室，北京 100191)

0 引言

手的運動能力是人類日常生活和工作得以順利進行的基本保障。損傷和疾病容易造成手運動功能傷害［1］。iHandRehab［2］結(jié)合機器人技術(shù)與虛擬現(xiàn)實技術(shù)對手功能障礙患者進行康復(fù)訓(xùn)練以降低人力成本和增加趣味性。目前iHandRehab初步實現(xiàn)了主動、被動、主動助力和抗阻4種模式下的康復(fù)訓(xùn)練任務(wù)［3-4］。主動模式下患者需要通過康復(fù)機器人帶動虛擬環(huán)境中的虛擬手與物體交互完成康復(fù)任務(wù)。

如何實時逼真地模擬虛擬手與物體的交互一直是人機交互領(lǐng)域的研究熱點。早期研究主要集中在虛擬手的模型建立和姿態(tài)控制，目前利用角度傳感器采集人手各關(guān)節(jié)的運動數(shù)據(jù)，基本可以實現(xiàn)剛性虛擬手抓取剛性物體時的交互仿真［5-7］，但是二者接觸時始終保持相對靜止，與真實場景尚有較大差別。隨著研究的逐漸深入，變形問題得到重視［8-11］。Wan［9］提出利用SSD方法，根據(jù)各關(guān)節(jié)對皮膚層的影響權(quán)重計算虛擬手的變形。Garre［11］耦合骨骼層和肌肉層計算手的外部形變，其中肌肉層的變形采用FEM方法。從掌握的文獻資料來看，研究者更側(cè)重虛擬手關(guān)節(jié)轉(zhuǎn)動引起的手指整體形變，尚未探討如何解決接觸物體所導(dǎo)致的局部變形。

1 虛擬手建模

iHandRehab結(jié)合機器人技術(shù)與虛擬現(xiàn)實技術(shù)對患者的食指和拇指進行運動康復(fù)訓(xùn)練?？祻?fù)環(huán)境中建立的虛擬手模型需要跟隨人手運動，同時滿足視覺上的真實性要求。虛擬手建模主要包括幾何建模和運動學(xué)建模兩個部分。

虛擬手的幾何建模主要考慮模型的逼真性以及對后續(xù)碰撞檢測效率的影響。虛擬手的幾何模型是在3DS Max圖形軟件中建立的，食指和拇指均分成3個指節(jié)并且相互獨立。3個指節(jié)從手指與手掌連接處開始依次稱為近端指節(jié)、中間指節(jié)和遠端指節(jié)。相鄰指節(jié)連接處使用半球狀突起以避免相鄰模型轉(zhuǎn)動導(dǎo)致斷裂。

手的運動學(xué)簡化模型見圖1。食指具有3個屈曲關(guān)節(jié)(MCP1、PIP、DIP)和1個側(cè)擺關(guān)節(jié)(MCP2)，拇指具有3個屈曲關(guān)節(jié)(CMC1、MP、IP)和1個側(cè)擺關(guān)節(jié)(CMC2)。手指可以簡化為3個串聯(lián)的指節(jié)的運動組合，各個關(guān)節(jié)轉(zhuǎn)動帶動手指完成屈曲/伸展和內(nèi)收/外展運動。虛擬手的運動是以上述模型為基礎(chǔ)，通過調(diào)整各個指節(jié)的姿態(tài)矩陣實現(xiàn)。

圖1 食指、拇指運動學(xué)簡化模型

按照以下原則建立各指節(jié)的局部右手坐標系:指節(jié)上關(guān)節(jié)轉(zhuǎn)動軸的中心點為原點，指節(jié)延長線方向為X軸，屈曲/伸展運動的關(guān)節(jié)轉(zhuǎn)動軸為Z軸。以食指為例，近端指節(jié)、中間指節(jié)、遠端指節(jié)的姿態(tài)矩陣分別標記為，長度分別表示為 lr、lm、lt。3 個指節(jié)的姿態(tài)矩陣的計算見式(1)。Rot代表繞坐標軸的旋轉(zhuǎn)，Trans代表沿坐標軸的平移。

通過鍵盤或傳感器控制各關(guān)節(jié)的旋轉(zhuǎn)角度，可以調(diào)整各個指節(jié)的姿態(tài)矩陣，進而實現(xiàn)虛擬手在自由空間的運動。

2 虛擬抓持

虛擬手的運動狀態(tài)分為自由運動和接觸物體2種，虛擬抓持涉及2種狀態(tài)的相互轉(zhuǎn)換。本文采用2組虛擬手模型，Haptichand記錄手指的真實運動數(shù)據(jù)并時刻處于自由運動狀態(tài)，Graphichand用來模擬人手從自由運動到接觸物體再到自由運動的完整過程。

實際人手抓持物體時，如果手指的某一指節(jié)與物體接觸，其前端指節(jié)繼續(xù)活動，后端指節(jié)與物體保持相對靜止。因此graphichand各個指節(jié)必須在滿足表1的約束條件基礎(chǔ)上才能按照式(1)計算姿態(tài)，其運動指節(jié)與haptichand相同指節(jié)的旋轉(zhuǎn)角度一致。

圖2 虛擬抓持流程圖

虛擬抓持的程序流程見圖2，其中的碰撞檢測環(huán)節(jié)可以求得指節(jié)上嵌入物體內(nèi)部的幾何頂點數(shù)N。判斷指節(jié)與物體發(fā)生接觸的條件是N≥Nmax(Nmax是自定義的最大嵌入點數(shù)目)。當(dāng)graphichand上的指節(jié)滿足0≤N≤Nmax時，計算該指節(jié)在接觸區(qū)域的局部變形。需要特殊說明的情況是，在按照表1初步確定graphichand位姿時，以haptichand相同的指節(jié)是否與物體接觸為參考。

表1 指節(jié)運動約束關(guān)系

3 變形計算

實際抓持剛性物體時人手受到接觸力發(fā)生局部變形，變形后的手指與物體表面貼合。虛擬手指節(jié)與虛擬物體的接觸即兩個幾何體在空間內(nèi)發(fā)生碰撞，變形表現(xiàn)為指節(jié)上幾何點的移動。通過碰撞檢測計算虛擬手指節(jié)與物體接觸時的嵌入信息，以此為依據(jù)確定局部變形量，與圖2的graphichand變形計算相對應(yīng)。

圖3 點殼-距離場碰撞檢測示意圖

虛擬手的指節(jié)和物體在碰撞檢測過程中分別采用點殼模型和距離場模型［12］，模型構(gòu)建基礎(chǔ)是3DS Max軟件中建立的三角面片模型。如圖3所示，點殼由n個頂點組成，點i的位置Pi和法線Ni與面片模型上對應(yīng)的幾何頂點的位置和法線相同。距離場模型是由面片模型體素化得到的，包含m個邊長相同的體素單元。體素單元k存儲的數(shù)據(jù)結(jié)構(gòu)的信息主要有距離標量值dk和單位向量Ek，|dk|·Ek表示體素單元的中心距離模型表面的最近矢量。

圖4 指節(jié)與物體的碰撞檢測模型

進行碰撞檢測時，依次把點殼上的點i(i=0，1，...，n －1)位置Pi轉(zhuǎn)化到距離場模型的坐標系中，求得距離場內(nèi)部包含Pi的體素單元。如果包含Pi的體素單元k中dk＜0，則表示該點位于距離場內(nèi)部，|dk|·Ek約等于Pi到距離場表面的最近矢量。為提高碰撞檢測效率，本文采用軸向包圍盒(AABB)［13］對單個指節(jié)與物體的碰撞檢測進行預(yù)處理。只有點殼和距離場的AABB相交，才按上述方法尋找嵌入到距離場內(nèi)部的幾何點，否則直接斷定二者不相交。單個指節(jié)與物體的碰撞檢測模型見圖4。

由上可知，通過碰撞檢測可以獲得碰撞點的數(shù)目以及包含碰撞點i的體素單元k。Di和P'i分別表示碰撞點i的變形量和變形后點的位置，可按式(2)進行計算。代表Ek在點殼坐標系中的值。

因為碰撞點的變形量Di即該點到距離場模型表面的矢量值，所以變形后的碰撞點一定位于距離場的模型表面。

4 實驗分析

為了驗證模型的可行性，在Windows XP系統(tǒng)下使用Microsoft Visual Studio 2008建立基于OpenGL的虛擬場景。實驗平臺的硬件配置為Intel Duo CPU 2.99GHz/2G RAM。操作者通過鍵盤控制虛擬手食指和拇指的關(guān)節(jié)轉(zhuǎn)動，虛擬手的其他部分和物體保持靜止。圖5(a)是處于抓持狀態(tài)的虛擬手，圖5(b)是指節(jié)變形效果圖。

圖5 實驗效果圖

逼真性和快速性是衡量虛擬抓持效果的2個重要因素。Graphichand準確反映了人手抓持與釋放剛性物體時的姿態(tài)，但指節(jié)變形的逼真性目前還沒有可以量化的指標，只能通過操作者主觀的視覺感受來判斷。

碰撞檢測和變形的總耗時不超過4ms，能夠滿足系統(tǒng)穩(wěn)定性的要求。haptichand與graphichand分別需要與物體進行6次碰撞檢測才能確定虛擬手的最終姿態(tài)，占用了程序執(zhí)行的絕大部分時間。單個指節(jié)與物體的碰撞檢測時間與點殼上點的數(shù)目存在線性關(guān)系。

5 結(jié)束語

針對iHandRehab康復(fù)系統(tǒng)主動模式訓(xùn)練的應(yīng)用需求，解決了虛擬手抓持剛性物體時的姿態(tài)控制和局部變形。虛擬手模型中食指和拇指各具有4個DOF，可以完成屈曲/伸展和內(nèi)收/外展的運動。虛擬手接觸物體時的局部變形根據(jù)碰撞檢測結(jié)果來計算，變形后的指節(jié)與物體表面緊密貼合，程序更新頻率約為300Hz。

后續(xù)工作主要包括以下2個部分:(1)完善虛擬手的幾何形狀，同時增加紋理貼圖，進一步提高虛擬手在圖形顯示中的逼真性;(2)把現(xiàn)有的研究應(yīng)用到iHandRehab系統(tǒng)，通過手康復(fù)機器人采集真實人手運動數(shù)據(jù)來控制虛擬手的運動，真正實現(xiàn)虛擬手抓持物體的交互仿真。

［1］陶泉.手部損傷康復(fù)［M］.上海:上海交通大學(xué)出版社，2006.

［2］Li Jiting，Zheng Ruoyin，Zhang Yuru，et al.iHandRehab:An interactive hand exoskeleton for active and passive rehabilitation［C］//IEEE International Conference on Rehabilitation Robotics.2011:1-6.

［3］王舉.人手運動功能康復(fù)機器人的設(shè)計與實現(xiàn)［D］.北京:北京航空航天大學(xué)，2010.

［4］王爽.人手運動功能康復(fù)機器人控制方法研究［D］.北京:北京航空航天大學(xué)，2011.

［5］安明，陳善廣，劉玉慶.基于數(shù)據(jù)手套的虛擬手精確建模的研究與實現(xiàn)［J］.計算機仿真，2010，27(1):241-244.

［6］Borst C W，Indugula A P.Realistic virtual grasping［C］//Virtual Reality，IEEE Annual International Symposium.2005:91-98.

［7］陳軍.基于雙目視覺及數(shù)據(jù)手套的虛擬手勢交互平臺的研究與設(shè)計［D］.北京:北京郵電大學(xué)，2011.

［8］Tong C，Jing X，Aiguo S.Simulation of grasping deformable objects with a virtual human hand［C］//IEEE/RSJ International Conference on Intelligent Robots and Systems.2008:3965-3970.

［9］Wan H，Chen F，Han X.A 4-layer flexible virtual hand model for haptic interaction［C］//Proceedings of the 2009 IEEE International Conference on Virtual Environments，Human-Computer Interfaces and Measurement Systems.2009:185-190.

［10］Feng Miao，Li Jiting.Real-time deformation simulation of hand-object interaction［C］//2011 IEEE Conference on Robotics，Automation and Mechatronics.2011:154-157.

［11］Garre C，Hernandez F，Gracia A，et al.Interactive simulation of a deformable hand for haptic rendering［C］//2011 IEEE World Haptics Conference.2011:239-244.

［12］Barbic J.Real-Time Reduced Nonlinear Deformable Objects for Computer Graphics and Haptics［D］.PhD Dissertation，Computer Science Dept.，Carnegie Mellon Univ.，2007.

［13］Christer Ericson.實時碰撞檢測算法技術(shù)［M］.北京:清華大學(xué)出版社，2010.