面向虛擬維修的多點(diǎn)碰撞虛擬手研究

姚壽文，胡子然，王 瑀，張家豪，劉智濛，丁 佳，常富祥

(北京理工大學(xué) 機(jī)械與車輛學(xué)院， 北京 100081)

1 背景

在傳統(tǒng)的裝備維修工作中，維修工具、維修場(chǎng)地、維修器材以及維修人員等都需要大量的成本。隨著裝備的復(fù)雜程度及精密程度的逐步提高，維修難度也隨之加大。為保證高效的維修效率，對(duì)維修人員技術(shù)水平的要求也越來(lái)越高。虛擬維修(virtual maintenance,VM)是虛擬現(xiàn)實(shí)技術(shù)應(yīng)用在維修性工程中的新興技術(shù)手段[1]，不僅可以保證維修的真實(shí)感，還能極大地節(jié)約成本，使維修人員在虛擬的環(huán)境中更好地進(jìn)行維修訓(xùn)練，并提升操作技能[2]。

隨著虛擬現(xiàn)實(shí)技術(shù)[3]的發(fā)展，出現(xiàn)了數(shù)據(jù)手套[4]、Kinect 3D體感攝影機(jī)[5]等交互設(shè)備，可以跟蹤并采集人的肢體數(shù)據(jù)，提高交互的逼真程度。其中，手是人體最靈活的器官，在裝備維修中，離不開(kāi)單手以及雙手對(duì)不同種類零部件的拆卸安裝[6]，以及用手抓取工具進(jìn)行維修操作。將虛擬手引入虛擬維修中進(jìn)行維修拆裝[7]，可以使維修人員高效地熟悉裝備維修流程，更好地認(rèn)知維修操作中的具體動(dòng)作，完成復(fù)雜的維修操作[8]。其中，準(zhǔn)確獲取人手信息以及提升手與零件的交互性能是目前的研究難點(diǎn)。諸如數(shù)據(jù)手套并不能直接獲取人手的姿態(tài)參數(shù)，Kinect雖能對(duì)人肢體進(jìn)行跟蹤，但體感交互性能較差。美國(guó) LEAP 公司研發(fā)的 Leap Motion 體感控制器為解決該問(wèn)題提供了可能。Leap Motion體感控制器可以專門捕獲手部運(yùn)動(dòng)從而直接獲取人手的姿態(tài)參數(shù)[9]。

快速而精確的碰撞檢測(cè)[10]對(duì)提升虛擬維修的沉浸感[11]和交互的逼真感[12]起著至關(guān)重要的作用。虛擬環(huán)境中的碰撞檢測(cè)問(wèn)題有著較長(zhǎng)的研究歷史，目前已有很多較成熟的碰撞檢測(cè)算法，例如基于包圍盒的碰撞檢測(cè)算法、基于距離計(jì)算的碰撞檢測(cè)算法、基于圖像處理的碰撞檢測(cè)算法[13]、基于幾何約束和軸向包圍盒的方法[14]。這些碰撞檢測(cè)算法多是基于層次包圍盒法[15]，適用于剛性物體間的碰撞[16]，沒(méi)有對(duì)手進(jìn)行幾何分割，無(wú)法根據(jù)掌骨、指骨的物理特點(diǎn)對(duì)虛擬手與零件和工具的碰撞檢測(cè)做有針對(duì)性的研究。

在裝備(例如軍用裝甲車輛[17]綜合傳動(dòng)裝置)維修中，存在零部件數(shù)量繁多、型號(hào)規(guī)格類似、空間布局緊湊、零件特征復(fù)雜等情況，在實(shí)際維修過(guò)程中需要采用不同的手勢(shì)對(duì)不同的零件和工具進(jìn)行操作。因此，在虛擬維修中，需要虛擬手采取不同的手勢(shì)拾取不同的零件。而目前虛擬手[18]與零件的交互手勢(shì)[19]多為虛擬手抓取規(guī)則[20]方面的研究，如基于點(diǎn)接觸平面的法矢的抓取規(guī)則、基于有效閾值角度的抓取規(guī)則，以及這些規(guī)則的變形[21]。這些抓取規(guī)則使虛擬手的抓取動(dòng)作過(guò)于單一，不能結(jié)合手掌實(shí)現(xiàn)對(duì)零件的抓握，也不能實(shí)現(xiàn)雙手協(xié)同操作搬動(dòng)較大零件。在利用骨骼動(dòng)畫技術(shù)驅(qū)動(dòng)虛擬手運(yùn)動(dòng)[22]時(shí)，由于虛擬手的手掌和手指是剛體模型，無(wú)法實(shí)現(xiàn)虛擬手與模型的緊密貼合而抓穩(wěn)零件，更不能通過(guò)碰撞檢測(cè)技術(shù)提升維修操作的沉浸感[23]。這些都造成虛擬手不夠靈巧且手勢(shì)單一，虛擬維修操作不夠真實(shí)穩(wěn)定。為了完善虛擬手功能，使虛擬手在虛擬維修操作中更加貼近實(shí)際情況，需要研究一種適應(yīng)虛擬維修的虛擬手模型的新方法，并運(yùn)用此方法實(shí)現(xiàn)虛擬手拾取零部件和工具進(jìn)行虛擬維修操作。

本文以Leap Motion獲取的手部數(shù)據(jù)為基礎(chǔ)，在對(duì)虛擬維修中的手勢(shì)分類的基礎(chǔ)上，建立了多種虛擬手型模型，基于凸體最短距離研究了虛擬手與被抓對(duì)象的多點(diǎn)碰撞檢測(cè)方法。在Unity3D平臺(tái)中開(kāi)發(fā)了相應(yīng)模塊，以某綜合傳動(dòng)裝置為維修對(duì)象進(jìn)行了零件拾取實(shí)驗(yàn)，結(jié)果表明：該虛擬手可以更加真實(shí)地在虛擬環(huán)境中拾取零件，豐富了虛擬維修的人機(jī)交互性能，滿足了虛擬維修中對(duì)虛擬手的需求。

2 虛擬手建模

人手是一個(gè)靈活而復(fù)雜的多肢節(jié)系統(tǒng)，由手掌、手腕和手指組成。手骨共有27塊，包括8塊腕骨、5塊掌骨和14塊指骨。骨之間由不同的關(guān)節(jié)連接，關(guān)節(jié)具有移動(dòng)自由度或轉(zhuǎn)動(dòng)自由度，可以做屈伸、收展或旋轉(zhuǎn)運(yùn)動(dòng)。結(jié)合人手實(shí)際的維修操作過(guò)程，對(duì)拾取零件或工具的動(dòng)作進(jìn)行分解，分析了虛擬手建模、碰撞檢測(cè)、拾取零件或工具所需的手部數(shù)據(jù)。本文采用Leap Motion設(shè)備提取人手?jǐn)?shù)據(jù)進(jìn)行建模，具體數(shù)據(jù)如下：① 手掌坐標(biāo)(palm position)數(shù)據(jù)：手掌中心到Leap設(shè)備原點(diǎn)的距離；② 手掌法線方向(palm normal)數(shù)據(jù)：與手掌所形成的平面的垂直向量，其方向指向手掌內(nèi)側(cè)；③ 手掌寬度(palm width)數(shù)據(jù)：手掌的寬度；④ 手掌掌骨位置坐標(biāo)(palm bone position)數(shù)據(jù)：手掌掌骨到Leap設(shè)備原點(diǎn)的距離；⑤ 手掌方向(palm direction)數(shù)據(jù)：手掌中心指向手指的向量；⑥ 手指尖端坐標(biāo)(tip position)數(shù)據(jù)：手指尖端的位置；⑦ 手指尖端長(zhǎng)度(bone length)數(shù)據(jù)：手指尖端骨頭的可視長(zhǎng)度；⑧ 手指尖端寬度(bone width)數(shù)據(jù)：手指尖端骨頭的平均寬度；⑨ 手指尖端方向(bone direction)數(shù)據(jù)：一個(gè)方向與指尖指向相同的單位向量。

2.1 適應(yīng)虛擬維修的手勢(shì)分類

在裝備維修中，維修人員的維修方式一般分為兩類：① 徒手維修，包括單手操作零件和雙手協(xié)同操作零件；② 使用工具輔助維修。實(shí)際維修操作中，根據(jù)零件或工具(以下簡(jiǎn)稱被抓對(duì)象)的幾何和質(zhì)量特征的不同，維修人員采用不同的手勢(shì)抓取物體：① 捏手勢(shì)：大拇指和食指與零件接觸進(jìn)行捏?。虎?抓手勢(shì)：大拇指、食指、中指與零件接觸抓起零件；③ 雙手搬手勢(shì)：左右手協(xié)同操作將零件搬起；④ 握手勢(shì)：手指與手掌協(xié)同操作拾取零件。虛擬維修手勢(shì)分類如圖1所示。

圖1 虛擬維修手勢(shì)分類

2.2 虛擬手型模型

為使虛擬手的維修動(dòng)作與人手的維修動(dòng)作匹配，需將人手關(guān)鍵點(diǎn)姿態(tài)數(shù)據(jù)實(shí)時(shí)傳遞給虛擬手模型，實(shí)現(xiàn)虛擬手與人手關(guān)鍵點(diǎn)姿態(tài)的一一對(duì)應(yīng)，驅(qū)動(dòng)虛擬手模型進(jìn)行相應(yīng)的維修動(dòng)作，實(shí)現(xiàn)虛擬維修動(dòng)作與人手維修動(dòng)作的實(shí)時(shí)同步。為使虛擬手更加真實(shí)地拾取物體，避免穿透，根據(jù)虛擬維修手勢(shì)分類，本文建立了4種虛擬手型模型。

|L1-Lb|≤ε

(1)

圖2 捏手勢(shì)(點(diǎn)線模型)

|L2-Lb|≤ε

(2)

圖3 抓手勢(shì)(點(diǎn)面模型)

|L3-Lb|≤ε

(3)

圖4 雙手搬手勢(shì)(點(diǎn)體模型)

4) 握手勢(shì)(球模型)

采用握手勢(shì)拾取零件，此時(shí)，手掌的一部分與零件貼合，可以近似認(rèn)為手型近似球的一部分，手型半徑與零件徑向距離的一半相等，中心坐標(biāo)在零件或工具軸線上，且平行于手掌的方向與零件或工具軸線方向平行?；诖竽粗钢讣馕恢米鴺?biāo)T1、食指指尖位置坐標(biāo)T2、中指指尖位置坐標(biāo)T3、無(wú)名指指尖位置坐標(biāo)T4以及手掌中心坐標(biāo)P的數(shù)據(jù)，建立過(guò)指尖和掌心的虛擬手型球模型，如圖5所示。該球模型的數(shù)據(jù)結(jié)構(gòu)為球心O和半徑r。圖5中零件(用線框表示)的徑向距離為L(zhǎng)b，則虛擬手與零件接觸需滿足r與Lb的一半之差的絕對(duì)值小于等于ε，即

(4)

圖5 握手勢(shì)(球模型)

2.3 虛擬手碰撞檢測(cè)

碰撞檢測(cè)是對(duì)兩個(gè)物體的位置關(guān)系進(jìn)行計(jì)算，判斷它們?cè)诳臻g上是否存在交集，避免虛擬手和虛擬零件穿透。在二維空間中，由于物體都處于同一平面，碰撞檢測(cè)難度較低。在三維空間，多數(shù)進(jìn)行碰撞檢測(cè)的物體的幾何形狀較為復(fù)雜，若直接進(jìn)行碰撞檢測(cè)，會(huì)產(chǎn)生較大的計(jì)算量，大大降低了效率。包圍盒方法[23]用簡(jiǎn)單凸體(即包圍盒)代替復(fù)雜的被檢測(cè)物體，雖然無(wú)法達(dá)到直接對(duì)被檢測(cè)物體進(jìn)行碰撞檢測(cè)時(shí)的精確，但大大降低了計(jì)算量，提高了效率，因此是目前主要的研究方法。

包圍盒決定碰撞發(fā)生時(shí)的邊界條件。根據(jù)手指和手掌的幾何特點(diǎn)，以手掌坐標(biāo)數(shù)據(jù)、手掌方向數(shù)據(jù)、手掌寬度數(shù)據(jù)以及手掌掌骨位置坐標(biāo)數(shù)據(jù)為基礎(chǔ)，建立包含整個(gè)手掌模型且體積最小的AABB包圍盒，并根據(jù)手指模型的輪廓特征建立膠囊包圍盒。根據(jù)被抓對(duì)象的幾何特征的不同，本文構(gòu)建了AABB包圍盒和膠囊包圍盒。

虛擬手與被抓對(duì)象的碰撞檢測(cè)可視為包圍盒之間的碰撞。對(duì)于捏、抓手勢(shì)以及雙手搬手勢(shì)，僅有手指與被抓對(duì)象的接觸碰撞，即手指膠囊包圍盒與被抓對(duì)象包圍盒的碰撞。對(duì)于握手勢(shì)，手指和手掌都與被抓對(duì)象進(jìn)行接觸碰撞，即手掌包圍盒與手指膠囊包圍盒同時(shí)與被抓對(duì)象包圍盒的碰撞。本文中虛擬手與被抓對(duì)象的碰撞檢測(cè)算法采用實(shí)時(shí)計(jì)算手掌包圍盒與被抓對(duì)象包圍盒之間的最短距離，或?qū)κ种赴鼑信c被抓對(duì)象包圍盒之間的最短距離進(jìn)行檢測(cè)?；诖?，碰撞檢測(cè)可以分解為以下兩種基本問(wèn)題：

1) AABB包圍盒與膠囊包圍盒的距離計(jì)算。如圖6所示的膠囊包圍盒半徑為rc，軸段為MN，分析計(jì)算過(guò)程如下：

當(dāng)膠囊包圍盒與AABB包圍盒發(fā)生碰撞時(shí)，可以簡(jiǎn)化為AABB包圍盒上的一些點(diǎn)進(jìn)入膠囊包圍盒的內(nèi)部，并且這些點(diǎn)與膠囊包圍盒軸段MN之間的距離小于半徑rc，所以相交測(cè)試相當(dāng)于測(cè)試AABB包圍盒到膠囊包圍盒軸段MN的最短距離。設(shè)最短距離為d，若d≤rc，則兩個(gè)物體之間發(fā)生碰撞；若d>rc，則兩個(gè)物體不相交。

圖6 膠囊包圍盒與AABB包圍盒的碰撞檢測(cè)

2) 膠囊包圍盒與膠囊包圍盒的距離計(jì)算。如圖7所示，兩個(gè)膠囊包圍盒的半徑分別為rc和rc1，軸段分別為MN和M1N1。兩個(gè)膠囊包圍盒發(fā)生碰撞時(shí)，可以簡(jiǎn)化為第1個(gè)膠囊包圍盒上的一些點(diǎn)進(jìn)入第2個(gè)膠囊包圍盒的內(nèi)部，并且這些點(diǎn)中的每一個(gè)與兩個(gè)膠囊包圍盒軸段MN和軸段M1N1之間的距離之和小于這兩個(gè)膠囊包圍盒的半徑之和rc1+rc。因此，相交測(cè)試相當(dāng)于測(cè)試軸段MN和軸段M1N1的最短距離。設(shè)最短距離為d′，兩個(gè)膠囊包圍盒的半徑之和rc1+rc為r′，將距離d′與兩個(gè)膠囊包圍盒半徑之和r′做比較，d′與r′的關(guān)系代表著兩個(gè)膠囊包圍盒之間的位置關(guān)系：若d′≤r′，兩個(gè)膠囊包圍盒之間發(fā)生碰撞；若d′>r′，兩個(gè)膠囊包圍盒不相交。

圖7 兩個(gè)膠囊包圍盒之間的距離計(jì)算

結(jié)合虛擬手型模型，本文提出虛擬手與被抓對(duì)象的多點(diǎn)碰撞檢測(cè)流程，如圖8所示。對(duì)于捏、抓手勢(shì)，以及雙手搬動(dòng)零件，僅有虛擬手的手指與零件發(fā)生碰撞。若手指包圍盒與被抓對(duì)象包圍盒相交測(cè)試成功，則碰撞檢測(cè)成功。對(duì)于握手勢(shì)，則需要依賴手指與手掌的協(xié)同操作，因此握手勢(shì)抓取需要進(jìn)行手掌AABB包圍盒、手指膠囊包圍盒與被抓對(duì)象包圍盒的相交測(cè)試。若手掌、手指包圍盒與被抓對(duì)象包圍盒的相交測(cè)試都成功，則碰撞檢測(cè)成功。

圖8 虛擬手與被抓對(duì)象的多點(diǎn)碰撞檢測(cè)流程

2.4 虛擬手拾取零件流程

在虛擬維修環(huán)境中，維修人員確定有可抓握的目標(biāo)對(duì)象后，根據(jù)被抓對(duì)象的幾何、質(zhì)量特點(diǎn)，決定采用單手還是雙手操作目標(biāo)零件；然后調(diào)整手勢(shì)，通過(guò)本文2.2節(jié)所建立的虛擬手型和被抓對(duì)象進(jìn)行多點(diǎn)碰撞檢測(cè)，若碰撞檢測(cè)成功，則虛擬手抓取物體，否則維修人員調(diào)整手勢(shì)。虛擬手拾取零件或工具方法如圖9所示。

圖9 虛擬手拾取零件或工具方法

3 虛擬手拾取零件或工具試驗(yàn)

基于Leap Motion設(shè)備，在Unity3D平臺(tái)中進(jìn)行虛擬手建模及功能開(kāi)發(fā)，實(shí)現(xiàn)虛擬手拾取零件和工具功能，虛擬手抓取與釋放零件流程如圖10所示。

圖10 虛擬手抓取與釋放零件流程

以某綜合傳動(dòng)裝置為例，其零件種類如表1所示。該虛擬手模型對(duì)同一個(gè)零件可采用不同手勢(shì)進(jìn)行拾取，操作人員能根據(jù)零件的不同采用自己習(xí)慣且科學(xué)合理的手勢(shì)拾取零件，滿足維修中人手操作零件的要求。

表1 某綜合傳動(dòng)裝置零件種類

綜合傳動(dòng)裝置中質(zhì)量小、軸向尺寸短、外徑較小的零件(如擋圈、螺釘、螺母、墊片、隔環(huán)等零件)，維修人員可采用捏手勢(shì)和抓手勢(shì)進(jìn)行拾取。圖11、12分別為虛擬手采用捏/抓手勢(shì)拾取擋圈。

圖11 虛擬手采用捏手勢(shì)拾取擋圈

圖12 虛擬手采用抓手勢(shì)拾取擋圈

對(duì)于質(zhì)量較大、軸向尺寸較小且外徑不大的零件(如軸承)，維修人員可采用抓手勢(shì)和握手勢(shì)進(jìn)行拾取，如圖13、14所示。

圖13 虛擬手采用抓手勢(shì)拾取軸承

圖14 虛擬手采用握手勢(shì)拾取軸承

對(duì)于被動(dòng)齒輪等零件，其質(zhì)量較大，維修人員可采用握手勢(shì)和雙手搬手勢(shì)進(jìn)行拾取，如圖15、16所示。

圖15 虛擬手采用握手勢(shì)拾取被動(dòng)齒輪

圖16 虛擬手采用雙手搬手勢(shì)搬動(dòng)被動(dòng)齒輪

對(duì)于質(zhì)量更大且外徑較大的零件(如離合器被動(dòng)齒輪)，維修人員采用雙手搬手勢(shì)進(jìn)行拾取，如圖17所示。

對(duì)于傳動(dòng)軸零件以及帶有手柄的工具(如扳手)，虛擬手使用手指與手掌協(xié)同操作的握手勢(shì)拾取零件或扳手，如圖18所示。

圖17 雙手協(xié)同操作搬起離合器被動(dòng)齒輪

圖18 虛擬手采用握手勢(shì)拾取零件或工具

上述試驗(yàn)結(jié)果表明：虛擬手可以對(duì)同一零件和工具采用不同手勢(shì)拾取，滿足了維修人員采用符合自身習(xí)慣且合理的手勢(shì)拾取零件或工具的需求，提升了虛擬維修中的人機(jī)交互性能，可更好地進(jìn)行人員的維修訓(xùn)練，提升操作技能。

4 結(jié)束語(yǔ)

在虛擬維修人機(jī)交互中，虛擬手需要滿足虛擬維修對(duì)手的功能需求，使其貼近于實(shí)際維修效果，增強(qiáng)虛擬維修的沉浸感。本文以手掌和手指數(shù)據(jù)為基礎(chǔ)，結(jié)合虛擬維修手勢(shì)分類，建立了虛擬手型模型，采用計(jì)算兩個(gè)凸體之間最短距離的相交測(cè)試方法，研究了虛擬手與零件或工具的多點(diǎn)碰撞檢測(cè)方法。在此基礎(chǔ)上，制定了虛擬手拾取零件或工具的流程，以Unity3D為開(kāi)發(fā)平臺(tái)，實(shí)現(xiàn)了虛擬手拾取和釋放零件的功能，以某綜合傳動(dòng)裝置零件作為維修對(duì)象，進(jìn)行了不同手勢(shì)拾取零件或工具的試驗(yàn)。試驗(yàn)結(jié)果表明：該虛擬手可以滿足虛擬維修中對(duì)虛擬手拾取零件的需求，更加貼近于實(shí)際維修情況，豐富了虛擬維修及培訓(xùn)中的人機(jī)交互功能，可以更好地鍛煉維修人員的操作技能。