面向大范圍手勢捕捉的Leap Motion數(shù)據(jù)結(jié)構(gòu)體優(yōu)化

孔若思，姚壽文，王 瑀，蘭澤令

(北京理工大學 機械與車輛學院， 北京 100081)

隨著計算機設備和互聯(lián)網(wǎng)的快速發(fā)展，媒體、設備與人之間交互的方式不再受限于鼠標、鍵盤和觸摸控件。常規(guī)的交互方式難以全方面地滿足人們不斷增長的個人需求，因而出現(xiàn)了很多非接觸式的交互控制方式，如眼動、手勢、語音和腦電等。而在眾多的非接觸式交互控制方式中，手勢動作因其靈活多變的形式、信息豐富等特點，常常作為人體同外部世界溝通的工具用在人機交互上[1]。

與傳統(tǒng)的制造模式相比，現(xiàn)代制造業(yè)依靠各種先進技術(shù)正不斷地朝著敏捷化、網(wǎng)絡化和虛擬化的方向發(fā)展[2]。虛擬裝配技術(shù)作為虛擬現(xiàn)實技術(shù)的一種典型而廣泛地應用在制造業(yè)當中。虛擬裝配技術(shù)以產(chǎn)品的裝配設計為出發(fā)點，通過虛擬現(xiàn)實技術(shù)創(chuàng)建了一個由觸覺、視覺和聽覺構(gòu)成的多模式的虛擬交互環(huán)境，通過人機交互的模式進行產(chǎn)品的拆卸和裝配，對裝配產(chǎn)品的功能進行檢測和評價，從而制定出實用、經(jīng)濟和合理的裝配方案[3]。

為了在虛擬裝配環(huán)境中實現(xiàn)自然交互，要使用適當?shù)膫鞲衅鱽砀櫴植康倪\動，以消除手持設備或者可穿戴設備對身體運動的阻礙，提升手工裝配操作的仿真精度。Leap Motion(以下簡稱LM)作為一種基于雙目視覺原理的手部追蹤傳感器，具有便攜、輕巧、高幀頻和非接觸等特點，能夠更好的追蹤手部動作，常用于手勢交互虛擬裝配[4]。

在虛擬裝配中，通常只在單個LM上收集手部數(shù)據(jù)并識別手勢，執(zhí)行手勢操作。但在單個LM中，手勢追蹤范圍小，且存在噪聲影響的問題，最典型的便是手勢的遮擋和混淆問題[5]，不能滿足大范圍虛擬裝配需求。為了克服使用單個LM的缺點和局限性，使用多個LM傳感器是一個很好的選擇。Tianjian等[6]為了擴大人體運動傳感器的靈敏度空間，以模擬正常人工作空間范圍，將5個LM傳感器和5個平板電腦集成在一個可移動的感知平臺上，執(zhí)行基于卡爾曼和粒子濾波的姿態(tài)估計，從5個單次估計的數(shù)據(jù)融合中獲得了一個最優(yōu)的手姿態(tài)估計。沈赫[7]用基于多LM的低成本3D傳感器來實現(xiàn)對現(xiàn)場工人裝配動作的六維(位置+姿態(tài))運動軌跡跟蹤，并通過多傳感器數(shù)據(jù)融合以解決單一傳感器在運動軌跡跟蹤過程中的遮擋問題，同時提高了對裝配動作在目標視野范圍內(nèi)的跟蹤精度。唐春曉等[8]開發(fā)了使用多個LM對人手數(shù)據(jù)采集的控制系統(tǒng)，首先執(zhí)行人手數(shù)據(jù)的采集并轉(zhuǎn)換相應的坐標，然后基于數(shù)據(jù)融合技術(shù)得出完備的人手信息，最后利用SVM(support vector machine)分類器識別手勢。王天行等[9]提出了一個通過多LM手勢識別工作空間的創(chuàng)新設計方法，基于規(guī)則和SVM的分類完成對遙控手勢庫的設計。多LM系統(tǒng)解決了單LM因干擾或者不可避免的覆蓋致使手勢姿態(tài)信息數(shù)據(jù)模糊的問題。范燁博[10]基于局域網(wǎng)協(xié)同技術(shù)，利用LM作為主要硬件設備，對采煤設備進行多人協(xié)同手勢控制的虛擬裝配，實現(xiàn)了多人手勢協(xié)同控制。李澤玲[11]開發(fā)了基于手勢的機器人自然人機交互系統(tǒng)，使用6臺LM傳感器，由6個獨立的客戶端程序根據(jù)服務器指示經(jīng)局域網(wǎng)發(fā)送手勢數(shù)據(jù)。實現(xiàn)了固定自然手勢動作對機器人的遠程控制，提高了人機交互效率。

在多LM系統(tǒng)中，數(shù)據(jù)均需要融合和局域網(wǎng)傳輸，局域網(wǎng)傳輸?shù)乃俣扰c數(shù)據(jù)量的大小直接相關(guān)。在面向?qū)嶒炇业亩郘M系統(tǒng)中，局域網(wǎng)傳輸速度對于性能影響較小，而在面向應用的多LM系統(tǒng)中，隨著LM數(shù)量和對實時性要求的增加，局域網(wǎng)傳輸?shù)膲毫σ搽S之增加。多LM融合雖顯著擴展手部運動追蹤區(qū)域，可滿足沉浸式虛擬環(huán)境中的手部交互要求，然而LM數(shù)據(jù)結(jié)構(gòu)復雜，既包含來自于傳感器的追蹤數(shù)據(jù)(簡稱追蹤數(shù)據(jù))，也包含基于追蹤數(shù)據(jù)的推測數(shù)據(jù)(簡稱推測數(shù)據(jù))，給基于局域網(wǎng)數(shù)據(jù)互傳的多LM數(shù)據(jù)融合架構(gòu)帶來極大的網(wǎng)絡帶寬負擔與數(shù)據(jù)解析壓力，影響了手勢精度和實時性。因此，提出一種面向大范圍手勢捕捉LM融合的手部運動數(shù)據(jù)結(jié)構(gòu)體優(yōu)化的總體方案。首先區(qū)分追蹤數(shù)據(jù)和推測數(shù)據(jù)，然后建立數(shù)據(jù)優(yōu)化模型，計算數(shù)據(jù)權(quán)重，并對權(quán)重低的推測數(shù)據(jù)進行優(yōu)化，從而實現(xiàn)LM數(shù)據(jù)結(jié)構(gòu)體的簡化，減輕數(shù)據(jù)冗雜帶來的傳輸壓力。優(yōu)化后的數(shù)據(jù)結(jié)構(gòu)體能夠完成交互需求，滿足實時、準確獲得手部運動狀態(tài)，提升裝配效果，為復雜結(jié)構(gòu)的可裝配性設計提供關(guān)鍵的手勢模型。

1 手部運動數(shù)據(jù)采集平臺搭建

LM傳感器是一款基于雙目視覺的三維圖像識別技術(shù)的體感控制器。LM視場呈倒金字塔形，金字塔的塔尖是LM的中心，工作范圍在設備正前方的25～600 mm，視角大約為150°[12]，如圖1所示。根據(jù)傳感器工作的原理，人手應盡量放置在一個固定的角度范圍內(nèi)。在這個區(qū)域之中，傳感器的跟蹤效果最佳，得到手的姿態(tài)更加清晰正確。若手掌向兩側(cè)旋轉(zhuǎn)，傳感器檢測效果會降低。若手掌超出了這個視角范圍，傳感器將因人手被遮擋而難以獲得手部信息。

圖1 單個LM捕捉范圍XY平面示意圖

1.1 LM數(shù)據(jù)結(jié)構(gòu)體

LM 捕捉的數(shù)據(jù)形式為幀(frame)，每一幀中包含了基本追蹤的數(shù)據(jù)列表，列表中包含的捕捉實體如表1所示。

表1 幀的追蹤數(shù)據(jù)

當這些實體被檢測到時，LM的應用程序軟件會為這個物體分配一個唯一的ID指示符。這個ID指示符保持不變的條件就是此實體一直存在于可視范圍當中。如果追蹤實體離開了LM可視范圍且再次出現(xiàn)時，LM會重新分配新的ID。

在LM的SDK(軟件開發(fā)工具包)中，每幀包含Bone(骨骼)、Finger(手指)、Arm(手臂)和Hand(手)這4種數(shù)據(jù)結(jié)構(gòu)，具體如下：

骨骼數(shù)據(jù)結(jié)構(gòu)為：Bone(Vector prevJoint，Vector nextJoint，Vector center，Vector direction，float length，float width，Bone.BoneType type，LeapQuaternion rotation)。prevJoint、nextJoint、center分別表示骨骼的起點、終點和中點；direction表示骨骼從起點朝向終點的向量；length、width分別表示指節(jié)的長度和寬度；type表示骨骼的類型；rotation表示骨骼旋轉(zhuǎn)。

手指數(shù)據(jù)結(jié)構(gòu)為：Finger(long frameId，int handId，int fingerId，float timeVisible，Vector tipPosition，Vector direction，float width，float length，bool isExtended，F(xiàn)ingerType type，Bone metacarpal，Bone proximal，Bone intermediate，Bone distal)。前3項分別為分配的幀id、手id和手指id；當前手指可見的時間長短用timeVisible表示；指尖的位置用tipPosition表示；指尖所指的方向用direction表示；當前手指的屈伸狀態(tài)用isExtended表示；最后4項為每一個手指都包含的4個骨骼名字。

手臂的數(shù)據(jù)結(jié)構(gòu)為：Arm(Vector elbow，Vector wrist，Vector center，Vector direction，float length，float width，LeapQuaternion rotation)。包含了手肘、手腕和手臂的屬性，含義與上述屬性類似。

手的數(shù)據(jù)結(jié)構(gòu)為：Hand(long frameID，int id，float confidence，float grabStrength，float grabAngle，float pinchStrength，float pinchDistance，float palmWidth，bool isLeft，float timeVisible，Arm arm，Listfingers，Vector palmPosition，Vector stabilizedPalmPosition，Vector palmVelocity，Vector palmNormal，LeapQuaternion palmOrientation，Vector direction，Vector wristPosition)。包括了手握住的力度、角度，捏取的力度、距離，手掌寬度、法向量、旋轉(zhuǎn)角度和方向等屬性。

1.2 Unity3D中LM的數(shù)據(jù)采集

Unity3D是一個多領(lǐng)域、多平臺的3D游戲開發(fā)工具，廣泛用于虛擬現(xiàn)實等領(lǐng)域的應用開發(fā)。LM可以直接和Unity3D聯(lián)合進行開發(fā)，當LM捕捉到手后，Unity3D中會顯示出相應的手部模型。由于Unity3D和LM的坐標系不同，在腳本中還需要進行坐標轉(zhuǎn)換，才能進行數(shù)據(jù)打包發(fā)送。在本文中，主機端與LM連接，可以識別人手的姿態(tài)和運動狀態(tài)。在交互過程中，只要手放置在交互空間內(nèi)，LM即可自動識別手部并得到精確的手部位置和各參數(shù)數(shù)據(jù)。這部分數(shù)據(jù)將通過局域網(wǎng)絡傳輸?shù)娇蛻舳?，客戶端接收?shù)據(jù)后，即在Unity3D環(huán)境下進行手部模型重建。系統(tǒng)示意圖如圖2所示。

圖2 聯(lián)合開發(fā)系統(tǒng)示意圖

2 數(shù)據(jù)結(jié)構(gòu)體優(yōu)化

2.1 手部數(shù)據(jù)的預處理

在1.2節(jié)介紹的數(shù)據(jù)傳輸過程中，LM把采集所得的數(shù)據(jù)直接傳輸給Unity3D。而這部分數(shù)據(jù)結(jié)構(gòu)比較冗雜，既包含了采集所得的數(shù)據(jù)，也包含了一些通過基礎(chǔ)數(shù)據(jù)推算得到的數(shù)據(jù)，這些采集數(shù)據(jù)在Unity3D中仍以幀的形式存在。因此，首先要對幀數(shù)據(jù)進行拆分，才能進行數(shù)據(jù)結(jié)構(gòu)體的優(yōu)化。數(shù)據(jù)拆分之后，將數(shù)據(jù)重組并進行坐標轉(zhuǎn)換后，打包發(fā)送給Unity3D進行手部模型的重構(gòu)。

1) 手部數(shù)據(jù)的拆分

數(shù)據(jù)拆分的含義是使幀中包含的數(shù)據(jù)結(jié)構(gòu)表現(xiàn)出來，從而方便我們對其進行優(yōu)化處理。根據(jù)1.1節(jié)對各數(shù)據(jù)結(jié)構(gòu)的定義，可按骨骼、手指、手臂、手的順序?qū)瑪?shù)據(jù)一一拆分。圖3為手部數(shù)據(jù)拆分程序的流程示意圖。

圖3 手部數(shù)據(jù)拆分程序流程框圖

分析LM拆分后的數(shù)據(jù)結(jié)構(gòu)體，根據(jù)數(shù)據(jù)類型，可以將其中的數(shù)據(jù)分為3類：位姿類，數(shù)據(jù)類型為vector，表達了骨骼點的位姿信息；參數(shù)類，數(shù)據(jù)類型為float，表達了如骨骼的長度、寬度等參數(shù)信息；其他類，類型有bool、type、LeapQuaternion等。

2) 手部數(shù)據(jù)組合

經(jīng)過拆分處理的手部數(shù)據(jù)按順序存放在數(shù)組里，遵循各數(shù)據(jù)結(jié)構(gòu)的要求，且按照順序?qū)?shù)據(jù)重組后進行坐標轉(zhuǎn)換，打包發(fā)送給Unity3D，則實現(xiàn)了經(jīng)過拆分和重組處理的數(shù)據(jù)對原有幀數(shù)據(jù)的替換。圖4為手部數(shù)據(jù)重構(gòu)程序的流程示意圖。

2.2 LM數(shù)據(jù)優(yōu)化模型

2.1節(jié)中對數(shù)據(jù)進行了拆分，按照LM中定義的數(shù)據(jù)結(jié)構(gòu)，這些數(shù)據(jù)里有一部分表達的含義是重復的，對于構(gòu)造手模型沒有貢獻，反而使得數(shù)據(jù)變得冗雜；有的數(shù)據(jù)可以通過簡單的代碼計算得到，在傳輸過程中不是必要的。對這部分拆分后的數(shù)據(jù)進行優(yōu)化處理，可以實現(xiàn)對LM采集數(shù)據(jù)的優(yōu)化，減輕數(shù)據(jù)傳輸?shù)膲毫?，提高手勢捕捉的實時性。

圖4 手部數(shù)據(jù)重構(gòu)程序流程框圖

首先建立3類數(shù)據(jù)集合，分別引入3類權(quán)重，具體如下：

其中，j=bone，finger，arm，hand,分別表示不同的數(shù)據(jù)結(jié)構(gòu)體。當j的值確定后，計算各類數(shù)據(jù)量如下：

以骨骼數(shù)據(jù)結(jié)構(gòu)Bone數(shù)據(jù)為例：n1=4，n2=2，n3=2。位姿類數(shù)據(jù)的優(yōu)序圖權(quán)重計算如表2所示，其余類數(shù)據(jù)的計算同理。

表2 位姿類數(shù)據(jù)優(yōu)序圖權(quán)重

2.3 LM數(shù)據(jù)優(yōu)化方案

通過2.2節(jié)的權(quán)重分析，可以得知每個數(shù)據(jù)在當前類的權(quán)重值，則可以據(jù)此設計優(yōu)化方案。數(shù)據(jù)結(jié)構(gòu)體中有骨骼數(shù)據(jù)、手指數(shù)據(jù)、手臂數(shù)據(jù)和手數(shù)據(jù)，其中骨骼占的數(shù)據(jù)量遠多于其他數(shù)據(jù)。骨骼數(shù)據(jù)結(jié)構(gòu)體為：Bone(Vector prevJoint，Vector nextJoint，Vector center，Vector direction，float length，float width，Bone.BoneType type，LeapQuaternion rotation)。根據(jù)模型，選擇優(yōu)化位姿類和參數(shù)類數(shù)據(jù)中權(quán)重較低的center，direction，length，而其他類數(shù)據(jù)均表達了重要的信息，不能被優(yōu)化。同理，可以優(yōu)化手指結(jié)構(gòu)體中的tipposition，direction；手臂結(jié)構(gòu)體中的center，direction，length，width；手結(jié)構(gòu)體中的direction。在拆分后的數(shù)據(jù)里優(yōu)化以上數(shù)據(jù)后，將數(shù)據(jù)打包重組，為了交互功能的完整，必要時在重組數(shù)據(jù)里進行一些計算，如Bone類中的length可以通過骨骼的起點向量和終點向量計算得到。最終再通過實驗驗證是否滿足交互要求。

優(yōu)化后的數(shù)據(jù)結(jié)構(gòu)體為：骨骼數(shù)據(jù)結(jié)構(gòu)為Bone(Vector prevJoint，Vector nextJoint，float width，Bone.BoneType type，LeapQuaternion rotation)。手指數(shù)據(jù)結(jié)構(gòu)為Finger(long frameId，int handId，int fingerId，float timeVisible，float width，float length，bool isExtended，F(xiàn)ingerType type，Bone metacarpal，Bone proximal，Bone intermediate，Bone distal)。手臂的數(shù)據(jù)結(jié)構(gòu)為Arm(Vector elbow，Vector wrist，LeapQuaternion rotation)。手的數(shù)據(jù)結(jié)構(gòu)為Hand(long frameID，int id，float confidence，float grabStrength，float grabAngle，float pinchStrength，float pinchDistance，float palmWidth，bool isLeft，float timeVisible，Arm arm，Listfingers，Vector palmPosition，Vector stabilizedPalmPosition，Vector palmVelocity，Vector palmNormal，LeapQuaternion palmOrientation，Vector wristPosition)。

3 優(yōu)化后功能驗證

3.1 功能驗證方法

重組手功能驗證主要分為2個部分：

其一是重組手是否能夠完整地表達手的運動狀態(tài)，并重現(xiàn)手的姿態(tài)，如一些手勢能否準確地呈現(xiàn)出來。此外，還要驗證優(yōu)化后得到的重組手與優(yōu)化前的手的手勢相比，是否提升了捕捉精度，是否提升了實時性。為了驗證優(yōu)化后的重組手模型能否精確呈現(xiàn)出手勢動作，選取了4個典型手勢，如圖5所示。為了進一步對比優(yōu)化前后的模型手功能，將優(yōu)化的重組手和未優(yōu)化的重組手與同一個真實值對比，觀察運動過程中的實時性、跟隨性、捕捉精度等。搭建了一個系統(tǒng)：同時使用3個LM，一個與主機端相連，作為真實值，另2個與不同的客戶機相連，3個LM擺放的位置盡量接近，減少因擺放位置產(chǎn)生的誤差，系統(tǒng)布局示意圖如圖6所示。主機端不采取任何優(yōu)化方法，得到LM原始數(shù)據(jù)構(gòu)造的手模型，編號為①；在一個客戶機端采取優(yōu)化方法，另一個不采取任何優(yōu)化方法，得到的2個重組手都通過局域網(wǎng)傳輸?shù)街鳈C端上，分別為②③號手模型。主機端可以同時看到3個手模型，實驗人員在捕捉范圍內(nèi)做手部運動，可以對比優(yōu)化前后的模型手。

圖5 選取的4個典型手勢

圖6 系統(tǒng)布局示意圖

其二是重組手的交互功能，是否能夠“懸?！痹谖矬w附近、是否能夠?qū)ξ矬w進行觸碰，以及是否能夠?qū)崿F(xiàn)精確抓取。為驗證這些功能，設計了2種場景。場景一設計了許多不同類型的交互對象，如圖7所示。在這個場景的右側(cè)是一些浮動的對象，當手在附近時，它們會發(fā)光，但它們只會接收懸停信息，無法被抓取。場景中的其他對象則既能感受懸停也能被抓取。在這個場景中，對不同的物體進行抓取、碰撞、懸停等動作，就可以判斷重組手是否具有相應的交互功能。場景二設計了許多按鈕和滑塊，如圖8所示，右側(cè)的按鈕只需要觸碰即可按下，而左邊和下方的滑塊都需要做出“捏取”姿勢才能進行滑動。通過對面板上按鈕的按動和滑動，可以檢測重組手的精度及抓取的準確性。

圖7 場景1界面截圖

圖8 場景2界面截圖

3.2 功能驗證實驗

按2.3節(jié)中的優(yōu)化方案對數(shù)據(jù)結(jié)構(gòu)體優(yōu)化后，進行重組手的功能驗證。圖9為優(yōu)化后重組手的手勢功能驗證，可以看到每一個手勢都準確表示，能反映手部狀態(tài)和姿勢。圖10為3.1節(jié)所設計的方案中的3個LM系統(tǒng)得到的效果圖?？梢钥闯?，手模型②對于手模型①的跟隨效果較好，所呈現(xiàn)出的姿態(tài)也基本一致，而未經(jīng)優(yōu)化的手模型③由于有一定的延遲，所呈現(xiàn)出的手部姿態(tài)失真。這表明了優(yōu)化后的手模型更加能反映手部運動的真實情況，且傳輸速度更快，延遲低，能滿足大范圍手勢捕捉的應用要求。圖11為利用場景一、場景二對優(yōu)化后重組手的交互功能進行驗證，可以看到重組手的交互功能完善，能夠滿足正常的交互需求。

圖9 重組手的手勢功能驗證

圖11 重組手的交互功能驗證

4 優(yōu)化結(jié)果分析及多LM系統(tǒng)測試

4.1 優(yōu)化結(jié)果分析

通過建立數(shù)學模型，設計了優(yōu)化方案，并經(jīng)過實驗驗證，由此得到的重構(gòu)手模型功能完整，既可以完整反映手的運動狀態(tài)，迅速地呈現(xiàn)出相應的手勢動作，也可以進行必需的交互。數(shù)據(jù)結(jié)構(gòu)中每一個數(shù)據(jù)所占字節(jié)大小基本相同，觀察優(yōu)化前后的拆分程序，可以得出：一只手中，Bone數(shù)據(jù)有20組，每組由19個數(shù)據(jù)優(yōu)化為12個數(shù)據(jù)；finger數(shù)據(jù)有5組，每組由14個數(shù)據(jù)優(yōu)化為8個數(shù)據(jù)；arm數(shù)據(jù)為1組，從15個數(shù)據(jù)優(yōu)化為7個數(shù)據(jù)，hand數(shù)據(jù)為1組，從32個數(shù)據(jù)優(yōu)化為29個數(shù)據(jù)。而在拆分后的一幀數(shù)據(jù)中，共有4組手的數(shù)據(jù)。用優(yōu)化后的數(shù)據(jù)量除以原有數(shù)據(jù)量，可以計算得到優(yōu)化后數(shù)據(jù)量減少了36%。數(shù)據(jù)對比圖如圖12所示。

圖12 優(yōu)化后數(shù)據(jù)量和總數(shù)據(jù)量

局域網(wǎng)內(nèi)信息傳輸?shù)膶嶓w為數(shù)據(jù)[14]，數(shù)據(jù)傳輸時，經(jīng)過二次編碼，模擬數(shù)據(jù)產(chǎn)生模擬信號，數(shù)字數(shù)據(jù)則產(chǎn)生數(shù)字信號。局域網(wǎng)內(nèi)數(shù)據(jù)交互的實質(zhì)是數(shù)據(jù)通信，可分為并行傳輸和串行傳輸2種方式。因此除去布線方式，硬件條件等外在因素，局域網(wǎng)傳輸?shù)乃俣扰c數(shù)據(jù)量有著密不可分的關(guān)系。當數(shù)據(jù)量減少了36%時，網(wǎng)絡傳輸?shù)乃俣葘⒌玫酱蠓嵘?，網(wǎng)絡帶寬壓力將大大減輕。

4.2 多LM系統(tǒng)測試

在實際運用中，為了擴大手部追蹤范圍，常采用多LM系統(tǒng)，而多LM系統(tǒng)數(shù)據(jù)冗雜的問題更為嚴重。將經(jīng)過驗證的數(shù)據(jù)優(yōu)化方案運用到一個多LM系統(tǒng)中進行測試。這個系統(tǒng)由5個LM組成，系統(tǒng)的布局如圖13所示。

圖13 多LM系統(tǒng)布局

表3給出了這個系統(tǒng)的捕捉范圍與官方給出的單個LM捕捉范圍，水平跟蹤范圍擴大到202.16°，增加了34%，垂直跟蹤范圍擴大到164.43°，增加了37%。但是由于LM數(shù)量的增多，數(shù)據(jù)量也會成倍增加，數(shù)據(jù)量冗雜導致傳輸速度低的問題更為突出。將優(yōu)化方法運用到這個系統(tǒng)中，實驗人員在可捕捉范圍內(nèi)做出手勢進行測試，如圖14所示。出現(xiàn)的重疊的膠囊手由5個不同的LM捕捉得到，最終呈現(xiàn)融合后的手勢效果。

表3 多LMC和單LMC捕捉范圍

圖14 系統(tǒng)測試效果圖

使用優(yōu)化數(shù)據(jù)結(jié)構(gòu)的系統(tǒng)，由于每個LM的數(shù)據(jù)量減少了約36%，在帶寬不變的情況下，系統(tǒng)在局域網(wǎng)內(nèi)所需的傳輸時間更短，手勢捕捉功能得到了大幅提升。因此，手的融合也可以在更短時間內(nèi)完成，從圖中也可以看到所呈現(xiàn)的融合效果很好。在實際應用中，傳輸時間更短，傳輸速度的提高可以滿足實時性要求。經(jīng)過測試，通過對數(shù)據(jù)結(jié)構(gòu)體的優(yōu)化，解決了多個LM數(shù)據(jù)冗雜的問題，緩解了傳輸?shù)膲毫?，能夠更好地滿足實際運用的需求。

5 結(jié)論

為了實現(xiàn)大范圍的手勢捕捉，提升裝配過程中操作人員的體驗，多LM系統(tǒng)是必然的選擇。而LM本身的數(shù)據(jù)結(jié)構(gòu)體冗雜，在多LM系統(tǒng)中表現(xiàn)得更顯著，多LM系統(tǒng)運用局域網(wǎng)進行數(shù)據(jù)傳輸，數(shù)據(jù)冗雜問題將影響系統(tǒng)的實時性、精度等。對于面向大范圍手勢捕捉的多LM系統(tǒng)手部運動數(shù)據(jù)結(jié)構(gòu)體冗雜的問題進行了研究，提出了一個數(shù)學模型，設計了數(shù)據(jù)結(jié)構(gòu)體的優(yōu)化方案，能夠滿足交互需求，實現(xiàn)了數(shù)據(jù)量優(yōu)化，最終數(shù)據(jù)量減少了36%。將優(yōu)化的數(shù)據(jù)結(jié)構(gòu)體運用到多LM系統(tǒng)中測試，顯著提高了系統(tǒng)手勢捕捉速度和精度，極大地緩解了網(wǎng)絡傳輸帶寬的壓力，實現(xiàn)了大范圍手勢實時捕捉，滿足了大范圍手工產(chǎn)品裝配的需求。