基于虛擬現(xiàn)實的人機交互中的多特征手勢識別追蹤算法的研究

摘 要：文章首先分析了虛擬現(xiàn)實人機交互中的要點部分，總結(jié)為視線選擇與虛擬場景構(gòu)建，并對其中的構(gòu)成要點技術(shù)加以論述。在此基礎(chǔ)上重點探討實現(xiàn)虛擬現(xiàn)實人機交互環(huán)境下多特征手勢識別的追蹤算法，結(jié)合實際案例整理出識別后的多特征手勢虛擬圖，幫助人們更直觀地了解虛擬現(xiàn)實技術(shù)下手勢識別效果。

關(guān)鍵詞：虛擬現(xiàn)實；人機交互；多特征手勢識別；追蹤算法

中圖分類號：TP301 文獻標(biāo)識碼：A

A Study of the Multi-Feature Gesture Recognition Tracking

Algorithm in VR-Based Human-Computer Interaction

CHEN Chuntie

（Beijing ZANVR Technology CO.，LTD，Beijing 100085，China）

Abstract：This paper firstly analyzes the main points of virtual reality （VR） human-computer interaction，summarizes the construction of visual selection and virtual scene，and discusses some of the key techniques.On this basis，the paper focuses on the implementation the multi-feature gesture recognition tracking algorithm in VR human-computer interaction.Combined with the actual case，the recognized virtual images of the multi-feature gesture are sorted out，helping people more intuitively understand the gesture recognition effect with VR technology.

Keywords：virtual reality；human-computer interaction；multi-feature gesture；tracking algorithm

1 引言（Introduction）

利用虛擬現(xiàn)實人機交互軟件來進行多特征手勢識別，視線選擇直接影響到最終的手勢識別功能實現(xiàn)。選擇正確的視線手勢識別才能順利進行，從而滿足虛擬現(xiàn)實人機交互系統(tǒng)中的識別追蹤需求[1]。手勢識別追蹤屬于動態(tài)信息捕捉，在信息準(zhǔn)確程度和更新時間上均要達到規(guī)定標(biāo)準(zhǔn)，實現(xiàn)選擇首先需要確定控制點，也就是交換過程中的視線中心，通過中心確定來進行視覺方向判斷，使用者在觀看交互點過程中，實現(xiàn)視覺上的轉(zhuǎn)換，并將多特征手勢識別到計算機軟件中[2]。在多特征手勢識別追蹤算法中，視線選擇也可以理解為是手勢捕捉點的控制，將各個手勢基本定位點進行捕捉，更精準(zhǔn)地將多特征動態(tài)手勢識別人機交互系統(tǒng)中。

2 虛擬現(xiàn)實人機交互中的要點部分（The key points

of virtual reality human-computer interaction）

虛擬現(xiàn)實場景構(gòu)建需要借助陀螺儀來檢驗效果，對多特征手勢動態(tài)進行準(zhǔn)確捕捉觀察。無論動態(tài)手勢做出怎樣的變化，在陀螺儀定位效果下均能準(zhǔn)確地定位數(shù)據(jù)捕捉點變化[3]。虛擬環(huán)境下攝像機變化方向需要與實際多特征手勢保持一致，靜止?fàn)顟B(tài)向動態(tài)轉(zhuǎn)變過程，需要在追蹤算法幫助下完成。多特征手勢通過數(shù)據(jù)捕捉來構(gòu)建虛擬場景，需要針對運動過程中存在的抖動誤差進行處理，避免這部分特征也進入到最終的追蹤捕捉中[4]。借助陀螺儀進行虛擬環(huán)境的視野觀看，不論使用者朝向哪個方向，虛擬環(huán)境中的攝像機就會跟著進行朝向，其中最為關(guān)鍵的開發(fā)要點就是控制抖動性。由于人朝向同一個方向靜止觀察，并不會一動不動，微小的移動可能會對相機產(chǎn)生很多的抖動。實驗證明，通過一系列算法可以顯著降低抖動性。移動過程中速度越快，所產(chǎn)生的抖動也越難以控制。虛擬場景構(gòu)建過程中，首先需要進行抖動降低，將其控制在需要的范圍內(nèi)，數(shù)據(jù)捕捉過程中通過這種方法來構(gòu)建相互聯(lián)系，從而達到最佳控制管理效果。掌握人機交互中的要點部分，多特征手勢追蹤才能進入到更準(zhǔn)確的范圍中[5]。

3 多特征手勢識別追蹤算法（Multi-feature gesture

recognition tracking algorithm）

3.1 手勢識別特征提取

（1）HOG特征的提取

該種特征提取算法中，采用圖像描述來進行現(xiàn)場構(gòu)建。面對多特征手勢，在提取中首先需要確定外觀，對外部輪廓進行特征提取，描繪出與手勢動作相一致的虛擬場景，并通過這種虛擬場景構(gòu)建來繼續(xù)增強多特征手勢描繪準(zhǔn)確程度[6]。該種特征提取算法經(jīng)常被應(yīng)用在安全識別中。多特征手勢變化較多，應(yīng)用該種追蹤方法后最終的控制效率也會有明顯增強。在多特征手勢追蹤中應(yīng)用HOG提取方法，會將手勢圖像細(xì)分成為多個單元，每個單元中都有不同的特征，從而描繪出手勢變化中的邊緣圖像。并將這些細(xì)分的單元格統(tǒng)一劃分到同一個區(qū)域中，這樣提取的梯度邊緣圖也聯(lián)通在一起。多特征手勢的HOG特征生成流程見圖1。圖1中的block單元為人為回合產(chǎn)生的區(qū)域，其中涵蓋的單元內(nèi)容可以根據(jù)現(xiàn)實需求來完善，從而實現(xiàn)手勢動作最為精準(zhǔn)的控制。

（2）動態(tài)手勢圖像分區(qū)處理

應(yīng)用HOG特征區(qū)域方法后，手勢變化的分區(qū)處理也有突破性的創(chuàng)新。根據(jù)不同情況下的手勢變化，將其分為5個區(qū)域，如圖2所示。將手掌所處于的中心區(qū)域劃分為0區(qū)域，沿中心區(qū)域按照逆時針方向分別劃分為1—4個區(qū)域。這種手勢變化與傳統(tǒng)的手勢變化相比較，減少了4個分區(qū)模式下的重疊問題，將手勢動作更好地展現(xiàn)出來。不同區(qū)域中的手勢動作在捕捉中，要將誤差控制保持一致。重疊問題解決后，手勢動作的細(xì)節(jié)部分也得到展現(xiàn)，可以將所捕捉的動作實時體現(xiàn)在虛擬現(xiàn)實人機交互系統(tǒng)中，從而實現(xiàn)手勢處理更高效的運轉(zhuǎn)和使用。手勢捕捉任務(wù)結(jié)束后可以進入到接下來的算法融合中。通過算法之間的相互配合來進行現(xiàn)場控制，通過算法之間的轉(zhuǎn)換來將手勢動作具體變化展現(xiàn)出來。endprint

（3）HOG特征提取追蹤算法

采用高斯函數(shù)運算方法來進行現(xiàn)場計算構(gòu)建，對手勢邊緣所捕捉到的灰階圖像進行圓滑處理，計算公式如下：

其中表示所捕捉的動態(tài)點在坐標(biāo)中的具位置，確定所捕捉多特征手勢的動態(tài)識別點建立子集，在自己的交互處理中提升最終的捕捉效果。邊緣部分的梯度值也會受到手勢動態(tài)捕捉過程中的像素影響，手勢動態(tài)捕捉過程中邊緣抖動影響也更加嚴(yán)重。對于這種情況，在具體的像素捕捉控制過程中可以設(shè)計出坐標(biāo)取值子集的范圍。系統(tǒng)在運算過程中根據(jù)參數(shù)結(jié)果進行自動誤差補償，數(shù)據(jù)經(jīng)過調(diào)整后所捕捉到的手勢邊緣也更圓潤，手勢動態(tài)捕捉結(jié)果與實際情況之間也更貼合。

3.2 HOG手勢特征融合

實現(xiàn)手勢特征融合需要建立在加權(quán)矩陣基礎(chǔ)上，通過系統(tǒng)內(nèi)部的特征默認(rèn)融合，來進行交互處理。將不同手勢變化中的標(biāo)志點進行跟蹤捕捉，特征融合過程中僅針對手勢動作變化來進行，因此在初級處理階段會對圖像進行灰階處理，避免圖像色彩對特征融合進行造成影響。特征融合采用向量與矩陣之間的相互融合，手勢圖像特征向量集合為，全局特征則用向量表示。不同特征所受到的影響度有很大不同，如果直接將其應(yīng)用在特征融合中，不同影響之間相互作用會造成最終的手勢識別誤差。在特征融合前會進行向量之一的歸一化，確定子集在相互影響模式中能夠保持同等向量的影響，從而通過這種方法來幫助提升最終的虛擬現(xiàn)實人機交互算法提取，確定需要的數(shù)據(jù)子集范圍。融合前捕捉的多特征手勢虛擬圖如圖3所示。特征融合建立在手勢特征提取和子集向量基礎(chǔ)上，并通過這種方法來進行現(xiàn)場特征提取構(gòu)建，從而達到最佳控制配合效果。

3.3 SVW模型算法應(yīng)用

（1）核函數(shù)選擇

將所捕捉到的手勢變化信息，建立在高維空間基礎(chǔ)上，體現(xiàn)出手動捕捉信息的非線性變化，從而實現(xiàn)核函數(shù)對現(xiàn)場特征的全面構(gòu)建和體現(xiàn)。不同特征環(huán)境下函數(shù)運算所針對的參數(shù)條件，均通過不同函數(shù)模型配合來高效實現(xiàn)，核函數(shù)運算公式如下：

核函數(shù)運算需要從不同方向來進行，以上公式中的運算對象僅為非線性變化的描述。多特征手勢識別是針對動態(tài)性的動作來進行，將其轉(zhuǎn)化進入到虛擬現(xiàn)實交互系統(tǒng)中，則只能針對系統(tǒng)內(nèi)部的變化特征來進行，捕捉各個點變化，盡可能地縮短點與點之間的距離，并通過這種構(gòu)建方法來繼續(xù)強化所進行的現(xiàn)場捕捉設(shè)計。點之間流程程度提升后所描繪出的手勢動作也更逼真，從而達到多特征手勢識別效果。應(yīng)用核函數(shù)運算公式來實現(xiàn)對多特征手勢的追蹤，還應(yīng)該在其中體現(xiàn)出不同方案的控制效果，以及現(xiàn)場需要繼續(xù)深入完善的內(nèi)容，從根源上解決誤差所帶來的影響問題。

（2）SVM應(yīng)用后多分類器問題解決

應(yīng)用SVM算法涉及多種不同的核函數(shù)運算模式，應(yīng)用多分類器后存在分類函數(shù)之間的轉(zhuǎn)變問題。解決此類問題需要在追蹤算法應(yīng)用上進行繼續(xù)深入完善，將不同類型的算法進行歸類總結(jié)，并按照涵蓋的數(shù)據(jù)進行分類。分別用不用的未知數(shù)來代表向量和子集，進行兩者之間關(guān)系的轉(zhuǎn)變。建立L（y，f（x，a））=0或者1。當(dāng)y=f（x，a）時，最終的結(jié)果為0；當(dāng)y≠f（x，a）時，所計算的結(jié)果也與實際情況存在差異性。在該運算方法中對最終的分類進行了嚴(yán)格的區(qū)分，在結(jié)果上也與實際情況能夠保持一致。將分類方法結(jié)合這一公式進行運算，最終的運算結(jié)果才能更符合實際情況，避免受分類結(jié)果影響導(dǎo)致最終的多特征手勢動態(tài)捕捉出現(xiàn)錯誤。運算過程中的風(fēng)險規(guī)避也體現(xiàn)在這一方面。通過現(xiàn)場的各項參數(shù)構(gòu)建，對于多特征手勢動態(tài)中所能夠體現(xiàn)出的問題，充分與設(shè)計方案相互結(jié)合，體現(xiàn)出虛擬現(xiàn)實技術(shù)中各項控制點之間的相互結(jié)合。算法中所體現(xiàn)出的多特征手勢識別追蹤，還要考慮數(shù)據(jù)傳輸受環(huán)境影響可能會產(chǎn)生的誤差，在交互過程中需要將數(shù)據(jù)與虛擬環(huán)境相互結(jié)合使用，并排除數(shù)據(jù)傳輸中產(chǎn)生的誤差。

（3）SVM多分類算法應(yīng)用

應(yīng)用多分類算法來進行判別函數(shù)分類，根據(jù)所得到的分類結(jié)果來重新組成不同的單元格格式，算法分類同樣要基于不同的數(shù)據(jù)子集基礎(chǔ)上。根據(jù)各個系統(tǒng)之間的相互控制來共同完善。多分類算法應(yīng)用需要建立在手勢分區(qū)基礎(chǔ)上，對不同區(qū)域的手勢動態(tài)進行捕捉，基于現(xiàn)實手勢基礎(chǔ)上來構(gòu)建出虛擬模擬手勢，實現(xiàn)虛擬人機交互，將多特征手勢變化整合到其中，多分類算法可以同時面對多項數(shù)據(jù)處理任務(wù)，實現(xiàn)數(shù)據(jù)構(gòu)建應(yīng)用與現(xiàn)場控制方案之間更好的結(jié)合。根據(jù)所建立的核函數(shù)運算模型來進行二次劃分，根據(jù)追蹤算法需求來進行手勢邊緣識別處理，進入到更適合的基礎(chǔ)方向中。

4 基于時空軌跡的動態(tài)手勢識別（Dynamic gesture

recognition based on space-time trajectory）

4.1 時空軌跡的動態(tài)手勢特征

建立在時空軌跡基礎(chǔ)上的手勢特征提取，首先要確定其位置，觀察在時空軌跡中手勢所處位置，繼而進行關(guān)鍵部分的放大處理，方便對手勢變化進行捕捉與識別。對于位置軌跡的描述同樣需要借助向量來進行，確定手勢變化過程中的角度。建立如下公式：。可以將手勢變化過程中的不同角度坐標(biāo)帶入到其中，通過運算得出更詳細(xì)的結(jié)果與數(shù)值，從而進行時空軌跡下的動態(tài)手勢特征捕捉。同時進入到虛擬現(xiàn)實人機交互模式下的畫面中可能會存在干擾因素，通過角度計算來確定位置的目的也是將這部分干擾數(shù)據(jù)篩選掉，實現(xiàn)更準(zhǔn)確的多特征手勢識別追蹤。

4.2 HMM動態(tài)手勢軌跡識別

軌跡識別是手勢認(rèn)證的重要基礎(chǔ)。當(dāng)需要識別的手勢處于動態(tài)模式下，則需要將整個運動過程中的軌跡詳細(xì)描述在虛擬現(xiàn)實人機交互系統(tǒng)中。通過軌跡描述來精準(zhǔn)地反映出手勢運動過程，對邊緣部分進行精細(xì)化處理。HMM技術(shù)是通過建立統(tǒng)計模型來確定軌跡運動中經(jīng)過的各個坐標(biāo)點，再通過建立子集來將運動軌跡還原到計算機虛擬系統(tǒng)中，顯示出最終經(jīng)過灰階處理的影響。應(yīng)用HMM技術(shù)所實現(xiàn)的軌跡識別具體程序構(gòu)成如圖4所示，識別期間會進行相關(guān)序列的建立，并通過系統(tǒng)內(nèi)部隨機生成來形成手勢動作邊緣區(qū)域，達到最佳仿真效果。動態(tài)手勢邊緣部分的虛化處理要高于靜態(tài)手勢，這樣在仿真效果上才能保持近似。

5 結(jié)論（Conclusion）

綜上所述，虛擬現(xiàn)實技術(shù)是一種可以創(chuàng)建和體驗虛擬世界的計算機技術(shù)，它利用計算機生成一種模擬環(huán)境，是一種多源信息融合交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真，可借助傳感頭盔、數(shù)據(jù)手套等專業(yè)設(shè)備，讓用戶進入虛擬空間，實時感知和操作虛擬世界中的各種對象，從而通過視覺、觸覺和聽覺等獲得身臨其境的真實感受。虛擬現(xiàn)實技術(shù)是仿真技術(shù)的一個重要方向，是仿真技術(shù)與計算機圖形學(xué)、人機接口技術(shù)、多媒體技術(shù)、傳感技術(shù)和網(wǎng)絡(luò)技術(shù)等多種技術(shù)的融合，是一門富有挑戰(zhàn)性的交叉技術(shù)。

參考文獻（References）

[1] 孟祥軍，趙文華，馬志慶，等.醫(yī)學(xué)移動軟件中虛擬現(xiàn)實人機交互方案的研究[J].中國醫(yī)學(xué)裝備，2017，14（8）：112-114.

[2] 王瑜.Virtools虛擬環(huán)境中人物角色的相關(guān)設(shè)計方法[J].信息技術(shù)，2017（1）：56-58.

[3] 彭露茜，姚加飛.利用軌跡模板匹配方法的實時動態(tài)手勢識別[J].單片機與嵌入式系統(tǒng)應(yīng)用，2017，17（8）：17-20.

[4] 張寧，劉迎春，沈智鵬，等.虛擬現(xiàn)實技術(shù)在專門用途英語教學(xué)中的應(yīng)用研究綜述[J].計算機科學(xué)，2017，44（s1）：43-47.

[5] 王命延，胡茗，楊文姬.機器人跟蹤手勢姿態(tài)圖像運動準(zhǔn)確性仿真[J].計算機仿真，2017，34（8）：346-350.

[6] 姚恒，袁敏，秦川，等.改進線性外推法預(yù)估器的手勢跟蹤[J].應(yīng)用科學(xué)學(xué)報，2017，35（1）：81-89.

作者簡介：

陳春鐵（1982-），男，本科，VR研究員.研究領(lǐng)域：虛擬現(xiàn)實，人工智能.endprint