視景仿真中虛擬手的人機(jī)交互技術(shù)研究

韓睿

摘 要：隨著社會(huì)的快速發(fā)展，各種新型科技不斷涌現(xiàn)，虛擬現(xiàn)實(shí)技術(shù)誕生。視景仿真技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的重要組成部分，也是虛擬現(xiàn)實(shí)的重要手段。它可以通過(guò)計(jì)算機(jī)虛擬現(xiàn)實(shí)環(huán)境，給人多種感官反饋，讓人不受時(shí)間與空間的約束，自由體驗(yàn)。它以仿真為最終目的，通過(guò)計(jì)算機(jī)生成虛擬圖像，形成逼真的三維世界，并仿真人的視覺(jué)與聽(tīng)覺(jué)等感官。目前，視景仿真技術(shù)已經(jīng)成功應(yīng)用于諸多領(lǐng)域，如娛樂(lè)游戲、醫(yī)療、軍事、模擬訓(xùn)練等。因此，本文重點(diǎn)研究了視景仿真中虛擬手的人機(jī)交互技術(shù)。

關(guān)鍵詞：視景仿真;虛擬手;人機(jī)交互技術(shù)

中圖分類號(hào)：TP391.9文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-5168（2020）17-0016-03

Research on Human-computer Interaction Technology of Virtual Hand in Visual Simulation

HAN Rui

（Nanjing Vocational Institute of Transport Technollogy，Nanjing Jiangsu 211188）

Abstract： With the rapid development of society， various new technologies are emerging， and virtual reality technology is born. Visual simulation technology is an important part of virtual reality technology and an important means of virtual reality. It can give people a variety of sensory feedback through the computer virtual reality environment， allowing people to experience freely without the constraints of time and space. It takes simulation as the ultimate goal， generates virtual images through the computer to form a realistic three-dimensional world， and simulates human senses such as vision and hearing. At present， visual simulation technology has been successfully applied in many fields， such as entertainment games， medical， military， simulation training and so on. Therefore， this paper focused on the human-computer interaction technology of virtual hands in visual simulation.

Keywords： visual simulation;virtual hand;human-computer interaction technology

虛擬手是虛擬現(xiàn)實(shí)技術(shù)的重要組成部分，也是虛擬現(xiàn)實(shí)技術(shù)在人機(jī)交互中的具體應(yīng)用手段。對(duì)虛擬手進(jìn)行深入研究，可以有效地促進(jìn)虛擬現(xiàn)實(shí)技術(shù)的快速發(fā)展。本文研究了視景仿真中虛擬手的人機(jī)交互技術(shù)，以虛擬手作為切入點(diǎn)，基于C++與Vega的仿真視景環(huán)境，將虛擬手作為虛擬環(huán)境中人手的替代物，把現(xiàn)實(shí)中人手的操作信息與指令信息傳遞到虛擬場(chǎng)景中，使得虛擬手可以做到與人相同的操作，進(jìn)行實(shí)時(shí)的交互操作。這種方法可以使得用戶具有較大的真實(shí)感和沉浸感。

1 發(fā)展現(xiàn)狀

1.1 視景仿真技術(shù)的發(fā)展現(xiàn)狀

視景仿真技術(shù)就是讓用戶在真實(shí)的世界中與計(jì)算機(jī)所建立的三維模型進(jìn)行可控制的交互操作，同時(shí)在三維模型中進(jìn)行交互或漫游，感受在真實(shí)世界中難以獲得的各種體驗(yàn)，它成功實(shí)現(xiàn)了三維空間信息的可視化。信息合成技術(shù)、多媒體技術(shù)、計(jì)算機(jī)技術(shù)等諸多高新技術(shù)的綜合運(yùn)用實(shí)現(xiàn)了視景仿真，交互性、真實(shí)性與沉浸性是視景仿真技術(shù)的三大鮮明特征。

美國(guó)是視景仿真技術(shù)的誕生地，20世紀(jì)60年代，美國(guó)發(fā)布了一項(xiàng)名為“傳感仿真器”的自主發(fā)明，它是第一個(gè)可以通過(guò)虛擬環(huán)境進(jìn)行現(xiàn)實(shí)仿真的設(shè)備，成為視景仿真技術(shù)的雛形。隨著科技的迅速發(fā)展，視景仿真軟件與硬件應(yīng)運(yùn)而生，許多實(shí)用、新穎的設(shè)備持續(xù)輸入市場(chǎng)，人機(jī)交互系統(tǒng)不斷創(chuàng)新，使得視景仿真技術(shù)獲得極大的進(jìn)步。

視景仿真技術(shù)可以促進(jìn)諸多行業(yè)發(fā)展，起初用于軍事，目前其已經(jīng)滲透到醫(yī)療衛(wèi)生、維修、游戲以及操作訓(xùn)練等領(lǐng)域。隨著虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展，其必將擁有更為廣闊的發(fā)展空間。

1.2 虛擬手交互技術(shù)發(fā)展現(xiàn)狀

虛擬手成功地提高了交互的可操作性，強(qiáng)調(diào)通過(guò)人手與虛擬環(huán)境進(jìn)行交互，通過(guò)相應(yīng)設(shè)備進(jìn)行實(shí)時(shí)控制，用戶可以通過(guò)手直接探索虛擬環(huán)境或者操作虛擬環(huán)境中的物品。其間，虛擬手的交互便利性與精準(zhǔn)性都時(shí)刻影響著用戶的真實(shí)體驗(yàn)。虛擬手的交互涉及技術(shù)范圍較廣，如建模技術(shù)、位置跟蹤技術(shù)、手勢(shì)動(dòng)作采集技術(shù)等。隨著科技的日益發(fā)展，虛擬手在制造、娛樂(lè)、實(shí)驗(yàn)等領(lǐng)域必將擁有一片屬于自己的天地。

2 虛擬手人機(jī)交互系統(tǒng)

2.1 虛擬手交互模型

想要進(jìn)行虛擬手人工交互分析，人們就必須首先建立用戶與計(jì)算機(jī)交互模型，以便更好地理解較為復(fù)雜的交互行為。在虛擬手交互過(guò)程中，最少有兩個(gè)參與者，即系統(tǒng)與用戶。所以，人機(jī)界面要在兩者之間準(zhǔn)確且快速地進(jìn)行翻譯，使得人機(jī)交互成功。人機(jī)界面包括輸入與輸出設(shè)備，作為人與計(jì)算機(jī)交互的媒介。

在用戶與虛擬手交互的過(guò)程中，首先用戶需要輸入動(dòng)作信息，然后計(jì)算機(jī)通過(guò)人機(jī)界面翻譯的計(jì)算機(jī)執(zhí)行語(yǔ)言來(lái)操作虛擬手，同時(shí)通過(guò)輸出語(yǔ)言將虛擬手的操作過(guò)程顯示給用戶，最后用戶根據(jù)虛擬手動(dòng)作進(jìn)行交互操作評(píng)價(jià)，確定系統(tǒng)是否達(dá)到預(yù)期的交互目標(biāo)。

2.2 虛擬手交互運(yùn)動(dòng)控制系統(tǒng)

虛擬手何時(shí)開(kāi)始或停止動(dòng)作都是由用戶在整個(gè)交互過(guò)程中進(jìn)行控制的。當(dāng)然，相對(duì)于整個(gè)系統(tǒng)進(jìn)程而言，并不是所有系統(tǒng)進(jìn)程都由用戶來(lái)進(jìn)行操作控制，用戶主要操作是對(duì)計(jì)算機(jī)無(wú)法確定的步驟進(jìn)行控制，而對(duì)于那些可以確定的操作，可通過(guò)計(jì)算機(jī)來(lái)完成。

系統(tǒng)交互后，用戶反饋主要由系統(tǒng)反饋控制系統(tǒng)來(lái)完成，用戶實(shí)時(shí)參與控制仿真系統(tǒng)的運(yùn)行，主要任務(wù)是進(jìn)行操作、明確操作目標(biāo)與流程，發(fā)出相應(yīng)的任務(wù)指令，根據(jù)系統(tǒng)回饋給用戶的視覺(jué)等信息，調(diào)整自身動(dòng)作。這就是反饋控制系統(tǒng)在整個(gè)控制仿真系統(tǒng)中的表達(dá)方式。

用戶通過(guò)對(duì)虛擬手進(jìn)行控制，可以時(shí)刻掌握系統(tǒng)當(dāng)前的狀態(tài)，根據(jù)預(yù)期的任務(wù)進(jìn)行虛擬手操作，輸出信號(hào)后反饋到輸入端進(jìn)行對(duì)比，最后參考與修正過(guò)去的偏差來(lái)預(yù)測(cè)未來(lái)走勢(shì)，有效控制整個(gè)系統(tǒng)的進(jìn)程，得到最高質(zhì)量的交互結(jié)果。

3 虛擬手交互操作技術(shù)

通過(guò)虛擬手進(jìn)行交互操作，用戶可以控制虛擬場(chǎng)景的物體，獲得較強(qiáng)的沉浸感。人們要深入研究虛擬手交互技術(shù)，了解虛擬手操作虛擬物體的流程。

3.1 虛擬手操作的交互任務(wù)

3.1.1 行進(jìn)。行進(jìn)是通過(guò)用戶與目標(biāo)的交互完成的。常見(jiàn)方法有沿路徑移動(dòng)、牽引移動(dòng)、用戶身體移動(dòng)和場(chǎng)景移動(dòng)等。每種方法都可以采用多種交互技術(shù)來(lái)完成。其中，沿路徑移動(dòng)是指用戶預(yù)先設(shè)定好路線進(jìn)行移動(dòng)，可以轉(zhuǎn)換視角，但是不能離開(kāi)預(yù)先設(shè)定的路線;相比沿路徑移動(dòng)，牽引移動(dòng)受到的限制要小，用戶體驗(yàn)是好像自己被牽著在虛擬環(huán)境中移動(dòng)，速度由拖拽體決定而不是用戶自身;場(chǎng)景移動(dòng)是指用戶無(wú)法移動(dòng)，但是可以靈活操控自己的視角，場(chǎng)景圍繞用戶移動(dòng)而不是用戶在虛擬場(chǎng)景中移動(dòng)。

3.1.2 選擇與操控。虛擬交互系統(tǒng)遵循先選擇后操控的規(guī)律，兩種操作經(jīng)常成對(duì)出現(xiàn)。當(dāng)開(kāi)始操作包含選擇操作時(shí)，選擇與操控就可以同時(shí)進(jìn)行。任務(wù)結(jié)構(gòu)劃分為選擇、操作與釋放，人們可以清晰了解選擇與操控的流程[1]。

3.2 碰撞檢測(cè)及碰撞響應(yīng)

碰撞檢測(cè)是利用虛擬手操作與移動(dòng)虛擬世界中物品的重要前提。為了提高用戶的沉浸效果，保持視景環(huán)境的真實(shí)性，人們需要對(duì)碰撞進(jìn)行及時(shí)檢測(cè)，計(jì)算碰撞后發(fā)生的反應(yīng)，及時(shí)更新結(jié)果，否則會(huì)出現(xiàn)穿透模型的情況，影響客戶體驗(yàn)。例如，當(dāng)用戶在虛擬環(huán)境中伸手拿一個(gè)杯子時(shí)，系統(tǒng)要先檢測(cè)到虛擬手與杯子之間發(fā)生碰撞接觸，然后才可以將杯子拿起來(lái)。其間需要解決兩個(gè)問(wèn)題，一是要檢測(cè)到碰撞的發(fā)生和碰撞發(fā)生的位置，二是要明確發(fā)生碰撞后的進(jìn)一步反應(yīng)。碰撞反應(yīng)計(jì)算依賴碰撞檢測(cè)系統(tǒng)，所以碰撞檢測(cè)系統(tǒng)在虛擬環(huán)境中是必不可少的存在。

3.2.1 碰撞檢測(cè)。碰撞檢測(cè)系統(tǒng)根據(jù)場(chǎng)景內(nèi)各個(gè)模型之間是否在某一時(shí)刻發(fā)生干涉，判斷是否發(fā)生碰撞反應(yīng)。從幾何角度來(lái)看，碰撞檢測(cè)可以分為二維平面檢測(cè)和三維空間檢測(cè)，二維平面檢測(cè)比較簡(jiǎn)單，已經(jīng)擁有成熟的檢測(cè)算法，而三維空間檢測(cè)要復(fù)雜得多。虛擬仿真系統(tǒng)主要需要解決碰撞試驗(yàn)精準(zhǔn)性與實(shí)時(shí)性的矛盾[2]。

3.2.2 碰撞反應(yīng)。碰撞場(chǎng)合比較依賴虛擬環(huán)境中的具體場(chǎng)景，根據(jù)場(chǎng)景不同，進(jìn)行不同的反應(yīng)，其與碰撞檢測(cè)緊密相連，主要任務(wù)是調(diào)節(jié)經(jīng)歷碰撞后的對(duì)象所對(duì)應(yīng)的行為。與物理引擎相比，Vega的碰撞檢測(cè)功能有很大的不同，Vega只能檢測(cè)是否發(fā)生碰撞，而碰撞后該怎么辦、物品會(huì)發(fā)生何種變化完全依靠編寫的程序來(lái)完成。物理引擎不僅可以檢測(cè)碰撞，還可以負(fù)責(zé)檢測(cè)到碰撞后發(fā)生的一系列后果。

在虛擬手移動(dòng)物體的過(guò)程中，虛擬手與物體發(fā)生碰撞并被檢測(cè)到后，該物品就自動(dòng)被定義為虛擬手的子對(duì)象，固化物品與虛擬手的相對(duì)坐標(biāo)，使得物品與虛擬手的坐標(biāo)相對(duì)距離不發(fā)生改變。這樣一來(lái)，用戶就能利用虛擬手抓住物體并進(jìn)行移動(dòng)操作，達(dá)到虛擬交互操作的目的。

3.3 虛擬手對(duì)虛擬物體的操作

在日常生活中，人操作物品的方式有很多，如托舉、抓握等，這些操作與物體的形狀、大小、質(zhì)量等有著密切的關(guān)聯(lián)。人手是存在彈性的，在與物體發(fā)生接觸后會(huì)產(chǎn)生形變，具體的變形狀態(tài)與物體的形狀、質(zhì)量等有關(guān)，不同物體產(chǎn)生的形狀均不同。本文只研究虛擬手對(duì)物品的抓握動(dòng)作，認(rèn)為虛擬手與物體均為剛體。虛擬手的操作過(guò)程分為四個(gè)步驟。

3.3.1 操作虛擬手靠近虛擬物體。用戶通過(guò)位置跟蹤器所提供的虛擬手，捕捉現(xiàn)實(shí)中人手的位置，利用虛擬手靠近操作目標(biāo)。

3.3.2 操作虛擬手準(zhǔn)備移動(dòng)虛擬物體。數(shù)據(jù)手套可以檢測(cè)人手各個(gè)手指的數(shù)據(jù)，在虛擬手向物品靠近的過(guò)程中，調(diào)整各個(gè)手勢(shì)關(guān)節(jié)的彎曲與收展程度，改變虛擬手的形態(tài)，最終形成一個(gè)抓握的形態(tài)。

3.3.3 使用虛擬手操作物體。經(jīng)過(guò)之前的兩個(gè)步驟，已經(jīng)調(diào)整好姿勢(shì)與位置，使虛擬手環(huán)繞在虛擬物品的表面。緩慢調(diào)整虛擬手的位置，使得虛擬手與虛擬物體發(fā)生碰撞，如未發(fā)生碰撞，則需要繼續(xù)調(diào)整位置，直到發(fā)生碰撞。然后，檢測(cè)當(dāng)前情況是否滿足抓取條件，如果能夠滿足抓取條件，則集訓(xùn)進(jìn)行抓取操作，如未滿足抓取條件，則可以繼續(xù)調(diào)整虛擬手的位置及姿態(tài)，直到滿足為止。

3.3.4 操作虛擬手進(jìn)行物品的移動(dòng)或旋轉(zhuǎn)。一旦虛擬手確定具備抓取條件，進(jìn)行抓取，則系統(tǒng)自動(dòng)固化虛擬手與虛擬物品的坐標(biāo)系，將兩者數(shù)據(jù)結(jié)構(gòu)融為一體，將虛擬物品作為虛擬手的子節(jié)點(diǎn)，跟隨虛擬手進(jìn)行共同移動(dòng)與旋轉(zhuǎn)操作。在進(jìn)行移動(dòng)操作時(shí)，用戶在現(xiàn)實(shí)空間中應(yīng)盡量保持手的姿態(tài)不發(fā)生任何改變，以免影響抓握手勢(shì)而改變虛擬手操作[3]。

3.3.5 操作虛擬手釋放虛擬物品。完成虛擬手對(duì)物品的移動(dòng)操作后，要將虛擬物品放置在一個(gè)位置，通過(guò)調(diào)整數(shù)據(jù)手套和虛擬手動(dòng)作，使其不滿足抓取手勢(shì)，這樣兩者之間的坐標(biāo)固化關(guān)系隨之解除，虛擬物品不再跟隨虛擬手移動(dòng)，這時(shí)虛擬手也就成功釋放虛擬物品。

4 結(jié)語(yǔ)

人手作為人機(jī)交互過(guò)程中最為靈敏的器官之一，通過(guò)手勢(shì)進(jìn)行人機(jī)交互，極大地提高了交互的逼真性與自然性。虛擬手作為人機(jī)交互的重要組成部分，也是虛擬現(xiàn)實(shí)技術(shù)在交互系統(tǒng)中的具體應(yīng)用方式之一，對(duì)于虛擬現(xiàn)實(shí)技術(shù)的日后發(fā)展有極其重要的意義。

參考文獻(xiàn)：

[1]王曉媛，田浩，王長(zhǎng)波.虛擬手自然抓取動(dòng)作生成研究[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2020（3）：1-8.

[2]耿宏，文飛.面向機(jī)務(wù)虛擬維修訓(xùn)練的虛擬手操作設(shè)計(jì)[J].計(jì)算機(jī)工程與科學(xué)，2019（7）：1279-1284.

[3]姚壽文，胡子然，王瑀，等.面向虛擬維修的多點(diǎn)碰撞虛擬手研究[J].重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2019（6）：45-52.