基于EON的數(shù)據(jù)手套交互仿真系統(tǒng)的研究

楊曦

摘要：通過分析虛擬現(xiàn)實技術(shù)的發(fā)展?fàn)顩r和趨勢，提出了在虛擬現(xiàn)實生成軟件EON中，結(jié)合數(shù)據(jù)手套與虛擬場景中物品進行互動的實現(xiàn)方法。利用VC++6.0等開發(fā)工具，與EON軟件進行數(shù)據(jù)的交換，以實現(xiàn)手勢識別，虛擬抓取等功能，并結(jié)合這些功能展望了虛擬現(xiàn)實技術(shù)的應(yīng)用前景。

關(guān)鍵詞：虛擬現(xiàn)實；系統(tǒng)仿真；EON；數(shù)據(jù)手套；手勢識別

中圖分類號：TP391.9文獻標(biāo)識碼：A文章編號：1009-3044(2012)01-0084-04

Research Of Data Glove Interactive Ssimulation System Based on EON

YANG Xi

(Information and Control Engineering School, Xian University of Architecture and Technology, Xian 710055, China)

Abstract：By analyzing the trends and development of virtual reality technology , Proposed the Method of combined with data gloves to in? teract the items in the virtual scene by virtual reality software EON. In order to achieve gesture recognition, virtual crawl and other functions, using VC + +6.0 and other development tools, with EON software for data exchange and combined these functions to look into the future of virtual reality technology application.

Key words：virtual reality ; system simulation ; EON;data glove ; gesture recognition

隨著科學(xué)的進步和社會的發(fā)展，一門結(jié)合計算機仿真技術(shù)，圖像識別技術(shù)，計算機圖形學(xué)等多門科學(xué)的交叉技術(shù)逐漸發(fā)展了起來，我們稱其為虛擬現(xiàn)實技術(shù)（Virtual Reality，VR）。虛擬現(xiàn)實技術(shù)是通過用戶平時就可以使用的電腦來創(chuàng)建一種令用戶可以體驗的虛擬環(huán)境，它借助數(shù)據(jù)手套、數(shù)據(jù)頭盔等專業(yè)的外部設(shè)備，實現(xiàn)了交互式體驗和多信息融合的立體圖像的系統(tǒng)仿真，可以讓用戶進入到虛擬的世界之中，實時的與虛擬世界中的各種對象進行身臨其境般的互動

目前的虛擬現(xiàn)實系統(tǒng)，根據(jù)虛擬現(xiàn)實系統(tǒng)所偏向的的方向的不同,主要分為四個方面:即桌面式、沉浸式、增強式和網(wǎng)絡(luò)分布式。桌面式虛擬現(xiàn)實系統(tǒng)通常只使用個人計算機就完成了交互場景的仿真,它缺乏能令用戶免除周邊干擾，沉浸其中的功能，但是其成本也相對較低，因而，比較普及。沉浸式虛擬現(xiàn)實系統(tǒng)是開發(fā)者追求的最理想的目標(biāo),利用頭盔顯示器、數(shù)據(jù)手套和身體部位跟蹤器等交互設(shè)備,通過聽覺、視覺、觸覺以及其他感覺，給用戶帶來一種封閉式的虛擬環(huán)境的交互體驗，其可以廣泛應(yīng)用于虛擬訓(xùn)練，虛擬手術(shù)等現(xiàn)在較為流行的應(yīng)用領(lǐng)域之中[1]。其中數(shù)據(jù)手套與虛擬開發(fā)環(huán)境的交互也是本文研究的重點。如果說沉浸式虛擬現(xiàn)實系統(tǒng)強調(diào)的是用戶在虛擬環(huán)境中的沉浸感，增強式虛擬現(xiàn)實系統(tǒng)則允許用戶觀察到真實世界，同時也能看到疊加在真實世界之上的虛擬對象，增強了用戶對真實環(huán)境的感受，但同時它對系統(tǒng)本身的實時性的要求也就更高，需要有良好的硬件和軟件進行支持。

1系統(tǒng)設(shè)計

1.1系統(tǒng)總體構(gòu)思

近幾年，隨著虛擬現(xiàn)實技術(shù)的不斷進步，數(shù)據(jù)手套已經(jīng)成為與計算機進行人機交互的主要方式之一，目前被廣泛應(yīng)用于如虛擬訓(xùn)練，虛擬手術(shù)，虛擬安裝等多個領(lǐng)域。數(shù)據(jù)手套作為虛擬現(xiàn)實系統(tǒng)常用的交互設(shè)備,主要通過數(shù)據(jù)手套上的傳感器系統(tǒng),可以將使用者的動作變成傳感信號輸入到計算機,計算機讀取并分析傳感器的信號,以便控制虛擬手做出不同的手勢或抓取、移動和釋放物體,完成與虛擬環(huán)境的交互[2]。本文主要研究利用數(shù)據(jù)手套和虛擬現(xiàn)實開發(fā)平臺共同完成的人機交互功能的實現(xiàn)。

1.2虛擬平臺開發(fā)軟件介紹

EON STUDIO是目前世界公認(rèn)整合性、延展性最好的虛擬展示開發(fā)系統(tǒng)。可讀取現(xiàn)有的大多數(shù)的CAD數(shù)據(jù)格式(如:*.3ds，*. dwg，*·lw，*·wrl，*·igs等)，支持90%以上的外設(shè)和多種立體顯示方式(如:桌面型、單雙墻、洞穴型、環(huán)幕型)。同時，EON為了滿足客戶不同的需要，提供了開放的開發(fā)環(huán)境EON SDK，通過其SDK開發(fā)包可實現(xiàn)用戶所需要的特殊的交互行功能。在視覺效果上，它還支持圖形圖像的計算機圖形(Cg)高級渲染，在滿足最新的DX9和OpenGL特效的同時，帶給用戶頂級的視覺沖擊，又能配合硬件設(shè)備針對各種VR應(yīng)用需求進行沉浸式交互漫游。

本文采用的是5DT DataGlove數(shù)據(jù)手套，它是采用光纖傳感器來進行數(shù)據(jù)的辨別，每個手指都有一個光纖回路，允許由于手指彎曲而產(chǎn)生微小的平移。光纖被連接到手背上的光電連接器上。每個光纖回路的光線可被光敏晶體管感知到。如果光纖是直的，發(fā)射光返回時就不會衰減。如果光纖受到彎曲則光線就會有溢出。根據(jù)返回光線的強度來間接測量出手指的彎曲程度[3]。

在VC平臺讀取數(shù)據(jù)手套數(shù)據(jù)的部分程序如下：

BOOL CGloveSampleDlg::OnInitDialog()

{

CDialog::OnInitDialog();

SetIcon(m_hIcon, TRUE);

SetIcon(m_hIcon, FALSE);

m_ComList.AddString("USB 0");

m_ComList.AddString("USB 1");

m_ComList.AddString("COM 0");

m_ComList.AddString("COM 1");

m_pGlove = NULL;

UpdateInputs();

SetTimer(1,10,NULL);

return TRUE;

}

但在使用過程中，我們發(fā)現(xiàn)，因為我們的用戶對象是未知的，其手的大小也是各不相同的的,因此，為了能得到更加精確的輸出數(shù)據(jù),我們必須在使用數(shù)據(jù)手套之前，對手套進行重新的標(biāo)定,即確定用戶的手指在緊握狀態(tài)和伸直狀態(tài)下數(shù)據(jù)手套傳感器所能達到的相應(yīng)極限值。這里，本文所采用的5DT DataGlove則提供了專門的校準(zhǔn)軟件用來進行數(shù)據(jù)的橋準(zhǔn)。

5DT DataGlove數(shù)據(jù)手套使用的是一個8位，分辨率為256的模/數(shù)轉(zhuǎn)換器，即手從緊握狀態(tài)到伸平的狀態(tài)有256個中間位置。5DT DataGlove數(shù)據(jù)手套的所讀取的默認(rèn)傳感器數(shù)據(jù)為raw，每次讀取之后，就將傳感器讀出的原始值與系統(tǒng)設(shè)置的最大值和最小值(rawmax和rawmin)進行比對,如果得到的原始值超出了所設(shè)定的范圍,就將最大值和最小值進行更新。在對數(shù)據(jù)手套重新標(biāo)定的時候，用戶需要用手連續(xù)快速地做緊握伸直運動,不斷地更新當(dāng)前值，已得到理想的數(shù)據(jù)，可以使用下面的公式進行校準(zhǔn),其中MAX值由系統(tǒng)函數(shù)設(shè)定。

2.2基于數(shù)據(jù)手套的手勢識別

手勢識別技術(shù)是數(shù)據(jù)手套與虛擬手進行交互的基礎(chǔ)，只要在手勢識別完成的基礎(chǔ)上，才可以進行如對虛擬物品的推動、抓取等一系列復(fù)雜的運動。數(shù)據(jù)手套一般都采用富有彈性的材料制成，在相應(yīng)的關(guān)鍵位置如手指關(guān)節(jié)，手腕等處放置傳感器以完成對手指緊握、外展以及手腕動作的檢測，在獲得了這些位置的運動信息之后，虛擬手將通過實時的接收這些數(shù)據(jù)以完成虛擬手勢的改變，從而使用戶能以一種貼近真實的感受與生成的虛擬環(huán)境進行交互。在用戶帶上數(shù)據(jù)手套之后，將通過計算機對數(shù)據(jù)手套的各個傳感器進行數(shù)據(jù)的采樣，再將采樣得到的信號進行處理，再將這些包含用戶手指手腕等部位動作的信息傳遞給計算機，這就完成了基于數(shù)據(jù)手套的手勢識別。

手勢的定義是基于傳感器的預(yù)設(shè)響應(yīng)值和閾值的比較而得到的。而5DT DataGlove來獲取用戶的手部姿態(tài)信息實際是通過數(shù)據(jù)手套光纖中光通量的變化。當(dāng)傳感器的響應(yīng)低于下閾值時將會返回值1，表示對應(yīng)手指伸直；但傳感器的響應(yīng)高于上閾值時將會返回值0，表示對應(yīng)手指彎曲；當(dāng)響應(yīng)在上閾值和下閾值之間時，將不返回值。對每個手指的屈伸進行組合，便能定義不同的手勢[4-5]。

3 EON與系統(tǒng)接口的實現(xiàn)

3.1基于EON SDK的Handmove節(jié)點的開發(fā)

雖然EON STUDIO軟件本身提供了大量的的節(jié)點和原型，已經(jīng)可以滿足許多領(lǐng)域的應(yīng)用仿真，但因為不同用戶的特殊要求，因此，EON STUDIO又給廣大開發(fā)人員提供了EON SDK，用來進行節(jié)點或模塊的二次開發(fā)。

EON SDK是在VC++環(huán)境下開發(fā)使用的，通過EON SDK節(jié)點向?qū)?，可以方便地根?jù)用戶的需要生成可供開發(fā)的類。在生成的程序之中用戶通過自行添加節(jié)點代碼，就能實現(xiàn)EON STUDIO本身所不包含的節(jié)點功能。

在開發(fā)控制虛擬手節(jié)點的過程中，用戶可以根據(jù)控制虛擬手的需要，自行設(shè)定Handmove節(jié)點。Handmove節(jié)點的屬性域?qū)ǜ鱾€手指關(guān)節(jié)的信息。EON SDK為節(jié)點增加屬性需要在節(jié)點的頭文件中添加自定義的屬性域，添加的位置應(yīng)在公有枚舉成員變量enum里的枚舉元素FID_FIRST與FID_LAST之間。依照EON SDK所默認(rèn)格式，所添加的屬性域都應(yīng)該是“FID_”加定義屬性域的名稱。因此Handmove節(jié)點的屬性域定義如下：

enum {

FID_FIRST=CEonBase::FID_LAST-1,

FID_IND，

FID_MID，

FID_THU，

.......

FID_LAST

};

在添加了屬性域后，Handmove節(jié)點還應(yīng)有內(nèi)部處理函數(shù)用來處理外部信息。同樣是在在節(jié)點開發(fā)的程序框架里，F(xiàn)ieldChanged函數(shù)是節(jié)點內(nèi)部處理函數(shù)，其代碼如下[6]:

void handmove::FieldChanged(int ID)

{

switch (ID)

{

case FID_THU: functionl();

break;.

.......

case FID_IND:

function2()；

break;

default:

CEonBase::FieldChanged(ID);

}

}

3.2 EON與VC之間的通信

EON附帶了可供開發(fā)嵌入的運行交互式EON仿真的插件EonX。該控件允許用戶使用VB，VC++，C++ Builder等支持接口的軟件開發(fā)平臺建立自己的使用界面，并且能與EON內(nèi)部的接口進行通訊，在軟件開發(fā)平臺就能完成對虛擬環(huán)境的控制。VC與EON通信流程如圖1所示：圖1 VC與EON通信流程圖

VC++與EON之間的一般通訊過程如下:

1）在EON中建立InEvent(事件輸入)節(jié)點或OutEvent(事件輸出)節(jié)點。

2)建立EventIn節(jié)點或EventOut節(jié)點等通信節(jié)點后，添加用戶設(shè)計的處理節(jié)點。連接通信節(jié)點和處理節(jié)點。

3) VisualC++的應(yīng)用程序可以調(diào)用控件類CEonCtrl的成員函數(shù)函數(shù)，實現(xiàn)數(shù)據(jù)傳輸[6]。如SendEvent函數(shù)就能實現(xiàn)將VC的數(shù)據(jù)發(fā)送到EON的InEvent中，SetFullsize函數(shù)可以將讀入的EON圖像全屏的操作等等。部分程序如下：函數(shù)初始化

BOOL CDemoDlg::OnInitDialog(){

CDialog::OnInitDialog();

ASSERT((IDM_ABOUTBOX & 0xFFF0) == IDM_ABOUTBOX); ASSERT(IDM_ABOUTBOX < 0xF000);

CMenu* pSysMenu = GetSystemMenu(FALSE);

if (pSysMenu != NULL)

{

CString strAboutMenu;

strAboutMenu.LoadString(IDS_ABOUTBOX);

if (!strAboutMenu.IsEmpty())

{

pSysMenu->AppendMenu(MF_SEPARATOR);

pSysMenu->AppendMenu(MF_STRING, IDM_ABOUTBOX, strAboutMenu);

}

}

SetIcon(m_hIcon, TRUE);

SetIcon(m_hIcon, FALSE);

myeon.SetSimulationFile((LPCTSTR)"han1d.eoz");

return TRUE;

}

載入文件代碼

void CDemoDlg::Onstart()

{

myeon.Start();

}

4結(jié)果與分析

實驗結(jié)果表明，利用EON軟件和VC++軟件可以很好的實現(xiàn)虛擬現(xiàn)實仿真系統(tǒng)的交互功能，利用EON自身的節(jié)點功能和EON SDK的二次開發(fā)能力，可以很好的完成手勢識別虛擬抓取等功能。圖2為簡易的開發(fā)界面。圖2基于VC的簡易開發(fā)界面

從試驗中我們可以看出，基于EON的數(shù)據(jù)手套交互仿真系統(tǒng)可以廣泛應(yīng)用于多個領(lǐng)域，比如虛擬手術(shù)，虛擬訓(xùn)練，虛擬安裝等，利用虛擬現(xiàn)實仿真系統(tǒng)，與傳統(tǒng)的培訓(xùn)方式相互結(jié)合，可以是培訓(xùn)手段更加豐富，并且在危險性等方面都有所降低，同時虛擬現(xiàn)實平臺強大的可通用性也使其在以后的發(fā)展中可以更加快速的應(yīng)用于新的領(lǐng)域之中。

參考文獻：

[1]李志文,韓曉玲.虛擬現(xiàn)實技術(shù)研究現(xiàn)狀及未來發(fā)展[J].信息技術(shù)與信息化,2005(3) .

[2]周曉晶,趙正旭,樓江.基于數(shù)據(jù)手套的虛擬手勢交互系統(tǒng)[J].儀表技術(shù)與傳感器,2007(10) .

[3] DT. The 5DT Data Glove Driver Reference Manual[Z] .South Africa: 5DT Technology, 2000, .

[4]章名濤,肖如鴻.電機的電磁場[M].北京:機械工業(yè)出版社,1988:51-65.

[5]唐任遠(yuǎn).現(xiàn)代永磁電機理論與設(shè)計[M].北京:機械工業(yè)出版社,1997.

[6]潘燕彬.基于數(shù)據(jù)手套的虛擬手術(shù)訓(xùn)練系統(tǒng)交互技術(shù)的研究[D].廣州:廣東工業(yè)大學(xué), 2008.

[7] EON Reality, Inc. EON User Guide 5.0 .2004,311-314.

[8]安明,陳善廣,劉玉慶.基于數(shù)據(jù)手套的虛擬手精確建模的研究與實現(xiàn)[J].計算機仿真, 2010(1) .

[9] EON Reality Inc. EON SDK 3.0 .Jan 2002.