基于虛擬現(xiàn)實(shí)的協(xié)同訓(xùn)練系統(tǒng)研究與實(shí)現(xiàn)

【摘要】針對(duì)許多特殊場(chǎng)合的應(yīng)急處理訓(xùn)練中存在的問(wèn)題，綜合應(yīng)用虛擬現(xiàn)實(shí)技術(shù)、網(wǎng)絡(luò)通信技術(shù)、三維圖像技術(shù)、數(shù)據(jù)庫(kù)技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于虛擬現(xiàn)實(shí)技術(shù)的多用戶(hù)協(xié)同訓(xùn)練系統(tǒng)，并給出了在航空乘務(wù)培訓(xùn)中應(yīng)用示例，希望對(duì)于其他分布式訓(xùn)練系統(tǒng)的開(kāi)發(fā)具有借鑒作用。

【關(guān)鍵詞】虛擬現(xiàn)實(shí);協(xié)同訓(xùn)練;多用戶(hù);網(wǎng)絡(luò)環(huán)境

【中圖分類(lèi)號(hào)】G434【文獻(xiàn)標(biāo)識(shí)碼】B【論文編號(hào)】1009—8097(2010)04—0120—03

引言

在國(guó)際上，VR與仿真技術(shù)非常普遍與成熟。在遠(yuǎn)程協(xié)作的分布式VR與仿真系統(tǒng)方面，他們制定了一系列標(biāo)準(zhǔn)、協(xié)議和算法。在國(guó)外虛擬環(huán)境中的協(xié)同式訓(xùn)練系統(tǒng)也有研究，比較有代表性的是SecuReVi系統(tǒng)，它是利用MASCARET模型設(shè)計(jì)的虛擬環(huán)境中多人協(xié)同滅火的消防員訓(xùn)練系統(tǒng)，還有些遠(yuǎn)程醫(yī)療手術(shù)協(xié)作訓(xùn)練系統(tǒng)，這些系統(tǒng)多數(shù)是在研究階段，成型產(chǎn)品極為少數(shù)。和一些發(fā)達(dá)國(guó)家相比，我國(guó)協(xié)同VR與仿真技術(shù)還有一定的差距，其應(yīng)用也主要集中在軍事院校和研究所，也取得了一定研究成果[1][2]，特別是在分布式VR與仿真領(lǐng)域里，國(guó)內(nèi)在這方面的研究也有所開(kāi)展[3][4]。

由于教育培訓(xùn)軟件的應(yīng)用長(zhǎng)期局限于平面的文字及圖像表述，即使近年來(lái)動(dòng)態(tài)圖形圖像表現(xiàn)形式大大提高了內(nèi)容的表現(xiàn)效果，但仍無(wú)法真正滿(mǎn)足人類(lèi)視覺(jué)、聽(tīng)覺(jué)……甚至是感覺(jué)上的認(rèn)同效應(yīng)。因此，當(dāng)前傳統(tǒng)的CBT(計(jì)算機(jī)支持的教育培訓(xùn)體系，Computer Based Training)訓(xùn)練方式已在一定程度上無(wú)法滿(mǎn)足高科技培訓(xùn)的需要，基于計(jì)算機(jī)虛擬現(xiàn)實(shí)仿真技術(shù)的協(xié)同式訓(xùn)練系統(tǒng)將視景仿真和協(xié)同工作的概念引入CBT中，它拋棄了傳統(tǒng)的訓(xùn)練必須在真實(shí)的環(huán)境和場(chǎng)地下進(jìn)行的觀(guān)念;同時(shí)也克服了傳統(tǒng)訓(xùn)練無(wú)法模擬某些現(xiàn)場(chǎng)環(huán)境的缺陷，如飛機(jī)上、地鐵中、商廈里等，它使受訓(xùn)人員不用再冒著一定的危險(xiǎn)、不用再在投入巨額的設(shè)備購(gòu)買(mǎi)和場(chǎng)地布置的情況下就能參加訓(xùn)練。通過(guò)應(yīng)用現(xiàn)代化的虛擬現(xiàn)實(shí)技術(shù)進(jìn)行協(xié)同式訓(xùn)練系統(tǒng)的研發(fā)，將克服實(shí)際場(chǎng)地演練的諸多不足，不僅花費(fèi)小，對(duì)環(huán)境沒(méi)有污染，而且沒(méi)有危險(xiǎn)，是未來(lái)技能培訓(xùn)的主要手段之一[5][6]。系統(tǒng)在各種高危領(lǐng)域和應(yīng)急處理場(chǎng)合有著廣泛的應(yīng)用，可應(yīng)用于工廠(chǎng)企業(yè)、航空、地鐵公司、社區(qū)、商店等大型場(chǎng)所的應(yīng)急訓(xùn)練;還可用于部隊(duì)演習(xí);學(xué)校、研究所大型實(shí)驗(yàn);網(wǎng)絡(luò)游戲;遠(yuǎn)程醫(yī)療等。該系統(tǒng)的研究將推動(dòng)計(jì)算機(jī)虛擬現(xiàn)實(shí)仿真技術(shù)的發(fā)展，促進(jìn)了計(jì)算機(jī)科學(xué)在現(xiàn)實(shí)生活中的應(yīng)用。本文以航空客艙乘務(wù)員應(yīng)急處理訓(xùn)練為例，介紹基于虛擬現(xiàn)實(shí)的協(xié)同訓(xùn)練系統(tǒng)的設(shè)計(jì)過(guò)程、原理及關(guān)鍵技術(shù)的實(shí)現(xiàn)。

一 系統(tǒng)描述

基于虛擬現(xiàn)實(shí)的協(xié)同訓(xùn)練系統(tǒng)是一個(gè)綜合應(yīng)用虛擬現(xiàn)實(shí)技術(shù)、網(wǎng)絡(luò)通信技術(shù)、三維圖形圖像技術(shù)和數(shù)據(jù)庫(kù)技術(shù)設(shè)計(jì)和開(kāi)發(fā)的一個(gè)虛擬仿真訓(xùn)練軟件，具有在虛擬仿真環(huán)境中進(jìn)行多用戶(hù)協(xié)同操作和基于知識(shí)庫(kù)的智能評(píng)判功能特點(diǎn)。系統(tǒng)利用三維技術(shù)構(gòu)建各種虛擬訓(xùn)練場(chǎng)景(如飛機(jī)、地鐵等)，多個(gè)用戶(hù)在這樣的虛擬仿真環(huán)境中，通過(guò)網(wǎng)絡(luò)進(jìn)行文字和語(yǔ)音的通信、相互合作完成一個(gè)訓(xùn)練任務(wù)。同時(shí)，系統(tǒng)提供任務(wù)的知識(shí)庫(kù)進(jìn)行操作過(guò)程的正確性判斷和提示，并詳細(xì)記錄各個(gè)用戶(hù)操作過(guò)程，提供專(zhuān)家進(jìn)行評(píng)判(如圖1所示)。系統(tǒng)采用了視景仿真、多用戶(hù)協(xié)同、知識(shí)庫(kù)與匹配策略的技術(shù)，并在訓(xùn)練過(guò)程中具有多感知性、實(shí)時(shí)性、互操作性以及真實(shí)臨場(chǎng)性的特征，可廣泛應(yīng)用于特定環(huán)境下一個(gè)團(tuán)隊(duì)通過(guò)相互配合，相互協(xié)作來(lái)有效地完成訓(xùn)練任務(wù)

在此系統(tǒng)基礎(chǔ)上，加入具體應(yīng)用的環(huán)境(3D場(chǎng)景)，利用系統(tǒng)接口和核心功能設(shè)計(jì)具體應(yīng)用的驅(qū)動(dòng)模塊，形成具體應(yīng)用的系統(tǒng)。如進(jìn)行飛機(jī)客艙火災(zāi)應(yīng)急處理訓(xùn)練，系統(tǒng)將裝入一個(gè)飛機(jī)機(jī)艙的場(chǎng)景和訓(xùn)練角色，多人通過(guò)網(wǎng)絡(luò)、視景等多種交互方式協(xié)同地進(jìn)行飛機(jī)客艙火災(zāi)應(yīng)急處理，形成了某一特定應(yīng)用的協(xié)同式訓(xùn)練的應(yīng)用系統(tǒng)。

基于虛擬現(xiàn)實(shí)的協(xié)同訓(xùn)練系統(tǒng)主要有如下應(yīng)用特點(diǎn):

1 基于虛擬現(xiàn)實(shí)的協(xié)同式訓(xùn)練系統(tǒng)，通過(guò)模擬現(xiàn)場(chǎng)的實(shí)際情況，從而提高實(shí)際操作人員對(duì)各種實(shí)際環(huán)境的協(xié)同處理能力。系統(tǒng)尤其適合于模擬高危領(lǐng)域的操作訓(xùn)練，如火災(zāi)、地震、防恐等;

2 克服了傳統(tǒng)訓(xùn)練中實(shí)景再現(xiàn)困難、場(chǎng)地特殊、人員調(diào)度復(fù)雜等環(huán)境因素，適合于飛機(jī)、地鐵、鬧市、商住大廈等情況較復(fù)雜地區(qū)的訓(xùn)練模擬;

3 降低對(duì)人員財(cái)物等的安全威脅，也便于人員時(shí)間上的安排與調(diào)度，減少人力、財(cái)力等各方開(kāi)支，并且間接性地減少了對(duì)周?chē)h(huán)境的污染。適合于要求團(tuán)隊(duì)組員同時(shí)在現(xiàn)場(chǎng)進(jìn)行協(xié)同訓(xùn)練的場(chǎng)合，如遠(yuǎn)程醫(yī)療專(zhuān)家合診、網(wǎng)絡(luò)游戲;

4 利用計(jì)算機(jī)手段，實(shí)現(xiàn)訓(xùn)練模擬，運(yùn)用多媒體的實(shí)現(xiàn)方式，提高人員訓(xùn)練熱情和整體訓(xùn)練效果，因而也適用于原理或操作較枯燥的訓(xùn)練內(nèi)容，如學(xué)校、研究所等實(shí)驗(yàn)仿真。

二 系統(tǒng)實(shí)現(xiàn)原理

整個(gè)系統(tǒng)實(shí)現(xiàn)由三層結(jié)構(gòu)組成(如圖2所示)。底層是操作系統(tǒng)與開(kāi)發(fā)API組成的支撐環(huán)境，中間層是由核心程序與接口組成的系統(tǒng)平臺(tái)，頂層是三維場(chǎng)景模型與系統(tǒng)功能驅(qū)動(dòng)組成的應(yīng)用程序。

系統(tǒng)平臺(tái)主要由三維場(chǎng)景子系統(tǒng)、協(xié)同通信子系統(tǒng)和訓(xùn)練管理子系統(tǒng)組成。其主要特點(diǎn):將多用戶(hù)協(xié)同處理計(jì)算機(jī)模擬的理念，具體應(yīng)用到行業(yè)技能訓(xùn)練的領(lǐng)域中，并在訓(xùn)練過(guò)程中，采用了視景仿真、協(xié)同、知識(shí)庫(kù)的技術(shù)。

(1) 三維場(chǎng)景子系統(tǒng)

三維場(chǎng)景子系統(tǒng)是用三維造型來(lái)模擬現(xiàn)實(shí)訓(xùn)練環(huán)境的一種實(shí)時(shí)渲染圖形系統(tǒng)。系統(tǒng)完成的主要模塊有模型導(dǎo)入、運(yùn)動(dòng)仿真、場(chǎng)景設(shè)置、碰撞檢測(cè)等。

模型導(dǎo)入利用功能強(qiáng)大的三維造型軟件，如3DS Max，MAYA制作三維模型，紋理以及動(dòng)畫(huà)等，然后輸入至訓(xùn)練場(chǎng)景中，具體包括:3D對(duì)象導(dǎo)入、角色導(dǎo)入、動(dòng)畫(huà)導(dǎo)入、材質(zhì)和紋理的設(shè)置、坐標(biāo)設(shè)置、比例變換等等。運(yùn)動(dòng)仿真是對(duì)場(chǎng)景中人和物體運(yùn)動(dòng)的一種數(shù)學(xué)物理描述以及控制，它包括各種運(yùn)動(dòng)類(lèi)型，如走、跑、轉(zhuǎn)身、站立、蹲下、取物等等。場(chǎng)景設(shè)置主要是提供改變某些場(chǎng)景的參數(shù)，改善視覺(jué)效果，便于觀(guān)察和響應(yīng)不同的訓(xùn)練要求，具體包括:燈光設(shè)置、視角設(shè)置、環(huán)境設(shè)置、特殊效果設(shè)置(如火，煙霧)、聲音設(shè)置、紋理材質(zhì)設(shè)置、動(dòng)態(tài)對(duì)象的位置、方向和比例設(shè)置、坐標(biāo)設(shè)置等等。碰撞檢測(cè)主要是防止物體間的相互干涉以及作為某些事件的觸發(fā)器，由檢測(cè)類(lèi)型和檢測(cè)算法二大部分組成。檢測(cè)類(lèi)型主要有視線(xiàn)范圍檢測(cè)(LOS line-of-sight)、三腳架法(TRIPOD)、凸塊檢測(cè)方法(BUMP)。LOS、TRIPOD、BUMP的算法主要是加入按一定規(guī)則分布的線(xiàn)段矢量，計(jì)算與干涉物體的交點(diǎn)，距離，方向以及設(shè)置回調(diào)函數(shù)。

(2) 同步通信子系統(tǒng)

協(xié)作通信系統(tǒng)完成的功能由語(yǔ)音通信、場(chǎng)景同步通信二大部分組成。

語(yǔ)音通信主要提供學(xué)員之間相互協(xié)調(diào)聯(lián)絡(luò)的通信平臺(tái)，也是協(xié)同訓(xùn)練中對(duì)講、交談等的語(yǔ)音工具。

這里語(yǔ)音通信部分主要采用點(diǎn)對(duì)點(diǎn)(也可組播)的語(yǔ)音通信，是針對(duì)一個(gè)點(diǎn)實(shí)現(xiàn)話(huà)音的實(shí)時(shí)采集、處理、播放，同時(shí)可與其它點(diǎn)進(jìn)行可靠的網(wǎng)絡(luò)語(yǔ)音數(shù)據(jù)傳送和接收。對(duì)于前者，采用Windows MDK的低層音頻服務(wù)，因?yàn)榈蛯右纛l服務(wù)中的回調(diào)機(jī)制為我們提供了音頻數(shù)據(jù)，設(shè)備驅(qū)動(dòng)程序控制音頻設(shè)備在后臺(tái)完成錄音和放音的具體操作，通過(guò)回調(diào)機(jī)制，我們又可以檢測(cè)到什么時(shí)候用完一個(gè)數(shù)據(jù)塊，并及時(shí)傳送下一個(gè)數(shù)據(jù)塊，從而保證了聲音的連續(xù)，有了這種單機(jī)上的實(shí)時(shí)采集、回放功能后，接下來(lái)的工作就是在網(wǎng)絡(luò)上傳送語(yǔ)音數(shù)據(jù)。在點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)傳輸方面，選擇基于無(wú)連接的UDP協(xié)議，UDP用戶(hù)數(shù)據(jù)報(bào)協(xié)議能夠向若干臺(tái)目標(biāo)計(jì)算機(jī)發(fā)送數(shù)據(jù)，接收發(fā)自若干個(gè)源計(jì)算機(jī)的數(shù)據(jù)。在采集話(huà)音回放之前，一方面將自己的語(yǔ)音傳給網(wǎng)絡(luò)，另一方面接收網(wǎng)絡(luò)傳來(lái)的語(yǔ)音，具體是利用Windows Socket API實(shí)現(xiàn)的。

場(chǎng)景同步通信主要提供多用戶(hù)之間場(chǎng)景一致的功能，它由服務(wù)器、會(huì)話(huà)、用戶(hù)、網(wǎng)絡(luò)消息和分布式對(duì)象組成。

多用戶(hù)服務(wù)器是基于客戶(hù)/服務(wù)器技術(shù)，所有用戶(hù)之間的通信必須通過(guò)服務(wù)器。一個(gè)用戶(hù)與其他用戶(hù)交互必須連接到一個(gè)會(huì)話(huà)上，一個(gè)用戶(hù)同時(shí)只能連接一個(gè)會(huì)話(huà)，并且只能與連接到同一會(huì)話(huà)的用戶(hù)通信。用戶(hù)有二個(gè)參數(shù)，一是用戶(hù)名，二是用戶(hù)ID，一個(gè)客戶(hù)在連接或產(chǎn)生會(huì)話(huà)前必須設(shè)置用戶(hù)名。網(wǎng)絡(luò)消息是用戶(hù)之間通信的主要方法，這個(gè)消息類(lèi)似窗口消息，可以在消息中附帶數(shù)據(jù)。分布式對(duì)象是另一個(gè)用戶(hù)間傳送信息的機(jī)制，它相關(guān)于場(chǎng)景中某一個(gè)實(shí)體，且按照一定規(guī)則分布到所有用戶(hù)機(jī)上，分布式對(duì)象是類(lèi)的一個(gè)實(shí)例，它有自己的屬性，需要時(shí)可以通過(guò)網(wǎng)絡(luò)通信來(lái)更新。同步通信技術(shù)借鑒了國(guó)外的DIS(分布式交互系統(tǒng))和HLA(高層架構(gòu))等技術(shù)。

(3) 訓(xùn)練管理子系統(tǒng)

訓(xùn)練管理系統(tǒng)主要是用于處理訓(xùn)練相關(guān)的信息，它完成的功能有訓(xùn)練知識(shí)庫(kù)、實(shí)時(shí)跟蹤記錄、沖突解決機(jī)制等。

訓(xùn)練知識(shí)庫(kù)主要包括訓(xùn)練數(shù)據(jù)庫(kù)、訓(xùn)練規(guī)則和匹配策略。訓(xùn)練數(shù)據(jù)庫(kù)主要有學(xué)員信息、課程信息、訓(xùn)練信息等等。訓(xùn)練規(guī)則主要有角色定義與分配規(guī)則、評(píng)判規(guī)則、記分規(guī)則，其中評(píng)判規(guī)則包括動(dòng)作執(zhí)行者、動(dòng)作間的關(guān)系、施加對(duì)象以及次數(shù)等等。匹配策略主要是有序無(wú)序的匹配、規(guī)則樹(shù)的遍歷。

實(shí)時(shí)跟蹤記錄實(shí)際上是對(duì)學(xué)員的操作流進(jìn)行管理的一個(gè)模塊，它主要有觸發(fā)事件、操作信息收集、發(fā)送與接收(操作信息)和記錄器組成。

沖突解決機(jī)制主要是多學(xué)員在協(xié)同訓(xùn)練中發(fā)生操作沖突時(shí)的一種消除機(jī)制。其中簡(jiǎn)單的方法是加鎖解鎖、延時(shí)的方法，比較高級(jí)的有優(yōu)先級(jí)和擁有權(quán)的處理。

三 系統(tǒng)應(yīng)用示例

客艙火災(zāi)應(yīng)急處理訓(xùn)練是利用協(xié)同訓(xùn)練平臺(tái)開(kāi)發(fā)的一個(gè)應(yīng)用實(shí)例，主要是在模擬飛機(jī)機(jī)艙內(nèi)協(xié)作完成滅火訓(xùn)練任務(wù)。這個(gè)訓(xùn)練任務(wù)描述如下:

客機(jī)平穩(wěn)而正常地行駛著，乘客們安靜地享受著舒適的空中之旅，艙內(nèi)的乘務(wù)員出現(xiàn)在各自的位置上，此時(shí)，公共信息廣播:此次航班由上海飛往北京，祝各位旅客旅途愉快。30秒后，前工作區(qū)的學(xué)員看到屬于她的信息窗顯示:附近有怪異的煙味，請(qǐng)速核查。并且她看到絲絲煙霧飄散。該學(xué)員先去查核哪里發(fā)生火情，確定是在壁櫥的衣帽間，用手試探門(mén)的涼熱，其信息窗口顯示兩級(jí)溫度信息:門(mén)是涼的/門(mén)很燙手;該學(xué)員使用話(huà)機(jī)通知乘務(wù)長(zhǎng)，并請(qǐng)求附近的乘務(wù)員速帶滅火器材來(lái)協(xié)助，本人去駕駛艙拿應(yīng)急斧，取來(lái)應(yīng)急斧，在門(mén)上開(kāi)一個(gè)小洞，來(lái)支援的乘務(wù)員拿海倫滅火器來(lái)了，對(duì)著洞口噴滅火劑，直至火滅，開(kāi)門(mén)檢查燃燒物，防止死灰復(fù)燃。最后把火災(zāi)的處理結(jié)果報(bào)告乘務(wù)長(zhǎng)，由乘務(wù)長(zhǎng)報(bào)告給機(jī)長(zhǎng)。

該應(yīng)用實(shí)例包括一個(gè)三維實(shí)例場(chǎng)景和一個(gè)實(shí)例驅(qū)動(dòng)模型。三維實(shí)例場(chǎng)景就是飛機(jī)機(jī)艙、火、煙霧、角色及其他設(shè)施，驅(qū)動(dòng)模型是具體應(yīng)用的情節(jié)腳本，由滅火操作、協(xié)作規(guī)則、評(píng)判規(guī)則等許多事件構(gòu)成的。應(yīng)用實(shí)例系統(tǒng)主要界面如圖3所示。

四 結(jié)束語(yǔ)

在網(wǎng)絡(luò)環(huán)境和多用戶(hù)視景交互的支持下，人們可以通過(guò)交互設(shè)備，利用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)在虛擬的環(huán)境中協(xié)作完成訓(xùn)練任務(wù)，從而形成一套具有“視景”和“協(xié)同”特色的訓(xùn)練軟件。本文主要描述了一個(gè)基于虛擬現(xiàn)實(shí)的多用戶(hù)協(xié)同訓(xùn)練系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)、技術(shù)架構(gòu)、網(wǎng)絡(luò)通信和應(yīng)用示例。隨著基于虛擬現(xiàn)實(shí)技術(shù)的CBT系統(tǒng)正在逐步取代過(guò)去單機(jī)、單一任務(wù)的CBT系統(tǒng)，將給計(jì)算機(jī)培訓(xùn)提供一種嶄新的系統(tǒng)訓(xùn)練方式，能使許多特殊場(chǎng)合的訓(xùn)練變得非常方便，同時(shí)極大提高培訓(xùn)的效果。本系統(tǒng)中設(shè)計(jì)的技術(shù)和方法希望對(duì)于其他分布式訓(xùn)練系統(tǒng)的開(kāi)發(fā)具有借鑒作用。

參考文獻(xiàn)

[1] 龐津津，戴述賈.分布式系統(tǒng)仿真技術(shù)研究及其實(shí)現(xiàn)[J].火力與指揮控制， 2001，(1): 37-40.

[2] 洪津，張萬(wàn)軍，謝慶華，陳明宏，王永健.虛擬維修訓(xùn)練系統(tǒng)發(fā)展綜述及其關(guān)鍵技術(shù)探討[J].解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2000，(1):63-67.

[3] 王潤(rùn)崗，花傳杰，唐科群，王艾萍.坦克車(chē)炮長(zhǎng)協(xié)同訓(xùn)練仿真系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].火力與指揮控制， 2008，(9):112-114.

[4] 袁海波，劉厚泉，吳雪峰.虛擬場(chǎng)景動(dòng)態(tài)交互式可視化的研究[J].電腦與信息技術(shù)，2008，(6):7-9.

[5] 湯衛(wèi)華，滅火救援協(xié)同戰(zhàn)術(shù)訓(xùn)練探析[J].公安研究， 2007，

(1):46-47

[6] 劉艷，邢志祥，劉偉.虛擬現(xiàn)實(shí)技術(shù)在消防模擬訓(xùn)練中的應(yīng)用研究進(jìn)展[J].消防科學(xué)與技術(shù)，2009，(3):214-216.