面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互

周 清,馬玉磊,趙 辰

(國(guó)防大學(xué)聯(lián)合作戰(zhàn)學(xué)院,河北 石家莊 050084)

陸上分隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練要求作戰(zhàn)人員具有迅速的反應(yīng)、準(zhǔn)確的判斷、正確的決策和深度的協(xié)同能力。虛擬仿真訓(xùn)練以其近似真實(shí)的虛擬戰(zhàn)場(chǎng)環(huán)境、虛實(shí)兵力與裝備的混合運(yùn)用、角色沉浸的作戰(zhàn)體驗(yàn)、戰(zhàn)斗行動(dòng)的數(shù)據(jù)評(píng)估,成為陸上分隊(duì)?wèi)?zhàn)術(shù)實(shí)兵實(shí)裝訓(xùn)練的重要輔助,是實(shí)戰(zhàn)化訓(xùn)練的有效手段之一。當(dāng)前陸上分隊(duì)?wèi)?zhàn)術(shù)虛擬仿真訓(xùn)練大多基于桌面式系統(tǒng)開展,存在人機(jī)交互方式較為單一、自然交互程度不高以及受訓(xùn)者無法實(shí)現(xiàn)空間運(yùn)動(dòng)等問題,致使受訓(xùn)者的沉浸感、體驗(yàn)感和自主性不足,作戰(zhàn)技能易產(chǎn)生負(fù)向遷移,在一定程度上制約著陸上分隊(duì)?wèi)?zhàn)術(shù)虛擬仿真訓(xùn)練的質(zhì)量和效益[1]。因此，探索基于多人多模態(tài)人機(jī)交互開展陸上分隊(duì)?wèi)?zhàn)術(shù)虛擬仿真訓(xùn)練的新方法,有助于破解基于桌面式虛擬仿真訓(xùn)練系統(tǒng)的技術(shù)瓶頸問題,可以提供真實(shí)可信的訓(xùn)練環(huán)境和沉浸自然的對(duì)抗戰(zhàn)斗,進(jìn)一步提升陸上分隊(duì)作戰(zhàn)能力。

運(yùn)動(dòng)捕捉是利用機(jī)械裝置、光學(xué)或傳感器等設(shè)備獲取人體或其他物體運(yùn)動(dòng)數(shù)據(jù),并將這些運(yùn)動(dòng)姿態(tài)重現(xiàn)的技術(shù)[2]。從技術(shù)的角度來說,運(yùn)動(dòng)捕捉的實(shí)質(zhì)就是要測(cè)量、跟蹤、記錄物體在三維空間中的運(yùn)動(dòng)軌跡[3]。從原理上可分為機(jī)械式、聲學(xué)式、電磁式、光學(xué)式、慣性式等,可從捕捉運(yùn)動(dòng)范圍、定位精度、實(shí)時(shí)性、抗干擾性、多目標(biāo)捕捉能力、使用方便程度以及與應(yīng)用系統(tǒng)融合程度等方面進(jìn)行評(píng)價(jià)。如今主流的技術(shù)方向有光學(xué)式和慣性式。光學(xué)式動(dòng)作捕捉有被動(dòng)光學(xué)式和主動(dòng)光學(xué)式,一個(gè)標(biāo)記點(diǎn)位通過2臺(tái)攝像機(jī)拍攝就可以測(cè)量出標(biāo)記點(diǎn)的三維空間位置,捕捉精度高,使用方便,采樣速度高,會(huì)因遮擋而影響捕捉,價(jià)格昂貴。解決方案主要有:國(guó)內(nèi)的Nokov、uSens、青瞳視覺,國(guó)外的美國(guó)魔神(Motion Analysis)、英國(guó)Vicon、美國(guó)OptiTrack。慣性式動(dòng)作捕捉主要用的慣性測(cè)量單元(IMU)和傳感器,將IMU放置在人體上,可以測(cè)量轉(zhuǎn)向、運(yùn)動(dòng)加速度和位置變化,捕捉精度較高,抗干擾性好,采樣速度高,設(shè)備成本低,但使用時(shí)間一長(zhǎng)會(huì)發(fā)生位置漂移。解決方案主要有:諾亦騰、幻境、國(guó)承萬通,國(guó)外的Xsens等。

常用室內(nèi)定位技術(shù)主要有紅外線定位技術(shù)、超聲波定位技術(shù)、藍(lán)牙定位技術(shù)、Wifi定位技術(shù)、超帶寬定位技術(shù)、射頻識(shí)別定位技術(shù)以及地磁定位技術(shù)[4]。定位技術(shù)均存在一定的局限性,使用時(shí)需要采取不同的解決方案。紅外線定位技術(shù)的精度相對(duì)較高,環(huán)境部署相對(duì)簡(jiǎn)單,但因波長(zhǎng)長(zhǎng)、頻率低、能量小,使得穿透能力差,且容易被室內(nèi)的其他燈光干擾[5];超聲波定位技術(shù)的精度相對(duì)較高,但在空氣中傳輸時(shí)會(huì)出現(xiàn)較大的衰減,傳輸范圍有限,成本高[6];藍(lán)牙定位技術(shù)是一種較為流行的定位技術(shù),使用較為廣泛,但定位的范圍相對(duì)較小,易受室內(nèi)的其他信號(hào)干擾;Wifi室內(nèi)定位技術(shù)的精度較高,成本較小,環(huán)境搭建簡(jiǎn)單,但信號(hào)帶寬小,復(fù)雜的信號(hào)傳播環(huán)境會(huì)有較大誤差[7];超寬帶技術(shù)是一種新型的無線通信技術(shù),信號(hào)帶寬大,信道衰落不敏感,被廣泛使用于室內(nèi)范圍近距離精確的定位;射頻識(shí)別定位技術(shù)的精度高、定位時(shí)間短,但作用距離短;地磁定位技術(shù)依托大量的數(shù)據(jù)采集工作網(wǎng),不需要額外硬件設(shè)備,成本低,但易受室內(nèi)環(huán)境中磁場(chǎng)影響而干擾信號(hào)。

1 面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互設(shè)計(jì)

陸上分隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練是以班組、排、連為單位展開的戰(zhàn)術(shù)訓(xùn)練,單兵是分隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練的最小單元。因此,要達(dá)到訓(xùn)戰(zhàn)一致的目的,面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互設(shè)計(jì)既要依據(jù)戰(zhàn)術(shù)虛擬仿真訓(xùn)練的目的,又要突出受訓(xùn)者作戰(zhàn)技能正向遷移的要求;既要滿足單兵多維感知、高度沉浸和作戰(zhàn)體驗(yàn),又要滿足分隊(duì)?wèi)?zhàn)術(shù)指揮和多人協(xié)同對(duì)抗;既要適應(yīng)成建制的實(shí)兵穿戴單兵仿真終端展開訓(xùn)練，又要適應(yīng)部分實(shí)兵穿戴單兵仿真終端、實(shí)兵操控鼠標(biāo)/鍵盤和計(jì)算機(jī)生成兵力混合編組的展開訓(xùn)練。

1.1 多人多模態(tài)人機(jī)交互的模態(tài)設(shè)計(jì)

陸上作戰(zhàn)地理環(huán)境細(xì)微、復(fù)雜、多變,協(xié)同者與對(duì)抗者皆是具有復(fù)雜邏輯思維、生理心理變化、空間關(guān)系變動(dòng)的“人”或“人群”,在這種作戰(zhàn)環(huán)境下,受訓(xùn)者需要通過眼睛和耳朵感知、通過頭部轉(zhuǎn)動(dòng)觀察、通過聲音傳達(dá)或聽到命令、通過操控手持武器瞄準(zhǔn)和射擊、通過真實(shí)行進(jìn)和完成戰(zhàn)術(shù)動(dòng)作,呈現(xiàn)出視覺、聽覺、嗅覺、觸覺和味覺等多模態(tài)交互狀態(tài)。依靠單一模態(tài)交互的虛擬訓(xùn)練環(huán)境已無法為受訓(xùn)者提供高度沉浸式的作戰(zhàn)體驗(yàn),難以形成作戰(zhàn)能力的正向遷移。多人多模態(tài)人機(jī)交互的模態(tài)設(shè)計(jì)可以通過視覺、聽覺、觸覺、身體姿態(tài)等四種模態(tài)與計(jì)算機(jī)進(jìn)行交流,實(shí)現(xiàn)非接觸實(shí)時(shí)自然的多模態(tài)交互,完成多個(gè)實(shí)體與虛擬人的雙向映射和空間關(guān)聯(lián)[8]。

1.2 多人多模態(tài)人機(jī)交互的設(shè)備選擇

面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互設(shè)備應(yīng)滿足以下幾點(diǎn):一是滿足人體動(dòng)態(tài)數(shù)據(jù)采集,如頭部包括轉(zhuǎn)向、俯仰等觀察動(dòng)作的數(shù)據(jù),肢體數(shù)據(jù)包括走、轉(zhuǎn)向、跑、跳、跪、臥、匍匐、涉水、站立待機(jī)、休息待機(jī)、后退等戰(zhàn)術(shù)動(dòng)作的數(shù)據(jù),手勢(shì)數(shù)據(jù)主要包含一、二、三、握拳、注意等指揮動(dòng)作的數(shù)據(jù);二是滿足攜帶武器動(dòng)作數(shù)據(jù)采集,如半實(shí)物仿真武器上的前進(jìn)、后退、左移、右移、上/下車、上/下樓等按鈕動(dòng)作數(shù)據(jù),半實(shí)物仿真武器擊發(fā)動(dòng)作、換彈匣以及瞄準(zhǔn)與退出瞄準(zhǔn)切換動(dòng)作數(shù)據(jù),半實(shí)物仿真武器轉(zhuǎn)向、抬高、壓低的動(dòng)作數(shù)據(jù);三是滿足受訓(xùn)者的精確位置數(shù)據(jù)的采集;四是滿足多人多模態(tài)數(shù)據(jù)的融合處理。主要設(shè)備可選擇綜合頭盔、動(dòng)作捕捉系統(tǒng)、數(shù)據(jù)手套、半實(shí)物仿真武器等輸入輸出設(shè)備,背負(fù)式計(jì)算機(jī)、位置定位設(shè)備、無線通信網(wǎng)絡(luò)設(shè)備以及相應(yīng)服務(wù)器和計(jì)算機(jī)等。其中,綜合頭盔將頭部運(yùn)動(dòng)、姿態(tài)和聲音信息輸出,動(dòng)作捕捉系統(tǒng)通過各傳感單元采集完成人體姿態(tài)和運(yùn)動(dòng)數(shù)據(jù),半實(shí)物仿真武器采集持槍姿勢(shì)、動(dòng)作以及功能操作鍵的數(shù)據(jù),數(shù)據(jù)手套采集和識(shí)別手語指揮數(shù)據(jù);這些動(dòng)態(tài)數(shù)據(jù)傳送給計(jì)算機(jī),經(jīng)過對(duì)多人多模態(tài)數(shù)據(jù)解算、融合、輸出,最終呈現(xiàn)于綜合頭盔的3D視頻眼鏡。

2 面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互策略

多人多模態(tài)的人機(jī)交互是一個(gè)非常復(fù)雜的信息傳輸、處理、呈現(xiàn)的過程,既涉及多模態(tài)的交互,又涉及多受訓(xùn)者的交互,如何能使多人多模態(tài)人機(jī)交互及時(shí)響應(yīng),需要確定其交互策略[9]。依據(jù)陸上作戰(zhàn)的特點(diǎn)、單兵戰(zhàn)術(shù)行為規(guī)律和虛擬仿真訓(xùn)練系統(tǒng)的多模態(tài)融合功能,面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互策略,主要可有驅(qū)動(dòng)場(chǎng)景變化的策略、驅(qū)動(dòng)映射虛擬實(shí)體的策略以及優(yōu)先驅(qū)動(dòng)的策略。

2.1 場(chǎng)景驅(qū)動(dòng)策略

場(chǎng)景驅(qū)動(dòng)是指通過人機(jī)交互來驅(qū)動(dòng)虛擬場(chǎng)景發(fā)生變化,呈現(xiàn)并反饋于綜合頭盔3D視頻眼鏡,繼而推動(dòng)下一輪交互[10]。傳統(tǒng)的場(chǎng)景驅(qū)動(dòng)主要是通過鼠標(biāo)/鍵盤的操作,實(shí)現(xiàn)第一人稱視角下虛擬場(chǎng)景的前、后、左、右或旋轉(zhuǎn)等變化;多模態(tài)的場(chǎng)景驅(qū)動(dòng)是通過綜合頭盔、動(dòng)作捕捉和數(shù)據(jù)手套等設(shè)備,實(shí)現(xiàn)第一人稱視角下虛擬場(chǎng)景隨實(shí)兵動(dòng)態(tài)數(shù)據(jù)的變化而變化。

多模態(tài)場(chǎng)景驅(qū)動(dòng)策略主要有三種:一是戴有綜合頭盔的實(shí)兵,通過頭部左右轉(zhuǎn)動(dòng)、俯仰等姿態(tài)變化,實(shí)現(xiàn)虛擬場(chǎng)景相應(yīng)實(shí)時(shí)變化;二是手持半實(shí)物仿真武器的實(shí)兵,通過左右轉(zhuǎn)向、抬高或壓低以及功能按鍵的上、下、前進(jìn)、后退等操作,以及持槍瞄準(zhǔn)時(shí)場(chǎng)景轉(zhuǎn)換為瞄準(zhǔn)鏡的視景,實(shí)現(xiàn)虛擬場(chǎng)景相應(yīng)實(shí)時(shí)變化;三是穿戴動(dòng)作捕捉的實(shí)兵,通過行進(jìn)、轉(zhuǎn)動(dòng)、跳動(dòng)等變化,實(shí)現(xiàn)虛擬場(chǎng)景相應(yīng)實(shí)時(shí)變化。

2.2 映射驅(qū)動(dòng)策略

映射驅(qū)動(dòng)是指通過不同模態(tài)的人機(jī)交互驅(qū)動(dòng)映射虛擬實(shí)體的變化,呈現(xiàn)并反饋于綜合頭盔3D視頻眼鏡,繼而推動(dòng)下一輪交互[11]。映射交互強(qiáng)調(diào)的是實(shí)兵與虛擬實(shí)體的姿態(tài)與動(dòng)作同步、實(shí)時(shí)、自然映射,其呈現(xiàn)方式可有單兵視景、指揮者視景和全局視景三種。單兵視景下可以看到單兵映射虛擬實(shí)體的同步動(dòng)作,指揮者視景下可以看到二維小窗口中分隊(duì)映射虛擬實(shí)體的動(dòng)態(tài)變化;全局視景下可以看到多個(gè)映射虛擬實(shí)體的動(dòng)態(tài)和空間實(shí)時(shí)變化。

單實(shí)體映射驅(qū)動(dòng)是指單兵通過真實(shí)的戰(zhàn)術(shù)動(dòng)作驅(qū)動(dòng)其映射的虛擬實(shí)體,使虛擬實(shí)體同步映射單兵行為。其策略主要有三種:一是通過對(duì)單兵戰(zhàn)術(shù)動(dòng)作數(shù)據(jù)采集、傳輸和處理,驅(qū)動(dòng)映射虛擬實(shí)體的變化,屏幕顯示出單兵與映射虛擬實(shí)體的戰(zhàn)術(shù)動(dòng)作同步,如跑、跳、站、蹲、臥、匍匐前進(jìn)、屈身前進(jìn)等;二是通過對(duì)半實(shí)物仿真武器的動(dòng)態(tài)數(shù)據(jù)采集、傳輸和處理,屏幕顯示出單兵與映射虛擬實(shí)體的持槍、瞄準(zhǔn)、射擊等動(dòng)作同步;三是通過對(duì)數(shù)據(jù)手套的動(dòng)態(tài)數(shù)據(jù)采集與識(shí)別,屏幕顯示出指揮員與映射虛擬實(shí)體的動(dòng)作同步。多實(shí)體映射驅(qū)動(dòng)是指在同一虛擬場(chǎng)景中多個(gè)實(shí)兵同時(shí)進(jìn)行人機(jī)交互,各自驅(qū)動(dòng)對(duì)應(yīng)的映射虛擬實(shí)體的變化,且多實(shí)兵間的映射虛擬實(shí)體互不交叉、互不影響,保持與真實(shí)環(huán)境下的空間關(guān)系。

2.3 優(yōu)先驅(qū)動(dòng)策略

基于多人多模態(tài)的人機(jī)交互時(shí),一種、兩種或兩種以上的模態(tài)可能產(chǎn)生相同的交互效果[11]。如驅(qū)動(dòng)場(chǎng)景變化時(shí),可以通過頭部姿態(tài)、半實(shí)物仿真武器姿態(tài)和方向按鍵、身體姿態(tài)等不同模態(tài)實(shí)現(xiàn),但以一種模態(tài)為主還是多個(gè)模態(tài)同時(shí),需要在不同情況下設(shè)定先后排序、驅(qū)動(dòng)優(yōu)先有效。一是運(yùn)動(dòng)時(shí),大場(chǎng)景中以半實(shí)物仿真武器姿態(tài)和方向按鍵的動(dòng)態(tài)數(shù)據(jù)驅(qū)動(dòng)有效,小場(chǎng)景中以動(dòng)作捕捉的身體姿態(tài)數(shù)據(jù)驅(qū)動(dòng)有效;二是靜止時(shí),觀察中以頭部姿態(tài)的動(dòng)態(tài)數(shù)據(jù)驅(qū)動(dòng)有效,瞄準(zhǔn)時(shí)以半實(shí)物仿真武器的動(dòng)態(tài)數(shù)據(jù)驅(qū)動(dòng)有效。

3 面向陸上分隊(duì)?wèi)?zhàn)術(shù)多人多模態(tài)人機(jī)交互的過程

面向陸上分隊(duì)?wèi)?zhàn)術(shù)多人多模態(tài)人機(jī)交互過程主要包括實(shí)體動(dòng)態(tài)數(shù)據(jù)采集、實(shí)體實(shí)時(shí)數(shù)據(jù)傳輸、實(shí)體動(dòng)態(tài)數(shù)據(jù)解算、交互信息融合輸出,由此形成了一個(gè)交互行為的閉環(huán),并不斷迭代更新產(chǎn)生新的交互。

3.1 實(shí)體動(dòng)態(tài)數(shù)據(jù)采集

實(shí)體動(dòng)態(tài)數(shù)據(jù)采集包括對(duì)人體動(dòng)作數(shù)據(jù)采集、實(shí)兵位置數(shù)據(jù)采集和半實(shí)物仿真武器動(dòng)作數(shù)據(jù)采集。通過受訓(xùn)者穿戴的綜合頭盔、數(shù)據(jù)手套和動(dòng)作捕捉節(jié)點(diǎn),實(shí)時(shí)捕捉受訓(xùn)者的頭部、肢體和手勢(shì)數(shù)據(jù);通過設(shè)置在綜合頭盔上的定位標(biāo)簽,實(shí)時(shí)采集受訓(xùn)者的精確位置數(shù)據(jù);通過半實(shí)物仿真武器的動(dòng)態(tài)變化、操作動(dòng)作、按鈕指令和持槍變化,捕捉受訓(xùn)者的動(dòng)作數(shù)據(jù)。

3.2 實(shí)體實(shí)時(shí)數(shù)據(jù)傳輸

通過傳輸協(xié)議,實(shí)時(shí)向服務(wù)器端傳送實(shí)兵動(dòng)作數(shù)據(jù)、實(shí)兵位置數(shù)據(jù)和半實(shí)物仿真武器動(dòng)作數(shù)據(jù),并從服務(wù)器端接收三維虛擬戰(zhàn)場(chǎng)景況。

1)動(dòng)作捕捉數(shù)據(jù)傳輸

動(dòng)作捕捉數(shù)據(jù)上傳過程:綜合頭盔、動(dòng)作捕捉系統(tǒng)和半實(shí)物仿真武器將動(dòng)態(tài)數(shù)據(jù)采集后,發(fā)送到背負(fù)式計(jì)算機(jī),背負(fù)式計(jì)算機(jī)通過無線通信網(wǎng)絡(luò)把數(shù)據(jù)上傳到服務(wù)器。動(dòng)作捕捉數(shù)據(jù)上傳網(wǎng)絡(luò)通信結(jié)構(gòu)如圖1所示。

圖1 動(dòng)作捕捉數(shù)據(jù)上傳網(wǎng)絡(luò)通信結(jié)構(gòu)

2)室內(nèi)定位數(shù)據(jù)傳輸

室內(nèi)定位數(shù)據(jù)上傳過程:單兵仿真終端的定位標(biāo)簽實(shí)時(shí)向定位錨點(diǎn)(至少3個(gè))發(fā)送數(shù)據(jù),定位錨點(diǎn)把接收到的數(shù)據(jù)再發(fā)送給橋接點(diǎn),定位標(biāo)簽的位置就能得到確定,橋接點(diǎn)再通過無線通信網(wǎng)絡(luò)把位置數(shù)據(jù)發(fā)送到服務(wù)器端。室內(nèi)定位數(shù)據(jù)上傳網(wǎng)絡(luò)通信結(jié)構(gòu)如圖2所示。

圖2 室內(nèi)定位數(shù)據(jù)上傳網(wǎng)絡(luò)通信結(jié)構(gòu)

3.3 實(shí)兵動(dòng)態(tài)數(shù)據(jù)解算

實(shí)兵動(dòng)態(tài)數(shù)據(jù)解算是依據(jù)實(shí)兵解算模型與算法完成的,如數(shù)據(jù)手套的傳感器算法與手勢(shì)定義、手勢(shì)編碼與判定,基于人體骨骼節(jié)點(diǎn)的仿真槍械位姿控制,虛擬仿真平臺(tái)的骨骼節(jié)點(diǎn)控制,動(dòng)作捕捉設(shè)備與仿真槍械控制下的位移轉(zhuǎn)換,“骨骼+視角”的智能匹配等。例如:數(shù)據(jù)手套的手勢(shì)編碼與判定。戰(zhàn)術(shù)手勢(shì)包括“握拳”、“一”、“二”、“三”、“OK”和“注意”等六種,每種手勢(shì)都需要特定的手指做指定的動(dòng)作來完成。以二進(jìn)制的形式對(duì)戰(zhàn)術(shù)手勢(shì)進(jìn)行編碼,如將“握拳”編碼為“00000”,將“一”編碼為“01000”,將“二”編碼為“01100”,將“三”編碼為“01110”,將“OK”編碼為“00111”,將“注意”編碼為“11111”,可以有效地濾除做特定手勢(shì)時(shí)不相干手指狀態(tài)不穩(wěn)定的干擾。手勢(shì)編碼完成后,可通過對(duì)特定手指的判斷進(jìn)入下一狀態(tài),并進(jìn)行下一輪判定或手勢(shì)狀態(tài)輸出,判定過程如圖3所示。

圖3 手勢(shì)狀態(tài)判定過程

手勢(shì)狀態(tài)判定首先從小指狀態(tài)開始,當(dāng)判定小指為伸直狀態(tài)時(shí),繼續(xù)判定食指狀態(tài),若食指狀態(tài)為伸直,則判定手勢(shì)狀態(tài)為“注意”,若食指狀態(tài)為彎曲,則判定手勢(shì)狀態(tài)為“OK”;當(dāng)判定小指為彎曲狀態(tài)時(shí),繼續(xù)判斷中指狀態(tài),若中指狀態(tài)為伸直,則繼續(xù)判斷無名指狀態(tài),如果無名指狀態(tài)為伸直,則判定手勢(shì)狀態(tài)為“三”,如果無名指狀態(tài)為彎曲,則判定手勢(shì)狀態(tài)為“二”;若中指狀態(tài)為彎曲,則繼續(xù)判斷食指狀態(tài),如果食指狀態(tài)為伸直,則判定手勢(shì)狀態(tài)為“一”,如果食指狀態(tài)為彎曲,則判定手勢(shì)狀態(tài)為“握拳”。

3.4 交互信息融合輸出

實(shí)體實(shí)時(shí)數(shù)據(jù)經(jīng)過解算后,與虛擬仿真場(chǎng)景、人物、武器裝備等關(guān)聯(lián)融合,同步生成同一虛擬環(huán)境下的虛擬實(shí)體的實(shí)時(shí)狀態(tài),通過無線通信網(wǎng)絡(luò)發(fā)送到背負(fù)式計(jì)算機(jī),計(jì)算機(jī)再把場(chǎng)景畫面?zhèn)魉偷?D視頻眼鏡,綜合頭盔的3D視頻眼鏡將三維虛擬戰(zhàn)場(chǎng)景況實(shí)時(shí)呈現(xiàn)給受訓(xùn)者,同時(shí)語音實(shí)時(shí)傳送回來。綜合頭盔數(shù)據(jù)接收網(wǎng)絡(luò)通信結(jié)構(gòu)如圖4所示。

圖4 綜合頭盔數(shù)據(jù)接收網(wǎng)絡(luò)通信結(jié)構(gòu)

當(dāng)受訓(xùn)者視覺接收到實(shí)時(shí)三維虛擬戰(zhàn)場(chǎng)景況,耳麥接收到場(chǎng)景內(nèi)同步的聲音和戰(zhàn)斗指令,及時(shí)作出行為和語音響應(yīng),于是進(jìn)入下一個(gè)交互過程。當(dāng)多個(gè)實(shí)體交互信息同時(shí)呈現(xiàn)在同一個(gè)虛擬戰(zhàn)場(chǎng)環(huán)境中,受訓(xùn)者的戰(zhàn)場(chǎng)感知更加真實(shí)、團(tuán)隊(duì)意識(shí)更加強(qiáng)烈、作戰(zhàn)體驗(yàn)更加沉浸。

4 面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互實(shí)現(xiàn)意義與訓(xùn)練價(jià)值

面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互,使受訓(xùn)者產(chǎn)生強(qiáng)烈的沉浸感,實(shí)現(xiàn)受訓(xùn)者在設(shè)定的現(xiàn)實(shí)訓(xùn)練場(chǎng)地中,模擬復(fù)雜多變的虛擬戰(zhàn)斗環(huán)境,能夠支持陸上分隊(duì)開展虛擬環(huán)境下多科目、強(qiáng)對(duì)抗的沉浸式戰(zhàn)術(shù)訓(xùn)練,達(dá)成了作戰(zhàn)技能的正向遷移,為作戰(zhàn)能力的積極有效轉(zhuǎn)化提供了方法。

4.1 多人多模態(tài)人機(jī)交互的實(shí)現(xiàn)意義

首先,真正實(shí)現(xiàn)自然、沉浸、實(shí)時(shí)的交互。在受訓(xùn)者頭戴綜合頭盔、手持半實(shí)物仿真武器的基礎(chǔ)上,采用動(dòng)作捕捉技術(shù),對(duì)受訓(xùn)者的姿態(tài)數(shù)據(jù)采集、傳輸、處理、顯示,及時(shí)響應(yīng)并反饋,實(shí)時(shí)還原受訓(xùn)者的手勢(shì)和動(dòng)作,展現(xiàn)其手勢(shì)指揮和跪、蹲、臥、跳等動(dòng)作,實(shí)現(xiàn)了現(xiàn)場(chǎng)實(shí)兵動(dòng)作與虛擬實(shí)體戰(zhàn)斗行動(dòng)的“實(shí)虛映射”和無縫融合,改變了戰(zhàn)術(shù)虛擬仿真訓(xùn)練的“人機(jī)”交互模式,增強(qiáng)了“人機(jī)”交互深度。

其次,打破受訓(xùn)者空間運(yùn)動(dòng)的局限。以往的虛擬仿真訓(xùn)練系統(tǒng),可以支持通過3D視頻眼鏡左右上下運(yùn)動(dòng)驅(qū)動(dòng)場(chǎng)景、通過半實(shí)物仿真武器左右上下運(yùn)動(dòng)或前進(jìn)后退按鍵驅(qū)動(dòng)場(chǎng)景,但受訓(xùn)者在實(shí)景中是沒有位置變化的。在動(dòng)作捕捉技術(shù)基礎(chǔ)上,采用高精度的位置定位技術(shù),受訓(xùn)者能夠依戰(zhàn)術(shù)訓(xùn)練過程施展戰(zhàn)斗行動(dòng),直立行走、高低姿匍匐前進(jìn)、跨越虛擬障礙等,用自然的運(yùn)動(dòng)驅(qū)動(dòng)場(chǎng)景的相應(yīng)變化,突破了現(xiàn)實(shí)空間和虛擬空間的局限,實(shí)現(xiàn)了虛實(shí)坐標(biāo)實(shí)時(shí)融合和虛擬雙映射,使受訓(xùn)者有了全新的沉浸體驗(yàn)。

第三,有效支撐分隊(duì)?wèi)?zhàn)術(shù)虛擬仿真訓(xùn)練?；诰_定位和動(dòng)作捕捉的多實(shí)兵姿態(tài)信息,依據(jù)步兵戰(zhàn)術(shù)行動(dòng)規(guī)則和實(shí)兵體感解算模型,分析提取實(shí)兵動(dòng)作“語義”,并與虛擬戰(zhàn)場(chǎng)環(huán)境關(guān)聯(lián)融合,突破了多個(gè)實(shí)體的虛擬映射和空間關(guān)聯(lián)等技術(shù)難題,生成了LVC專業(yè)化訓(xùn)練環(huán)境,支持多個(gè)穿戴單兵仿真終端的實(shí)兵開展對(duì)抗訓(xùn)練,使分隊(duì)?wèi)?zhàn)術(shù)虛擬仿真訓(xùn)練成為可能。

4.2 多人多模態(tài)人機(jī)交互的訓(xùn)練價(jià)值

一是強(qiáng)化自我意識(shí),激發(fā)了戰(zhàn)術(shù)訓(xùn)練熱情。受訓(xùn)者沉浸在高度仿真的戰(zhàn)場(chǎng)環(huán)境中作戰(zhàn),手持半實(shí)物仿真槍瞄準(zhǔn)、射擊和更換彈匣,隨作戰(zhàn)進(jìn)程實(shí)施戰(zhàn)斗指揮、戰(zhàn)斗動(dòng)作……訓(xùn)練中充分展現(xiàn)了“我在戰(zhàn)場(chǎng)中”“我在偵察”“我在射擊”“我在指揮”“我與戰(zhàn)友們配合作戰(zhàn)”的“我在訓(xùn)”狀態(tài),真實(shí)感、主動(dòng)性、戰(zhàn)斗欲盡顯發(fā)揮,激發(fā)起受訓(xùn)者的訓(xùn)練熱情。

二是增強(qiáng)訓(xùn)練記憶,有利于戰(zhàn)術(shù)技能正遷移?；诙嗳硕嗄B(tài)的人機(jī)交互,更使受訓(xùn)者主動(dòng)地感知戰(zhàn)場(chǎng)環(huán)境,鍛煉出研判戰(zhàn)場(chǎng)環(huán)境的能力;多科目、多角色、多重復(fù)的戰(zhàn)術(shù)訓(xùn)練,不僅有所經(jīng)歷而且嘗試過錯(cuò)誤,更加增強(qiáng)了對(duì)場(chǎng)景、行為、過程、戰(zhàn)法的記憶,提升了快速反應(yīng)能力,促進(jìn)了分隊(duì)對(duì)抗戰(zhàn)術(shù)思維的形成,有利于戰(zhàn)術(shù)技能的正向遷移。

三是錘煉默契配合,提升了團(tuán)隊(duì)作戰(zhàn)能力。在真實(shí)環(huán)境下進(jìn)行虛擬仿真訓(xùn)練,不再是與冰冷的系統(tǒng)交互,能感受到戰(zhàn)友的近在氣息,感應(yīng)到戰(zhàn)斗行動(dòng)的配合協(xié)作;多次訓(xùn)練可使受訓(xùn)者更加熟悉隊(duì)友作戰(zhàn)風(fēng)格,不斷增強(qiáng)的協(xié)作自信和默契度,促進(jìn)了團(tuán)隊(duì)作戰(zhàn)能力的有效轉(zhuǎn)化。

5 結(jié)束語

面向陸上分隊(duì)?wèi)?zhàn)術(shù)的多人多模態(tài)人機(jī)交互,改變了戰(zhàn)術(shù)虛擬仿真訓(xùn)練的人機(jī)交互方式,增進(jìn)了受訓(xùn)者多維感知、高度沉浸和作戰(zhàn)體驗(yàn),提升了陸上分隊(duì)?wèi)?zhàn)術(shù)虛擬仿真訓(xùn)練的質(zhì)量和效益。本文研究了面向陸上分隊(duì)?wèi)?zhàn)術(shù)多人多模態(tài)人機(jī)交互的需求、策略、過程以及實(shí)現(xiàn)意義和訓(xùn)練價(jià)值,期望為陸上分隊(duì)?wèi)?zhàn)術(shù)虛擬仿真訓(xùn)練提供有益參考。在新編制、新裝備、新任務(wù)下,為適應(yīng)未來作戰(zhàn)需要,多人多模態(tài)人機(jī)交互將會(huì)支持陸上分隊(duì)?wèi)?zhàn)術(shù)虛擬仿真訓(xùn)練發(fā)揮更大效能,可以推演作戰(zhàn)方案,驗(yàn)證作戰(zhàn)方法,檢驗(yàn)作戰(zhàn)效能,不僅能促進(jìn)“像打仗一樣訓(xùn)練”,更能推進(jìn)“像訓(xùn)練一樣打仗”。