軍事指控系統(tǒng)多通道人機(jī)交互技術(shù)

陳建華,崔東華,羅 榮,肖玉杰,王 亮

(海軍研究院,北京 100161)

1 軍事指控系統(tǒng)

現(xiàn)代戰(zhàn)場(chǎng)信息來(lái)源繁多,戰(zhàn)爭(zhēng)態(tài)勢(shì)瞬息萬(wàn)變。而目前的軍事指控系統(tǒng)仍然停留在“以機(jī)器為中心”的階段,大多采用基于圖形用戶界面的單一人機(jī)交互模式,導(dǎo)致作業(yè)人員認(rèn)知負(fù)荷大、交互效率低等,難以滿足信息化戰(zhàn)爭(zhēng)對(duì)人機(jī)交互提出的新要求。

為適應(yīng)現(xiàn)代戰(zhàn)爭(zhēng)高度緊張復(fù)雜的戰(zhàn)場(chǎng)環(huán)境,未來(lái)新型指控系統(tǒng)應(yīng)當(dāng)是一個(gè)具有適應(yīng)性、以決策為中心的可視化人機(jī)環(huán)境。多通道交互正是這樣一種“以人為中心”的自然高效人機(jī)交互技術(shù)。由此可知,多通道人機(jī)交互技術(shù)的研究和開(kāi)發(fā),對(duì)戰(zhàn)場(chǎng)指揮決策意義重大,其必將在下一代新型軍事指控系統(tǒng)中發(fā)揮巨大價(jià)值。

2 軍事指控系統(tǒng)與人機(jī)交互技術(shù)

隨著計(jì)算機(jī)技術(shù)的發(fā)展,人機(jī)交互技術(shù)的主要發(fā)展經(jīng)歷和趨勢(shì)可以分為四個(gè)階段[1-2]。第一階段為字符界面——命令字符交互方式,通過(guò)固有命令行的形式實(shí)現(xiàn)計(jì)算機(jī)命令字符的輸入以及顯示,它是最原始的人機(jī)交互形式,信息內(nèi)容單一、人機(jī)交互困難,具有可操作性差、交互效率低的缺點(diǎn)。第二階段為圖形界面——操作點(diǎn)擊交互方式,通過(guò)各類(lèi)直接點(diǎn)擊圖形的手段(如采用鼠標(biāo)或直接觸屏式),實(shí)現(xiàn)快速準(zhǔn)確執(zhí)行人機(jī)交互任務(wù)。目前最常見(jiàn)的形式為GUI/WIMP(Graphics User Interface/Windows Icons Menus and Pointing Device,圖形用戶界面/窗口圖標(biāo)菜單定點(diǎn)設(shè)備),它是目前軍事指控系統(tǒng)采用的主要方式。第三階段為影音環(huán)境——語(yǔ)音激勵(lì)交互方式,如在常見(jiàn)的WIMP界面上,集成音頻輸入輸出設(shè)備,實(shí)現(xiàn)人與計(jì)算機(jī)自然交流方式。它集成了智能語(yǔ)音語(yǔ)義理解、翻譯和發(fā)音等關(guān)鍵技術(shù),已在民用市場(chǎng)得到了推廣。第四階段為擬態(tài)環(huán)境——行為激勵(lì)交互方式。隨著日后可穿戴技術(shù)、圖像處理技術(shù)、全息成像技術(shù)和虛擬現(xiàn)實(shí)技術(shù)等的進(jìn)一步發(fā)展,指揮人員可身臨其境地在模擬環(huán)境中實(shí)時(shí)與真實(shí)環(huán)境進(jìn)行自由交流,態(tài)勢(shì)呈現(xiàn)更為逼真。

人機(jī)交互方式對(duì)軍事指揮系統(tǒng)至關(guān)重要,隨著電子人機(jī)交互技術(shù)的出現(xiàn)、發(fā)展和演變,軍事指揮系統(tǒng)也是應(yīng)運(yùn)而生、應(yīng)勢(shì)而長(zhǎng),呈現(xiàn)出不同的變化和發(fā)展趨勢(shì),以至于軍事指揮的劃代主要依據(jù)就是根據(jù)采用的人機(jī)交互方式的不同。據(jù)此可將軍事指控系統(tǒng)顯示交互發(fā)展和趨勢(shì)分為三個(gè)階段。第一階段基于命令行方式的指控系統(tǒng)階段,主要采用人機(jī)交互的字符交互方式,通過(guò)按鈕或字符的方式實(shí)現(xiàn)指揮人員對(duì)武器裝備的操縱。第二階段為基于圖形用戶界面的指控系統(tǒng)階段,大屏顯示器、立式指揮桌等設(shè)備逐漸得到裝配,實(shí)現(xiàn)了獨(dú)立式指控系統(tǒng)到集中式指控系統(tǒng)的轉(zhuǎn)變,也是目前應(yīng)用最廣泛的軍事指控系統(tǒng)。隨著智能語(yǔ)音、虛擬顯示等第三代、第四代人機(jī)交互方式的發(fā)展,軍事指控系統(tǒng)也將進(jìn)入第三階段:基于多通道人機(jī)界面階段。

3 多通道人機(jī)交互基礎(chǔ)技術(shù)

多通道交互是指具有兩個(gè)及以上輸入通道的人機(jī)交互方式,如采用“鍵盤(pán)+語(yǔ)音”的組合方式,這使得在指揮控制過(guò)程中允許作業(yè)人員使用更多更方便自如的交互方式。一般通過(guò)在傳統(tǒng)的指揮人機(jī)交互系統(tǒng)中疊加一種或幾種更自然的交互方式,強(qiáng)調(diào)“以人為中心”,使作業(yè)人員能以最本能的交流方式實(shí)施作業(yè)指令,不僅能夠大幅提高交互的自然性和高效性,還能衍生出如跨平臺(tái)協(xié)同作戰(zhàn)指揮等新型指控樣式。目前,國(guó)內(nèi)外對(duì)多通道交互開(kāi)展了較為深入的研究,并取得了一定的研究成果。

1) 肢體語(yǔ)言交互技術(shù)

肢體語(yǔ)言是人類(lèi)最自然的行為,與人的認(rèn)知特點(diǎn)相吻合,體現(xiàn)了“以用戶為中心”的交互理念,是適應(yīng)指揮人員與指控系統(tǒng)間自然和諧對(duì)話的一種新的交互技術(shù)[3]。

該技術(shù)在民用領(lǐng)域已較為成熟,市場(chǎng)上也推出了多款體感交互設(shè)備。早在1999年,Pierce等人就開(kāi)發(fā)了一套基于數(shù)據(jù)手套的雙手交互系統(tǒng)——“Voodoo Doll”,主要用于對(duì)象間的相對(duì)位置關(guān)系調(diào)整,可用于簡(jiǎn)單的動(dòng)作控制,如雙手移動(dòng)與縮放對(duì)象。2010年微軟發(fā)布的Kinect體感交互設(shè)備(如圖1所示),采用具有深度傳感器攝像頭得到人體深度數(shù)據(jù),準(zhǔn)確識(shí)別人體全身肢體行為,然后在計(jì)算機(jī)中重建三維場(chǎng)景,具有識(shí)別速度快、識(shí)別精度高、識(shí)別穩(wěn)定性好的特點(diǎn),目前已廣泛應(yīng)用于動(dòng)畫(huà)制作、人體運(yùn)動(dòng)測(cè)試、游戲互動(dòng)等領(lǐng)域。

圖1 Kinect體感交互設(shè)備

2013年,Leap公司發(fā)布了Leap Motion控制器(如圖2所示),它通過(guò)兩個(gè)攝像頭捕捉紅外線LED對(duì)雙手在空氣中的相對(duì)位置進(jìn)行感知和測(cè)量,可對(duì)包括指尖位置、方向的運(yùn)動(dòng)及運(yùn)動(dòng)趨勢(shì)進(jìn)行識(shí)別,可用于瀏覽網(wǎng)頁(yè)、閱讀文章、翻看照片、繪畫(huà)涂鴉等的虛擬控制,理論精度達(dá)到了0.01 mm。

圖2 Leap Motion控制器

在軍事指控系統(tǒng)中,雙手交互是最有可能用于拓展指揮空間的肢體語(yǔ)言。美國(guó)Applied Minds開(kāi)發(fā)的TouchTable雙手觸摸交互系統(tǒng)具有雙手操作輸入以及可視化界面,解放了士兵復(fù)雜的操作,已經(jīng)裝備美軍[4]。美國(guó)MERL開(kāi)發(fā)的DiamondTouch平臺(tái)采用了光學(xué)觸控技術(shù),實(shí)現(xiàn)了雙手交互及多人協(xié)作[5-6]。

在國(guó)內(nèi),國(guó)防科技大學(xué)等單位[7-8]從分布式認(rèn)識(shí)模型出發(fā),研制出了一種支持雙手多指觸摸的光感應(yīng)觸控平臺(tái),為指揮空間內(nèi)雙手交互的設(shè)計(jì)提供依據(jù)。中科院軟件研究所也對(duì)虛擬現(xiàn)實(shí)環(huán)境下的雙手交互技術(shù)展開(kāi)了長(zhǎng)期研究,并在實(shí)際中得到應(yīng)用[9]。

2) 顯示操控交互技術(shù)

顯示操控交互技術(shù)目前已廣泛應(yīng)用于軍事武器裝備中,是影響指揮決策能力和效率的重要因素[10-11]。電子地圖就是最典型的軍事作戰(zhàn)應(yīng)用,隨著顯示操控技術(shù)的發(fā)展,電子地圖從最原始的二維繪圖逐步向三維地圖過(guò)渡,未來(lái)的顯示操控技術(shù)將使得軍事地圖更加逼真地模擬真實(shí)戰(zhàn)場(chǎng)環(huán)境,表達(dá)的形式和內(nèi)容更加豐富多樣。

文獻(xiàn)[12]指出未來(lái)艦艇指控系統(tǒng)顯示技術(shù)技術(shù)體系包括三維顯示、虛擬現(xiàn)實(shí)、全息現(xiàn)實(shí)、體感交互、電子沙盤(pán)等。目前多項(xiàng)關(guān)鍵技術(shù)已經(jīng)得到了研究和利用。20世紀(jì)90年代,美國(guó)MIT實(shí)驗(yàn)室就已經(jīng)構(gòu)造出了第一個(gè)3D動(dòng)態(tài)全息顯示系統(tǒng)。后來(lái)國(guó)外進(jìn)行了多次軍事應(yīng)用的嘗試,如美軍的CATT、SIMNET、C4ISR等現(xiàn)代軍事電子沙盤(pán),集中應(yīng)用地理信息技術(shù)、虛擬現(xiàn)實(shí)技術(shù)、多媒體技術(shù),實(shí)現(xiàn)了沙盤(pán)的智能化,為戰(zhàn)術(shù)演練和軍事指揮提供了更直觀可達(dá)的認(rèn)知。

3) 語(yǔ)音技術(shù)

語(yǔ)音輸入可以解放作業(yè)人員的雙手,作為一種未被利用的交互通道,可以很好地與其他通道融合[13]。目前對(duì)語(yǔ)音識(shí)別的技術(shù)越來(lái)越成熟。國(guó)內(nèi)外的公司如微軟、蘋(píng)果、科大訊飛等都推出了較為成熟的語(yǔ)音識(shí)別軟件,阿里巴巴、京東等電商也推出了數(shù)款內(nèi)置語(yǔ)音助手的智能音箱。未來(lái)可見(jiàn)的是,隨著云計(jì)算和人工智能的發(fā)展,更為成熟的智能語(yǔ)音技術(shù)的門(mén)檻將越來(lái)越低,使得語(yǔ)音識(shí)別技術(shù)更為通用和普及,促進(jìn)其在軍事指控系統(tǒng)中的良好應(yīng)用。

4) 其他方面

在多通道人機(jī)交互系統(tǒng)中還可以存在其他幾種方式,但因?yàn)檩^前幾種而言它們的使用用途比較受限,這里只做簡(jiǎn)單介紹。目前正在進(jìn)行的研究的包括臉部表情、視覺(jué)、力覺(jué)觸覺(jué)、腦電信號(hào)等多種通道方式[3,14-18]。

4 多通道融合技術(shù)

多通道交互界面集成了傳統(tǒng)交互設(shè)備、自然語(yǔ)音理解、肢體語(yǔ)言輸入等多種輸入通道,能夠多維提取作業(yè)人員交互意圖,彌補(bǔ)單通識(shí)別準(zhǔn)確率和交互效率等帶來(lái)的不足[19]。早在1989年,Cohen等人就證實(shí)了通過(guò)語(yǔ)音方式與鼠標(biāo)的結(jié)合能夠避免鍵盤(pán)與鼠標(biāo)之間不自然的切換過(guò)程,提高交互效率。Hauptmannn和Oviatt等人早期的研究也表明將語(yǔ)音、手勢(shì)等多通道融合起來(lái)交互,得到更多人的使用傾向,證明多通道人機(jī)交互充分利用人類(lèi)不同的感覺(jué)通道,使得作業(yè)人員感覺(jué)更本能自然,體現(xiàn)了未來(lái)發(fā)展以人為本的思想[20-21]。由此可知,多通道人機(jī)交互不僅可以提升作業(yè)人員的交互舒適性和自然性,還能提高計(jì)算機(jī)準(zhǔn)確識(shí)別作業(yè)人員指控意圖,對(duì)未來(lái)武器裝備性能的發(fā)揮將起到重要作用[22]。美國(guó)開(kāi)發(fā)指揮和控制軟件陸軍未來(lái)指揮所(CPoF),是一個(gè)流動(dòng)的信息和決策協(xié)作環(huán)境,可提供三維空中/地面視點(diǎn)和二維協(xié)同環(huán)境,通過(guò)多種方式可視化戰(zhàn)場(chǎng),已在伊拉克和阿富汗被美軍和其聯(lián)軍使用,未來(lái)將在指控系統(tǒng)中展開(kāi)多通道人機(jī)交互應(yīng)用研究。為了促進(jìn)多通道人機(jī)交互技術(shù)在軍事指控系統(tǒng)中的應(yīng)用,國(guó)內(nèi)外研究人員開(kāi)展了多通道融合技術(shù)研究。

Nigay L等人提出了一種稱為“融合槽”的融合算法,將各通道交互信息融合在一起,成為多通道交互研究初期廣泛應(yīng)用的方法[23]。聶巖峰等人[24]針對(duì)傳統(tǒng)指控系統(tǒng)中WIMP弊端,研究了包含手勢(shì)、筆式等自然交互方式的多通道融合,提高了指揮控制系統(tǒng)的交互效率和能力。廖虎雄等人[25-26]提出了一種面向指揮所的多通道交互指揮空間架構(gòu),并根據(jù)設(shè)計(jì)的原型系統(tǒng)進(jìn)行了任務(wù)分析驗(yàn)證試驗(yàn)。李昌嶺等人[27]針對(duì)現(xiàn)有人機(jī)交互系統(tǒng)高效性、自然性和全面性不足的缺點(diǎn),提出了一種面向戰(zhàn)場(chǎng)指揮決策的多通道交互模型,并用于飛行智能體的語(yǔ)音激勵(lì)和手勢(shì)控制雙通道交互驗(yàn)證試驗(yàn)。張國(guó)華等人[28-29]研究了能夠多點(diǎn)觸摸的雙手手勢(shì)與語(yǔ)音兩個(gè)通道的人機(jī)交互模型,并應(yīng)用于C2指控系統(tǒng)中,滿足了指控過(guò)程中人機(jī)交互自然高效的要求以及多人協(xié)作有效性的要求。黃波等人[13]針對(duì)戰(zhàn)場(chǎng)指揮過(guò)程中的多通道整合問(wèn)題,提出了一種基于元?jiǎng)幼鞯亩嗤ǖ勒夏Ｐ?采用了多種融合方式,提高了系統(tǒng)對(duì)多通道任務(wù)的理解和執(zhí)行能力。

在多通道融合方面,目前的指控系統(tǒng)交互設(shè)備并不具備并行協(xié)作的基礎(chǔ)架構(gòu)。為實(shí)現(xiàn)多通道交互,需要對(duì)不同通道、不同形式的交互信息進(jìn)行融合研究,最重要的是對(duì)多通道整合層進(jìn)行技術(shù)攻關(guān),可針對(duì)不同通道輸出的任務(wù)進(jìn)行基礎(chǔ)任務(wù)分解,通過(guò)任務(wù)槽將不同通道的交互整合在一起,初步構(gòu)架如圖3所示。

圖3 多通道系統(tǒng)整合模型框圖

5 結(jié)束語(yǔ)

多通道交互方式大大降低了傳統(tǒng)單交互方式輸入單一、作業(yè)人員認(rèn)知負(fù)擔(dān)等造成的失誤操作概率,因此是目前的軍事指控系統(tǒng)發(fā)展的亟需技術(shù)。本文對(duì)多通道交互方式的基本融合模式進(jìn)行了介紹,并著重分析了各項(xiàng)單通道人機(jī)交互方式的研究進(jìn)展,指出:肢體語(yǔ)言交互肢體語(yǔ)言是人類(lèi)最自然的行為,目前市場(chǎng)已具有成熟的肢體語(yǔ)言識(shí)別設(shè)備,是最有可能用于拓展軍事指揮空間的交互方式之一;顯示操控交互技術(shù)是影響指揮決策能力和效率的重要因素,已廣泛應(yīng)用于軍事武器裝備中,未來(lái)采用虛擬現(xiàn)實(shí)、全息現(xiàn)實(shí)等增強(qiáng)效果用于智能軍事電子沙盤(pán)可助于戰(zhàn)場(chǎng)態(tài)勢(shì)感知;語(yǔ)音識(shí)別也是較為成熟的技術(shù),是軍事指控系統(tǒng)中一種未被利用的交互通道,可以很好地與其他通道融合。目前,國(guó)內(nèi)外學(xué)者已經(jīng)廣泛開(kāi)展多通道人機(jī)交互技術(shù)在軍事指控系統(tǒng)中的應(yīng)用研究,在多通道融合、多人協(xié)作等方面取得了不少進(jìn)展。該技術(shù)具有廣闊的應(yīng)用情景,如在艦艇指控系統(tǒng)中,可用于戰(zhàn)場(chǎng)態(tài)勢(shì)圖形指揮,通過(guò)多種交互手段全方位、多維度地對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)情報(bào)信息進(jìn)行更為準(zhǔn)確和精細(xì)的處理,提高戰(zhàn)場(chǎng)指揮控制效能[12,30]。此外,該技術(shù)的界面集成更類(lèi)似平常所用的手機(jī)界面,增加了作業(yè)人員的樂(lè)趣,在潛艇等枯燥環(huán)境中具有較好的應(yīng)用前景[31-32]。另外,該項(xiàng)技術(shù)軍民兩用,還可以用于普通民用電子應(yīng)用,如讀書(shū)讀報(bào)、新聞視頻、家電控制等。