艦載指控系統(tǒng)多通道交互集成技術(shù)研究*

寧云暉 楊雪飛 徐建平 程 雄

(1.海軍裝備研究院 北京 100161)(2.武漢數(shù)字工程研究所 武漢 430205)

艦載指控系統(tǒng)多通道交互集成技術(shù)研究*

寧云暉1楊雪飛1徐建平1程 雄2

(1.海軍裝備研究院 北京 100161)(2.武漢數(shù)字工程研究所 武漢 430205)

人機(jī)交互友好性是影響指控系統(tǒng)作戰(zhàn)效率的一個重要因素。在分析指控系統(tǒng)人機(jī)交互的需求基礎(chǔ)上,提出一套適用于艦載指控系統(tǒng)的多通道人機(jī)交互框架,形成了多通道人機(jī)交互集成規(guī)范,可以提高交互的自然性和高效性。

指控系統(tǒng); 人機(jī)交互; 多通道交互

1 引言

艦艇指控系統(tǒng)是發(fā)揮艦艇平臺整體作戰(zhàn)效能的核心裝備,需要組織顯示與作戰(zhàn)過程相關(guān)的多種艦艇作戰(zhàn)資源的作戰(zhàn)狀態(tài)、戰(zhàn)場態(tài)勢,因而顯示的信息數(shù)量多,種類繁雜,實時變化快。同時指揮人員需要利用指控系統(tǒng)快速、準(zhǔn)確地指揮、干預(yù)作戰(zhàn)過程,因此如何高效地發(fā)揮指揮員的作戰(zhàn)藝術(shù),準(zhǔn)確地反映指揮員的作戰(zhàn)意圖是指控系統(tǒng)研究中需要解決的重要問題[1～2]。

目前我軍使用的指揮控制系統(tǒng)多數(shù)是基于圖形用戶界面,人機(jī)交互以鍵盤、跟蹤球(或鼠標(biāo))、表頁顯示器等人機(jī)交互操作為主。這種交互方式的特征是以窗口管理系統(tǒng)為核心,使用的交互設(shè)備比較單一,難以表達(dá)和支持非空間性的抽象信息和交互。此外,在交互過程中極大的依賴于視覺和手動控制參與,對使用者的操作要求很高,難于滿足復(fù)雜多變的戰(zhàn)場條件快速下準(zhǔn)確交互的操作需要,交互手段和方式造成了操控交互效率不高,嚴(yán)重影響了指揮決策的效率。

針對艦載指控系統(tǒng)中的人機(jī)自然交互的需求,本文基于多點觸摸、語音交互、體感交互、移動PAD等多通道人機(jī)交互技術(shù),提出一套適用于艦載指控系統(tǒng)的多通道人機(jī)交互框架,實現(xiàn)草圖識別、語音識別、多點觸摸、手寫識別、PDA等人機(jī)交互技術(shù)的優(yōu)化、集成及其工程化應(yīng)用,從而從指揮員能利用多個通道以自然、并行、協(xié)作的方式進(jìn)行人機(jī)對話,提高指揮決策的自然性和高效性[3]。

2 多通道交互技術(shù)概述

2.1 多通道交互技術(shù)

在傳統(tǒng)的交互方式中,為了適應(yīng)計算機(jī)的“習(xí)慣”,用戶通常使用精確而非人性化的交互設(shè)備,如鼠標(biāo)、鍵盤等。當(dāng)前,得益于其他各相關(guān)計算機(jī)技術(shù)如語音識別、自然語言理解、手勢識別、計算機(jī)視覺等多門技術(shù)的發(fā)展,人機(jī)交互的研究步入了一個新的領(lǐng)域——多通道人機(jī)交互(Multi-Modal Human-Computer Interaction)。所謂多通道交互,是指一種使用多種通道與計算機(jī)通信的人家交互方式,通道涵蓋用戶表達(dá)意圖、執(zhí)行動作或感知反饋信息的各種通信方法,如語言、手勢、頭動、唇動、觸覺、味覺等[4]。

多通道系統(tǒng)允許用戶通過多個不同的人體交互通道如語音、手勢、姿勢等與之通信,并能從中自動提取語義,識別出最終交互目的。多通道人機(jī)界面充分利用人的多個認(rèn)知通道,利用語音識別、手勢輸入、視線跟蹤、感覺反饋等新交互技術(shù),以并行、非精確方式與計算機(jī)交互,旨在提高人機(jī)交互的自然性和高效性。現(xiàn)今多通道界面的研究已經(jīng)成為人機(jī)交互領(lǐng)域的重要方向。多通道交互系統(tǒng)與傳統(tǒng)的圖形用戶界面交互的最大的不同之處在于,多種交互設(shè)備的同時使用來自多個交互通道的信息的融合。它的目的是在人機(jī)工程學(xué)的背景下,通過研究人在信息交流中的習(xí)慣和行為模式,綜合使用視線、語音、手勢等新的交互通道、設(shè)備和交互技術(shù),使用戶可通過多個通道以自然、并行、協(xié)作的方式進(jìn)行人機(jī)對話,融合來自不同通道的精確的和不精確的輸入以捕捉用戶的交互意圖,提高人機(jī)交互的自然性和高效性,最終達(dá)到以人為中心的交互方式。

2.2 國內(nèi)外研究現(xiàn)狀

20世紀(jì)80年代后期以來,多通道人機(jī)交互成為嶄新的研究領(lǐng)域,受到高度重視。北美、歐洲很多研究機(jī)構(gòu)的研究內(nèi)容涉及鍵盤、鼠標(biāo)之外的語音、手勢、手寫和眼動等輸入通道,使用戶能利用多個通道以自然、并行、協(xié)作的方式進(jìn)行人機(jī)會話,并且以具體系統(tǒng)為主。許多相關(guān)的研究計劃紛紛啟動。

卡內(nèi)基梅隆大學(xué)在DARPA的資助下,對語音識別、手寫識別、手勢識別、自然用戶接口等多模態(tài)人機(jī)交互技術(shù)進(jìn)行了廣泛研究,開發(fā)了基于Java的多模態(tài)交互工具箱(MMI)[5]。MIT的人工智能實驗室從1996年開始了名為Intelligent Room[6]的研究項目,目的在于探索先進(jìn)的人機(jī)交互和協(xié)作技術(shù),其具體目標(biāo)是建立一個智能房間,解釋和增強(qiáng)其中發(fā)生的活動。麻省理工學(xué)院的軟件智能體研究組在GANDALF項目中,將多模態(tài)交互與智能體結(jié)合起來,希望設(shè)計出一種擬人化的智能體,使用戶可以用語音、表情、手勢等方式與之自然交流。歐共體委員會CEC制定了一個歐洲信息技術(shù)戰(zhàn)略計劃ESPRIT[7],對人機(jī)界面進(jìn)行了系統(tǒng)研究,其中包括語音識別、語音合成、聲音的空間化、筆式輸入和手寫體識別等關(guān)鍵支撐技術(shù)的研究。美國Applied Minds公司的雙手觸摸交互系統(tǒng)TouchTable提供了高級的雙手操作和可視化能力,能最大化地支持協(xié)作[8]。

近年來,國外已出現(xiàn)了一些智能多模態(tài)人機(jī)交互系統(tǒng),國內(nèi)也有單位開展智能多模人機(jī)交互的研究工作,如清華大學(xué)計算機(jī)系人機(jī)交互與媒體集成研究所正在研制的“智能教室”[9],其中的人機(jī)界面由投影顯示、語音命令、話音合成、姿態(tài)識別、人物跟蹤與識別等組成,準(zhǔn)備通過多模態(tài)的人機(jī)接口技術(shù)實現(xiàn),此外,該計劃引入了智能環(huán)境及“無所不在的計算”的研究思路。北京交通大學(xué)信息所的基于Agent的多功能感知系統(tǒng),該項研究提出了一個基于Agent的多模人機(jī)交互框架,并且進(jìn)行了兩種輸入模態(tài)聯(lián)合的實驗[10]。

綜觀目前對于多通道技術(shù)的研究,主要集中在以下幾個方面：

1) 單個通道技術(shù)的研究：如語音識別、自然語言理解、手寫識別、視線跟蹤、面部跟蹤等,這類研究著重于對某一個通道的前沿技術(shù)的研究,旨在發(fā)展單個通道的技術(shù)。

2) 多個通道的整合技術(shù)；這類研究采用多學(xué)科交叉的研究方法,通過尋求多個通道間信息的共同表示,借鑒和分析人類多通道信息處理中的數(shù)據(jù)模型,尋求計算機(jī)軟件系統(tǒng)中對映射到多個交互通道的信息的統(tǒng)一化表示。即模擬人類的方式對多個通道信息進(jìn)行處理以實現(xiàn)交互。

3) 多通道系統(tǒng)的軟件架構(gòu)和系統(tǒng)模型；多通道界面的優(yōu)勢和靈活導(dǎo)致了許多設(shè)計問題上的復(fù)雜性,軟件結(jié)構(gòu)就是一個迫切需要解決的大問題,目前討論比較多的是智能體模型。

4) 用戶心理學(xué)、行為認(rèn)知學(xué)等用戶模型的研究；多通道人機(jī)交互的研究目的就是要實現(xiàn)類似人際的盡可能自然的交互,因此對用戶的心理和行為分析將有助于多通道系統(tǒng)的模型分析和建立。

3 多通道交互集成方法

多通道交互集成要解決的關(guān)鍵問題就是如何將不同通道的輸入信息有機(jī)地整合起來,得出用戶的交互目的。人的交互意圖是由大腦控制的,利用多個效應(yīng)通道如手、語言、動作等,并行協(xié)作地表達(dá)出意圖。就某一次交互來說,各個通道的輸入之間都是存在著相同目的的聯(lián)系。但是,對計算機(jī)而言,接收某個通道信息的設(shè)備不同,產(chǎn)生的信息格式也不同。要完成信息的整合,就必須將它們以一種統(tǒng)一的形式表達(dá)出來,由具體的設(shè)備信息到統(tǒng)一的格式表示,這就是多通道人機(jī)交互集成要解決的核心問題。

本文借鑒交互事件表示的分層整合模型的思想,針對多通道人機(jī)交互服務(wù)的特點和描述特性,在不同的層建立多通道人機(jī)交互消息的統(tǒng)一編碼方法及數(shù)據(jù)與接口集成規(guī)范等,從技術(shù)參考模型、數(shù)據(jù)交互規(guī)范等方面為多通道人機(jī)交互應(yīng)用提供集成規(guī)范,進(jìn)而實現(xiàn)多通道信息的集成。

3.1 多通道集成框架

如何在艦載指控操作中合理地利用觸摸、體感、語音等新式交互方式,實現(xiàn)多種交互通道優(yōu)化集成,提高指控操作的效率是多通道集成必須突破的問題。多通道集成框架需要集成來自不同交互通道的人機(jī)交互信息,對多種交互信息提供統(tǒng)一的管理,為上層應(yīng)用提供標(biāo)準(zhǔn)的接口,從系統(tǒng)與軟件體系結(jié)構(gòu)的角度為多通道交互集成奠定基礎(chǔ)框架,實現(xiàn)硬件及平臺的無關(guān)性。多通道交互集成框架由三層組成：設(shè)備層、事件組織層和操作管理層,具體的處理框架如圖1所示。

圖1 多通道交互集成框架

設(shè)備層實現(xiàn)對各類輸入設(shè)備的驅(qū)動,將輸入設(shè)備的交互信息發(fā)送到事件組織層。

事件組織層接收到不同交互通道的輸入信息后,將不同類型的輸入信息按統(tǒng)一的事件格式進(jìn)行組織轉(zhuǎn)換,并轉(zhuǎn)發(fā)到操作處理層進(jìn)行處理。通過事件組織層,實現(xiàn)對硬件平臺的無關(guān)性。

操作管理層實時偵聽并接收事件組織層發(fā)送的事件消息,綜合考慮輸入通道、事件類型等因素,將交互事件劃分為操作對象、操作動作和操作參數(shù)信息,根據(jù)多通道集成算法,提取出包含對象、動作和屬性等信息的操作,提供給應(yīng)用層。

多通道人機(jī)交互集成框架通過事件組織層和操作管理層完成多種交互通道的優(yōu)化集成,即是研究在事件組織層如何根據(jù)不同交互通道輸入事件的特點對多通道輸入的事件進(jìn)行分析、標(biāo)準(zhǔn)化、形成通用交互事件,然后在操作管理層將事件組織層發(fā)送的通用事件多種交互通道信息流分解、重組和抽象的過程。

3.2 多通道交互事件規(guī)范及集成

基于交互事件的多通道集成通過對多通道的交互事件的規(guī)范表達(dá),從而完成多通道交互整合。多通道交互事件規(guī)范根據(jù)不同交互通道輸入信息的特點,將交互事件標(biāo)準(zhǔn)化表達(dá),形成輸入信息在系統(tǒng)中的統(tǒng)一表達(dá)方式。

對計算機(jī)而言,接收某個通道信息的設(shè)備不同,產(chǎn)生的信息格式也不同。要完成不用交互通道產(chǎn)生的交互信息的整合,就必須將它們以一種統(tǒng)一的形式表達(dá)出來,由具體的設(shè)備信息到統(tǒng)一的格式表示,即是多通道交互事件的規(guī)范表達(dá)。

基于多通道人機(jī)交互集成框架的設(shè)計,從事件組織層和操作管理層對不同通道的輸入信息進(jìn)行規(guī)范性研究,將交互集成分為物理層、詞法層、語法層和應(yīng)用層。由于應(yīng)用層與應(yīng)用密切相關(guān),因此多通道人機(jī)交互集成規(guī)范從物理層、詞法層和語法層三個不同的層次對多種不同通道的輸入消息進(jìn)行統(tǒng)一的信息整合規(guī)范。

圖2 分層模型結(jié)構(gòu)

物理層是與物理交互設(shè)備相關(guān)的,它將來自交互設(shè)備的交互信息經(jīng)過設(shè)備驅(qū)動程序轉(zhuǎn)化,形成系統(tǒng)可以處理的信息格式。不同的輸入通道所表達(dá)的信息格式是不同的。比如,鍵盤和語音交互設(shè)備輸入的信息在物理層表示是字符串,鼠標(biāo)設(shè)備輸入信息在物理層表示是坐標(biāo)信息和點擊信息等。物理層的規(guī)范主要研究交互設(shè)備的標(biāo)準(zhǔn)輸入信息格式。

詞法層統(tǒng)一不同通道的輸入形式。多個通道雖然處理的過程不一樣,但它們表達(dá)的內(nèi)容是一樣的。通過使用最小的數(shù)據(jù)單元—原語數(shù)據(jù),表達(dá)不同通道的輸入內(nèi)容。詞法層對物理層的交互信息進(jìn)行抽象,把設(shè)備送來的信息轉(zhuǎn)化成規(guī)范的形式,便于上層的信息處理。

物理層傳遞來的原始數(shù)據(jù)都對應(yīng)著設(shè)備的一個輸入事件,不同的輸入設(shè)備輸入事件也不相同。詞法層對原始數(shù)據(jù)分兩步進(jìn)行規(guī)范整理,形成向下無關(guān)的最小邏輯單位。

第一步,詞法層對物理層的原始數(shù)據(jù)轉(zhuǎn)化,形成系統(tǒng)可以處理的一致格式的數(shù)據(jù),比如鍵盤和語音數(shù)據(jù)轉(zhuǎn)化為計算機(jī)內(nèi)存中的一段數(shù)字,鼠標(biāo)、觸摸和體感等轉(zhuǎn)化為一系列事件。具體事件列表如表1所示。

表1 輸入事件表

續(xù)表

第二步,詞法層將事件信息進(jìn)行抽象描述,形成交互語言的原語數(shù)據(jù)規(guī)范單元,將轉(zhuǎn)換后的原語數(shù)據(jù)傳遞到上層語法層。本文對常用的輸入設(shè)備和應(yīng)用事件進(jìn)行原語數(shù)據(jù)規(guī)范,內(nèi)容見下表。

表2 原語表

對于不同的人機(jī)交互方式,適用的原語情景也有不同,本文對詞法層原語數(shù)據(jù)規(guī)范對應(yīng)的適用情景也進(jìn)行了定義。例如鼠標(biāo)適用于點擊、拖拽情景,不適用繪制情景等。具體適用情景如圖3。

圖3 原語適用情景規(guī)范示意圖

語法層把來自詞法層的原語信息按照人機(jī)交互的語法規(guī)范分成表示命令的原語、表示對象的原語、表示對象屬性的原語。語法層是對信息整合規(guī)則的一種描述,來自詞法層的各種信息在語法的約束下進(jìn)行分類和綜合,并確定其語法意義,只有符合語法規(guī)則的信息才能進(jìn)入應(yīng)用層。語法層的規(guī)范主要研究各種原語組合標(biāo)準(zhǔn)與規(guī)范,用于確保原語組合的語法正確性。

語法層將原語按照命令、對象、屬性的類別進(jìn)行分類,在這里我們借鑒Apple公司關(guān)于桌面系統(tǒng)人機(jī)界面的一條規(guī)則進(jìn)行任務(wù)分析：“Noun-Verb”規(guī)則,即一條命令可由一個名詞和一個動詞部分構(gòu)成。例如,人們常常傾向于“新繪制一個軍標(biāo)”,而不是“軍標(biāo)繪制”這樣的表達(dá)方式。另外,還需對名字進(jìn)行修飾,例如“新繪制一個軍方在距離10km,方位45°”。因此,我們將規(guī)則進(jìn)行了修改：“Verb-Noun- Adjective”,即“操作-對象-屬性”,命名為操作三元組。

以上形式化描述中,以輸入原語為終結(jié)符。輸入原語來自于詞法層轉(zhuǎn)換的從輸入設(shè)備獲取的信息。它來自不同通道的獨(dú)立、最小、不可分割的操作。輸入原語經(jīng)過語法層組合成操作三元組后,將操作三元組傳遞至應(yīng)用層,由應(yīng)用層結(jié)合應(yīng)用映射至具體的應(yīng)用事件。

各層所處理的數(shù)據(jù)結(jié)構(gòu)在該層內(nèi)部是一致的,這樣既保證了結(jié)構(gòu)的清晰,也規(guī)范化了層與層之間的接口,屏蔽了層以下的信息差異,有利于系統(tǒng)交互通道的可擴(kuò)展性。

多通道交互集成研究對標(biāo)準(zhǔn)的輸入事件進(jìn)行重組和抽象,形成具體的操作事件。在多通道交互集成過程中,事件組織層根據(jù)詞法層定義的通用交互消息的原語集,將設(shè)備層發(fā)送的不同交互通道的信息按原語規(guī)范進(jìn)行組織和整理,形成標(biāo)準(zhǔn)的原語事件發(fā)送到操作組織層。操作管理層偵聽并接收事件組織層發(fā)送的輸入原語,對輸入原語的通道類型、事件類型,對輸入的原語事件進(jìn)行分析,依據(jù)語法層的操作三元組定義提取出對象、操作和屬性,將整合后的操作三元組傳遞至應(yīng)用層,由應(yīng)用層結(jié)合應(yīng)用映射至具體的應(yīng)用事件。

針對艦載作戰(zhàn)指揮控制系統(tǒng)的業(yè)務(wù)特點,結(jié)合人機(jī)交互設(shè)備的特點,提出了不同作戰(zhàn)業(yè)務(wù)操作下適用的交互手段組合的建議。方面作戰(zhàn)指揮時,建議采用“鍵盤+鼠標(biāo)+語音”的多通道交互；作戰(zhàn)方案擬制時,建議采用“觸摸+語音”的多通道交互；文電擬制時,建議采用“鍵盤+鼠標(biāo)+觸摸”的多通道交互；大屏?xí)淘O(shè)備操控時,建議采用“觸摸+體感”的多通道交互。

4 結(jié)語

多通道將是未來用戶界面的技術(shù)特征,多通道輸入信息的集成是實現(xiàn)多通道人機(jī)交互的一個關(guān)鍵技術(shù)。本文結(jié)合艦載作戰(zhàn)指揮控制系統(tǒng)的應(yīng)用背景,利用鼠標(biāo)、鍵盤、語音、觸摸、體感等人機(jī)交互方式,通過設(shè)計多通道集成框架,建立三層交互集成機(jī)制,定義通用交互消息原語集及操作三元組,形成多通道人機(jī)交互集成規(guī)范,并在此基礎(chǔ)上,針對艦載指控系統(tǒng)應(yīng)用背景,給出了在不同場景采用的交互方式的建議,為艦載指控系統(tǒng)中自然高效的人機(jī)交互提供技術(shù)支撐。

[1] Peter Frantis, Jan Hodicky. Human Machine Interfance in Command and Control System[C]//IEEE International Conference on Virtual Environments,2010:38-41.

[2] 王小非.美軍指控系統(tǒng)發(fā)展及其對我海軍艦艇指控系統(tǒng)建設(shè)的啟示[J].艦船電子工程,2010,30(5):1-5.

[3] 董士海,王堅,戴國忠.人機(jī)交互與多通道用戶界面[M].北京:科學(xué)出版社,1999.

[4] 董士海,陳敏等.多通道用戶界面的模型、方法與實例[J].北京大學(xué)學(xué)報(自然科學(xué)版),2001,32(2 -3):231- 239.

[5] Eric Clayberg , Dan Rubel. Eclipse Building Commercial-Quality Plug-ins[M].北京:人民郵電出版社,2006.

[6] Coen M, et al. The future of human-computer interaction or how I learned to stop worrying and love my intelligent room[J]. IEEE Intelligent Systems, 1999, 14(2):8-10.

[7] 葉挺.基于任務(wù)分析的指揮空間多通道交互方法研究[D].長沙:國防科技大學(xué),2009.

[8] 王鵬,黃廣連等.一種紅外多點觸摸式雙手交互技術(shù)[J]. 小型微型計算機(jī)系統(tǒng),2009,30(7):1467-1472.

[9] 谷洪亮,史元春等.智能教室支持普適計算的無線網(wǎng)絡(luò)方案的問題、挑戰(zhàn)和解決探討[J].小型微型計算機(jī)系統(tǒng),2005,26(3):367-370.

[10] S.Clemens.et.al. Component Software [M]. 2nd edition, USA: AddisonWesley, 2002.

Multimodel Interaction Integration Technique in Shipborne Command and Control System

NING Yunhui1YANG Xuefei1XU Jianping1CHENG Xiong2

(1. Navy Academy of Armament, Beijing 100161)(2. Wuhan Digital Engineering Institute, Wuhan 430205)

Friendly human-computer interaction is one of the important factors affecting the operational efficiency. In this paper,the requirements of human-computer interaction in shipborne command and control system are analyzed,and the human-computer interaction framework suitable for shipborne command and control system is proposed, multimodel interaction specification is formed, the improvements of naturealness and efficient are proved.

command and control system, human-computer interaction, multimodel interaction

E92

2016年9月11日,

2016年10月27日

寧云暉,女,工程師,研究方向：艦艇作戰(zhàn)系統(tǒng),人機(jī)工程。楊雪飛,女,工程師,研究方向：艦艇作戰(zhàn)系統(tǒng),人機(jī)工程。徐建平,男,高級工程師,研究方向：艦艇作戰(zhàn)系統(tǒng)。程雄,男,高級工程師,研究方向：人機(jī)交互。

E92

10.3969/j.issn.1672-9730.2017.03.007