機(jī)載任務(wù)系統(tǒng)三維圖形顯示交互技術(shù)研究

劉立輝+靳慧亮+傅康平

摘要

提出一種適用于機(jī)載任務(wù)系統(tǒng)的三維圖形顯示交互方法。該方法針對機(jī)載任務(wù)系統(tǒng)高效人機(jī)交互需求，在國產(chǎn)基礎(chǔ)軟硬件平臺(tái)之上，構(gòu)建三維圖形顯示交互系統(tǒng)，通過圖形優(yōu)化處理技術(shù)和框架集成技術(shù)，解決國產(chǎn)平臺(tái)性能瓶頸和軟硬件適配問題，實(shí)現(xiàn)三維圖形顯示交互系統(tǒng)的高效運(yùn)行。經(jīng)過典型任務(wù)應(yīng)用驗(yàn)證，該方法可顯著提升機(jī)載任務(wù)系統(tǒng)態(tài)勢信息顯示效率和操作員決策效率。

【關(guān)鍵詞】機(jī)載任務(wù)系統(tǒng) 三維圖形顯示交互圖形 引擎

1引言

1987年，在美國計(jì)算機(jī)成像專業(yè)委員會(huì)上（CIP）的一次專題研討會(huì)上，首次提出了科學(xué)計(jì)算可視化（Visualizationin Scientific Computing）的概念。整個(gè)二十世紀(jì)九十年代中，科學(xué)計(jì)算可視化與虛擬現(xiàn)實(shí)、生物工程等學(xué)科一樣，成為了人們研究的熱點(diǎn)，從而出現(xiàn)了一個(gè)快速發(fā)展的階段。在戰(zhàn)場中，從信息優(yōu)勢轉(zhuǎn)化為決策優(yōu)勢進(jìn)而提高戰(zhàn)斗力，中間需要一種將信息技術(shù)和理解信息的人員聯(lián)系起來的手段，這種手段就是戰(zhàn)場可視化（Battlefield Visualization）。

上世紀(jì)九十年代中期，美國推出“龍”（Dragon）戰(zhàn)場可視化系統(tǒng)，該系統(tǒng)以三維顯示的方式來展現(xiàn)戰(zhàn)場空間，向指揮參謀人員提供一致的戰(zhàn)役戰(zhàn)術(shù)畫面。其能夠?qū)φ麄€(gè)戰(zhàn)場地形、氣候等環(huán)境對象進(jìn)行逼真模擬，作戰(zhàn)人員有身臨其境的體驗(yàn)。美軍針對該系統(tǒng)進(jìn)行了三維軍標(biāo)標(biāo)繪技術(shù)的研究，并將該技術(shù)應(yīng)用于每年舉行的紅旗軍演。在此類軍演中，三維圖形可視化系統(tǒng)以為飛行員、指揮人員提供了逼真的戰(zhàn)場界面，可以實(shí)時(shí)展現(xiàn)空中打擊、防空壓制、指揮控制等常規(guī)作戰(zhàn)訓(xùn)練科目，還可以展現(xiàn)空中支援、搜索救援、特種作戰(zhàn)、電子作戰(zhàn)、戰(zhàn)術(shù)空運(yùn)和空中加油等科目。其配套的圖形可視化訓(xùn)練系統(tǒng)不僅可以提供顯示交互功能，還具備數(shù)據(jù)記錄、勝負(fù)判決、事后分析等功能。通過用三維圖形實(shí)時(shí)互動(dòng)地顯示仿真過程和仿真結(jié)果，能給用戶更全面、更直觀的信息，并可為不同領(lǐng)域?qū)＜姨峁┫嗷贤ê徒涣鞯钠脚_(tái)。

軍事信息立體化顯示是戰(zhàn)場數(shù)字化發(fā)展的必然趨勢和現(xiàn)實(shí)需求?！皩αⅢw顯示技術(shù)的需求是由于現(xiàn)代戰(zhàn)爭的概念發(fā)生變化的結(jié)果?，F(xiàn)代戰(zhàn)爭己經(jīng)從二維作戰(zhàn)空間轉(zhuǎn)向三維作戰(zhàn)空間，作戰(zhàn)態(tài)勢異常復(fù)雜。它要求每名指揮官對戰(zhàn)場空間環(huán)境形成一個(gè)統(tǒng)一的視覺感知，不能像以往的指揮方式那樣從平面信息中想象立體空間狀態(tài)。否則，在戰(zhàn)情轉(zhuǎn)瞬即逝的現(xiàn)代戰(zhàn)爭中，將會(huì)造成決策的延誤甚至失誤?！薄奔s“機(jī)動(dòng)聯(lián)合指揮控制系統(tǒng)”項(xiàng)目主持人之一瑞典國防大學(xué)的Henrik Friman教授。

目前，我國軍事信息系統(tǒng)正在朝向“實(shí)戰(zhàn)化、規(guī)?；?、標(biāo)準(zhǔn)化”方向升級(jí)發(fā)展，對戰(zhàn)場態(tài)勢的顯示能力和交互能力要求越來越高，尤其是“實(shí)戰(zhàn)化”引入的對戰(zhàn)場真實(shí)性、準(zhǔn)確性等方面的要求。在此背景下，傳統(tǒng)的以二維圖形和表格作為顯示方式的空中指揮系統(tǒng)己經(jīng)不能直觀地反映全方位的作戰(zhàn)空間信息。通過三維視景仿真技術(shù)構(gòu)建立體的虛擬空中戰(zhàn)場態(tài)勢，有利于作戰(zhàn)指揮員全方位和多角度地觀察整個(gè)空中戰(zhàn)場的態(tài)勢信息，最大限度地發(fā)揮整體作戰(zhàn)效能。從技術(shù)來上說，這些需求主要針對于計(jì)算機(jī)的顯示處理能力和人機(jī)交互能力，即對顯示交互系統(tǒng)的信息顯示效率和交互效率提出了更高的要求。三維圖形技術(shù)可以逼近真實(shí)地展示戰(zhàn)場態(tài)勢，對于滿足上述需求非常必要。

隨著計(jì)算機(jī)圖形學(xué)技術(shù)的發(fā)展成熟，三維圖形顯示交互技術(shù)將以更快的速度應(yīng)用于包括機(jī)載任務(wù)系統(tǒng)在內(nèi)的各類任務(wù)系統(tǒng)。此外，自主可控是當(dāng)前我國軍事需求的重要組成部分，基于國產(chǎn)基礎(chǔ)軟硬件平臺(tái)實(shí)現(xiàn)三維圖形系統(tǒng)，是我國裝備發(fā)展的基本要求和各科研機(jī)構(gòu)爭相研究的熱點(diǎn)。

2圖形技術(shù)發(fā)展現(xiàn)狀

圖形學(xué)技術(shù)萌芽于上世紀(jì)四十年代的動(dòng)畫領(lǐng)域，并伴隨影視娛樂、工業(yè)設(shè)計(jì)領(lǐng)域的逐漸應(yīng)用而蓬勃發(fā)展。進(jìn)入八十年代后，圖形學(xué)技術(shù)進(jìn)入計(jì)算機(jī)應(yīng)用領(lǐng)域。隨著計(jì)算機(jī)計(jì)算性能和顯示性能的不斷提升，國內(nèi)外軍民領(lǐng)域?qū)τ趫D形學(xué)技術(shù)的應(yīng)用日趨廣泛。

圖形計(jì)算處理涉及復(fù)雜硬件操作適配和多方面專業(yè)知識(shí)，直接開發(fā)圖形應(yīng)用程序比較困難。通常情況下，人們采用已經(jīng)相對成熟的基礎(chǔ)圖形開發(fā)庫進(jìn)行應(yīng)用開發(fā)，以屏蔽硬件差異和繁瑣的底層操作，提升開發(fā)效率。發(fā)展較為成熟比如OpenGL或DirectX。這些基礎(chǔ)圖形開發(fā)庫提供了基礎(chǔ)的圖形開發(fā)接口，可以滿足大多數(shù)應(yīng)用需求。其中，OpenGL具有很好的跨平臺(tái)性、與硬件無關(guān)性，是三維可視化場景開發(fā)的有效工具。

但是，對于復(fù)雜系統(tǒng)開發(fā)，直接應(yīng)用OpenGL或DirectX仍然比較困難。OSG、OGRE等圖形中間件（俗稱圖形引擎，為與基礎(chǔ)圖形開發(fā)庫OpenGL、DirectX等加以區(qū)分，本文稱其為圖形中間件）應(yīng)運(yùn)而生。這些圖形中間件解決了場景構(gòu)造、對象處理、場景渲染、時(shí)間處理、碰撞檢測等問題。

圖形中間件及其應(yīng)用系統(tǒng)是計(jì)算機(jī)圖形學(xué)技術(shù)發(fā)展的重要組成部分。圖形中間件封裝操作系統(tǒng)底層驅(qū)動(dòng)、基礎(chǔ)圖元處理等接口，構(gòu)建圖形場景和對象管理策略，供上層應(yīng)用程序調(diào)用，避免開發(fā)人員重復(fù)于基礎(chǔ)圖形開發(fā)工作。大量游戲系統(tǒng)、軍事/民用地圖標(biāo)繪系統(tǒng)、軍事情報(bào)系統(tǒng)等都采用了比較成熟的圖形中間件作為開發(fā)基礎(chǔ)?？茖W(xué)計(jì)算可視化、計(jì)算機(jī)動(dòng)畫和虛擬現(xiàn)實(shí)是近年來計(jì)算機(jī)圖形學(xué)的三大熱門話題，而圖形中間件技術(shù)是以上所有技術(shù)的核心基礎(chǔ)。

目前，國內(nèi)外圖形系統(tǒng)產(chǎn)品主要采用“X86（CPU）+NVIDIA/AMD（顯卡）+Windows/Linux（OS）+DirectX/OpenGL（基礎(chǔ)圖形開發(fā)庫）+OSG/OGRE（圖形中間件）”圖形處理架構(gòu)，其中DirectX僅用于Windows環(huán)境。在我國自主可控技術(shù)的推進(jìn)過程中，由于國產(chǎn)CPU、GPU的技術(shù)現(xiàn)狀，推動(dòng)高性能圖形顯示技術(shù)攻關(guān)迫在眉睫。經(jīng)過多年努力，基于國產(chǎn)平臺(tái)的二維圖形引擎己經(jīng)相對成熟，實(shí)現(xiàn)了大規(guī)模產(chǎn)品級(jí)應(yīng)用。而三維圖形引擎，雖有數(shù)十家單位爭相研制，但是，目前尚無絕對權(quán)威的通用型產(chǎn)品。

3機(jī)載任務(wù)系統(tǒng)三維圖形應(yīng)用需求及技術(shù)難點(diǎn)endprint

3.1應(yīng)用需求

2014年，印第安納大學(xué)-普渡大學(xué)韋恩堡分校對2D、2.5D、3D圖形顯示的人因工效進(jìn)行了研究，發(fā)表了詳細(xì)的研究報(bào)告，指出2.5D圖形顯示和3D圖形顯示可以大大降低目標(biāo)深度判斷錯(cuò)誤的概率。其中3D圖形顯示的判斷錯(cuò)誤率幾乎為零。93%的實(shí)驗(yàn)者認(rèn)為3D圖形顯示更有利于其分辨、評估目標(biāo)和態(tài)勢，尤其有助于對三維地理環(huán)境的理解，包括環(huán)境深度、高度信息的估計(jì)和距離的估算等。美國空間和海上作戰(zhàn)司令部（SpaceandNavalWarfareSystemCenter）指出，在空間分布狀態(tài)理解和反應(yīng)判斷速度方面，立體圖像比平面圖像快3倍，決策準(zhǔn)確率提高2√2倍。

未來的戰(zhàn)爭將是陸、海、空、天、電一體化的戰(zhàn)爭，隨著人們對沉浸感的狂熱追求，戰(zhàn)場可視化的研究必然從二維走向三維。戰(zhàn)役態(tài)勢的三維顯示為指揮者提供對戰(zhàn)役態(tài)勢直觀明確和快速的理解，是提高指揮自動(dòng)化程度的重要技術(shù)措施。

機(jī)載任務(wù)系統(tǒng)涉及的應(yīng)用領(lǐng)域包括預(yù)警探測、協(xié)同指揮、搜索救援等。這些系統(tǒng)以大范圍地理環(huán)境為背景，針對環(huán)境中的人、建筑物、車、飛機(jī)、船等節(jié)點(diǎn)對象進(jìn)行情報(bào)搜集、命令分發(fā)，快捷高效的圖形化顯示交互界面是其重要需求之一。目前，對于廣域地理場景態(tài)勢情報(bào)處理，一般采用二維圖形顯示。但是隨著機(jī)載任務(wù)系統(tǒng)的不斷發(fā)展，戰(zhàn)術(shù)指揮、區(qū)域搜索等小范圍地理場景的態(tài)勢感知系統(tǒng)發(fā)展迅速，對局部地理場景和抵近偵察對象的顯示交互需求也相應(yīng)增多。另外，隨著測高技術(shù)的不斷提升，空中目標(biāo)高度信息的精確直觀顯示變得越來越可行。依照事物發(fā)展的客觀規(guī)律，三維圖形顯示交互是機(jī)載任務(wù)系統(tǒng)發(fā)展的必然趨勢。

3.2技術(shù)難點(diǎn)

基于機(jī)載任務(wù)系統(tǒng)的基本需求，研制高效的三維圖形顯示交互系統(tǒng)勢在必行。該領(lǐng)域的主要矛盾是裝備自主化研制需求與顯示處理技術(shù)相對滯后之間的矛盾。突破基于國產(chǎn)平臺(tái)的顯示性能瓶頸，研制應(yīng)用級(jí)高性能圖形引擎及圖形數(shù)據(jù)庫，并針對各類典型系統(tǒng)開展應(yīng)用適配，是該領(lǐng)域研究的重點(diǎn)。目前需要解決的技術(shù)難點(diǎn)包括：

（1）國產(chǎn)平臺(tái)圖形加速技術(shù)；

（2）圖形開發(fā)優(yōu)化技術(shù)；

（3）圖形態(tài)勢交互技術(shù)。

其中，（1）主要涉及顯卡硬件及驅(qū)動(dòng)技術(shù)，（2）和（3）是本文研究的重點(diǎn)內(nèi)容。另外，在當(dāng)前技術(shù)基礎(chǔ)之上，加裝三維圖形顯示交互能力，離不開對現(xiàn)有系統(tǒng)或現(xiàn)有技術(shù)的改造升級(jí)，因此，針對圖形模塊的框架集成技術(shù)和基于任務(wù)的交互評估技術(shù)也是本研究的重點(diǎn)。

4機(jī)載任務(wù)系統(tǒng)三維圖形顯示交互設(shè)計(jì)

4.1設(shè)計(jì)原則

4.1.1模塊化可移植

（1）模塊化：基于“框架+插件”的軟件設(shè)計(jì)思想，將圖形引擎和圖形數(shù)據(jù)庫作為圖形核心模塊，嵌入到現(xiàn)有顯控框架體系中。在該框架基礎(chǔ)之上開發(fā)典型應(yīng)用和配試模擬器，用以驗(yàn)證圖形引擎和圖形數(shù)據(jù)庫的功能、性能。

（2）可移植：采用跨平臺(tái)的C++編程語言及其編譯環(huán)境、跨平臺(tái)的基礎(chǔ)圖形開發(fā)庫OpenGL和跨平臺(tái)的圖形開發(fā)庫QT及其開發(fā)工具QTCreator進(jìn)行開發(fā)，快速實(shí)現(xiàn)商用平臺(tái)及國產(chǎn)平臺(tái)的橫向移植，用以支持顯示性能的橫向比較。

4.1.2多途徑技術(shù)攻關(guān)策略

從計(jì)算機(jī)硬件（CPU、GPU）、操作系統(tǒng)、顯卡驅(qū)動(dòng)、基礎(chǔ)圖形開發(fā)庫、圖形中間件、圖形數(shù)據(jù)庫、圖形應(yīng)用模型等多個(gè)途徑進(jìn)行技術(shù)攻關(guān)，解決圖形顯示效率問題，全方位提升圖形繪制效率和應(yīng)用效能。在技術(shù)選型和軟硬件選型過程中，優(yōu)先考慮對三維圖形開發(fā)的支持能力和擴(kuò)展能力，并兼顧二維圖形顯示處理效率。圖形處理技術(shù)層級(jí)架構(gòu)見圖1，圖形功能優(yōu)化策略見圖2。

從圖形引擎、圖形數(shù)據(jù)庫、驗(yàn)證環(huán)境三個(gè)方面進(jìn)行技術(shù)攻關(guān)，其中重點(diǎn)為圍繞圖形引擎開展的基礎(chǔ)軟硬件、圖形開發(fā)環(huán)境、圖形中間件的技術(shù)攻關(guān)。

4.1.3分層次架構(gòu)集成模式

遵照MVC模式規(guī)范，在現(xiàn)有顯控框架中集成三維圖形模塊，加載3D圖元模型和地理模型數(shù)據(jù)，按照情報(bào)圖層和地理圖層分層管理，對上層應(yīng)用提供二次開發(fā)接口。同時(shí)，實(shí)現(xiàn)二、三維聯(lián)動(dòng)顯示，使操作員可以更加高效地收集并處理態(tài)勢信息。分層次圖形架構(gòu)見圖3。

對于機(jī)載任務(wù)系統(tǒng)現(xiàn)有顯控系統(tǒng)的圖形功能改造包含如下三個(gè)方面：

（1）從CPU、GPU、操作系統(tǒng)、顯卡驅(qū)動(dòng)、基礎(chǔ)圖形開發(fā)庫、圖形中間件等幾個(gè)層面，攻關(guān)圖形處理技術(shù)，構(gòu)建性能穩(wěn)定兼容性強(qiáng)的圖形引擎；

（2）根據(jù)相關(guān)標(biāo)準(zhǔn)，構(gòu)建標(biāo)準(zhǔn)化、通用化、可擴(kuò)展的三維圖形數(shù)據(jù)庫，以滿足各類機(jī)載任務(wù)系統(tǒng)的應(yīng)用需求；

（3）搭建典型應(yīng)用驗(yàn)證環(huán)境，主要包括與機(jī)載任務(wù)系統(tǒng)典型任務(wù)相關(guān)的顯控插件和業(yè)務(wù)支撐模塊，用于驗(yàn)證圖形引擎、圖形數(shù)據(jù)庫以及整個(gè)圖形系統(tǒng)的功能性能。

4.2圖形優(yōu)化技術(shù)

4.2.1圖形繪制優(yōu)化

計(jì)算機(jī)的圖形繪制功能主要借助于計(jì)算機(jī)的仿真計(jì)算能力，通過建立相應(yīng)的戰(zhàn)場環(huán)境、裝備等模型，并利用CPU、GPU計(jì)算輸出二三維圖形圖像。目前，國產(chǎn)操作系統(tǒng)主要基于Linux內(nèi)核開發(fā)。Linux界面多采用XWindow系統(tǒng)。XWindow是圖形系統(tǒng)的工業(yè)標(biāo)準(zhǔn)，采用客戶端/服務(wù)器模式。X Client通過X協(xié)議實(shí)現(xiàn)與X Server的交互。在其上構(gòu)建的基于國產(chǎn)平臺(tái)的圖形架構(gòu)通常存在顯示卡滯、操作不流暢等問題，主要?dú)w于如下幾點(diǎn)：

（1）頻繁提交的繪制邏輯：一般情況下，圖形繪制操作（例如DrawPoint、DrawLines、DrawText、DrawPixmap等）被解釋為操作顯卡的一系列命令，這些命令被發(fā)送至內(nèi)核，由內(nèi)核驅(qū)動(dòng)完成處理，該過程將帶來內(nèi)核與外界的交互開銷，其執(zhí)行效率受限于顯卡能力，如果圖形程序未對繪制邏輯進(jìn)行優(yōu)化，過于頻繁的繪制請求將帶來大量的內(nèi)核內(nèi)外交互開銷，導(dǎo)致顯示效率降低；

（2）過于快速的刷新頻率：當(dāng)圖形界面刷新周期過小時(shí)，會(huì)導(dǎo)致圖形繪制操作無謂增多，可進(jìn)一步擴(kuò)大顯示處理的壓力；endprint