綜合業(yè)務(wù)觸控及顯示終端的設(shè)計(jì)實(shí)現(xiàn)及應(yīng)用

王艷 劉偉衛(wèi)

摘 要：文章結(jié)合綜合顯示系統(tǒng)的應(yīng)用實(shí)際，從進(jìn)一步擴(kuò)展指揮顯示功能的需求出發(fā)，設(shè)計(jì)了一套集視頻顯示、數(shù)據(jù)顯示、綜合態(tài)勢(shì)顯示于一體的多點(diǎn)觸控及顯示系統(tǒng)，在提升綜合顯示系統(tǒng)現(xiàn)場(chǎng)輔助決策能力方面進(jìn)行了研究。

關(guān)鍵詞：多點(diǎn)觸控；顯示；輔助決策

1 概述

經(jīng)過(guò)多年的建設(shè)應(yīng)用，中國(guó)華陰兵器試驗(yàn)中心的綜合顯示系統(tǒng)實(shí)現(xiàn)了綜合信息實(shí)時(shí)按需顯示，在任務(wù)中發(fā)揮了重要作用，為任務(wù)的組織指揮提供了可視化的指揮調(diào)度手段和信息化輔助手段，提高了整體工作效率。

但在當(dāng)前的系統(tǒng)應(yīng)用模式中，顯示大廳只為前排的操作人員和保障人員提供了工作臺(tái)位，而在觀摩席位就座的其他人員缺乏必要的個(gè)性化按需顯示設(shè)施，其通過(guò)主屏幕了解的信息非常有限，無(wú)法做到及時(shí)掌握任務(wù)進(jìn)展態(tài)勢(shì)、各關(guān)鍵點(diǎn)實(shí)時(shí)情況和各設(shè)備工作情況等，很多情況只能由各臺(tái)位保障人員轉(zhuǎn)述，在一定程度上制約了現(xiàn)場(chǎng)決策的靈活性和實(shí)時(shí)性，無(wú)形中加大了任務(wù)組織實(shí)施的難度。因而有必要為后排相關(guān)人員設(shè)計(jì)一套用于及時(shí)全面掌握任務(wù)進(jìn)展態(tài)勢(shì)的多點(diǎn)觸控及顯示系統(tǒng)，進(jìn)一步豐富系統(tǒng)顯示功能和顯示方式，增強(qiáng)人機(jī)交互性，全面提高任務(wù)保障能力。

2 觸控及顯示終端系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)設(shè)計(jì)

多點(diǎn)觸控及顯示系統(tǒng)主要包括控制軟件和硬件平臺(tái)兩部分。硬件包括觸控顯示終端、高性能圖形工作站、承載支架等?？刂栖浖?shí)現(xiàn)多路視頻源信息和顯示終端軟件的觸控顯示功能。系統(tǒng)連接關(guān)系如圖1所示。

2.1.1 硬件設(shè)計(jì)

多點(diǎn)觸控及顯示系統(tǒng)硬件主要由顯示終端、圖形工作站、承載平臺(tái)組成。

（1）顯示終端。顯示終端采用電容技術(shù)觸摸屏（Capacity Touch Panel，CTP）?？梢酝瑫r(shí)顯示16路視頻源，并支持10點(diǎn)觸控效果。

（2）圖形工作站。圖形工作站是整個(gè)系統(tǒng)信息處理的集成終端，主要實(shí)現(xiàn)多點(diǎn)觸控組件驅(qū)動(dòng)和數(shù)據(jù)處理。圖形工作站匯集所有接收到的模擬視頻源、數(shù)字視頻源以及計(jì)算機(jī)信息，并將其所有信息源根據(jù)需要進(jìn)行相應(yīng)的編碼、編排處理，通過(guò)顯示終端展現(xiàn)給用戶。

（3）視頻轉(zhuǎn)發(fā)服務(wù)器。視頻轉(zhuǎn)發(fā)服務(wù)器是整個(gè)集成設(shè)備信息處理的轉(zhuǎn)發(fā)中心，主要實(shí)現(xiàn)視頻流的多點(diǎn)信息轉(zhuǎn)發(fā)處理。視頻轉(zhuǎn)發(fā)服務(wù)器匯集所有接收到的視頻流，并將其根據(jù)終端需求進(jìn)行相應(yīng)的編碼處理，通過(guò)網(wǎng)絡(luò)轉(zhuǎn)發(fā)給需要顯示的終端用戶。

2.1.2 軟件設(shè)計(jì)

（1）手勢(shì)觸摸控制界面。如圖2所示，此界面安裝于圖像工作站上，是整個(gè)系統(tǒng)的操作界面。在畫(huà)面瀏覽窗口內(nèi)，實(shí)時(shí)顯示各個(gè)已正常連接的視頻畫(huà)面和遠(yuǎn)程桌面，用戶可使用手勢(shì)在各個(gè)候選畫(huà)面進(jìn)行切換，選擇出欲瀏覽畫(huà)面后將其拖放于多畫(huà)面實(shí)時(shí)顯示窗口。在多畫(huà)面實(shí)時(shí)顯示窗口中放大顯示選中的各種畫(huà)面，包括視頻畫(huà)面、錄像畫(huà)面和遠(yuǎn)程桌面。用戶可以隨意在單畫(huà)面、四畫(huà)面、九畫(huà)面之間進(jìn)行切換。用戶可通過(guò)該窗口進(jìn)行視頻畫(huà)面的放大、縮小、平移、推拉等操作（見(jiàn)圖3），并可根據(jù)連接設(shè)置情況進(jìn)行顏色、對(duì)比度、亮度、色度等畫(huà)面調(diào)節(jié)。

（2）遠(yuǎn)程桌面控制。在電子地圖和參數(shù)顯示等計(jì)算機(jī)上安裝遠(yuǎn)程桌面服務(wù)系統(tǒng)，觸屏計(jì)算機(jī)可進(jìn)行遠(yuǎn)程桌面控制。該服務(wù)系統(tǒng)可響應(yīng)遠(yuǎn)程客戶端的鼠標(biāo)和鍵盤(pán)輸入，并將本地顯示畫(huà)面實(shí)時(shí)流暢地傳遞給圖形工作站。同時(shí)該圖形工作站還能響應(yīng)遠(yuǎn)程手勢(shì)觸摸操作，根據(jù)鼠標(biāo)手勢(shì)進(jìn)行地圖軟件的放大縮小、平移切換等操作。

（3）遠(yuǎn)程視頻點(diǎn)播。遠(yuǎn)程接收視頻，選擇最佳畫(huà)質(zhì)碼流，使用RTP流媒體協(xié)議實(shí)時(shí)播放選中的視頻畫(huà)面，在視頻服務(wù)器提供聲音功能的情況下，自動(dòng)選取相應(yīng)聲音同步播放，可對(duì)選看的視頻畫(huà)面進(jìn)行平移、縮放和推拉操作。

（4）遠(yuǎn)程視頻錄像。存儲(chǔ)遠(yuǎn)程視頻，并提供界面進(jìn)行回放。對(duì)于觸屏客戶端接收到的視頻流進(jìn)行本地存儲(chǔ)，提供界面以方便事后回放?；胤沤缑鎽?yīng)包含播放、暫停、快進(jìn)與快退功能。

（5）數(shù)據(jù)瀏覽。內(nèi)置網(wǎng)頁(yè)瀏覽器；顯示數(shù)據(jù)服務(wù)器的上網(wǎng)頁(yè)內(nèi)容。操作界面上內(nèi)置網(wǎng)頁(yè)瀏覽器，可同時(shí)顯示（兩幅）網(wǎng)頁(yè)數(shù)據(jù)畫(huà)面，并可以對(duì)其顯示頁(yè)面進(jìn)行觸屏操作，根據(jù)鼠標(biāo)手勢(shì)進(jìn)行瀏覽頁(yè)面的放大縮小、平移切換等操作。

（6）視頻轉(zhuǎn)發(fā)服務(wù)。轉(zhuǎn)發(fā)接收到的視頻流，支持8臺(tái)以上的觸屏客戶端。本系統(tǒng)設(shè)計(jì)時(shí)，需要接收視頻編碼器傳輸?shù)囊曨l流，目前正在應(yīng)用的北清視頻編碼器只提供最多5路視頻流，遠(yuǎn)遠(yuǎn)不能滿足系統(tǒng)至少8臺(tái)觸屏控制終端同時(shí)顯示的功能。而且北清的視頻編碼器還需要對(duì)其他系統(tǒng)提供視頻流，所以在本系統(tǒng)中，從北清視頻編碼器接收的視頻流只能限定為一路。為了將收到的一路視頻流分發(fā)給至少8臺(tái)觸屏終端，在系統(tǒng)中增加一臺(tái)視頻轉(zhuǎn)發(fā)服務(wù)器并配置相應(yīng)的視頻流轉(zhuǎn)發(fā)軟件，由視頻轉(zhuǎn)發(fā)服務(wù)器實(shí)時(shí)將接收到的視頻流轉(zhuǎn)發(fā)給多臺(tái)客戶端，系統(tǒng)設(shè)計(jì)至少支持16臺(tái)的觸屏客戶端。

（7）用戶管理。角色設(shè)置，安全操作，功能授權(quán)。系統(tǒng)設(shè)置多種用戶級(jí)別，對(duì)用戶操作功能與權(quán)限進(jìn)行分類，設(shè)置不同的角色，每一種角色對(duì)應(yīng)相應(yīng)的功能操作權(quán)限。系統(tǒng)設(shè)置有超級(jí)權(quán)限管理員，所有用戶及角色都超級(jí)管理員創(chuàng)建并逐級(jí)下發(fā)管理，并在必要時(shí)所有權(quán)限均可由超級(jí)管理員收回。使用系統(tǒng)的每一個(gè)用戶都?xì)w屬于不同的用戶角色，并且只能使用該角色限定的操作功能。根據(jù)實(shí)際安全需求本系統(tǒng)設(shè)置的用戶角色管理員、操作員和瀏覽用戶3種角色，分別是管理員、操作員、瀏覽用戶。

（8）參數(shù)配置。參數(shù)配置包括：預(yù)覽區(qū)域配置，字幕疊加，配置文件管理。

①預(yù)覽區(qū)域配置。預(yù)覽區(qū)域至少顯示16路視頻圖像和遠(yuǎn)程桌面窗口，系統(tǒng)超級(jí)管理員對(duì)預(yù)覽區(qū)域中每一路顯示畫(huà)面均可以單獨(dú)進(jìn)行配置，可配置其IP地址、端口號(hào)、視頻類型、解碼方式、顯示比例、最佳質(zhì)量等。系統(tǒng)管理員也可以根據(jù)需求額外增加并配置顯示畫(huà)面。

②字幕疊加。每一路畫(huà)面最多可顯示16個(gè)漢字的標(biāo)題。標(biāo)題文字的設(shè)置由超級(jí)管理員完成，超級(jí)管理員可針對(duì)每一路顯示畫(huà)面單獨(dú)設(shè)置是否允許疊加文字以及疊加文字的內(nèi)容。

③配置文件管理。所有的系統(tǒng)配置參數(shù)包括預(yù)覽區(qū)參數(shù)設(shè)置、文字疊加設(shè)置等都以XML文件格式保存在運(yùn)行文件夾之下，系統(tǒng)管理員可以按試驗(yàn)名稱保存當(dāng)前信號(hào)源配置信息，并將配置文件導(dǎo)出保存。

④本地與遠(yuǎn)程配置。系統(tǒng)提供本地操作配置界面，所有配置操作均由超級(jí)管理員在本地操作完成，可將配置文件導(dǎo)入或?qū)С?，可設(shè)置預(yù)覽區(qū)畫(huà)面信息等。

2.2 系統(tǒng)原理

多點(diǎn)觸控及顯示系統(tǒng)由位于底層的操作系統(tǒng)層、網(wǎng)絡(luò)通信層、網(wǎng)絡(luò)服務(wù)層和應(yīng)用顯示層4部分組成，如圖4所示。

2.2.1 操作系統(tǒng)層

操作系統(tǒng)層是整個(gè)系統(tǒng)的基礎(chǔ)運(yùn)行平臺(tái)，主要向上層提供所需要的硬件驅(qū)動(dòng)、外部設(shè)備接口、內(nèi)存管理與進(jìn)程控制等服務(wù)。其中硬件設(shè)備的驅(qū)動(dòng)是選擇操作系統(tǒng)首要考慮的內(nèi)容，如觸摸屏多點(diǎn)觸控驅(qū)動(dòng)、聲音驅(qū)動(dòng)、圖形卡驅(qū)動(dòng)、網(wǎng)卡驅(qū)動(dòng)等都需要操作系統(tǒng)層面的支持。

2.2.2 網(wǎng)絡(luò)通信層

網(wǎng)絡(luò)通信層使用國(guó)際標(biāo)準(zhǔn)的TCP/IP協(xié)議來(lái)在多個(gè)服務(wù)器與控制終端之間進(jìn)行網(wǎng)絡(luò)包交換通信?？紤]到視頻流與音頻流的突發(fā)性與實(shí)時(shí)性，對(duì)于音視頻數(shù)據(jù)包采用面向無(wú)連接的UDP數(shù)據(jù)報(bào)協(xié)議，以減少傳輸過(guò)程中的抖動(dòng)和反復(fù)，最大限度的保障音視頻流的實(shí)時(shí)與流暢。

2.2.3 網(wǎng)絡(luò)服務(wù)層

網(wǎng)絡(luò)服務(wù)層是在網(wǎng)絡(luò)層之上提供的可供客戶端使用協(xié)議來(lái)調(diào)用的各類服務(wù)。系統(tǒng)中包含的視頻調(diào)用服務(wù)使用原有北清、?？?、松下視頻服務(wù)系統(tǒng)。

遠(yuǎn)程桌面服務(wù)安裝于參數(shù)計(jì)算機(jī)和地圖等計(jì)算機(jī)上，用于提供遠(yuǎn)程虛擬桌面服務(wù)，通過(guò)標(biāo)準(zhǔn)訪問(wèn)控制協(xié)議對(duì)外提供本地計(jì)算機(jī)的屏幕圖像，并接收遠(yuǎn)程控制界面的鼠標(biāo)和鍵盤(pán)控制信號(hào)，模擬出一個(gè)遠(yuǎn)程的虛擬計(jì)算機(jī)桌面。

2.2.4 應(yīng)用顯示層

應(yīng)用顯示層是本系統(tǒng)的顯示界面和操作中心。使用穩(wěn)定可靠的計(jì)算機(jī)編程語(yǔ)言，保障各子功能的流暢顯示，增加對(duì)指針設(shè)備的多點(diǎn)觸摸控制，利用流行的拖拽操作方式，結(jié)合操作界面中的窗口、按鈕、菜單等界面元素完成畫(huà)面分割、手指觸控和地圖漫游的功能。支持鼠標(biāo)、手勢(shì)的放大、縮小、輕點(diǎn)、滑動(dòng)、雙指、3指等。

應(yīng)用顯示層還集中了視頻調(diào)用、遠(yuǎn)程桌面和網(wǎng)頁(yè)瀏覽客戶端，通過(guò)這3個(gè)客戶端來(lái)跟網(wǎng)絡(luò)服務(wù)層中的相應(yīng)服務(wù)進(jìn)行交互，完成相應(yīng)的功能。

3 多點(diǎn)觸控及顯示系統(tǒng)功能及設(shè)計(jì)特點(diǎn)

3.1 多點(diǎn)觸控及顯示系統(tǒng)功能

多點(diǎn)觸控及顯示系統(tǒng)具有以下8個(gè)功能。

（1）系統(tǒng)具有普通賬戶和管理員兩種用戶權(quán)限，普通帳戶只具備畫(huà)面調(diào)閱功能，管理員賬戶除具備普通賬戶的權(quán)限外，還具備圖像源信息維護(hù)和全部的顯示控制功能，系統(tǒng)支持動(dòng)態(tài)切換帳戶。

（2）觸控顯示終端顯示界面分為主顯示區(qū)域和畫(huà)面預(yù)覽區(qū)域。

（3）在主顯示區(qū)域內(nèi)系統(tǒng)可以根據(jù)需要進(jìn)行單畫(huà)面、四畫(huà)面、六畫(huà)面、九畫(huà)面顯示和切換，雙擊選中的各種畫(huà)面進(jìn)行全屏顯示，顯示畫(huà)面包括視頻畫(huà)面和遠(yuǎn)程桌面，顯示畫(huà)面能進(jìn)行放大、縮小、平移、推拉等操作。

（4）在畫(huà)面預(yù)覽區(qū)域內(nèi)，可顯示全部已正常連接的視頻畫(huà)面和遠(yuǎn)程桌面的實(shí)時(shí)畫(huà)面，單屏可同時(shí)顯示8～16路（路數(shù)可自定義設(shè)置），通過(guò)手指左右劃動(dòng)實(shí)現(xiàn)當(dāng)前顯示畫(huà)面的切換，通過(guò)手指上下劃動(dòng)實(shí)現(xiàn)預(yù)覽畫(huà)面向主顯示區(qū)域的選擇性拖放。

（5）系統(tǒng)可同時(shí)接收顯示至少6路計(jì)算機(jī)信號(hào)及10路IP視頻圖像共計(jì)16路信號(hào)，所有接收的視頻圖像可以錄像保存至本地硬盤(pán)中，在需要時(shí)可調(diào)閱回放。

（6）系統(tǒng)可同時(shí)顯示（至少兩臺(tái)）電腦屏幕信息畫(huà)面；并可以對(duì)其顯示畫(huà)面進(jìn)行觸屏操作；可對(duì)電子地圖進(jìn)行放大、縮小、平移等操作。

（7）預(yù)覽區(qū)域顯示信息可以本地和遠(yuǎn)程進(jìn)行配置和預(yù)覽，系統(tǒng)可通過(guò)字幕疊加方式遠(yuǎn)程和本地配置各顯示畫(huà)面的文字說(shuō)明，可按試驗(yàn)名稱保存導(dǎo)出當(dāng)前信號(hào)源配置信息，以便下次相同試驗(yàn)時(shí)，直接導(dǎo)入使用歷史配置信息。

（8）系統(tǒng)內(nèi)置網(wǎng)頁(yè)瀏覽器，可同時(shí)顯示（兩幅）網(wǎng)頁(yè)數(shù)據(jù)畫(huà)面，并可以對(duì)其顯示畫(huà)面進(jìn)行觸屏操作。

3.2 技術(shù)特點(diǎn)

3.2.1 穩(wěn)定可靠的組織架構(gòu)

系統(tǒng)組織架構(gòu)中的各個(gè)組成部分均采用經(jīng)過(guò)時(shí)間驗(yàn)證的可靠性極高的成熟系統(tǒng)與協(xié)議，這些系統(tǒng)與協(xié)議也代表著國(guó)際公認(rèn)的未來(lái)發(fā)展的正確方向，有著良好的兼容性和后續(xù)發(fā)展動(dòng)力。

3.2.2 國(guó)際標(biāo)準(zhǔn)的通信協(xié)議

網(wǎng)絡(luò)服務(wù)之間的協(xié)議全部采用流行的國(guó)際標(biāo)準(zhǔn)協(xié)議，包括視頻通信協(xié)議、遠(yuǎn)程桌面協(xié)議和網(wǎng)頁(yè)瀏覽協(xié)議，沒(méi)有自定義任何私有的通信協(xié)議，這十分有利于系統(tǒng)的接口與集成。任何系統(tǒng)只要支持這些國(guó)際標(biāo)準(zhǔn)協(xié)議都可以無(wú)縫地與本系統(tǒng)進(jìn)行對(duì)接，使用本系統(tǒng)的全部或者任何一部分功能。

3.2.3 先進(jìn)的界面展現(xiàn)與操作方式

通過(guò)先進(jìn)的多點(diǎn)觸摸設(shè)備，提供手勢(shì)操作的功能，結(jié)合流行的視頻畫(huà)面分割與拖拽技術(shù)，展示給用戶一個(gè)清新絢麗而又易于理解操作的控制界面。強(qiáng)勁動(dòng)力的圖形工作站、寬闊護(hù)眼的視網(wǎng)膜級(jí)大屏、簡(jiǎn)單無(wú)需學(xué)習(xí)而且符合人體操作習(xí)慣的界面行為方式，必將會(huì)給用戶帶來(lái)一個(gè)全新舒適的操控感受。

4 結(jié)語(yǔ)

建立多點(diǎn)觸控及顯示系統(tǒng)，各類人員可以通過(guò)顯示屏瀏覽任務(wù)現(xiàn)場(chǎng)畫(huà)面及綜合態(tài)勢(shì)情況，可直觀地掌握任務(wù)發(fā)展態(tài)勢(shì)，指揮員可依據(jù)顯示信息的相關(guān)情況下達(dá)命令。該系統(tǒng)拓展了各類決策人員的視野，縮短了任務(wù)中的各類事項(xiàng)上傳下達(dá)的時(shí)間，提高了任務(wù)整體執(zhí)行效率。

[參考文獻(xiàn)]

[1]殷旭，俞雅玲，王媛，等.采用良好觸控體驗(yàn)尺寸的自適應(yīng)用戶界面生成方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014（4）：662-668.

[2]夏潔.Synaptics與比亞迪合作開(kāi)發(fā)新的汽車觸控屏解決方案[J].計(jì)算機(jī)與網(wǎng)絡(luò)，2016（5）：76.