基于增強(qiáng)現(xiàn)實(shí)的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)設(shè)計

馬全宇 唐蓉 李雪峰 邴柏春 李超 賈振 張穎剛 姜德雨 賈松茹 宋飛 白景蓮

1 研究背景

在日常工作中，有很多場景需要遠(yuǎn)程協(xié)作，但現(xiàn)有的遠(yuǎn)程協(xié)作模式和系統(tǒng)在實(shí)際應(yīng)用過程中存在諸多問題，例如：傳統(tǒng)的視頻直播和會議系統(tǒng)采用復(fù)雜的微控制單元架構(gòu)，擴(kuò)展性較差，難以實(shí)現(xiàn)高質(zhì)量的雙向音視頻互動操作;微信和TeamViewer等工具用于遠(yuǎn)程協(xié)作時難以實(shí)現(xiàn)數(shù)據(jù)全過程管理和溯源;執(zhí)法記錄儀等數(shù)據(jù)采集終端雖然能夠傳輸音視頻數(shù)據(jù)，但無法以第一視角實(shí)時呈現(xiàn)現(xiàn)場情況。此外，現(xiàn)有的遠(yuǎn)程協(xié)作系統(tǒng)大多不具備人工智能分析等功能，導(dǎo)致遠(yuǎn)程協(xié)作停留在簡單的互動協(xié)同層面，缺乏智慧性。為了提升相關(guān)作業(yè)場景的工作效率和質(zhì)量，亟須借助新一代信息技術(shù)探索適用于遠(yuǎn)程可視化指導(dǎo)的新模式和新系統(tǒng)。

借助物聯(lián)網(wǎng)、大數(shù)據(jù)、第五代移動通信（以下簡稱“5G”）和云計算等新一代信息技術(shù)提升遠(yuǎn)程可視化指導(dǎo)的智能化水平，是提升遠(yuǎn)程可視化指導(dǎo)效率和質(zhì)量的主要途徑。近年來，我國大力發(fā)展5G技術(shù)，各大通信運(yùn)營商積極推進(jìn)5G移動邊緣計算（mobile edge computing，MEC）技術(shù)研發(fā)。5G技術(shù)的應(yīng)用不僅能夠有效提升無線頻譜的利用效率，而且能夠加快無線數(shù)據(jù)傳輸速率，支持更多的終端接入。未來，5G技術(shù)還能實(shí)現(xiàn)所有物體實(shí)時聯(lián)網(wǎng)和相互感知[1-2]，并實(shí)現(xiàn)5G網(wǎng)絡(luò)優(yōu)化和資源分配優(yōu)化[3]。增強(qiáng)現(xiàn)實(shí)（augmented reality，AR）是未來5G技術(shù)的典型應(yīng)用領(lǐng)域。在2019年世界移動通信大會上，AR技術(shù)被預(yù)測為5G時代具有廣闊發(fā)展前景的十大應(yīng)用場景之一。隨著AR技術(shù)和虛擬現(xiàn)實(shí)（virtual reality，VR）技術(shù)的發(fā)展，未來的信息交互手段將由一維交互、二維交互、三維交互逐漸轉(zhuǎn)變?yōu)榛贏R和VR的沉浸式交互。鑒于此，本文針對遠(yuǎn)程可視化指導(dǎo)過程中存在的作業(yè)環(huán)境復(fù)雜且差異較大、作業(yè)人員專業(yè)水平參差不齊等問題，設(shè)計基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)。該系統(tǒng)采用基于選擇性轉(zhuǎn)發(fā)單元的音視頻服務(wù)架構(gòu)實(shí)現(xiàn)多人雙向音視頻傳輸，并采用智能AR眼鏡（見圖1）作為前端音視頻數(shù)據(jù)采集終端，通過AR技術(shù)和5G網(wǎng)絡(luò)實(shí)現(xiàn)信息實(shí)時交互，從而為使用者帶來沉浸式體驗(yàn)，使其能夠?qū)崟r掌握現(xiàn)場情況，實(shí)現(xiàn)無接觸式協(xié)作辦公。此外，該系統(tǒng)設(shè)置人工智能引擎，能夠?qū)Ａ繑?shù)據(jù)實(shí)施人工智能分析，從而提高遠(yuǎn)程協(xié)作的智能化水平。

2 基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)整體結(jié)構(gòu)設(shè)計

基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)可作為政府部門和企事業(yè)單位的業(yè)務(wù)團(tuán)隊(duì)與相應(yīng)領(lǐng)域?qū)＜抑g的實(shí)時溝通交流平臺，其設(shè)計思路如下：現(xiàn)場作業(yè)人員佩戴智能AR眼鏡采集現(xiàn)場信息，并通過5G網(wǎng)絡(luò)將現(xiàn)場的圖像、音頻、視頻等數(shù)據(jù)實(shí)時傳輸至遠(yuǎn)程專家，使專家能夠?qū)ΜF(xiàn)場作業(yè)實(shí)施有效的遠(yuǎn)程指導(dǎo);利用人工智能引擎，現(xiàn)場作業(yè)人員能夠在專家的遠(yuǎn)程指導(dǎo)下更加高效地解決問題?；贏R的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)拓?fù)浣Y(jié)構(gòu)如圖2所示。為了實(shí)現(xiàn)圖像、音頻、視頻等數(shù)據(jù)的遠(yuǎn)程傳輸以及遠(yuǎn)程專家與現(xiàn)場作業(yè)人員的互動，在基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)中部署移動視頻客戶端、指揮中心客戶端和服務(wù)器端應(yīng)用。

（1）移動視頻客戶端 移動視頻客戶端設(shè)置在現(xiàn)場作業(yè)人員佩戴的智能AR眼鏡上，其主要包含控制接口、數(shù)據(jù)通信接口、視頻采集接口和語音通信接口等，能夠?qū)崿F(xiàn)與指揮中心客戶端之間的實(shí)時雙向音頻通信。利用移動視頻客戶端，現(xiàn)場作業(yè)人員能夠?qū)F(xiàn)場信息直觀且實(shí)時地傳遞至遠(yuǎn)程專家，并接受遠(yuǎn)程專家的語音指導(dǎo)。

（2）指揮中心客戶端 指揮中心客戶端設(shè)置在遠(yuǎn)程專家的移動設(shè)備上，能夠?qū)崿F(xiàn)與現(xiàn)場作業(yè)人員的移動終端之間的實(shí)時雙向音頻通信，可安裝在平板電腦、筆記本電腦等能夠運(yùn)行Windows操作系統(tǒng)的移動設(shè)備上。

（3）服務(wù)器端應(yīng)用 服務(wù)器端應(yīng)用設(shè)置在相應(yīng)的指揮中心，主要包含音視頻服務(wù)器、數(shù)據(jù)庫服務(wù)器、錄像存儲服務(wù)器、Media Relay視頻轉(zhuǎn)發(fā)服務(wù)器、管理平臺和業(yè)務(wù)管理系統(tǒng)等，具備視頻轉(zhuǎn)發(fā)、音視頻數(shù)據(jù)存儲、業(yè)務(wù)管理、數(shù)據(jù)庫管理、遠(yuǎn)程工作站點(diǎn)呼入和呼出管理等功能。

3 基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)分層結(jié)構(gòu)設(shè)計

針對功能需求和應(yīng)用場景，本文設(shè)計的基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)支持公有云部署、私有服務(wù)集群部署和單機(jī)部署，可通過標(biāo)準(zhǔn)化接口適應(yīng)遠(yuǎn)程指導(dǎo)作業(yè)場景中的各種復(fù)雜應(yīng)用。如圖3所示，基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)分為采集層、存儲層、分析層、應(yīng)用層和顯示層，其中：采集層通過智能AR眼鏡（集成一體化麥克風(fēng)）采集圖像和視頻，支持AR光波導(dǎo)顯示和夜視拍攝，可傳輸高清視頻數(shù)據(jù);存儲層由輔助數(shù)據(jù)庫、應(yīng)用數(shù)據(jù)庫、系統(tǒng)數(shù)據(jù)庫、音視頻數(shù)據(jù)庫和遠(yuǎn)程連接設(shè)備等組成，可存儲全流程作業(yè)數(shù)據(jù);分析層包括機(jī)器視覺、音視頻處理、深度學(xué)習(xí)和大數(shù)據(jù)分析等模塊，具備三維交互、渲染引擎、環(huán)境理解、物體識別等功能，可通過MEC技術(shù)完成復(fù)雜計算;應(yīng)用層主要實(shí)現(xiàn)具體的查驗(yàn)功能;顯示層可實(shí)現(xiàn)AR光波導(dǎo)顯示和AR平板電腦顯示功能。

4 基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)功能結(jié)構(gòu)設(shè)計

（1）雙向音視頻通信 系統(tǒng)采用Media Server作為音視頻服務(wù)器，支持多人雙向音視頻通信，具體流程如圖4所示。作為基于Go語言的商用高性能流媒體服務(wù)器，Media Server依托Go語言對多核的原生優(yōu)勢，具備極強(qiáng)的并發(fā)性能，支持主流的實(shí)時消息傳輸協(xié)議、超文本傳輸協(xié)議（傳輸FLV數(shù)據(jù)）、WebSocket實(shí)時傳輸協(xié)議（傳輸FLV數(shù)據(jù)）、基于超文本傳輸協(xié)議的流媒體傳輸協(xié)議等。

（2）AR顯示 系統(tǒng)支持AR可視化信息顯示，其功能原理如下：通過智能AR眼鏡實(shí)時采集圖像數(shù)據(jù)，并利用算法計算目標(biāo)位置和方向，從而實(shí)現(xiàn)真實(shí)世界與虛擬圖像疊加，并支持兩者之間的信息互動。

（3）圖像標(biāo)記 系統(tǒng)具備遠(yuǎn)程自定義畫筆標(biāo)記、屏幕共享以及文字和圖片傳輸?shù)裙δ堋?/p>

（4）信息查詢 系統(tǒng)支持查詢遠(yuǎn)程指導(dǎo)過程中的全部數(shù)據(jù)，包括文字、圖片和音視頻等，從而實(shí)現(xiàn)數(shù)據(jù)全程保存和溯源。

（5）智能識別 系統(tǒng)具備光學(xué)字符識別和二維碼識別功能，支持熱成像測溫識別和人臉識別等，可用于識別特殊物品和核驗(yàn)人員身份。

（6）人機(jī)交互 系統(tǒng)支持語音交互和手勢交互：語音交互能夠解放作業(yè)人員雙手，手勢交互能夠簡化操作流程。

（7）數(shù)據(jù)庫管理 系統(tǒng)建立人員數(shù)據(jù)庫、危險物品數(shù)據(jù)庫和作業(yè)過程數(shù)據(jù)庫，分為原始存儲區(qū)、基礎(chǔ)數(shù)據(jù)區(qū)、元數(shù)據(jù)區(qū)和業(yè)務(wù)數(shù)據(jù)庫等，并配置人工智能算法引擎接口。

5 結(jié)束語

基于AR的智能遠(yuǎn)程可視化指導(dǎo)系統(tǒng)以第一視角采集作業(yè)現(xiàn)場信息，能夠高效率、高質(zhì)量地實(shí)現(xiàn)遠(yuǎn)程作業(yè)指導(dǎo)、監(jiān)督和取證。在2020年新冠肺炎疫情防控期間，該系統(tǒng)被大連金普海關(guān)應(yīng)用于海關(guān)遠(yuǎn)程查驗(yàn)業(yè)務(wù)，不僅充分釋放海關(guān)執(zhí)法資源，而且顯著提高海關(guān)查驗(yàn)效率和質(zhì)量，取得較好的應(yīng)用效果。在此基礎(chǔ)上，大連金普海關(guān)將結(jié)合查驗(yàn)業(yè)務(wù)的實(shí)際需求，繼續(xù)開展深入研究，探索更加智能化的遠(yuǎn)程可視化查驗(yàn)?zāi)Ｊ健?/p>

參考文獻(xiàn)：

[1]? 張平，陶運(yùn)錚，張治. 5G 若干關(guān)鍵技術(shù)評述[J]. 通信學(xué)報，2016，37（7）：15-29.

[2] 王東明，張余，魏浩，等. 面向5G的大規(guī)模天線無線傳輸理論與技術(shù)[J]. 中國科學(xué)：信息科學(xué)，2016，46（1）：3-21.

[3] 尤肖虎，張川，談曉思，等. 基于AI的5G技術(shù)――研究方向與范例[J]. 中國科學(xué)：信息科學(xué)，2018，48（12）：1589-1602.