面向應(yīng)急需求的異構(gòu)融合技術(shù)及應(yīng)用

安進(jìn)朝 馬文學(xué)

摘要：信息技術(shù)和計算機(jī)技術(shù)在專網(wǎng)通信領(lǐng)域應(yīng)用的不斷深入，為面向應(yīng)急需求的融合指揮手段提供了新的動力，經(jīng)多年攻關(guān)和積累，提出了一種異構(gòu)融合技術(shù)并成功應(yīng)用，對其中協(xié)議接入、媒體處理和業(yè)務(wù)融合3個關(guān)鍵子模塊的設(shè)計方案進(jìn)行了闡述，分析了其中涉及到的3種關(guān)鍵技術(shù)：組媒體處理及調(diào)度技術(shù)、弱網(wǎng)視頻優(yōu)化技術(shù)和異構(gòu)系統(tǒng)互聯(lián)互通技術(shù)，給出了異構(gòu)融合技術(shù)的實(shí)現(xiàn)效果和未來的研究方向。

關(guān)鍵詞：異構(gòu)融合；調(diào)度；統(tǒng)一適配；音視頻優(yōu)化；業(yè)務(wù)開發(fā)

中圖分類號：TP311文獻(xiàn)標(biāo)志碼：A文章編號：1008-1739（2022）12-67-5

0引言

隨著信息通信和計算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，國內(nèi)外在構(gòu)建應(yīng)急指揮調(diào)度系統(tǒng)過程中積極開展了相關(guān)的探索，已經(jīng)逐步從早期的有線電話和無線對講階段發(fā)展成為運(yùn)用有線、無線、衛(wèi)星、網(wǎng)絡(luò)和視頻等多種通信技術(shù)的全面應(yīng)用階段。由于不同網(wǎng)絡(luò)（包括固定網(wǎng)絡(luò)和多種移動網(wǎng)絡(luò)等）在傳播特性、帶寬、時延和覆蓋范圍等方面具有不同的性能[1]，沒有一種通信制式能解決所有問題。近年來，在“市域社會治理現(xiàn)代化”戰(zhàn)略及應(yīng)急管理部設(shè)立等大背景下，應(yīng)急管理體制應(yīng)對的危機(jī)范圍逐漸擴(kuò)大，國內(nèi)的面向應(yīng)急通信系統(tǒng)的建設(shè)迎來了新的歷史機(jī)遇和挑戰(zhàn)。針對突發(fā)事件呈現(xiàn)出事態(tài)多樣多發(fā)、影響更大更廣、處置更難更復(fù)雜的特點(diǎn)，如何保障政府和各行業(yè)應(yīng)急力量及時準(zhǔn)確了解現(xiàn)場情況，快速有效地進(jìn)行信息溝通，進(jìn)而及時、科學(xué)地決策，實(shí)現(xiàn)跨區(qū)域、跨部門的統(tǒng)一指揮調(diào)度[2]，已經(jīng)成為一個重要的研究課題。

1平臺簡介

異構(gòu)融合通信平臺的總體建設(shè)目標(biāo)為應(yīng)急指揮中心系統(tǒng)的支撐技術(shù)平臺，對上提供豐富標(biāo)準(zhǔn)的開放接口與應(yīng)急各部門通信業(yè)務(wù)應(yīng)用系統(tǒng)對接，對下連接各類終端，實(shí)現(xiàn)對渠道信息接入并有效支撐融合指揮服務(wù)。重點(diǎn)強(qiáng)化在各種突發(fā)事件時對事件和現(xiàn)場的快速研判和會商決策，提高應(yīng)急指揮效能，系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D如圖1所示。

2設(shè)計方案

異構(gòu)融合通信平臺總體架構(gòu)分為前端接入層、控制融合平臺層和服務(wù)接口層4部分，采用全I(xiàn)P網(wǎng)絡(luò)架構(gòu)，融合了專網(wǎng)主流通信技術(shù)，架構(gòu)如圖2所示。

前端接入層主要由各應(yīng)用系統(tǒng)或者定制的專用客戶端實(shí)現(xiàn)，為各類異構(gòu)網(wǎng)絡(luò)提供接入服務(wù)，為互聯(lián)互通提供穩(wěn)定高效的通道；融合平臺層是這個系統(tǒng)的核心，提供語音、視頻和數(shù)據(jù)的調(diào)度服務(wù)，多種通信手段的融合[3]，提供多種媒體協(xié)議和控制協(xié)議的擴(kuò)展。

服務(wù)接口層為指揮調(diào)度業(yè)務(wù)提供SDK服務(wù)接口，提供不同系統(tǒng)的對接能力，供外部業(yè)務(wù)終端或者系統(tǒng)進(jìn)行調(diào)用和集成。

控制融合平臺層，又細(xì)分為業(yè)務(wù)融合、媒體處理和協(xié)議接入3個子系統(tǒng)，下面將分別介紹。

2.1業(yè)務(wù)融合子系統(tǒng)

異構(gòu)融合通信平臺的特點(diǎn)是調(diào)度一體化、無障礙的互聯(lián)互通和豐富的通信業(yè)務(wù)，在應(yīng)急指揮和公安指揮等多種場景下，多種調(diào)度方式相結(jié)合，視頻實(shí)時呈現(xiàn)和互動，接報地圖自動定位，為輔助指揮中心高效聯(lián)合研判和指揮決策，繁雜的通信方式對異構(gòu)融合通信平臺的能力和便捷提出了很高的要求。控制融合子系統(tǒng)是融合平臺層的業(yè)務(wù)控制核心，也是異構(gòu)融合通信平臺的控制核心，通過對各種接入?yún)f(xié)議和業(yè)務(wù)引擎的融合，對服務(wù)接口層提供語音調(diào)度、視頻調(diào)度、GIS調(diào)度、短數(shù)據(jù)調(diào)度和設(shè)備管理等統(tǒng)一的支撐服務(wù)接口。

結(jié)合AI應(yīng)用技術(shù)，利用人臉識別、語音撥號和音視頻綁定等手段，融合通信平臺層可以為云應(yīng)用提供強(qiáng)大的功能擴(kuò)展。

2.2媒體處理子系統(tǒng)

媒體處理子系統(tǒng)，即平臺的媒體引擎，為融合平臺層提供音視頻會議功能，遵循媒體與信令分離、媒體處理與服務(wù)控制分離的原則，子系統(tǒng)分為服務(wù)接入、服務(wù)控制、媒體控制和媒體處理4層，其中媒體處理屬于媒體面，采用開源媒體處理框架。媒體處理子系統(tǒng)與控制融合子系統(tǒng)基于SIP/MSML協(xié)議傳輸媒體控制信令；與視頻網(wǎng)關(guān)、接入網(wǎng)關(guān)以及各類接入終端等接入層設(shè)備基于RTP/RTCP協(xié)議進(jìn)行媒體流的控制和傳輸。

通過采用優(yōu)秀的會議混音技術(shù)、視頻會議自適配技術(shù)、GPU加速技術(shù)、RTP擁塞控制和加密技術(shù)，保障異構(gòu)融合通信平臺流暢的媒體呈現(xiàn)和視頻源的無縫接入。

2.3協(xié)議接入子系統(tǒng)

協(xié)議接入子系統(tǒng)融合前端各種不同類型協(xié)議的系統(tǒng)和終端，可以接入多種系統(tǒng)和終端等專網(wǎng)通信產(chǎn)品，實(shí)現(xiàn)互聯(lián)互通?？梢耘c公網(wǎng)通信系統(tǒng)、專網(wǎng)無線寬窄帶集群系統(tǒng)以及視頻會議對接，完成融合指揮調(diào)度。對外選用了一種標(biāo)準(zhǔn)協(xié)議（SIP協(xié)議）和一種接口（UC服務(wù)接口），接入各種網(wǎng)關(guān)和統(tǒng)一通信服務(wù)，網(wǎng)關(guān)包括語音網(wǎng)關(guān)、寬窄帶集群接入網(wǎng)關(guān)、視頻會議網(wǎng)關(guān)、衛(wèi)星接入網(wǎng)關(guān)和視頻監(jiān)控接入網(wǎng)關(guān)等。

3關(guān)鍵技術(shù)

3.1組媒體處理及調(diào)度技術(shù)

在視頻指揮調(diào)度應(yīng)用中，網(wǎng)絡(luò)建設(shè)往往不是一次性全部更新，新舊設(shè)備共存是常態(tài)，不同網(wǎng)絡(luò)、不同終端視頻能力差異很大，調(diào)度應(yīng)用中既要保證所有在網(wǎng)的設(shè)備都可以接入，又要體現(xiàn)其中高端設(shè)備的先進(jìn)性和應(yīng)用效果。融合平臺的媒體引擎設(shè)計采用全新的多方媒體處理模型，同時具備媒體能力自動適配功能。

目前多方媒體處理框架主要有Mesh，Selective Forwarding Unit（SFU）和Multipoint Conferencing Unit（MCU）3種方案。

Mesh方案，即多個終端之間兩兩進(jìn)行連接，形成一個網(wǎng)狀結(jié)構(gòu)，這種方案對各終端的帶寬要求比較高。Mesh模型示意圖如圖3所示。

MCU方案由一個服務(wù)器和多個終端組成一個星形結(jié)構(gòu)。各終端將自己要共享的音視頻流發(fā)送給服務(wù)器，服務(wù)器端會將在同一個房間中的所有終端的音視頻流進(jìn)行混合，最終生成一個混合后的音視頻流再發(fā)給各個終端，這樣各終端就可以看到/聽到其他終端的音視頻了。實(shí)際上服務(wù)器端就是一個音視頻混合器，這種方案服務(wù)器的壓力會非常大。MCU模型示意圖如圖4所示。

SFU（Selective Forwarding Unit）方案，該方案也是由一個服務(wù)器和多個終端組成，但與MCU不同的是，SFU不對音視頻進(jìn)行混流，收到某個終端共享的音視頻流后，就直接將該音視頻流轉(zhuǎn)發(fā)給房間內(nèi)的其他終端。它實(shí)際上就是一個音視頻路由轉(zhuǎn)發(fā)器。這樣大大增加了客戶端的靈活性，但是這樣做也有弊端，因?yàn)镾FU不會對原視頻做壓縮處理，這對下行帶寬有很高的要求，若沒達(dá)到要求，將會對音視頻的質(zhì)量產(chǎn)生影響。

針對SFU帶寬問題，目前還有基于SFU的simulcast和SVC分層[6]方案。simulcast方案是通過分層的方式，可以設(shè)置成2層、3層或是4層甚至更高層次的分辨率，下發(fā)的時候SFU會判斷整個帶寬能否承載下行的數(shù)據(jù)，如果不能承載便選擇低一個層次的分辨率看能否承載，若不能承載，再選擇更低層次的，依次下去。SVC也是采用分層，但與simulcast不同，后者是獨(dú)立的層，而前者是相互依賴的。SFU-simulcast模型示意圖如圖6所示。SFU-SVC模型示意圖如圖7所示。

上述2種分層方案，都可以有效利用帶寬資源，但需要終端廣泛支持媒體流分層技術(shù)，因此應(yīng)用在融合指揮調(diào)度領(lǐng)域受限很大。

在異構(gòu)融合通信平臺中，前方應(yīng)急指揮環(huán)境下的終端組網(wǎng)采用了Mesh模型，在與外界網(wǎng)絡(luò)隔離的情況下，可以進(jìn)行應(yīng)急終端中間的多媒體交互。后方處理模型則采用了改進(jìn)的復(fù)合模型，兼顧了MCU和SFU的特點(diǎn)。

會議中某一會場不支持當(dāng)前會議要求的視頻格式時，媒體引擎需要為該會場分配額外的圖像編解碼器資源。當(dāng)媒體服務(wù)器中的編解碼器處理資源達(dá)到為每個會場都配備1路編解碼器資源時，就能夠?qū)崿F(xiàn)全適配處理。會場終端都能夠以最優(yōu)的視頻能力接入，同時媒體服務(wù)器發(fā)送給會議終端的視頻碼流也是最優(yōu)的。復(fù)合模型示意圖如圖8所示。

相對于傳統(tǒng)的指揮調(diào)度平臺，異構(gòu)融合通信平臺接入的媒體類型更多，業(yè)務(wù)流程更加復(fù)雜，對媒體資源的調(diào)度靈活性和能力兼容性有非常高的要求。

本平臺媒體引擎設(shè)計采用自適應(yīng)的媒體資源動態(tài)調(diào)度方法，根據(jù)不同的調(diào)度業(yè)務(wù)及終端設(shè)備間的媒體協(xié)商，均衡分配相應(yīng)的媒體轉(zhuǎn)發(fā)或轉(zhuǎn)碼資源，對不同業(yè)務(wù)及終端音視頻能力進(jìn)行適配；使用一種資源占用修正模型，該模型的輸入為資源目標(biāo)類型、當(dāng)前的網(wǎng)絡(luò)丟包、延遲、碼率、編解碼以及處理主機(jī)情況，輸出為修正后的最小資源占用、最優(yōu)資源預(yù)留和資源變化趨勢，用于準(zhǔn)確地評估資源占用情況。

該方法根據(jù)業(yè)務(wù)的媒體協(xié)商采用音視頻資源實(shí)時監(jiān)控策略，同時基于多目標(biāo)決策和資源修正模型，實(shí)現(xiàn)了轉(zhuǎn)碼、轉(zhuǎn)發(fā)等各類媒體資源的均衡動態(tài)分配與控制，突破了指揮調(diào)度中心大規(guī)模并發(fā)多媒體通信的瓶頸，保證了上層多種調(diào)度業(yè)務(wù)的高效穩(wěn)定進(jìn)行。

當(dāng)媒體流經(jīng)過任意媒體組件時，將執(zhí)行內(nèi)部動態(tài)配置，以便將傳入媒體格式與請求的輸出媒體格式相匹配。如果輸入和輸出格式兼容（在編解碼器級別），則媒體可以直接傳輸而無需任何額外的處理。但是，如果輸入和輸出媒體格式不兼容，則啟用內(nèi)部轉(zhuǎn)碼模塊將輸入媒體格式轉(zhuǎn)換為與所需輸出兼容。

3.2弱網(wǎng)視頻優(yōu)化技術(shù)

變分辨率在弱網(wǎng)場景的實(shí)際應(yīng)用中非常常見，網(wǎng)絡(luò)狀況不好的時候降低分辨率可以降低碼率，減少塊效應(yīng)，網(wǎng)絡(luò)好的時候增加分辨率可以提升清晰度及主觀體驗(yàn)。

目前主流的視頻編碼標(biāo)準(zhǔn)，比如H.264和H.2655/HEVC[4]，在編碼過程中如果要進(jìn)行分辨率切換，則必須要先編碼一個I幀，而I幀只能使用幀內(nèi)預(yù)測，編碼效率低下。這在弱網(wǎng)變分辨率的時候就容易造成卡頓。圖9展示了每秒鐘切換分辨率的碼率波動效果，高低2個分辨率，每秒鐘切換一次。