低延時(shí)智能監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

索旭東，林 琳，李康華，李冀川，蕭潤明

(智能移動機(jī)器人（中山）研究院，廣東 中山 528400)

0 引言

隨著智能移動機(jī)器人、攝像頭、人工智能、無線通信等相關(guān)產(chǎn)業(yè)技術(shù)的發(fā)展[1]，市面上許多監(jiān)控室采用固定攝像頭和有線網(wǎng)絡(luò)，這種系統(tǒng)架構(gòu)缺點(diǎn)被不斷放大，視頻監(jiān)控技術(shù)由此開始向無線低延時(shí)、智能化、多功能、可拓展發(fā)展。傳統(tǒng)的人工巡邏和固定攝像頭監(jiān)控容易出現(xiàn)監(jiān)控死角、遠(yuǎn)程查看監(jiān)控存在視頻延時(shí)高的問題。

需要針對現(xiàn)有監(jiān)控終端架構(gòu)缺陷[2]，給出可行性的解決方案。提出一種硬件功能拓展性高、監(jiān)控可靠低延時(shí)、監(jiān)測異常智能化的方案，基于WebRTC視頻流傳輸技術(shù)的搭載可移動機(jī)器人攝像頭的智能監(jiān)控安防系統(tǒng)。采用WebRTC（Web Real-Time Communication）進(jìn)行跨平臺低延時(shí)通信，保證監(jiān)控畫面的實(shí)時(shí)性。用戶可以直接通過瀏覽器Web 端看到監(jiān)控室畫面。本文主要介紹關(guān)于WebRTC 的技術(shù)特點(diǎn)以及低延時(shí)智能監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。

1 軟件設(shè)計(jì)方案

傳統(tǒng)視頻輸出為rtsp 流，提供視頻兼容性和視頻傳輸穩(wěn)定性。要打造適合的低延時(shí)監(jiān)控系統(tǒng)，重點(diǎn)是要明確用戶觀看到的攝像頭畫面延時(shí)產(chǎn)生的組成。傳統(tǒng)監(jiān)控系統(tǒng)采用B/S 結(jié)構(gòu)開發(fā)。用戶觀看監(jiān)控視頻產(chǎn)生的延時(shí)會由以下四個(gè)部分組成：

●攝像頭壓制編碼的時(shí)間；

●視頻網(wǎng)絡(luò)傳輸服務(wù)器的時(shí)間；

●視頻網(wǎng)絡(luò)傳輸?shù)綖g覽器的時(shí)間。

低延時(shí)監(jiān)控系統(tǒng)可以優(yōu)化除了第一點(diǎn)外的流程。總的來說，低延時(shí)的關(guān)鍵在于怎么提高視頻傳輸速度和解碼效率。

WebRTC 技術(shù)采用點(diǎn)對點(diǎn)的通信技術(shù)，把延時(shí)的組成再次改寫為三部分：

●攝像頭壓制編碼的時(shí)間；

●視頻從網(wǎng)絡(luò)傳輸?shù)娇蛻舳说臅r(shí)間。

●視頻渲染解碼的時(shí)間。

1.2 腹膜反折懸吊裝置的設(shè)計(jì) 自制腹膜反折懸吊裝置由 Hem-o-lok 夾和與之連接的穿刺器、固定裝置及施夾鉗組成，施夾鉗用于將懸吊裝置置入體腔，并將 Hem-o-lok 夾夾閉固定于腹膜反折上；穿刺器及其附屬連接線用于調(diào)整腹膜反折懸吊的牽引方向及高度；固定裝置用于固定連接線，保持腹膜反折懸吊的高度和方向（圖1）。

1.1 WebRTC介紹

WebRTC(Web Real-Time Communications)是一項(xiàng)實(shí)時(shí)通訊技術(shù)，它允許網(wǎng)絡(luò)應(yīng)用或者站點(diǎn)，在不借助中間媒介的情況下，建立瀏覽器之間點(diǎn)對點(diǎn)（Peerto-Peer）的連接，實(shí)現(xiàn)視頻流、音頻流或者其他任意數(shù)據(jù)的傳輸。

WebRTC 技術(shù)框架的接口層核心是RTCPeer-Connection，分為兩部分：Web API和WebRTC C++API。Web API 是由W3C 維護(hù)的一組JavaScript 接口[6]，提供了API 方便開發(fā)者直接使用，在瀏覽器中創(chuàng)建實(shí)時(shí)通信應(yīng)用程序。

核心引擎層分為音頻引擎模塊、網(wǎng)絡(luò)傳輸模塊和視頻引擎模塊。音頻引擎模塊是WebRTC 最具有價(jià)值的技術(shù)之一，包含從視頻采集卡到網(wǎng)絡(luò)傳輸段的整個(gè)一系列的音頻多媒體處理框架。

WebRTC的網(wǎng)絡(luò)傳輸涉及多種協(xié)議用于同時(shí)支持音頻、視頻、自定義應(yīng)用數(shù)據(jù)的傳輸。WebRTC傳輸?shù)乃袛?shù)據(jù)都是基于加密信道DTLS 進(jìn)行傳輸?shù)?，DTLS讓通信雙方握手生成一對密鑰[7]，發(fā)送方負(fù)責(zé)通過UDP 傳輸對數(shù)據(jù)進(jìn)行加密，再由接收方對加密數(shù)據(jù)做解密處理。簡單來說就是在UDP 的基礎(chǔ)上讓通信雙方協(xié)商密鑰進(jìn)行加密解密。音視頻數(shù)據(jù)通過RTP/SRTP（Realtime Transport Protocol/Secure Realtime Transport Protocol）進(jìn)行傳輸。綜上所述，WebRTC 在底層使用UDP，在上層使用RTP。

視頻引擎模塊包括：攝像頭采集視頻通過視頻信息網(wǎng)絡(luò)實(shí)現(xiàn)視頻顯示的過程。

1.2 WebRTC通訊架構(gòu)

WebRTC 技術(shù)有三種架構(gòu)：Mesh、MCU、SFU[8]，本系統(tǒng)使用的是Mesh 架構(gòu)，是基于端到端的直連設(shè)計(jì)。三種通訊架構(gòu)如圖1所示。

圖1 WebRTC通訊架構(gòu)圖

Mesh 架構(gòu)：客戶端進(jìn)行相互間音視頻流數(shù)據(jù)傳輸采用P2P 連接。Mesh 架構(gòu)的優(yōu)點(diǎn)是不需要中心服務(wù)器進(jìn)行轉(zhuǎn)發(fā)，由于視頻編碼解碼過程都在客戶端，對于客戶端的上行帶寬消耗比較大。

MCU架構(gòu)：該架構(gòu)的視頻信息流是在服務(wù)端進(jìn)行編碼，對于不同接收端不需要進(jìn)行轉(zhuǎn)碼。但是抖動緩沖區(qū)較大，而且對服務(wù)器的CPU 消耗大，點(diǎn)與點(diǎn)之間需要通過服務(wù)器，造成兩點(diǎn)之間的延時(shí)增加。每個(gè)客戶端只需要向服務(wù)器上傳一路信息流，從服務(wù)端接收一路音頻視頻流，對于客戶端的帶寬消耗較少，但是對于服務(wù)器性能要求較高CPU資源消耗較大。

SFU 架構(gòu)：通過服務(wù)器對音頻視頻等信息流進(jìn)行直接轉(zhuǎn)發(fā)，不需進(jìn)行編碼操作。相比MCU 架構(gòu)，SFU架構(gòu)對數(shù)據(jù)傳輸更安全、服務(wù)器的壓力較小。

對于客戶端的下行帶寬消耗較大，不適合用在網(wǎng)絡(luò)條件較差的環(huán)境。

本系統(tǒng)監(jiān)控看板主要是使用在遠(yuǎn)程監(jiān)控室，屬于端點(diǎn)和信息量較小的場景，為了增加數(shù)據(jù)的低延時(shí)和實(shí)時(shí)性，將Mesh架構(gòu)做為最佳選型使用。

1.3 WebRTC優(yōu)勢

本論文的低延時(shí)方案是基于WebRTC 視頻技術(shù)實(shí)現(xiàn)的。與傳統(tǒng)視頻rtsp 流。WebRTC 能建立點(diǎn)對點(diǎn)的連接，減少了視頻傳送服務(wù)器的時(shí)間，能有效降低視頻的延時(shí)。

2 測試結(jié)果及分析

測試實(shí)驗(yàn)使用?？低晹z像頭。分別使用?？低昗eb 端，低延時(shí)智能系統(tǒng)，某商用視頻中間件，開源FFMPEG+JSMPEG 技術(shù)四個(gè)方案進(jìn)行測試對比。

2.1 對比方案

?？低昗eb 端，以JavaScript 接口形式提供用戶集成，支持網(wǎng)頁上實(shí)現(xiàn)預(yù)覽、回放、云臺控制等基本視頻相關(guān)功能，用于BS 網(wǎng)頁開發(fā)，適用于特定的網(wǎng)絡(luò)環(huán)境。

某商用視頻中間件，采用的是VLC 內(nèi)嵌網(wǎng)頁播放程序，通過底層去調(diào)用VLC 的ActiveX 控件實(shí)現(xiàn)在Web端內(nèi)嵌播放RTSP實(shí)時(shí)視頻流。

FFMPEG+JSMPEG 技術(shù)，是目前國際上較為流行的用于實(shí)現(xiàn)視頻編碼、解碼、轉(zhuǎn)碼、封裝、解封裝、流、鏡、播放等功能的多媒體框架，對rtsp 流進(jìn)行解析，開啟rtsp 流經(jīng)視頻音頻解封裝器，解析去除無關(guān)的報(bào)文信息，提取出真正的視音頻數(shù)據(jù)流。

2.2 測試方法

使用?？低晹z像頭，與PC 網(wǎng)卡直連，同時(shí)打開海康威視Web 端與低延時(shí)智能系統(tǒng)，某商用視頻中間件，與開源FFMPEG+JSMPEG 技術(shù)三個(gè)方案中的其中一個(gè)作為參照物進(jìn)行北京時(shí)間對比分析。

第一個(gè)測試的是低延時(shí)監(jiān)控系統(tǒng)與?？低?。兩者進(jìn)行多次延時(shí)對比采樣，把測試結(jié)果記錄下來求一個(gè)平均數(shù)。其實(shí)如圖2為其中一次測試結(jié)果。左側(cè)是本機(jī)與攝像頭使用低延時(shí)系統(tǒng)的延時(shí)，右側(cè)則是海康威視官方系統(tǒng)的延時(shí)，可以看到在相同的硬件配置與網(wǎng)絡(luò)配置下，使用低延時(shí)遠(yuǎn)程監(jiān)控系統(tǒng)與使用?？低暪俜较到y(tǒng)的延時(shí)只差110毫秒左右。

圖2 測試結(jié)果對比

其他方案與按同等網(wǎng)絡(luò)環(huán)境與攝像頭進(jìn)行。其延時(shí)對比結(jié)果如表1所示。海康威視攝像頭的官方拉流平均延時(shí)在90ms，本系統(tǒng)采用的WebRTC方案平均延時(shí)在200ms，采用第三方中間件的平均延時(shí)在750ms，基于FFmpeg解碼技術(shù)的拉流方案平均延時(shí)在1000ms。

表1 不同方案延時(shí)對比

通過實(shí)驗(yàn)對比，某商用中間件，F(xiàn)Fmpeg和WebRTC三種方案的得出平均延時(shí)數(shù)據(jù)得出，WebRTC 方案相較于FFmpeg 和第三方中間件在低延時(shí)效果上更加突出。

3 系統(tǒng)特點(diǎn)與功能展示

低延時(shí)智能監(jiān)控系統(tǒng)通過軟件架構(gòu)的設(shè)計(jì)提高傳輸速率，把后臺信息管理系統(tǒng)、機(jī)器人通信網(wǎng)關(guān)系統(tǒng)、視頻推送分離開來[9]。讓視頻和用戶的業(yè)務(wù)數(shù)據(jù)獨(dú)立處理的同時(shí)，又可以做到統(tǒng)一的數(shù)據(jù)管理。這樣的架構(gòu)設(shè)計(jì)，讓本系統(tǒng)相較其他智能監(jiān)控系統(tǒng)更靈活方便，適用范圍更廣。

基于WebRTC 實(shí)時(shí)通訊技術(shù)的低延時(shí)智能監(jiān)控系統(tǒng)優(yōu)點(diǎn)在于底層基于UDP 協(xié)議具有毫秒級的低延時(shí)具有更好的交互效果。在不需要額外的中間媒介就能直接通過Web 端訪問，大大提高了用戶使用的便捷度。隨著技術(shù)的不斷發(fā)展，WebRTC 的兼容性越來越強(qiáng)大，支持跨平臺方便日后集成二次開發(fā)。相較于傳統(tǒng)監(jiān)控系統(tǒng)，WebRTC 使用的信令傳輸具有穩(wěn)定性好、可擴(kuò)展性強(qiáng)、帶寬利用率高等特點(diǎn)。WebRTC存在的缺點(diǎn)是：架構(gòu)方案多，對不同場景的選型難度高，相對復(fù)雜，開發(fā)難度高。

3.1 系統(tǒng)功能實(shí)現(xiàn)展示

結(jié)合地圖與遠(yuǎn)程視頻監(jiān)控，可以及時(shí)了解機(jī)器人附近的情況，根據(jù)利用遠(yuǎn)程監(jiān)控及時(shí)反饋環(huán)境，利用系統(tǒng)的低延時(shí)，可以讓相關(guān)負(fù)責(zé)人實(shí)現(xiàn)遠(yuǎn)程管理多臺機(jī)器人的效果，如圖3所示。

圖3 遠(yuǎn)程監(jiān)控頁面圖

結(jié)合數(shù)據(jù)反饋的異常數(shù)據(jù)與及時(shí)利用視頻實(shí)時(shí)對機(jī)器人環(huán)境進(jìn)行更好地監(jiān)控，如圖4所示。

圖4 監(jiān)控看板頁面

4 結(jié)論

本論文分析了基于WebRTC 開發(fā)的低延時(shí)智能監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。打造一個(gè)用戶使用簡便，遠(yuǎn)程低延時(shí)監(jiān)控系統(tǒng)。對市場上機(jī)器人等遠(yuǎn)程實(shí)時(shí)性要求高的場景提供一個(gè)低延時(shí)的解決方案。為機(jī)器人遠(yuǎn)程監(jiān)控系統(tǒng)，擴(kuò)大應(yīng)用范圍提供一個(gè)很好的方向?？梢耘浜蠈Π脖１O(jiān)控行業(yè)不同場景條件需求分析。也可配置上移動智能機(jī)器人相關(guān)產(chǎn)業(yè)進(jìn)行需求，實(shí)現(xiàn)適用范圍廣、視頻延時(shí)低、檢測智能化的目標(biāo)。提供標(biāo)準(zhǔn)無差低延時(shí)、多端可視的視頻流服務(wù)。相信未來新一代的機(jī)器人，人工智能，無線通信等技術(shù)的發(fā)展能讓系統(tǒng)得到更加有力的支持與發(fā)展[10]。