基于RTMP協(xié)議的視頻傳輸技術(shù)在智慧市政中的應(yīng)用

童偉光

(上海電氣自動(dòng)化設(shè)計(jì)研究所有限公司，上海 200023)

0 引 言

近幾年來，智慧城市已經(jīng)上升到國家經(jīng)濟(jì)、科技的戰(zhàn)略層面。中國工程院常務(wù)副院長潘云鶴說智慧城市就是將當(dāng)下傳感器技術(shù)、互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)和各種高新技術(shù)融入城市的各個(gè)系統(tǒng)，形成城市建設(shè)、城市經(jīng)濟(jì)、城市管理和服務(wù)的升級(jí)發(fā)展。

要想更合理地構(gòu)建智慧城市，需要一雙明亮的“眼睛”，而基于實(shí)時(shí)消息傳輸RTMP協(xié)議(real time messaging protocol， RTMP)的視頻傳輸技術(shù)就是這雙充滿智慧的“眼睛”。傳統(tǒng)的設(shè)備和視頻監(jiān)控不夠靈活，前者只能看到固定的數(shù)據(jù)，后者即使是球機(jī)，盡管視頻越來越清晰，但監(jiān)控范圍終究有限。

本文緊跟科技前沿，基于目前最主流的RTMP視頻傳輸協(xié)議，結(jié)合科技感十足的AR眼鏡和無人機(jī)終端，針對(duì)傳統(tǒng)監(jiān)控的缺點(diǎn)，以“人工”+“智慧”的方式加以改善，為智慧城市的建設(shè)添磚加瓦。

1 視頻傳輸協(xié)議RTMP

1.1 選擇RTMP的原因

視頻傳輸協(xié)議有很多，如表1所示。

RTMP、RTSP和HLS是最主流的要數(shù)。

HLS實(shí)際上并不是真正的實(shí)時(shí)流協(xié)議，HLS協(xié)議在服務(wù)器端將數(shù)據(jù)流存儲(chǔ)為連續(xù)的、短時(shí)長的MPEG-TS格式文件，客戶端不

表1 視頻傳輸協(xié)議

斷下載并解析播放這些小文件從而實(shí)現(xiàn)實(shí)時(shí)流效果。可以認(rèn)為，HLS是以點(diǎn)播流技術(shù)方式來實(shí)現(xiàn)實(shí)時(shí)流的協(xié)議。這樣的缺點(diǎn)是延時(shí)長，并不適用于本文對(duì)于“眼睛”的需求。

RTSP和RTMP則各有優(yōu)劣，前者實(shí)時(shí)性較高，后者視頻質(zhì)量更好。如果僅從實(shí)際需求的角度，兩者不相上下。本文選擇使用RTMP還有兩個(gè)主要原因：其一，RTMP服務(wù)器搭建極其方便；其二，CDN大部分是基于RTMP協(xié)議的。簡而言之，成本低，上手快。

1.2 RTMP概述

RTMP協(xié)議基于TCP，是一個(gè)協(xié)議族，包括RTMP基本協(xié)議及RTMPT/RTMPS/RTMPE等多種變種。RTMP是一種設(shè)計(jì)用來進(jìn)行實(shí)時(shí)數(shù)據(jù)通信的網(wǎng)絡(luò)協(xié)議，主要用在Flash/AIR平臺(tái)和支持RTMP協(xié)議的流媒體/交互服務(wù)器之間進(jìn)行音視頻和數(shù)據(jù)通信。支持該協(xié)議的軟件包括Adobe Media Server/Ultrant Media Server/red5等。RTMP與HTTP一樣，都屬于TCP/IP四層模型的應(yīng)用層[2]。

1.3 RTMP運(yùn)用

視頻傳輸服務(wù)采用了RTMP作為流媒體協(xié)議，F(xiàn)LV作為封裝格式，H.264作為視頻編碼格式，AAC作為音頻編碼格式,如圖1所示。FLV是RTMP使用的封裝格式，H.264是當(dāng)今實(shí)際應(yīng)用中編碼效率最高的視頻編碼標(biāo)準(zhǔn)，AAC則是當(dāng)今實(shí)際應(yīng)用中編碼效率最高的音頻編碼標(biāo)準(zhǔn)。

圖1 基于RTMP協(xié)議的視頻軟件架構(gòu)

librtmp是RTMP協(xié)議的實(shí)現(xiàn)，使用librtmp來實(shí)現(xiàn)協(xié)議的解析和數(shù)據(jù)的收發(fā)。服務(wù)器可以基于nginx+rtmp實(shí)現(xiàn)；客戶端方面采用librtmp負(fù)責(zé)推流。收看客戶端可以直接采用VLC，本文自主研發(fā)，移動(dòng)端采用的是nodemediaclient，網(wǎng)頁采用HTML5的video，PC客戶端采用的是ffmpeg。

視頻傳輸本身并不復(fù)雜，基本上分為視頻服務(wù)器、直播客戶端和收看客戶端，直播客戶端推流給視頻服務(wù)器，而收看客戶端從服務(wù)器拉流直播客戶端推流給服務(wù)器的視頻流。要想達(dá)到互動(dòng)的目的也很容易，直播客戶端和收看客戶端交換一下即可，原理相同。

從AR眼鏡和無人機(jī)直播中得到啟發(fā)，讓AR眼鏡直接觀看無人機(jī)在飛行過程中的直播畫面，原理沒有任何變化?？梢韵胂耄谖磥?，無論是何種視頻終端，只要支持rtmp/rtsp協(xié)議，都能運(yùn)用此技術(shù)實(shí)現(xiàn)遠(yuǎn)程實(shí)時(shí)直播，真正成為具有無限可能的智慧“眼睛”。

2 AR眼鏡在智慧市政中的應(yīng)用

AR眼鏡的特點(diǎn)是語音操控，解放雙手，靈活方便。從硬件本身來說，也不易損壞，達(dá)到了三防標(biāo)準(zhǔn)。AR眼鏡在市政方面的應(yīng)用是多方面的，本文主要講述其三個(gè)方面的典型應(yīng)用場景：遠(yuǎn)程協(xié)助維修、惡劣環(huán)境巡檢以及培訓(xùn)。

2.1 遠(yuǎn)程協(xié)助維修

由于智慧工廠、工業(yè)4.0等概念興起，工業(yè)場景可以說是目前AR眼鏡最常見的應(yīng)用領(lǐng)域。本文著眼于智慧市政，發(fā)現(xiàn)在工業(yè)場景中，維修場景是其重要難點(diǎn)之一。之所以難，原因有三。

(1) 故障排除難。由于現(xiàn)場環(huán)境復(fù)雜，維修專業(yè)性強(qiáng)，很多時(shí)候，無法通過問題現(xiàn)象直接推測出問題原因。不僅需要多領(lǐng)域?qū)＜視?huì)診、多領(lǐng)域技術(shù)工人排故，還可能牽涉到多單位合作施工維修等問題。

(2) 時(shí)間緊。市政工程關(guān)乎民生大事，有些故障是需要第一時(shí)間處理的，否則需要大量人力物力去彌補(bǔ)，不僅大大提高了維修成本，還間接導(dǎo)致一些不穩(wěn)定因素。

(3) 協(xié)作難?，F(xiàn)場實(shí)際情況的反饋、問題分析等信息的共享，協(xié)作時(shí)間上的安排，以及實(shí)際維修現(xiàn)場碰到的二次問題等，每一個(gè)環(huán)節(jié)都需要時(shí)間，每一個(gè)環(huán)節(jié)都不能出現(xiàn)問題，但是在前兩點(diǎn)的壓力之下，無形中增加了難度。

AR眼鏡的出現(xiàn)，不能說完全解決了上述問題，但大大提高了維修效率和成本，為切實(shí)解決實(shí)際問題提供了一個(gè)卓越有效的解決方案。

一個(gè)工人在現(xiàn)場實(shí)時(shí)直播，后臺(tái)專家多方會(huì)診。這種工作方式完全打破了現(xiàn)有臃腫復(fù)雜的維修模式，大大降低了人力和時(shí)間成本，避免了繁瑣的信息傳遞失真率。這樣可以第一時(shí)間獲取最真實(shí)的現(xiàn)場故障現(xiàn)象，第一時(shí)間分析原因，解決問題。如果無法及時(shí)分析出原因，可以第一時(shí)間進(jìn)行專家會(huì)診。只要有手機(jī)，在有網(wǎng)絡(luò)的情況下，無論是在地鐵公交，還是在家或單位，都能第一時(shí)間獲得第一手的現(xiàn)場資料。無論是時(shí)間、地點(diǎn)還是協(xié)作上的溝通都不存在任何問題。除非有更重要的事情，否則就能在第一時(shí)間沒有任何阻隔的情況下解決問題。除此之外，專家們由于大部分在自己舒適的辦公環(huán)境下會(huì)診，還能隨時(shí)調(diào)閱手中的資源，方便更快進(jìn)行總結(jié)會(huì)診。即使在地鐵公交上，專家們也能根據(jù)實(shí)際情況做出合理安排，盡快進(jìn)入工作狀態(tài)。

最佳情況下，第一時(shí)間發(fā)現(xiàn)問題原因，并指導(dǎo)現(xiàn)場人員立即完成維修工作。估計(jì)從發(fā)現(xiàn)問題到解決問題，總時(shí)間最快可以壓縮在一個(gè)小時(shí)之內(nèi)。即使在最不理想的情況下，至少專家們都已經(jīng)獲取了第一手的現(xiàn)場資料，不存在溝通障礙和信息共享方面的問題，為后續(xù)的維修工作提供強(qiáng)有力的保障。

除此之外，AR眼鏡在維修場景中還有很多應(yīng)用值得開發(fā)。比如專家在后臺(tái)坐鎮(zhèn)，很多現(xiàn)場人員在各個(gè)地方同時(shí)進(jìn)行維修任務(wù)。如果現(xiàn)場碰到問題，專家可以隨時(shí)進(jìn)行遠(yuǎn)程支援。若是碰到協(xié)作維修任務(wù)，而雙方又可能不是面對(duì)面的時(shí)候，專家又能起到一個(gè)指揮官的作用。

2.2 惡劣環(huán)境巡檢

普通巡檢自不必說。結(jié)合AR眼鏡的自身特點(diǎn)，一些惡劣環(huán)境下的巡檢更能體現(xiàn)出其優(yōu)越性。

在高空作業(yè)時(shí)，AR眼鏡能夠解放雙手，使人員集中精力完成任務(wù)，語音控制按照巡檢規(guī)范進(jìn)行可視化比對(duì)巡檢，確保各個(gè)系統(tǒng)更加穩(wěn)定運(yùn)行，推動(dòng)巡檢工作標(biāo)準(zhǔn)化、管理的科學(xué)智能化和監(jiān)督的自動(dòng)化。

在狹小空間作業(yè)時(shí)，解放雙手和語音操控的優(yōu)勢將被無限放大。常見的刮蹭碰撞，對(duì)三防的AR眼鏡來說問題不大。如果再算上后臺(tái)的遠(yuǎn)程協(xié)助，對(duì)現(xiàn)場巡檢人員的安全更是多提供了一層保障。

2.3 培訓(xùn)

培訓(xùn)的特點(diǎn)是一人演講，多人圍觀。傳統(tǒng)培訓(xùn)就好像上課一樣，枯燥乏味。對(duì)于市政項(xiàng)目來說，沒有實(shí)物參照，培訓(xùn)效果大打折扣，更不用說這種完全提不起半點(diǎn)興趣的上課模式了。隨著時(shí)代的發(fā)展，模擬仿真成為了培訓(xùn)的主流，確實(shí)大大提高了培訓(xùn)效果。但比起能看到實(shí)物的AR眼鏡，孰優(yōu)孰劣，結(jié)果非常明顯。

AR眼鏡可以將復(fù)雜的機(jī)器使用說明變得可視化，直接代替枯燥無味的紙質(zhì)版使用說明書。它的另外一個(gè)重要作用是提供全景化第一視角。以市政項(xiàng)目中不可或缺的消防培訓(xùn)為例，AR眼鏡可以配合無人機(jī)使用，消防員可以通過高空視角觀看目標(biāo)房屋的火勢，或找出合適的逃生路線。同樣，在預(yù)防自然災(zāi)害時(shí)，AR眼鏡通過和無人機(jī)以及地面控制基站連接，可以準(zhǔn)確地將現(xiàn)場發(fā)生的災(zāi)害問題傳送到相關(guān)部門，進(jìn)行實(shí)時(shí)把控，降低危險(xiǎn)損害。顯然，在安防領(lǐng)域，AR眼鏡與無人機(jī)的成功配合將會(huì)被廣泛應(yīng)用。

在培訓(xùn)領(lǐng)域，本文的研究僅僅是AR眼鏡應(yīng)用中的冰山一角，小試牛刀罷了。在未來，在教育和醫(yī)療等等各個(gè)場景中，AR眼鏡明顯都能大顯身手。

3 無人機(jī)在智慧市政中的應(yīng)用

比起AR眼鏡，無人機(jī)更加專業(yè)，針對(duì)不同的需求，對(duì)應(yīng)不同型號(hào)的無人機(jī)，甚至可以搭載不同的專業(yè)設(shè)備。它的應(yīng)用場景極其廣泛，本文主要講述其在市政項(xiàng)目中比較典型的三個(gè)應(yīng)用場景：超高超長巡檢,應(yīng)急救援,以及國土資源普查和監(jiān)控。

3.1 超高超長巡檢

所謂超高超長巡檢，是指超過個(gè)人巡檢能力的長度和高度的巡檢范圍。

典型的超長巡檢如天然氣管道，不說總體上貫穿整個(gè)國家，就算分割管理，其范圍對(duì)個(gè)人來說也是望塵莫及的。傳統(tǒng)的天然氣管道被分割成無數(shù)小段，以適應(yīng)個(gè)人巡檢。但如此這般，花費(fèi)的人力物力成本消耗極大、時(shí)間長、效率低。若用無人機(jī)替代，則大大降低了成本消耗，提高了巡檢效率，巡檢質(zhì)量也有小幅提升，畢竟人眼的觀察范圍和無人機(jī)的視野范圍根本無法相提并論。

超高巡檢情況類似，典型的有信號(hào)塔、橋梁頂端等光靠人力，有些難以企及的地方。傳統(tǒng)方法費(fèi)時(shí)費(fèi)力，檢測效率難以令人滿意。無人機(jī)的出現(xiàn)，使成本、時(shí)間和效率等各方面都得到了大幅度改善，為智慧城市的建設(shè)作出了不小的貢獻(xiàn)。

3.2 應(yīng)急救援

針對(duì)大范圍搜索救援任務(wù)，無人機(jī)比起人力搜索優(yōu)勢明顯，同時(shí)可以搭載諸如紅外成像等不同的專業(yè)設(shè)備來針對(duì)不同的復(fù)雜環(huán)境。針對(duì)人類短時(shí)間無法企及的地理環(huán)境，無人機(jī)不僅能起到偵察作用，還能投放物資，在災(zāi)難環(huán)境下，即使一包方便面也能起死回生。

無人機(jī)在救災(zāi)活動(dòng)中起著傳統(tǒng)手段無法替代的作用，并越來越多地應(yīng)用于各種救災(zāi)活動(dòng)中。隨著傳統(tǒng)手段的局限性日益凸顯，無人機(jī)技術(shù)的逐漸成熟，無人機(jī)技術(shù)用途越來越廣泛，在救援開始大顯身手。汶川地震、雅安地震和青海地震等突發(fā)災(zāi)害事件救援中，均表現(xiàn)出不可替代的作用，成為信息化救援的有力武器。

3.3 國土資源普查和監(jiān)控

水利行業(yè)裝備多旋翼無人飛行器三維激光遙感掃描系統(tǒng)可用于水利資源調(diào)查、水域覆蓋面積調(diào)查、水利巡查成圖、洪澇災(zāi)害、干旱缺水、水庫蓄水水位監(jiān)測、上下游河流的水文情況監(jiān)測、水利資源工程動(dòng)態(tài)監(jiān)測、非法排污、水面清潔監(jiān)測、重要水利設(shè)備設(shè)施安全監(jiān)測，以及水庫壩區(qū)的周邊環(huán)境監(jiān)測等，為流域水土保持、水調(diào)度指揮、水質(zhì)評(píng)價(jià)、生態(tài)環(huán)境監(jiān)測和防洪監(jiān)測等決策方案提供依據(jù)。

利用多旋翼無人飛行器開展國土資源調(diào)查與土地利用監(jiān)測，可及時(shí)地反映各種國土資源的具體情況，增強(qiáng)資源開發(fā)、環(huán)境保護(hù)與災(zāi)害防治的預(yù)見性。多旋翼無人機(jī)便與攜帶數(shù)碼相機(jī)在城市上空飛翔，為城市開發(fā)的規(guī)劃信息系統(tǒng)提供依據(jù)，廣泛應(yīng)用于建筑密度分布規(guī)律研究，在建工地調(diào)查，中心城市簡房漏棚調(diào)查，施工占路情況，露天停車場調(diào)查，垃圾堆場的空間分布、污水治理和改造工程的補(bǔ)充論證，以及為建廠規(guī)劃或改造提供影像資料等。

4 結(jié)束語

隨著中國5G時(shí)代的來臨，網(wǎng)絡(luò)環(huán)境日趨成熟穩(wěn)定，在此基礎(chǔ)上誕生的高科技產(chǎn)品日新月異。XR、數(shù)字孿生、區(qū)塊鏈和元宇宙等，新名詞層出不窮。本文緊跟時(shí)代的腳步，以RTMP為核心，以AR眼鏡和無人機(jī)為終端，構(gòu)造智慧城市的“眼睛”。

遠(yuǎn)程實(shí)時(shí)直播的特點(diǎn)將在很長一段時(shí)間內(nèi)起到舉足輕重的作用。以本文AR眼鏡觀測無人機(jī)直播為例，相信隨著視頻終端的蓬勃發(fā)展，這種科技碰撞的火花將以燎原之勢為國家的富強(qiáng)作出更大的貢獻(xiàn)。