百萬級視頻數據的數字化傳輸管理

王嘉寅

中遠海運科技股份有限公司,上海 200135)

0 引 言

隨著城市中的視頻監(jiān)控數據越來越多,城市基礎設施建設不斷完善,各行各業(yè)對城市百萬級視頻數據的要求不斷提高,如何通過聚融合的媒體服務、視頻源頭轉發(fā)、數據全方位匯聚和數據多方式共享等方式實現對超大型城市和特大型城市百萬級視頻數據的統(tǒng)籌性匯聚轉發(fā),使其安全高效地供各類智能圖像應用使用,已成為圖像建設領域實現數字化轉型的關鍵。

在該背景下,本文結合圖像應用的發(fā)展趨勢,通過研究具有資源集聚能力的視頻數據傳輸管理體系架構,提升圖像業(yè)務數據的健壯性及其管理應用的可靠性。在監(jiān)控聯網范圍方面,主要涉及路面、空域、固定、移動、視頻、圖片和數據等多模態(tài)資源匯聚,由傳統(tǒng)的只轉發(fā)聯網管理的監(jiān)控視頻的模式轉變?yōu)閷D片結構化數據、特征碼和報警數據等多種圖像數據進行融合的模式;在感知設備方面,由傳統(tǒng)的道路監(jiān)控設備有線接入的方式轉變?yōu)榭山尤霟o人機、4G執(zhí)法記錄儀、手機和車載終端等全方位感知設備的方式;在聯網數據業(yè)務數據轉發(fā)方面,采用控制信令和媒體流松耦合的方式實現聯網業(yè)務數據通過最短路徑轉發(fā)給媒體流資源池;在可靠性技術措施方面,由傳統(tǒng)的軟硬件備份冗余機制轉變?yōu)榭芍С趾诵臄祿址植际絺浞莸臋C制;在安全管控措施方面,由“重建設、重應用、輕安全”轉變?yōu)椤爸亟ㄔO、重應用、重安全”,既確保視頻數據能供外部用戶正常使用,又防止視頻信息泄露。

1 百萬級視頻聯網傳輸架構現狀

近年來,隨著IP(Internet Protocol)網絡監(jiān)控技術的不斷發(fā)展,模擬監(jiān)控時代逐漸落下帷幕,圖像監(jiān)控系統(tǒng)逐漸步入數字化、網絡化、高清化、集成化和智能化階段,其建設和應用環(huán)境逐漸成熟。為適應數字高清監(jiān)控技術的發(fā)展趨勢,同時遵循《安全防范視頻監(jiān)控聯網系統(tǒng)信息傳輸、交換、控制技術要求》(GB/T 28181—2016)的建設原則,針對涉及公共安全的高清數字視頻監(jiān)控系統(tǒng),以IP網絡監(jiān)控為技術路線,采用逐級聯網共享模式,在2016年構建了高清視頻監(jiān)控三級聯網架構(見圖1,其中:SD為標清碼流;HD為高清碼流),初步實現了對視頻資源的匯聚整合和統(tǒng)一管理。

圖1 三級聯網架構現狀圖

該架構主要分為3個層面:

1) 一級層面,負責國標認證管理、權限配置管理、全局控制管理、流媒體轉發(fā)、指揮顯示、圖像信息應用和與外單位共享接入等;

2) 二級層面,負責高清監(jiān)控設備(包括網絡攝像機、網絡硬盤錄像機和解碼器等)接入和國標注冊認證、節(jié)點控制管理、存儲與轉發(fā)、指揮顯示、其他應用系統(tǒng)及與下級單位共享接入等;

3) 二級層面,負責高清監(jiān)控設備(包括網絡攝像機、網絡硬盤錄像機和解碼器等)接入和國標注冊認證、節(jié)點控制管理、存儲與轉發(fā)、指揮顯示、其他應用系統(tǒng)及其視頻資源接入等。

2 目前視頻管理體系存在的問題

隨著高清數字視頻監(jiān)控系統(tǒng)的全面建設,公共區(qū)域的監(jiān)控資源達到了百萬級,同時各行各業(yè)對圖像共享應用和圖像智能分析的需求日益增加,而高清視頻監(jiān)控三級聯網架構受規(guī)劃建設時間和逐級聯網模式的限制,往往存在前端視頻資源接入量受限、流媒體轉發(fā)性能低、多級聯網及多網絡傳輸時延時長和無法提供穩(wěn)定持續(xù)的視頻流等問題。同時,因近年來業(yè)界對視頻共享安全策略的要求越來越高,導致現有的高清視頻監(jiān)控三級聯網架構在視頻資源安全可控、資源權限控制和IP登錄權限控制等方面存在缺陷,具體表現如下。

1) 前端視頻資源接入量少,并發(fā)性能差。目前的高清視頻監(jiān)控三級聯網架構主要以“模擬到數字”圖像監(jiān)控系統(tǒng)的發(fā)展為技術思路,規(guī)劃建設于2016年。前期基于該架構建設的高清數字視頻監(jiān)控系統(tǒng)的單套系統(tǒng)僅具有4 000路前端視頻監(jiān)控資源接入管理能力和50路流媒體并發(fā)能力,其性能已無法滿足目前的百萬級視頻數據接入管理需求和流媒體并發(fā)需求,必須通過堆疊大量設備進行擴容才能滿足,這對機房空間提出了新的挑戰(zhàn)。

2) 視頻調閱的需求旺盛,導致圖像卡頓。目前的視頻監(jiān)控系統(tǒng)采用的是三級聯網架構,在百萬級視頻轉發(fā)傳輸過程中,由于各行各業(yè)對視頻調閱的需求比較旺盛,常導致視頻出現卡頓和丟幀的問題,PTZ(Pan/Tilt/Zoom)云臺控制存在延時,從而降低視頻圖像的可用性,引發(fā)視頻播放出現“脫節(jié)”和“斷篇”等問題,嚴重影響對百萬級視頻的處理和圖像應用的實戰(zhàn)性。在該背景下,需優(yōu)化轉發(fā)環(huán)節(jié),減少聯網層級。

3) 帶寬受限,導致視頻存在延遲。早期建設的交換機僅支持千兆帶寬,而百萬級視頻資源因交換機轉發(fā)速率超過了端口速率的上限,其播放會出現卡頓、延遲和不順暢等現象,在特殊情況下會出現無法訪問和頁面無法打開的現象。因此,提升系統(tǒng)的自我保護能力,保證視頻數據的可靠性和連續(xù)性尤為重要。

4) 移動視頻無法直接調閱。由于移動視頻的編碼標準和接入方式與國標視頻監(jiān)控設備存在差異,難以實現視頻傳輸的有效銜接,導致移動視頻不能直接播放。針對這種情況,本文利用聚融合服務技術完善多態(tài)數據類型的接入和共享應用。

5) 權限管理復雜,導致資源被搶占。百萬級視頻管理具有視頻類型多和數據冗雜的特點,且對重點區(qū)域各類用戶調用的需求量較大,因此需設置權限避免資源被搶占,刪除多余的程序,保證權限設置的可操作性和可實踐性,從而不斷提升系統(tǒng)運行的順暢度和銜接度。

6) 缺乏針對視頻流的安全加固策略。由于高清數字視頻監(jiān)控系統(tǒng)已逐步實現數字化、網絡化,在大規(guī)模聯網、云計算和人工智能等新技術快速發(fā)展的背景下,高清數字視頻監(jiān)控系統(tǒng)面臨的安全威脅發(fā)生了巨大變化,特別是在目前建設智能化應用時,早期建設的視頻監(jiān)系統(tǒng)已無法滿足對百萬級視頻數據的安全管控需求,其伴隨的網絡安全問題也日漸突出。

3 百萬級視頻數據傳輸策略分析

根據目前視頻管理體系存在的問題,按照GB/T 28181—2016、《公安視頻圖像信息應用系統(tǒng)》(GA/T 1400—2017)和《公共安全視頻監(jiān)控聯網信息安全技術要求》(GB 35114—2017)等有關標準的要求,以優(yōu)化視頻圖像聯網架構,提升視頻接入和轉發(fā)性能,實現資源安全可控為原則,對百萬級視頻數據傳輸策略進行分析。

1) 通過分布式控制管理模式優(yōu)化視頻圖像聯網架構。

從聯網拓補架構出發(fā),摒棄原有的高清視頻監(jiān)控三級聯網架構中的逐級聯網模式,以分而自治和綜合協調為設計原則,融合計算機技術、網絡技術、通信技術和自動控制技術,優(yōu)化視頻轉發(fā)策略,實現兩級式分布控制和統(tǒng)一管理模式,即在視頻數據接入、轉發(fā)過程中對圖像進行分布式轉發(fā)和全網統(tǒng)一管理,從而構造層次化的視頻圖像聯網架構。在統(tǒng)一管理層面由一級管理節(jié)點對全網的視頻資源進行匯聚整合和統(tǒng)一管理,在分布式圖像轉層面由各二級管理節(jié)點接入前端百萬級視頻資源,并為本地電視墻、PC(Personal Computer)客戶端、智能分析系統(tǒng)、手機和第三方視頻共享及應用平臺等提供高效的圖像轉發(fā)服務,從而確保視頻數據能有效傳遞,便于對全網視頻數據進行統(tǒng)籌管理。圖2為優(yōu)化的視頻圖像聯網架構。

圖2 優(yōu)化的視頻圖像聯網架構

2) 軟硬件一體化部署,提升整體接入和轉發(fā)性能。

高清數字視頻監(jiān)控系統(tǒng)最重要的功能是實現百萬級視頻圖像的聯網接入和管理。本文從系統(tǒng)工程的角度出發(fā),思考如何將大系統(tǒng)分解成小系統(tǒng)和如何將小系統(tǒng)“有機”整合成大系統(tǒng)2個問題,最終采用軟硬件一體化設備進行系統(tǒng)搭建。軟硬件一體化部署能為多種類型處理引擎的深度協作(即超異構計算)提供切實可行的體系化解決方式,即深入分析超異構計算復雜系統(tǒng)存在的各種規(guī)律,復雜系統(tǒng)可利用的特征“約束”,以及通過系統(tǒng)分解再融合等多種措施共同實現超異構編程的顯著簡化,由此實現超異構計算的可駕馭性,最終實現對大量視頻圖像的接入、轉發(fā)和管理,從而規(guī)避服務器硬件存在的穩(wěn)定性差和性價比不高的問題。

3) 構建流媒體轉發(fā)資源池,統(tǒng)一規(guī)劃調度。

為滿足城市數字化轉型對大量視頻數據的共享需求,構建數據轉發(fā)資源池,不再單一對應單個控制管理服務,主要進行整體、統(tǒng)一的管理。這就需要做好服務集群層級化設置工作,如在城市視頻圖像高并發(fā)情況下,資源池通過統(tǒng)一規(guī)劃調度,將視頻圖像信息請求動態(tài)透明地重定向到負載最輕的流服務器上,新增的訪問請求根據負載計算結果自動選擇負荷最輕的流服務器,由此緩解海量訪問帶來的壓力。圖3為數據轉發(fā)演變。

圖3 數據轉發(fā)演變

4) 遵循視頻源頭轉發(fā)策略,緩解轉發(fā)延遲。

常規(guī)的實時視頻轉發(fā)以視頻調用終端所在節(jié)點的媒體服務為轉發(fā)資源,負責為視頻調用終端取流轉發(fā)。當被調用視頻不屬于本地管理節(jié)點直接接入的前端點位時,該節(jié)點的媒體服務將根據被調用視頻的共享路徑逐級向下級節(jié)點的媒體服務進行取流轉發(fā)。當視頻聯網體系為多級級聯共享體系時,被調用視頻從接入節(jié)點到調取節(jié)點經過4～5級匯聚共享,被調用視頻也必須經過4～5級視頻轉發(fā),按每級視頻轉發(fā)產生200 ms延時計算,會產生多達1 s的轉發(fā)延遲。本文研究的是視頻源頭轉發(fā)策略,即當視頻調閱終端產生調用請求時,調用方的管理節(jié)點根據全網同步的資源目錄檢索被調用視頻的接入管理節(jié)點,并向被調用視頻的管理節(jié)點發(fā)起視頻調用請求。被調用視頻的管理節(jié)點直接調度本地的媒體服務進行取流轉發(fā),即視頻源頭屬于哪個節(jié)點,就由該節(jié)點的媒體服務負責取流轉發(fā)。當未達到一級轉發(fā)閾值時,絕大多數的應用場景會由視頻所在媒體服務完成視頻轉發(fā)。

5) 聚融合服務技術,多態(tài)數據類數據全方位匯聚。

針對城市視頻圖像數據多維、分散和海量的特點,兼容不同的數據接入方案進行數據源接入,能分別接入感知設備、移動終端、PC錄屏、微信小程序和視頻云平臺等多源數據,將其匯聚到媒體服務中完成數據處理和分發(fā)。同時,能以數據多方式共享的方式,通過統(tǒng)一媒體服務,聚合多態(tài)數據,高效融合處理,實時混合輸出和共享,融合數據分發(fā)的目標包括平臺服務、網頁、拼接大屏、移動終端和解碼器等多源終端,為視頻圖像數據的應用提供終端開拓和應用延展功能[1]。圖4為聚融合媒體服務示意圖。

圖4 聚融合媒體服務示意圖

6) 多模式容災備份,斷線局部自治。

通過探索集群工作模式進行高可靠性的保護,保證在任意節(jié)點出現故障的情況下,能迅速由其他節(jié)點接管該故障節(jié)點的工作。在故障節(jié)點恢復正常之后,接管其工作的節(jié)點設備自動將接管的前端設備移交給該節(jié)點,提升系統(tǒng)的自我保護能力,保證視頻數據的可靠性和連續(xù)性。在啟用集群調度之后,集群內的設備能享受到負載均衡服務。所有的負載壓力會自動分擔到各節(jié)點上。集群會定期收集各節(jié)點的狀態(tài)和負載情況,若發(fā)現負載嚴重失衡,則及時進行調整。當新的業(yè)務到來、故障節(jié)點上的業(yè)務發(fā)生轉移時,調度服務會智能地選擇最優(yōu)的負載分配策略,在保證各節(jié)點承擔的業(yè)務負載不超過其承載能力的同時,盡量令各節(jié)點的壓力平均。調度算法根據各節(jié)點的軟硬件配置智能分配業(yè)務壓力,配置好的設備會承擔更多的業(yè)務壓力。負載均衡技術能使各節(jié)點設備的使用壽命和節(jié)能性等指標均達到最優(yōu)。

此外,探究運用多模態(tài)的容災機制,即對管理設備熱備集群和轉發(fā)集群的設備進行備份,并同步對管理集群節(jié)點和轉發(fā)集群節(jié)點進行備份。當同一個機房的多個管理節(jié)點進行多機熱備組成集群時,在確保1臺設備宕機之后,通過虛擬IP對國標注冊設備進行持續(xù)有效的管理。當同一個管理集群節(jié)點的所有管理設備都出現故障時,即某個機房管理節(jié)點出現故障時,其他管理節(jié)點可對其管轄的轉發(fā)集群和設備進行控制。當同一個轉發(fā)集群節(jié)點的所有轉發(fā)設備都出現故障時,即某個二級轉發(fā)集群節(jié)點出現故障時,由于一級節(jié)點的數據同步,其他節(jié)點可通過ONVIF(Open Network Video Interface Forum)協議對其管轄的在線前端進行控制、接入和轉發(fā)。從單點設備故障到機房整體故障,運用全方位的容災方式進行“斷線局部自治”,不會因發(fā)生系統(tǒng)性故障而導致全網癱瘓,保證設備正常、有序運行[1]。圖5為轉發(fā)集群節(jié)點備份。

圖5 轉發(fā)集群節(jié)點備份

7) 視頻數據的安全加固措施。

高清數字視頻監(jiān)控系統(tǒng)整體架構在較為開放的IP網絡上,無論是從業(yè)務層面和政策層面看,還是從功能層面看,都對視頻監(jiān)控系統(tǒng)提出了安全需求,要求進一步提升系統(tǒng)的安全防護能力。因此,為給視頻共享構建安全可靠的支撐環(huán)境,需結合GB 35114—2017采取必要的安全管控措施,從而確保視頻數據供第三方應用平臺正常使用,并防止視頻信息泄露。

本文在當前視頻聯網的基礎功能的基礎上擴展與安全有關的內容,包括身份證書、加密算法、碼流格式和碼流加解密等。在系統(tǒng)架構中,包括設備接入和系統(tǒng)聯網,采用會話通道協議、媒體流通道協議和證書通道協議完成信令和數據交互,開發(fā)具有安全功能的客戶端、服務端、用戶端和視頻安全密鑰服務系統(tǒng)。前端設備證書通過內置安全芯片實現;用戶終端證書通過USB Key(Universal Serial Bus Key)或密碼卡實現[2];與安全平臺關聯的服務器證書通過PCIe(Peripheral Component Interconnect Express)密碼卡或密碼機實現。視頻安全密鑰服務系統(tǒng)負責系統(tǒng)中數字證書的制作、發(fā)放、查詢、校驗和對稱密鑰管理等,實現重要視頻圖像信息不失控,敏感視頻圖像信息不泄露[3]。圖6為系統(tǒng)安全互聯結構示意圖。

圖6 系統(tǒng)安全互聯結構示意圖

4 模擬測試環(huán)境搭建

目前已在高清數字視頻三級聯網架構內搭建平行模擬測試環(huán)境,重點通過試驗評估視頻數據傳輸管理體系的極限并發(fā)能力、傳輸延時、在極限壓力下的資源利用率、災備可靠性、接口穩(wěn)定性和用戶權限管理等。在模擬系統(tǒng)運行期間測得的部分性能情況見表1;部分功能測試情況見表2。

表1 在模擬系統(tǒng)運行期間測得的部分性能情況

表2 部分功能測試情況

5 模擬測試結論

本文研究的具備資源集聚能力的視頻數據傳輸管理體系是面向城市百萬級視頻數據,結合現有的高清數字視頻監(jiān)控系統(tǒng)的基礎功能和性能進行的功能和性能升級迭代。模擬測試結果顯示,在設備接入方面,該系統(tǒng)符合GB/T 28181—2016和GB 35114—2017等標準的要求,擴大了監(jiān)控聯網范圍,能使原先單一的固定視頻設備的資源匯聚轉變?yōu)榭山尤霟o人機、4G執(zhí)法記錄儀和移動終端等全方位感知設備的多模態(tài)資源匯聚;在流媒體轉發(fā)方面,該系統(tǒng)能提供扁平化的圖像轉發(fā)方式,為各類終端應用和第三方應用平臺提供高效的圖像轉發(fā)服務;在容災備份方面,通過對核心數據進行分布式備份和集群管理,當系統(tǒng)和設備出現故障時能進行斷線局部自治,當系統(tǒng)負載過高時能進行統(tǒng)一的規(guī)劃分配,從而提升系統(tǒng)的自我保護能力,保證視頻數據傳輸的可靠性和連續(xù)性,減少系統(tǒng)及設備出現故障引發(fā)的業(yè)務斷層現象;在信息安全管理方面,通過在級聯過程中采用加密協議,確保視頻數據能供外部用戶正常使用,同時防止視頻信息泄露,從而進一步提升整個系統(tǒng)的安全防護能力。

6 結 語

在研究論證過程中,除了搭建平行模擬測試環(huán)境以外,還基于機房分布和點位布局情況選擇了2個應用示范點,對本文所述系統(tǒng)的技術架構、設備的可實施性和可用性進行論證。

在模擬測試環(huán)境和應用示范論證過程中,通過分別接入前端感知設備、移動終端(如無人機)、PC錄屏、微信小程序和視頻云平臺等多源數據,并將其匯聚到媒體服務中,完成數據處理和分發(fā),進而實現對視頻、圖片及智能數據等多模態(tài)資源的接入能力和匯聚管理能力的論證。

同時,對系統(tǒng)的500路視頻流的并發(fā)能力進行測試,搭建聯網節(jié)點作為新型公安多模態(tài)視頻數據傳輸管理體系架構平臺的國標上級,并在其中配置500個實時視頻點位。當流媒體轉發(fā)數量達到500路時,對設備的中央處理器(Central Processing Unit, CPU)、內存、硬盤和網絡的資源利用率進行監(jiān)測,結果發(fā)現該節(jié)點支持轉發(fā)500路高清視頻碼流,轉發(fā)設備在并發(fā)500路負載下的CPU、內存、硬盤和網絡的資源利用率均小于85%。

此外,在具有完備的容災備份機制的情況下,當一級或二級節(jié)點的單臺媒體設備發(fā)生故障時,可由管理設備調度其他媒體設備承擔故障設備當前的轉發(fā)任務。這主要是由于在模擬測試環(huán)境和應用示范論證過程中配置了多個媒體服務,因此當系統(tǒng)運行時,只要還有1個媒體服務在線,就可提供正常的服務器,其他媒體服務離線或崩潰均不會對系統(tǒng)的運行產生影響。同時,在有多個媒體服務的管理節(jié)點中,經測試,在某個媒體服務的服務器宕機的情況下,仍有?；畹拿襟w服務會接管該服務器當前的轉發(fā)任務。

除了對百萬級視頻數據數字化傳輸管理技術架構的功能和性能進行論證之外,還與目前市場上在售的多種視頻聯網設備進行了對接,并就本文所述系統(tǒng)的功能和性能進行了分析,雖然不同廠家的產品各有不同,但聯網的基礎功能均能符合要求,只是部分個性化功能存在差異?？傮w來看,目前市場上在售產品的功能和性能基本上能滿足本文所述系統(tǒng)方案的要求。

綜合上述分析可知,本文研究的百萬級視頻圖像數字化管理體系滿足百萬級視頻數據傳輸管理的實際需求,具有推廣應用價值。