基于大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)

焦冬冬 尤 穎 賈莉莉

（公安部第三研究所安全防范技術(shù)部 上海 200031）

1 大數(shù)據(jù)時代下的安防監(jiān)控

全球在2010年正式進入大數(shù)據(jù)時代，全球數(shù)據(jù)量大約每兩年翻一番，意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長的數(shù)據(jù)，正推動人類進入大數(shù)據(jù)的時代。對于視頻監(jiān)控行業(yè)產(chǎn)生的大數(shù)據(jù)來說，一臺1080P高清網(wǎng)絡(luò)攝像機，速度能夠高達每秒 60幀，1.8T的數(shù)據(jù)就由這樣的攝像機一個月產(chǎn)生，如果攝像頭數(shù)量較多或多系統(tǒng)集成造成數(shù)據(jù)類型較多，長時間存儲的負擔(dān)一般企業(yè)難以承擔(dān)。存儲壓力劇增，一方面對于存儲服務(wù)器的承載能力要求很高，除了有能力存儲大量的數(shù)據(jù)之外，還要面對更多的數(shù)據(jù)類型，這些數(shù)據(jù)的來源包括網(wǎng)上交易、網(wǎng)絡(luò)社交活動、自動傳感器、移動設(shè)備以及科學(xué)儀器等等。另一方面對于數(shù)據(jù)管理尤為重要，數(shù)據(jù)永遠都在增長之中，當(dāng)有需求去尋找某一段監(jiān)控片段的時，必須與智能檢索與智能分析技術(shù)相結(jié)合，才能更有效的攫取，成本也會相應(yīng)提高很多。

如果網(wǎng)絡(luò)長時間不佳，排隊機制的隊伍會很長，影響Web端視頻顯示的實時性。當(dāng)采用丟包的方式，雖然從實時顯示的角度看，提高了用戶的實時顯示的體驗度，當(dāng)用戶需要錄像回放的時候，有些重要的信息就沒有記錄，因為無法判斷哪些應(yīng)該丟的包數(shù)據(jù)?；诖髷?shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)，利用多地視頻存儲設(shè)備和平臺中心組成集散存儲中心，利用Hadoop集散數(shù)據(jù)分析，在Web端遠程實時顯示最佳視頻。

2 視頻監(jiān)控顯示技術(shù)Web應(yīng)用

基于大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)，結(jié)合視頻監(jiān)控業(yè)務(wù)特點，引入 Hadoop的架構(gòu)，以頂層設(shè)計的視角來構(gòu)建面向大數(shù)據(jù)視頻監(jiān)控架構(gòu)：數(shù)據(jù)源層、大數(shù)據(jù)存儲層、大數(shù)據(jù)計算層、業(yè)務(wù)及管理層。

數(shù)據(jù)源層，包括實時數(shù)據(jù)和非實時數(shù)據(jù)。實時數(shù)據(jù)指 IPC和傳感器產(chǎn)生的實時流媒體數(shù)據(jù)。非實時數(shù)據(jù)指從DVR、編碼器、第三方系統(tǒng)導(dǎo)入的媒體數(shù)據(jù)，存儲本地服務(wù)器。

大數(shù)據(jù)存儲層，采用了HDFS和HBASE技術(shù)，實現(xiàn)數(shù)據(jù)低成本、高可靠的管理。把采集的視頻流保存在HDFS集群內(nèi)，通過HBase建立訪問的索引。把傳統(tǒng)NVR和專用存儲進行重構(gòu)，把異地的存儲大數(shù)據(jù)和數(shù)據(jù)中心組成集群平臺的方式組成云平臺，納入到整體的分布式文件系統(tǒng)中來。

大數(shù)據(jù)計算層，實現(xiàn)智能分析和數(shù)據(jù)挖掘。通過MapReduce把對大視頻的分析進行分解，充分利用閑置異地資源，把計算任務(wù)交由多臺服務(wù)器進行并行計算分析，另外一方面，根據(jù)智能分析產(chǎn)生的視頻元數(shù)據(jù)，通過Hive挖掘視頻元數(shù)據(jù)的價值信息。

業(yè)務(wù)及管理層，實現(xiàn)設(shè)備和業(yè)務(wù)管理。基于異地存儲設(shè)備和數(shù)據(jù)中心組成的服務(wù)器集群，可以保證業(yè)務(wù)系統(tǒng)的無故障運營，基于大數(shù)據(jù)網(wǎng)絡(luò)診斷分析實現(xiàn)對攝像頭等設(shè)備的監(jiān)管，達到遠程視頻監(jiān)控的Web實時顯示。

當(dāng)網(wǎng)絡(luò)傳輸數(shù)據(jù)到云平臺出現(xiàn)大量并發(fā)加上網(wǎng)絡(luò)狀態(tài)不佳出現(xiàn)傳輸瓶頸。Web遠程客戶端直接連接IPC保證顯示的實時性，然后視頻高清數(shù)據(jù)存儲于本地，同時采取分層分段傳輸?shù)阶罴丫W(wǎng)絡(luò)云平臺服務(wù)器，或者到網(wǎng)絡(luò)空閑時傳入云平臺存儲，云平臺對后傳入的錄像按錄像時間進行一系列的拼接整合，給用戶的體驗是一段完整的視頻錄像數(shù)據(jù)。當(dāng)云平臺存儲到Web遠程客戶端出現(xiàn)網(wǎng)絡(luò)傳輸瓶頸，攝像機的數(shù)據(jù)雖然能實時傳入云平臺，但是Web遠程客戶端不能實時顯示數(shù)據(jù)。此時云平臺對實時數(shù)據(jù)源進行處理壓縮和前一幀進行比對算法，采用異步更新、局部替代的方式保證Web遠程客戶端的顯示實時性，最慢以圖片的方式顯示。同時采用主動推送的方式推送到Web遠程客戶端，從而減輕了瀏覽器的主動請求壓力，避免Web瀏覽器不必要的資源消耗，降低瀏覽器假死現(xiàn)象。提高用戶的體驗度。

實時大數(shù)據(jù)顯示的分段優(yōu)化比較方法，IPC感知層把大數(shù)據(jù)傳輸?shù)匠志脤?，持久層的大?shù)據(jù)分析比對在研判層，經(jīng)過研判層的分段優(yōu)化比較，推送到響應(yīng)層Web服務(wù)器，最后傳輸?shù)浇换觲eb遠程客戶端，可參考圖1實時大數(shù)據(jù)分段優(yōu)化對比。所述的研判層分段優(yōu)化比較包括以下步驟：

a.持久層向研判層傳輸，控制當(dāng)前推送的實時大數(shù)據(jù)；

b.持久層等待響應(yīng)層反饋消息；

c.判斷響應(yīng)當(dāng)前控制的實時大數(shù)據(jù)，若沒有響應(yīng)，判斷是否超時，若超時，執(zhí)行步驟a，若沒有超時執(zhí)行步驟b；若有響應(yīng)，執(zhí)行步驟d；

d.分段優(yōu)化比較，修正成最優(yōu)大數(shù)據(jù)；

e.顯示當(dāng)前的大數(shù)據(jù)是否完畢，若顯示完畢，結(jié)束；若沒有顯示完畢，待優(yōu)化的大數(shù)據(jù)片段繼續(xù)執(zhí)行步驟d；

上述研判層包括控制層、分段比較算法、優(yōu)化算法，響應(yīng)層包括web服務(wù)器和視頻服務(wù)器等，持久層是大數(shù)據(jù)云平臺存放。

圖1 實時大數(shù)據(jù)顯示的分段優(yōu)化比對流程

此優(yōu)化機制只要采用實時大數(shù)據(jù)顯示的分段對比優(yōu)化，實現(xiàn)遠程監(jiān)控的實時性不可或缺，保障后期的回看獲得高清晰流暢畫面的質(zhì)量。在傳統(tǒng)的安防遠程監(jiān)控系統(tǒng)中，數(shù)據(jù)傳遞的流程：先數(shù)據(jù)獲取或者直接丟包，采用一些機制達到低時延、高并發(fā)的交易、高度靈活的數(shù)據(jù)結(jié)構(gòu)；然后進行數(shù)據(jù)傳輸；最后對數(shù)據(jù)進行梳理，進行一些深度分析，保證視頻傳輸。

3 結(jié)束語

基于大數(shù)據(jù)遠程視頻監(jiān)控 Web顯示技術(shù)的發(fā)展由于環(huán)境因素影響，如由于實際環(huán)境中光照變化、目標(biāo)運動復(fù)雜性、遮擋、目標(biāo)與背景顏色相似、雜亂背景等都會增加分段優(yōu)化比對的分析與Web瀏覽器的響應(yīng)欺騙?，F(xiàn)在網(wǎng)絡(luò)傳輸連續(xù)性中斷造成視頻數(shù)據(jù)丟失，一些歷史工程改造，對系統(tǒng)進行二次或者多次的長周期的開發(fā)、部署、升級也是問題，大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)是安防行業(yè)發(fā)展熱點和難點。基于大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)能更快更廣泛地應(yīng)用于金融、交通等各個領(lǐng)域中，普及到人們的日常生活當(dāng)中，給人們的工作和生活帶來安全保障。高清化、網(wǎng)絡(luò)化和智能化的安防行業(yè)在新的紀(jì)元中，雖然會面臨這樣那樣的問題，但是我相信隨著云計算、大數(shù)據(jù)應(yīng)用和HTML5等技術(shù)的成熟和完善，基于大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)必定會更廣范圍的應(yīng)用，勢必加快安防行高速發(fā)展，降低集成商的集成維護升級成本，降低舊工程改造成本，最大化利用已有的資源，同時為用戶提供更好的的實時體驗。Web端的實時顯示可以達到跨平臺、跨終端，在 4G網(wǎng)絡(luò)的越來越普及的環(huán)境下，基于大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)在移動端依然同樣可以獲得廣泛的應(yīng)用。

[1]胡傳平，梅林.視頻監(jiān)控如何應(yīng)對深度應(yīng)用的挑戰(zhàn).人民公安報，2012，12，27（4）：581-589.

[2]Zhe Sun，Jun Shen，Jianming Yong.Integrated Computer-Aided Engineering，2013，20（1）.

[3]Dalman，T.，Drnemann，T. Juhnke，E. e.g Cloud MapReduce for Monte Carlo bootstrap applied to Metabolic Flux Analysis Future generations computer systems.

[4]Leu，J.-S，Yee，Y.-S，Chen，W.-L.Comparison of Map-Reduce and SQL on large-scale data processing.Journal of the Chinese Institute of Engineers.

[5]Kathleen Ericson，Shrideep Pallickara.On the performance of high dimensional data clustering and classification algorithms.Future generations computer systems.

[6]Cui Jie，Li Taoshen，Lan Hongxing.Design and Development of the Mass Data Storage Platform Based on Hadoop.Journal of Computer Research and Development，2012，49（z1）.（崔杰，李陶深，蘭紅星.基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā).計算機研究與發(fā)展，2012，49（z1））.

[7]XIAO Qin-yu.Key techniques about video surveillance based on intelligent video.Manufacturing Automation，2012，34（12）.（肖沁雨.智能視頻監(jiān)控關(guān)鍵技術(shù)分析.制造業(yè)自動化，2012，34（12））.

[8]Lu Jiyuan，Huang Chenghui，Hou Fang，Li Bin.Image Classification and Annotation Based on Hadoop Cloud Computing Platform.Telecommunications Science，2014，30（2）.（陸寄遠，黃承慧，侯昉，李斌.基于Hadoop云計算平臺的圖像分類與標(biāo)注.電信科學(xué)，2014，30（2））.

[9]彭俊.基于內(nèi)容的圖像分布式處理平臺的設(shè)計與實現(xiàn)[碩士學(xué)位論文].華中科技大學(xué)：2013.

[10]LIU Min-xian，MA Qiang.Research of web real-time recommendation model based on mixed.Computer Engineering and Design，2011，32（10）.（劉敏嫻，馬強.基于混合型的Web實時推薦模型研究.計算機工程與設(shè)計，2011，32（10））.