基于Hadoop大數(shù)據(jù)技術(shù)的視頻監(jiān)控系統(tǒng)的設(shè)計(jì)

諶江波

摘 要：大數(shù)據(jù)時代，“信息爆炸”給傳統(tǒng)的視頻監(jiān)控提出了巨大的挑戰(zhàn)，隨著科技的發(fā)展，采用以Hadoop大數(shù)據(jù)技術(shù)的視頻監(jiān)控系統(tǒng)可以克服傳統(tǒng)視頻監(jiān)控所帶來的問題，數(shù)據(jù)分析和數(shù)據(jù)挖掘的利用在不同領(lǐng)域改變著我們的生活。

關(guān)鍵詞：Hadoop；大數(shù)據(jù)；視頻監(jiān)控

1 大數(shù)據(jù)的背景

Google研發(fā)的計(jì)算機(jī)AlphaGo戰(zhàn)勝了韓國棋手李世石，這件事不僅是人類在機(jī)器智能領(lǐng)域取得的一個里程碑式的勝利，而且標(biāo)志著一個新的時代——智能時代的開始。

計(jì)算機(jī)之所以能戰(zhàn)勝人類，它不是靠邏輯推理，而是靠大數(shù)據(jù)和智能算法。在數(shù)據(jù)方面，Google使用了幾十萬盤圍棋高手之間對弈的數(shù)據(jù)來訓(xùn)練AlphaGo，這是它獲得所謂的“智能”的原因。這些算法已經(jīng)在其他智能應(yīng)用的領(lǐng)域獲得了成功。今天，計(jì)算機(jī)已經(jīng)開始完成很多過去必須用人的智力才能夠完成的任務(wù)，比如：醫(yī)療診斷，閱讀和處理文件，智能電網(wǎng)，互聯(lián)網(wǎng)，智能交通、提前預(yù)測犯罪行為、懷孕預(yù)測等等。

2 大數(shù)據(jù)關(guān)鍵技術(shù)

網(wǎng)絡(luò)視頻監(jiān)控實(shí)現(xiàn)最大的價值主要是利用大數(shù)據(jù)技術(shù)，其大數(shù)據(jù)的來源是視頻監(jiān)控數(shù)據(jù)，采用數(shù)據(jù)分析和數(shù)據(jù)挖掘的技術(shù)，可以更大程度的實(shí)現(xiàn)其潛在價值。大數(shù)據(jù)的基本處理流程與傳統(tǒng)數(shù)據(jù)處理流程有一定的差異，主要區(qū)別在于：因?yàn)榇罅康姆墙Y(jié)構(gòu)化數(shù)據(jù)的存在，大數(shù)據(jù)就要在每個部分利用并行處理、分布式存儲（HDFS）等技術(shù)來處理。大數(shù)據(jù)所采用的關(guān)鍵技術(shù)包括：數(shù)據(jù)采集技術(shù)（ETL）、分布式文件系統(tǒng)（HDFS）、分布式數(shù)據(jù)庫（HBase）、并行計(jì)算處理（MapReduce）、大數(shù)據(jù)的內(nèi)容分析等。如圖1所示。

3 Hadoop大數(shù)據(jù)技術(shù)

Hadoop作為開源分布式存儲和計(jì)算平臺，應(yīng)用非常廣泛，百度、亞馬遜、Facebook、淘寶等都在用這項(xiàng)技術(shù)，HDFS分布式文件系統(tǒng)和MapReduce分布式計(jì)算技術(shù)都是通過Google產(chǎn)生的，Hadoop是它們的開源平臺，不論是分布式存儲，還是分布式計(jì)算架構(gòu)都要是高要求、高標(biāo)準(zhǔn)，高可靠性、高性能的。

Hadoop的分布式文件系統(tǒng)HDFS主要負(fù)責(zé)各個節(jié)點(diǎn)的數(shù)據(jù)存儲，實(shí)現(xiàn)高效的數(shù)據(jù)讀寫過程。首先，一個應(yīng)用程序被Hadoop的MapReduce編程模型和框架所分解，變成眾多微小的工作單元，然后將這些微小的單元分配到集群節(jié)點(diǎn)執(zhí)行，在MapReduce架構(gòu)下，一個準(zhǔn)備提交的應(yīng)用程序稱為作業(yè)（Job），從一個作業(yè)劃分出的、運(yùn)行于各個計(jì)算節(jié)點(diǎn)的工作單元稱為任務(wù)（Task）。

Google的MapReduce模型是由Hadoop來完成的，Google的MapReduce最開始用在的地方是在搜索引擎里的并行計(jì)算，它的兩個主要部分是：Map（映射）和Reduce（化簡），MapReduce就是由這兩個詞組合而成的，因此就變成了一個分布式計(jì)算框架。在實(shí)際過程中，并行計(jì)算非常繁雜，而且有些還是運(yùn)行在龐大的集群上，所以MapReduce就可以將他們抽象出來到這兩個函數(shù)中，Map和Reduce進(jìn)行下一步的處理。MapReduce工作思路是將未處理的數(shù)據(jù)集（或任務(wù)）分解為多個小的數(shù)據(jù)集（或小任務(wù)）然后發(fā)送到集群節(jié)點(diǎn)中執(zhí)行，每臺計(jì)算機(jī)節(jié)點(diǎn)再處理自己的那部分信息，MapReduce則迅速整合這些反饋并形成答案，簡單說就是任務(wù)的分解和結(jié)果的合成。如圖2所示。

輸入數(shù)據(jù)->Map分解任務(wù)->執(zhí)行并返回結(jié)果->Reduce匯總結(jié)果->輸出結(jié)果

4 大數(shù)據(jù)與視頻監(jiān)控

目前全國各個城市都建設(shè)了大量的視頻監(jiān)控系統(tǒng)，如何在海量的攝像頭及錄像數(shù)據(jù)中預(yù)防、發(fā)現(xiàn)、調(diào)查惡性事件變得非常重要。行業(yè)預(yù)期通過對視頻數(shù)據(jù)進(jìn)行分析，挖掘視頻數(shù)據(jù)中可疑人員的人臉、行為軌跡、動作、打扮及車輛車牌、車身顏色、號碼、軌跡、違章等信息，以實(shí)現(xiàn)對未發(fā)事件的提前預(yù)防、正發(fā)生事件的應(yīng)急響應(yīng)及已發(fā)事件的快速調(diào)查。

海量和非結(jié)構(gòu)化數(shù)據(jù)是視頻監(jiān)控數(shù)據(jù)的兩個核心的特征。隨著視頻網(wǎng)絡(luò)化、移動化、高清化、數(shù)字化的發(fā)展，視頻監(jiān)控數(shù)據(jù)是越來越巨大，而且是呈指數(shù)級別增加的趨勢。以音視頻及圖片為主的非結(jié)構(gòu)化數(shù)據(jù)增長的趨勢尤為明顯，傳統(tǒng)的視頻監(jiān)控數(shù)據(jù)管理越來越難以滿足這個時代大數(shù)據(jù)的要求。

4.1 高清視頻監(jiān)控尚存在的問題

4.1.1 海量數(shù)據(jù)如何存儲和拓展的問題

視頻監(jiān)控系統(tǒng)24小時工作的特征使其源源不斷地產(chǎn)生大量數(shù)據(jù)，高清視頻監(jiān)控系統(tǒng)視頻數(shù)據(jù)流量更大，傳統(tǒng)集中存儲模式下，需要基于現(xiàn)狀并考慮未來一段時間擴(kuò)展需求進(jìn)行部署，這樣的部署不利于系統(tǒng)后期擴(kuò)大存儲的設(shè)計(jì)。視頻監(jiān)控系統(tǒng)的存儲和拓展必須能夠隨著技術(shù)的進(jìn)步而動態(tài)的，而且可以保持現(xiàn)有的系統(tǒng)不容易損失嚴(yán)重。存儲若采用分布式存儲架構(gòu)，則可以進(jìn)行靈活地擴(kuò)展部署。

4.1.2 海量數(shù)據(jù)如何計(jì)算和分析的問題

海量視頻數(shù)據(jù)智能分析的有效性將是未來大型安防監(jiān)控系統(tǒng)的重要指標(biāo)。對于地鐵、機(jī)場及平安城市等公共安全監(jiān)控系統(tǒng)，一旦發(fā)生事故，成千上萬的攝像機(jī)錄像需要檢索或者回放，即使常態(tài)下未發(fā)生事故時，也需要對視頻數(shù)據(jù)進(jìn)行分析、提取及信息挖掘。傳統(tǒng)集中存儲及串行分析的模式下，效率較低，耗時較多而無法滿足事故發(fā)生后快速調(diào)研判斷的需求。分布式計(jì)算系統(tǒng)架構(gòu)可以并行同時在多個節(jié)點(diǎn)進(jìn)行計(jì)算，以解決此問題。

4.1.3 系統(tǒng)高可靠性和冗余問題

海量視頻存儲，尤其是金融及其他重要應(yīng)用，存儲周期較長，而一旦發(fā)生事故，要求視頻錄像數(shù)據(jù)保證可用，這要求視頻數(shù)據(jù)的存儲備份具有高可靠性。傳統(tǒng)視頻存儲利用DVR或NVR進(jìn)行存儲，并利用存儲備份服務(wù)器進(jìn)行二次備份，操作控制監(jiān)控設(shè)備顯得復(fù)雜得多。

4.2 大數(shù)據(jù)視頻監(jiān)控優(yōu)勢

以Hadoop為主的大數(shù)據(jù)技術(shù)，核心特點(diǎn)是分布式存儲架構(gòu)（HDFS）及分布式計(jì)算框架（MapReduce）。Hadoop架構(gòu)非常適合一次寫入，多次讀取、高效計(jì)算、海量數(shù)據(jù)的存儲及分析計(jì)算，而高清網(wǎng)絡(luò)視頻監(jiān)控應(yīng)用正好契合這些特點(diǎn)，視頻監(jiān)控資源通過網(wǎng)絡(luò)進(jìn)行分布存儲〔到不同節(jié)點(diǎn)〕，視頻數(shù)據(jù)一旦寫入，很少需要修改，但是可能需要多次讀取〔錄像回放〕，并有高效計(jì)算需求〔視頻實(shí)時分析及二次分析、檢索等需求〕。

基于Hadoop大數(shù)據(jù)架構(gòu)，高清視頻監(jiān)控系統(tǒng)性能大大增強(qiáng)：

4.2.1 擴(kuò)展更加靈活

基于Hadoop的分布式系統(tǒng)架構(gòu)，可根據(jù)后期需求進(jìn)行靈活擴(kuò)展以滿足不同階段的需求，而不必在初期進(jìn)行大而全的投資，系統(tǒng)節(jié)點(diǎn)的添加和刪除、節(jié)點(diǎn)任務(wù)的轉(zhuǎn)移非常靈活。

4.2.2 系統(tǒng)延續(xù)性高

虛擬化及大數(shù)據(jù)技術(shù)架構(gòu)對底層硬件設(shè)備的要求并不高，在HDFS的集群中，可靈活進(jìn)行集群及節(jié)點(diǎn)的布置，相關(guān)的數(shù)據(jù)節(jié)點(diǎn)所需的硬件價格更加低廉，可靠性可以由軟件技術(shù)來保障，可以不需要采用價格昂貴的硬件，使之價格大大的降低。

4.2.3 數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)效率更高

數(shù)據(jù)分析能讓我們從大數(shù)據(jù)中分析出很多有價值的信息。數(shù)據(jù)挖掘則是讓我們能從大數(shù)據(jù)中發(fā)現(xiàn)某種過程，某種關(guān)系，某種模式，某種趨勢，某種規(guī)律，進(jìn)而為領(lǐng)導(dǎo)層提供決策的依據(jù)，使得高清視頻監(jiān)控的使用更加高效。常用的數(shù)據(jù)挖掘方法主要有分類分析、關(guān)聯(lián)分析、聚類分析、神經(jīng)網(wǎng)絡(luò)等。

5 結(jié)束語

隨著視頻監(jiān)控的發(fā)展，再加上IT新技術(shù)的應(yīng)用與融合，以Hadoop大數(shù)據(jù)技術(shù)在視頻監(jiān)控系統(tǒng)領(lǐng)域的作用更加突顯，保障著各個領(lǐng)域的安全。

參考文獻(xiàn)

[1]巴麗娟.大數(shù)據(jù)應(yīng)用架構(gòu)下視頻監(jiān)控云存儲發(fā)展[J].中國公共安全（綜合版），2014（9）：131-134.

[2]林青.云領(lǐng)安防大數(shù)據(jù)時代——安防大數(shù)據(jù)時代下的視頻監(jiān)控解決之道[J].中國安防，2013（9）：38-42.

[3]李涵.大數(shù)據(jù)技術(shù)：助力視頻監(jiān)控邁入“智能安防時代”[J].城市建設(shè)理論研究（電子版），2015（9）：3720-3721.

[4]西剎子.安防天下：智能網(wǎng)絡(luò)視頻監(jiān)控技術(shù)詳解與實(shí)踐[M].清華大學(xué)出版社：第1版，2010.

[5]雷玉堂.安防&智能化：視頻監(jiān)控系統(tǒng)智能化實(shí)現(xiàn)方案[M].電子工業(yè)出版社：第1版，2013.