基于云存儲視頻監(jiān)控系統(tǒng)的研究

張海山

（武漢郵電科學研究院 湖北 武漢430074）

基于云存儲視頻監(jiān)控系統(tǒng)的研究

張海山

（武漢郵電科學研究院 湖北 武漢430074）

視頻監(jiān)控系統(tǒng)對海量視頻數(shù)據(jù)存儲和智能視頻分析的需求日益突出。針對系統(tǒng)硬件計算能力有限，用戶需求的多樣性，系統(tǒng)擴展性復雜等問題，云存儲技術(shù)有很大突破。通過虛擬化技術(shù)構(gòu)建資源池，使用Hadoop分布式文件系統(tǒng)存儲海量視頻數(shù)據(jù)，使用Map/Reduce編程模型實現(xiàn)大數(shù)據(jù)并行計算，為用戶提供實時視頻監(jiān)控和智能視頻分析服務(wù)。

云計算；云存儲；視頻監(jiān)控；Hadoop分布式文件系統(tǒng)

互聯(lián)網(wǎng)的迅猛發(fā)展，不僅改變了我們的生活方式，也顛覆了各個領(lǐng)域的經(jīng)營與管理。隨著網(wǎng)絡(luò)信息化技術(shù)的日益完善，使得視頻資源的聯(lián)網(wǎng)共享成為視頻監(jiān)控、IPTV等大數(shù)據(jù)領(lǐng)域的迫切需求，現(xiàn)有分散的視頻資源正在朝集中化的方向發(fā)展。隨著海量視頻數(shù)據(jù)的快速增長，傳統(tǒng)的視頻監(jiān)控難以滿足在大數(shù)據(jù)計算分析、存儲及數(shù)據(jù)共享等上的需要，或者說很難以更低的成本，更靈活的擴展性，更健壯、更可靠、更安全的系統(tǒng)架構(gòu)來滿足行業(yè)需求。因此，云計算開始運用到大規(guī)模視頻監(jiān)控領(lǐng)域。

1 相關(guān)知識

“云計算”并非是一種新的計算技術(shù)，而是結(jié)合多種計算技術(shù)，以最優(yōu)性價比為目的的綜合型計算模式。通過云計算技術(shù)，將海量的資源通過網(wǎng)絡(luò)連接起來，用戶能夠共享數(shù)據(jù)、協(xié)同計算，網(wǎng)絡(luò)中的計算機、服務(wù)器共同對外提供服務(wù)，并使之透明化[1]。

1.1 云計算

云計算是分布式計算、并行計算和網(wǎng)格計算的發(fā)展，它將計算任務(wù)分布在大量計算機構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算能力、存儲空間和各種軟件服務(wù)[2]。

云計算通過虛擬化技術(shù)，將大量異構(gòu)的網(wǎng)絡(luò)服務(wù)器和不同廠家的網(wǎng)絡(luò)存儲設(shè)備構(gòu)建成統(tǒng)一的資源池，通過互聯(lián)網(wǎng)連接起來，用戶不需要了解云存儲系統(tǒng)的細節(jié)，也不必掌握專業(yè)的云技術(shù)知識，只需要關(guān)注自己需要什么樣的資源，以及如何通過互聯(lián)網(wǎng)來獲得相應(yīng)的服務(wù)。云計算為大規(guī)視頻監(jiān)控系統(tǒng)提供超強計算的能力，靈活地為用戶提供各種服務(wù)，同時減少系統(tǒng)建設(shè)、升級及運維管理的成本，提高系統(tǒng)資源的利用率和系統(tǒng)運行的可靠性。

1.2 云存儲

云存儲是在云計算的基礎(chǔ)上衍生和發(fā)展出來的一種技術(shù)。它通過網(wǎng)絡(luò)將各類存儲設(shè)備匯集起來，通過網(wǎng)絡(luò)集中管理，共享數(shù)據(jù)，其靈活的擴展性，可以對外提供數(shù)據(jù)存儲和業(yè)務(wù)服務(wù)以及與存儲相關(guān)的增值應(yīng)用。

云存儲系統(tǒng)以網(wǎng)絡(luò)服務(wù)器和網(wǎng)絡(luò)存儲設(shè)備為基礎(chǔ)，構(gòu)建成一個大規(guī)模的存儲集群，采用大規(guī)模分布式文件系統(tǒng)對存儲資源集中管理，可以提供上海量的存儲空間同時也可以為大量用戶提供服務(wù)，推動了大數(shù)據(jù)時代的發(fā)展。云存儲系統(tǒng)的成本遠遠低于傳統(tǒng)的存儲系統(tǒng)，并且具有良好的可擴充性和可靠性，推動著大規(guī)模視頻監(jiān)控系統(tǒng)的變革。

2 基于云存儲的監(jiān)控系統(tǒng)

目前，云存儲的實現(xiàn)并不存在技術(shù)上的障礙，它需要云設(shè)備、云軟件、云服務(wù)等有機地集合在一起，為用戶提供無障礙的云服務(wù)[3]。將存儲設(shè)備和應(yīng)用軟件相結(jié)合，通過分布式文件系統(tǒng)架構(gòu)實現(xiàn)由存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。

2.1 云存儲系統(tǒng)的結(jié)構(gòu)模型

與傳統(tǒng)的存儲設(shè)備相比，云存儲不再是單純的存儲設(shè)備，通過虛擬化技術(shù)，將無數(shù)分散的服務(wù)器和存儲設(shè)備通過網(wǎng)絡(luò)組織起來，統(tǒng)一管理，協(xié)同工作，通過應(yīng)用軟件對外提供存儲服務(wù)。云存儲系統(tǒng)結(jié)構(gòu)模型[4]由物理存儲層、基礎(chǔ)管理層、應(yīng)用接口層和用戶訪問層組成，如圖1所示。

圖1 云存儲系統(tǒng)的結(jié)構(gòu)模型Fig.1 Structural model of cloud storage system

2.2 基于云存儲監(jiān)控系統(tǒng)的設(shè)計

基于云存儲的視頻監(jiān)控系統(tǒng)在邏輯上可分為前端視頻采集、云端數(shù)據(jù)管理中心、視頻業(yè)務(wù)服務(wù)和客戶端管理系統(tǒng)。如圖2所示。

前端視頻采集通過網(wǎng)絡(luò)連接到云存儲系統(tǒng)，云存儲系統(tǒng)為每一路高清IP攝像頭分配足夠的帶寬。高清IP攝像頭將采集的高清視頻流進行壓縮編碼，然后再將壓縮編碼后的視頻流封裝成能在網(wǎng)絡(luò)上傳輸?shù)腎P數(shù)據(jù)包，通過Internet上傳到云資源池中。

云端數(shù)據(jù)管理中心對云資源進行自動監(jiān)控、自動調(diào)度和集中管理等一體化運維操作，通過虛擬化存儲技術(shù)、Hadoop分布式文件系統(tǒng)、云計算等技術(shù)結(jié)合應(yīng)用程序?qū)崿F(xiàn)存儲設(shè)備內(nèi)容的分發(fā)、數(shù)據(jù)刪冗、數(shù)據(jù)壓縮、數(shù)據(jù)加密、數(shù)據(jù)備份與數(shù)據(jù)恢復等功能。

視頻業(yè)務(wù)服務(wù)運行在云端數(shù)據(jù)管理中心之上，是云資源的應(yīng)用集合，根據(jù)用戶的不同需求，提供相關(guān)的業(yè)務(wù)服務(wù)。

客戶端管理系統(tǒng)通過公用API接口訪問視頻相應(yīng)的業(yè)務(wù)服務(wù)?？蛻舳斯芾硐到y(tǒng)的每個操作對應(yīng)著一個業(yè)務(wù)請求，通過網(wǎng)絡(luò)接入、用戶認證、權(quán)限管理等安全策略驗證后，方可訪問相應(yīng)的業(yè)務(wù)。

3 關(guān)鍵技術(shù)及實現(xiàn)

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，人們對智能安防提出了新的要求，傳統(tǒng)視頻監(jiān)控系統(tǒng)的局限性越來越突出，視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化、智能化以及安全越來越受到人們的關(guān)注和重視?；谠拼鎯Φ囊曨l監(jiān)控系統(tǒng)在數(shù)據(jù)存儲與安全，實時轉(zhuǎn)碼，視頻智能分析等方面具有自身獨特的技術(shù)優(yōu)勢。

3.1 數(shù)據(jù)存儲與安全

Hadoop分布式文件系統(tǒng)[5]是現(xiàn)在主流的分布式文件系統(tǒng)之一，具有高容錯性，可以運行在低成本的計算機硬件基礎(chǔ)上[6]。Hadoop分布式文件系統(tǒng)為讀寫數(shù)據(jù)提供了大吞吐量，可運行需要大量數(shù)據(jù)計算的應(yīng)用程序，非常適合大規(guī)模視頻監(jiān)控系統(tǒng)的應(yīng)用。

Hadoop分布式文件系統(tǒng)也采用了主從架構(gòu)，它的集群是由一個Namenode和多個Datanode組成。Namenode是一個中心服務(wù)器，其主要負責管理文件系統(tǒng)的命名空間以及客戶端對文件的訪問操作。Datanode負責管理文件塊的創(chuàng)建、存儲和刪除，并且在Namenode的統(tǒng)一調(diào)度下進行文件塊的復制操作。

Hadoop分布式文件系統(tǒng)將每個文件分成一系列固定大小的數(shù)據(jù)塊，除了最后一個，所有的數(shù)據(jù)塊大小都為64MB。為了容錯，提高系統(tǒng)的可用性，存儲在Datanode中文件的數(shù)據(jù)塊都會有副本。一般情況下，用戶的文件有3個副本，系統(tǒng)會將第一個副本放在本地節(jié)點上，將第二個副本放到同一機架的另外一個本地節(jié)點上，而將第三個副本放到云存儲系統(tǒng)不同機架的一個節(jié)點上。當某一節(jié)點的數(shù)據(jù)被破壞后，可以讀取其它節(jié)點的副本，提高數(shù)據(jù)的安全性，同時保證了系統(tǒng)的可靠性。

3.2 實時轉(zhuǎn)碼

視頻監(jiān)控需要系統(tǒng)具有超強的計算能力，對實時性要求也特別高。云存儲系統(tǒng)具有超強的計算能力，再結(jié)合開源軟件FFmpeg，為用戶提供一套集音/視頻采集、格式轉(zhuǎn)換、音/視頻編碼解碼為一體的實時客戶端系統(tǒng)。

FFmpeg支持多種編碼、解碼，能夠動態(tài)地對音/視頻進行轉(zhuǎn)碼，也能動態(tài)從音/視頻源中獲取數(shù)據(jù)。FFmepg可以通過參數(shù)設(shè)置（包括比特率、幀率、幀大小、屏幕高寬比）控制音/視頻文件的轉(zhuǎn)換，解決了用戶多樣化終端訪問的問題，比如PC、手機、iPad，要求的視頻格式各不相同。

3.3 視頻智能分析

Map/Reduce計算框架是Google提出的軟件架構(gòu)，適用于處理大數(shù)據(jù)的分布式計算，非常適用于大規(guī)模視頻監(jiān)控系統(tǒng)。原理是將大任務(wù)分解為成百上千塊的小任務(wù)，然后發(fā)送到計算機集群中，協(xié)同處理，共享數(shù)據(jù)。

Map/Reduce將所有的操作分解為map函數(shù)和reduce函數(shù)，通過將大型分布式計算分解為一系列對數(shù)據(jù)鍵值對的操作，實現(xiàn)大規(guī)數(shù)據(jù)模集的并行運算。可以利用Map/Reduce計算框架優(yōu)化視頻壓縮編碼、解碼以及關(guān)鍵算法，如圖像識別、人臉識別、移動跟蹤和軌跡組合優(yōu)化、高斯融合等算法，提高監(jiān)控圖像質(zhì)量，提升監(jiān)控圖像的使用價值，滿足視頻監(jiān)控行業(yè)智能化、高清化的新需求。

4 結(jié)束語

云存儲不僅僅是數(shù)據(jù)的存儲，主要是提供數(shù)據(jù)處理的服務(wù)，增強了數(shù)據(jù)應(yīng)用的高效性和靈活性。云存儲從架構(gòu)上改變了傳統(tǒng)視頻監(jiān)控系統(tǒng)模式，使得系統(tǒng)的容量擴容、海量數(shù)據(jù)處理、運營成本等問題迎刃而解。隨著網(wǎng)絡(luò)的全面普及和海量視頻共享的迫切需求，目前云存儲研究與應(yīng)用還存在不少挑戰(zhàn)，還需要做大量的研究和嘗試。

[1]MARSTONS.Cloud computing-the business perspective[J].IEEE Conference Publications,2011:1-11.

[2]李玲娟,張敏.云環(huán)境下關(guān)聯(lián)規(guī)則挖掘算法的研究[J].計算機技術(shù)與發(fā)展,2011,2l(2):43-46.LI Ling-juan,ZHANG Min.Reserch on algorithms of mining association rule under cloud computing environment[J], Computer Technology And Development,2011,2l(2):43-46.

[3]王鵬.云計算的關(guān)鍵技術(shù)與應(yīng)用實例[M].北京:人民郵電出版社,2010.

[4]張明.淺談云存儲技術(shù)與應(yīng)用[J].信息技術(shù),2010,39(3):15-17.ZHANG Ming.Discuss cloud storage technology and applications[J].Information Technology,2010,39(3):15-17.

[5]Castleman K K,Digital Image Processing[M].America:Electric And Industry Press,2011.

[6]Attebury G,Baranovski A,Bloom K,et al.Hadoop distributed file system for the grid[C]//Proceedings of the IEEE Nuclear Science Symposium Conference2009,2009:1056-1061.

圖9 視頻處理后輸出Fig.9 The final video after codec

5 結(jié)論

經(jīng)實驗表明，該系統(tǒng)可以對攝像頭采集到的模擬視頻信號進行采樣量化，并實現(xiàn)對原始視頻數(shù)據(jù)MPEG4編解碼的功能，最終將視頻數(shù)據(jù)穩(wěn)定輸出到顯示屏上。本次設(shè)計達到了預期的目標。DM368芯片功能比較全面，硬件設(shè)計相對更簡便，又擁有豐富的軟件資源和算法庫支持，可以大大縮減相關(guān)視頻處理項目的開發(fā)周期，并同時在很大程度上增強系統(tǒng)可靠性。該設(shè)計除此之外該系統(tǒng)還支持H.264編解碼，可以通過網(wǎng)絡(luò)接口和Linux運行平臺進行網(wǎng)絡(luò)傳輸。整個平臺功能豐富可擴展性高，為其他視頻處理設(shè)計提供了參考。

參考文獻：

[1]齊誼娜，徐海龍，王曉丹.H.264與MPEG-4壓縮編碼標準的分析與比較[J].計算及測量與控制,2006(14):720-722.QI Yi-na,XU Hai-long,WANG Xiao-dan.Analysis and comparison between H.264 and MPEG-4 compresssion encode standars[J].Computer Measurement&Control,2006 (14):720-722.

[2]陳功,黃祥林,卓力.MPEG4-基于對象的多媒體壓縮新標準[J].測控技術(shù),2002(21):26-29.CHEN Gong,HUANG Xiang-lin,ZHUO Li.MPEG-4:Objectbased multimedia compression standard[J].Measurement& Control Technology,2002(21):26-29.

[3]Texas Instruments Inc.TMS320DM368 Digital System-on-C-hip(DMSoC)[C]//Technical Reference Manual,2011.

[4]沈沛意，張亮，等.DAVINCI技術(shù)剖析及實戰(zhàn)應(yīng)用開發(fā)指南[M].西安：西安電子科技大學出版社,2012.

[5]趙俞建.基于DM368處理器的單通道視頻編碼器系統(tǒng)軟件設(shè)計[D].杭州：浙江大學,2012.

[6]吳笑天,魯劍鋒,王宇慶,等.基于DM368的無人機視頻壓縮系統(tǒng)的設(shè)計[J].液晶與顯示,2014(12):1117-1123.WU Xiao-tian,LU Jian-feng,WANG,Yu-qing,et al.Design of UAV video encoding system based on DM36[J]8.Chinese Journal of Liquid Crystals and Display,2014(12):1117-1123.

[7]李宇成,李聰.基于DM368的視頻處理及軟件設(shè)計[J].計算及測量與控制,2013(10):2865-2871.LI Yu-cheng,LI Cong.Video processing based on DM368 and software design[J].Computer Measurement&Control, 2014(12):1117-1123.

Research of video surveillance system based on cloud storage

ZHANG Hai-shan
（Wuhan Research Institute of Post and Telecommunications，Wuhan 430074，China）

Demand for massive video data storage and intelligent video analysis of video surveillance system is outstanding.The limited of hardware calculation ability,the diverse needs of user,the complexity of system expansion and so on,cloud storage technology has great breakthrough.To provide users with real-time video monitoring and intelligent video analysis service,Building resource pool through virtualization technology,using the Hadoop Distributed File system store massive video data,using Map/Reduce programming model to realize large-scale parallel computing.

cloud computing;cloud storage;video surveillance;Hadoop distributed file system

TN919.85

A

1674－6236（2015）10-0169-03

2014-09-16 稿件編號：201409141

張海山(1988—)，男，湖北棗陽人，碩士研究生。研究方向：信號與信息處理、云存儲。