監(jiān)控系統(tǒng)中云存儲的應(yīng)用和實現(xiàn)

謝崑 尹紅兵

摘 要：隨著視頻監(jiān)控業(yè)務(wù)數(shù)據(jù)的快速增長，視頻以及圖像存儲的規(guī)模也變得越來越大，在人像識別等建設(shè)項目中其規(guī)模達到PB （1024TB）級別，傳統(tǒng)存儲設(shè)備根本無法滿足各類視頻業(yè)務(wù)需求，云存儲能夠通過管理軟件協(xié)調(diào)和調(diào)度相關(guān)的存儲設(shè)備，將不同種類的存儲設(shè)備組織起來工作。

關(guān)鍵字：云存儲;大數(shù)據(jù);分布式集群

1.引言

前端設(shè)備的不斷增加，使得視頻存儲數(shù)據(jù)的不斷擴大，對存儲容量的要求不斷增加，記錄的數(shù)據(jù)變得越來越大，需要配備更多的存儲設(shè)備。新配備的存儲資源在調(diào)度的過程中，要保證在運行的業(yè)務(wù)不能中斷，同時要求快速接管新的業(yè)務(wù)數(shù)據(jù)，只有云存儲系統(tǒng)才能滿足大規(guī)模視頻存儲設(shè)備的需求。

2.現(xiàn)狀與需求

海量數(shù)據(jù)不僅體現(xiàn)在數(shù)據(jù)量大，還體現(xiàn)在數(shù)據(jù)種類多，需要針對非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)的特征，提供相應(yīng)的存儲解決方案（流式存儲、對象存儲、塊存儲等），實現(xiàn)不同數(shù)據(jù)的高效存儲和讀取。

系統(tǒng)要求支持多路高清視頻實時結(jié)構(gòu)化分析，提取視頻中人、車等特征屬性，可根據(jù)特征屬性快速檢索并定位視頻。

系統(tǒng)支持對所有車輛卡口、電警、人臉卡口等采集的圖片進行二次分析及圖片建模。

2.1云存儲 的 應(yīng) 用 現(xiàn) 狀

云存儲市場規(guī)模的不斷增長，各大監(jiān)控廠商也紛紛推出自有的云存儲產(chǎn)品線。未來，隨著監(jiān)控數(shù)據(jù)的不斷增長，對大容量、低成本、高效的云存儲需求也會持續(xù)增長，2026年全球云存儲市場規(guī)模有望接近1700億美元。

2.2云存儲 的 應(yīng) 用 需 求

2.2.1圖像云存儲

圖像云存儲是提供高容量、高安全性、性能穩(wěn)定的圖片存儲空間與功能，適用于卡口服務(wù)器、抓拍機、圖片服務(wù)器等采集的圖片數(shù)據(jù)的直寫存儲場景。圖片存儲服務(wù)同時也支持為第三方視頻應(yīng)用提供圖片存儲和處理能力，支持通過標準接口與第三方的應(yīng)用和平臺對接，第三方的應(yīng)用包括但不限于視頻監(jiān)管平臺、運維平臺、智能分析平臺等。

2.2.2視頻云存儲

視頻存儲服務(wù)是提供高容量、高安全性、性能穩(wěn)定的視頻存儲空間與功能，采用標準的信息傳輸控制協(xié)議、傳輸控制流程和協(xié)議接口，支持監(jiān)控前端視頻流直寫存儲方式和專有的視頻數(shù)據(jù)管理結(jié)構(gòu)，解決了視頻存儲的循環(huán)覆蓋特性帶來的文件碎片問題，提升用戶體驗。

2.2.3對象存儲

對象存儲服務(wù)是提供高容量、高安全性、性能穩(wěn)定的文件存儲空間與功能，適用于海量文件的存儲場景。用戶無需事先規(guī)劃存儲容量 ，存儲資源支持線性擴展，輕松應(yīng)對大規(guī)模數(shù)據(jù)存儲。

2.2.4云存儲新技術(shù)的應(yīng)用

云存儲采用分布式集群架構(gòu)設(shè)計，具有容量大成本低、擴展靈活、數(shù)據(jù)可靠、管理方便、調(diào)用連接簡單等特點。

2.3云存儲技術(shù)優(yōu)勢

2.3.1容量大成本低

云存儲系統(tǒng)可以提供超大容量儲存空間，多個存儲節(jié)點可以輕易提供超過百PB的存儲容量。

由多個存儲節(jié)點組成云存儲系統(tǒng)成本，遠低于傳統(tǒng)存儲架構(gòu)，并且具有良好的可擴充性和靈活性。

2.3.2擴展靈活

存儲資源可以輕易擴展，擴展切換時間短，用戶管理效率高;

支持存儲容量的平滑變化，可以自動識別增加的存儲設(shè)備;虛擬磁盤大小可以調(diào)整，根據(jù)客戶的需求靈活適配。

2.3.3數(shù)據(jù)可靠

系統(tǒng)采用分布式文件存儲方式，儲存數(shù)據(jù)被復制成多個副本，分別存放在不同的存儲節(jié)點不同的磁盤上，這一特性使得分布式存儲系統(tǒng)的可靠性更高。

2.3.4管理簡便

管理維護高效方便。系統(tǒng)管理員可以通過集群內(nèi)任意節(jié)點訪問管理，實現(xiàn)對存儲節(jié)點CPU、內(nèi)存、系統(tǒng)軟件，存儲集群和系統(tǒng)提供業(yè)務(wù)進行管理。單個節(jié)點失效不會影響系統(tǒng)管理員的正常登錄和使用。

2.3.5調(diào)用連接簡單

采用標準的網(wǎng)絡(luò)接口，支持主流的文件與數(shù)據(jù)傳輸訪問協(xié)議（NFS和CIFS等），視頻監(jiān)控系統(tǒng)平臺可以直接調(diào)用。

3.建設(shè)思路和技術(shù)方案

3.1建設(shè)思路

云存儲是基于云計算架構(gòu)，采用了大數(shù)據(jù)、虛擬化等先進技術(shù)，集中統(tǒng)一建設(shè)的云服務(wù)中心。云存儲主要面向視頻專網(wǎng)，為用戶提供專業(yè)化的視頻類服務(wù)、通用云計算服務(wù)及大數(shù)據(jù)計算服務(wù)。

3.1.1云計算架構(gòu)

綜合運用虛擬化、分布式、大數(shù)據(jù)等技術(shù)，構(gòu)建X86計算資源池、存儲資源池，實現(xiàn)資源可控、彈性運用。同時基于多租戶技術(shù)，通過對物理或虛擬資源的分配保證多個用戶以及他們的計算和數(shù)據(jù)彼此隔離和不可訪問。用戶可按需使用資源，能夠方便快捷地申請云資源或釋放云資源。

3.1.2前端設(shè)備科學接入

云存儲具備高效的視頻系統(tǒng)接入能力及融合開放特性。首先，具備百萬級別的設(shè)備接入能力，接入網(wǎng)關(guān)集群化，不存在單點故障;其次，具備多廠家、多協(xié)議、多類型設(shè)備接入，包括各類視頻設(shè)備（如模擬攝像機、數(shù)字攝像機、網(wǎng)絡(luò)攝像機、DVR等）、卡口抓拍設(shè)備（如車輛卡口、電警、人臉卡口），同時兼容國標平臺的無縫接入。

3.2技術(shù)方案

3.2.1系統(tǒng)架構(gòu)圖

云存儲系統(tǒng)是由多個存儲節(jié)點和存儲網(wǎng)絡(luò)組成。管理服務(wù)器通過管理網(wǎng)絡(luò)可以實現(xiàn)對系統(tǒng)包括設(shè)備管理，集群狀態(tài)，節(jié)點狀態(tài)，告警管理等功能管理;每個存儲節(jié)點具有自己獨立的處理器、內(nèi)存、網(wǎng)絡(luò)接口和軟件管理系統(tǒng)，當存儲節(jié)點發(fā)生改變時可以很方便的進行調(diào)整，例如增加或者刪減容量的時候，存儲節(jié)點可以按照比例調(diào)整內(nèi)存大小、處理能力、磁盤空間和網(wǎng)絡(luò)連接，以保證系統(tǒng)正常運行。云存儲系統(tǒng)儲物理設(shè)計結(jié)構(gòu)如下圖所示：

系統(tǒng)結(jié)構(gòu)圖

云存儲系統(tǒng)系統(tǒng)采用多臺存儲節(jié)點形成集群工作的方式提供存儲訪問服務(wù)，集群中的每一個存儲節(jié)點設(shè)備都可以提供內(nèi)容訪問讀寫服務(wù)，對外可視為一個存儲整體，單存儲節(jié)點或存儲節(jié)點中的某個介質(zhì)失效不會導致全局失效的問題，同時新擴容節(jié)點或存儲節(jié)點中的介質(zhì)增減對整體運行無影響。

3.2.2功能設(shè)計

云存儲系統(tǒng)由以下 4層組成。

（1）、存儲層

存儲層是云存儲用于內(nèi)容存儲的部分由多個存儲節(jié)點組成，節(jié)點存儲設(shè)備選取的是提供 NAS 接口，支持 NFS 和 CIFS 協(xié)議共享的存儲設(shè)備。

（2）、基礎(chǔ)管理層：

基礎(chǔ)管理層是云存儲最重要的部分，作用是部署分布式文件系統(tǒng)或建立和組織存儲資源對象。集群中每個節(jié)點都具有獨立基礎(chǔ)管理能力，可獨立完成節(jié)點管理工作，通過集群，多個的節(jié)點存儲設(shè)備可以共同對外服務(wù)，具有極好的數(shù)據(jù)訪問性能。

節(jié)點主要針對 NAS 存儲，支持配額管理、分級存儲、快照、WORM、異步遠程復制等增值特性;針對對象存儲，支持重刪、 多租戶和傳輸加密。

（3）、應(yīng)用接口層：

應(yīng)用接口層是面向使用方的部分，云存儲要根據(jù)使用方實際業(yè)務(wù)需求，開發(fā)出不同的應(yīng)用服務(wù)接口，在視頻監(jiān)控項目中主要是提供視頻監(jiān)控平臺的調(diào)用服務(wù)，其主要類型覆蓋網(wǎng)絡(luò)接口和部分API調(diào)用。

（4）、訪問層：

通過網(wǎng)絡(luò)接入，授權(quán)的用戶都可以直接登錄云存儲系統(tǒng)，以文件服務(wù)的形式直接使用云存儲服務(wù)。

4.結(jié)語

未來安防將實現(xiàn)大數(shù)據(jù)化、應(yīng)用云端化，云存儲作為視頻監(jiān)控大數(shù)據(jù)的重要支撐還有很多可以進步和優(yōu)化的空間。如何更好地同安防系統(tǒng)相配合，為視頻大數(shù)據(jù)發(fā)揮更高效靈活的價值也需要繼續(xù)深度挖掘。

參考文獻

劉洋《云存儲技術(shù)：分析與實踐》出版社： 經(jīng)濟管理出版社

朱曉彥 顧旭峰《云存儲技術(shù)與應(yīng)用》出版社： 高等教育出版社

武春嶺 《云存儲技術(shù)與應(yīng)用》出版社： 電子工業(yè)出版社