淺談“平安城市”中的云存儲(chǔ)技術(shù)

程海濤 薛虎

【摘要】當(dāng)今世界的各行各業(yè)越來(lái)越依賴于計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù)，尤其是在“平安城市”的建設(shè)中，如何更好的存儲(chǔ)和處理大數(shù)據(jù)的圖像和信息，對(duì)現(xiàn)有技術(shù)提出了一個(gè)很大的考驗(yàn)，而云技術(shù)的產(chǎn)生對(duì)大數(shù)據(jù)量的處理和分析，提供了最有利的保障，特別是大數(shù)量的存儲(chǔ)方面。本文結(jié)合“平安城市”建設(shè)規(guī)范和要求，對(duì)“平安城市”中的云技術(shù)尤其是云存儲(chǔ)方面進(jìn)行探討。

【關(guān)鍵詞】平安城市;云技術(shù)

1.前言

隨著社會(huì)的發(fā)展和科技的進(jìn)步，原始紙質(zhì)和磁帶式單一的存取介質(zhì)已很難滿足人們大量信息數(shù)據(jù)的存取需求，特別是計(jì)算機(jī)和網(wǎng)絡(luò)的飛速發(fā)展，人們對(duì)信息數(shù)據(jù)存取要求越來(lái)越高，尤其是在安防視頻監(jiān)控系統(tǒng)中日漸突出。

“平安城市”是建立在新一代信息技術(shù)支撐下的城市形態(tài)，通過(guò)信息和通信技術(shù)的應(yīng)用，提升城市的管理水平，提高市民的生活質(zhì)量，令城市運(yùn)行和市民生活更加智能。而視頻監(jiān)控系統(tǒng)的高清化，已經(jīng)成為一個(gè)不可阻擋的趨勢(shì)，這對(duì)視頻監(jiān)控的大量存儲(chǔ)提出了更高的要求，因此存儲(chǔ)系統(tǒng)也會(huì)逐步趨向于穩(wěn)定性、集中化管理、分布式存儲(chǔ)的方向，未來(lái)需要高密度、高性能、更加迎合應(yīng)用、定制化強(qiáng)、易于運(yùn)維的存儲(chǔ)解決方案，云存儲(chǔ)的技術(shù)正好解決了這一難題。

云存儲(chǔ)的發(fā)展有利于推動(dòng)各種視頻監(jiān)控資源在云中融合，在安防領(lǐng)域，視頻監(jiān)控不能單獨(dú)成為一個(gè)獨(dú)立于其他安防措施的系統(tǒng)，它應(yīng)當(dāng)和警務(wù)督察系統(tǒng)、110報(bào)警系統(tǒng)、道路監(jiān)控系統(tǒng)、車輛管理系統(tǒng)、人口稽查系統(tǒng)、GPS可視化系統(tǒng)等等多種安全防護(hù)系統(tǒng)聯(lián)動(dòng)，最終成為一套成熟的安全防護(hù)系統(tǒng)。而這些系統(tǒng)如果真正實(shí)現(xiàn)融合，資源共享就離不開云存儲(chǔ)。

存儲(chǔ)云是視頻云節(jié)點(diǎn)中內(nèi)部運(yùn)行云存儲(chǔ)核心服務(wù)，它是一套運(yùn)行可靠的分布式協(xié)調(diào)系統(tǒng)，實(shí)現(xiàn)節(jié)點(diǎn)間控制、節(jié)點(diǎn)選舉、狀態(tài)偵測(cè)、分布式同步、配置維護(hù)、名字服務(wù)、群組服務(wù)、業(yè)務(wù)調(diào)度等云化集群服務(wù)。視頻云節(jié)點(diǎn)中的前端接入服務(wù)、媒體服務(wù)、管理服務(wù)等各個(gè)功能模塊能夠?qū)崿F(xiàn)視頻監(jiān)控業(yè)務(wù)SAAS云平臺(tái)。存儲(chǔ)云監(jiān)控平臺(tái)采用N+0熱互備的云化集群模式，以業(yè)界領(lǐng)先的高性能存儲(chǔ)為依托，不需要購(gòu)置額外的機(jī)器，N臺(tái)機(jī)器自己互備。

2.存儲(chǔ)云方案

采用集成視頻監(jiān)控系統(tǒng)軟件的網(wǎng)絡(luò)視頻存儲(chǔ)，基于云計(jì)算技術(shù)，組成網(wǎng)絡(luò)視頻云存儲(chǔ)系統(tǒng)。系統(tǒng)不需要獨(dú)立服務(wù)器，采用統(tǒng)一規(guī)格的云存儲(chǔ)單元構(gòu)建。

圖1 存儲(chǔ)云整體架構(gòu)

存儲(chǔ)云總設(shè)計(jì)：

系統(tǒng)不需要獨(dú)立服務(wù)器，采用統(tǒng)一規(guī)格的云存儲(chǔ)單元構(gòu)建。其網(wǎng)絡(luò)架構(gòu)圖如圖1所示。

存儲(chǔ)云主要部署在各個(gè)派出所，每個(gè)派出所構(gòu)成存儲(chǔ)云，提供云存儲(chǔ)服務(wù)視頻云存儲(chǔ)節(jié)點(diǎn)系統(tǒng)可啟用云化集群工作模式進(jìn)行高可用保護(hù)，保證單臺(tái)視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備宕機(jī)的情況下，迅速由其它視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備接管它的工作。

在啟用云化集群功能后，集群內(nèi)的視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備可以提供負(fù)載均衡服務(wù)。所有的寫壓力將會(huì)自動(dòng)的分擔(dān)到所有的視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備上。集群會(huì)定期收集各視頻云存儲(chǔ)節(jié)點(diǎn)成員的狀態(tài)和負(fù)載情況，若發(fā)現(xiàn)負(fù)載嚴(yán)重失衡時(shí)，將及時(shí)進(jìn)行調(diào)整。當(dāng)新的業(yè)務(wù)到來(lái)時(shí)、故障機(jī)器上的業(yè)務(wù)轉(zhuǎn)移時(shí)，存儲(chǔ)云會(huì)智能地選擇出最優(yōu)的負(fù)載分配策略，在保證每臺(tái)機(jī)器承擔(dān)的業(yè)務(wù)負(fù)載不超過(guò)其能力極限的同時(shí)，盡量令各臺(tái)機(jī)器的業(yè)務(wù)壓力平均。

調(diào)度算法同時(shí)根據(jù)每臺(tái)成員的軟硬件配置，智能分配業(yè)務(wù)壓力，配置好的機(jī)器會(huì)承擔(dān)更多的業(yè)務(wù)壓力。

負(fù)載均衡技術(shù)使得各視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備的性能、設(shè)備生命、節(jié)能等指標(biāo)均達(dá)到最優(yōu)。

3.存儲(chǔ)云實(shí)現(xiàn)機(jī)制

3.1 實(shí)現(xiàn)機(jī)制總體描述

前端采集的視頻流直接存儲(chǔ)視頻入網(wǎng)絡(luò)視頻云存儲(chǔ)系統(tǒng)，同時(shí)按需轉(zhuǎn)發(fā)實(shí)時(shí)視頻流到授權(quán)客戶端和電視墻系統(tǒng)。

平臺(tái)管理系統(tǒng)對(duì)網(wǎng)絡(luò)視頻云存儲(chǔ)系統(tǒng)進(jìn)行統(tǒng)一配置和管理，在派出所與分局網(wǎng)絡(luò)中斷或者管理服務(wù)器宕機(jī)的情況下網(wǎng)絡(luò)視頻存儲(chǔ)系統(tǒng)能夠獨(dú)立運(yùn)行，不影響派出所操作人員對(duì)前端視頻的實(shí)時(shí)監(jiān)控、圖像存儲(chǔ)和歷史圖像檢索回放。

網(wǎng)絡(luò)視頻云存儲(chǔ)系統(tǒng)可以通過(guò)單一窗口實(shí)現(xiàn)共同配置、維護(hù)和管理，并需提供開放的集成接口（SDK、API等），便于第三方集成軟件實(shí)現(xiàn)異構(gòu)存儲(chǔ)設(shè)備的集中運(yùn)行監(jiān)控和維護(hù)。

圖2 存儲(chǔ)云管理機(jī)制示意圖

3.2 存儲(chǔ)系統(tǒng)的管理調(diào)度

在市局部署M臺(tái)設(shè)備用于整個(gè)存儲(chǔ)云設(shè)備的管理調(diào)度。在每個(gè)派出所中，基礎(chǔ)存儲(chǔ)單元數(shù)量小于或等于N臺(tái)時(shí)，設(shè)置一個(gè)主存儲(chǔ)節(jié)點(diǎn)，用于對(duì)該派出所內(nèi)存儲(chǔ)設(shè)備的管理和調(diào)度，此時(shí)此臺(tái)存儲(chǔ)設(shè)備不僅能夠?qū)崿F(xiàn)管理功能還可以當(dāng)做存儲(chǔ)設(shè)備使用;當(dāng)排除所存儲(chǔ)設(shè)備數(shù)量大于N臺(tái)時(shí)，如果依然讓單臺(tái)存儲(chǔ)設(shè)備既做管理又做存儲(chǔ)，會(huì)使其受到影響，故需單獨(dú)增加一臺(tái)管理設(shè)備，用于專門對(duì)該派出所內(nèi)存儲(chǔ)設(shè)備的管理和調(diào)度使用。具體的圖示如圖2所示

可以將每個(gè)派出所看做一個(gè)域，在這個(gè)域內(nèi)實(shí)現(xiàn)云存儲(chǔ)。在啟用云存儲(chǔ)功能后，域內(nèi)的視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備可以提供負(fù)載均衡服務(wù)。在視頻云存儲(chǔ)節(jié)點(diǎn)內(nèi)部，多個(gè)RAID組之間，當(dāng)某個(gè)RAID組工作壓力較大時(shí)，節(jié)點(diǎn)設(shè)備可分配若干數(shù)據(jù)流到另一較輕松的RAID組中，實(shí)現(xiàn)RAID組級(jí)負(fù)載均衡。負(fù)載均衡技術(shù)使得各視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備的性能、設(shè)備生命、節(jié)能等指標(biāo)均達(dá)到最優(yōu)。

當(dāng)有一路視頻圖像需要存儲(chǔ)的時(shí)候，域主節(jié)點(diǎn)會(huì)自動(dòng)對(duì)其管轄范圍內(nèi)的云存儲(chǔ)節(jié)點(diǎn)成員的狀態(tài)和負(fù)載情況進(jìn)行查看，調(diào)度到綜合負(fù)載最小的存儲(chǔ)設(shè)備上進(jìn)行存儲(chǔ)，之后此路視頻都會(huì)按照這一路徑位置對(duì)視頻進(jìn)行存儲(chǔ)。

當(dāng)存儲(chǔ)設(shè)備中RAID組中磁盤損壞時(shí)，熱備磁盤將啟用，并且該RAID組將利用剩下磁盤中的數(shù)據(jù)及相應(yīng)的奇偶校驗(yàn)信息將損壞的數(shù)據(jù)進(jìn)行恢復(fù)。

當(dāng)存儲(chǔ)云中其中一臺(tái)存儲(chǔ)設(shè)備不可用，云中的域主節(jié)點(diǎn)會(huì)跟根據(jù)當(dāng)前其他存儲(chǔ)設(shè)備負(fù)載情況，把前端暫時(shí)遷移到其他存儲(chǔ)設(shè)備上。等原有存儲(chǔ)設(shè)備恢復(fù)上線后，前端在回遷到原有存儲(chǔ)上。

每個(gè)派出所會(huì)設(shè)置兩個(gè)域主節(jié)點(diǎn)，一主一備，當(dāng)域主節(jié)點(diǎn)出現(xiàn)故障時(shí)，備份的域主節(jié)點(diǎn)會(huì)啟動(dòng)管理調(diào)度功能對(duì)本域內(nèi)的云存儲(chǔ)節(jié)點(diǎn)進(jìn)行管理。

4.總結(jié)

云存儲(chǔ)不是存儲(chǔ)，而是服務(wù)就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣，云存儲(chǔ)對(duì)使用者來(lái)講，不是指某一個(gè)具體的設(shè)備，而是指一個(gè)由許許多多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲(chǔ)，并不是使用某一個(gè)存儲(chǔ)設(shè)備，而是使用整個(gè)云存儲(chǔ)系統(tǒng)帶來(lái)的一種數(shù)據(jù)訪問(wèn)服務(wù)，云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合，通過(guò)應(yīng)用軟件來(lái)實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變，通過(guò)對(duì)存儲(chǔ)的云化，對(duì)平安城市中大量數(shù)據(jù)的存儲(chǔ)和應(yīng)用提供了保障，云存儲(chǔ)已經(jīng)成為未來(lái)存儲(chǔ)發(fā)展的一種趨勢(shì)。