程海濤 薛虎
【摘要】當(dāng)今世界的各行各業(yè)越來(lái)越依賴于計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù),尤其是在“平安城市”的建設(shè)中,如何更好的存儲(chǔ)和處理大數(shù)據(jù)的圖像和信息,對(duì)現(xiàn)有技術(shù)提出了一個(gè)很大的考驗(yàn),而云技術(shù)的產(chǎn)生對(duì)大數(shù)據(jù)量的處理和分析,提供了最有利的保障,特別是大數(shù)量的存儲(chǔ)方面。本文結(jié)合“平安城市”建設(shè)規(guī)范和要求,對(duì)“平安城市”中的云技術(shù)尤其是云存儲(chǔ)方面進(jìn)行探討。
【關(guān)鍵詞】平安城市;云技術(shù)
1.前言
隨著社會(huì)的發(fā)展和科技的進(jìn)步,原始紙質(zhì)和磁帶式單一的存取介質(zhì)已很難滿足人們大量信息數(shù)據(jù)的存取需求,特別是計(jì)算機(jī)和網(wǎng)絡(luò)的飛速發(fā)展,人們對(duì)信息數(shù)據(jù)存取要求越來(lái)越高,尤其是在安防視頻監(jiān)控系統(tǒng)中日漸突出。
“平安城市”是建立在新一代信息技術(shù)支撐下的城市形態(tài),通過(guò)信息和通信技術(shù)的應(yīng)用,提升城市的管理水平,提高市民的生活質(zhì)量,令城市運(yùn)行和市民生活更加智能。而視頻監(jiān)控系統(tǒng)的高清化,已經(jīng)成為一個(gè)不可阻擋的趨勢(shì),這對(duì)視頻監(jiān)控的大量存儲(chǔ)提出了更高的要求,因此存儲(chǔ)系統(tǒng)也會(huì)逐步趨向于穩(wěn)定性、集中化管理、分布式存儲(chǔ)的方向,未來(lái)需要高密度、高性能、更加迎合應(yīng)用、定制化強(qiáng)、易于運(yùn)維的存儲(chǔ)解決方案,云存儲(chǔ)的技術(shù)正好解決了這一難題。
云存儲(chǔ)的發(fā)展有利于推動(dòng)各種視頻監(jiān)控資源在云中融合,在安防領(lǐng)域,視頻監(jiān)控不能單獨(dú)成為一個(gè)獨(dú)立于其他安防措施的系統(tǒng),它應(yīng)當(dāng)和警務(wù)督察系統(tǒng)、110報(bào)警系統(tǒng)、道路監(jiān)控系統(tǒng)、車輛管理系統(tǒng)、人口稽查系統(tǒng)、GPS可視化系統(tǒng)等等多種安全防護(hù)系統(tǒng)聯(lián)動(dòng),最終成為一套成熟的安全防護(hù)系統(tǒng)。而這些系統(tǒng)如果真正實(shí)現(xiàn)融合,資源共享就離不開云存儲(chǔ)。
存儲(chǔ)云是視頻云節(jié)點(diǎn)中內(nèi)部運(yùn)行云存儲(chǔ)核心服務(wù),它是一套運(yùn)行可靠的分布式協(xié)調(diào)系統(tǒng),實(shí)現(xiàn)節(jié)點(diǎn)間控制、節(jié)點(diǎn)選舉、狀態(tài)偵測(cè)、分布式同步、配置維護(hù)、名字服務(wù)、群組服務(wù)、業(yè)務(wù)調(diào)度等云化集群服務(wù)。視頻云節(jié)點(diǎn)中的前端接入服務(wù)、媒體服務(wù)、管理服務(wù)等各個(gè)功能模塊能夠?qū)崿F(xiàn)視頻監(jiān)控業(yè)務(wù)SAAS云平臺(tái)。存儲(chǔ)云監(jiān)控平臺(tái)采用N+0熱互備的云化集群模式,以業(yè)界領(lǐng)先的高性能存儲(chǔ)為依托,不需要購(gòu)置額外的機(jī)器,N臺(tái)機(jī)器自己互備。
2.存儲(chǔ)云方案
采用集成視頻監(jiān)控系統(tǒng)軟件的網(wǎng)絡(luò)視頻存儲(chǔ),基于云計(jì)算技術(shù),組成網(wǎng)絡(luò)視頻云存儲(chǔ)系統(tǒng)。系統(tǒng)不需要獨(dú)立服務(wù)器,采用統(tǒng)一規(guī)格的云存儲(chǔ)單元構(gòu)建。
圖1 存儲(chǔ)云整體架構(gòu)
存儲(chǔ)云總設(shè)計(jì):
系統(tǒng)不需要獨(dú)立服務(wù)器,采用統(tǒng)一規(guī)格的云存儲(chǔ)單元構(gòu)建。其網(wǎng)絡(luò)架構(gòu)圖如圖1所示。
存儲(chǔ)云主要部署在各個(gè)派出所,每個(gè)派出所構(gòu)成存儲(chǔ)云,提供云存儲(chǔ)服務(wù)視頻云存儲(chǔ)節(jié)點(diǎn)系統(tǒng)可啟用云化集群工作模式進(jìn)行高可用保護(hù),保證單臺(tái)視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備宕機(jī)的情況下,迅速由其它視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備接管它的工作。
在啟用云化集群功能后,集群內(nèi)的視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備可以提供負(fù)載均衡服務(wù)。所有的寫壓力將會(huì)自動(dòng)的分擔(dān)到所有的視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備上。集群會(huì)定期收集各視頻云存儲(chǔ)節(jié)點(diǎn)成員的狀態(tài)和負(fù)載情況,若發(fā)現(xiàn)負(fù)載嚴(yán)重失衡時(shí),將及時(shí)進(jìn)行調(diào)整。當(dāng)新的業(yè)務(wù)到來(lái)時(shí)、故障機(jī)器上的業(yè)務(wù)轉(zhuǎn)移時(shí),存儲(chǔ)云會(huì)智能地選擇出最優(yōu)的負(fù)載分配策略,在保證每臺(tái)機(jī)器承擔(dān)的業(yè)務(wù)負(fù)載不超過(guò)其能力極限的同時(shí),盡量令各臺(tái)機(jī)器的業(yè)務(wù)壓力平均。
調(diào)度算法同時(shí)根據(jù)每臺(tái)成員的軟硬件配置,智能分配業(yè)務(wù)壓力,配置好的機(jī)器會(huì)承擔(dān)更多的業(yè)務(wù)壓力。
負(fù)載均衡技術(shù)使得各視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備的性能、設(shè)備生命、節(jié)能等指標(biāo)均達(dá)到最優(yōu)。
3.存儲(chǔ)云實(shí)現(xiàn)機(jī)制
3.1 實(shí)現(xiàn)機(jī)制總體描述
前端采集的視頻流直接存儲(chǔ)視頻入網(wǎng)絡(luò)視頻云存儲(chǔ)系統(tǒng),同時(shí)按需轉(zhuǎn)發(fā)實(shí)時(shí)視頻流到授權(quán)客戶端和電視墻系統(tǒng)。
平臺(tái)管理系統(tǒng)對(duì)網(wǎng)絡(luò)視頻云存儲(chǔ)系統(tǒng)進(jìn)行統(tǒng)一配置和管理,在派出所與分局網(wǎng)絡(luò)中斷或者管理服務(wù)器宕機(jī)的情況下網(wǎng)絡(luò)視頻存儲(chǔ)系統(tǒng)能夠獨(dú)立運(yùn)行,不影響派出所操作人員對(duì)前端視頻的實(shí)時(shí)監(jiān)控、圖像存儲(chǔ)和歷史圖像檢索回放。
網(wǎng)絡(luò)視頻云存儲(chǔ)系統(tǒng)可以通過(guò)單一窗口實(shí)現(xiàn)共同配置、維護(hù)和管理,并需提供開放的集成接口(SDK、API等),便于第三方集成軟件實(shí)現(xiàn)異構(gòu)存儲(chǔ)設(shè)備的集中運(yùn)行監(jiān)控和維護(hù)。
圖2 存儲(chǔ)云管理機(jī)制示意圖
3.2 存儲(chǔ)系統(tǒng)的管理調(diào)度
在市局部署M臺(tái)設(shè)備用于整個(gè)存儲(chǔ)云設(shè)備的管理調(diào)度。在每個(gè)派出所中,基礎(chǔ)存儲(chǔ)單元數(shù)量小于或等于N臺(tái)時(shí),設(shè)置一個(gè)主存儲(chǔ)節(jié)點(diǎn),用于對(duì)該派出所內(nèi)存儲(chǔ)設(shè)備的管理和調(diào)度,此時(shí)此臺(tái)存儲(chǔ)設(shè)備不僅能夠?qū)崿F(xiàn)管理功能還可以當(dāng)做存儲(chǔ)設(shè)備使用;當(dāng)排除所存儲(chǔ)設(shè)備數(shù)量大于N臺(tái)時(shí),如果依然讓單臺(tái)存儲(chǔ)設(shè)備既做管理又做存儲(chǔ),會(huì)使其受到影響,故需單獨(dú)增加一臺(tái)管理設(shè)備,用于專門對(duì)該派出所內(nèi)存儲(chǔ)設(shè)備的管理和調(diào)度使用。具體的圖示如圖2所示
可以將每個(gè)派出所看做一個(gè)域,在這個(gè)域內(nèi)實(shí)現(xiàn)云存儲(chǔ)。在啟用云存儲(chǔ)功能后,域內(nèi)的視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備可以提供負(fù)載均衡服務(wù)。在視頻云存儲(chǔ)節(jié)點(diǎn)內(nèi)部,多個(gè)RAID組之間,當(dāng)某個(gè)RAID組工作壓力較大時(shí),節(jié)點(diǎn)設(shè)備可分配若干數(shù)據(jù)流到另一較輕松的RAID組中,實(shí)現(xiàn)RAID組級(jí)負(fù)載均衡。負(fù)載均衡技術(shù)使得各視頻云存儲(chǔ)節(jié)點(diǎn)設(shè)備的性能、設(shè)備生命、節(jié)能等指標(biāo)均達(dá)到最優(yōu)。
當(dāng)有一路視頻圖像需要存儲(chǔ)的時(shí)候,域主節(jié)點(diǎn)會(huì)自動(dòng)對(duì)其管轄范圍內(nèi)的云存儲(chǔ)節(jié)點(diǎn)成員的狀態(tài)和負(fù)載情況進(jìn)行查看,調(diào)度到綜合負(fù)載最小的存儲(chǔ)設(shè)備上進(jìn)行存儲(chǔ),之后此路視頻都會(huì)按照這一路徑位置對(duì)視頻進(jìn)行存儲(chǔ)。
當(dāng)存儲(chǔ)設(shè)備中RAID組中磁盤損壞時(shí),熱備磁盤將啟用,并且該RAID組將利用剩下磁盤中的數(shù)據(jù)及相應(yīng)的奇偶校驗(yàn)信息將損壞的數(shù)據(jù)進(jìn)行恢復(fù)。
當(dāng)存儲(chǔ)云中其中一臺(tái)存儲(chǔ)設(shè)備不可用,云中的域主節(jié)點(diǎn)會(huì)跟根據(jù)當(dāng)前其他存儲(chǔ)設(shè)備負(fù)載情況,把前端暫時(shí)遷移到其他存儲(chǔ)設(shè)備上。等原有存儲(chǔ)設(shè)備恢復(fù)上線后,前端在回遷到原有存儲(chǔ)上。
每個(gè)派出所會(huì)設(shè)置兩個(gè)域主節(jié)點(diǎn),一主一備,當(dāng)域主節(jié)點(diǎn)出現(xiàn)故障時(shí),備份的域主節(jié)點(diǎn)會(huì)啟動(dòng)管理調(diào)度功能對(duì)本域內(nèi)的云存儲(chǔ)節(jié)點(diǎn)進(jìn)行管理。
4.總結(jié)
云存儲(chǔ)不是存儲(chǔ),而是服務(wù)就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣,云存儲(chǔ)對(duì)使用者來(lái)講,不是指某一個(gè)具體的設(shè)備,而是指一個(gè)由許許多多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲(chǔ),并不是使用某一個(gè)存儲(chǔ)設(shè)備,而是使用整個(gè)云存儲(chǔ)系統(tǒng)帶來(lái)的一種數(shù)據(jù)訪問(wèn)服務(wù),云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合,通過(guò)應(yīng)用軟件來(lái)實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變,通過(guò)對(duì)存儲(chǔ)的云化,對(duì)平安城市中大量數(shù)據(jù)的存儲(chǔ)和應(yīng)用提供了保障,云存儲(chǔ)已經(jīng)成為未來(lái)存儲(chǔ)發(fā)展的一種趨勢(shì)。