基于城軌云的地鐵視頻存儲系統(tǒng)設(shè)計與應(yīng)用

陳瑞軍,王曉東

(呼和浩特市城市軌道交通建設(shè)管理有限責(zé)任公司，內(nèi)蒙古自治區(qū) 呼和浩特 010000)

0 引言

傳統(tǒng)的視頻存儲方案主要以IP-SAN、CVR等常規(guī)的網(wǎng)絡(luò)存儲方式為主，但隨著《中華人民共和國反恐怖主義法》的執(zhí)行，地鐵視頻監(jiān)控存儲90天已經(jīng)成為強(qiáng)需求。常規(guī)存儲方案的缺點有：前端相機(jī)與后端存儲強(qiáng)關(guān)聯(lián)，存儲難以負(fù)載分擔(dān)，存儲設(shè)備工作強(qiáng)度不一；后端存儲只可采用“機(jī)頭+擴(kuò)展柜”形式作縱向擴(kuò)展，造成容量增大而性能下降的窘境；存儲設(shè)備相互獨立，設(shè)備管理需要逐一進(jìn)行，存儲規(guī)模龐大造成運維壓力巨大；傳統(tǒng)的RAID5數(shù)據(jù)冗余方案只能提供硬盤級保護(hù)，會造成不可控的數(shù)據(jù)丟失風(fēng)險。

基于云計算、大數(shù)據(jù)等發(fā)展而來的云存儲技術(shù)，在集群管理、容量擴(kuò)展、統(tǒng)一運維、數(shù)據(jù)冗余等方面，相對常規(guī)存儲有了質(zhì)的提升，能夠充分滿足線網(wǎng)級視頻存儲需求。呼和浩特市地鐵1號線、2號線在建設(shè)過程中，經(jīng)過專家多輪論證和上線前的有效測試評估，最終確定視頻監(jiān)控采用云存儲模式。

1 視頻存儲系統(tǒng)設(shè)計方案及優(yōu)勢

在設(shè)計呼和浩特市地鐵1號線、2號線城軌云之初，針對視頻云存儲的設(shè)計方案就頗具爭議。經(jīng)過專家多輪論證和上線前的有效測試評估，該市地鐵采用視頻云存儲的技術(shù)設(shè)計方案，即：前端攝像機(jī)產(chǎn)生的視頻流可直接存儲到視頻云存儲系統(tǒng)，不需要虛擬機(jī)參與封裝及轉(zhuǎn)發(fā)；同時，搭建統(tǒng)一的視頻平臺，通過云中心統(tǒng)一實現(xiàn)云存儲管理、錄像調(diào)取等應(yīng)用功能。

云存儲相對常規(guī)存儲的優(yōu)勢如圖1所示。

圖1 云存儲相對常規(guī)存儲的優(yōu)勢

1.1 視頻云存儲系統(tǒng)

視頻云存儲系統(tǒng)是針對安防視頻監(jiān)控場景定制開發(fā)的一種專用云存儲系統(tǒng)，天然適配視頻、圖片類等非結(jié)構(gòu)化數(shù)據(jù)，通過獨特的流式數(shù)據(jù)結(jié)構(gòu)設(shè)計，在存儲效率和性能上遠(yuǎn)超文件云存儲系統(tǒng)。視頻云存儲系統(tǒng)采用視頻流直存模式，前端視頻流、圖片流在云存儲系統(tǒng)內(nèi)直接存盤，無需任何協(xié)議轉(zhuǎn)換，符合GB/T 28181—2016要求。該系統(tǒng)在增強(qiáng)系統(tǒng)可靠性的同時，可大幅降低項目成本。視頻云存儲[1-5]系統(tǒng)依據(jù)非結(jié)構(gòu)化數(shù)據(jù)存儲特點進(jìn)行設(shè)計，無需邏輯卷，因此在虛擬化空間上沒有任何限制，可平滑擴(kuò)展容量。

視頻云存儲系統(tǒng)針對安防業(yè)務(wù)定制開發(fā)，在滿足傳統(tǒng)視頻業(yè)務(wù)的同時，也可滿足公安新業(yè)務(wù)的應(yīng)用要求。高并發(fā)低延時的即存即取，結(jié)合定向小I/O圖片優(yōu)化應(yīng)用，適應(yīng)公安部門中長期建設(shè)需求。

1.2 與文件云存儲相比的優(yōu)勢

文件云存儲系統(tǒng)采用數(shù)據(jù)中心通用集群網(wǎng)絡(luò)存儲設(shè)備(network attached storage,NAS)云存儲方式，系統(tǒng)邏輯架構(gòu)采用虛擬機(jī)掛載卷。視頻云存儲先通過虛擬機(jī)進(jìn)行封裝再轉(zhuǎn)發(fā)到云存儲，然后將封裝后的數(shù)據(jù)離散化，以文件帶的形式分布在各個卷內(nèi)。

從存儲效率上講，傳統(tǒng)文件云存儲系統(tǒng)仍按結(jié)構(gòu)化數(shù)據(jù)方式，對視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲，存儲效率難以滿足線網(wǎng)級海量前端存儲要求，且文件存儲模式極易產(chǎn)生文件碎片，長時間運行后存儲性能下降明顯。

從項目成本上講，文件云存儲系統(tǒng)需要增加大量流媒體服務(wù)器，以完成視頻流、圖片流向文件格式的轉(zhuǎn)換。因此，流媒體服務(wù)器極易成為系統(tǒng)瓶頸，會大幅提高項目成本。

從虛擬化能力上講，文件云存儲的虛擬化基礎(chǔ)依然難以擺脫邏輯卷的束縛，大容量邏輯卷穩(wěn)定性存在一定的缺陷，嚴(yán)重情況下可能導(dǎo)致視頻數(shù)據(jù)丟失。

從安防行業(yè)的應(yīng)用來看，文件云存儲無行業(yè)特色，對公安部門人臉識別等新業(yè)務(wù)的支撐力較弱，較多的中間環(huán)節(jié)致使系統(tǒng)反應(yīng)遲鈍，無法實現(xiàn)人臉圖片的即存即取，不利于現(xiàn)有業(yè)務(wù)以及后續(xù)拓展應(yīng)用的實現(xiàn)[6-7]。

綜上所述，視頻云存儲系統(tǒng)作為行業(yè)專屬定制化產(chǎn)品，相比文件云存儲系統(tǒng)優(yōu)勢明顯。

2 視頻存儲系統(tǒng)云服務(wù)模式

呼和浩特市1號線、2號線城軌云是全國城市軌道交通系統(tǒng)中第一個全面上云的項目，其運用模式、運維方式都在摸索探討中創(chuàng)新。按照常規(guī)的建設(shè)方案，地鐵需要在控制中心或車輛段擴(kuò)建機(jī)房，組建運維團(tuán)隊，滿足視頻云存儲系統(tǒng)運行和維護(hù)要求。這種方案實施起來有一定的難度：云存儲設(shè)備對運行環(huán)境要求嚴(yán)格，現(xiàn)有機(jī)房難以滿足高規(guī)格的應(yīng)用需求；視頻云存儲占用機(jī)房空間大，雖然當(dāng)前建設(shè)僅以1號線、2號線為主，但是需要充分考慮后續(xù)線路擴(kuò)容的要求，規(guī)劃較大的機(jī)房空間，勢必造成資源長期閑置；云存儲設(shè)備需要專業(yè)維護(hù)，現(xiàn)有運維團(tuán)隊壓力較大。

考慮到上述因素，選擇了購買服務(wù)的建設(shè)模式。視頻云存儲設(shè)備由運營商負(fù)責(zé)采購、安裝、調(diào)試及運維。這種建設(shè)模式與呼和浩特市實際情況相匹配：從建設(shè)成本看，內(nèi)蒙古自治區(qū)能源豐富，運營商作為用電大戶，電力使用成本更低，良好的機(jī)房網(wǎng)絡(luò)資源及環(huán)境能夠滿足云存儲嚴(yán)苛的使用要求；從擴(kuò)容層面看，運營商機(jī)房可以滿足即用即擴(kuò)的要求，接入后續(xù)線路毫無壓力；從運維層面看，運營商能夠提供專業(yè)的運維團(tuán)隊，保證云存儲更加安全、穩(wěn)定地運行。

視頻云存儲購買服務(wù)模式優(yōu)勢如下。

①建設(shè)更加節(jié)約、高效。充分利用運營商高標(biāo)準(zhǔn)機(jī)房資源、網(wǎng)絡(luò)資源、供電資源，可滿足云存儲設(shè)備嚴(yán)苛的環(huán)境要求。

②擴(kuò)容更加迅速、簡單。依托運營商機(jī)身充足的機(jī)柜空間，按需進(jìn)行項目擴(kuò)容，可適配任意時間、任意規(guī)模的擴(kuò)容需求。

③運維更加便利、安全。有效利用運營商專業(yè)運維團(tuán)隊，可保證云存儲系統(tǒng)的穩(wěn)定、安全運行。

3 視頻存儲系統(tǒng)特點

3.1 設(shè)備級數(shù)據(jù)保護(hù)

呼和浩特市地鐵云存儲系統(tǒng)通過分布式糾刪碼(erasure code,EC)算法構(gòu)建基礎(chǔ)的數(shù)據(jù)保障機(jī)制，提供N+M高可靠數(shù)據(jù)保障能力，目前可支持到N+4的高級別保障。在N+M數(shù)據(jù)保障機(jī)制設(shè)計中，一份數(shù)據(jù)被寫入時可按照一定大小劃分為N個數(shù)據(jù)塊，并以N個數(shù)據(jù)塊為基礎(chǔ)計算出M個校驗塊。以(N+M)個塊為一組基礎(chǔ)存儲單元，稱之為條帶。條帶中塊數(shù)據(jù)故障和缺失只要不超過M個，都可以依據(jù)算法將丟失的數(shù)據(jù)塊恢復(fù)出來，以此提供數(shù)據(jù)的可靠性保障。通過這種模式，視頻云存儲系統(tǒng)就可以實現(xiàn)設(shè)備級的數(shù)據(jù)保護(hù)。即使整機(jī)出現(xiàn)故障，也可以通過數(shù)據(jù)重構(gòu)的方式實現(xiàn)數(shù)據(jù)的恢復(fù)，不會造成數(shù)據(jù)丟失。呼和浩特市地鐵架構(gòu)如圖2所示。

圖2 呼和浩特市地鐵架構(gòu)示意圖

3.2 存儲空間的高效管理

在存儲空間的管理方面，視頻云存儲系統(tǒng)將全域各存儲節(jié)點的資源進(jìn)行虛擬化后，向用戶呈現(xiàn)一個持續(xù)的、超大規(guī)模的數(shù)據(jù)資源池，稱之為存儲資源池。存儲資源池的整合過程完全透明，由系統(tǒng)算法自行完成，將用戶從繁瑣的空間管理和配置中解脫出來，提高了管理效率。視頻云存儲系統(tǒng)支持存儲空間的動態(tài)擴(kuò)大或縮小，可以平滑擴(kuò)容接入后續(xù)線路，不會對現(xiàn)有業(yè)務(wù)造成任何影響。

3.3 直存技術(shù)

常規(guī)存儲方案在應(yīng)用于視頻、圖片業(yè)務(wù)時，僅提供容量空間而無業(yè)務(wù)流程的優(yōu)化功能，存儲路徑需經(jīng)過多個設(shè)備環(huán)節(jié)而增加故障發(fā)生概率，導(dǎo)致成本整體上升。呼和浩特市地鐵云存儲系統(tǒng)將安防應(yīng)用與存儲技術(shù)相結(jié)合，前端視頻和圖片數(shù)據(jù)可以直接寫入云存儲中的存儲節(jié)點，在縮短數(shù)據(jù)存儲路徑、提升數(shù)據(jù)存儲性能的同時，還節(jié)省了大量服務(wù)器投資。

3.4 兩級存儲

傳統(tǒng)地鐵項目中，存儲設(shè)備按照本地視頻本地存儲的模式來進(jìn)行方案設(shè)計。雖然有部分項目采用設(shè)備間備份技術(shù)，但在異常情況下，數(shù)據(jù)不可查、不可用的問題仍然明顯。呼和浩特地鐵云存儲在國內(nèi)首次采用站點7天短時存儲和中心90天全時存儲的雙錄模式，站點和中心視頻數(shù)據(jù)保持實時一致，即使在異常情況下也可正常進(jìn)行數(shù)據(jù)訪問。在出現(xiàn)大面積磁盤損壞或者設(shè)備故障時，數(shù)據(jù)重構(gòu)具備四級恢復(fù)模式，時刻保證業(yè)務(wù)應(yīng)用無異常[8]。

4 結(jié)論

本文針對當(dāng)前地鐵視頻系統(tǒng)中常用的IP-SAN、CVR等存儲方式存在的問題進(jìn)行分析，創(chuàng)新性地設(shè)計了基于城軌云的視頻存儲方案。通過糾刪碼(EC)、資源虛擬化、直存技術(shù)、分級存儲等方式，有效地解決了傳統(tǒng)方案中視頻存儲負(fù)載難以分擔(dān)、容量難以擴(kuò)展的難題。經(jīng)過呼市地鐵1號線、2號線的應(yīng)用實踐驗證，基于城軌云的地鐵視頻存儲系統(tǒng)運行穩(wěn)定，有效保障了地鐵的正常運營，可為其他城市地鐵視頻系統(tǒng)建設(shè)提供參考。