云存儲技術在公安領域的應用

文/褚蘭超

云存儲技術在公安領域的應用

文/褚蘭超

云存儲是分布式存儲技術與虛擬化技術結合的產(chǎn)物，是分布式存儲技術的最新發(fā)展。本文解析了鎮(zhèn)江公安信息化建設面臨的挑戰(zhàn)，并介紹了云存儲的含義和架構，并且和傳統(tǒng)存儲的優(yōu)缺點進行了對比分析。在視頻監(jiān)控和執(zhí)法記錄等業(yè)務中的應用，解決容量和性能擴展困難等問題。

分布式存儲 云儲存 SAN+共享軟件

某市道路監(jiān)控系統(tǒng)已接入千余路視頻、日過車圖片量達200萬，該系統(tǒng)在視頻專網(wǎng)所記錄的視頻及圖片是基于傳統(tǒng)磁盤陣列進行存儲，隨著城市規(guī)模不斷擴大和新的安全管理需要，道路監(jiān)控規(guī)模逐年增大，原有系統(tǒng)存在諸如容量和性能擴展困難等問題。同時，公安內(nèi)網(wǎng)中執(zhí)法記錄及審訊等需要大存儲空間的應用系統(tǒng)也均存在著存儲空間與性能不足，急需擴容的需求。

1 原系統(tǒng)存在問題

1.1 缺少存儲空間

視頻專網(wǎng)：道路新增擴容后每日過車量將增加到600萬。按照視頻保存1個月，圖片保存2年的要求，將現(xiàn)有所有點位接入后共需5000TB的存儲空間與54臺視頻接入服務器。而現(xiàn)有存儲空間僅928TB。

公安內(nèi)網(wǎng)：僅現(xiàn)采集的警情執(zhí)法記錄月增長量約為8TB左右，每年產(chǎn)生約100TB的執(zhí)法記錄數(shù)據(jù)。

1.2 設備單點故障問題

原有數(shù)據(jù)接收服務器無高可用設計、存儲也是由單臺磁盤陣列提供，系統(tǒng)存在很大的設備故障風險：如果數(shù)據(jù)接收服務器故障將導致整個區(qū)域數(shù)據(jù)無法接收和保存下來，ISCSI磁盤陣列故障也將導致整個區(qū)域數(shù)據(jù)無法接收和保存下來。

1.3 存儲容量和性能擴展性問題

隨著使用量規(guī)模的擴大，原有傳統(tǒng)磁盤陣列的存儲模式在性能和容量方面很難有效擴容以適應規(guī)模的增長。在大規(guī)模視頻、圖像接入和用戶高并發(fā)訪問時，由于存儲系統(tǒng)的瓶頸而導致的讀寫性能問題日益突顯出來。

2 云存儲的架構設計

鑒于現(xiàn)有系統(tǒng)對存儲系統(tǒng)的需求，同時考慮到未來的項目建設方向。方案設計采用分布式云存儲系統(tǒng)，分別在視頻專網(wǎng)和公安內(nèi)網(wǎng)部署云存儲。如圖1。

2.1 各模塊設計

2.1.1 性能設計

每一個過車記錄都會產(chǎn)生一張過車圖片數(shù)據(jù)，很快產(chǎn)生的碎小文件數(shù)可達百億級，方案采用全對稱分布式架構，無獨立元數(shù)據(jù)服務器設計，避免獨立元數(shù)據(jù)服務帶來的單點故障和性能瓶頸問題，即使大量數(shù)據(jù)存儲的情況下，仍能保持良好的存儲性能，確保在海量文件中能夠快速讀取需要的文件。

2.1.2 可靠性設計

系統(tǒng)提供M+N節(jié)點級冗余保護級別。云存儲系統(tǒng)內(nèi)置完整的故障恢復流程，消除了單點故障。集群中的硬件故障和人為誤操作都會以正常的恢復流程進行自動處理，整個流程對用戶完全透明。高可用機制保證了該系統(tǒng)能夠7×24h不間斷的提供穩(wěn)定的存儲服務。

2.1.3 遠程數(shù)據(jù)同步設計

云存儲系統(tǒng)內(nèi)置全局文件系統(tǒng)，具備跨廣域網(wǎng)的卷同步功能。全局文件系統(tǒng)負責統(tǒng)一管理分布存儲在物理上完全獨立的各個數(shù)據(jù)中心中的所有數(shù)據(jù)，智能決策數(shù)據(jù)在各個數(shù)據(jù)中心的布局以及數(shù)據(jù)在數(shù)據(jù)中心之間的自動遷移，充分發(fā)揮由各個數(shù)據(jù)中心構成的整體平臺架構的服務能力。

全局文件系統(tǒng)的基本目標有兩個：

（1）為在分布式環(huán)境下的應用提供簡單的訪問環(huán)境，本套系統(tǒng)完全可以采用本地訪問的模式使得應用在分布式環(huán)境下高效運行。

（2）為高效的存儲提供智能化的存儲及管理支撐，通過全局文件系統(tǒng)的功能可實現(xiàn)跨地域的統(tǒng)一管理，滿足業(yè)務未來對存儲系統(tǒng)的要求。

2.1.4 擴展性設計

圖1：方案設計圖

圖2：整合后用戶應用的示意圖

存儲系統(tǒng)具有彈性能力，意味著可以根據(jù)業(yè)務需要靈活地增加或縮減數(shù)據(jù)存儲以及增刪存儲池中的資源?？紤]到系統(tǒng)未來系統(tǒng)的擴容，服務器及存儲硬件擴容要求不受品牌鎖定和限制，連接存儲的服務器客戶端要求沒有數(shù)量限制。

2.1.5 整合利舊性設計

云存儲管理平臺采用掛載IP-SANFCSANNAS等其它存儲空間的方式，整合IPSANFC-SANNAS等原有存儲資源，實現(xiàn)舊有設備的再次利用以及存儲資源的池化，進而實現(xiàn)對存儲資源統(tǒng)一管理、統(tǒng)一規(guī)劃、統(tǒng)一分配和資源共享。云存儲整合磁盤陣列存儲示意圖如下：原陣列存儲的卷空間分別分配到云存儲的各個節(jié)點上，實現(xiàn)負載的均衡。

整合后用戶應用的示意圖如圖2。

3 和傳統(tǒng)存儲架構的對比分析

傳統(tǒng)存儲架構主要包括直連存儲(DAS)、存儲區(qū)域網(wǎng)絡(SAN)、網(wǎng)絡附加存儲(NAS)以及在他們基礎上衍生的一些新技術。存儲架構最根本的區(qū)別在于：存儲格式，如塊數(shù)據(jù)或文件；存儲與應用之間的控制流和數(shù)據(jù)流方式。存儲格式定義了訪問方式，以及訪問共享數(shù)據(jù)時的機制、同步和安全。控制/數(shù)據(jù)流方式則定義了為帶寬準備的并發(fā)機制。存儲架構不同最終決定了存儲系統(tǒng)的性能和擴展性。

3.1 SAN+共享軟件捆綁NAS功能

SAN+共享軟件的實現(xiàn)方式。該架構將集群分為計算節(jié)點和I/O節(jié)點。I/O節(jié)點作為一個整體通過IP網(wǎng)絡為所有計算節(jié)點提供數(shù)據(jù)存儲服務，I/O節(jié)點之間采用節(jié)點間共享的SAN存儲，因此需要配置SAN共享的軟件。

采用SAN+共享軟件的實現(xiàn)方式，雖然可以滿足聚合存儲帶寬的目的，但是不能滿足公安行業(yè)應用系統(tǒng)對高擴展性、高安全性的要求。

3.2 通用NAS解決方案

通用NAS存儲實現(xiàn)方式。該架構實現(xiàn)比較簡單，部署1臺或多臺NAS磁盤陣列，作為文件服務器，連接至LAN以太網(wǎng)，供前端服務器共享訪問。此方式雖然可以滿足管理簡便，易于使用的目的，但由于此架構的限制只能做到RAID級別冗余，不能滿足公安行業(yè)對高可靠性、高安全性、高性能的要求。因此，此種方案同樣也不適合本項目建設需要。

4 云存儲解決方案的價值

云存儲系統(tǒng)主要優(yōu)勢是高速，即聚合所有硬盤及網(wǎng)絡帶寬，提供存儲服務。還有就是安全，可實現(xiàn)節(jié)點級安全；除此之外，結合項目情況與云存儲系統(tǒng)特點，本方案的價值如下：

4.1 海量文件高速讀寫檢索

云存儲系統(tǒng)可支持EB級存儲空間，高效的管理上百億個文件，單目錄可以高效支持千萬級的文件數(shù)量。

4.2 擴展性價值

采用基于橫向擴展機制設計的的分布式云存儲系統(tǒng)，可擴大容量；同時，存儲系統(tǒng)處理性能呈線性增長，也可實現(xiàn)在不影響前端業(yè)務應用的情況，進行無縫的擴容。

4.3 對整套方案架構的價值

實現(xiàn)存儲層數(shù)據(jù)同步，減少網(wǎng)絡中數(shù)據(jù)流占用的帶寬及應用主機過多的處理數(shù)據(jù)交換問題，有效地提高網(wǎng)絡及應用主機的使用效率，為緊急事件爭取了寶貴的時間。

4.4 長遠角度分析對老舊設備進行整合的價值

基于云存儲技術可實現(xiàn)對老舊設備的整合，保護原有投資，提高資源利用率。

5 結論

面對海量數(shù)據(jù)的增長，企業(yè)如何提供足夠的空間去存儲數(shù)據(jù)？對于資源有限的單位或企業(yè)來說，云存儲是一個很好的解決方案。云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。云存儲系統(tǒng)將多種存儲設備、多應用、多服務協(xié)調(diào)工作，不同存儲設備之間通過集群技術、分布式文件系統(tǒng)等，實現(xiàn)多個存儲設備之間的協(xié)調(diào)工作，對外提供同一種數(shù)據(jù)訪問服務，并提供更大更好的海量數(shù)據(jù)訪問性能，提高數(shù)據(jù)的安全性，整合現(xiàn)有計算和存儲資源，降低數(shù)據(jù)的管理成本，滿足未來的彈性部署擴展。

作者單位 鎮(zhèn)江市公安局 江蘇省鎮(zhèn)江市 212000

褚蘭超（1980-），男，江蘇省鎮(zhèn)江市人。大學本科學歷。研究方向為計算機。