云存儲(chǔ)融合技術(shù)在安防領(lǐng)域的應(yīng)用研究

■ 文/ 湖北省公安廳 駱斌

云存儲(chǔ)融合技術(shù)在安防領(lǐng)域的應(yīng)用研究

■ 文/ 湖北省公安廳 駱斌

當(dāng)前信息化機(jī)房設(shè)備都存在大量的老舊存儲(chǔ)設(shè)備，包括塊存儲(chǔ)設(shè)備IP-SAN、FC-SAN，文件存儲(chǔ)NAS， 這些設(shè)備在整個(gè)信息化建設(shè)過程中，型號(hào)不一、廠家不一,而新業(yè)務(wù)系統(tǒng)又需要更多存儲(chǔ)容量。本文提出了一種分布式云存儲(chǔ)技術(shù)，針對(duì)老舊存儲(chǔ)設(shè)備需統(tǒng)一管理、安防領(lǐng)域?qū)Υ鎯?chǔ)不斷擴(kuò)容的需求而設(shè)計(jì)的融合存儲(chǔ)解決方案。該系統(tǒng)本身是一個(gè)分布式云存儲(chǔ)系統(tǒng)，具有云存儲(chǔ)大容量、易擴(kuò)展、高IO、高并發(fā)的特點(diǎn)，同時(shí)可以支持IP-SAN、FC-SAN、NAS設(shè)備的無縫接入和管理，能夠?qū)υ拼鎯?chǔ)內(nèi)節(jié)點(diǎn)和接入的設(shè)備進(jìn)行負(fù)載均衡、監(jiān)控告警、冗余容錯(cuò)等，符合解決安防領(lǐng)域存儲(chǔ)管理和長期的擴(kuò)容需求。

云存儲(chǔ) 分布式存儲(chǔ) 異構(gòu)存儲(chǔ) 融合云存儲(chǔ)

1 引言

隨著信息化的發(fā)展，眾多安防領(lǐng)域都在同時(shí)使用DAS、SAN和NAS三種存儲(chǔ)，隨著時(shí)間的推移和數(shù)據(jù)的積累，原有系統(tǒng)的存儲(chǔ)空間不斷擴(kuò)容，新增加的業(yè)務(wù)也在使用各種新建的存儲(chǔ)系統(tǒng)，使得整個(gè)安防領(lǐng)域的建設(shè)存在大量而且型號(hào)不一的存儲(chǔ)系統(tǒng)。

隨著大數(shù)據(jù)的發(fā)展，原有存儲(chǔ)系統(tǒng)的容量擴(kuò)容很快就達(dá)到上限，無法再進(jìn)行單體的擴(kuò)容；伴隨數(shù)據(jù)量的增長，業(yè)務(wù)軟件也對(duì)存儲(chǔ)容量及IO性能提出新的要求，面對(duì)大數(shù)據(jù)時(shí)代，如何提供一套可持續(xù)解決容量和性能的存儲(chǔ)產(chǎn)品是安防領(lǐng)域建設(shè)的迫切需求。

過去的建設(shè)往往使用的是新技術(shù)產(chǎn)品直接替換老的產(chǎn)品，導(dǎo)致大量的原有資產(chǎn)浪費(fèi)和閑置，因此如何將老舊設(shè)備兼容起來，進(jìn)行保質(zhì)增值服務(wù)，同時(shí)利用云存儲(chǔ)的優(yōu)勢，對(duì)數(shù)據(jù)可靠性、安全性進(jìn)行提升是本文研究的重點(diǎn)。

2 當(dāng)前存儲(chǔ)類型

常見的安防領(lǐng)域的存儲(chǔ)設(shè)備，根據(jù)其實(shí)現(xiàn)方式主要?jiǎng)澐譃镈AS、SAN和NAS三種，分別針對(duì)不同的應(yīng)用環(huán)境，提供了不同解決方案。

2.1 直接附加存儲(chǔ)（DAS）

DAS（Direct Attach Storage）：是直接連接于主機(jī)服務(wù)器的一種儲(chǔ)存方式，每一臺(tái)主機(jī)服務(wù)器有獨(dú)立的儲(chǔ)存設(shè)備，每臺(tái)主機(jī)服務(wù)器的儲(chǔ)存設(shè)備無法互通，需要跨主機(jī)存取資料時(shí)，必須經(jīng)過相對(duì)復(fù)雜的設(shè)定，若主機(jī)服務(wù)器分屬不同的操作系統(tǒng)，要存取彼此的資料，更是復(fù)雜，有些系統(tǒng)甚至不能存取。通常用在單一網(wǎng)絡(luò)環(huán)境下且數(shù)據(jù)交換量不大，性能要求不高的環(huán)境下，可以說是一種應(yīng)用較為早的技術(shù)實(shí)現(xiàn)。

2.2 存儲(chǔ)局域網(wǎng)（SAN）

SAN（Storage Area Network）：是一種用高速網(wǎng)絡(luò)聯(lián)接專業(yè)主機(jī)服務(wù)器的一種塊儲(chǔ)存方式，此系統(tǒng)會(huì)位于主機(jī)群的后端，它使用高速I/O 聯(lián)結(jié)方式，有FC-SAN和IP-SAN兩種。在安防領(lǐng)域?qū)嶋H使用中，IP-SAN使用較多，多通過RIAD5保障數(shù)據(jù)冗余，損壞超過一塊硬盤，數(shù)據(jù)就會(huì)丟失，后期維護(hù)對(duì)磁盤型號(hào)要求也高。

2.3 網(wǎng)絡(luò)附加存儲(chǔ)（NAS）

NAS（Network Attached Storage）：是一套網(wǎng)絡(luò)儲(chǔ)存設(shè)備，通常是直接連在網(wǎng)絡(luò)上并提供資料存取服務(wù)，一套 NAS 儲(chǔ)存設(shè)備就如同一個(gè)提供數(shù)據(jù)文件服務(wù)的系統(tǒng)，特點(diǎn)是性價(jià)比高。

2.4 存儲(chǔ)網(wǎng)關(guān)

為了解決大量IP-SAN維護(hù)和使用困難的問題，出現(xiàn)了存儲(chǔ)網(wǎng)關(guān)技術(shù)，客戶端通過網(wǎng)關(guān)與后端存儲(chǔ)連接，網(wǎng)關(guān)提供存儲(chǔ)的接入、分配、管理和維護(hù)功能，簡化了大量不同廠家存儲(chǔ)共存管理和維護(hù)的問題，但是不能降低存儲(chǔ)本身故障對(duì)業(yè)務(wù)的影響，無法提升整個(gè)系統(tǒng)的穩(wěn)定性。

3 云存儲(chǔ)

隨著大數(shù)據(jù)時(shí)代的到來，為了解決日益增長的存儲(chǔ)擴(kuò)容需求，云存儲(chǔ)孕育而生。云存儲(chǔ)是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)，所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。與云計(jì)算系統(tǒng)相比，云存儲(chǔ)可以認(rèn)為是配置了大容量存儲(chǔ)空間的一個(gè)云計(jì)算系統(tǒng)。

4 融合云存儲(chǔ)系統(tǒng)

針對(duì)安防領(lǐng)域存在多種老舊存儲(chǔ)設(shè)備和日益擴(kuò)展的存儲(chǔ)需求，設(shè)計(jì)一套既實(shí)現(xiàn)云存儲(chǔ)特性的大規(guī)模存儲(chǔ)系統(tǒng)，又能夠兼容現(xiàn)有的老舊存儲(chǔ)設(shè)備的融合云存儲(chǔ)系統(tǒng)，徹底的整合存儲(chǔ)資源，將整個(gè)中心的存儲(chǔ)進(jìn)行統(tǒng)一管理和池化，實(shí)現(xiàn)異構(gòu)環(huán)境下存儲(chǔ)的統(tǒng)一，通過分布式集群并發(fā)的方式，提供高并發(fā)和高吞吐量的統(tǒng)一存儲(chǔ)系統(tǒng)具有很強(qiáng)的現(xiàn)實(shí)意義。整個(gè)融合過程要求較高，不能存在數(shù)據(jù)丟失，系統(tǒng)架構(gòu)如圖2。

融合云存儲(chǔ)是以分布式存儲(chǔ)技術(shù)和標(biāo)準(zhǔn)的DAS、SAN、NAS訪問接口協(xié)議為基礎(chǔ)技術(shù)，將集群中的存儲(chǔ)資源通過存儲(chǔ)虛擬化，加上分布式管理軟件而形成的一個(gè)存儲(chǔ)集群。通過對(duì)集群中的存儲(chǔ)單元進(jìn)行存儲(chǔ)空間的虛擬化，通過集群軟件實(shí)現(xiàn)對(duì)用戶層的存儲(chǔ)歸一化。這里把這個(gè)系統(tǒng)也稱為統(tǒng)一網(wǎng)絡(luò)存儲(chǔ)（UNS：Union Network Storeage）。

4.1 UNS總體結(jié)構(gòu)

整個(gè)UNS 是用基于IP 的技術(shù)構(gòu)建，兼容現(xiàn)有的SAN/NAS/DAS存儲(chǔ)系統(tǒng)，系統(tǒng)可添加和刪除這些存儲(chǔ)設(shè)備，對(duì)接入設(shè)備可進(jìn)行使用和故障告警。UNS真正實(shí)現(xiàn)了安防領(lǐng)域存儲(chǔ)管理和使用的統(tǒng)一，即通過本系統(tǒng)，既可以提供業(yè)務(wù)系統(tǒng)所需要的塊存，也可以提供文件存儲(chǔ)，實(shí)現(xiàn)了文件I/ O 和塊I/O 的統(tǒng)一。管理者可以根據(jù)業(yè)務(wù)系統(tǒng)和整個(gè)容量池的情況，進(jìn)行任意的調(diào)配，而不需要去為某一個(gè)業(yè)務(wù)系統(tǒng)增加一個(gè)新的存儲(chǔ)設(shè)備，在后續(xù)的所有擴(kuò)容都將以云的方式進(jìn)行。

圖3是UNS 的軟件結(jié)構(gòu)圖，其中MPFS 是全局多協(xié)

議文件系統(tǒng)，位于UNS 系統(tǒng)中的各個(gè)應(yīng)用服務(wù)器上，它支持linux 用戶和Windows 用戶對(duì)UNS 的訪問， 塊存儲(chǔ)訪問通過ISCSI標(biāo)準(zhǔn)協(xié)議訪問。MPFS 通過對(duì)云存儲(chǔ)系統(tǒng)和老舊存儲(chǔ)系統(tǒng)所使用的元數(shù)據(jù)進(jìn)行擴(kuò)展，為用戶提供統(tǒng)一、方便、快捷的存儲(chǔ)訪問接口以及合理的數(shù)據(jù)存儲(chǔ)方案。

4.2 系統(tǒng)設(shè)計(jì)

UNS 是一個(gè)復(fù)雜的系統(tǒng)，涉及到許多復(fù)雜的技術(shù)，本文主要論述其核心技術(shù)的設(shè)計(jì)和實(shí)現(xiàn)，即MPFS、MDS 和 iSCSI 模塊的設(shè)計(jì)與實(shí)現(xiàn)。 MPFS 可以駐留在多種操作系統(tǒng)平臺(tái)上（UNIX、Windows、Linux），支持各種協(xié)議用戶的訪問（NFS、CIFS等），作為整個(gè)存儲(chǔ)的客戶端為用戶或應(yīng)用程序提供對(duì)存儲(chǔ)系統(tǒng)的數(shù)據(jù)訪問服務(wù)，只需要安裝該模塊，即可訪問整個(gè)存儲(chǔ)系統(tǒng)的所有文件和目錄。 MDS將多種存儲(chǔ)中的元數(shù)據(jù)信息整合，將文件的元數(shù)據(jù)統(tǒng)一映射到內(nèi)存中，每個(gè)文件除了具有大小、修改時(shí)間等通用屬性之外，擴(kuò)展屬性中攜帶IP信息，以便確定文件的實(shí)際數(shù)據(jù)寫入機(jī)器為止，用戶通過客戶端訪問存儲(chǔ)時(shí)，MDS可以識(shí)別該文件的屬性和目錄信息，并能確定文件的數(shù)據(jù)被寫到那個(gè)存儲(chǔ)設(shè)備中，滿足多方面的應(yīng)用需求。iSCSI模塊實(shí)現(xiàn)了塊I/ O在IP 網(wǎng)絡(luò)上的統(tǒng)一，為用戶提供網(wǎng)絡(luò)化的塊存儲(chǔ)設(shè)備。

4.2.1 多協(xié)議文件模塊的設(shè)計(jì)

MPFS 保留了分布式文件系統(tǒng)的靈活性和高性能的優(yōu)點(diǎn)，克服了其在不同I/O 協(xié)議支持方面的缺陷。MPFS 在提供文件存取的方法和文件目錄結(jié)構(gòu)的同時(shí)，還為每種存儲(chǔ)卷提供特定的存儲(chǔ)模式。每種存儲(chǔ)模式包含某種文件系統(tǒng)的元數(shù)據(jù)結(jié)構(gòu)、操作接口（文件類型和數(shù)據(jù)塊類型）、功能函數(shù)集（格式化，檢索等）、優(yōu)化方法（cache方法和預(yù)取等） 和存儲(chǔ)空間分配回收方法及數(shù)據(jù)結(jié)構(gòu)。對(duì)于文件卷而言，存儲(chǔ)模式包含實(shí)現(xiàn)POSIX語義的操作函數(shù)和文件目錄結(jié)構(gòu)；對(duì)于分區(qū)卷而言，存儲(chǔ)模式必須面向特定分區(qū)類型，如NTFS、ext3。所有的存儲(chǔ)模式都必須在元數(shù)據(jù)服務(wù)器中的MDS 系統(tǒng)中注冊，以便MDS為用戶的I/O 請求進(jìn)行通道選擇。

MPFS的結(jié)構(gòu)如圖4所示。MPFS數(shù)據(jù)組織邏輯界面提供數(shù)據(jù)組織的邏輯視圖，在增加元數(shù)據(jù)信息的前提下，通過查詢和檢索，按照用戶需要提供各種類型文件視圖。擴(kuò)展的文件或卷操作接口、數(shù)據(jù)組織與分配管理、元數(shù)據(jù)組織結(jié)構(gòu)和I/O 定向器等主要是保證與傳統(tǒng)的文件系統(tǒng)操作語義兼容，實(shí)現(xiàn)程序級(jí)的數(shù)據(jù)訪問。應(yīng)用程序無需修改就可以使用UNS 系統(tǒng)中的數(shù)據(jù)。提供與元數(shù)據(jù)服務(wù)器中的MDS及存儲(chǔ)資源的接口和通訊，能充分利用MDS系統(tǒng)所掌握的存儲(chǔ)資源，同時(shí)提供服務(wù)器通道和附網(wǎng)高速通道。

4.2.2 iSCSI模塊設(shè)計(jì)

iSCSI 協(xié)議定義的是SCSI 到TCP/IP 的映射，即將主機(jī)的SCSI 命令封裝成IP 數(shù)據(jù)包，在IP 網(wǎng)絡(luò)上傳輸，到達(dá)目的節(jié)點(diǎn)后，再恢復(fù)成封裝前的SCSI 命令，從而實(shí)現(xiàn)SCSI 命令在IP 網(wǎng)絡(luò)上的直接、透明傳輸。有很多的開源技術(shù)可以作為實(shí)現(xiàn)選擇。

4.2.3 MDS模塊設(shè)計(jì)

自主存儲(chǔ)代理MDS（MateData Server）作為存儲(chǔ)用戶與存儲(chǔ)介質(zhì)的媒介，一端管理海量存儲(chǔ)系統(tǒng)中存儲(chǔ)設(shè)備的種類和可利用的各種資源，自主地對(duì)這些存儲(chǔ)設(shè)備和資源進(jìn)行有效的統(tǒng)一管理，MDS的另一端面對(duì)應(yīng)用程序（MPFS）發(fā)起的各種訪問請求。

MDS通過對(duì)目前存儲(chǔ)系統(tǒng)所使用的元數(shù)據(jù)進(jìn)行擴(kuò)展，為用戶提供統(tǒng)一、方便、快捷的存儲(chǔ)訪問接口以及合理的數(shù)據(jù)存儲(chǔ)方案；根據(jù)用戶I/O請求所涉及數(shù)據(jù)的屬性，選擇客戶端與存儲(chǔ)設(shè)備交互數(shù)據(jù)的通道，即元數(shù)據(jù)（目錄、卷信息等） 和小數(shù)據(jù)I/O請求。MDS系統(tǒng)結(jié)構(gòu)如圖5 所示。

5 結(jié)語

本文總結(jié)了近幾年云存儲(chǔ)領(lǐng)域的主要技術(shù)研究成果，深入討論了網(wǎng)絡(luò)環(huán)境下iSCSI、NAS、SAN以及云存儲(chǔ)的異構(gòu)存儲(chǔ)融合，解決了安防領(lǐng)域多種存儲(chǔ)系統(tǒng)無法互通的弊病。新型的云存儲(chǔ)技術(shù)不能只提供新存儲(chǔ)的特性，在實(shí)際應(yīng)用中還要考慮已有的投資和環(huán)境，融合云存儲(chǔ)得以兼顧先前的異構(gòu)存儲(chǔ)系統(tǒng)，在使用中將原有異構(gòu)存儲(chǔ)成為一個(gè)整體存儲(chǔ)資源池。本文提出的方案最大化利用了原有設(shè)備，節(jié)省了機(jī)房建設(shè)成本和社會(huì)資源。

[1]王珊,王會(huì)舉,覃雄派等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào),2011, 34(10)：1741-1752.

[2]匡勝徽,李勃.云計(jì)算體系結(jié)構(gòu)及應(yīng)用實(shí)例分析[J].計(jì)算機(jī)與數(shù)字工程,2010, 38(3)：60-63.

[3]文武,劉敏,譚沅軍等.一種安防監(jiān)控系統(tǒng)云存儲(chǔ)服務(wù)器的設(shè)計(jì)[J].微電子學(xué)與計(jì)算機(jī), 2014(9)：122-125.

[4]邱旭華.淺談云存儲(chǔ)技術(shù)在公安領(lǐng)域的應(yīng)用[J].中國安防,2013(8)：37-43.

[5]任柯.大數(shù)據(jù)云存儲(chǔ)的技術(shù)優(yōu)化的仿真分析[J].計(jì)算機(jī)仿真,2016,33(5)：385-388.