面向監(jiān)控系統(tǒng)的大數(shù)據(jù)云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

孫林林

摘要： 隨著海南自由貿(mào)易港的建立，洋浦港在“面向東南亞的航運(yùn)樞紐港、石油化工、漿紙一體化和油氣儲(chǔ)備基地”的“一港三基地”的作用愈發(fā)重要，港區(qū)的發(fā)展，業(yè)務(wù)量的增加，急需部署一套視頻監(jiān)控存儲(chǔ)系統(tǒng)。本文從項(xiàng)目背景、用戶需求進(jìn)行分析，根據(jù)系統(tǒng)設(shè)計(jì)原則、建設(shè)內(nèi)容，提出了規(guī)劃設(shè)計(jì)方案，完成了洋浦港區(qū)口岸服務(wù)中心的監(jiān)控系統(tǒng)的優(yōu)化。

Abstract： With the establishment of the free trade port in Hainan， the role of Yangpu Port in the "one port and three bases" for "shipping hubs， petrochemicals， pulp and paper integration， and oil and gas reserve bases for Southeast Asia" has become increasingly important. With the development of the port area and the increase of business volume， it is urgent to deploy a video surveillance storage system. This article analyzes the background of the project and the needs of the users. According to the system design principles and construction content， it proposes a planning and design plan and completes the monitoring system optimization of the port service center in Yangpu Port Area.

關(guān)鍵詞：監(jiān)控系統(tǒng)；大數(shù)據(jù)云存儲(chǔ)；優(yōu)化

Key words： monitoring system；big data cloud storage；optimization

中圖分類號(hào)：TN954 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-4311（2018）26-0215-03

1 項(xiàng)目概述

洋浦港區(qū)口岸服務(wù)中心已經(jīng)分兩期建設(shè)了視頻存儲(chǔ)系統(tǒng)，已經(jīng)實(shí)現(xiàn)了初步的視頻存儲(chǔ)統(tǒng)一管理。為了能夠承載新增的高清視頻錄像存儲(chǔ)業(yè)務(wù)與視頻智能應(yīng)用業(yè)務(wù)，需部署一套視頻監(jiān)控存儲(chǔ)系統(tǒng)，并且新增的存儲(chǔ)系統(tǒng)需要能夠整合現(xiàn)有的存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)舊設(shè)備的再次利用以及存儲(chǔ)資源的池化，統(tǒng)一管理、統(tǒng)一規(guī)劃、統(tǒng)一分配和資源共享存儲(chǔ)資源，不僅簡(jiǎn)化了應(yīng)用緩解，也大大節(jié)約了用戶建設(shè)成本，同時(shí)提供更強(qiáng)的存儲(chǔ)和共享功能。為了實(shí)現(xiàn)視頻監(jiān)控?cái)?shù)據(jù)高效、穩(wěn)定、快速的存取服務(wù)，并實(shí)現(xiàn)便捷、可靠的統(tǒng)一管理及運(yùn)維，提高社會(huì)治安防控體系水平，加快新建擴(kuò)建、視頻資源的共享和應(yīng)用業(yè)務(wù)的整合。

2 用戶需求

2.1 可靠性需求 隨著容量和存儲(chǔ)設(shè)備的增加，視頻監(jiān)控?cái)?shù)據(jù)的來(lái)源越來(lái)越多樣化，需要保證海量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)的安全性和可靠性是傳統(tǒng)視頻存儲(chǔ)面臨的巨大挑戰(zhàn)，在滿足數(shù)據(jù)可靠性的同時(shí)，還需要更高的硬盤(pán)利用率，避免犧牲大量的存儲(chǔ)空間（原始數(shù)據(jù)幾倍的存儲(chǔ)空間）來(lái)滿足數(shù)據(jù)可靠性要求。并要求存儲(chǔ)系統(tǒng)具備7×24小時(shí)的不間斷寫(xiě)入的能力。在系統(tǒng)運(yùn)行的過(guò)程中，運(yùn)行壓力的持續(xù)或加大系統(tǒng)能夠通過(guò)集群技術(shù)、虛擬化技術(shù)動(dòng)態(tài)自動(dòng)調(diào)整業(yè)務(wù)壓力，將業(yè)務(wù)響應(yīng)的壓力進(jìn)行分散來(lái)減少單點(diǎn)壓力過(guò)大。

2.2 擴(kuò)展性需求 能夠提供海量存儲(chǔ)和高速讀寫(xiě)性能，以應(yīng)對(duì)數(shù)十PB級(jí)的視頻存儲(chǔ)需求；能夠快速擴(kuò)容，在動(dòng)態(tài)調(diào)整具體監(jiān)控區(qū)域的存儲(chǔ)資源時(shí)要求能夠做到良好的靈活性，不但能夠增加存儲(chǔ)資源的配給，也能夠減少存儲(chǔ)資源的配給工作，充分體現(xiàn)出良好的擴(kuò)展性，并且擴(kuò)容后性能隨容量同步提升，設(shè)備一旦融入云存儲(chǔ)系統(tǒng)后立即可用作為整體存儲(chǔ)資源的一部分進(jìn)行調(diào)用，在擴(kuò)展存儲(chǔ)設(shè)備時(shí)要求能夠支持對(duì)接標(biāo)準(zhǔn)第三方存儲(chǔ)設(shè)備；保證在線系統(tǒng)增加、減少設(shè)備時(shí)業(yè)務(wù)不中斷；存儲(chǔ)系統(tǒng)部署方便，無(wú)需復(fù)雜的配置，可快速支持業(yè)務(wù)運(yùn)行。

2.3 可用性需求 提供海量存儲(chǔ)空間、提高I/O吞吐能力以及保障數(shù)據(jù)安全后，為了確保數(shù)據(jù)得到持續(xù)有效的保護(hù)并且隨時(shí)可用，存儲(chǔ)系統(tǒng)的運(yùn)行維護(hù)至關(guān)重要，直接決定了業(yè)務(wù)系統(tǒng)的持續(xù)運(yùn)行能力。良好的可用性，將復(fù)雜的應(yīng)用、繁瑣的操作流程簡(jiǎn)單化。提供相應(yīng)的大容量存儲(chǔ)系統(tǒng)的集中化管理軟件，用戶在唯一的界面上就能夠準(zhǔn)確并安全地進(jìn)行配置、部署、監(jiān)控整套存儲(chǔ)系統(tǒng)，簡(jiǎn)化存儲(chǔ)系統(tǒng)的安裝、配置、監(jiān)控、日常維護(hù)和故障處理，能夠?yàn)橛脩魧?duì)設(shè)備狀態(tài)、資源、報(bào)警、升級(jí)、擴(kuò)展，維護(hù)方面提供便捷。

2.4 資源整合需求 新增存儲(chǔ)系統(tǒng)可整合原有的IP SAN存儲(chǔ)資源，實(shí)現(xiàn)舊有設(shè)備的再次利用以及存儲(chǔ)資源的池化，進(jìn)而實(shí)現(xiàn)對(duì)存儲(chǔ)資源統(tǒng)一管理、統(tǒng)一規(guī)劃、統(tǒng)一分配和資源共享。整合后的云存儲(chǔ)資源需要具備云存儲(chǔ)高性能，跨節(jié)點(diǎn)冗余技術(shù)，橫向擴(kuò)展能力，便捷維護(hù)等特性且流媒體服務(wù)器能正常訪問(wèn)并進(jìn)行數(shù)據(jù)讀寫(xiě)磁盤(pán)空間，用戶無(wú)須關(guān)心空間是通過(guò)怎樣的方式提供的。

2.5 系統(tǒng)兼容性需求 由于存儲(chǔ)系統(tǒng)前端采用的視頻服務(wù)器/流媒體服務(wù)器等會(huì)存在多種可能的操作系統(tǒng)，也可能是不同服務(wù)器廠商的不同型號(hào)產(chǎn)品，因此存儲(chǔ)系統(tǒng)需要具有廣泛的操作系統(tǒng)兼容性和與不同型號(hào)主機(jī)的良好互操作性。不能出現(xiàn)對(duì)主流的服務(wù)器和操作系統(tǒng)的兼容性問(wèn)題，因此存儲(chǔ)系統(tǒng)要能提供和支持標(biāo)準(zhǔn)的協(xié)議和接口等。此外，為了便于整體的運(yùn)維系統(tǒng)平臺(tái)搭建，存儲(chǔ)系統(tǒng)需要按照國(guó)內(nèi)外相關(guān)的技術(shù)標(biāo)準(zhǔn)與規(guī)范，提供標(biāo)準(zhǔn)的API 接口，以支持構(gòu)建統(tǒng)一的視頻管理集成應(yīng)用平臺(tái)。

2.6 大數(shù)據(jù)分析需求

①視頻存儲(chǔ)系統(tǒng)除了需要滿足基本的視頻采集、傳輸、存儲(chǔ)，回放等業(yè)務(wù)以外，還需要滿足智能分析、視頻轉(zhuǎn)碼、視頻摘要、全局檢索、視頻歸檔、時(shí)空重構(gòu)等多種智能化的應(yīng)用需求，存儲(chǔ)系統(tǒng)必須滿足 Paas 層大數(shù)據(jù)與云計(jì)算業(yè)務(wù)平臺(tái)核心性能需求。②視頻存儲(chǔ)系統(tǒng)需滿足兼容 Hadoop大數(shù)據(jù)處理標(biāo)準(zhǔn)接口與 Openstack 云計(jì)算接入標(biāo)準(zhǔn)，且能夠?yàn)槠渌麡I(yè)務(wù)應(yīng)用提供不同性能資源池。③視頻存儲(chǔ)系統(tǒng)需提供海量大數(shù)據(jù)計(jì)算基礎(chǔ)資源池，為智能分析系統(tǒng)提供高性能，高可靠，統(tǒng)一標(biāo)準(zhǔn)接口的數(shù)據(jù)資源，保證視頻圖像資源的智能化運(yùn)用。④隨著云計(jì)算發(fā)展，視頻存儲(chǔ)系統(tǒng)能夠靈活滿足不斷增長(zhǎng)的存儲(chǔ)性能與計(jì)算性能的需求。結(jié)合上述需求，本次建設(shè)將采用云存儲(chǔ)擴(kuò)容和優(yōu)化管理。

3 系統(tǒng)設(shè)計(jì)原則

通過(guò)對(duì)用戶視頻監(jiān)控存儲(chǔ)平臺(tái)的需求了解，結(jié)合存儲(chǔ)系統(tǒng)的應(yīng)用特點(diǎn)，在建設(shè)過(guò)程中應(yīng)當(dāng)遵循如下原則：

3.1 安全可靠性原則 系統(tǒng)支持分布式架構(gòu)；系統(tǒng)支持從硬件層面，數(shù)據(jù)層面到業(yè)務(wù)層面高可用，滿足可用性原則；系統(tǒng)支持存儲(chǔ)系統(tǒng)集群，滿足高可靠性需求；系統(tǒng)具備充分的數(shù)據(jù)冗余，數(shù)據(jù)容錯(cuò)能力；系統(tǒng)具有專業(yè)的技術(shù)保障體系以及數(shù)據(jù)可靠性保證機(jī)制；系統(tǒng)在存儲(chǔ)節(jié)點(diǎn)損壞時(shí)（包括硬盤(pán)，機(jī)柜的故障），不會(huì)丟失數(shù)據(jù)；系統(tǒng)在發(fā)生數(shù)據(jù)損壞時(shí)，有數(shù)據(jù)自愈能力；對(duì)工作環(huán)境要求較低，環(huán)境適應(yīng)能力強(qiáng)；確保系統(tǒng)具有高度的安全性，提供安全的登錄和訪問(wèn)措施，防止系統(tǒng)被攻擊；異常掉電后不丟失數(shù)據(jù)，供電恢復(fù)后自動(dòng)重新啟動(dòng)并自動(dòng)恢復(fù)正常連接；系統(tǒng)器件選擇要考慮能支持 7×24小時(shí)連續(xù)長(zhǎng)時(shí)間大壓力下工作。

3.2 擴(kuò)展性原則 系統(tǒng)易于擴(kuò)展，支持 EB 級(jí)數(shù)據(jù)存儲(chǔ)；系統(tǒng)在容量擴(kuò)展時(shí)，性能得到提升；系統(tǒng)選擇標(biāo)準(zhǔn)化的部件，利于靈活替換和容量擴(kuò)展。

3.3 先進(jìn)性原則 系統(tǒng)必須嚴(yán)格遵循國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)和國(guó)內(nèi)通信行業(yè)的規(guī)范要求；需符合存儲(chǔ)技術(shù)以及 IT 行業(yè)的發(fā)展趨勢(shì)，所選用的產(chǎn)品型號(hào)已規(guī)模上量；所有的系統(tǒng)處于先進(jìn)的技術(shù)水平，確保較長(zhǎng)時(shí)間內(nèi)技術(shù)上不落伍；系統(tǒng)的處理能力要達(dá)到業(yè)內(nèi)領(lǐng)先，對(duì)于本次業(yè)務(wù)的使用要留有一定的余量，以滿足后續(xù)升級(jí)的需求。

3.4 開(kāi)放性原則 系統(tǒng)必須支持國(guó)際上通用的標(biāo)準(zhǔn)網(wǎng)絡(luò)存儲(chǔ)協(xié)議、國(guó)際標(biāo)準(zhǔn)的應(yīng)用開(kāi)放協(xié)議；與主流服務(wù)器之間保持良好的兼容性；兼容各主流操作系統(tǒng)及應(yīng)用程序；可以與第三方管理平臺(tái)集成，提供給客戶定制化的管理維護(hù)手段；滿足今后的發(fā)展，留有充分的擴(kuò)充余地。

3.5 易維護(hù)性原則 系統(tǒng)支持簡(jiǎn)體中文，通俗易懂，操作方便、簡(jiǎn)單；系統(tǒng)具有充分的權(quán)限管理，日志管理、故障管理，并能夠?qū)崿F(xiàn)故障自動(dòng)報(bào)警；系統(tǒng)設(shè)備安裝使用簡(jiǎn)單，無(wú)需專業(yè)人員維護(hù)；系統(tǒng)容量可按需要在線擴(kuò)展，無(wú)需停止業(yè)務(wù)；系統(tǒng)功能擴(kuò)充需要升級(jí)時(shí)，支持不中斷業(yè)務(wù)升級(jí)；支持圖形化界面管理方式。

4 建設(shè)內(nèi)容

4.1 建設(shè)內(nèi)容 ①新增5臺(tái)磁盤(pán)陣列和190塊硬盤(pán)，增加現(xiàn)有的存儲(chǔ)容量，保證擴(kuò)容的存儲(chǔ)空間。②新增1臺(tái)40K 三項(xiàng)UPS主機(jī)和電池柜，以滿足現(xiàn)有機(jī)房斷電后的設(shè)備持續(xù)工作。③對(duì)原有的管理系統(tǒng)升級(jí)，升級(jí)為云存儲(chǔ)管理系統(tǒng)，以便用戶更好的服務(wù)和管理。④針對(duì)1、2期改造，及本期項(xiàng)目的3年運(yùn)維服務(wù)，要求7*24技術(shù)支持，4 小時(shí)響應(yīng)，8小時(shí)到場(chǎng)，24小時(shí)內(nèi)解決問(wèn)題。本項(xiàng)服務(wù)費(fèi)為運(yùn)維服務(wù)費(fèi)，不包括設(shè)備損壞更換費(fèi)用。

4.2 設(shè)計(jì)思想及目標(biāo) 針對(duì)洋浦港區(qū)口岸服務(wù)中心監(jiān)控的需求。本期數(shù)字監(jiān)控系統(tǒng)增加云存儲(chǔ) 1 套、原有系統(tǒng)平臺(tái)的升級(jí)，用來(lái)擴(kuò)大港區(qū)口岸監(jiān)控范圍及視頻存儲(chǔ)。增加一臺(tái)40K UPS，以保障現(xiàn)有機(jī)房斷電后的持續(xù)工作。由于原有建設(shè)一期、二期的維保服務(wù)已經(jīng)到期，所以在本次建設(shè)內(nèi)容里增加了對(duì)原有一、二期建設(shè)的維保服務(wù)內(nèi)容。本次方案，主要是針對(duì)視頻監(jiān)控應(yīng)用場(chǎng)景，根據(jù)用戶對(duì)容量和性能的需求，本次存儲(chǔ)系統(tǒng)配置5臺(tái)存儲(chǔ)節(jié)點(diǎn)，190 塊4TB SATA磁盤(pán)，并且NCS10000存儲(chǔ)系統(tǒng)通過(guò)分布式切片及負(fù)載均衡技術(shù)，充分利用硬件和網(wǎng)絡(luò)的性能，構(gòu)造高效的數(shù)據(jù)通道，滿足用戶對(duì)存儲(chǔ)容量和性能的需求。通過(guò)多端口千兆網(wǎng)絡(luò)互連前端的應(yīng)用節(jié)點(diǎn)和后端的集群存儲(chǔ)節(jié)點(diǎn)，可以保證存儲(chǔ)設(shè)備的性能輸出達(dá)到最大化。存儲(chǔ)節(jié)點(diǎn)一方面用來(lái)存放文件系統(tǒng)中所有的元數(shù)據(jù)信息，包括文件目錄樹(shù)組織、屬性維護(hù)、文件操作日志記錄、訪問(wèn)控制信息、存儲(chǔ)位置等，管理整個(gè)系統(tǒng)的命名空間，對(duì)外提供單一的系統(tǒng)映像。另一方面用來(lái)存儲(chǔ)用戶的實(shí)體數(shù)據(jù)即視頻錄像數(shù)據(jù)等，當(dāng)客戶端訪問(wèn)系統(tǒng)時(shí)，首先訪問(wèn)存儲(chǔ)節(jié)點(diǎn)中的元數(shù)據(jù)信息，獲取將要與之進(jìn)行交互的存儲(chǔ)節(jié)點(diǎn)的信息，然后訪問(wèn)這些節(jié)點(diǎn)來(lái)完成數(shù)據(jù)讀寫(xiě)，用戶可以通過(guò)擴(kuò)展存儲(chǔ)集群來(lái)獲得更多文件管理的能力以及更大的聚合帶寬與存儲(chǔ)容量，靈活、無(wú)縫、平滑的擴(kuò)展方式讓用戶可以有效地控制成本。

5 視頻云存儲(chǔ)平臺(tái)規(guī)劃設(shè)計(jì)方案

為了解決傳統(tǒng)視頻監(jiān)控系統(tǒng)面臨的數(shù)據(jù)量大、效率低、信息孤立、可靠性差、兼容性差等問(wèn)題，為了滿足存儲(chǔ)管理海量視頻監(jiān)控?cái)?shù)據(jù)，保證數(shù)據(jù)安全的同時(shí)，進(jìn)行簡(jiǎn)易化合理的視頻監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)管理以及提高存儲(chǔ)系統(tǒng)讀寫(xiě)性能，提升視頻監(jiān)控?cái)?shù)據(jù)的處理效率，將存儲(chǔ)系統(tǒng)的價(jià)值發(fā)揮到最大。同有科技專門(mén)針對(duì)安防監(jiān)控行業(yè)應(yīng)用自主研發(fā)了一套NetStor NCS10000云存儲(chǔ)系統(tǒng)。NCS10000存儲(chǔ)系統(tǒng)為前端應(yīng)用服務(wù)器端提供一個(gè)全局統(tǒng)一命名空間，方便用戶數(shù)據(jù)的統(tǒng)一管理，減少了人力管理和維護(hù)的成本，并且數(shù)據(jù)的全局共享可以加強(qiáng)各計(jì)算節(jié)點(diǎn)之間的寫(xiě)作，提高了作業(yè)的運(yùn)行效率。

作為海量存儲(chǔ)系統(tǒng)，NCS10000能夠組合上萬(wàn)臺(tái)以上存儲(chǔ)節(jié)點(diǎn)，在線擴(kuò)展至 EB 級(jí)別存儲(chǔ)容量，并可以同時(shí)管理上千億個(gè)文件，單個(gè)目錄可以滿足千萬(wàn)級(jí)的文件數(shù)量的讀寫(xiě)，NCS10000集群存儲(chǔ)系統(tǒng)通過(guò)多存儲(chǔ)節(jié)點(diǎn)集群技術(shù)和高效的海量文件檢索技術(shù)，在存儲(chǔ)上千億個(gè)文件的同時(shí)，能夠保持極高的文件檢索效率。NCS10000集群存儲(chǔ)系統(tǒng)通過(guò)多臺(tái)存儲(chǔ)設(shè)備，提供并行的數(shù)據(jù)存儲(chǔ)服務(wù)，在應(yīng)用服務(wù)器端向存儲(chǔ)系統(tǒng)上寫(xiě)文件時(shí)，文件將會(huì)根據(jù)一定大小進(jìn)行分片，然后存放到多臺(tái)存儲(chǔ)設(shè)備上；在應(yīng)用服務(wù)器端讀取文件時(shí)，則并發(fā)的從多個(gè)存儲(chǔ)設(shè)備上讀取數(shù)據(jù)，組合后供應(yīng)用服務(wù)器端讀取，顯著提高存儲(chǔ)的讀寫(xiě)性能。并且NCS1000O存儲(chǔ)系統(tǒng)支持動(dòng)態(tài)的擴(kuò)展容量，無(wú)需中斷應(yīng)用的運(yùn)行，而且隨著存儲(chǔ)設(shè)備和數(shù)據(jù)的增多，整套系統(tǒng)的性能也會(huì)呈現(xiàn)線性的增長(zhǎng)，完全滿足用戶針對(duì)業(yè)務(wù)不斷發(fā)展所產(chǎn)生的容量和性能需求。

6 結(jié)語(yǔ)

本文首先分析了用戶需求，根據(jù)系統(tǒng)設(shè)計(jì)原則、建設(shè)內(nèi)容，提出了基于NetStor NCS10000 云存儲(chǔ)系統(tǒng)的視頻云存儲(chǔ)平臺(tái)規(guī)劃設(shè)計(jì)方案，完成了洋浦港區(qū)口岸服務(wù)中心的監(jiān)控系統(tǒng)的優(yōu)化。

參考文獻(xiàn)：

[1]施朗，艾雄軍，馬方方.一種面向視頻監(jiān)控的云存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)與軟件工程，2015（08）.

[2]趙鐵柱，鄧見(jiàn)光.面向大規(guī)模數(shù)據(jù)備份的云存儲(chǔ)網(wǎng)關(guān)研究[J].計(jì)算機(jī)光盤(pán)軟件與應(yīng)用，2013（12）.

[3]于成龍，王梓涵.面向云存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)研究[J].計(jì)算機(jī)光盤(pán)軟件與應(yīng)用，2014（19）.