安防行業(yè)深度融合的云存儲技術(shù)

■王冠

大數(shù)據(jù)的真實價值并不僅在于存儲，而在于從海量數(shù)據(jù)中進行數(shù)據(jù)挖掘和數(shù)據(jù)分析，以提取對業(yè)務(wù)應用需求真正有價值的數(shù)據(jù)信息。為此，大數(shù)據(jù)時代存儲之道在于與安防行業(yè)深度融合的云存儲技術(shù)。

安防大數(shù)據(jù)的存儲需求

隨著視頻監(jiān)控系統(tǒng)規(guī)模不斷擴大，高清、乃至4K超清視頻攝像機的大規(guī)模部署，數(shù)據(jù)將呈現(xiàn)爆炸性的海量增長態(tài)勢。一個城市級的安防監(jiān)控工程，以千計甚至萬計的高清、超高清攝像機數(shù)量，其每月產(chǎn)生的數(shù)據(jù)量就可達到幾十PB、甚至上百PB。如此巨大的存儲量嚴重考驗著安防監(jiān)控系統(tǒng)中的存儲系統(tǒng)。

大數(shù)據(jù)的真實價值并不僅在于存儲，而在于從海量數(shù)據(jù)中進行數(shù)據(jù)挖掘和數(shù)據(jù)分析，以提取對業(yè)務(wù)應用需求真正有價值的數(shù)據(jù)信息。因此大數(shù)據(jù)存儲除了完成單一的存儲功能外，更重要的就是對大數(shù)據(jù)分析和挖掘提供有效的支撐。隨著這種應用需求的不斷明確，云存儲技術(shù)與安防監(jiān)控行業(yè)特點進行融合，在大數(shù)據(jù)進行存儲時提供視頻存儲和視頻智能存儲的過程，以配合數(shù)據(jù)挖掘和分析就顯得尤為重要。因此大數(shù)據(jù)價值的體現(xiàn)可以遵循：大數(shù)據(jù)存儲容量管理、大數(shù)據(jù)智能化存儲過程、大數(shù)據(jù)存儲對智能分析等應用的支撐，這么幾個階段的發(fā)展過程

安防存儲技術(shù)的發(fā)展過程

在安防存儲的發(fā)展歷程中DVR、NVR、NAS、SAN等存儲方案在每個時期都扮演著不可或缺的角色。SAN方案在一定范圍內(nèi)以其可擴展性和存儲網(wǎng)絡(luò)獨立性等特點尚能滿足PB級以內(nèi)的存儲需求，然而面對幾十PB、甚至上百PB的數(shù)據(jù)量時就顯得力不從心。其核心原因就在于SAN方案無法實現(xiàn)其性能與容量的線性增長，當數(shù)據(jù)量達到一定程度后管理的復雜度會加大、系統(tǒng)的吞吐率會下降，不能夠有效的支撐目前安防大數(shù)據(jù)的存儲與應用。而采用多套SAN系統(tǒng)勉強完成存儲需要后，由于多套SAN系統(tǒng)又是彼此獨立，缺少數(shù)據(jù)整合與協(xié)同處理的能力，不能有效的支持上層數(shù)據(jù)應用需要。

而云存儲技術(shù)決了存儲性能與存儲容量線性增長的沖突，可以保證在大規(guī)模的安防監(jiān)控存儲規(guī)模下，存儲系統(tǒng)能夠以更高性能滿足視頻錄像的存儲需要，因此在安防監(jiān)控大數(shù)據(jù)時代有著非常廣闊的應用空間。云存儲技術(shù)的特點是通過軟件的方式將數(shù)量龐大而復雜的存儲設(shè)備進行系統(tǒng)化封裝，對上層的安防監(jiān)控平臺與分析系統(tǒng)呈現(xiàn)出一個統(tǒng)一的服務(wù)出口，輸出存儲服務(wù)。用戶不需要關(guān)心云存儲設(shè)備構(gòu)成，就像面對一臺存儲設(shè)備一樣來使用云存儲的資源。因此云存儲在大數(shù)據(jù)的管理和應用上可以提供更為強勁的動力。然而非常可惜的是文件是結(jié)構(gòu)化數(shù)據(jù)，而安防行業(yè)的數(shù)據(jù)如視頻、圖片等是非結(jié)構(gòu)化數(shù)據(jù)，不同類型的數(shù)據(jù)存儲時對存儲方式和結(jié)構(gòu)的要求也不盡相同。而云存儲僅專注于文件的存儲，并沒有意識到視頻、圖片等數(shù)據(jù)的特殊性，因此在視頻數(shù)據(jù)存儲性能、安防智能應用擴展、安防云計算應用等方面沒有進行改進和調(diào)整。

那么總結(jié)一下：DVR/NVR/NAS等方式顯然已經(jīng)不適合，SAN系統(tǒng)在容量管理上存在瓶頸，并且也不具備智能化存儲的特點，因此也被剔除掉。常規(guī)的云存儲技術(shù)卻僅將注意力集中在存儲上，對視頻智能化數(shù)據(jù)的預分析、以及按照視頻數(shù)據(jù)流式結(jié)構(gòu)的特點方面尚未有所突破，直接影響了后期的數(shù)據(jù)挖掘和分析。從這么幾個方面來看，只有通過將云存儲技術(shù)更好的與安防大數(shù)據(jù)的特點相結(jié)合，尤其是與視頻、圖片等主要的安防數(shù)據(jù)存儲和應用結(jié)合才能更有效的適應安防監(jiān)控行業(yè)大數(shù)據(jù)需要。其具體的過程，一是集成云存儲虛擬化、集群化、分布式存儲等存儲容量管理上的優(yōu)勢，提供穩(wěn)定、可靠、高效的存儲方式；二是匹配安防應用的特點對云存儲的存儲結(jié)構(gòu)進行改造和優(yōu)化，如根據(jù)流式數(shù)據(jù)調(diào)整云存儲自身的存儲格式、將視頻的關(guān)鍵信息進行初步分析后聯(lián)同視頻數(shù)據(jù)一起存儲等，以實現(xiàn)安防大數(shù)據(jù)應用場景下云存儲應用。只有通過融合才能使得先進的云存儲技術(shù)更好的為安防監(jiān)控行業(yè)大數(shù)據(jù)服務(wù)，也就是“安防云存儲”技術(shù)的出現(xiàn)才可以有效解決以上的沖突。

安防云存儲的主要功能

應用于安防監(jiān)控行業(yè)的安防云存儲技術(shù)在大數(shù)據(jù)容量管理、數(shù)據(jù)智能化存儲、數(shù)據(jù)存儲安全性等方面的考慮，可以為大數(shù)據(jù)的存儲、挖掘、分析提供更為高效的支撐，同時打消人們對龐大數(shù)據(jù)存儲的安全性擔憂。以此更好為安防監(jiān)控的大數(shù)據(jù)應用發(fā)展提供一個豐富的數(shù)據(jù)基礎(chǔ)。

關(guān)于大數(shù)據(jù)的存儲容量管理上，前文已經(jīng)提到如果不能進行統(tǒng)一、有效的管理則必然導致數(shù)據(jù)的利用效率降低、運維難度加大。然而對數(shù)量龐大的存儲設(shè)備和動則幾十PB容量的管理確實是一個極具挑戰(zhàn)的課題。目前我們可以看到、并預期到的大數(shù)據(jù)管理方式是通過虛擬化技術(shù)實現(xiàn)的。通過虛擬化技術(shù)將幾十PB的存儲容量空間進行整合，并向上層提供一個完整的存儲資源池，管理人員的工作集中在對這個邏輯的存儲資源池的管理和分配上。而這個容量龐大的邏輯容量是由哪些存儲設(shè)備組成的，這個過程則被虛擬化技術(shù)進行了屏蔽，管理人員也無需關(guān)心。

對于大數(shù)據(jù)的智能化存儲過程體現(xiàn)在這么幾個方面，一個是存儲的高可靠性智能容錯：視頻錄像數(shù)據(jù)在存儲的過程中會寫到某臺具體的存儲設(shè)備當中，而當設(shè)備故障之后視頻錄像業(yè)務(wù)不會中斷。另一個就是數(shù)據(jù)存儲時存儲系統(tǒng)需要能夠針對視頻數(shù)據(jù)的流式數(shù)據(jù)結(jié)構(gòu)特點進行有效的存儲，并且對視頻數(shù)據(jù)進行預分析，將分析后的智能數(shù)據(jù)和原視頻數(shù)據(jù)共同存儲。這樣的優(yōu)點是符合了視頻存儲的規(guī)律，其后期的視頻提取效率更高；對視頻數(shù)據(jù)進行了預分析則形成了豐富的數(shù)據(jù)信息庫，那么后期進行視頻數(shù)據(jù)分析和挖掘時效率則會更高。

安防云存儲在安全性上需要關(guān)注的是數(shù)據(jù)的隱私與共享之間的矛盾。通過對數(shù)據(jù)的加密、防篡改、防盜取等方面，云存儲可以提供比傳統(tǒng)存儲更好的解決方法。首先云存儲的數(shù)據(jù)是分布式存儲的，每臺存儲設(shè)備上存儲的僅僅是極小的數(shù)據(jù)塊，盜取某臺設(shè)備的數(shù)據(jù)也無法得到完整的視頻數(shù)據(jù)信息。另外云存儲底層的存儲格式并不通過傳統(tǒng)的文件系統(tǒng)進行的，其存儲的是有特點屬性的比特流，使用一般的文件讀取方式也無法獲取真實的內(nèi)容。對于云存儲系統(tǒng)安全的本身，通過集群化和分布式存儲的特點可以保障不會因為設(shè)備的不穩(wěn)定而丟失數(shù)據(jù)。同時數(shù)據(jù)的校驗恢復、多副本備份、數(shù)據(jù)中心備份等多種機制能夠有效保證數(shù)據(jù)的安全性。

安防云存儲的典型應用

安防技術(shù)、理念的發(fā)展本身就朝著IT化的方向前進，云存儲在這個過程中必然需要滿足安防行業(yè)的這種發(fā)展需要，同時也隨著安防行業(yè)的特點不斷的改變和發(fā)展自己。在安防市場中對云存儲需求最為迫切，也最可能率先采用云存儲技術(shù)運用于自身系統(tǒng)的就是公安行業(yè)。隨著經(jīng)濟建設(shè)和各項社會事業(yè)等快速發(fā)展，城市的公共安全面臨著更大的挑戰(zhàn)。全國跨地區(qū)、跨部門、跨警種的信息共享，建立城市報警與監(jiān)控系統(tǒng)的協(xié)同使用機制、強化視頻監(jiān)控技術(shù)在公安偵查破案中的支柱性作用，不斷提高系統(tǒng)的管、控、用整體水平，因此“大公安”的概念以被人們所接收。在“大公安”系統(tǒng)中多以高清視頻采集為手段，集智能分析技術(shù)，綜合城市治安、治安卡口（高清）、社會監(jiān)控資源，實現(xiàn)各類監(jiān)控資源的共享，提高資源利用率。在這種建設(shè)目標下，云存儲的優(yōu)點能夠非常有利地支撐起海量高清視頻存儲、以及大數(shù)據(jù)智能分析對數(shù)據(jù)處理需求和高并發(fā)、大吞吐的需要，云存儲作為整體行業(yè)解決方案的一部分將是其中不可或缺的一環(huán)。

隨著安防云存儲技術(shù)在安防行業(yè)的不斷融合與發(fā)展，將會給安防監(jiān)控大數(shù)據(jù)存儲注入一劑強心劑，并帶來更加豐富的安防監(jiān)控的應用發(fā)展。