大數(shù)據(jù)時代的安防存儲

■ 本刊記者 婁亞楠

“大數(shù)據(jù)時代已經(jīng)來臨”的說法甚囂塵上，國內(nèi)外IT、互聯(lián)網(wǎng)巨頭紛以收購或者自主研發(fā)的方式布局大數(shù)據(jù)領域，然而，對安防行業(yè)來說，大數(shù)據(jù)時代是否真正已經(jīng)來臨，大數(shù)據(jù)對安防又意味著什么，會為安防行業(yè)帶來哪些價值？安防企業(yè)又該如何抓住大數(shù)據(jù)帶來的機遇？

大數(shù)據(jù)時代已經(jīng)到來？

2012年7月24日，英特爾公司在北京舉辦主題為“芯動大數(shù)據(jù)、智領大機遇”的英特爾大數(shù)據(jù)論壇。

這條消息的發(fā)布，在眾多國內(nèi)外各行業(yè)巨頭，紛紛宣布進軍大數(shù)據(jù)領域的重重布局下，或許并不能引起安防行業(yè)人士太多的注意，但英特爾公司發(fā)布的另一條消息，則或多或少會觸動安防從業(yè)人士的神經(jīng)。即，英特爾公司正在支持海康威視開發(fā)和推廣基于至強平臺和英特爾Apache Hadoop 發(fā)行版軟件的大數(shù)據(jù)處理方案，以滿足平安城市和智能交通對海量非結構化數(shù)據(jù)進行高效處理的要求。這是英特爾與中國本土合作伙伴機密協(xié)作，構建專為相關行業(yè)應用優(yōu)化的大數(shù)據(jù)解決方案，專注特定行業(yè)需求的開始。對中國的安防行業(yè)來說，這是基于安防的大數(shù)據(jù)概念首次以較為正式的形象出現(xiàn)在人們的視野。

當然，專注于大數(shù)據(jù)在安防行業(yè)布局的并不止英特爾一家。“智慧星球”概念提出者IBM，于2012年12月4日在北京發(fā)布針對大數(shù)據(jù)處理的專家集成系統(tǒng)—PureData，繼而和南京有關部門達成建設“智慧南京”的戰(zhàn)略合作，布局華東地區(qū)智慧城市建設。

緊隨其后，12月12日，國內(nèi)存儲廠商浪潮在北京也宣布推出適用于大規(guī)模部署的公共云數(shù)據(jù)中心——“模塊化數(shù)據(jù)中心”。

至此，“大數(shù)據(jù)”在狂暴洗禮了互聯(lián)網(wǎng)和信息行業(yè)之后，在安防行業(yè)亦刮起了一股不小的旋風。維克托·邁爾·舍恩伯格在《大數(shù)據(jù)時代》一書中援引眾多案例，描繪大數(shù)據(jù)時代的到來將會給人們工作生活帶來的巨變，以及對商業(yè)、經(jīng)濟等其它各個領域帶來的不可估量的價值。“數(shù)據(jù)是新的石油。”亞馬遜前任首席科學家Andreas Weigend也曾這樣描述。那么，對安防行業(yè)來說，大數(shù)據(jù)時代已經(jīng)到來的說法是否準確？大數(shù)據(jù)對安防又意味著什么？

全國政協(xié)委員、南京市政協(xié)主席沈健在2013年全國兩會期間接受相關媒體采訪時，就“大數(shù)據(jù)時代”和“智慧城市建設”談了他的看法，他認為，我們已經(jīng)進入一個大數(shù)據(jù)時代，大數(shù)據(jù)對于我們的生活、管理包括各方面企業(yè)的運行、社會組織的各種活動，都會帶來重大影響。按照西方的理解，它是比石油、黃金還要珍貴的資源，必然會影響我們的生活、工作、學習等方方面面。在大數(shù)據(jù)時代，過去我們差不多靠個人的經(jīng)歷做判斷、決策，都是過時了的，大數(shù)據(jù)時代，所有的決策、判斷必須要根據(jù)大數(shù)據(jù)，根據(jù)數(shù)據(jù)的形成做出自己的判斷和決定，這樣才是一種符合科學的生活和學習的方式。

英特爾亞太研發(fā)有限公司大數(shù)據(jù)軟件團隊首席技術官孫元浩在接受采訪時表示，“大數(shù)據(jù)的確是當前最受關注的技術話題?，F(xiàn)今，數(shù)據(jù)正以驚人的速度在全球爆炸式增長，預計到2015年將達到8ZB，大數(shù)據(jù)的特征在于與以往相比，數(shù)據(jù)集更大、結構和格式更多樣，同時生成的速度更快，這些特性為平安城市實現(xiàn)“智能化”帶來強大機遇。智能城市及物聯(lián)網(wǎng)領域可借大數(shù)據(jù)技術更快實現(xiàn)智能交通監(jiān)控、智能電網(wǎng)、智能公共安全、氣象和污染變化的智能監(jiān)控及預測等應用。就目前來看，也確是如此，大數(shù)據(jù)技術已在一些地方政府主導的、將“平安城市”視頻監(jiān)控應用列為重要組成部分的智慧城市項目中有了具體實施”。

西部數(shù)據(jù)中國地區(qū)銷售經(jīng)理梁浩明認為，大數(shù)據(jù)是近兩年最熱門IT概念之一，它并不是一個商業(yè)包裝，而是即將改變?nèi)澜缍鄠€行業(yè)的重要工具。2012年是大數(shù)據(jù)正式啟蒙之年，而一系列標志性事件的發(fā)生和建立，讓人們越發(fā)感覺到大數(shù)據(jù)時代的力量。全球范圍來看，大數(shù)據(jù)體現(xiàn)的巨大經(jīng)濟價值，成功地獲得了金融界和政界的親睞。今天，大數(shù)據(jù)已經(jīng)廣泛應用于金融服務、交通運輸、健康與生命科學、通訊、能源等各個行業(yè)。在這種背景下，商業(yè)、經(jīng)濟、政府及其他領域中的決策行為將日益基于數(shù)據(jù)和分析而作出，而在公共衛(wèi)生、經(jīng)濟預測等領域中，“大數(shù)據(jù)”的預見能力也已經(jīng)嶄露頭角。數(shù)據(jù)資產(chǎn)正在當仁不讓地成為現(xiàn)代商業(yè)社會的核心競爭力，帶來革命式的變革和機遇。

UIT產(chǎn)品和解決方案部經(jīng)理王宇對此也有自己的看法，隨著平安城市、智能交通、平安校園等安防領域項目的不斷增多，數(shù)據(jù)量與日俱增。比如，與平安城市相關的項目所產(chǎn)生的數(shù)據(jù)量，就已超過了200PB。他說，類似的項目在未來會越來越多，項目建設持續(xù)增多，數(shù)據(jù)也在不斷增加，我們可以認為安防行業(yè)的大數(shù)據(jù)時代已經(jīng)到來。

存儲介質(zhì)正在改變

存儲之于安防的地位，如UIT產(chǎn)品和解決方案部經(jīng)理王宇所說，其已經(jīng)不僅是一個設備而已，而是已經(jīng)升華到了一個解決方案平臺的地步。王宇認為，作為圖像數(shù)據(jù)和報警事件記錄的載體，存儲的重要性是不言而喻的。安防監(jiān)控應用對存儲的需求是什么？首先，海量存儲的需求。其次，性能的要求。第三，價格的敏感度。第四，集中管理的要求。第五，網(wǎng)絡化要求。他說，安防監(jiān)控技術發(fā)展到今天經(jīng)歷了三個階段，即：模擬化、數(shù)字化、網(wǎng)絡化。與之相適應，監(jiān)控數(shù)據(jù)存儲也經(jīng)歷了多個階段，即：VCR模擬數(shù)據(jù)存儲、DVR數(shù)字數(shù)據(jù)存儲，到現(xiàn)在的集中網(wǎng)絡存儲，以及發(fā)展到云存儲階段，正是在一步步迎合這種市場需求。王宇認為，在未來，安防監(jiān)控隨著高清化，網(wǎng)絡化，智能化的不斷發(fā)展，將對現(xiàn)有存儲方案帶來不斷挑戰(zhàn)，包括容量、帶寬的擴展問題和管理問題。那么，基于大數(shù)據(jù)戰(zhàn)略的海量存儲系統(tǒng)——云存儲的誕生似乎也是理所當然。

智慧城市建設等一系列公共安全領域數(shù)字化進程的加快，正在催生安防監(jiān)控以人們難以想象的速度深入到人們的工作生活當中，成為行業(yè)的主導，面對緊隨而來的可預期的存儲需求以及即將可能帶來的不可估量的價值，各路諸候亦你方唱罷我登場，開始爭相圈劃自己的勢力范圍?；诖髷?shù)據(jù)戰(zhàn)略的云存儲技術的興起，對傳統(tǒng)以硬盤存儲為主導的安防廠商帶來的影響，雖然現(xiàn)階段來看并不明顯，部分有遠見的安防廠商已經(jīng)開始迎接日新月異的新技術帶來的機遇和挑戰(zhàn)。

如果說，在硬盤領域，2012年12月4日，海康威視與全球存儲業(yè)的開拓者西部數(shù)據(jù)（WD）展開強強合作，推出“?？滴鲾?shù)定制化監(jiān)控專用硬盤”，以應對大數(shù)據(jù)時代安防監(jiān)控、智能交通等特定行業(yè)對海量存儲、海量數(shù)據(jù)分析的需求。這一合作，是硬盤廠商面對大數(shù)據(jù)時代到來，加緊技術研發(fā)的一個真實案例。

那么，英特爾與?？低暫献鏖_發(fā)和推廣基于至強平臺和英特爾Apache Hadoop 發(fā)行版軟件的大數(shù)據(jù)處理方案，則是大數(shù)據(jù)時代強勢來襲，大數(shù)據(jù)研發(fā)企業(yè)與安防企業(yè)攜手共贏的一次探索。

“隨著安防監(jiān)控高清化的趨勢，安防行業(yè)也迎來了大數(shù)據(jù)時代，對數(shù)據(jù)的存儲無論是容量、穩(wěn)定性和安全性等各個方面都提出了更高的要求。安防監(jiān)控等專業(yè)領域作為西部數(shù)據(jù)的重要業(yè)務之一，節(jié)能環(huán)保、高性能、全天候可靠性等成為我們已經(jīng)或正在推出的硬盤的主要特點，未來還將有專用于云的云硬盤”。西部數(shù)據(jù)梁浩明說，“大數(shù)據(jù)的3V的特性：“Volume、Variety、Velocity”，表明了大數(shù)據(jù)的三樣特質(zhì)：海量、多樣、實時。對TB、PB數(shù)據(jù)級的處理已成為基本需求，還要求能處理多樣性的數(shù)據(jù)類型，更加快速、即時。所以對硬件或存儲系統(tǒng)更大的，可擴充的容量的需求尤為重要”。

“新的監(jiān)控模式改變了傳統(tǒng)的連接方式，新一代的高清安防監(jiān)控系統(tǒng)帶來了諸如百萬像素所引發(fā)的高帶寬、大規(guī)模海量數(shù)據(jù)存儲、數(shù)據(jù)集中管理以及視頻監(jiān)控數(shù)據(jù)的安全等需求”。王宇說，在全新的應用需求的驅使下，原有的視頻監(jiān)控存儲方案面臨著越來越多的挑戰(zhàn)。

雖然目前的安防存儲市場，DVR因為其價格及技術處于相對成熟時期，其應用處于市場主導地位，但在公共安全領域的數(shù)字化、信息化趨勢越來越明顯，需求越來越強烈的情況下，基于大數(shù)據(jù)戰(zhàn)略的存儲模式帶來的眾多衍生價值，使其在特定客戶群體中同樣被青睞。

基于大數(shù)據(jù)戰(zhàn)略的安防存儲優(yōu)勢明顯

如UIT王宇所說，當前社會對于數(shù)據(jù)的依賴是前所未有的，信息甚至被視為21世紀的“石油”，數(shù)據(jù)已變成與硬資產(chǎn)和人同等重要的重要資料。如何存好、保護好、使用好這些海量的大數(shù)據(jù)，是安防行業(yè)面臨的重要問題之一。那么基于大數(shù)據(jù)戰(zhàn)略的安防存儲其優(yōu)勢何在？

王宇認為，目前的存儲市場上，原有的視頻監(jiān)控方案容量、帶寬難以擴展。客戶往往需要采購更多更高端的設備來擴充容量，提高性能，隨之帶來的是成本的急劇增長以及系統(tǒng)復雜性的激增。同時，傳統(tǒng)的存儲模式很難在完全沒有業(yè)務停頓的情況下進行升級，擴容會對業(yè)務帶來巨大影響。其次，傳統(tǒng)的視頻監(jiān)控方案難于管理。由于視頻監(jiān)控系統(tǒng)一般規(guī)模較大，分布特征明顯，大多獨立管理，這樣就把整個系統(tǒng)分割成了多個管理孤島，相互之間通信困難，難以協(xié)調(diào)工作，以提高整體性能。除此之外，綠色、安全等也是傳統(tǒng)視頻監(jiān)控方案所面臨的突出問題。

“基于大數(shù)據(jù)戰(zhàn)略的云存儲技術與生俱來的高擴展、易管理、高安全等特性為傳統(tǒng)存儲面臨的問題帶來了解決的契機。利用云存儲，用戶可以方便的進行容量、帶寬擴展，而不必停止業(yè)務，或改變系統(tǒng)架構。同時，云存儲還具有高安全、低成本、綠色節(jié)能等特點?；谠拼鎯Φ囊曨l監(jiān)控解決方案是客戶應對挑戰(zhàn)很好的選擇”。王宇說，“進入二十一世紀，云存儲作為一種新的存儲架構，已逐步走入應用階段，例如，從谷歌公司的實踐來看，它們在現(xiàn)有的云計算環(huán)境中并沒有采用SAN架構，而是使用了可擴展的分布式文件系統(tǒng)Google File System（GFS)。這是一種高效的集群存儲技術。云存儲不僅輕松突破了SAN的性能瓶頸，而且可以實現(xiàn)性能與容量的線性擴展，這對于擁有大量數(shù)據(jù)的安防監(jiān)控用戶來說是一個新選擇”。

以英特爾推出的Hadoop分布式文件系統(tǒng)（HDFS）為例，其提供了一個高度容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案。目前已經(jīng)在各種大型在線服務和大型存儲系統(tǒng)中得到廣泛應用，已經(jīng)成為海量數(shù)據(jù)存儲的事實標準?！拔覀円苍?jīng)想過用原有的關系型數(shù)據(jù)庫來承載相關的數(shù)據(jù)和應用，但是關系型數(shù)據(jù)庫已經(jīng)沒有辦法支持海量的、而且是非結構化或半結構的數(shù)據(jù)?！焙？低暩笨偛眉媸紫夹g官蔣海青稱，“經(jīng)過認真的評估與測試，海康威視最終選擇了英特爾的大數(shù)據(jù)平臺”。

英特爾孫元浩這樣告訴記者，隨著信息系統(tǒng)的快速發(fā)展，海量的信息需要可靠存儲的同時，還能被大量的使用者快速地訪問。傳統(tǒng)的存儲方案已經(jīng)從構架上越來越難以適應近幾年來的信息系統(tǒng)業(yè)務的飛速發(fā)展，成為了業(yè)務發(fā)展的瓶頸和障礙。HDFS通過一個高效的分布式算法，將數(shù)據(jù)的訪問和存儲分布在大量服務器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個服務器之上，是傳統(tǒng)存儲構架的一個顛覆性的發(fā)展。最重要的是，其可以滿足以下特性：可自我修復的分布式文件存儲系統(tǒng)，高可擴展性，無需停機動態(tài)擴容，高可靠性，數(shù)據(jù)自動檢測和復制，高吞吐量訪問，消除訪問瓶頸，使用低成本存儲和服務器構建。

大數(shù)據(jù)的魅力不止是存儲

英特爾亞太研發(fā)有限公司大數(shù)據(jù)軟件團隊首席技術官孫元浩，從四個方面解讀了大數(shù)據(jù)的優(yōu)勢，從容量方面，比傳統(tǒng)存儲和分析解決方案所管理的數(shù)據(jù)大幾個數(shù)據(jù)級的巨型數(shù)據(jù)集，其以PB而不是TB為單位。多樣性方面，以電子郵件、社交媒體視頻圖像、博客、傳感器數(shù)據(jù)以及“影子數(shù)據(jù)”（訪問日志、WEB搜索、歷史紀錄）等不同格式生成的異構、復雜和多樣化的數(shù)據(jù)。生成速度方面，數(shù)據(jù)成為一個可實時查詢的連續(xù)數(shù)據(jù)流，可根據(jù)需求提供有用信息，而不是批量生成。其價值方面，能夠從基于機器學習、統(tǒng)計模式以及圖算法的深入復雜的數(shù)據(jù)分析中獲取可對未來趨勢和模式提供預測性分析的重要洞察力，這些預測性分析要勝過傳統(tǒng)商業(yè)智能查詢和報告的結果。

容量、多樣性、生成速度、價值。從大數(shù)據(jù)的四個V來看，存儲只是大數(shù)據(jù)的眾多價值中的其中一點。對安防領域來說，“存儲對安防領域具有不可被取代的價值，但如何保護好、利用好這些海量數(shù)據(jù)也非常重要，智能視頻提取和應用、海量數(shù)據(jù)分析、關鍵數(shù)據(jù)的備份、冗災等已給大數(shù)據(jù)帶來更多的價值”，王宇說。

全國政協(xié)委員、南京政協(xié)主席沈健在談到大數(shù)據(jù)時代政府的公共基礎建設需求時說，在大數(shù)據(jù)的時代，政府要做的事情，首先第一應該高度重視數(shù)據(jù)的采集和生成。第二，做好數(shù)據(jù)的公開工作。第三，數(shù)據(jù)的整合。第四，建立我們的數(shù)據(jù)文化。第五，數(shù)據(jù)安全。這也意味著，在智慧城市等公共領域的基礎建設中，大數(shù)據(jù)更多的承擔了信息的挖掘和整合等更多的工作。

微軟、惠普、I B M、亞馬遜、facebook、twitter、VISA，大數(shù)據(jù)已經(jīng)在IT領域掀起浪潮，那么，大數(shù)據(jù)將給安防帶來一個怎樣的可預見的未來，我們拭目以待！