安防大數據技術難點分析與解決方案

文/鄧長春

伴隨著大數據技術在IT領域的持續(xù)發(fā)展與成熟，大數據逐步滲透到各行各業(yè)。在安防領域，大數據具有廣闊的應用場景，帶來深度的價值。經過初步摸索，安防大數據也面臨一些技術難點。對于這些問題，我們分析安防行業(yè)特有的場景特點，探討一些貼切的解決方案,使得大數據技術更好的為安防業(yè)服務。

大數據當前在各行業(yè)的應用

大數據技術發(fā)端于IT領域，當前在互聯(lián)網、電子商務中應用得最為成熟。Google公司根據用戶海量的搜索日志，成功預測病情在北美的蔓延情況；通過分析處理大量的語料庫，為用戶提供精準的在線翻譯。亞馬遜根據用戶過往的購買行為，分析出特定用戶群的購買“口味”，從而在自己的網站中提供精準的廣告推薦。而國內的淘寶網，通過分析網民瀏覽商品的日志，給買家提供到特定商品的關聯(lián)匹配。

在其他行業(yè)，大數據的使用也屢見不鮮：

在衛(wèi)生行業(yè)，基于全民的電子檔案與電子病歷庫正在構建。通過全民電子病歷庫，我們能分析全民的健康狀況，監(jiān)控相關疾病的蔓延走勢，為做好衛(wèi)生防范措施提供參考。

在電力行業(yè)，通過分析大區(qū)域的用電記錄，能夠優(yōu)化電力企業(yè)管理模式，提升企業(yè)經營水平，為基建決策提供有力參考，提高智能控制水平，加強電力的協(xié)同管理。同樣對于整個國家，通過分析用電情況，在宏觀掌握國家的經濟狀況，為制定經濟政策提供參考。

在物流行業(yè)，通過分析大量以往的配送記錄，在宏觀上掌握大類物品的流向，提前把物品運送到特定區(qū)域，提高送貨效率。在國外，一家大型的超市，通過分析交通與商品大體流向，能在精確的時間范圍內，把特定類商品送到特定的門店，減少庫存時間，提高周轉率，創(chuàng)造企業(yè)利潤。

同樣，在安防領域，大數據也得到廣泛使用。

大數據助力安防行業(yè)

經過一段時間的摸索，大數據助力安防行業(yè)的發(fā)展取得相當的成效，部分企業(yè)如?？低暤纫呀浻辛溯^多的成熟項目案例。

在智慧交通方面，海康威視借助大數據技術，交通管理系統(tǒng)能夠在惡劣的網絡環(huán)境，對城區(qū)交通要道進行拍攝與錄制，同時把圖片與視頻數據輸往后端的大數據處理平臺。通過后端大數據處理，識別繁忙的路段，提前做好交通分流措施。借助車牌識別技術，綜合各卡口的過車記錄，能夠分析特定車輛的運行軌跡。同樣，通過對大量行車違法記錄的模式識別，能在特定路段對具有違規(guī)傾向的車輛進行報警，比如在高架橋，高速公路上。通過對城市周邊主要卡口大量的行車記錄分析，能識別出異常的進出城的記錄，做好防范措施。

在公安執(zhí)法方面，?？低曂ㄟ^人臉識別技術，提高對犯罪嫌疑人追查的效率。通過對大量異常行為的模式特征提取，能提前判別違法行為，比如在火車站，通過對扒手外觀打扮，行為舉止，作案時的動作特征分析，能夠提前把嫌疑信息告知車站治安人員，提高執(zhí)法的效率。

在平安城市、智能家居，方方面面，安防大數據也引領很多新奇的應用。

安防大數據當前面臨的技術難點

然而，伴隨著大數據在安防領域越來越深入的應用，也突現(xiàn)出一些技術難點。在IT領域，大數據技術發(fā)展較為成熟，針對不同的應用場景有較為豐富的技術選型以及技術路線，其中很多技術可以移植應用到安防領域中。但IT與安防畢竟是兩個不同的領域，兩者之間存在很多不一樣的地方。最大的不同，就是數據本身的不同，主要體現(xiàn)在一下方面：

數據類型不同。在IT領域，大數據處理的對象往往是網頁索引、用戶行為、日志記錄等字符型數據，這些是結構化、方便計算識別處理的數據。而在安防領域，數據往往以圖片、音頻、視頻等非結構化的數據，往往計算機不能直接識別，這些數據只有在人面前才顯得有意義。

數據量在數量級上的不同。在互聯(lián)網領域，單條日志記錄一般在一百字節(jié)之內，到了1PB的日志記錄，已經是一個足夠大的量。但在安防領域，一張普通的縮略圖就幾百KB,如果考慮高清攝像，高清視頻，這個數量要更大。一個普通的中等城市，在主要交通卡口拍攝的圖片，一年下來就能積壓幾個PB的數據，如果考慮視頻，這個數據量更大。

對數據的實時性要求不同。在互聯(lián)網行業(yè)，以日志型數據分析為主的典型應用中，對實時性要求沒那么高，比如淘寶的推薦系統(tǒng)，是否分析最近一個小時用戶的瀏覽記錄對于推薦效果關系不大。而在安防領域，前端攝像頭錄制的都是實時流，這是一個不間斷的數據流，最近錄制的數據超過一定時間沒有得到有效保存，將會永遠被丟失。

針對安防領域與IT領域在數據本身上的異同，把適合IT領域常規(guī)的大數據技術搬到安防領域就會碰到一些技術難點，表現(xiàn)如下：

存儲成本問題。在IT領域，海量的數據往往保存在分布式存儲系統(tǒng)中，為了提高數據的可靠性，一份數據往往復制成幾份相同的副本，分別保存在不同的節(jié)點中，當其中一些副本丟失時，可以從其他節(jié)點讀出數據。比如在Hadoop中，一份數據往往在集群中保存了相同的3份。如果有1PB的原始數據，則至少要占用3PB的磁盤空間。而在安防領域，幾個交通卡口的視頻，在一個較短的時間內，如果不覆蓋之前的數據，就能輕易積壓幾個PB。由于圖像、音頻、視頻數據本身的量太大，生搬傳統(tǒng)的多副本策略成本過高，我們需要設計出一些更高效同時不損失可用性的方案。

小文件存儲問題。這個問題是大數據技術面臨的一個共性問題，但在安防領域可能又突現(xiàn)得較為嚴重。在互聯(lián)網，小文本、圖片、音樂都是小文件，當層積較多時，都面臨如何存取這些海量小文件的問題。而在安防行業(yè)，小文件主要以圖片為主，比如一個城市的主要交通卡口在一年內，就能產生百億張圖片。對于這些海量的小文件的存儲，涉及到大量元數據的管理，保證存取的性能是問題的關鍵。

當然，問題并不可怕，通過分析研究安防應用場景，我們摸索出一些貼合安防大數據的解決方案。

解決問題的方向

引入擦除碼（Erasure Code）技術，節(jié)省存儲空間。擦除碼是一個在通信理論中的術語，其基本思想就是：一條原始信息由K個符號構成，在信息發(fā)送前，通過某種具有冗余功能的數學映射，生成由（K+M）個符號組成的編碼后的信息，然后把編碼后的信息通過信道發(fā)送給接受方，由于信道的不可靠特性，在信息傳輸的過程中可能會丟失幾個符號，接受方在接受到信息后，只要丟失的符號不超過M個，則接受方在剩余的符號中通過逆向的數學變換，能還原出由K個符號組成的原始信息。

圖-1 信息在信道中的傳輸過程

如上圖所示：原始信息由[A、B、C]三個符號組成，現(xiàn)在通過編碼函數f對其進行編碼，生成編碼后的信息為[a、b、c、d、e],編碼后的信息在信道上進行傳輸，在傳輸的過程中由于某種原因符號a與b丟失了，接受方只接受到了三個符號[c、d、e]，接受方通過解碼函數-f（實際上就是編碼函數的逆函數）進行解碼，能夠計算出原始的信息[A、B、C]。由上可看出，信道雖然不可靠，但在信道上丟失的兩個符號并不影響我們整個信息的傳輸，我們唯一要做的工作就是在發(fā)送信息前與接收信息后做一定的編碼與解碼工作。

受上面思想的啟迪，在分布式存儲系統(tǒng)中，一個大文件分成若干塊，這些不同的塊分發(fā)到不同的節(jié)點中，現(xiàn)在假設一個文件由K個數據塊組成，我們通過編碼后變成（K+M）個編碼塊，再把這（K+M）個編碼塊分發(fā)到不同的節(jié)點中?，F(xiàn)在由于集群中幾個節(jié)點失敗，丟失了幾個塊，只要丟失的塊數不超過M，我們依然能從其他節(jié)點中讀入K個編碼塊，通過解碼運算，得出我們之前的K個數據塊，也就還原出那個完整的文件。而在分布式系統(tǒng)中，超過M個數據節(jié)點同時失效的可能性很小，由此可以看出，雖然存在節(jié)點失敗的情況，但依然不影響我們數據存儲的可靠性。這里引入額外的存儲空間為（M/K）倍，而傳統(tǒng)的N副本策略，引入的額外存儲空間為（N-1）倍，通過調節(jié)M與K的關系，我們能把存儲空間降到1.3倍，這與傳統(tǒng)Hadoop占用存儲空3倍相比，具有巨大的節(jié)省價值。

在工程實踐中，我們通過數據分條帶，優(yōu)化編碼分組策略，進行高效快速的編解碼計算，既保證數據存取的性能，又節(jié)省了大量的磁盤空間。如圖-2，數據橫向分條帶，同一個條帶內，左邊為原始數據（K=4），右邊為編碼后的數據(M=2)，存儲時，把同一個條帶內的所有數據分發(fā)到分布式系統(tǒng)上的不同節(jié)點。當處于同一個條帶內的數據丟失塊數不超過2時，依然能從剩下的數據塊中通過解碼計算出原始的數據。

圖-2 數據分條帶，進行編碼存儲

建立索引，小文件合并成大文件集中存儲。對于大量的數據，單機無法存儲，借助分布式存儲技術，將數據分散存儲到不同的節(jié)點上。但主流的HDFS分布式存儲系統(tǒng)適合存儲少量的大文件，就是文件個數較少，但單個文件的很大。如果大量的小文件樸素的存放在HDFS中，由于要管理的元數據巨大，嚴重印象集群的可擴展性，以及文件本身的存儲性能。解決問題的思路是，把大量的小文件合成一個大文件，同時對這些小文件建立索引，索引信息集中管理。當要讀取文件時，先查找索引信息，根據查找出的索引信息再定位到那個大文件具體位置，讀出小文件。

圖-3 小文件合成大文件，并且建立索引

如圖-3，上面為把若干小文件合成一個大的文件，下面為針對這些小文件建立的索引，所有的索引又合成一個索引文件。在工程實踐中，我們又對索引文件的結構進行了優(yōu)化，引入了哈希索引結構，由于哈希定位過程相當過，所以提升了小文件的讀取性能。同時，由于索引文件很小，我們除把索引文件持久化到底層文件系統(tǒng)，還同時把索引信息讀入內存，這樣極大提升了文件存取效率。

結語

隨著大數據技術的逐步發(fā)展與深入應用，它會給我們帶來越來越多的潛在價值。當安防行業(yè)進入就計算化時代后，各種前端設備采集大量的圖片、音頻、視頻，這個數據在一個較小的區(qū)域一個較短的時間內，就能積攢海量的數據，要掌握并且成功挖掘出這些數據的價值，更好的為安防服務，急需我們掌握大數據技術。目前，安防行業(yè)僅有?？低暤葮O個別企業(yè)掌握了該項技術。

由于安防行業(yè)和IT互聯(lián)網行業(yè)存在差異，我們在借鑒互聯(lián)網大數據技術的同時，也要深入研究我們的安防場景，探索一些貼切安防應用的大數據技術。安防大數據第一階段要解決安防大數據的存儲問題，當解決好存儲問題后，我們進入到安防大數據分析處理階段，當我們具備嫻熟的分析處理技術后，可以進入深度學習，多維數據挖掘的深入應用。這一路還很漫長，我們慢慢探索，精益求精，一定能讓安防大數據更好的服務安防業(yè)，保證我們的幸福安康。