面向套牌甄別的流式計算系統(tǒng)

喬 通，趙卓峰，丁維龍

(1.北方工業(yè)大學 數(shù)據工程研究院，北京 100144； 2.大規(guī)模流數(shù)據集成與分析技術北京市重點實驗室(北方工業(yè)大學)，北京 100144)

(*通信作者電子郵箱1790392536@qq.com)

面向套牌甄別的流式計算系統(tǒng)

喬 通1,2*，趙卓峰1,2，丁維龍1,2

(1.北方工業(yè)大學 數(shù)據工程研究院，北京 100144； 2.大規(guī)模流數(shù)據集成與分析技術北京市重點實驗室(北方工業(yè)大學)，北京 100144)

(*通信作者電子郵箱1790392536@qq.com)

套牌車的甄別具有時效性約束。針對現(xiàn)有計算檢測方法中所出現(xiàn)的精度低、響應慢等局限，提出了一種基于實時車牌識別(ANPR)數(shù)據流的套牌車流式并行檢測方法，設計了基于路段閾值表和時間滑動窗口的套牌計算模型，能夠實時地甄別出交通數(shù)據流中的套牌嫌疑車。在Storm環(huán)境下，利用某市真實交通數(shù)據集模擬成實時交通流數(shù)據進行實驗和評估，實驗結果表明計算的準確率達到98.7%，并且一條車牌識別數(shù)據的處理時間為毫秒級。最后，在該計算模型基礎上實現(xiàn)了套牌車稽查防控系統(tǒng)，能實時甄別并展現(xiàn)出當前時刻城市交通網中出現(xiàn)的所有套牌嫌疑車。

套牌車；車牌識別；流式計算；實時性；閾值表；Storm

0 引言

套牌車是指未按照交通法規(guī)的正常程序到交通部門辦理合法的手續(xù)，通過套用別人合法車牌或者偽造虛擬車牌在道路上行駛的車輛。套牌車的出現(xiàn)嚴重擾亂了正常交通管理秩序和社會經濟秩序，但由于缺乏有效的套牌車稽查方法，當前套牌車的發(fā)現(xiàn)還主要依賴于人工手段，其發(fā)現(xiàn)難度大，準確率低，時效性差，導致很多套牌車仍逍遙法外。不過隨著車牌識別(Automatic Number Plate Recognition, ANPR)、RFID(Radio Frequency IDentification)[1]車牌等技術的推廣應用，使得實時獲取車輛的動態(tài)信息成為可能，為套牌車的實時甄別提供了條件。

本文結合基于車牌識別數(shù)據的車輛緝查防控系統(tǒng)這個實際應用，針對套牌車的實時自動甄別問題展開研究。車牌識別數(shù)據是由部署在城市道路上高清攝像頭拍攝產生的，由識別攝像頭ID、車牌號、時間戳和地點等22個屬性值構成，具有時空特性。通過對城市范圍內所有車牌識別數(shù)據的匯集，可通過時空矛盾規(guī)則自動發(fā)現(xiàn)有套牌嫌疑的車輛，即同一車牌號的車輛不可能在一定的時間閾值范圍內出現(xiàn)在兩個不同的地點。由于套牌車在道路上的出現(xiàn)具有隨機性，隨時都有可能出現(xiàn)，因此，只要道路上的高清攝像頭處于正常工作狀態(tài)，車輛識別數(shù)據就會一直持續(xù)產生，源源不斷，套牌車的計算也就一直持續(xù)進行，是交通大數(shù)據上的流式計算。流式計算是大數(shù)據計算的一種主要計算模型[2-4]，適用于對數(shù)據無需先存儲，直接進行計算以及實時性要求嚴格的應用場景，可以對動態(tài)產生的數(shù)據直接進行實時計算并及時反饋結果，而且只要數(shù)據流一直產生，流式計算就不會停止，除非主動終止任務或者計算環(huán)境出現(xiàn)故障。

本課題在流式計算中進行基于車牌識別數(shù)據的套牌車自動甄別時，主要解決以下難點問題：1)實時性。套牌甄別出的結果數(shù)據具有時效性，套牌車出現(xiàn)后應該在較短的時間內甄別出來，才能協(xié)助交管部門進行交通執(zhí)法，因此，本課題中面對高并發(fā)、連續(xù)不斷到達的車輛識別數(shù)據，一條數(shù)據從識別出來至完成計算處理不應該超過3 s。2)準確性。套牌甄別的正確率越高，交管部門打擊套牌現(xiàn)象力度越大，交通規(guī)范越好。本課題中大型城市道路上所部署攝像頭多達幾千個，在高峰期的采樣頻度為1 s/條，1 h就會產生上千萬條數(shù)據，套牌車的計算是根據其時空矛盾規(guī)則來判定的，因此不僅僅是對實時數(shù)據的計算，部分歷史數(shù)據和基礎數(shù)據也需要參與計算，參與計算數(shù)據量大，而大數(shù)據量中套牌車的信息很少，非套牌車的數(shù)據大，增加了高精度計算的難度。為此，本文在對交通流式數(shù)據處理利用套牌車時空矛盾規(guī)則做實時計算時，提出了一種基于路段閾值表的套牌甄別流式計算模型，針對歷史交通數(shù)據設計了時間滑動窗口，實現(xiàn)了對交通數(shù)據流中出現(xiàn)的套牌車的實時自動甄別。通過基于真實車牌識別數(shù)據集的測試，實驗結果表明本系統(tǒng)能夠持續(xù)不間斷地計算識別數(shù)據流，能夠準確地甄別出數(shù)據流中出現(xiàn)的套牌嫌疑車，并且每個數(shù)據項的計算處理是在毫秒級內完成。

1 相關工作

目前，針對套牌車檢測的研究越來越多，成為智能交通領域的一個研究熱點，采用的技術手段和識別方式也越來越多樣化。

文獻[1]提出基于RFID技術的檢測方法，該方法將RFID電子標簽植入車輛內，標簽內保存這輛車的車型、車輛顏色、車牌號等車輛相關信息，通過交通路口放置的電子標簽讀寫器讀取標簽中存放的車牌號等信息，然后與實際車輛的信息進行對比，從而判讀出該車輛是否是套牌車。此方法雖然可行有效，但是需要交管部門增加投入資金，花費成本高，難以大范圍推廣；而且RFID標簽需要經過車主同意配合才能實施；此外RFID電子標簽還面臨著被“克隆”的危險且標簽里面的信息容易被非法篡改，導致無法準確地判斷出套牌車。文獻[5]提出的基于光學隱碼的檢測方法是利用在車牌上采用特殊的光學材料制作的防偽信息條形碼來判斷車輛是否是套牌車。此方法雖然一定程度上克服了RFID電子標簽易被修改的缺點，降低了被“克隆”的風險，但是仍面臨的問題還是成本高、難以推廣，導致無法全面有效地甄別套牌車。文獻[6]采用基于車型識別的檢測方法，在道路上放置車牌識別工具，將識別出的車牌號和車型與車輛信息庫中的車輛信息進行比較，進而判定是否是套牌車。但是由于當今車輛車型比較單一，導致套牌識別率比較低。本文利用城市交通路網上部署的高清攝像頭實時拍攝道路上過往行駛的車輛，提取車牌識別數(shù)據，利用套牌車的時空矛盾規(guī)則對拍攝到的每一輛進行套牌車的實時甄別計算，在大大降低了檢測成本的同時提高了檢測的準確率。

文獻[7]提出一種基于MapReduce與K最近鄰搜索算法來對海量歷史數(shù)據進行短時間交通流預測的方法，雖然針對的并不是套牌車甄別的問題，但對并行處理交通數(shù)據流有一定借鑒意義。文獻[8]介紹了一種基于TP-Finder方法的套牌車查詢系統(tǒng)，在MapReduce框架上提出基于歷史車牌識別數(shù)據集的并行檢測方法TP-Finder，解決了大規(guī)模車牌數(shù)據集在并行處理時所出現(xiàn)的數(shù)據傾斜問題。文獻[9]提出了一種基于Hadoop的套牌車識別方法，將交通流數(shù)據遷移到HBase中并消減經緯度，然后初始化以監(jiān)測點作為頂點集和兩兩監(jiān)測點之間距離作為邊權值的帶權圖，通過計算監(jiān)測點之間的最短距離以及校正因子獲取套牌嫌疑車。上述這兩種方法雖然正確率都很高，但是都是通過對大規(guī)模歷史數(shù)據進行并行計算，從而挖掘出歷史數(shù)據中的套牌車，針對的是歷史交通數(shù)據，時效性太低，無法及時地檢測出城市當前道路交通網上正在行駛的套牌車。本文實現(xiàn)的套牌車流式計算系統(tǒng)是對城市道路上攝像頭所實時識別出的車牌識別數(shù)據流進行實時接入，然后通過計算模型進行實時計算，計算結果實時反饋并進行交通布控，大大提高了套牌車甄別的時效性，能夠幫助交管部門對道路上出現(xiàn)的套牌車進行及時有效的處理。

如今面向大規(guī)模交通數(shù)據進行的套牌車計算都是批量計算[3]，參與計算的大都是歷史數(shù)據，采用的是MapReduce計算框架[10]，利用“分而治之”的思想進行分布式計算，適用于大規(guī)模歷史數(shù)據的處理，處理的都是靜態(tài)數(shù)據，無法對流數(shù)據進行處理。本課題中的套牌稽查面向的是交通流數(shù)據，進行的是流式計算，現(xiàn)有的大數(shù)據流式計框架有Twitter的Storm(https://en.wikipedia.org/wiki/Storm)、Spark的Spark Streaming[11]、Yahoo的S4[12]、Hadoop之上的數(shù)據分析平臺HStreaming[13]，其中的主要代表是Storm和Spark Streaming。Spark Streaming是核心Spark API(Application Programming Interface)的一個擴展，數(shù)據在處理前按時間間隔保存至彈性內存數(shù)據結構——彈性分布式數(shù)據集(Resilient Distributed Dataset, RDD)，通過微小批量的數(shù)據集合進行聚集運算，響應時間為亞秒級；而套牌車甄別的單條數(shù)據的處理時間是毫秒級，實時性高，因此Spark Streaming不適合用于流上的套牌甄別。Storm的計算單元是一個封裝好的元組，是一次對一條數(shù)據的計算，響應時間是毫秒級，實時性高。本文套牌車的甄別就是在Storm框架上進行實現(xiàn)的。Storm是一款支持分布式、開源、實時、主從式大數(shù)據流式計算系統(tǒng)[4,14-15]，由一個主控節(jié)點(運行nimbus服務)和多個工作節(jié)點(運行supervisor服務)構成。Storm做實時計算時，首先創(chuàng)建一個拓撲(Topology)，計算邏輯被封裝在一個拓撲對象中，一個拓撲是一個由多個Spout和Bolt節(jié)點連接成的有向圖，拓撲中的每一個節(jié)點包含處理邏輯，節(jié)點之間的連接顯示數(shù)據應該如何在節(jié)點進行傳輸。Storm開源后在互聯(lián)網領域和金融銀行領域的實時監(jiān)控[16]場景中得到充分應用，例如，淘寶的蟲洞系統(tǒng)以Storm實時流處理為引擎，進行個性化推薦、熱門話題統(tǒng)計等；在銀行中處理系統(tǒng)內部各子系統(tǒng)實時信息，實現(xiàn)對全局的監(jiān)控和各種優(yōu)化；除此之外在分布式遠程調用、在線機器學習、數(shù)據抽取轉化和加載等領域[17]也得到廣泛的應用。

2 問題描述

本課題來源于某市智能交通項目，該市區(qū)交通網中的多個關鍵路口部署高清攝像頭用于自動識別過往的車輛，攝像頭每秒會拍攝多輛機動車并識別出其車牌，日常交通高峰時段每小時會產生上千萬條識別數(shù)據，識別數(shù)據項包含時間戳、監(jiān)測點和拍攝照片等在內的22個屬性，本系統(tǒng)的套牌甄別計算涉及拍攝時間、監(jiān)測點ID、識別車牌號等時間空間和實體屬性。系統(tǒng)對這條識別數(shù)據進行實時分析，用于甄別套牌車，整個計算過程除非系統(tǒng)故障或者人為中斷，否則計算一直持續(xù)進行。

2.1 相關定義

定義1 監(jiān)測點。城市道路中攝像頭監(jiān)控所在的位置，定義為Pi=(Id,lon,lat)，Id為監(jiān)測點Pi唯一標識，lon和lat為其所在經緯度。

定義2 路段。從一個監(jiān)測點Pi到另一個監(jiān)測點Pj之間的交通路線,可以理解為一個方向向量：Rk(Pi,Pj)，路段的上游監(jiān)測點為Pi，下游監(jiān)測點為Pj。

定義3 旅行時間。T=(Cno1,Pi,t)，表示車牌號為no1的車輛C正常情況下行駛通過路段Pi所花費的時間為t。

2.2 Storm下實現(xiàn)套牌甄別計算的挑戰(zhàn)

Storm自從Twitter開發(fā)出來主要用于解決其大量的實時統(tǒng)計類應用，正式開源后，其分布式實時計算性能非常高，容錯性良好，保證到達的每條消息都能得到處理，并且某些數(shù)據挖掘算法已經很好地在Storm系統(tǒng)中得到移植實現(xiàn)[15]，快速準確地處理流數(shù)據，實時進行結果反饋。

盡管Storm已應用于智能交通上，但由于交通數(shù)據具有時空特性，解決的問題比較單一，例如用于處理黑名單車輛緝查和假牌車等這一類進行數(shù)據比較的問題。在套牌車的稽查時，根據套牌車的時空矛盾規(guī)則，其計算不僅需要實時數(shù)據還需要車牌歷史數(shù)據和業(yè)務數(shù)據，在Storm中缺乏對非實時數(shù)據合理有效組織的數(shù)據結構，僅支持對實時傳遞的數(shù)據的管理組織。在數(shù)據存儲方面，Storm只能在內存中短期存儲少量數(shù)據，無法長期存儲數(shù)據。如何在分布式環(huán)境下結合交通數(shù)據流的時空特性實時計算套牌車是當前一大挑戰(zhàn)。在接入數(shù)據源方面，Storm作業(yè)Topology的數(shù)據源Spout是直接從外部數(shù)據源源源不斷地讀取數(shù)據的，而交通數(shù)據流的數(shù)據源是城市道路上部署的各個高清攝像頭采集的車輛識別數(shù)據，攝像頭的數(shù)量有數(shù)千個，Spout無法直接和前端攝像頭建立連接并獲取車牌識別數(shù)據，因此需要接入消息中間件來承上啟下，將外部各個攝像頭采集的識別數(shù)據匯集成交通數(shù)據流以便Spout組件讀取數(shù)據流。

因此，本文研究的重點在于面對大規(guī)模實時交通數(shù)據流，應用分布式編程框架，結合車牌識別數(shù)據的時空特性和套牌車的時空矛盾規(guī)則，有效組織和管理非實時數(shù)據，準確高效地計算出路段上出現(xiàn)的套牌車。

3 面向套牌甄別的流式計算模型

本文在Storm環(huán)境下通過利用套牌車的時空特性進行計算，合理組織利用業(yè)務數(shù)據，對實時到達的車牌識別數(shù)據進行分析，根據當前車輛的地理位置(監(jiān)測點)，找出此車牌車輛過去一段時間內經過的所有監(jiān)測點，結合基礎路段信息構建路段并計算出車輛經過這些路段的旅行時間，利用基礎路段閾值表中的路段閾值判斷車輛在所經過路段上是否出現(xiàn)了套牌。架構設計如圖1，數(shù)據的輸入分為兩類：經過消息中間件傳輸?shù)膶崟r數(shù)據流和數(shù)據庫中的基礎數(shù)據。流式數(shù)據是前端設備實時發(fā)送的車牌識別數(shù)據，通過消息中間件實現(xiàn)事件觸發(fā)，推送至系統(tǒng)?；A數(shù)據是通過數(shù)據庫讀取接口讀取到處理系統(tǒng)的，為實現(xiàn)基礎數(shù)據更新后的業(yè)務連續(xù)性，每隔一段時間對加載的基礎數(shù)據進行定時更新，丟棄已有的基礎數(shù)據，重新讀取以保持數(shù)據的新鮮度。運行時環(huán)境用于維護數(shù)據結構和完成數(shù)據處理，包括對實時數(shù)據的接入、對具有時空特性的流式數(shù)據以滑動時間窗口形式進行維護，基礎數(shù)據在內存中的Hash結構、對流式數(shù)據的劃分策略、計算并行度的配置，以及監(jiān)控和日志等基礎功能。數(shù)據的輸出主要是對計算的套牌嫌疑車直接進行實時布控以幫助交管部門進行執(zhí)法以及將計算結果寫到數(shù)據庫用于長期存儲。

圖1 系統(tǒng)架構設計

3.1 混合數(shù)據

套牌車在交通數(shù)據流中的表現(xiàn)形式為正常行駛的車輛在短時間內不可能出現(xiàn)在相同的監(jiān)測點或者不可能出現(xiàn)在不應該出現(xiàn)的兩個監(jiān)測點，即車輛行駛過該路段的旅行時間小于該路段的套牌閾值，因此，參與計算的數(shù)據并不僅僅是前端攝像頭拍攝到的實時數(shù)據。參與計算的數(shù)據共分為以下三類。

實時數(shù)據 前端高清攝像頭產生的車輛識別數(shù)據，每秒會有2 000多條。系統(tǒng)對接收數(shù)據流中的每一條車牌識別數(shù)據都會進行實時計算。

業(yè)務數(shù)據 套牌閾值表，該表中存儲著城市道路的路段旅行時間，即此路段的套牌閾值。

歷史數(shù)據 歷史數(shù)據存儲的是當前接入的實時數(shù)據。歷史數(shù)據的存儲時間和大小是根據業(yè)務數(shù)據中最大的套牌閾值決定的，假設套牌閾值表中存儲的旅行時間閾值最大為1h，即從該路段的上游監(jiān)測點出發(fā)行駛到下游監(jiān)測點的最短時間為1h。假設當前到達的實時數(shù)據是某輛車在該路段的下游監(jiān)測點被拍攝到的，判斷這輛車在該路段是否出現(xiàn)了套牌現(xiàn)象，則需要這輛車在該路段上游監(jiān)測點被拍攝到的車輛識別數(shù)據，結合上下游監(jiān)測點的時空屬性進行計算，因此，在歷史數(shù)據中應該存有這條車輛識別數(shù)據。所以歷史數(shù)據的時間長度不能小于業(yè)務數(shù)據中最大的套牌閾值。

3.2 數(shù)據組織

本文的目的是利用Storm計算框架實時計算出大規(guī)模交通流式數(shù)據中存在的套牌車嫌疑車，核心思想是進行實時并行計算，將計算任務分配到多個計算節(jié)點，最后對計算出的套牌嫌疑車進行布控。通過任務分配和對實時數(shù)據、業(yè)務數(shù)據及歷史數(shù)據這三類數(shù)據的有效組織管理達到提高計算性能、降低內存消耗的目的。

實時數(shù)據 組件Spout是Storm整個框架中的數(shù)據源，計算套牌車的數(shù)據源Spout組件以隊列連接的形式從實現(xiàn)JMS協(xié)議的消息中間件接收車牌識別數(shù)據。由于識別數(shù)據是一個由拍攝的照片、時間和車身顏色等22個屬性整合成的數(shù)據結構，蘊含信息比較龐雜，包括比如車身顏色等對套牌車計算無用的信息，稱這種類型的數(shù)據為冗余數(shù)據項，需要剔除冗余數(shù)據項以減少內存消耗，最后將識別數(shù)據中的識別車牌號、時間、地點等屬性封裝成一個Tuple元組。Spout通過追蹤每個元組樹來確保每一個元組被可靠地處理，成功處理則調用ack方法，失敗則調用fail方法，保證了數(shù)據處理的完整性。

歷史數(shù)據 本文所用業(yè)務數(shù)據中最大的套牌閾值為1h，因此需要維護歷史數(shù)據的時間長度為1h，將最近1h活躍的數(shù)據對象存儲在內存中。需要維護一種不但能夠對當前識別數(shù)據保存1h而且能在時間過后對數(shù)據進行刪除的數(shù)據結構。RotatingMap是Storm用來保存最近活躍對象和可以自動刪除已過期對象的數(shù)據結構，是由多個HashMap組成的一個LinkedList集合。本文借助RotatingMap這個數(shù)據結構作為基礎，進而構建滑動時間窗口，用于存儲歷史數(shù)據并刪除過期無效數(shù)據，數(shù)據存儲時間長度為1h，時間窗口更新頻率設定為10s(要小于套牌閾值表中最小的旅行時間閾值)，則共有360(60min×60s/10s)個窗口，每個窗口都是一個HashMap，窗口每10s向前滑動一次，如圖2所示，時間長度始終保持為1h。

圖2 滑動時間窗口

業(yè)務數(shù)據 用兩個哈希表(HashMap)進行存儲，一個哈希表以路段上游監(jiān)測點作為鍵值Key，Value為一個由以此鍵值Key作為上游監(jiān)測點的所有路段的下游監(jiān)測點組成的集合；另一個哈希表以路段下游監(jiān)測點作為Key，Value為一個由以此鍵值作為下游監(jiān)測點的所有路段的上游監(jiān)測點組成的集合。

3.3 算法設計

拓撲邏輯如圖3所示，主要由三部分組成：數(shù)據源(spout)、套牌計算(T_bolt)和數(shù)據存儲(DB_bolt)。在作業(yè)Topology中，數(shù)據源Spout為作業(yè)從外部的數(shù)據源獲取車牌識別數(shù)據并剔除無效數(shù)據項(如攝像頭編號等)，封裝成元組(Tuple)，向計算組件不間斷地emit(發(fā)射)Tuple形成Stream。套牌計算是分布式并行計算，因此有多個計算組件Bolt獨立存在，它們的計算互不干擾，每個Bolt都會接收上游送達的Stream作為數(shù)據輸入，合理組織基礎數(shù)據和接收的數(shù)據，進而根據時空矛盾規(guī)則進行套牌車的計算，將計算出的套牌信息封裝成Tuple發(fā)射到下一個Bolt(命名為DB_bolt)，作為DB_bolt的數(shù)據輸入。DB_bolt接收所有進行套牌計算組件的計算結果，把接收的數(shù)據存儲到數(shù)據庫中。

圖3 套牌計算Topology

作業(yè)Topology中Spout按Tuple中指定域的值——車牌號碼進行分組來進行數(shù)據劃分，向下游目標組件Bolt發(fā)送Tuple，即同一車牌的識別數(shù)據發(fā)送到同一個計算組件中。如圖4所示，這樣設計能夠確保具有相同車牌號的Tuple被發(fā)送到同一個Bolt，即同一個車牌號的識別數(shù)據會一直被確定Bolt處理而不會分散到其他Bolt上，保證了同一車牌號的計算中不會出現(xiàn)數(shù)據丟失現(xiàn)象。按車牌號劃分的這種數(shù)據劃分方式使計算水平擴展到多個節(jié)點，多個節(jié)點同時進行套牌車甄別，實現(xiàn)了分布式計算。

圖4 數(shù)據劃分

下游多個Bolt并行計算接收到的數(shù)據流中是否出現(xiàn)套牌車輛，并且將發(fā)現(xiàn)的套牌車輛信息都emit(發(fā)射)到同一個Bolt中，在該Bolt中將套牌嫌疑車的信息存儲到數(shù)據庫并對套牌嫌疑車進行布控。

套牌車計算的程序流程如圖5所示，由于Storm中的進程以服務的形式存在，除非人為主動停止或集群故障，這些進程將會一直運行，所以該流程只有開始標記而沒有結束標記。

第1步 對于來到的每一條數(shù)據獲取其監(jiān)測點、車牌號以及時間戳，判斷路段基礎信息表中是否有此監(jiān)測點：如果沒有則廢棄此條數(shù)據；如果有則進行下一步。

第2步 取出以此監(jiān)測點作為路段上游監(jiān)測點的所有路段及其路段閾值，以此監(jiān)測點Id為Key，所有下游監(jiān)測點組成的集合作為Value，組成HashMap;取出以此監(jiān)測點作為路段下游監(jiān)測點的所有路段及其路段閾值，以此監(jiān)測點Id為Key，所有上游監(jiān)測點組成的集合作為Value，組成HashMap。共有兩個哈希表。

第3步 找出當前車牌號行駛過的路段。循環(huán)遍歷以此監(jiān)測點Id為上游監(jiān)測點Key的HashMap的Value值，將當前識別數(shù)據的車牌和遍歷Value所得的一個下游監(jiān)測點組合成鍵值Key，獲取時間窗口中緩存的信息，用來判斷是否有通過這個下游監(jiān)測點的車輛(具有當前車牌號的車輛)。

第4步 計算當前車牌車輛所行駛過的路段的旅行時間，并判斷旅行時間是否小于套牌閾值，如果是則將此套牌嫌疑車信息封裝為Tuple傳遞給下一個Bolt。

第5步 將另一個HashMap中的數(shù)據按照第3步和第4步作同樣的處理。

第6步 將當前交通信息的車牌號和其監(jiān)測點作為Key，時間戳作為Value存入時間窗口中。

第7步 將上一個Bolt的傳遞過來的套牌嫌疑車信息存入數(shù)據庫并對套牌嫌疑車加以布控。

圖5 程序流程

4 實驗

4.1 實驗環(huán)境

實驗是在6臺搭建了Storm環(huán)境的Linux虛擬機下進行的，Storm集群由1個Nimbus節(jié)點、5個Supervisor節(jié)點構成，配置均為4核CPU、8GB內存。ActiveMQ作為消息中間件，LoadRunner模擬攝像頭采集車輛數(shù)據，CCS(ConcurrentConnectionStream)[18]是一款用C++語言設計的，用于接收LoadRunner發(fā)送的車牌識別數(shù)據并轉發(fā)給ActiveMQ消息中間件，充當ActiveMQ和LoadRunner之間的通信服務器。

4.2 實驗數(shù)據

實驗中采用的數(shù)據是來自于某市2012-10-17到2013-01-04這80天420多個監(jiān)測點產生的上百億條車牌識別數(shù)據，通過LoadRunner模擬成實時數(shù)據。

4.3 實驗用例

1)將LoadRunner并發(fā)數(shù)量分別設置為2 000,4 000,6 000,8 000，發(fā)送頻率為1條/s，用來模擬前端攝像頭數(shù)目分別為2 000，4 000，6 000和8 000，拍攝頻率為1條/s。集群計算組件Bolt的并行度設置為5，即計算并行度為5。啟動集群進行計算，集群正常工作后監(jiān)控系統(tǒng)并記錄觀察一條識別數(shù)據從傳輸?shù)接嬎阃瓿伤ㄙM的平均時間。

如圖6所示：橫坐標為并發(fā)數(shù)量，縱坐標為時間(ms)，可以看到處理時間在0.64ms～0.67ms波動，變化幅度很小，處理時間都近似于0.6ms，說明一條識別數(shù)據從傳輸?shù)接嬎阃瓿伤ㄙM時間是毫秒級的，驗證了本系統(tǒng)處理識別數(shù)據流的實時性，完全可以在大規(guī)模高并發(fā)的數(shù)據流下進行實時計算。通過圖6可以清晰看到，雖然LoadRunner并發(fā)度不一樣，即模擬攝像頭的數(shù)目有多有少，但一條識別數(shù)據的處理時間基本都一樣，這是因為本系統(tǒng)設計的滑動時間窗口長度固定為1h，計算所需歷史數(shù)據的時間長度不變，即使LoadRunner并發(fā)量增加，數(shù)據增多，但套牌車的甄別是根據其時空矛盾規(guī)則來計算的，即同一車牌號的車輛不可能在一定的時間閾值范圍內出現(xiàn)在兩個不同的地點，與數(shù)據量的多少沒有直接關系，因此，一條識別數(shù)據的處理時間基本一致。

圖6 不同數(shù)據量下的計算時間

2)為驗證系統(tǒng)高正確率，隨機抽取5d數(shù)據分別進行模擬實時計算和基于歷史車牌識別數(shù)據的并行計算[18]。基于歷史車牌識別數(shù)據的并行計算是在Hadoop平臺上對歷史車牌識別數(shù)據進行套牌車的并行檢測，是一種批量計算。根據計算結果，即計算出的套牌嫌疑車，與交通部門所提供套牌車對比并計算正確率。如圖7所示，分別計算出兩種方法的平均正確率，本系統(tǒng)的正確率為99%，高于批量計算98.3%的正確率。驗證了根據套牌車時空矛盾規(guī)則所設計的流式計算模型的高正確率。本系統(tǒng)的正確率之所以高，是因為采用的是基于路段閾值表的計算，路段閾值表中的路段閾值是在該城市道路中依照車輛正常行駛情況而得出的一個平均旅行時間作為該路段的套牌閾值，符合正常規(guī)律。而另一種批量計算是根據兩個監(jiān)測點的經緯度，利用數(shù)學公式計算兩個監(jiān)測點之間物理距離，然后根據車輛經過這兩個監(jiān)測點的時間差，計算車輛的平均行駛速度VA，車輛最大速度閾值為VM，若VA>VM，即車輛已超出最大閾值，說明該車輛不可能在這個時間段內出現(xiàn)在這兩個地方，從而斷定此車輛的車牌在這兩個監(jiān)測點出現(xiàn)了套牌。這種根據經緯度計算兩點之間的物理距離看似很合理，但是實際生活中，這兩個監(jiān)測點之間的路段并不一定是一條直線，很有可能是一條彎曲或者傾斜的路，這就造成了誤差，降低了計算的正確率。因此，采用本文提出的方法計算出的套牌車的正確率更高。

圖7 實驗結果的正確率對比

3)對布控信息以可視化形式展示計算出的套牌嫌疑車信息：圖8中的監(jiān)測點1和監(jiān)測點2表示此車輛的車牌在這兩個監(jiān)測點出現(xiàn)了套牌，交通部門的管理人員可通過此布控信息偵查套牌車。

5 結語

針對當前套牌車泛濫以至影響正常交通秩序的現(xiàn)狀，提出了一種基于車牌識別數(shù)據的流式計算套牌車主動識別的方法。提出了針對套牌車主動識別的基于路段閾值表的計算模型，結合套牌車的時空特性創(chuàng)建時間滑動窗口以處理交通歷史數(shù)據，對參加計算的混合數(shù)據進行了合理有效組織并加以實時計算；對結果數(shù)據——套牌嫌疑車及時有效地進行布控并加以存儲，從而實時地發(fā)現(xiàn)套牌車。面對城市道路連續(xù)不斷實時產生的數(shù)據流，能夠將數(shù)據流在線接入并進行實時計算。在Storm環(huán)境下，實驗結果驗證了本文方法的準確性和實時性，能夠幫助交通管理部門實現(xiàn)對違法套牌車的實時布控和現(xiàn)場處罰，滿足交通管理部門的需要。

圖8 本文算法結果展示

在下一步的研究工作中，將進一步地探索和研究基于交通數(shù)據流的套牌車實時甄別。本文所設計的計算模型雖然相對于現(xiàn)有方法，其計算套牌車的準確性和實時性有較大幅度提升，但是由于基礎路段閾值表較大，在存儲方式上仍有不足，導致計算性能沒有達到最優(yōu)。因此在下一步的研究中將繼續(xù)對基礎路段閾值表的加載、存儲和查詢進行研究，降低內存使用率，提高對閾值表的查詢速度，提升計算性能。

)

[1] 黃銀龍,王占斌,徐旭,等.基于ISO/IEC18000—6B標準的RFID車卡防偽問題研究[J].射頻世界,2008(5):39-42.(HUANGYL,WANGZB,XUX,etal.Researchonanti-counterfeitingproblemofRFIDvehicletagsbasedonthestandardofISO/IEC18000—6B[J].RadioFrequencyIdentification, 2008(5): 39-42.)

[2] 孟小峰,慈祥.大數(shù)據管理:概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展,2013,50(1):146-169.(MENGXF,CIX.Bigdatamanagement:concepts[J].JournalofComputerResearchandDevelopment, 2013, 50(1): 146-169.)

[3] 覃雄派,王會舉,杜小勇,等.大數(shù)據分析——RDBMS與MapReduce的競爭與共生[J].軟件學報,2012,23(1):32-45.(QINXP,WANGHJ,DUXY,etal.Bigdataanalysis——CompetitionandsymbiosisofRDBMSandMapReduce[J].JournalofSoftware, 2012, 23(1): 32-45.)

[4] 孫大為,張廣艷,鄭緯民.大數(shù)據流式計算:關鍵技術及系統(tǒng)實例[J].軟件學報,2014,25(4):839-862.(SUNDW,ZHANGGY,ZHENGWM.Bigdatastreamcomputing：technologiesandinstances[J].JournalofSoftware, 2014, 25(4): 839-862.)

[5] 劉學靜,李崇,郝飛,等.含光學隱碼的汽車牌照防套牌技術研究[J].大連理工大學學報,2011,51(z1):77-80.(LIUXJ,LIC,HAOF,etal.Researchonanti-fakevehiclelicensetechnologywithopticalimplicitcode[J].JournalofDalianUniversityofTechnology, 2011, 51(z1): 77-80.)

[6]IQBALU,ZAMIRSW,SHAHIDMH,etal.Imagebasedvehicletypeidentification[C]//Proceedingsofthe2010InternationalConferenceonInformationandEmergingTechnologies.Piscataway,NJ:IEEE, 2010: 1-5.

[7]CHENC,LIUZ,LINWH,etal.DistributedmodelinginaMapReduceframeworkfordata-driventrafficflowforecasting[J].IEEETransactionsonIntelligentTransportationSystems, 2013, 14(1): 22-33.

[8] 李悅,劉晨.基于歷史車牌識別數(shù)據的套牌車并行檢測方法[J].計算機應用,2016,36(3):864-870.(LIY,LIUC.Paralleldiscoveryoffakeplatesbasedonhistoricalautomaticnumberplaterecognitiondata[J].JournalofComputerApplications, 2016,36(3): 864-870.)

[9] 俞東進,平利強,李萬清,等.一種基于Hadoop的套牌車識別方法:CN201410100491.7[P].2014-03-18.(YUDJ,PINGLQ,LIWQ,etal.Hadoop-basedrecognitionmethodforfake-licensedcar:CN201410100491.7 [P].2014-03-18.)

[10]DEANJ,GHEMAWATS.MapReduce:simplifieddataprocessingonlargeclusters[J].CommunicationsoftheACM, 2008, 51(1): 107-113.

[11]ZAHARIAM,DAST,LIH,etal.Discretizedstreams:anefficientandfault-tolerantmodelforstreamprocessingonlargeclusters[C]//HotCloud’12:Proceedingsofthe4thUSENIXConferenceonHotTopicsinCloudComputing.Berkeley,CA:USENIXAssociation, 2012: 10-10.

[12]NEUMEYERL,ROBBINSB,NAIRA,etal.S4:distributedstreamcomputingplatform[C]//ICDMW2010:Proceedingsofthe2010IEEEInternationalConferenceonDataMiningWorkshops.Piscataway,NJ:IEEE, 2010: 170-177.

[13]STOESSJ,STEINBERGU,UHLIGV,etal.AlightweightvirtualmachinemonitorforBlueGene/P[J].InternationalJournalofHighPerformanceComputingApplications, 2012, 26(2): 95-109.

[14] 鄭緯民.從系統(tǒng)角度審視大數(shù)據計算[J].大數(shù)據,2015(1):17-26.(ZHENGWM.Gazeatthecalculationofbigdatafromasystematicpointofview[J].BigData, 2015, 1(1): 17-26.)

[15]LEIBIUSKYJ,EISBRUCHG,SIMONASSID.GettingStartedwithStorm[M].Sebastopol:O’ReillyMedia, 2012: 4-20.

[16]ANDERSONQ.StormReal-TimeProcessingCookbook[M].Birmingham,UK:PacktPublishing, 2013: 4-8.

[17]DINGW,HANY,ZHAOZ,etal.Stream-orientedavailabilityservicesforendpoint-to-endpointdatatransmission[C]//Proceedingsofthe2012InternationalConferenceonCloudandServiceComputing.Washington,DC:IEEEComputerSociety, 2012: 212-218.

ThisworkispartiallysupportedbytheBeijingMunicipalNaturalScienceFoundation(4162021),theR&DGeneralProgramofBeijingEducationCommission(KM2015_10009007),theKeyYoungScholarsFoundationfortheExcellentTalentsofBeijing(2014000020124G011).

QIAO Tong, born in 1991, M.S.candidate.His research interests include real-time data processing, intelligent transportation.

ZHAO Zhuofeng, born in 1977, Ph.D., associate professor.His research interests include cloud computing, mass data processing, intelligent transportation.

DING Weilong, born in 1983, Ph.D., lecturer.His research interests include real-time data processing, distributed system.

Stream computing system for monitoring copy plate vehicles

QIAO Tong1,2*, ZHAO Zhuofeng1,2, DING Weilong1,2

(1.InstituteofDataEngineering,NorthChinaUniversityofTechnology,Beijing100144,China;2.BeijingKeyLaboratoryonIntegrationandAnalysisofLarge-scaleStreamData(NorthChinaUniversityofTechnology),Beijing100144,China)

The screening of the copy plate vehicles has timeliness, and the existing detection approaches for copy plate vehicles have slow response and low efficiency.In order to improve the real-time response ability, a new parallel detection approach, called stream computing, based on real-time Automatic Number Plate Recognition (ANPR) data stream, was proposed.To deal with the traffic information of the road on time, and plate vehicles could be timely feedback and controlled, a stream calculation model was implemented by using the threshold table of road travel time and the time sliding window, which could access real-time traffic data stream to calculate copy plate vehicles.On the platform of Storm, this system was designed and implemented.The calculation model was verified on a real-time data stream which was simulated by the real ANPR dataset of a city.The experimental results prove that a piece of license plate recognition data can be dealt with in milliseconds from the time of arrival to the calculation completion, also, the calculation accuracy is 98.7%.Finally, a display system for copy vehicles was developed based on this calculation model, which can show the copy plate vehicles from the road network on the current moment.

copy plate vehicle; Automatic Number Plate Recognition (ANPR); stream computing; real-time; threshold table; Storm

2016-07-25;

2016-08-08。 基金項目:北京市自然科學基金資助項目(4162021),北京市教育委員會科技計劃面上項目(KM2015_10009007)；北京市優(yōu)秀人才培養(yǎng)資助青年骨干個人項目(2014000020124G011)。

喬通(1991—)，男，山東泰安人，碩士研究生，主要研究方向：實時數(shù)據處理、智能交通； 趙卓峰(1977—)，男，山東濟南人，副研究員，博士，CCF高級會員，主要研究方向：云計算、海量數(shù)據處理、智能交通； 丁維龍(1983—)，男，山東泰安人，講師，博士，CCF會員，主要研究方向：實時數(shù)據處理、分布式系統(tǒng)。

1001-9081(2017)01-0153-06

10.11772/j.issn.1001-9081.2017.01.0153

TP274

A