大數(shù)據(jù)在公安交通管理行業(yè)的應(yīng)用

蔣雄　沈平　常彬

摘 要： 當(dāng)前通過交通基礎(chǔ)設(shè)施采集的信息越來越復(fù)雜。應(yīng)用一種改進(jìn)版的TDH Hadoop大數(shù)據(jù)技術(shù)，通過采集異構(gòu)、動靜結(jié)合的交通基礎(chǔ)信息數(shù)據(jù)，對數(shù)據(jù)進(jìn)行分析挖掘，在公安交通管理方面運(yùn)用，改善了交通運(yùn)行狀況。

關(guān)鍵詞： TDH Hadoop； 交通基礎(chǔ)信息數(shù)據(jù)； 大數(shù)據(jù)技術(shù)； 交通誘導(dǎo)； 數(shù)據(jù)分析

中圖分類號：U491 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2016）10-40-03

Application of big data in public security traffic administration industry

Jiang Xiong， Shen Ping， Chang Bin

（The traffic police detachment of Huzhou public security bureau， Huzhou， Zhejiang 313000， China）

Abstract： At present， the information collected by means of transport infrastructure is becoming more and more complex. Application of an improved version of the TDH Hadoop big data technology， which collects the heterogeneous， dynamic and static traffic basic information data， analyzes and mining the data， put it to use in public security traffic administration to improve the traffic operating condition.

Key words： TDH Hadoop； traffic basic information data； big data technologies； traffic guidance； data analysis

0 引言

步入汽車普遍使用社會，道路擁堵幾乎是我們每個人都要面對的問題。而引發(fā)道路擁堵的原因有多方面因素，如道路設(shè)計(jì)，信號配時，交通事故、節(jié)假日、早晚高峰等時段性常發(fā)問題等。緩解以上問題，一是借助交通長遠(yuǎn)規(guī)劃，加強(qiáng)路網(wǎng)建設(shè)、改造，二是借助科技、優(yōu)化交通組織，強(qiáng)化交通管理，提高道路通行與管控能力。下文是我們的工作實(shí)踐，希能拋磚引玉。

1 相關(guān)技術(shù)研究

1.1 系統(tǒng)框架

交通基礎(chǔ)信息數(shù)據(jù)的采集有其行業(yè)特征，一是采集方式多樣，例如通過手機(jī)信令、攝像機(jī)、微波、雷達(dá)、地感線圈、地磁棒等設(shè)備等采集到的文本、圖片、視頻數(shù)據(jù)；二是數(shù)據(jù)容量龐大，目前地市級交警支隊(duì)每年的數(shù)據(jù)量已從原來的TB級向現(xiàn)在的PB、甚至ZB數(shù)量級增長；三是數(shù)據(jù)種類廣泛，不但包括駕駛?cè)?、車輛等基本信息，還有的各種行車數(shù)據(jù)等，以及其他部門的接入數(shù)據(jù)等。面對海量異構(gòu)數(shù)據(jù)，如何進(jìn)行準(zhǔn)確高效的分析和處理，對存儲、查詢和計(jì)算能力都提出了很高的要求。大數(shù)據(jù)技術(shù)有快速、實(shí)時的優(yōu)勢，但Hadoop技術(shù)對海量數(shù)據(jù)進(jìn)行分析和利用效率很低，這就需要完備的決策分析工具集運(yùn)行在Hadoop架構(gòu)之上，TDH Hadoop技術(shù)應(yīng)運(yùn)而生。系統(tǒng)框架圖如圖1所示。

1.2 大數(shù)據(jù)技術(shù)介紹

TDH Hadoop是針對大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架，inceptor采用專有的高效列式內(nèi)存存儲格式和為內(nèi)存優(yōu)化的Spark計(jì)算引擎，相比Map-Reduce框架消除了頻繁的磁盤I/O。Spark引擎還采用了輕量級的調(diào)度框架和多線程計(jì)算模型，具有極低的調(diào)度和啟動開銷，執(zhí)行速度更快，系統(tǒng)MTTR大大縮短。實(shí)時在線應(yīng)用方面，Hyperbase構(gòu)建了全局索引、輔助索引和全文索引，擴(kuò)展了SQL語法，滿足在線存儲和在線業(yè)務(wù)分析系統(tǒng)（OLAP）的低延時需求。Discover高效快速的數(shù)據(jù)挖掘能力與TDH對主流可視化和BI工具的支持，綜合在執(zhí)行引擎及數(shù)據(jù)存儲層上的優(yōu)化，使得TDH性能全面領(lǐng)先開源Hadoop 2.0，比主流MPP數(shù)據(jù)庫快1.5到10倍。軟件邏輯架構(gòu)[1]如圖2所示。

1.2.1 HDFS分布式文件處理系統(tǒng)

HDFS是一個高效的分布式算法，將數(shù)據(jù)的存儲和訪問分布在大量服務(wù)器之中，在可靠地多備份存儲的同時，還能將訪問分布在集群中的各個服務(wù)器上，是傳統(tǒng)存儲構(gòu)架的一個顛覆性的發(fā)展。

Namenode登記采集到的基礎(chǔ)交通信息作為元數(shù)據(jù)，將不同來源的基礎(chǔ)數(shù)據(jù)按塊，分配到服務(wù)器，例如：數(shù)據(jù)塊a放在datenode3中……，實(shí)現(xiàn)基礎(chǔ)信息的分布式處理。

1.2.2 Hbase數(shù)據(jù)庫

Hbase是運(yùn)行在Hadoop上的NoSQL數(shù)據(jù)庫，是一個分布式、可擴(kuò)展的大數(shù)據(jù)倉庫，也就是說HBase能夠利用HDFS的分布式處理模式，并從Hadoop的MapReduce程序模型中獲益。這意味著在一組硬件上存儲著具有數(shù)十億行和上百萬列的大表。同時，除Hadoop本身具有的優(yōu)勢外，HBase還是十分強(qiáng)大的數(shù)據(jù)庫，它能夠融合key/value存儲模式具有實(shí)時查詢的能力，以及通過MapReduce進(jìn)行離線處理或者批處理的能力?？傊?，Hbase能夠滿足在大量的數(shù)據(jù)中查詢記錄[2]。

1.2.3 Hive數(shù)據(jù)倉庫技術(shù)

它提供了類似于傳統(tǒng)SQL的編程模型，為海量機(jī)動車軌跡分析過程提供了友好的編程模型和方法，同時能利用Map/Reduce的高并發(fā)特性。

1.2.4 Storm

是一個分布式的、容錯的實(shí)時計(jì)算系統(tǒng)，可以方便地在一個計(jì)算機(jī)集群中編寫與擴(kuò)展復(fù)雜的實(shí)時計(jì)算。Storm保證每個消息都會得到實(shí)時處理，每秒可以處理數(shù)以百萬計(jì)的消息。

1.3 交通網(wǎng)絡(luò)平衡

面對擁堵的路網(wǎng)狀態(tài)，要達(dá)到路網(wǎng)的平衡，流量分配也至關(guān)重要。交通流中的wardrop平衡原理：假設(shè)道路使用者都知道各條道路的行駛時間，并選擇行駛時間最短的路徑作為自己的出行路徑，也就是動態(tài)交通分配模型，即總路段的阻抗最小，為交通流誘導(dǎo)提供最佳的流量分配，以路網(wǎng)總行程時間最小為目標(biāo)，同時兼顧路網(wǎng)流量的均衡。模型粗略描述如下[3]。

J-系統(tǒng)總阻抗；

xa（t）-t時刻弧段a上的交通流量（兩節(jié)點(diǎn)之間道路稱為弧）；

ca（x，t）-t時刻弧段a上的行程時間。

在實(shí)際應(yīng)用中，我們只需通過對研判分析反應(yīng)出來的交通運(yùn)行狀態(tài)進(jìn)行評價(jià)，利用手機(jī)端、誘導(dǎo)屏、廣播、互聯(lián)網(wǎng)等載體發(fā)布誘導(dǎo)信息，進(jìn)而對交通流進(jìn)行誘導(dǎo)，優(yōu)化民眾出行路徑、時間、方式等，緩解交通擁堵，降低總出行成本。

2 公安交通管理行業(yè)應(yīng)用

運(yùn)用TDH Hadoop技術(shù)，實(shí)現(xiàn)全市交通流量、車輛平均通行速度等信息的匯聚、查詢、統(tǒng)計(jì)、分析、預(yù)測等，為社會化服務(wù)提供實(shí)時流量數(shù)據(jù)，主要在以下方面：

⑴ 交通運(yùn)行狀態(tài)分析

按照時間、空間規(guī)律對指定的道路進(jìn)行平均速度、平均旅行時間、交通路況等信息的綜合統(tǒng)計(jì)，通過歷史變化規(guī)律對比分析，對交通運(yùn)行狀態(tài)變化趨勢進(jìn)行評價(jià)。交通運(yùn)行狀態(tài)分析時間跨度1周，單道路查詢響應(yīng)時間5秒內(nèi)。

⑵ OD分析

通過對采集到的數(shù)據(jù)進(jìn)行OD分析，分析每個交通參與者的出行習(xí)慣，統(tǒng)籌交通信號控制，提高出行者的整體出行效率。

⑶ 指揮調(diào)度

以事件為觸發(fā)的交通警情調(diào)度，通過中心平臺的信息共享，形成類似事件的模版化預(yù)案。包括日常交通管理調(diào)度、道路施工交通調(diào)度、交通管制交通調(diào)度、警力定位、協(xié)調(diào)調(diào)度等。

⑷ 交通誘導(dǎo)

通過匯總交通流量、車輛平均通行速度等信息，實(shí)現(xiàn)按道路、按車道、方向、時間范圍、等進(jìn)行交通流量和速率的分析、預(yù)測等，提供海量數(shù)據(jù)下道路交通狀態(tài)判別功能，提供實(shí)時、有效的出行信息。情報(bào)板誘導(dǎo)發(fā)布如圖3所示。

⑸ 交通運(yùn)行指數(shù)[4]

通過計(jì)算得到路網(wǎng)中各路段的運(yùn)行車速，再按各道路的擁堵權(quán)重將所有道路的運(yùn)行狀況以簡潔直觀的數(shù)字圖形描述，實(shí)現(xiàn)對道路交通運(yùn)行的量化評價(jià)，為市民出行提供及時準(zhǔn)確的信息，為政府決策提供數(shù)據(jù)支撐。根據(jù)浙江省評價(jià)指標(biāo)體系[5]開發(fā)的運(yùn)行指數(shù)系統(tǒng)如圖4。

⑹ 交警大數(shù)據(jù)實(shí)戰(zhàn)查緝毒駕應(yīng)用成效

支隊(duì)自2015年11月部署實(shí)戰(zhàn)應(yīng)用查緝毒駕以來，短短幾個月，就發(fā)揮了大數(shù)據(jù)實(shí)戰(zhàn)緝查優(yōu)勢，查獲一批毒駕人員。2015年底，公安部交管局刊載《湖州支隊(duì)以信息化引領(lǐng)精確警務(wù)嚴(yán)查毒駕違法行為》，詳細(xì)介紹了我市公安交警以信息化引領(lǐng)嚴(yán)查毒駕取得的成效。

3 結(jié)束語

汽車社會、海量數(shù)據(jù)，運(yùn)用TDH Hadoop技術(shù)，探索在公安交通管理的應(yīng)用，目前還在探索階段，仍然存在一些問題。今后需要在數(shù)據(jù)接入的統(tǒng)一性、數(shù)據(jù)與視頻的海量存儲擴(kuò)展性、大數(shù)據(jù)的可管理性、與業(yè)務(wù)結(jié)合的可用性上加強(qiáng)研究與應(yīng)用。

參考文獻(xiàn)（References）：

[1] http：//www.cnblogs.com/xia520pi/archive/2012/05/28/

2520813.html Hadoop集群（第8期）_HDFS初探之旅.

[2] http：//wenku.baidu.com/view/d1c2a780ec3a87c24028-

c4d0.html Hbase分布式數(shù)據(jù)庫.

[3] 武文斌.路網(wǎng)交通流量分配模型[J].山西交通科技，2002.6：

15-16

[4] 浙江省交通運(yùn)輸廳.城市道路交通運(yùn)行狀態(tài)評價(jià)規(guī)范.

（DB33/T998-2016）.