基于Map-Reduce的浮動(dòng)車數(shù)據(jù)實(shí)時(shí)分析及存儲(chǔ)方法研究

聶玉強(qiáng)， 鄺小磊

(廣東交通職業(yè)技術(shù)學(xué)院， 廣州 510800)

?

基于Map-Reduce的浮動(dòng)車數(shù)據(jù)實(shí)時(shí)分析及存儲(chǔ)方法研究

聶玉強(qiáng)， 鄺小磊

(廣東交通職業(yè)技術(shù)學(xué)院， 廣州 510800)

針對(duì)目前公共安全數(shù)據(jù)處理任務(wù)仍由各平臺(tái)各自以業(yè)務(wù)劃分方式垂直分配計(jì)算資源，導(dǎo)致任務(wù)處理效率、資源利用率低下的狀況，提出了一種基于云技術(shù)的多源數(shù)據(jù)處理算法，實(shí)現(xiàn)了數(shù)據(jù)管理、地圖匹配、速度信息提取等算法，通過測(cè)試分析，該算法可以很好地實(shí)現(xiàn)數(shù)據(jù)處理.

云技術(shù)； 浮動(dòng)車； 數(shù)據(jù)； 算法

交通信息資源的整合，有利于為交通各行業(yè)部門、單位及社會(huì)服務(wù)機(jī)構(gòu)等提供一個(gè)信息交流、內(nèi)部協(xié)作、強(qiáng)化規(guī)范管理、提升原有資源價(jià)值的平臺(tái)，能為公眾及交通管理部門等單位提供道路基礎(chǔ)信息、交通動(dòng)態(tài)、旅游交通、環(huán)境氣象查詢、線路規(guī)劃和駕車出行方案建議等多樣化的出行服務(wù)信息，從而全面提升公眾出行信息服務(wù)水平，樹立政府和交通管理部門的形象. 路況信息作為公眾出行信息的重要組成部分，主要通過分析車載GPS定位數(shù)據(jù)得到. 隨著線圈、視頻等檢測(cè)設(shè)備應(yīng)用的推廣及交通信息資源整合的需求，路況信息從單一來源逐步向多源信息融合轉(zhuǎn)變，針對(duì)路況信息多源性和實(shí)時(shí)性分析需求，研發(fā)了基于云技術(shù)的浮動(dòng)車數(shù)據(jù)處理算法，主要包括基于云技術(shù)的浮動(dòng)車數(shù)據(jù)存儲(chǔ)技術(shù)、基于云分析的海量浮動(dòng)車GPS數(shù)據(jù)處理框架、浮動(dòng)車GPS數(shù)據(jù)實(shí)時(shí)匹配算法和多源數(shù)據(jù)融合流程.[1-2]

1 多源數(shù)據(jù)的融合流程

多源數(shù)據(jù)的融合流程是利用GPS檢測(cè)與檢測(cè)設(shè)備數(shù)據(jù)(如感應(yīng)線圈)相融合來實(shí)現(xiàn)突發(fā)事件場(chǎng)景下的路段行程時(shí)間估計(jì)，通過多源數(shù)據(jù)融合分析提高行程時(shí)間估計(jì)在突發(fā)事件等各種場(chǎng)景下的準(zhǔn)確性，具體如圖1所示.

圖1 項(xiàng)目多源數(shù)據(jù)融合流程

圖2 基于云分析的城市大規(guī)模浮動(dòng)車數(shù)據(jù)實(shí)時(shí)處理分析框架

2 基于云分析的浮動(dòng)車數(shù)據(jù)處理分析框架

圖2所示的基于云分析的城市大規(guī)模浮動(dòng)車數(shù)據(jù)實(shí)時(shí)處理分析框架包括3個(gè)部分，以數(shù)據(jù)管理為基礎(chǔ)，搭建云計(jì)算分析環(huán)境對(duì)原始浮動(dòng)車GPS數(shù)據(jù)進(jìn)行實(shí)時(shí)處理(首先進(jìn)行實(shí)時(shí)地圖匹配，然后進(jìn)行交通參數(shù)提取)，將分析得到的交通參數(shù)，作為高一級(jí)的ATMS(交通管理系統(tǒng))和ATIS(出行者信息系統(tǒng))的信息數(shù)據(jù). 本文主要研究了基于云分析的浮動(dòng)車數(shù)據(jù)管理和數(shù)據(jù)計(jì)算應(yīng)用2個(gè)方面，浮動(dòng)車數(shù)據(jù)的管理和存儲(chǔ)采用基于非關(guān)系型數(shù)據(jù)模型技術(shù)，通過分析技術(shù)提升地圖匹配算法的實(shí)時(shí)計(jì)算效率，最后利用云分析技術(shù)對(duì)完成匹配的浮動(dòng)車GPS數(shù)據(jù)進(jìn)行提取，并進(jìn)行路段平均速度實(shí)時(shí)計(jì)算.[3]

3 基于云分析的浮動(dòng)車數(shù)據(jù)存儲(chǔ)算法研究

浮動(dòng)車GPS數(shù)據(jù)是車載GPS終端實(shí)時(shí)采集得到的動(dòng)態(tài)數(shù)據(jù). 單個(gè)浮動(dòng)車一次傳輸?shù)腉PS數(shù)據(jù)，受到傳輸環(huán)境、傳輸硬件等的限制，一般為10～90字節(jié). 雖然單次數(shù)據(jù)傳輸數(shù)據(jù)量不大，但是由于城市浮動(dòng)車數(shù)量巨大(1～3萬)且傳輸周期較短(10～45 s)，一天總體記錄數(shù)則變得十分巨大. 同時(shí)由于浮動(dòng)車一般以出租車為主，由于出行需求的集中性，在時(shí)空上存在數(shù)據(jù)不均的情況，采用傳統(tǒng)的關(guān)系數(shù)據(jù)庫將會(huì)產(chǎn)生大量的關(guān)系表，導(dǎo)致數(shù)據(jù)檢索、查詢速度嚴(yán)重降低，增加數(shù)據(jù)維護(hù)及更新難度.

因此，本文在數(shù)據(jù)組織上，采用了分布式存儲(chǔ)模型(Bigtable)，以其作為浮動(dòng)車數(shù)據(jù)存儲(chǔ)及管理的核心數(shù)據(jù)模型.[4]Bigtable表格由多行組成. 在本文中，浮動(dòng)車數(shù)據(jù)與道路網(wǎng)數(shù)據(jù)分別進(jìn)行存儲(chǔ). 圖3表示了浮動(dòng)車數(shù)據(jù)在本文核心數(shù)據(jù)模型中的表現(xiàn)形態(tài)，圖4表示道路網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)，同樣參考浮動(dòng)車數(shù)據(jù)存儲(chǔ)模型進(jìn)行組織管理，按照列族的方式進(jìn)行數(shù)據(jù)組織，每行數(shù)據(jù)與相應(yīng)的屬性對(duì)應(yīng)，如浮動(dòng)車GPS數(shù)據(jù)的位置坐標(biāo)項(xiàng)即為一個(gè)列族.

圖3 浮動(dòng)車數(shù)據(jù)記錄Bigtable表

圖5 Mapreduce架構(gòu)下的海量GPS數(shù)據(jù)分層并行處理技術(shù)

圖4 道路數(shù)據(jù)記錄的Bigtable表

4 浮動(dòng)車數(shù)據(jù)實(shí)時(shí)地圖匹配算法研究

不經(jīng)過實(shí)時(shí)地圖匹配的浮動(dòng)車GPS原始數(shù)據(jù)記錄無法提供所需的交通信息，因此需要通過軌跡重建才能提供給各種核心模型算法進(jìn)行實(shí)時(shí)交通信息的計(jì)算. 本文搭建基于MapReduce和Hadoop架構(gòu)的分布式任務(wù)處理環(huán)境，具體如圖5所示，將車聯(lián)網(wǎng)海量GPS數(shù)據(jù)處理任務(wù)在業(yè)務(wù)層次和應(yīng)用層次按照MapReduce模型拆分成若干地圖匹配、需求估計(jì)等子任務(wù)，根據(jù)各平臺(tái)已有計(jì)算資源的使用情況對(duì)每個(gè)子任務(wù)作業(yè)進(jìn)行合理調(diào)度分配，最后進(jìn)行運(yùn)算結(jié)果的合并，從而實(shí)現(xiàn)各平臺(tái)計(jì)算資源的整合及合理使用.[5]

搭建了基于MapReduce架構(gòu)，擁有20個(gè)虛擬化節(jié)點(diǎn)規(guī)模的車聯(lián)網(wǎng)海量GPS數(shù)據(jù)并行計(jì)算處理平臺(tái)，在此基礎(chǔ)上重點(diǎn)開展了基于海量GPS數(shù)據(jù)的地圖匹配并行計(jì)算模型算法的研究. 基于海量GPS數(shù)據(jù)的地圖匹配一般處理流程如圖6所示.

根據(jù)圖6，結(jié)合MapReduce并行處理的特點(diǎn),本文的地圖匹配共包含4個(gè)部分，如圖7所示，分別為Map、Combine、Partition和Reduce. 其中：

圖6 地圖匹配一般處理流程

1)Map部分負(fù)責(zé)從數(shù)據(jù)庫讀取浮動(dòng)車GPS數(shù)據(jù)記錄，并進(jìn)行預(yù)處理.

2)Shuffle和Sort階段負(fù)責(zé)將經(jīng)過預(yù)處理的GPS記錄集先打亂再進(jìn)行排序，形成以車牌為關(guān)鍵字的記錄集，將屬于同一輛車的記錄合并.

3)Combine和Partition階段是可選步驟. 其作用是將map產(chǎn)生的中間態(tài)數(shù)據(jù)在Mapper本地進(jìn)行匯聚，從而減少傳遞給Reducer的數(shù)據(jù). Partition的作用是根據(jù)鍵或值及Reduce任務(wù)的數(shù)量來決定當(dāng)前的這對(duì)輸出數(shù)據(jù)最終應(yīng)該交由哪個(gè)Reduce任務(wù)處理. 默認(rèn)對(duì)鍵進(jìn)行哈希排序后再與Reduce任務(wù)數(shù)量取模，這樣可以平均Reduce的處理能力.

4)Reduce 部分主要用于計(jì)算各車輛的行駛特征量，搜索獲取最佳匹配并修正GPS定位點(diǎn).

圖7 基于MapReduce架構(gòu)的地圖匹配并行計(jì)算模型

其中二、三階段由MapReduce支撐框架Hadoop內(nèi)置實(shí)現(xiàn). 通過4個(gè)階段的地圖匹配過程，課題組實(shí)現(xiàn)了地圖匹配并行計(jì)算算法模型，對(duì)比傳統(tǒng)地圖匹配計(jì)算算法模型的計(jì)算效率，該計(jì)算模型的計(jì)算效率具有明顯提升(約30%). 該研究成果也已為本課題其他相關(guān)研究(如交通流參數(shù)獲取、交通狀態(tài)感知)提供了相應(yīng)技術(shù)支撐.

5 交通速度信息實(shí)時(shí)提取

在獲得了浮動(dòng)車數(shù)據(jù)地圖匹配信息后，需要解決的問題是如何利用這些GPS數(shù)據(jù)得到路段速度數(shù)據(jù). 在本研究中，將當(dāng)前路段上所有浮動(dòng)車即時(shí)速度的平均值作為該路段速度，采用Bigtable空間四叉樹索引，將路段進(jìn)行分塊，建立映射任務(wù)基本單元，以GPS數(shù)據(jù)時(shí)間信息和GPS設(shè)備編號(hào)為行主鍵，以車速為對(duì)應(yīng)主鍵值，通過映射關(guān)系，得到該路段相關(guān)浮動(dòng)車GPS數(shù)據(jù)的即時(shí)速度值集合，即中間數(shù)據(jù)，交通速度信息實(shí)時(shí)計(jì)算偽代碼如圖8所示.[6]

6 測(cè)試數(shù)據(jù)分析

本文測(cè)試數(shù)據(jù)采用廣州市營(yíng)運(yùn)車輛的GPS數(shù)據(jù)子集進(jìn)行測(cè)試，子集中涉及的車輛數(shù)共計(jì)8 249輛，車輛GPS數(shù)據(jù)平均反饋時(shí)間為18.44 s. 所有測(cè)試數(shù)據(jù)經(jīng)由GPS數(shù)據(jù)模擬發(fā)生軟件，按照實(shí)際的車輛數(shù)據(jù)發(fā)生間隔，發(fā)送到分析服務(wù)器，模擬實(shí)時(shí)發(fā)送、處理過程. 測(cè)試設(shè)備及結(jié)果如表1～3所示.

從表2、表3可以看出，本文提出的交通速度信息實(shí)時(shí)提取算法具有很好的伸縮性和并行計(jì)算能力，計(jì)算性能隨著計(jì)算單元(EC2)數(shù)量的增加而相應(yīng)提高.

圖8 交通速度信息實(shí)時(shí)計(jì)算偽代碼

表2 計(jì)算性能比較(地圖匹配)

表3 計(jì)算性能比較(路段速度)

[1] 宋鴻, 陳寧, 彭建國(guó), 等. 多源交通信息融合技術(shù)在重慶市智能交通誘導(dǎo)系統(tǒng)中的應(yīng)用研究[J]. 交通標(biāo)準(zhǔn)化, 2013(1): 91-95.

[2] 董哲, 吳瑤, 孫德輝. 內(nèi)定位技術(shù)的多源數(shù)據(jù)融合算法研究[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2014(5): 1526-1530.

[3] 易高翔, 潘長(zhǎng)城, 郭建中, 等. 基于多源數(shù)據(jù)融合的石油罐區(qū)安全監(jiān)控模型[J]. 交通工程, 2013(3): 90-94.

[4] 陳珂銳, 潘君. 基于擴(kuò)展特征向量空間模型的多源數(shù)據(jù)融合[J]. 山東大學(xué)學(xué)報(bào): 理學(xué)版, 2013(11): 87-92.

[5] 張文峰, 史忠科. 對(duì)高速公路移動(dòng)目標(biāo)跟蹤的多傳感器采集數(shù)據(jù)融合[J]. 公路交通科技, 2009(3): 135-138.

[6] 徐華中, 吳蘇, 劉念. 基于多傳感器數(shù)據(jù)融合技術(shù)的短時(shí)交通流檢測(cè)[J]. 傳感器與微系統(tǒng), 2009(2): 104-109.

Research of real-time analysis and storage method of floating car data based on Map-Reduce

NIE Yu-qiang, KUANG Xiao-lei

(College of Mechanical and Electrical Engineering, Guangdong Communication Polytechnic, Guangdong Guangzhou 510800, China)

The public security data processing tasks were conducted by the respective business platforms vertically, and this may cause the low processing efficiency and inefficient use of computing resources. This paper proposed a multi-source data processing algorithm based on cloud computing technology, and realizes the data management, map matching, and speed information extraction algorithm. The result of test indicated this algorithm can achieve a good data processing.

cloud computing technology； floating car； date； algorithm

10.13986/j.cnki.jote.2015.04.004

2015- 05- 14.

廣東省交通運(yùn)輸廳科技項(xiàng)目(2013-02-095)

聶玉強(qiáng)(1964—)，男，碩士研究生，教授，高級(jí)工程師，研究方向?yàn)槟茉磁c系統(tǒng)控制、技能技術(shù)、機(jī)電一體化技術(shù)方向. E-mail:fsnyq@126.com.

U 491.2

A

1008-2522(2015)04-20-05