基于大數(shù)據(jù)的公交車GPS歷史軌跡的數(shù)據(jù)處理

張慶

摘 要：公交物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)具有量大且冗余數(shù)據(jù)多、處理所需專業(yè)性強、對數(shù)據(jù)處理準(zhǔn)確性要求高、城市路況結(jié)構(gòu)復(fù)雜等特點。文中通過hadoop建立分布式數(shù)據(jù)倉庫將每輛車的GPS數(shù)據(jù)、報警數(shù)據(jù)、溫度數(shù)據(jù)、班次車次數(shù)據(jù)、乘客IC卡數(shù)據(jù)在各自站點的數(shù)據(jù)倉庫中進(jìn)行保存與管理，對海量公交數(shù)據(jù)進(jìn)行實時分析。然后根據(jù)得出的路況信息和車輛客流高峰時段等數(shù)據(jù)來優(yōu)化公交調(diào)度策略，動態(tài)調(diào)整車輛調(diào)配，從而為滿足公交車輛、線路、業(yè)務(wù)不斷拓展和智慧城市建設(shè)提供一個可借鑒的平臺。

關(guān)鍵詞：數(shù)據(jù)挖掘；GPS軌跡；智能公交系統(tǒng)；hadoop

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2016）04-00-02

0 引 言

交通數(shù)據(jù)采集的范圍、廣度和深度急劇增加，隨著智能交通系統(tǒng)建設(shè)規(guī)模的不斷擴大，正在形成以微波、線圈、GPS、車牌等交通流檢測數(shù)據(jù)，交通監(jiān)控視頻數(shù)據(jù)，以及系統(tǒng)數(shù)據(jù)和服務(wù)數(shù)據(jù)等為主體的海量交通數(shù)據(jù)。動靜態(tài)海量交通數(shù)據(jù)的挖掘分析成為智能化交通信息處理分析的核心內(nèi)容，交通數(shù)據(jù)的深層價值有待于進(jìn)一步挖掘和開發(fā)。以智能終端為服務(wù)窗口的、以云計算和大數(shù)據(jù)分析技術(shù)為支撐的智能交通信息服務(wù)正逐步成為主流，與我們的生活息息相關(guān)。本文將結(jié)合智能公交系統(tǒng)的特點，通過對公交物聯(lián)網(wǎng)的數(shù)據(jù)挖掘，進(jìn)行規(guī)律路徑挖掘。

1 公交物聯(lián)網(wǎng)數(shù)據(jù)處理體系結(jié)構(gòu)

Hadoop平臺下智能公交系統(tǒng)數(shù)據(jù)處理的總體架構(gòu)主要由數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層、應(yīng)用服務(wù)層組成，其中數(shù)據(jù)存儲層是總體架構(gòu)的核心。

1.1 數(shù)據(jù)采集層

公交車輛數(shù)據(jù)類型按采集頻率分為實時數(shù)據(jù)與歷史數(shù)據(jù)。該數(shù)據(jù)采集層通過車載傳感器對GPS、監(jiān)控視頻、乘客IC卡數(shù)據(jù)等進(jìn)行采集，提取實時車輛位置、速度、視頻、客流等動態(tài)信息，并借助無線通訊（3 G /4G）方式實時傳輸?shù)酱髷?shù)據(jù)處理中心。

1.2 數(shù)據(jù)存儲層

數(shù)據(jù)存儲層通過MapReduce分布式程序設(shè)計模型把數(shù)據(jù)批量寫入HBase分布式數(shù)據(jù)庫，數(shù)據(jù)主要存儲在計算機集群的HDFS分布式文件系統(tǒng)中，由一個管理節(jié)點（NameNode）和若干個數(shù)據(jù)節(jié)點（DataNode）組成。

1.3 數(shù)據(jù)挖掘分析層

數(shù)據(jù)分析層是項目核心，通過對大量數(shù)據(jù)進(jìn)行挖掘分析，從而揭示數(shù)據(jù)之間隱藏的關(guān)系、模式和趨勢。根據(jù)公交行業(yè)數(shù)據(jù)挖掘分析的需求，對數(shù)據(jù)進(jìn)行清洗、聚類、分析，得到數(shù)據(jù)間的內(nèi)部聯(lián)系。

1.4 應(yīng)用層

將挖掘結(jié)果轉(zhuǎn)化為商業(yè)成果和應(yīng)用，根據(jù)不同服務(wù)對象的不同應(yīng)用需求，應(yīng)用服務(wù)層把數(shù)據(jù)挖掘分析層計算獲得的所有信息資源以服務(wù)的形式提供給公交調(diào)度中心，為公交監(jiān)管、優(yōu)化調(diào)度、城市出行信息提供數(shù)據(jù)支撐和參考依據(jù)。

2 軌跡數(shù)據(jù)的預(yù)處理

針對車輛在信號丟失情況下導(dǎo)致采集到的數(shù)據(jù)出現(xiàn)中斷的情況，我們根據(jù)數(shù)據(jù)的間隔規(guī)律，對數(shù)據(jù)進(jìn)行插值補全操作。對所有GPS數(shù)據(jù)點坐標(biāo)與研究區(qū)域外包形狀進(jìn)行空間關(guān)系判斷，若點在范圍區(qū)域內(nèi)則認(rèn)為點位在正常區(qū)域中，并對GPS數(shù)據(jù)中的速度與加速度進(jìn)行過濾，如果速度和加速度超過道路限定則將數(shù)據(jù)剔除。對于誤差操作我們使用地圖匹配算法進(jìn)行GPS軌跡處理。根據(jù)GPS數(shù)據(jù)采樣點的定位精度構(gòu)建緩沖區(qū)，計算當(dāng)前軌跡點可能位于的路段，通過車輛行駛的交通約束與道路段的幾何連通性，進(jìn)行總體待匹配路徑的構(gòu)建與更新，按照曲線相似度準(zhǔn)則找出與整體浮動車運行軌跡最為接近的總體路徑，實現(xiàn)地圖匹配。

3 基于歷史GPS數(shù)據(jù)的研究分析

3.1 公交路線中擁堵區(qū)域檢測

3.2 線路平均速度

通過對車輛歷史GPS的處理還可以獲取到與車輛相關(guān)的速度v和時間t，我們提出路段平均速度和車站平均等待時間兩個指標(biāo)。

路段平均速度即由GPS數(shù)據(jù)可獲得公交車的即時速度，路段上所有即時速度的均值為本路段的近似平均速度，假設(shè)對于某個時段j，已知所有落在路段i上的m個點的GPS數(shù)據(jù)，則表示時段j路段i上的第r個數(shù)據(jù)點的公交瞬時速度，依據(jù)道路擁堵情況遠(yuǎn)程監(jiān)控車輛當(dāng)前路段的平均速度，動態(tài)規(guī)劃發(fā)車間隔與車輛進(jìn)站時間。

3.3 站點等待間隔

3.4 停留區(qū)域分析

由于公交車輛的特殊性，公交車在行駛過程中遇到道路擁堵，站點?？?，突發(fā)事故等情況時會在某一位置停留。分析停留位置和停留時間可以幫助調(diào)度人員優(yōu)化車輛運營，監(jiān)控突發(fā)事件。

一個停留區(qū)域滿足S{pm，pm+1，pm+2，…，pn}T，滿足d（pm，pn）<δ且d（pm，mn+1）>δ及pn*t-pm*t>τ，其中δ為停留區(qū)域半徑的合理區(qū)間閾值，τ為停留時間的合理區(qū)間閾值。

4 結(jié) 語

本文首先提出公交物聯(lián)網(wǎng)系統(tǒng)的大數(shù)據(jù)體系結(jié)構(gòu)和四大組成部分介紹，接著重點介紹數(shù)據(jù)挖掘?qū)訉PS歷史軌跡的挖掘，數(shù)據(jù)處理過程中對海量數(shù)據(jù)中冗余和錯誤數(shù)據(jù)的剔除與矯正后提出四種GPS歷史軌跡的可用于對公交調(diào)度進(jìn)行優(yōu)化的分析指標(biāo)。本文提出了大數(shù)據(jù)環(huán)境下智能公交系統(tǒng)數(shù)據(jù)處理框架體系，為構(gòu)建智能公交大數(shù)據(jù)處理系統(tǒng)提供參考，也為其他行業(yè)基于大數(shù)據(jù)的實時交互應(yīng)用提供了案例。

參考文獻(xiàn)

[1] 楊新苗，王煒.準(zhǔn)實時信息的公交調(diào)度優(yōu)化系統(tǒng)[J].交通計算機，2000，18 （5）：12-15.

[2] 黃濺華，關(guān)偉，張國伍.公共交通實時調(diào)度控制方法研究[J].系統(tǒng)學(xué)報，2000，15（3）：277-280.

[3] 黃濺華，張國伍.公共交通實時放車調(diào)度方法研究[J].系統(tǒng)工程理論與實踐，2001（3）： 107-111.

[4] 關(guān)偉，中金升，葛芳.公交優(yōu)先的信息控制策略研究[J].系統(tǒng)工程學(xué)報，2001，16（3）：176-180.

[5] 張飛舟，晏磊，范躍祖，等.智能交通系統(tǒng)中的公交車輛動態(tài)調(diào)度研究[J].公路交通科技，2002，19（3）： 123-126.