交通時(shí)空大數(shù)據(jù)分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

楊星浩 王瀛 趙記偉 朱桑 李志敏

摘 要：隨著城市規(guī)模的不斷發(fā)展，智慧交通也是城市化進(jìn)程不斷向前推進(jìn)的產(chǎn)物，是城市交通問題日益嚴(yán)峻和土地資源短缺狀況共同作用下的必然結(jié)果。[1]因此，本文希望能夠搭建智慧交通時(shí)空大數(shù)據(jù)分析系統(tǒng)，以手機(jī)信令數(shù)據(jù)為對(duì)象，現(xiàn)有的大數(shù)據(jù)體系架構(gòu)和大數(shù)據(jù)服務(wù)組織為基礎(chǔ)，為規(guī)劃和管理的預(yù)測(cè)分析和決策提供準(zhǔn)確的數(shù)據(jù)基礎(chǔ)，促進(jìn)城市宏觀交通規(guī)劃和微觀交通設(shè)施建設(shè)以及土地利用規(guī)劃的科學(xué)有效，減少道路規(guī)劃不合理導(dǎo)致的交通問題，方便居民的出行。

關(guān)鍵詞：智慧交通;手機(jī)信令數(shù)據(jù);數(shù)據(jù)分析

引 言

隨著我國(guó)經(jīng)濟(jì)狀況的高速發(fā)展，城際之間的交通越來越繁忙，交通管理和交通參與對(duì)交通信息需求也越來越高，發(fā)展基于互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的智慧交通系統(tǒng)的建設(shè)是交通領(lǐng)域深化政府體系，提高政府有效治理能力，順應(yīng)新一代信息技術(shù)和互聯(lián)網(wǎng)發(fā)展趨勢(shì)的重要手段。

同時(shí)隨著蜂窩網(wǎng)絡(luò)的全面密集覆蓋和手機(jī)的普及，手機(jī)信令數(shù)據(jù)、POI興趣點(diǎn)數(shù)據(jù)、地圖定位數(shù)據(jù)來獲取交通信息參數(shù)在目前以及成為一種有效可行的方式。其中，手機(jī)信令數(shù)據(jù)因其實(shí)時(shí)性、完整性、時(shí)空全覆蓋性等優(yōu)點(diǎn)，成為近年來智慧交通體系建設(shè)的最主要的數(shù)據(jù)源，為城市交通規(guī)劃管理等領(lǐng)域提供了有力的數(shù)據(jù)基礎(chǔ)。

因此，本平臺(tái)在調(diào)查分析現(xiàn)有的智慧交通體系的基礎(chǔ)上，對(duì)手機(jī)信令數(shù)據(jù)進(jìn)行全面清洗，深入分析，挖掘潛在價(jià)值，建立交通時(shí)空大數(shù)據(jù)分析平臺(tái)，實(shí)現(xiàn)人口分布分析，駐留出行分析，交通態(tài)勢(shì)監(jiān)測(cè)預(yù)警，個(gè)性化出行推薦等功能，以充分利用城市大數(shù)據(jù)，改善人們便捷順暢出行的需求，滿足政府對(duì)交通數(shù)據(jù)科學(xué)監(jiān)管的需求以及輔助科學(xué)決策的要求。

一、系統(tǒng)架構(gòu)設(shè)計(jì)

交通時(shí)空大數(shù)據(jù)分析平臺(tái)總體框架設(shè)計(jì)（如圖1所示）具有擴(kuò)展性，適應(yīng)處理業(yè)務(wù)的拓展，采用分層設(shè)計(jì)思路，實(shí)現(xiàn)數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)資源管理、計(jì)算處理、應(yīng)用展示等功能。

數(shù)據(jù)層主要是實(shí)現(xiàn)對(duì)手機(jī)信令數(shù)據(jù)、地圖定位數(shù)據(jù)、規(guī)劃指標(biāo)數(shù)據(jù)的采集、存儲(chǔ)、接入和建庫(kù)。

計(jì)算層主要是實(shí)現(xiàn)對(duì)于原始手機(jī)信令數(shù)據(jù)的數(shù)據(jù)清洗、匹配、分析、挖掘，是整個(gè)平臺(tái)系統(tǒng)建設(shè)的核心。

應(yīng)用層主要是實(shí)現(xiàn)對(duì)手機(jī)信令數(shù)據(jù)處理與分析成果在交通領(lǐng)域的應(yīng)用方案，提供數(shù)據(jù)基礎(chǔ)，輔助決策。

展示層主要是實(shí)現(xiàn)對(duì)應(yīng)用層手機(jī)信令數(shù)據(jù)處理與分析成果的前端可視化展示。

二、功能設(shè)計(jì)

交通時(shí)空大數(shù)據(jù)分析平臺(tái)包含數(shù)據(jù)開放接口、人口分布分析、城市出行分析、交通態(tài)勢(shì)預(yù)警和個(gè)性化出行推薦等功能。

數(shù)據(jù)導(dǎo)入與條件選擇：按照指定格式導(dǎo)入手機(jī)信令數(shù)據(jù)文件后，可以進(jìn)行省份、城市、時(shí)間、粒度等多維度條件進(jìn)行篩選。

人口分布分析：按照所選擇的粒度，以熱力圖的方式顯示各個(gè)區(qū)域各個(gè)時(shí)段的人口分布狀況，并提供時(shí)間軸對(duì)熱力圖進(jìn)行歷史回溯。

城市出行分析：通過對(duì)人口出行方式等特征進(jìn)行統(tǒng)計(jì)分析，展示不同出行方式所占比例，以及各個(gè)出行方式與出行距離的關(guān)系，動(dòng)態(tài)監(jiān)測(cè)城際之間人流遷入遷出情況。

區(qū)域洞察分析：選擇需要查看的區(qū)域，將顯示對(duì)應(yīng)區(qū)域各時(shí)段的交通狀況、高峰時(shí)段及實(shí)時(shí)擁擠指數(shù)，并實(shí)現(xiàn)短時(shí)人流預(yù)測(cè)，給出熱點(diǎn)景區(qū)排行榜。

交通態(tài)勢(shì)預(yù)警：展示實(shí)時(shí)擁堵指數(shù)，各時(shí)段人流與車流走勢(shì)、熱門站點(diǎn)，并針對(duì)異常擁堵進(jìn)行研判和智能預(yù)警，提升緊急情況應(yīng)急能力。

個(gè)性化出行推薦：根據(jù)出行的起止點(diǎn)及實(shí)際，結(jié)合用戶標(biāo)簽畫像以及交通狀況，給出最短出行路線和出行成本的建議。

三、關(guān)鍵技術(shù)實(shí)現(xiàn)

多步數(shù)據(jù)清洗提高數(shù)據(jù)準(zhǔn)確性

在數(shù)據(jù)清洗階段，由于手機(jī)數(shù)據(jù)產(chǎn)生的無規(guī)律性，導(dǎo)致信令數(shù)據(jù)采樣頻率不均，軌跡點(diǎn)時(shí)間間隔非常不規(guī)則，軌跡點(diǎn)密度分布不均，且易受手機(jī)信令工作機(jī)制的影響，用戶身處的實(shí)際位置所連接的基站可能與其自身位置相差較遠(yuǎn)，因此直接進(jìn)行軌跡點(diǎn)的識(shí)別是不合理的。并且由于某些區(qū)域的基站密度較大，某一地理位置可能同時(shí)被幾個(gè)基站所覆蓋，因此在此區(qū)域內(nèi)的手機(jī)信令會(huì)隨著基站信號(hào)強(qiáng)度的變化而不斷切換基站，從而產(chǎn)生乒乓切換現(xiàn)象。一般來說基站有負(fù)荷優(yōu)化機(jī)制，當(dāng)鄰近的基站用戶負(fù)荷過大，會(huì)自動(dòng)切換到更遠(yuǎn)的基站從而產(chǎn)生了信號(hào)漂移。

針對(duì)以上提到的乒乓切換、漂移數(shù)據(jù)，重復(fù)數(shù)據(jù)問題，本文結(jié)合了多種清洗思路，使用Hadoop平臺(tái)作為數(shù)據(jù)處理平臺(tái)，Spark作為計(jì)算框架，從速度、距離、加速度、重復(fù)值等角度進(jìn)行清洗數(shù)據(jù)，通過對(duì)原始數(shù)據(jù)進(jìn)行無效數(shù)據(jù)清洗、乒乓現(xiàn)象消除、數(shù)據(jù)降噪、算法優(yōu)化，形成可靠、可用的數(shù)據(jù)。

高效的交通分析模型精準(zhǔn)實(shí)現(xiàn)駐留出行分析

在信令數(shù)據(jù)挖掘階段，傳統(tǒng)駐留點(diǎn)識(shí)別通過速度和距離特征對(duì)用戶軌跡點(diǎn)進(jìn)行距離，得到用戶駐留區(qū)域和 出行軌跡，經(jīng)試驗(yàn)我們發(fā)現(xiàn)數(shù)據(jù)容易出現(xiàn) 1001，101 等，多個(gè)小駐留點(diǎn)簇情況，經(jīng)過計(jì)算發(fā)現(xiàn)部分小簇駐留區(qū)域前后兩個(gè)區(qū)域距離較小，而區(qū)域間的出行段卻較大，這種情況可能是因?yàn)樵肼曄煌耆珜?dǎo)致，噪聲干擾駐留點(diǎn)識(shí)別。

本文根據(jù)信令數(shù)據(jù)的時(shí)間性，在 DBSCAN 聚類算法的基礎(chǔ)上定義時(shí)間維度，找出用戶信令數(shù)據(jù)中的駐留點(diǎn)和出行點(diǎn)。根據(jù)用戶出行軌跡結(jié)合高德地圖 API 得到用戶單次出行軌跡的 OD 和各種出行方式的方案軌跡點(diǎn)，再結(jié)合時(shí)空匹配度算法得到用戶單次出行的出行方式等數(shù)據(jù)。

智能化態(tài)勢(shì)監(jiān)測(cè)及時(shí)預(yù)警異常情況

在交通態(tài)勢(shì)監(jiān)測(cè)預(yù)警階段，本文根據(jù)信令數(shù)據(jù) OD 明確、時(shí)間連續(xù)的特點(diǎn)，定義交通擁堵指數(shù)，將交通擁擠指數(shù)定義為用戶單次運(yùn)動(dòng)的實(shí)際在途時(shí)間與暢通在途時(shí)間的比值，擁擠指數(shù)越大代表交通越擁堵，計(jì)算出當(dāng)天車流擁堵指數(shù)。根據(jù)軌跡點(diǎn)網(wǎng)格化思想，將沈陽市劃分成n*n個(gè)網(wǎng)格使得每個(gè)網(wǎng)格的邊長(zhǎng)處于100～400m范圍，將用戶信令數(shù)據(jù)歸入網(wǎng)格中，以網(wǎng)格序號(hào)作為橫縱坐標(biāo)代替經(jīng)緯度，計(jì)算每個(gè)網(wǎng)格區(qū)的時(shí)刻人流量。并通過小波神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)短期的人流預(yù)測(cè)，采用對(duì)于非線性和隨機(jī)性的時(shí)間序列預(yù)測(cè)方面具有優(yōu)勢(shì)的神經(jīng)網(wǎng)絡(luò)并加入小波分析建立了基于小波神經(jīng)網(wǎng)絡(luò)的短時(shí)交通預(yù)測(cè)模型，根據(jù)現(xiàn)有交通流量數(shù)據(jù)對(duì)未來幾小時(shí)的人流量情況進(jìn)行預(yù)測(cè)。再結(jié)合四分位數(shù)展布法對(duì)人流進(jìn)行異常監(jiān)測(cè)，實(shí)現(xiàn)智能預(yù)警。

根據(jù)用戶標(biāo)簽化提供個(gè)性化出行推薦服務(wù)

在個(gè)性化出行推薦階段，本文根據(jù)用戶出行的出行時(shí)長(zhǎng)、出行目的、出行距離或用戶駐留的駐留區(qū)域、駐留時(shí)長(zhǎng)等時(shí)空軌跡行為的一系列標(biāo)簽對(duì)信令數(shù)據(jù)進(jìn)行標(biāo)簽化，通過TF-IDF算法根據(jù)這些標(biāo)簽的發(fā)生時(shí)間、行為次數(shù)、 行為類型能夠統(tǒng)計(jì)出用戶與某些標(biāo)簽之間聯(lián)系的緊密程度。對(duì)用戶標(biāo)簽加權(quán)得到用戶偏好標(biāo)簽，獲得個(gè)體用戶用戶畫像和群體用戶畫像，調(diào)用高德API并結(jié)合協(xié)同過濾算法，精準(zhǔn)定位用戶畫像，掌握用戶時(shí)空軌跡偏好，為用戶提供個(gè)性化出行推薦服務(wù)。

多維度細(xì)粒度的可視化數(shù)據(jù)展示

在數(shù)據(jù)可視化階段，本文采用vue.js、ECharts、DataV等開源組件開發(fā)完成前端可視化平臺(tái)，提供直觀、多維度、細(xì)粒度、可交換、個(gè)性化的數(shù)據(jù)可視化圖表，多種數(shù)據(jù)展示模型配合數(shù)據(jù)混搭解決方案，實(shí)現(xiàn)交通時(shí)空狀況及預(yù)測(cè)結(jié)果的展示，提供對(duì)外數(shù)據(jù)導(dǎo)入通用接口，以及便捷的交互式查詢，增強(qiáng)用戶體驗(yàn)，滿足用戶需求。

結(jié) 語

智慧交通的建設(shè)是城市發(fā)展的抓手，是緩解交通壓力、助力智慧城市發(fā)展的重要手段。本文開發(fā)的交通時(shí)空大數(shù)據(jù)分析平臺(tái)，以國(guó)家政策以及系列指導(dǎo)為依托，進(jìn)行指揮交通頂層規(guī)劃，充分復(fù)用現(xiàn)有數(shù)據(jù)資源，深度挖掘手機(jī)信令大數(shù)據(jù)的價(jià)值，構(gòu)建優(yōu)化模型，實(shí)現(xiàn)了人口分布分析、駐留出行分析、交通態(tài)勢(shì)監(jiān)測(cè)預(yù)警分析、人流分析、個(gè)性出行建議等等，提供數(shù)據(jù)通用接口并輔以直觀友好的展示。抓住痛點(diǎn)，讓提升居民獲得感體驗(yàn)的公共交通出行服務(wù)為實(shí)施策略，打造智慧化的公眾出行服務(wù)，用大數(shù)據(jù)等技術(shù)充分挖掘和利用信令數(shù)據(jù)的價(jià)值，為交通治理提供科技，數(shù)據(jù)數(shù)據(jù)，提升緊急狀況應(yīng)急能力，實(shí)現(xiàn)交通規(guī)劃決策智能化。

參考文獻(xiàn)

[1] 吳為強(qiáng). 基于大數(shù)據(jù)挖掘的智能交通決策分析系統(tǒng)[J]. 機(jī)電工程技術(shù)， 2017（S2）.

（第一作者）作者簡(jiǎn)介：楊星浩（1999-07-），男，漢族，浙江溫州，本科生，數(shù)據(jù)處理與分析。

通訊作者：李志敏（1975-02-），女，湖北，研究生，副教授，醫(yī)學(xué)數(shù)據(jù)處理與分析。