基于大數(shù)據(jù)分析的智能交通系統(tǒng)

李 曉（成都師范學(xué)院物理與工程技術(shù)學(xué)院，成都,611130）

基于大數(shù)據(jù)分析的智能交通系統(tǒng)

李 曉
（成都師范學(xué)院物理與工程技術(shù)學(xué)院，成都,611130）

大數(shù)據(jù)發(fā)展至今，已為眾人所知，被眾多行業(yè)和企業(yè)所用。尤其在天文、氣象、醫(yī)療健康等領(lǐng)域已取得較好的應(yīng)用價(jià)值。我國是汽車大國，快速發(fā)展的汽車行業(yè)也隨之帶來了城市交通擁堵和污染嚴(yán)重等諸多問題。如何將汽車與大數(shù)據(jù)有效的融合，通過大數(shù)據(jù)為政府決策提供數(shù)據(jù)支撐，為智能交通做貢獻(xiàn)。

大數(shù)據(jù);智能交通;隱馬爾科夫

2008年，《Nature》推出Big Data專刊，首次提出大數(shù)據(jù)的概念。2010年4月21日，大數(shù)據(jù)首次列入“維基百科”條目。2011年2月，《Science》推出《Dealing with Data》，說明大數(shù)據(jù)對于科學(xué)研究的重要性。緊接著，2011年5月，麥肯錫全球研究院(MGI)發(fā)布了一份報(bào)告——《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個(gè)新領(lǐng)域》，推動(dòng)了工業(yè)界和學(xué)術(shù)界對大數(shù)據(jù)的關(guān)注；11月，IBM在產(chǎn)品發(fā)布會上主推大數(shù)據(jù)概念，這標(biāo)志著大數(shù)據(jù)進(jìn)入快速發(fā)展的時(shí)期。2012年，美國國家科學(xué)基金就發(fā)布了大數(shù)據(jù)指南。

隨著大數(shù)據(jù)時(shí)代的到來，大數(shù)據(jù)的分析與利用已滲透到電子商務(wù)，公共服務(wù)與安全以及諸多實(shí)體企業(yè)等多個(gè)行業(yè)。在第十二屆全國人民代表大會第二次會議上，“大數(shù)據(jù)”首次出現(xiàn)在政府工作報(bào)告中，這預(yù)示著大數(shù)據(jù)已經(jīng)脫離“是什么”的概念階段，正式進(jìn)入“怎么用”的實(shí)施階段。數(shù)據(jù)儲備和數(shù)據(jù)分析能力將成為未來新型國家最重要的核心戰(zhàn)略能力。

什么是大數(shù)據(jù)，簡單地說，大數(shù)據(jù)就是海量數(shù)據(jù)加復(fù)雜計(jì)算。具體而言則是面對規(guī)模巨大、高速產(chǎn)生的形式多樣的數(shù)據(jù)，只有通過復(fù)雜計(jì)算才能獲取其中有價(jià)值信息的計(jì)算模式。其中，規(guī)模巨大（Volume）與高速產(chǎn)生（Velocity）反映出海量數(shù)據(jù)的特點(diǎn)；形式多樣（Variety）與信息價(jià)值（Value）反映出復(fù)雜計(jì)算的特點(diǎn)。

物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)等技術(shù)在交通領(lǐng)域的應(yīng)用和發(fā)展，對智能交通系統(tǒng)的模式、理念將產(chǎn)生巨大影響。目前，國際智能交通領(lǐng)域的車路協(xié)同系統(tǒng)、公眾出行便捷服務(wù)、車聯(lián)網(wǎng)等熱點(diǎn)技術(shù)領(lǐng)域，都在廣泛研究和應(yīng)用云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)等新技術(shù)。隨著研究和應(yīng)用的深入，可運(yùn)用大數(shù)據(jù)技術(shù)對交通需求進(jìn)行全面客觀的精準(zhǔn)分析和分類研判，大數(shù)據(jù)分析在交通運(yùn)行管理優(yōu)化、面向車輛和出行者的智能化服務(wù)，以及交通應(yīng)急和安全保障等方面都將形成巨大的市場。目前北京、上海、廣東等地都在廣泛地研究和應(yīng)用大數(shù)據(jù)技術(shù)，其中廣州、深圳已經(jīng)利用大數(shù)據(jù)為本地市民出行提供了便利。

但城市交通仍面臨諸多嚴(yán)重問題，以成都為例，成都作為西南地區(qū)的大型城市，路網(wǎng)體系日趨完善，承載能力不斷加強(qiáng)，但汽車保有量也強(qiáng)勁增長，供需關(guān)系依然緊張，截至2014年3月，成都地區(qū)的汽車保有量突破268.59萬輛大關(guān)，中心城區(qū)114.18萬輛，僅次于北京。根據(jù)成都交管局?jǐn)?shù)據(jù)，成都已連續(xù)62個(gè)月月均增2萬新車。根據(jù)2011年至2013年的完整數(shù)據(jù)，2011年成都非私家車數(shù)量約為27萬，到2013年達(dá)到31萬，每年增加2萬輛；而私家車的數(shù)量從2011年的166.82萬輛，增加到2013年底的228.39萬輛，占據(jù)了汽車總保有量的87.86%。根據(jù)增長數(shù)據(jù)，交通部門將汽車平均長度和道路公里數(shù)，進(jìn)行了簡單的加減法，得到的結(jié)果是：預(yù)計(jì)到2017年6月，成都人開車出門，會發(fā)現(xiàn)繞城以內(nèi)的每一條道路上都停滿了車。城市環(huán)境承載已趨于飽和，按年均標(biāo)準(zhǔn)統(tǒng)計(jì)，6類污染物中有4類超標(biāo)，其中PM2.5超過標(biāo)準(zhǔn)濃度250%。因此必須采取更有效的措施，才能保證城市交通系統(tǒng)有效運(yùn)行。

我國大數(shù)據(jù)在智能交通領(lǐng)域中的應(yīng)用僅僅是開始，在大數(shù)據(jù)背景下，交通相關(guān)的數(shù)據(jù)量已從TB級躍升到PB級，大數(shù)據(jù)分析交通除了流量、車輛信息之外，還應(yīng)該包括路面情況、突發(fā)情況、天氣、周邊環(huán)境等諸多因素。

1 異構(gòu)數(shù)據(jù)的協(xié)同計(jì)算理論

采集各種交通基礎(chǔ)設(shè)施數(shù)據(jù)，動(dòng)態(tài)實(shí)時(shí)信息與天氣、政策法規(guī)等影響交通的其他因素。數(shù)據(jù)種類繁多，數(shù)據(jù)結(jié)構(gòu)多樣，數(shù)據(jù)資源分散在各個(gè)部門。首先，大數(shù)據(jù)能夠在最大程度上利用記錄道路信息與人類出行信息進(jìn)行分析。以傳統(tǒng)建模方式處理的數(shù)據(jù)都需要前期進(jìn)行結(jié)構(gòu)化處理，并記錄在相應(yīng)的數(shù)據(jù)庫中。而大數(shù)據(jù)技術(shù)對于數(shù)據(jù)的結(jié)構(gòu)的要求大大降低，可以通過人們留下的道路信息、行為習(xí)慣信息、偏好信息等各種維度的信息進(jìn)行實(shí)時(shí)處理，立體完整地勾勒出每一個(gè)個(gè)體的各種特征，來發(fā)現(xiàn)大量交通流信息中隱含的模式和規(guī)則。其次，大數(shù)據(jù)將分散在不同部門的交通數(shù)據(jù)，例如，個(gè)人信息、公交網(wǎng)信息、鐵路信息、航空信息等各種交通相關(guān)部門的信息匯總整合，使各部門信息開放互通，實(shí)現(xiàn)多層次、跨部門的信息資源交換與共享。做到對交通網(wǎng)絡(luò)的統(tǒng)籌規(guī)劃，提高對交通系統(tǒng)的管控能力。最后，異構(gòu)數(shù)據(jù)的協(xié)同計(jì)算是為了增強(qiáng)知識發(fā)現(xiàn)能力，不僅要解決信息的融合問題，還要解決多源數(shù)據(jù)的跨域關(guān)聯(lián)問題，由此，實(shí)現(xiàn)多源數(shù)據(jù)的知識增強(qiáng)。

2 基于大數(shù)據(jù)分析的決策支持系統(tǒng)

大數(shù)據(jù)通過對海量數(shù)據(jù)進(jìn)行分析給整個(gè)社會帶來從生活到思維上革命性的變化：管理人員在進(jìn)行決策的時(shí)候，會出現(xiàn)從“經(jīng)驗(yàn)即決策”到“數(shù)據(jù)輔助決策”再到“數(shù)據(jù)即決策”的變化。利用大數(shù)據(jù)分析對具有時(shí)空特征的交通數(shù)據(jù)進(jìn)行智能分析，可獲取豐富的、有價(jià)值的知識，如：時(shí)空分布、時(shí)空關(guān)聯(lián)規(guī)則、時(shí)空變化趨勢等，這些知識能夠?yàn)榻煌ㄕ{(diào)度、路徑規(guī)劃、交通相關(guān)規(guī)則制定等提供決策支持。該項(xiàng)目存儲大量交通數(shù)據(jù)，而一些動(dòng)態(tài)實(shí)時(shí)的交通數(shù)據(jù)要求快速處理，因?yàn)橛行?shù)據(jù)存在時(shí)效性，而基于大數(shù)據(jù)的智能交通系統(tǒng)同時(shí)需要較快的處理速度。該系統(tǒng)通過大數(shù)據(jù)算法使對數(shù)據(jù)處理分析的速度大大提高.首先，以隱馬爾可夫算法來預(yù)測天氣為例來說明，用一個(gè)通俗易懂的故事舉例說明：當(dāng)一個(gè)隱士不能通過直接觀察天氣狀態(tài)來預(yù)測天氣時(shí)，但他有一些水藻。民間的傳說告訴我們水藻的狀態(tài)與天氣有一定的概率關(guān)系。也就是說，水藻的狀態(tài)與天氣時(shí)緊 密相關(guān)的。此時(shí)，我們就有兩組狀態(tài)：觀察狀態(tài)（水藻的狀態(tài)）和隱含狀態(tài)（天氣狀態(tài)），這樣在沒有直接觀察天氣的情況下得到天氣的變化情況。這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。其次，可以通過spark技術(shù)處理數(shù)據(jù)，這是一種優(yōu)于Hadoop集群的梳理方式，它提供快速的信息交互處理，提高了對系統(tǒng)的輸入輸出速度，從而提高智能交通系統(tǒng)的響應(yīng)速度，與用戶的體驗(yàn)滿意度。

3 基于復(fù)雜網(wǎng)絡(luò)的智能交通分析及可視化技術(shù)

城市交通系統(tǒng)作為一個(gè)動(dòng)態(tài)系統(tǒng)，在其中包括了眾多復(fù)雜因素，如，人、環(huán)境、道路、交通規(guī)則等，這些因素相互關(guān)聯(lián)又相互制約，是一個(gè)典型的復(fù)雜系統(tǒng)。社交網(wǎng)絡(luò)中人的關(guān)系、不同地區(qū)之間的人口流動(dòng)、道路上的交通流等等都可表達(dá)為復(fù)雜網(wǎng)絡(luò)模型。智能交通的應(yīng)用中更多會用到帶有時(shí)空屬性的復(fù)雜網(wǎng)絡(luò)模型，每個(gè)節(jié)點(diǎn)都有空間坐標(biāo)信息，并且邊和點(diǎn)的屬性（甚至結(jié)構(gòu)）會隨時(shí)間而變化。因此，基于復(fù)雜網(wǎng)絡(luò)的數(shù)據(jù)管理和模式發(fā)現(xiàn)技術(shù)尤為重要。除此之外，可視化以直觀的方式幫助我們理解獲取的知識和模式。例如，將到達(dá)各個(gè)區(qū)域的人數(shù)畫成熱度圖（顏色越深，人越多）。將不同時(shí)間段的此類熱度圖連續(xù)播放，便可以動(dòng)態(tài)反映整個(gè)城市的人口流動(dòng)規(guī)律。與單一數(shù)據(jù)可視化不同，智能交通中的可視化技術(shù)需要同時(shí)考慮多個(gè)維度，其中空間和時(shí)間是兩個(gè)至關(guān)重要的維度。

交通數(shù)據(jù)由交通基礎(chǔ)設(shè)施數(shù)據(jù)和動(dòng)態(tài)交通數(shù)據(jù)構(gòu)成。動(dòng)態(tài)交通數(shù)據(jù)可以通過磁頻、波頻、視頻和移動(dòng)通信等技術(shù)采集。比如，通過在交叉路口埋設(shè)感應(yīng)線圈或安裝在固定地點(diǎn)的視頻監(jiān)控設(shè)備，可以獲得路口的交通流量；用安裝在車內(nèi)GPS等移動(dòng)定位設(shè)備，可記錄車輛位置、瞬時(shí)速度、行程時(shí)間、行程速度、行駛軌跡等交通信息；基于RFID技術(shù)可采集關(guān)鍵斷面的分車型流量、速度等信息，并獲取車輛行駛軌跡；基于手機(jī)信令可獲取用戶運(yùn)動(dòng)線路和運(yùn)動(dòng)速度等。動(dòng)態(tài)交通數(shù)據(jù)記錄著隨時(shí)間變化的空間和屬性信息，具有動(dòng)態(tài)、多源、連續(xù)、無限、時(shí)變等特征，是進(jìn)行實(shí)時(shí)監(jiān)控和動(dòng)態(tài)分析的數(shù)據(jù)基礎(chǔ)。

但是這些原始數(shù)據(jù)中信息多且復(fù)雜，噪聲數(shù)據(jù)、缺失數(shù)據(jù)、冗余數(shù)據(jù)和不一致數(shù)據(jù)大量存在，嚴(yán)重影響了數(shù)據(jù)的質(zhì)量。因而需要對基礎(chǔ)數(shù)據(jù)進(jìn)行清洗工作，主要步驟：

1)數(shù)據(jù)分析。利用團(tuán)隊(duì)已有的創(chuàng)新性大數(shù)據(jù)分析方法，對基礎(chǔ)數(shù)據(jù)有針對性地詳盡分析， 獲得關(guān)于數(shù)據(jù)屬性的元數(shù)據(jù)，從而發(fā)現(xiàn)數(shù)據(jù)集中存在的質(zhì)量問題。

2)定義清洗轉(zhuǎn)換規(guī)則。根據(jù)上一步數(shù)據(jù)分析得到的結(jié)果定義清洗轉(zhuǎn)換規(guī)則與工作流。

3)檢測屬性錯(cuò)誤并標(biāo)準(zhǔn)化?；诮y(tǒng)計(jì)的方法、聚類方法、關(guān)聯(lián)規(guī)則的方法檢測數(shù)據(jù)集中的屬性錯(cuò)誤，并糾正錯(cuò)誤，使數(shù)據(jù)標(biāo)準(zhǔn)化。

4) 數(shù)據(jù)回流。利用干凈的數(shù)據(jù)替換數(shù)據(jù)源中原來的“臟數(shù)據(jù)”。

有效的交通數(shù)據(jù)組織管理和交通數(shù)據(jù)提取與分析是進(jìn)行動(dòng)態(tài)交通流和路網(wǎng)擁堵狀態(tài)分析的兩個(gè)關(guān)鍵環(huán)節(jié)。

根據(jù)交通管理部門和出行者對交通信息訪問的實(shí)時(shí)性和智能化需求，以動(dòng)態(tài)交通流和路網(wǎng)擁堵狀態(tài)分析為導(dǎo)向，結(jié)合交通數(shù)據(jù)的時(shí)空特征和交通領(lǐng)域約束，深入分析數(shù)據(jù)之間潛在的相似性、相關(guān)性和關(guān)聯(lián)性，并對交通數(shù)據(jù)進(jìn)行聚類分析、預(yù)測分析、關(guān)聯(lián)分析、異常檢測等深度挖掘，從而發(fā)現(xiàn)不同特征維度、不同數(shù)據(jù)粒度隱含的知識，利用降維技術(shù)分析和處理數(shù)據(jù)。

基于大數(shù)據(jù)分析，可以利用隱馬爾科夫模型建立智能交通預(yù)測模型。隱馬爾科夫模型用于描述隨機(jī)過程統(tǒng)計(jì)特性的概率模型，是一個(gè)雙重隨機(jī)過程，由馬爾科夫鏈和一般隨機(jī)過程兩部分組成。其中，馬爾科夫鏈用來描述狀態(tài)的轉(zhuǎn)移，一般隨機(jī)過程用來描述狀態(tài)與觀察值之間的對應(yīng)關(guān)系。一個(gè)可以用五元組

來表示，其中，描述了馬爾科夫鏈，描述了隨機(jī)過程模型結(jié)構(gòu)如下圖所示：

各參數(shù)描述如下:

2.O為一組可觀察符號的集合，。

3.M為從每一狀態(tài)可能輸出不同的觀察值數(shù)目。

道路的流量在時(shí)間上是一個(gè)馬爾科夫過程，當(dāng)前時(shí)間段的交通情況是受上一時(shí)間段的情況影響的。在地理位置上相關(guān)聯(lián)的路段的交通情況也是一個(gè)馬爾科夫過程，當(dāng)前路段的流量會受到與之相連的路段的影響。

對采集的數(shù)據(jù)進(jìn)行處理和統(tǒng)計(jì)，通過設(shè)定預(yù)測窗口，對預(yù)測窗口起始時(shí)刻測得值以及預(yù)測窗口內(nèi)參數(shù)平均值和序列對比度離散化，構(gòu)成隱馬爾科夫模型的隱狀態(tài)和觀察狀態(tài)集合。最后進(jìn)行道路的流量進(jìn)行預(yù)測。

采用預(yù)測準(zhǔn)確度作為評價(jià)指標(biāo)，考慮系統(tǒng)預(yù)測流量和實(shí)際流量之間的相似度。預(yù)測準(zhǔn)確度的一個(gè)經(jīng)典方法是度量系統(tǒng)預(yù)測流量和實(shí)際流量的平均絕對誤差（Mean Absolute Error，簡稱MAE）。

與平均絕對誤差相關(guān)的其它指標(biāo)有平均平方誤差 ( Mean Squared Error, 簡稱 MSE) 和標(biāo)準(zhǔn)平均絕對誤差 (Normalized Mean Absolute Error,簡稱 NMAE)。平均平方誤差定義為

[1] （英）邁爾-舍恩伯格，（英）庫克耶 著，盛楊燕，周濤譯.大數(shù)據(jù)時(shí)代[M]. 浙江人民出版社，2013.1

[2] 吳忠澤．迎接中國智能交通的新時(shí)代[J].科學(xué)，2010，62(1)：3-6．

[3] 畢然，黨梅梅．智能交通系統(tǒng)標(biāo)準(zhǔn)化現(xiàn)狀及發(fā)展趨勢[J]．電信網(wǎng)技術(shù)，2011，4：44-47．

[4] 叢新宇，虞慧群，范貴生．基于組合模型的交通流量預(yù)測方法[J]．華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2011，37(3)：340-345．

[5] 楊勝，李莉，胡福喬，施鵬飛．基于決策樹的城市短時(shí)交通流預(yù)測[J]．計(jì)算機(jī)工程，2005，31(8)：35-36．

Intelligent transportation system based on big data analysis

Li Xiao
(ChengDu Normal University,College of physics and Engineering,ChengDu,611130)

Today,big data has been known for everybody,and is used by many industries and enterprises. Big data have got to a good application value in the astronomical,meteorological,health care and other fields.China is a major car producer,and the rapid development of the auto industry has brought many problems in city traffic congestion and pollution.How to integrate the cars and big data effectively,how to use the big data to provide data support for the government,and how to makes the contribution for the intelligent transportation.

Big data;Intelligent;transportation;Hidden Markov