大數(shù)據(jù)處理與挖掘在智能交通系統(tǒng)中的應用

劉勇良

摘 要：當前，互聯(lián)網(wǎng)及通信技術的廣泛應用為智能交通系統(tǒng)提供了大量的實時數(shù)據(jù)，亟需對其進行管理、交換、譯制、匯聚和分析研判?；ヂ?lián)網(wǎng)及通信技術大大提高了智能交通系統(tǒng)的用戶友好度及有效性，提供了可觀的經(jīng)濟和社會影響。在物聯(lián)網(wǎng)和云技術的大背景下，軟件架構的需求和智能交通系統(tǒng)新特性需要真實的應用場景來推導。本文主要闡述大數(shù)據(jù)處理與挖掘技術的應用對智能交通系統(tǒng)所產(chǎn)生的有利影響，并指出智能交通系統(tǒng)下大數(shù)據(jù)挖掘和處理領域新的工作方向。

關鍵詞：智能交通;云計算;數(shù)據(jù)挖掘;計算統(tǒng)計

中圖分類號：U495;TP311.13 文獻標識碼：A 文章編號：1003-5168（2019）04-0138-06

Big Data Processing and Mining Techmology which applied

in Modern Intelligent Transportation System

LIU Yongliang

（Henan Traffic and Communication Center， Zhengzhou Henan 450000）

Abstract： At present， the wide application of Internet and communication technology provides a large amount of real-time data for ITS， which needs to be managed， exchanged， translated， aggregated， analyzed and judged urgently. Internet and communication technology have greatly improved the user friendliness and effectiveness of ITS， and provided considerable economic and social impact. Under the background of Internet of Things and cloud technology， the requirement of software architecture and the new features of ITS need real application scenarios to derive. This paper mainly expounded the beneficial influence of the application of big data processing and mining technology on ITS， and pointed out the new direction of work in the field of big data mining and processing under ITS.

Keywords： intelligent transportation system;cloud computing;data mining;computational statistics

1 研究背景

近年來，日益增加的交通量和規(guī)律性的擁堵要求從基礎設施和交通管理方面提出解決方案。隨著交通系統(tǒng)的組件變得更加自主和智能（例如，車輛和基礎設施的新通信能力），對運輸管理和環(huán)境監(jiān)測的智能運輸系統(tǒng)之間的合作的需求日益增加，以便改進交通管理策略。此外，智能交通管理系統(tǒng)方面的投資量日益增加。在新一代的商業(yè)管理系統(tǒng)中，交通系統(tǒng)的管理與運輸企業(yè)的商業(yè)戰(zhàn)略緊密結合，使得企業(yè)在業(yè)務規(guī)劃、服務質(zhì)量和適應客戶需求等方面的影響力不段增強。

所有智能交通系統(tǒng)的參與者作為數(shù)據(jù)的來源，會在短時間內(nèi)產(chǎn)生大量可利用的、更新頻繁的數(shù)據(jù)。數(shù)據(jù)的增長主要來自人們對社交媒體及網(wǎng)絡的使用，如車輛和交通系統(tǒng)中新型傳感器的使用，云計算和物聯(lián)網(wǎng)等現(xiàn)代信息和通信技術的應用等。隨著移動設備、航空感應技術（遙感）、照相機、麥克風、射頻識別讀取器和無線傳感器網(wǎng)絡等信息設備被越來越多地用于收集數(shù)據(jù)，數(shù)據(jù)集的規(guī)模越來越大。機器生成的和非結構化的數(shù)據(jù)如照片、視頻、社交媒體提要等的比例也在不斷增加。在該背景下，智能交通系統(tǒng)中出現(xiàn)了大數(shù)據(jù)問題。大數(shù)據(jù)通常包括數(shù)據(jù)集，其大小超出了常用軟件工具在可容忍的時間內(nèi)捕獲、策劃、管理和處理數(shù)據(jù)的能力。大數(shù)據(jù)能提供相關客戶及其行為的詳細信息，但應以分散（多代理）方式進行適當分析，同時避免傳輸大量信息。而云和網(wǎng)格計算基礎架構非常適合存儲、管理和處理大數(shù)據(jù)。

從本質(zhì)上講，大數(shù)據(jù)在物理和邏輯上是分散的，但實際上是集中的。所有信息源/存儲都是互連的，原則上，任何信息都可以由系統(tǒng)的任一組件訪問。大數(shù)據(jù)量通常在物理層上以分散的方式創(chuàng)建和管理。這會增加訪問信息時的信息成本。

為了在分散的信息處理決策和數(shù)據(jù)傳輸決策協(xié)調(diào)之間尋找有效的平衡點，運用大數(shù)據(jù)處理和挖掘技術并提出相應的應用決策是必須的。這就需要采用創(chuàng)新的大數(shù)據(jù)處理及挖掘技術，并開發(fā)相應的決策算法，以支持智能交通系統(tǒng)應用程序查找、收集、聚合、處理和分析最佳決策制定所需的信息以及有效的用戶行為策略[1]。

基于高度可擴展的分布式計算資源的云計算技術為大數(shù)據(jù)處理及挖掘提供了大容量存儲和快速計算的能力。但是，實施交通云并非易事。從用戶的觀點來看，數(shù)據(jù)和算法的復雜性隱藏在云中。用戶（交通管理機構、司乘人員）期望通過移動或嵌入式設備在互聯(lián)網(wǎng)上使用相對簡單的應用程序和界面。這些設備是連接的，并且（理論上）可以使用其他用戶和系統(tǒng)元件提供的所有信息。

本文將從以下五個方面進行探討：第一，分析以云為基礎的結構和智能交通系統(tǒng)的應用場景;第二，考慮用于實施相應數(shù)據(jù)挖掘與處理技術的架構和用于運輸操作的決策策略;第三，討論三種情況下合適的算法;第四，對基于計算統(tǒng)計的分散式協(xié)同大數(shù)據(jù)處理與挖掘方法進行討論，并在真實的交通數(shù)據(jù)中對其效率進行評估;第五，指出并討論未來在智能交通系統(tǒng)中的大數(shù)據(jù)挖掘與處理領域的工作方向。

2 現(xiàn)狀分析

2.1 需求與應用

目前，大數(shù)據(jù)已成為世界范圍內(nèi)信息與通訊技術領域主要的科研課題。智能交通系統(tǒng)研究與發(fā)展也與大數(shù)據(jù)處理技術緊密相連，因此智能交通系統(tǒng)也是大數(shù)據(jù)挖掘與處理的重要領域之一。從應用方面來看，智能城市物流運營對智能交通系統(tǒng)來講是較為重要的，其對城市貨物運輸有很大的影響。

2.2 未來信息和通訊技術在智能交通系統(tǒng)中的應用

未來的信息和通訊技術可以滿足用戶需求，增強智能交通系統(tǒng)并為高性能計算提供大規(guī)模的基礎架構，這些基礎架構具有“彈性”性質(zhì)[2]。

無線傳輸、移動互聯(lián)網(wǎng)、移動傳感器等現(xiàn)代移動和通訊技術為智能交通系統(tǒng)提供了良好的技術支持。目前，車輛大多都配備了具有強大通信和數(shù)據(jù)處理能力的移動設備、傳感器等，以期為司乘人員提供環(huán)境信息?？旖荨⒏哔|(zhì)量的3G或者4G移動互聯(lián)網(wǎng)連接時刻提供廉價方便的服務，這意味著大多數(shù)交通參與者已經(jīng)實現(xiàn)實時的互聯(lián)互通。而如何利用這些連接為交通參與者提供可靠有效的需求服務是當前亟待解決的問題。

環(huán)境智能這個術語是建立在普適計算、泛在計算分析、情境感知及以人為中心的計算交互設計。在計算機領域，環(huán)境智能（Ambient Intelligence，AmI）是指對一個人有感應和反饋的電子環(huán)境。

2.3 智能交通系統(tǒng)結構

云計算是個經(jīng)常被提及的問題，在智能交通系統(tǒng)中，主要從設備、通信和服務層的角度考慮云計算。在車輛駕駛員和外部車輛之的交互，同時考慮車輛到車輛（V2V）和車輛到基礎設施（V2I）的交互，以更有效的方式共享和利用外部資源。智能交通系統(tǒng)中的云架構如圖1所示。

結構層包括云中可用的所有計算、存儲、數(shù)據(jù)和網(wǎng)絡資源。資源可通過資源服務訪問，用于云計算、管理和測試平臺?；谠朴嬎愕闹悄芙煌ㄏ到y(tǒng)分層結構如圖2所示。

統(tǒng)一來源層通過使用虛擬機定義對結構層的原始計算資源的統(tǒng)一訪問來提供基礎架構即服務。

平臺層提供平臺即服務，包括在統(tǒng)一資源之上的專用工具、中間件和服務的集合，以創(chuàng)建部署平臺（例如，調(diào)度創(chuàng)建服務和人工測試床）。

應用程序層包含在云中運行的所有應用程序。云中的應用程序執(zhí)行是分布式的：應用程序可以部分在客戶端上執(zhí)行，部分在云中執(zhí)行[3]。

3 智能交通系統(tǒng)中的大數(shù)據(jù)挖掘和處理技術

3.1 大數(shù)據(jù)挖掘和處理方法

經(jīng)典的數(shù)據(jù)處理和挖掘方法是集中式的。為了應用這些技術，數(shù)據(jù)必須立即就地可用。但是，大數(shù)據(jù)不斷更新并收集在物理分布式存儲中，并且數(shù)據(jù)集中化是不可能的。

使用集中式的處理方法，系統(tǒng)無法實時快速地進行情景適配，并且通過網(wǎng)絡傳輸和存儲大數(shù)據(jù)，在統(tǒng)一位置管理和處理大數(shù)據(jù)將會非常困難或者不可能實現(xiàn)。因此，開發(fā)一種有效的、考慮數(shù)據(jù)時間和空間分布的分散式結構大數(shù)據(jù)挖掘及處理算法成為急需解決的問題。

現(xiàn)今，從技術和成本的角度來看，分析和處理大數(shù)據(jù)已經(jīng)變得可行。很多大數(shù)據(jù)框架圍繞著商業(yè)交易、商業(yè)策略分析、識別價值且與結構的或非結構的數(shù)據(jù)息息相關。大數(shù)據(jù)處理和挖掘技術有助于將大數(shù)據(jù)以壓縮（集群）的方式進行存儲，并查找數(shù)據(jù)行為準則。接下來簡要介紹幾種主要的大數(shù)據(jù)挖掘及處理方法。

回歸分析是確定兩種或兩種以上變量間相互依賴的定量關系的一種統(tǒng)計分析方法?；貧w分析按照涉及的變量的多少，分為一元回歸和多元回歸分析;按照自變量的多少，可分為簡單回歸分析和多重回歸分析;按照自變量和因變量之間的關系類型，可分為線性回歸分析和非線性回歸分析。如果在回歸分析中，只包括一個自變量和一個因變量，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量，且自變量之間存在線性相關，則稱為多重線性回歸分析。

時間序列預測分析就是利用過去一段時間內(nèi)某事件時間的特征來預測未來一段時間內(nèi)該事件的特征。時間序列數(shù)據(jù)具有自然的時間順序，這與典型的數(shù)據(jù)挖掘/機器學習應用程序不同，其中每個數(shù)據(jù)點是要學習的概念的獨立實現(xiàn)，并且數(shù)據(jù)集內(nèi)的數(shù)據(jù)點的排序無關緊要。

聚類分析是一組用于對對象進行分類的統(tǒng)計方法，這些對象將不同的組分成較小的相似對象組，其相似性的特征事先是未知的。由于不使用訓練數(shù)據(jù)，這是一種無監(jiān)督學習。

分類分析是基于包含其類別成員資格已知的觀察（或實例）的訓練數(shù)據(jù)集來識別新觀察所屬的一組類別（子群體）中的哪一個的問題。

3.2 云計算基礎設施和大數(shù)據(jù)挖掘及處理

云計算架構的特點是用戶與系統(tǒng)緊密集成，并根據(jù)物聯(lián)網(wǎng)創(chuàng)建虛擬代理。由于數(shù)據(jù)與每一個用戶緊密相連且數(shù)據(jù)在云上存儲，因此，云計算系統(tǒng)會將數(shù)據(jù)自動進行分配。虛擬用戶完全接入系統(tǒng)且對每一條數(shù)據(jù)都有訪問權限。

云系統(tǒng)的用戶通常具有有限的計算能力，因為其經(jīng)常使用移動設備連接到云。因此，大數(shù)據(jù)的處理及挖掘部分在本地執(zhí)行，部分由其他代理執(zhí)行，其收集用戶信息并將信息存儲在云中。大數(shù)據(jù)挖掘及處理的主要問題是工作量和通訊費用。由于數(shù)據(jù)代理/中心的高連接性，云計算的實施處理了大量此類工作負載。

大數(shù)據(jù)挖掘與處理技術在云計算基礎架構中應用時仍保持分布狀態(tài)。然而，信息可用性的問題被信息成本問題所取代，信息成本問題將以下因素考慮在內(nèi)，如信息位置、提取速度、質(zhì)量、可靠性等。對云計算系統(tǒng)有大量的類似但不完全相同的需求用戶有很多。為此，應建立不同級別的數(shù)據(jù)處理以及預先計算的特征，然后有效地與實際用戶數(shù)據(jù)相結合。

在云環(huán)境中使用大數(shù)據(jù)挖掘及處理技術有以下優(yōu)點：①在沒有物理集成的情況下將數(shù)據(jù)源虛擬集成到系統(tǒng)中;②促進基于成本的選擇性大數(shù)據(jù)挖掘及處理技術;③基于多目標大數(shù)據(jù)挖掘及處理技術的刺激;④支持多階段大數(shù)據(jù)挖掘與處理技術和不同級別的數(shù)據(jù)處理。

3.3 大數(shù)據(jù)挖掘及處理技術的未來發(fā)展趨勢：計算統(tǒng)計

云計算平臺有助于數(shù)據(jù)收集和為計算統(tǒng)計運作提供必要的資源。計算統(tǒng)計是統(tǒng)計學與計算機科學之間的接口，其是統(tǒng)計學數(shù)學科學特有的計算科學領域，旨在設計用于計算機實現(xiàn)統(tǒng)計方法的算法，包括在計算機時代之前不可想象的算法（例如，引導，模擬），以及應對分析上棘手的問題。計算統(tǒng)計假設通過使用不同組合的可用數(shù)據(jù)來應用迭代計算而不是復雜的分析模型。由此產(chǎn)生的問題的解決方案是近似的，然而，在許多實際情況下（大量可用信息，分析系統(tǒng)的復雜和層次結構及數(shù)據(jù)的依賴性），其可能會比經(jīng)典方法提供更穩(wěn)健和精確的結果，甚至可以在經(jīng)典方法不可行的情況下工作。此外，計算統(tǒng)計應用很簡單，不需要復雜的分析或符號程序。

在大數(shù)據(jù)挖掘及處理方法中，廣泛應用計算統(tǒng)計方法，如重采樣、引導程序和內(nèi)核密度，以便在分散式架構中進行回歸分析和聚類。

4 交通運輸中的大數(shù)據(jù)處理及挖掘參考架構

在前面章節(jié)中，筆者討論了大數(shù)據(jù)處理及挖掘在基于云計算的智能交通系統(tǒng)中的應用。接下來，主要分析基于云計算的智能交通系統(tǒng)架構，并對其主要數(shù)據(jù)流進行解釋。此外，筆者還還展示了如何使用大數(shù)據(jù)處理及挖掘技術處理數(shù)據(jù)流，并提供足夠的信息來滿足用戶請求。

在云中執(zhí)行的應用程序是數(shù)據(jù)密集型的。通過云提供的服務需要處理、匯總和分析大量數(shù)據(jù)。

綜上所述，計算是云計算的瓶頸。因此，大數(shù)據(jù)處理及挖掘的一個非常重要的挑戰(zhàn)是本地數(shù)據(jù)源（客戶端）和云之間數(shù)據(jù)處理的合理平衡。如果客戶端擁有足夠的計算能力，則可將數(shù)據(jù)進行本地預處理，并將已處理的數(shù)據(jù)提供給云端，以減少云計算壓力、節(jié)省網(wǎng)絡資源。然而，如果客戶端的計算能力不允許進行信息處理，則原始數(shù)據(jù)被提供給云端處理。數(shù)據(jù)流互聯(lián)如圖3所示。

接下來，筆者考慮用大數(shù)據(jù)處理及挖掘的參考架構和智能交通系統(tǒng)中的決策階段。在這個架構中，筆者專注于說明數(shù)據(jù)流及其處理，以及使用結果來優(yōu)化參與者策略并滿足其要求。圖4顯示了大數(shù)據(jù)處理及挖掘的主要架構和智能交通系統(tǒng)中的決策階段。

需要注意的是，可以使用來自不同提供商的多種云。一些問題對他們來說可能是相似的，他們之間的合作是可能的。智能交通系統(tǒng)的使用者（交通參與者，例如，車輛或行人，商業(yè)用戶如物流提供商、公共交通工具或出租車，數(shù)據(jù)提供者如攝像機或探測器，以及交通管理員如交通管理中心或交通管制元件），使用穩(wěn)定和永久的互聯(lián)網(wǎng)通訊與云端連接。這創(chuàng)建了一個虛擬用戶網(wǎng)絡，實際上其是云中現(xiàn)實的鏡像。該虛擬現(xiàn)實包含分布式用戶數(shù)據(jù)（部分存儲在用戶設備中，部分存儲在由云提供的虛擬存儲中，但仍與用戶相關聯(lián)）。需要注意的是，斷開用戶與云的連接并不意味著消除其虛擬表示，這僅表示本地存儲的數(shù)據(jù)在云中不可用。

在第一階段，應對數(shù)據(jù)進行預處理。原始傳感器數(shù)據(jù)需要非常大的存儲空間，并且不能長時間存儲。此數(shù)據(jù)可以在本地處理或上傳到云端并在那里進行預處理。預處理的結果存儲在用戶配置文件中，并且可以在此階段上載到云。

第二階段是組織虛擬云信息存儲。云數(shù)據(jù)挖掘是由代理商進行的，云數(shù)據(jù)挖掘代理收集信息，將其部分復制到云存儲中，部分地引用用戶配置文件（若其在云中可用）。這些代理商特別關注信息的成本，包括其可用性、可靠性和精確性。

基于云的系統(tǒng)擁有大量用戶，應該快速響應其請求。由此，創(chuàng)建人工點對點網(wǎng)絡，其面向具體的問題，由云系統(tǒng)解決。例如，可以創(chuàng)建面向最短路徑計算、交通燈調(diào)節(jié)或乘客過境。在人工網(wǎng)絡中解決了兩個重要問題：估計其參數(shù)和預先計算用戶策略。

對點對點網(wǎng)絡參數(shù)的預估是大數(shù)據(jù)挖掘及處理過程中的主要階段。其包括估計網(wǎng)絡參數(shù)以獲得網(wǎng)絡的實際狀態(tài)?；谔摂M存儲器中的信息，執(zhí)行參數(shù)估計，考慮數(shù)據(jù)成本并在必要時從物理存儲器接收數(shù)據(jù)。這些參數(shù)可以是網(wǎng)絡節(jié)點上的行程時間，交叉口上的隊列或公共交通站點之間的行程時間。一個非常重要的方面是將信息的動態(tài)變化考慮在內(nèi)，這是由數(shù)據(jù)挖掘客戶端提供的。

5 智能交通系統(tǒng)中的決策支持

筆者考慮三種智能交通系統(tǒng)應用場景：第一，合作交叉路口控制，通過調(diào)節(jié)交叉路口控制器來優(yōu)化交通網(wǎng)絡中的車輛流量;其次，個人旅行伴侶，為旅行者、水面駕駛員和運輸操作員提供多式聯(lián)運的動態(tài)規(guī)劃和監(jiān)控;最后，物流服務伙伴，為受城市環(huán)境影響或依賴于貨物運輸?shù)目蛻艉屠嫦嚓P者提供福利。

5.1 交叉路口虛擬化控制

此方案使用托管在云中的自適應，半分布式流量管理策略來監(jiān)控交叉路口控制器，并在車輛集群和流量管理基礎架構之間的云中創(chuàng)建點對點網(wǎng)絡。其建議駕駛員使用保持交通流量平穩(wěn)的最佳速度，并根據(jù)實時交通情況協(xié)助調(diào)整交通信號燈、標志。該服務使用實時交通信息和路線數(shù)據(jù)收集服務來制定優(yōu)化網(wǎng)絡運營策略。

第一步，處理數(shù)據(jù)流（歷史和實時）。

第二步：創(chuàng)建點對點網(wǎng)絡，其是用于解決特定問題的虛擬抽象網(wǎng)絡（交叉口和區(qū)域流量模型、綠波模型、公共交通優(yōu)先級、阻塞避免等）、估算網(wǎng)絡參數(shù)（流量通量、密度和速度、行程時間估算等）。

第三步：制定交叉路口控制的靜態(tài)策略（如增加流量、天氣條件的改變、群體活動等）。

第四步：將動態(tài)實時信息與靜態(tài)策略相結合，以便做出最新的控制決策（根據(jù)當前條件校正信號周期，協(xié)調(diào)信號控制器以解決諸如堵塞、事故等）。

5.2 動態(tài)多模式行程規(guī)劃

此方案可幫助旅行者實時規(guī)劃和調(diào)整多模式、門到門的行程。其通過識別最佳運輸工具和強大的實時定位，為日常通勤者和其他旅行者提供改進的（即更快、更舒適、更便宜和更環(huán)保）的移動性。這種多模式旅程的規(guī)劃考慮了當前的交通方式、旅行者的背景和偏好、城市交通規(guī)則及當前的要求和約束。旅程計劃需要獲得旅行持續(xù)時間的總體指示及適應資源的早期預訂（火車或機票）。

第一步：處理數(shù)據(jù)流（歷史和動態(tài)）。

第二步：創(chuàng)建點對點網(wǎng)絡（中轉站、公共交通協(xié)調(diào)、乘客運輸選擇等）和網(wǎng)絡參數(shù)評估（不同運輸方式的旅行時間取決于各種因素，如等待時間、乘客到達站點、價格模型等）。

第三步：基于歷史數(shù)據(jù)和預期條件的多模式路線預先規(guī)劃（熱門路線的預先規(guī)劃、預訂路線的預先規(guī)劃、預期事件的預先規(guī)劃）

第四步：實際多模式旅程的預先計劃路線的動態(tài)更新（實際旅行時間估計，在多模式鏈中先前行程延遲的情況下重新計劃，重新規(guī)劃其他旅行可能性或取消多模式旅程的一部分），以及公共交通時間表的動態(tài)更新（按需變更，不同交通方式的協(xié)調(diào)）。

5.3 行程預訂和實時優(yōu)化路線導航

這種情況有助于物流提供商基于最新信息以低成本保證快速（特別是按時）交付，實現(xiàn)每個車輛和車隊效率最大化。優(yōu)化物流車輛的運動，避免交通堵塞，并盡可能采用最短路線。

第一步：處理數(shù)據(jù)流（歷史和動態(tài)）。

第二步：創(chuàng)建點對點網(wǎng)絡（交付模型，物流提供商-客戶交互模型等），根據(jù)網(wǎng)絡參數(shù)估計（不同路段的行程時間、延遲概率，下降過程時間分布、概率）事故。

第三步：預計劃（車輛的初步良好分配，每個車輛的客戶的初步訂單，每個車輛的初步路線，每個客戶的初步時間窗口等）。

第四步：根據(jù)最新信息動態(tài)更新預先計劃的路線（根據(jù)當前交通狀況重新規(guī)劃路線，在發(fā)生事故或交通擁堵時重新規(guī)劃，剩余時間的預估等）;物流車輛之間的合作;與客戶的動態(tài)協(xié)議（關于下車地點的協(xié)商取決于車輛和客戶的當前位置）。

6 未來的工作和結論

本文主要對基于云架構和智能交通系統(tǒng)的場景進行分析，并探討用于實施相應數(shù)據(jù)挖掘與處理技術的架構和用于運輸操作的決策策略，討論三種智能交通系統(tǒng)情景采用適當?shù)臄?shù)學方法，以反映智能交通系統(tǒng)對企業(yè)和社會的需求和潛在影響。

參考文獻：

[1]何曉群，劉文卿.應用回歸分析[M].北京：中國人民大學出版社，2015.

[2]張春陽，周繼恩，劉貴全，等.基于數(shù)據(jù)倉庫的決策支持系統(tǒng)的構建[J].計算機工程，2002（4）：249-252.

[3]劉智勇.智能交通控制理論及其應用[M].北京：科學出版社，2003.