交通大數據：一種基于微服務的敏捷處理架構設計

杜圣東，楊燕，滕飛

西南交通大學信息科學與技術學院，四川 成都 610031

交通大數據：一種基于微服務的敏捷處理架構設計

杜圣東，楊燕，滕飛

西南交通大學信息科學與技術學院，四川 成都 610031

面對智慧交通廣泛的大數據應用場景和技術需求，一般大數據系統(tǒng)難以適應多種處理情況并做出快速響應。針對這一問題，首次提出了敏捷大數據方法論，對其概念、處理流程、核心原則與關鍵技術等進行了研究和探索?；跀祿茖W迭代性本質，設計了面向微服務的敏捷大數據架構，對交通大數據微服務化、交通大數據融合等關鍵環(huán)節(jié)進行了詳細設計和論述。敏捷大數據架構的提出為交通大數據環(huán)境下的高效、靈活數據挖掘和機器學習提供了新思路、新方法。

agile big data, micro service, big data architecture, container, big data fusion

1 引言

近年來，隨著大數據、云計算、人工智能、物聯(lián)網等前沿信息技術的高速發(fā)展，人們已然邁入大數據時代[1]。數據被喻為大數據時代的石油，如何擁有繼陸權、海權、空權之后的數權，已經上升為各國的重大科技戰(zhàn)略。隨著我國高鐵、地鐵、輕軌和高速公路等交通基礎設施建設和城市化進程的日益提速，交通擁堵、排放污染、能源消耗等問題日益嚴重，交通事故、交通緊急事件頻繁發(fā)生，交通管控風險加大，這些都是智慧交通和城市計算[2]亟待解決的關鍵問題。由于現代交通涉及經濟、環(huán)境、社會和安全等多個方面，大數據時代的到來為綜合交通一體化、智能化管理提供了新的機遇和廣闊的應用前景，同時也對交通數據感知、交通大數據管理和時空大數據機器學習等方面的關鍵技術和架構設計提出了新的挑戰(zhàn)。當前的交通規(guī)劃設計、運營管控、安全維護等受到跨地域、跨行業(yè)等限制，各類管理主體的分割造成了交通數據的條塊分割和碎片化，使得傳統(tǒng)信息技術難以支撐交通大數據的綜合管理和挖掘分析。所以通過不斷獲取、整合和分析交通大數據解決上述挑戰(zhàn)，通過大數據機器學習和城市計算技術提升智慧交通管理水平，應用潛力巨大；另外，交通海量數據的多源異構、時空關聯(lián)、多模態(tài)、動態(tài)性等特點，大數據的集成性、可預測性等技術特征，更是凸顯了大數據技術在智慧交通中的深層應用價值。

隨著交通大數據的急速增長，各類數據在時空關聯(lián)、跨模態(tài)和動態(tài)處理方面都呈現出不斷增長的復雜性，一般信息技術和傳統(tǒng)數據挖掘技術越來越難以處理。如何有效支持交通大數據敏捷處理，是交通大數據應用要解決的關鍵問題。近年來，以微服務、構件化和數據融合等為代表的大數據架構和關鍵技術研究備受關注。針對軟件架構的復用性，楊芙清院士等人[3]很早就開創(chuàng)性地提出了構件化軟件設計理論與方法，對軟件復用技術作了全面綜述及關鍵技術分析，為近年來的服務化和容器化技術打下了堅實的基礎；王珊等人[4]對大數據架構設計的挑戰(zhàn)和現狀做了分析和展望，為了設計適合大數據分析的數據倉庫架構，探討了大數據平臺需要具備的重要特性，并對當前的主流大數據框架進行了深入研究，指出了各自的優(yōu)勢及不足。孟小峰等人[5]闡述了大數據處理的基本框架，并就云計算技術對大數據時代數據管理產生的作用進行分析。Chen H M等人[6]提出了以架構為中心的敏捷大數據開發(fā)方法，初步引入了傳統(tǒng)軟件工程中的敏捷開發(fā)思想。在交通大數據處理方面，鄭宇[2]提出了城市計算的定義、框架和主要研究問題，并概述了城市計算的典型應用和所需的技術。在微服務方面[7]，亞馬遜、谷歌 、FaceBook、阿里巴巴等企業(yè)進行了大量研究和應用，通過微服務技術將大型、復雜的應用程序構建為一組相對獨立和協(xié)同聯(lián)系的微小服務，以提高大型復雜系統(tǒng)的穩(wěn)定性、敏捷性和研發(fā)維護效率。從上述分析可以看出，雖然已有針對大數據架構的探討和主流大數據框架比較研究，但在大數據架構設計的方法論和關鍵技術支撐體系，特別是結合微服務、敏捷方法論的大數據架構研究方面，暫時還是空白。

本文探討了交通大數據應用面臨的關鍵問題和技術挑戰(zhàn)，闡述了大數據技術在智慧交通中的關鍵地位和相互之間的關聯(lián)關系。從4個層面系統(tǒng)分析了交通大數據處理涉及的共性關鍵技術。由于交通大數據涉及技術面十分廣泛，大數據計算模式和處理數據模態(tài)的不同，決定了其采取的技術也會不同，面對交通大數據分析廣泛的應用場景和特定技術需求，一般大數據分析系統(tǒng)難以適應所有的處理情況，其他領域的大數據應用也面臨著同樣的難題。因此，提出了敏捷大數據的方法論，并對其概念、原理、處理原則與關鍵支撐技術進行了深入研究和分析。并基于大數據多粒度信息融合、計算微服務化、云計算和容器等技術，從采集、存儲、計算和應用4個層面設計了面向智慧交通的敏捷大數據處理架構，為交通大數據應用研究提供了新的思路、方法和技術。

2 交通大數據應用挑戰(zhàn)

面對海量的多源異構交通大數據，如何從中根據用戶需求提取有效特征，并挖掘出有價值的信息進行決策支持，是智慧交通要解決的關鍵問題。通過對交通大數據的分析處理和預測預警，可以輔助交通管理者制定出更好的解決方案，提升交通監(jiān)控、預測和安全保障水平，并提高交通網絡的運行效率，這是智慧交通的核心目標。大數據技術和智慧交通是互為支撐的關系（如圖11所示），交通大數據系統(tǒng)在智慧交通應用的中心地位凸顯。首先，為了解決數據孤島問題，大數據分析和決策需要基于統(tǒng)一的交通大數據中心，交通環(huán)境中的人、路、車和相關時空感知數據，通過采集、抽取、匯聚進入大數據中心進行分布式存儲，各類管理信息系統(tǒng)也需要數據集成，為大數據挖掘分析提供數據源；其次，大數據分析技術除了提供獨立的智慧交通決策支持服務之外，還要能對所有相關交通管理信息系統(tǒng)和對外信息發(fā)布方面提供數據分析服務，業(yè)務系統(tǒng)數據庫為大數據系統(tǒng)提供數據來源，大數據系統(tǒng)為業(yè)務系統(tǒng)提供海量數據處理架構下的匯總統(tǒng)計、探索分析、多維分析和決策指導等大數據分析支持。圖11是交通大數據在智慧交通應用中的定位和相互關系示意。

圖1 交通大數據在智慧交通應用中的定位與相互關系示意

交通大數據分析作為智慧交通的關鍵支撐技術，其應用面臨著巨大挑戰(zhàn)。大數據技術的關鍵詞是預測、迭代和優(yōu)化，技術模型和系統(tǒng)設計不同于傳統(tǒng)信息化領域，特別是大數據很多技術采用的是全新技術范型，核心技術的突破短期仍受限于理論、技術成熟度和研發(fā)能力，具有復雜性和不確定性。另外，根據交通大數據的特點，需對數據采集、多模態(tài)數據融合、數據質量監(jiān)控、隱私信息清洗和機器學習模型的有效性、穩(wěn)定性等方面，進行持續(xù)深入研究和驗證。一般來講，交通大數據應用主要面臨如下挑戰(zhàn)。

（1）數據孤島和集成共享問題

全面、及時、準確地采集和獲取交通各類源數據是交通大數據分析的基礎。傳統(tǒng)交通規(guī)劃設計、運營管控的跨地域、跨行業(yè)等限制問題，造成了各類管理主體的分割，從而導致了各類交通信息的條塊分割和碎片化，交通數據碎片化地分散在不同的信息系統(tǒng)中，數據孤島問題嚴重。而交通大數據的集成性、可預測性必須基于海量數據的集成和融合，才能實現智能化、一體化的智慧交通管理，所以解決數據孤島和實現數據集成共享是交通大數據應用面臨的首要挑戰(zhàn)。

（2）多源異構和時空關聯(lián)問題

交通大數據橫跨多個行業(yè)領域，結構化和半結構化、非結構化數據混合并存，不同系統(tǒng)或平臺的數據呈離散化、碎片化分布，面對交通大數據多源異構、時空關聯(lián)復雜耦合和相互影響等特點，傳統(tǒng)數據挖掘與機器學習技術難以直接應用，這給交通大數據的處理帶來了巨大挑戰(zhàn)。如何針對交通大數據的時空關聯(lián)性、互補性及其動態(tài)變化規(guī)律進行深入解析，并在此基礎上構建合理有效的機器學習模型，是交通大數據關聯(lián)分析要解決的關鍵問題。

（3）多模態(tài)數據和多任務處理問題

交通大數據隨著時間和空間的動態(tài)變化常常呈現出多模態(tài)和動態(tài)性特點，由于多模態(tài)交通大數據處理固有的復雜性、相關性、動態(tài)性等問題，需分析從單模態(tài)數據機器學習到多模態(tài)關聯(lián)機器學習的高階相關性原理，并且研究交通大數據中不同層次之間信息的關聯(lián)集成與融合機理。結合多模態(tài)數據源的互補信息，分析數據源之間的各類特征關聯(lián)關系和語義關系，構建面向多源異構數據的多粒度信息融合模型，建立統(tǒng)一數據融合層和標準數據集來處理和共享交通大數據，并設計基于多模態(tài)交通大數據處理的跨模態(tài)機器學習和多任務集成學習方法，是交通大數據建模要解決的關鍵問題。

3 交通大數據關鍵技術

要實現交通大數據分析目標，需明確所需數據源和關鍵技術，針對分析目標，進行交通多個維度數據（人、車、路、時間、空間等）的采集和存儲。通過交互式分析技術、可視化分析技術和數據挖掘、機器學習或深度學習技術，對海量交通數據進行大規(guī)模建模計算，最后對分析結果進行展示評價，并在實際系統(tǒng)中進行應用評估和反饋、優(yōu)化，從而科學指導和輔助交通管理決策支持。由于大數據技術生態(tài)體系龐雜[8]，基礎技術覆蓋數據采集、數據預處理、數據脫敏、分布式計算、NoSQL數據存儲、多模式（離線、實時、流、內存）計算、多模態(tài)（圖片、視頻、音頻、網頁、傳感器）數據處理、并行計算、數據倉庫、數據挖掘、機器學習、深度學習、數據可視化等各個層級，應用場景更是涉及交通流分析、交通擁堵分析、污染排放分析、交通風險分析、交通誘導分析、交通軌跡分析等各個方面。要支撐基于大數據技術的智慧交通管理，需對交通大數據的基礎性共性關鍵技術進行深入研究，包括應用環(huán)節(jié)、方法原理和關鍵技術等方面。本文從4個層面對交通大數據分析的共性關鍵技術進行研究。

（1）交通大數據采集與集成融合技術

隨著城市交通、鐵路、航空、水運等各領域物聯(lián)網、車聯(lián)網傳感采集和智能終端設備的普及應用，交通數據采集的范圍、廣度和深度進一步加強，為實現跨行業(yè)與跨地域的智慧交通大數據分析提供了海量的全樣本數據。類型繁多、結構多樣、體量巨大的交通數據決定了其采集的復雜性，需研究大數據條件下的跨行業(yè)、跨地域的交通動、靜態(tài)數據采集，數據交換共享以及預處理關鍵技術，主要支撐對靜態(tài)、動態(tài)兩大類交通數據的采集、抽取和融合集成，包括公路、鐵路、航空、水運等多行業(yè)的設施（如路網）、設備（如車輛）、人員、安全保障等基礎數據，還有綜合交通網絡中人、車、路、環(huán)境等相互間作用的關系數據，如速度、密度、流量、位置、票價等。需要研究移動式動態(tài)交通數據采集技術、固定式交通數據采集技術、基于Hadoop的關系數據抽取技術、大規(guī)模交通數據預處理技術等，為智慧交通的時空感知和綜合管控提供數據支撐。

（2）交通大數據云存儲與資源管理調度技術

面對現代綜合交通的信息化、物聯(lián)網化發(fā)展，其數據呈現幾何增長的趨勢，數據庫技術已經不能僅依靠單臺或幾臺機器進行縱向擴展（ scale up）的升級來滿足存儲需求。必須采用基于大數據架構的分布式云存儲技術，基于Hadoop的 分布式文件系統(tǒng)（Hadoop distributed file system，HDFS），高可用數據存儲，結合HBase、Redis等面向列的數據存儲模型，解決海量數據存儲擴展的問題。需針對具有時空特性的地理空間數據，如全球定位、衛(wèi)星圖像、地理軌跡等多種形式的交通大數據，分析各數據實體之間的物理和邏輯關系，設計相關分布式存儲索引。另外，云存儲作為交通海量數據處理的基礎設施，面臨節(jié)點龐雜、負載不均衡、數據實時性響應等問題，需對云集群的資源調度、集群性能、負載均衡等關鍵技術進行深入研究。

（3）交通大數據挖掘建模與機器學習技術

針對交通大數據多源、異構、海量等特征，傳統(tǒng)的數據挖掘、處理、分析方式已經無法滿足大數據的要求。以數據計算效率和計算復雜性理論為基礎，研究基于云計算和分布式集群的大數據多模式計算（包括批處理、實時流處理、內存處理等）和多模態(tài)計算（包括圖像、文本、視頻、傳感器數據等）方法。圍繞交通大數據分析目標，對需要用到的數據挖掘和機器學習（如預測、聚類、分類、相關性模型）模型和算法展開應用研究，針對超大規(guī)模數據量級，可利用深度學習和分布式集群等前沿大數據技術進行挖掘分析。利用大數據機器學習技術，融合碎片化、離散化數據，提升交通管理主動性、及時性和預見性。

（4）交通大數據可視化與輔助決策支持技術

交通大數據應用要落地，對挖掘分析結果的直觀理解和形成輔助決策知識很關鍵。基于大數據分析的綜合交通決策支持以交通管理、運籌控制等為基礎，以大數據挖掘、可視化、仿真等技術為手段，以先進的人機交互方式輔助管理者進行科學決策。交通大數據具有多源異構、多維度、時空動態(tài)及海量的特征，這對現有可視化技術提出更高的要求，需基于地理信息系統(tǒng)（geographic information system，GIS）/全球定位系統(tǒng)（global positioning system，GPS）/衛(wèi)星圖像的大規(guī)模交通空間路網可視化、動態(tài)數據流可視化等關鍵技術，研究大數據可視化互動操作（鉆取、多層次、多視角）。針對交通大數據分析結果的數據形態(tài)和邏輯關系，進行知識庫建設，并設計基于大數據分析的智慧交通決策支持系統(tǒng)。

4 敏捷大數據方法論及其關鍵技術

根據上述交通大數據共性關鍵技術的分析，可以看到，交通大數據的復雜性和分析目標的多樣性，對傳統(tǒng)的數據挖掘分析模式和大數據技術架構提出了挑戰(zhàn)。例如，針對海量交通歷史靜態(tài)數據，需采用離線批處理技術，而動態(tài)實時流交通數據則需要流式計算框架進行處理。另外，對文本、圖像、視頻、傳感器等多模態(tài)數據需采用不同的機器學習模型進行處理，如何進行跨模態(tài)的融合計算分析也是研究熱點和難點。針對交通大數據分析需求的變更和擴展，大數據系統(tǒng)如何進行快速響應和功能、模型的擴充和調整，是交通大數據架構設計要解決的關鍵問題。針對這一問題，本文首次提出了敏捷大數據方法論，并基于信息融合、微服務化、容器等技術設計了具有快速響應、快速迭代、持續(xù)優(yōu)化的敏捷大數據處理架構，為構建交通大數據分析平臺提供有力支撐。

4.1 敏捷大數據方法論

4.1.1 大數據要具有敏捷性的原因

大數據分析的核心目標是：面向過去，發(fā)現數據規(guī)律，歸納已知；面向未來，挖掘數據趨勢，預測未知。通過大數據分析提高對事物的理解和決策處置能力，最終實現智能化。不管是商業(yè)智能、機器智能、人工智能，還是智能客服、智能問答、智能推薦、智慧醫(yī)療、智慧交通等相關技術和系統(tǒng)，其本質都是朝著這一目標演進。隨著云計算平臺和開源大數據系統(tǒng)（如Hadoop、Spark、Storm等）的高速發(fā)展，獲得大數據基礎設施建設相關技術和支持越來越容易。同時，移動互聯(lián)網和物聯(lián)網技術具備的全面數據采集能力客觀上促進了大數據的積累和爆發(fā)。但是，大數據應用落地還面臨如下幾個關鍵瓶頸。

● 信息技術（information technology， IT）向數據技術（data technology，DT）轉變，使得傳統(tǒng)軟件技術架構面臨挑戰(zhàn)?，F階段各種大數據相關的開源技術和系統(tǒng)百花齊放，大數據技術生態(tài)體系龐雜，如云計算、機器學習、微服務、容器、分布式存儲、分布式集群、深度學習等。如何在掌握有限技術的條件下（或已有技術不夠成熟的條件下），快速敏捷地進行大數據研究和落地應用，需要從技術架構角度進行深入探討和研究。

● 傳統(tǒng)商業(yè)智能（business intelligence，BI）應用的失敗教訓太多，項目周期漫長，考驗客戶耐性，應用成本高，最終成果是昂貴的豪華報表難以達到預期目標，其失敗的本質原因是缺乏敏捷性。大數據分析如何從BI項目中總結失敗教訓和獲得經驗，大數據應用如何與傳統(tǒng)BI系統(tǒng)融合，傳統(tǒng)企業(yè)的大數據應用如何與發(fā)源于互聯(lián)網公司的主流大數據技術框架進行有機統(tǒng)一等問題，也需要從大數據架構層面進行研究和解決。

● 大數據應用標準化問題。特別是針對如交通大數據這樣的多源異構、動態(tài)性、關聯(lián)性等特點，對大數據分析流程和應用進行標準化、敏捷化管理，對離線分析、在線分析、實時分析、內存分析等計算框架進行快速切換處理，對圖像、文本、視頻、音頻、網頁、關系數據庫等多源異構數據進行多模態(tài)融合處理，對大數據分析結果的應用效果進行快速量化與評價等問題，也需要敏捷架構的支持。

從大數據應用過程和特點來看，數據科學的本質是迭代，就好比嬰兒的學習一樣，輸入—回應—反饋—學習—再輸入，持續(xù)訓練和學習才會產生智能，大數據分析系統(tǒng)是一樣的道理，自適應優(yōu)化和持續(xù)改進是大數據系統(tǒng)的必備特征。大數據時代，各種新興技術和計算框架層出不窮，加之分析需求的不斷變化，如何使大數據架構能靈活調整以適應業(yè)務變化需求，并跟上技術快速迭代更新的步伐，是大數據應用要解決的關鍵問題，這是本文提出敏捷大數據架構的本質原因，相比傳統(tǒng)信息處理架構，大數據架構需要極強的靈活性、可擴展性，或者說敏捷性。

4.1.2 敏捷大數據定義與處理流程

什么是敏捷大數據？本文給出一個初步定義：“敏捷大數據是基于數據科學的迭代性本質，利用高效構件化和服務化技術，對大數據架構和關鍵組件等進行服務化設計，實現多粒度數據的融合處理和計算模型的標準化配置和管理，從而能根據特定分析需求快速搭建原型系統(tǒng)，快速迭代大數據分析結果，快速將原型轉化為生產系統(tǒng)，提升大數據分析效率和數據決策價值”。敏捷大數據的核心要素遵從 SFV（small-fast-validation）原則：從小的業(yè)務分析目標切入，快速出原型，快速迭代，證明有效之后再擴張。根據SFV原則，筆者對傳統(tǒng)的跨行業(yè)數據挖掘標準流程（cross-industry standard process for data mining，CRISP-DM）[9]進行了改進，提出了基于微服務的敏捷大數據處理流程（agile big data processing based on micro-services），如圖22所示。

敏捷大數據處理流程相比傳統(tǒng)數據挖掘流程，從兩個層面進行了擴展：首先是架構上采用基于容器的微服務技術進行支撐；其次，針對傳統(tǒng)數據挖掘模型、系統(tǒng)和現實決策反饋的脫節(jié)問題，根據數據科學迭代性本質特點，對模型系統(tǒng)和現實決策反饋兩個過程分別進行自適應迭代升級和決策優(yōu)化支持。通過這種擴展，使得敏捷大數據方法論與傳統(tǒng)數據挖掘技術以及新興的主流大數據框架能在架構和流程上進行互補和融合。

4.2 敏捷大數據關鍵技術初探

圖2 CRISP-DM流程與基于微服務的敏捷大數據處理流程

（1）多粒度信息融合技術

針對大數據呈現的關聯(lián)性、動態(tài)性、多源異構性等特點，如何對其進行標準化的融合處理，是敏捷大數據要解決的首要問題。與一般的大數據融合目標不同[10]，本文主要從構建標準數據集的角度進行大數據多粒度融合，通過構建統(tǒng)一 數據單元（unified data unit，UD U）來支持多模態(tài)特征融合和多種類型、結構數據集的封裝融合。將多源異構數據進行抽取、融合、集成，形成支持不同計算模型處理的UDU數據集，是多粒度信息融合技術的核心目標。統(tǒng)一數據單元是獨立、靈活的實體數據集，可隨數據源和分析需求的變化進行快速重組、調整和更新。通過信息融合形成的UDU標準數據集，是進行敏捷大數據處理的基礎。

（2）微服務與構件化技術

由于數據科學的迭代性本質，大數據分析即服務成為研究熱點[11]，而微服務與容器技術能有效支持本文提出的敏捷大數據SFV核心原則。近年來，微服務成為互聯(lián)網和大數據企業(yè)的研究和設計熱點，諸如谷歌、亞馬遜、Facebook、百度、京東、攜程等公司都在采用微服務理論和技術進行產品的設計、研發(fā)和部署。Netflix公司的Ad rian Cockcroft將微服務稱為“細化面向 服務的架構（service oriented architecture，SOA）”，并認為這是一套具備開創(chuàng)意義的新型架構。敏捷開發(fā)方法創(chuàng)始人Martin Fowler在他的《Micro services》一文中給出了微服務的定義①http:// martinfowler. com/articles/ microservices. html，概括來說，微服務設計思想是一種使用若干小服務開發(fā)龐大應用的方法，每個服務運行在自己的進程中，通過輕量級的通信機制進行信息交互，每個微服務的粒度基于業(yè)務能力大小進行構建，并可以由不同的程序語言實現，構建的服務鏈能夠通過容器等技術進行自動化部署。

從上述定義可以看到，去中心化、原子化、獨立自治、快速組合、自動部署等特性是微服務技術的核心要素，中心思想是將一個單體應用架構打散，把原來龐大的應用層功能切分成粒度較小的微服務模塊，數據庫也按微服務功能單元進行相應的拆分（如圖33所示），采用基于云的容器技術單獨運行這些服務模塊，通過網絡和輕量級通信機制將這些分解的服務模塊協(xié)同連接起來，形成微服務簇和網絡，完成大型復雜任務，這種通過將復雜系統(tǒng)切分成若干小的微服務模塊的方式，其分布式、低耦合架構能極大地適應大數據分布式處理特性。

（3）容器技術

微服務技術采用類似搭積木的構建方法，使得服務之間不相互影響，而且同一個系統(tǒng)的微服務可以采用不同的開發(fā)語言和數據庫技術。但是面對大型企業(yè)動輒數十、上百個信息系統(tǒng)，如何通過跨物理、虛擬、公共和私有云環(huán)境實現一致性、互操作性和可移植性，對IT基礎設施來講是極大的挑戰(zhàn)，所以容器技術應運而生。容器最早由Docker公司提出并應用于自家的PaaS云服務平臺，近年來獲得廣泛認可，很多大型企業(yè)開始將單體應用系統(tǒng)微服務化，并部署在容器中。容器基于操作系統(tǒng)之上能實現相比傳統(tǒng)虛擬化技術（如VMware）更輕量級的虛擬化[12]，而且完全使用沙箱機 制，相互之間沒有接口。Hadoop的子系統(tǒng)Kubernetes已經能支持基于云計算和Docker容器技術的微服務開發(fā)和部署[13]，容器技術與云計算的天然結合及其快速的研發(fā)、部署、維護優(yōu)勢，對于微服務和敏捷大數據架構的設計和實現具有重要支撐作用。

5 面向交通的敏捷大數據架構設計

如何根據不同的交通大數據分析需求設計靈活的處理架構進行支持，或者說大數據架構能否從采集、存儲、計算、應用多個層面，滿足不同分析需求的變更或擴張，是交通大數據分析要解決的關鍵問題。基于敏捷大數據方法論及其關鍵技術的分析和研究，從數據采集集成、大規(guī)模數據存儲和數據融合、多模式/多模態(tài)計算微服務、數據應用4個層面進行了敏捷大數據架構設計。通過基于多粒度大數據集成融合構建統(tǒng)一數據單元，形成標準數據集，通過基于微服務的計算模型抽象和匯聚層處理，實現交通大數據挖掘的敏捷化、服務化。對大數據主流處理框架（如Hadoop、Spark、Storm等）進行統(tǒng)一配置管理，基于即插即用的構件化和服務化設計，各層子系統(tǒng)和組件可根據分析目標進行快速選型、靈活配置，構建原型和迭代升級（如圖44中根據兩條虛線不同的設計路徑，可以快速配置實現歷史數據庫數據的批處理分析，或公網采集數據的流處理分析），總體架構設計如圖44所示。

圖3 傳統(tǒng)單體應用架構與微服務架構的區(qū)別

圖4 面向交通的敏捷大數據總體架構設計

● 數據采集層：分3個層面的采集技術進行支持，一是傳統(tǒng)業(yè)務系統(tǒng)數據庫和半結構化、結構化數據的采集和集成，如采用Sqoo p技術進行關系數據庫和Hadoop系統(tǒng)之間的數據抽取和交換；二是交通實時流數據的采集，包括實時傳感器數據、定位軌跡數據和其他實時流數據；三是交通公共數據的采集，包括公網的數據爬取、開放平臺的數據接口、行業(yè)公共數據庫的數據交換等。對采集到的數據需進行提取、轉 換和加載（extract-transformload，ETL）處理，包括數據抽取、轉換、清洗和隱私脫敏等預處理工作，預處理集成后的數據進入交通大數據云存儲中心。

● 數據存儲層：交通領域數據規(guī)模巨大，數據存儲層需設計基于云計算的分布式云存儲系統(tǒng)，以支持海量數據的存儲擴展。提供基于云的列式存儲、NoSQL存儲或數據倉庫存儲能力；根據業(yè)務需求和快速配置，可切換相應的分布式存儲模式，還可根據需要對傳統(tǒng)BI系統(tǒng)的數據倉庫和數據集市進行集成。利用Hadoop集群提供PB級存儲能力擴展，同時Hadoop Yarn和Spark Mesos等集群資源管理框架可支持多種存儲模式和計算模式（主要對存儲和計算兩個層面資源進行管理，如圖44中雙向箭頭所示）的云資源調度。在此基礎上，對各類存儲數據進行多粒度信息融合，構建統(tǒng)一數據處理單元，為計算服務層提供標準化的分析數據集。

● 數據計算層：針對交通大數據多源、異構、海量等特征，傳統(tǒng)的計算模型難以直接處理。數據計算層需滿足主流大數據處理框架的各種計算模型與方法實現，如基于云計算并行框架，實現基于Hadoop批處理、Storm流處理、Spark內存處理的高效數據挖掘與機器學習。數據計算層采用基于統(tǒng)一數據處理單元和計算模式、模型微服務化的大數據分析框架，通過構建多種微服務簇網絡（主要分為計算微服務、數據微服務和流程微服務，涵蓋存儲和計算兩個層面，如圖44中雙向箭頭所示），為應用層提供支持MapReduce、Storm、Spark等多種計算模式下的多種數據挖掘模型與方法（如分類、聚類、序列等）；根據大數據分析需求和數據特征，可基于組件配置和服務治理技術進行各類服務的快速切換和靈活管理。

● 數據應用層：數據應用層首先要滿足智慧交通各類大數據分析需求，包括基本的可視化與查詢、展示、探索等，分析結果能結合知識庫應用于決策支持。另外，在大數據系統(tǒng)本身管理方面，針對構件化和微服務設計這個特點，需對相關中間件進行設計，實現服務治理、組件配置、安全、接口等功能，以支撐存儲層和計算層各類微服務的敏捷管理。

5.1 交通大數據多粒度信息融合設計

針對機器學習各類模型的數據適配特點，本文提出了一種標準數據集定義：統(tǒng)一數據單元對交通大數據多個層次和粒度的信息進行融合處理。特別是對多模態(tài)數據，通過統(tǒng)一數據單元設計方法能實現數據的存儲優(yōu)化和機器學習模型數據輸入的標準化，以統(tǒng)一數據單元作為敏捷大數據系統(tǒng)的基本數據組織和處理單元，能提高大數據分析模型和算法的適應性和敏捷性，提升大數據處理能力。多粒度信息融合設計如圖55所示。

設計和構造大數據統(tǒng)一數據單元，需進行如下3個環(huán)節(jié)的處理。

● 特征抽?。簩煌I域的結構化數據、半結構化數據和非結構化數據進行數據集成和特征抽取，抽取出數據中的各類不同特征，包括時間特征、空間特征或其他全局特征等，實現對數據相關的位置屬性、時間空間關聯(lián)屬性和其他觀測屬性等的特征描述。

● 融合封裝：抽取出來的各類數據特征，或者初步預處理后的數據，根據不同的計算模型數據處理特點和要求，封裝成結構和格式統(tǒng)一的數據處理單元，形成標準分析數據集，為上層的挖掘計算服務提供快速數據適配。本文通過元數據定義方法和JSON數 據交換技術，實現不同種類的統(tǒng)一數據單元定義，對每類統(tǒng)一數據單元進行基本信息和各類屬性定義和描述，包括標識ID、基本屬性、語義屬性、結構屬性等內容。

● 服務接口：封裝好的統(tǒng)一數據單元數據集，針對不同的挖掘計算服務模型實現快速數據適配，設計統(tǒng)一的數據單元調用接口，通過接口定義和參數設置對封裝數據單元進行解析，并對數據集各類屬性特征、結構信息等進行提取。

圖5 交通大數據多粒度信息融合設計

5.2 交通大數據計算微服務化設計

實現基于統(tǒng)一數據單元的標準數據單元的敏捷大數據挖掘分析，還有一個關鍵環(huán)節(jié)就是對多種計算模式框架和不同計算模型的微服務化設計，包括計算框架、模型和算法的微服務化，數據獲取調用的微服化和分析流程的微服務化3個層面。其核心是計算微服務，如MapReduce批處理服務、Storm流處理服務、Spark內存處理服務，每種大的計算框架微服務下包含具體挖掘模型等小粒度的計算微服務支持（如分類模型服務、序列模型服務）等，交通大數據微服務化架構設計如圖66所示。

大數據微服務化的核心理念是一個服務只專注做好一類或一個分析，服務的粒度和分析功能大小、邊界要匹配，服務方（計算微服務）和消費方（基于微服務的分析功能）要能解耦，即調整或升級一個微服務不能影響其他微服務。由于微服務詳細技術涉及面比較廣，包括微服務的注冊、定位、發(fā)現和搜索（基于分布式一致算法Paxos和Zookeeper框架等）；微服務的輕量級通信機制，如表述性狀態(tài)傳遞（representational state transfer，REST）、遠程過程調用協(xié)議（remoteprocedure call protocol，RPC）、進程間通信（inter-process communication，IPC）等；微服務的容錯處理（熔斷、限流、負載均衡等）；微服務依賴的容器技術；服務的自動測試和部署等方面。由于篇幅原因和架構設計主題，各方面的技術細節(jié)這里不做贅述，在交通大數據敏捷處理總體架構和數據融合統(tǒng)一數據單元基礎上，進行了交通大數據計算的微服務設計（如圖66所示），主要設計內容包括如下幾個方面。

（1）交通大數據分析業(yè)務抽象和微服務劃分

按多模式計算框架劃分，有MapReduce批處理框架、Storm流式處理框架、Spark內存處理框架、圖計算框架等；按挖掘模型劃分，有分類、聚類、序列、多模態(tài)、多任務等不同種類計算模型。針對交通大數據各類分析需求和數據處理特點，進行大數據業(yè)務分析和抽象建模，并選擇相應的計算模型和計算框架進行支撐，再決定需要哪些微服務，并實現微服務的劃分和組合，設定好微服務網絡的總體設計目標，并通過統(tǒng)一的微服務接口（microservices API gateway）進行調用。

（2）微服務簇設計及契約接口定義

針對大數據處理特點，服務層中的微服務分3類進行規(guī)劃設計，數據微服務簇負責從UDU標準數據集中進行數據獲取、數據同步和更新等操作；計算微服務簇是敏捷大數據處理的核心，按多模式計算框架和多類計算模型兩個維度進行挖掘分析服務的統(tǒng)籌設計；流程微服務簇負責數據微服務、計算微服務的協(xié)同處理，同時對系統(tǒng)組件的配置管理和調度進行支持。各類微服務通過REST、RPC等輕量級通信機制和MessageBroker等消息服務進行交互和聯(lián)系[14]，構建微服務簇網絡，并通過服務路由進行統(tǒng)一管理和調度。

（3）微服務治理和容器部署

由各類微服務簇連接成的微服務網絡，其高效協(xié)調工作離不開微服務治理技術和容器管理技術。通過服務路由和服務治理負責各種大小微服務的注冊、搜索、發(fā)現、通信和統(tǒng)一配置，最后基于云計算和容器技術進行微服務的自動部署和動態(tài)管理。

圖6 交通大數據微服務化設計

6 設計評述與應用實踐

本文提出的敏捷大數據架構在一定程度上實現了大數據融合處理和挖掘計算的服務化、標準化和流程化?；诮y(tǒng)一數據單元和計算、流程微服務設計思想，對微服務的構建和管理進行快速實現，通過各種微服務的劃分、組合、編排和動態(tài)配置，能構建模塊化、可配置、可復用、可擴展的敏捷大數據分析系統(tǒng)。相比傳統(tǒng)大數據處理架構，敏捷大數據架構在如下幾個方面具有明顯優(yōu)勢（見表11）。

從上述各項特性的比較分析可以看到，敏捷大數據架構除了支持大規(guī)模數據增長之外，更重要的是能適應大數據分析業(yè)務的擴展和變化，由于采用容器和服務化技術，具備高容錯性和穩(wěn)定性，能支持大數據分析的失敗處理和自動恢復等，能在海量數據條件下快速完成多種計算模型和分析處理，能基于數據融合單元和計算服務化技術，支持多模態(tài)計算和多模式計算任務處理，能在有限的成本條件下提高大數據分析效率。

在實踐方面，結合正在規(guī)劃建設的綜合交通大數據分析云服務平臺，以本文提出的敏捷大數據架構設計作為關鍵技術選型和技術路線實現的指導思想，進行了初步應用。綜合交通大數據分析云服務平臺的主要目標是通過大數據技術解決交通資源的供需智能匹配和瓶頸預測分析問題。應用多粒度信息融合和多模態(tài)計算微服務技術，對交通大數據進行集成、融合和挖掘；采用定量分析和定性分析相結合的機器學習進行供求配置預測，為智能出行推薦、交通樞紐瓶頸分析、多模接駁換乘、實時交通管控等智慧交通關鍵環(huán)節(jié)提供大數據分析和決策支持。由于綜合交通大數據多源異構、時空關聯(lián)和動態(tài)處理等特點，傳統(tǒng)大數據架構面臨擴展性、兼容性、穩(wěn)定性諸多問題?；诿艚荽髷祿椒ㄕ?，設計了面向智慧交通的具有構件化、云服務化、容器化特性的敏捷大數據架構，為綜合交通大數據分析云服務平臺的研發(fā)提供了切實參考和應用指導，并在一定程度上提高了開發(fā)效率，控制了技術風險。

7 結束語

表1 敏捷大數據架構與傳統(tǒng)大數據架構比較分析

本文論述了交通大數據在智慧交通應用中的核心地位與相互關系，探討了交通大數據關鍵技術和面臨的挑戰(zhàn)。針對交通大數據特點及其分析瓶頸問題，首次提出了敏捷大數據方法論及其關鍵技術和核心原則，通過分析敏捷大數據的設計緣由，基于傳統(tǒng)數據挖掘流程改進，設計了面向微服務的敏捷大數據處理流程，并對其關鍵支撐技術進行了初步研究和探索。構建了基于微服務和多粒度信息融合技術的敏捷大數據架構，并對交通大數據微服務化、交通大數據融合等關鍵技術環(huán)節(jié)進行了詳細設計和論述。敏捷大數據架構的提出是基于數據科學迭代性本質的，為交通大數據環(huán)境下的高效、靈活機器學習和知識發(fā)現提供了新方法、新思路和新的技術架構，從而最大程度地發(fā)揮交通大數據的應用價值，相比傳統(tǒng)大數據處理 技術和架構，本設計的重要意義和參考價值不言而喻。當然，敏捷大數據作為一個新的涵蓋多種前沿信息技術的跨領域研究問題，還需要在設計方法、關鍵技術和系統(tǒng)架構等方面進行深入研究和應用實踐。

[1] 李國杰, 程學旗. 大數據研究: 未來科技及經濟社會發(fā)展的重大戰(zhàn)略領域——大數據的研究現狀與科學思考[J]. 中國科學院院刊, 2012(6): 647-657. LI G J, CHENG X Q. Research status and scientific thinking of big data[J]. Bulletin of the Chinese Academy of Sciences, 2012(6): 647-657.

[2] 鄭宇. 城市計算概述[J]. 武漢大學學報(信息科學版), 2015(1): 1-13. ZHENG Y. Introduction to urban computing[J]. Geomatics and Information Science of Wuhan University, 2015(1): 1-13.

[3] 楊芙清, 梅宏, 李克勤. 軟件復用與軟件構件技術[J]. 電子學報, 1999(2): 69-76. YANG F Q, MEI H, LI K Q. Software reuse and software component technology[J]. Acta Electronica Sinica, 1999(2): 69-76.

[4] 王珊, 王會舉, 覃雄派, 等. 架構大數據: 挑戰(zhàn)、現狀與展望[J]. 計算機學報, 2011(10): 1741-1752. WANG S, WANG H J, QIN X P, et al. Architecting big data: challenges, studies and forecasts[J]. Chinese Journal of Computers, 2011(10): 1741-1752.

[5] 孟小峰, 慈祥. 大數據管理: 概念、技術與挑戰(zhàn)[J]. 計算機研究與發(fā)展, 2013, 50(1): 146-169. MENG X F, CI X. Big data management: concepts, techniques and challenges[J]. Journal of Computer Research and Development, 2013, 50(1): 146-169.

[6] CHEN H M, KAZMAN R, HAZIYEV S. Agile big data analytics development: an architecture-centric approach[C]// Hawaii International Conference on System Sciences, Jan 5-8, 2016, Koloa, HI, USA. New Jersey: IEEE Press, 2016: 5378-5387.

[7] NAMIOT D, SNEPS-SNEPPE M. On micro-services architecture[J]. International Journal of Open Information Technologies, 2014, 2(9): 24-27.

[8] 程學旗, 靳小龍, 王元卓, 等. 大數據系統(tǒng)和分析技術綜述[J]. 軟件學報, 2014(9): 1889-1908. CHENG X Q, JIN X L, WANG Y Z, et al. Survey on big data system and analytic technology[J]. Journal of Software, 2014(9): 1889-1908.

[9] WIRTH R, HIPP J. CRISP-DM: towards a standard process model for data mining[C]// The Fourth International Conference on the Practical Application of Knowledge Discovery and Data Mining, April 18-20, 2000, Kyoto, Japan. [S.l.:s.n.], 2000: 1-11.

[10] 孟小峰, 杜治娟. 大數據融合研究: 問題與挑戰(zhàn)[J]. 計算機研究與發(fā)展, 2016(2): 231-246. MENG X F, DU Z J. Research on the big data fusion: issues and challenges[J]. Journal of Computer Research and Development, 2016(2): 231-246.

[11] ZHENG Z, ZHU J, LYU M R. Servicegenerated big data and big data-asa-service: an overview[C]//IEEE International Congress on Big Data, June 27- July 2, 2013, Santa Clara, CA, USA. New Jersey: IEEE Press, 2013: 403-410.

[12] FELTER W, FERREIRA A, RAJAMONY R,et al. An updated performance comparison of virtual machines and Linux containers[J]. Lecture Notes in Computer Science, 2014(1140): 438-453.

[13] BREWER E A. Kubernetes and the path to cloud native[C]// The Sixth ACM Symposium on Cloud Computing, August 27-29, 2015, Kohala Coast, Hawaii, USA. New York: ACM Press, 2015: 167-167.

[14] LI L, TANG T, WU C. A REST service framework for fine-grained resource management in container-based cloud[C]// IEEE International Conference on Cloud Computing, June 27-July 2, 2015, New York, NY, USA. New Jersey: IEEE Press, 2015: 645-652.

Traffi c big data: an agile architecture design based on micro service

DU Shengdong, YANG Yan, TENG Fei
School of Information Science and Technology, Southwest Jiaotong University, Chengdu 610031, China

Faced with a wide range of intelligent transportation application scenarios and technical requirements, the general big data system is difficult to adapt to a variety of processing and make a quick response. In order to solve this problem, the methodology of agile big data for the first time was put forward. Based on the iterative nature of data science, the agile big data architecture based on micro service was designed, and the key points of the traffic oriented micro service and data fusion technology were discussed. The agile big data architecture provides new idea and method for efficient and flexible data mining and machine learning under the environment of traffic big data.

s: The National Key Research and Development Program of China(No. 2016YFC0802209), The National Science and Technology Support Program of China(No. 2015BAH19F02)

TP274

A

10.11959/j.issn.2096-0271.2017030

?

杜圣東（1981-），男，西南交通大學信息科學與技術學院講師，中國計算機學會（CCF）和國際計算機學會（ACM）會員，主要研究方向為數據挖掘、機器學習、交通大數據、醫(yī)療大數據等。

楊燕（1964-），女，西南交通大學信息科學與技術學院教授、博士生導師，主要研究方向為大數據分析與挖掘、人工智能、教學管理等。

滕飛（1984-），女，博士，西南交通大學信息科學與技術學院講師，CCF和ACM會員，主要研究方向為云計算、工業(yè)大數據等。

2017-03-27

楊燕，yyang@swjtu.edu.cn

國家重點研發(fā)計劃基金資助項目（No. 2016YFC0802209）；國家科技支撐計劃基金資助項目（No. 2015BAH19F02）

敏捷大數據；微服務；大數據架構；容器；大數據融合