基于多源數(shù)據(jù)的公里級路網(wǎng)數(shù)據(jù)采集方法研究

薛盤芬

安徽省交通運輸綜合執(zhí)法監(jiān)督局 安徽省合肥市 230041

1 引言

隨著我國汽車保有量的逐步上升，普通國省道路網(wǎng)交通狀況隨著車流量的增多和交通需求的增長而每況愈下，常發(fā)性交通擁擠問題的不斷惡化，交通高峰的不斷持續(xù)，交通擁擠路段的不斷增加，都對路網(wǎng)交通的運行管理能力造成嚴重的影響。路網(wǎng)運輸監(jiān)測數(shù)據(jù)是衡量路網(wǎng)運行管理能力的基本標準。通過對路網(wǎng)數(shù)據(jù)的采集和分析處理，從而進一步改善公路路網(wǎng)的交通擁堵狀況。

目前，普通國省道主管部門主要通過交調(diào)站采集的數(shù)據(jù)來衡量路段的交通運行狀況，然而由于交調(diào)站布設間距5-30km不等，交調(diào)站的數(shù)據(jù)無法準確反映路段的交通量。此外，已有研究對于ETC門架數(shù)據(jù)在普通國省道上的采集應用較為缺乏，只考慮到高速公路方面的數(shù)據(jù)采集。為了提升普通國省道感知能力，本研究運用公里級劃分法并參考以往研究的多源數(shù)據(jù)采集方法，構(gòu)建集成多源數(shù)據(jù)的多樣化、分層次、綜合性的路網(wǎng)運行數(shù)據(jù)體系。

2 數(shù)據(jù)現(xiàn)狀

普通國省道交通狀態(tài)多源數(shù)據(jù)主要是指動態(tài)的交通參數(shù)，具體為時間和空間上不斷變化的交通流信息，可劃分為點參數(shù)與區(qū)間參數(shù)，前者主要是指某一指定地點的交通存在狀態(tài)，包括流量、地點車速、時間占有率、車頭時距等，后者特指某一區(qū)域內(nèi)的車輛運行狀況，例如車輛的行程時間、交通流密度、車輛排隊長度、區(qū)間速度等。

2.1 公路系統(tǒng)內(nèi)數(shù)據(jù)

通過在全國的國、省、縣、鄉(xiāng)、專公路上設置固定或臨時的交調(diào)站來獲取公路交調(diào)數(shù)據(jù)，從而掌握公路網(wǎng)交通流的運行特征以及公路網(wǎng)的適應性程度，并進行統(tǒng)計、分析和預測，為公路規(guī)劃建設、路網(wǎng)運行管理、交通應急處置、科研及社會公眾服務提供公路交通信息。

交調(diào)檢測數(shù)據(jù)主要包括速度、流量兩大類。具體參數(shù)包括平均車頭時距、小貨交通量、小貨平均速度、中貨交通量、中貨平均速度等，具有全天不間斷采集，覆蓋廣、直接、精度較高等優(yōu)點，布設間距少則3-5km，多則30km以上，但難以有效支撐路網(wǎng)路況的準確判別。

在應用方面，利用交調(diào)數(shù)據(jù)，結(jié)合軸載、車型組成等，確定養(yǎng)護計劃；利用交調(diào)數(shù)據(jù)，測算養(yǎng)護經(jīng)費；利用車輛高峰時間，確定養(yǎng)護時段。同時交調(diào)數(shù)據(jù)用于重大活動分析，如重大活動路網(wǎng)保暢工作、新路開通對區(qū)域路網(wǎng)的影響、交通管制政策實施效果評價、旅游服務項目對路網(wǎng)的影響等。

2.2 第三方導航平臺數(shù)據(jù)

目前的第三方導航平臺數(shù)據(jù)主要有高德、百度等手機導航數(shù)據(jù)，其數(shù)據(jù)源主要來自兩個方面：一是公眾數(shù)據(jù)，包含手機地圖APP的導航回傳和車載導航設備回傳的定位數(shù)據(jù)；二是行業(yè)數(shù)據(jù)，包含通過置換和購買的方式主要是出租車數(shù)據(jù)，還有一部分是物流車和長途客車數(shù)據(jù)?；ヂ?lián)網(wǎng)地圖最基礎(chǔ)的格式是定位點，一般隔幾秒鐘上傳一次，是連續(xù)點的序列信息，能夠完整地復現(xiàn)一個用戶出行軌跡。將點位匹配到地圖上，可以深入了解路網(wǎng)運行情況，根據(jù)用戶需求提供多元信息，數(shù)據(jù)量大且覆蓋面廣，數(shù)據(jù)實時傳輸，穩(wěn)定性強，能在一定程度上反映路網(wǎng)的運行情況。

3 公里級劃分方法

通過對路網(wǎng)現(xiàn)狀的調(diào)研分析，發(fā)現(xiàn)現(xiàn)有公路主管部門路網(wǎng)運行監(jiān)測手段存在比較單一，監(jiān)測路段劃分不合理等問題，擬考慮結(jié)合現(xiàn)有數(shù)據(jù)（車檢器、交調(diào)點等）、交通系統(tǒng)內(nèi)其它數(shù)據(jù)（如ETC數(shù)據(jù)）、第三方（高德、百度等）導航系統(tǒng)數(shù)據(jù)、手機信令數(shù)據(jù)等，采用公里級路段劃分算法，將路網(wǎng)運行監(jiān)測數(shù)據(jù)以公里級粒度進行劃分，以百度地圖為底圖，搭建全路網(wǎng)公里級多源數(shù)據(jù)融合應用與共享平臺，為路段級路網(wǎng)運行狀態(tài)監(jiān)測、路網(wǎng)事件檢測、路況短時預測、節(jié)假日流量預測等業(yè)務應用提供數(shù)據(jù)支撐。

3.1 公里級劃分原則

公里級劃分法主要以2km為標準對示范路段進行劃分，并將重要交通場景，包括大型交叉口、橋梁等納入獨立的路段。

圖1 公里級劃分示意圖

3.2 百度地圖數(shù)據(jù)獲取

百度公司提供路段劃分軟件平臺功能，支持在地圖上自由打斷點的功能，斷點確定后，自動生成所有細分路段的擁堵指數(shù)、擁堵里程和平均速度等數(shù)據(jù)。通過接口的方式進行對接，開發(fā)相應的程序主動捕捉百度共享數(shù)據(jù)，按照《百度數(shù)據(jù)對接協(xié)議文檔》，解析完數(shù)據(jù)后，把數(shù)據(jù)保存到數(shù)據(jù)庫中。以下為數(shù)據(jù)獲取具體方式：基于百度調(diào)用權(quán)限獲取重點道路路段詳情接口，進而查詢指定道路id的道路詳情，即某一天從零點到二十四點內(nèi)每5min粒度的指標。

表1 輸入?yún)?shù)信息

表2 輸出參數(shù)含義

4 采集方法

本研究主要以交通系統(tǒng)相關(guān)的企業(yè)單位為調(diào)研與對接對象，進行數(shù)據(jù)采集總體路線分析。通過制定數(shù)據(jù)交換與管理策略，包括數(shù)據(jù)管理交換策略、數(shù)據(jù)交換標準方法、數(shù)據(jù)存儲規(guī)則、數(shù)據(jù)共享規(guī)則等將數(shù)據(jù)需求總體目標按數(shù)據(jù)歸口單位進行分解，達到數(shù)據(jù)采集的目的。

4.1 數(shù)據(jù)交換標準方法

路網(wǎng)運行監(jiān)測數(shù)據(jù)抽取是利用不同的工具、腳本等計算機程序，從各個相關(guān)系統(tǒng)中獲取所需數(shù)據(jù)而同時不影響原有系統(tǒng)的正常運行的數(shù)據(jù)采集過程之一。數(shù)據(jù)抽取需考慮到數(shù)據(jù)的需求內(nèi)容、傳輸網(wǎng)絡、安全保密等，通過對公路體系內(nèi)現(xiàn)有的數(shù)據(jù)以及外部支撐數(shù)據(jù)調(diào)研和協(xié)調(diào)，按數(shù)據(jù)提供方式，可將數(shù)據(jù)抽取方式分為數(shù)據(jù)庫抽取與接口（API）抽取兩大類。

1）數(shù)據(jù)庫抽取

數(shù)據(jù)庫抽取，是指原數(shù)據(jù)生產(chǎn)系統(tǒng)可開放已有的數(shù)據(jù)庫或公路管理與應急指揮系統(tǒng)中已匯聚的數(shù)據(jù)庫，利用ETL工具進行抽取的一種方法。存儲于庫表的數(shù)據(jù)，已經(jīng)具備一定的結(jié)構(gòu)化組織屬性，關(guān)聯(lián)性較強，基本可以被上層應用所使用。這類數(shù)據(jù)包括道路基礎(chǔ)數(shù)據(jù)、公路設施數(shù)據(jù)、交通調(diào)查數(shù)據(jù)、“兩客一?！睌?shù)據(jù)、橋梁健康監(jiān)測數(shù)據(jù)、路網(wǎng)事件數(shù)據(jù)、應急資源數(shù)據(jù)等。

2）API抽取

API抽取，是數(shù)據(jù)采集系統(tǒng)在考慮源系統(tǒng)數(shù)據(jù)安全性的前提下無法直接通過數(shù)據(jù)庫獲取數(shù)據(jù)時，只能經(jīng)過源系統(tǒng)所開放的對應接口程序來傳輸數(shù)據(jù)的一種方法。目前，也是主流系統(tǒng)之間數(shù)據(jù)交互的重要方法之一。

API（Application Programming Interface，應用程序接口）是一些預先定義的函數(shù)，或指軟件系統(tǒng)不同組成部分銜接的約定。用來提供應用程序與開發(fā)人員基于某軟件或硬件得以訪問的一組例程，而又無需訪問源碼，或理解內(nèi)部工作機制的細節(jié)。良好的接口設計可以降低系統(tǒng)各部分的相互依賴，提高組成單元的內(nèi)聚性，降低組成單元間的耦合程度，從而提高系統(tǒng)的可維護性和可擴展性。

4.2 數(shù)據(jù)共享規(guī)則

數(shù)據(jù)在經(jīng)過抽取匯聚、清洗處理、存儲管理后，最終回歸到具體應用中時，共享這一環(huán)節(jié)，顯得尤為重要。一方面，需要為上層應用提供足夠豐富的數(shù)據(jù)，另一方面，還需考慮數(shù)據(jù)的安全性，具體是指在提供數(shù)據(jù)的過程中保證數(shù)據(jù)不篡改、隱私不泄露和服務不宕機。

數(shù)據(jù)庫共享，是上層應用獲取數(shù)據(jù)最為直接的方式。通過SQL直接讀取庫表中所需數(shù)據(jù)字段，能夠大大減少中間轉(zhuǎn)化過程，從而縮短開發(fā)周期以及實際應用中所存在的數(shù)據(jù)傳輸延遲。

對于上層應用，數(shù)據(jù)采集系統(tǒng)只需要根據(jù)不同應用的數(shù)據(jù)需求，開通使用者賬戶，配置管理數(shù)據(jù)庫中的只讀權(quán)限，即可保障數(shù)據(jù)安全的前提下進行數(shù)據(jù)交互與應用。

通過該共享方式，路網(wǎng)運行狀態(tài)評價模型可直接使用匯聚清洗后的道路基礎(chǔ)數(shù)據(jù)、交通調(diào)查數(shù)據(jù)、“兩客一?！睌?shù)據(jù)等，路網(wǎng)信息發(fā)布應用可直接使用匯聚清洗后的公路設施信息數(shù)據(jù)、路網(wǎng)事件信息數(shù)據(jù)等，應用不必再對接不同系統(tǒng)來獲取數(shù)據(jù)，取而代之的是通過數(shù)據(jù)采集系統(tǒng)來獲取包括靜態(tài)、動態(tài)數(shù)據(jù)在內(nèi)的所有需求數(shù)據(jù)，使之更專注于應用功能，實現(xiàn)數(shù)據(jù)與多元功能的靈活匹配與自定義。

圖2 互聯(lián)網(wǎng)數(shù)據(jù)交換方法邏輯圖

具體地，針對不同網(wǎng)絡下所部署的應用，分為內(nèi)網(wǎng)數(shù)據(jù)庫共享和外網(wǎng)數(shù)據(jù)庫共享。應用部署于與數(shù)據(jù)采集系統(tǒng)在同一局域網(wǎng)內(nèi)且組網(wǎng)中具備高等級信息安全保障機制，如路網(wǎng)運行狀態(tài)評價、信息發(fā)布等，采用內(nèi)網(wǎng)數(shù)據(jù)庫共享；而應用部署于公網(wǎng)時，由于內(nèi)外網(wǎng)隔離，無法直接訪問本地數(shù)據(jù)庫，如云控平臺，因此需在雨花中心部署共享服務器，將內(nèi)網(wǎng)數(shù)據(jù)庫同步至該服務器上，而后外網(wǎng)應用通過訪問此服務器，來獲取數(shù)據(jù)，數(shù)據(jù)獲取內(nèi)容、頻次等取決于數(shù)據(jù)同步。在具體實施中，將采用頻率最小間隔、所有數(shù)據(jù)項同步的方式進行同步，來保證外網(wǎng)應用所得到的數(shù)據(jù)滿足實時性、完整性、易用性等原則。

圖3 數(shù)據(jù)共享規(guī)則邏輯圖

5 結(jié)論

本研究基于百度地圖對普通國省道進行公里級劃分，并通過對既有數(shù)據(jù)（車檢器、交調(diào)點、兩客一危）以及其他交通系統(tǒng)內(nèi)數(shù)據(jù)、第三方導航平臺數(shù)據(jù)等進行分析，研究采取標準接口數(shù)據(jù)庫直連和ETL工具來實現(xiàn)多源數(shù)據(jù)采集，搭建了全路網(wǎng)多源數(shù)據(jù)融合交換與共享體系，實現(xiàn)公里級公路數(shù)據(jù)采集，同時在普通國省干線創(chuàng)新應用了ETC門架數(shù)據(jù)，探索了ETC除收費功能外作為數(shù)據(jù)采集設備的應用，為路網(wǎng)運行狀態(tài)監(jiān)測、路網(wǎng)事件檢測、路況短時預測、節(jié)假日流量預測等業(yè)務應用提供數(shù)據(jù)支撐。