基于大數(shù)據(jù)云服務(wù)的交叉路口車輛信息共享系統(tǒng)

魏春鵬，張魯楠

(北京汽車研究總院有限公司，北京 101300)

0 引言

隨著城市化的快速推進(jìn)，城市路網(wǎng)復(fù)雜化，道路路口視野死角將變得更多，路口交通事故數(shù)量亦隨之不斷增多[1]。城市交叉路口和車輛的龐大數(shù)量基數(shù)，使得整個(gè)交通系統(tǒng)的數(shù)據(jù)量非常龐大，這就是交通數(shù)據(jù)3V(大容量、多樣性、高速度)特性之一：交通數(shù)據(jù)大容量的表現(xiàn)。僅以杭州市內(nèi)道路卡口數(shù)據(jù)為例，每天達(dá)到約15 GB的數(shù)據(jù)量[2](該統(tǒng)計(jì)包含了微波采集技術(shù)、視頻采集技術(shù)、環(huán)形線圈感應(yīng)式采集技術(shù)等數(shù)據(jù)量)。車輛的位置及速度實(shí)時(shí)變化，這些數(shù)據(jù)具有連續(xù)不間斷、規(guī)模巨大的特點(diǎn)，因此要求處理系統(tǒng)具有實(shí)時(shí)、連續(xù)處理大數(shù)據(jù)的響應(yīng)能力。數(shù)據(jù)實(shí)時(shí)采集是智能分析預(yù)測(cè)的基礎(chǔ)。大數(shù)據(jù)實(shí)時(shí)處理技術(shù)的發(fā)展，促進(jìn)了大數(shù)據(jù)信息實(shí)時(shí)處理及行為結(jié)果預(yù)測(cè)技術(shù)的發(fā)展。

在交通數(shù)據(jù)分析方面，展示以下一個(gè)基于交通大數(shù)據(jù)分析，進(jìn)行數(shù)據(jù)分析處理的具體案例。該數(shù)據(jù)分析平臺(tái)是基于商用計(jì)算機(jī)構(gòu)建小機(jī)集群，并使用Hbase進(jìn)行大數(shù)據(jù)存儲(chǔ)，通過MapReduce系統(tǒng)完成數(shù)據(jù)的分布式計(jì)算，并實(shí)現(xiàn)對(duì)交通數(shù)據(jù)的分析，以及未來趨勢(shì)的預(yù)測(cè)[3]。在交通大數(shù)據(jù)處理平臺(tái)中引入大數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，成為一種具有實(shí)時(shí)數(shù)據(jù)流處理的平臺(tái)。此平臺(tái)業(yè)務(wù)涉及各類交通應(yīng)用場(chǎng)景并采集了相關(guān)數(shù)據(jù)，但沒有涉及在獲取如此巨大的實(shí)時(shí)數(shù)據(jù)后對(duì)車輛反饋指引方面工作。

文中在智能交通大數(shù)據(jù)處理平臺(tái)上利用大數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，獲取路口周邊實(shí)時(shí)車輛位置和速度數(shù)據(jù)，并綜合處理計(jì)算得出該路口是否會(huì)發(fā)生威脅某些車輛的危險(xiǎn)事件，并給出相應(yīng)處理意見。效果圖如圖1所示。本文作者主要從系統(tǒng)構(gòu)建上給出一種可行性方案，不針對(duì)具體業(yè)務(wù)系統(tǒng)進(jìn)行論證。

圖1 交叉路口車輛信息共享示意

1 交叉路口車輛信息共享系統(tǒng)的功能需求與邏輯框架

1.1 車輛數(shù)據(jù)批量時(shí)效性分析技術(shù)

如上所述，交叉路口車輛信息共享系統(tǒng)需要的不僅僅是大數(shù)據(jù)采集存儲(chǔ)，也不僅僅是處理速度實(shí)時(shí)性要求高的單一需求，該系統(tǒng)需要具有實(shí)時(shí)處理大數(shù)據(jù)能力，只有這樣，才能更早地將預(yù)測(cè)的結(jié)果通知給駕駛者，從而引導(dǎo)駕駛?cè)俗鞒稣_的行為。

云計(jì)算應(yīng)用領(lǐng)域按照數(shù)據(jù)處理的時(shí)間性需求，可分批處理分析、近實(shí)時(shí)分析、實(shí)時(shí)分析。目前實(shí)時(shí)分析平臺(tái)主要分為通用性分析平臺(tái)(S4，Storm)及復(fù)雜事件處理平臺(tái)兩大類。復(fù)雜事件處理(Complex Event Progressing，CEP)是一種新興的基于事件流的技術(shù),它將系統(tǒng)數(shù)據(jù)看作不同類型的事件,通過分析事件間的關(guān)系,建立不同的事件關(guān)系序列庫(kù),利用過濾、關(guān)聯(lián)、聚合等技術(shù),最終由簡(jiǎn)單事件產(chǎn)生高級(jí)事件或商業(yè)流程[4],CEP平臺(tái)主要有Hstreaming、StreamBase Complex Event Processing(CEP)/StreamBase LiveView、StreamBase SQLStream、OpenCQ等。

表1列出了S4、Storm、Hstreaming的平臺(tái)特點(diǎn)。

表1 實(shí)時(shí)分析平臺(tái)特點(diǎn)

1.2 終端數(shù)據(jù)采集

由于車輛在路上行駛，其位置實(shí)時(shí)變化，實(shí)時(shí)處理系統(tǒng)只有盡可能地準(zhǔn)確獲知其坐標(biāo)位置，才能使得整套系統(tǒng)的危險(xiǎn)預(yù)測(cè)更有利用價(jià)值。

(1)A-GPS定位技術(shù)

A-GPS通信技術(shù)，是一種結(jié)合網(wǎng)絡(luò)基站信息和GPS信息對(duì)終端進(jìn)行定位的技術(shù)，既利用全球衛(wèi)星定位系統(tǒng)GPS，同時(shí)也利用了移動(dòng)運(yùn)營(yíng)商的基站網(wǎng)絡(luò)，是一種移動(dòng)網(wǎng)絡(luò)與GPS系統(tǒng)融合的定位技術(shù)。相較于傳統(tǒng)的GPS系統(tǒng)，A-GPS技術(shù)具備了開機(jī)后快速完成首次定位、定位精度更高的特點(diǎn)。

(2)慣性制導(dǎo)定位技術(shù)

慣導(dǎo)系統(tǒng)是以加速度傳感器及陀螺儀為主要器件的導(dǎo)航數(shù)據(jù)計(jì)算系統(tǒng)，慣導(dǎo)系統(tǒng)由陀螺儀輸出的參數(shù)建立坐標(biāo)系，并按照加速度傳感器輸出的數(shù)據(jù)計(jì)算車輛在坐標(biāo)系中的具體位置以及速度等參數(shù)。慣導(dǎo)推算模塊通過上述參數(shù)以及車速等信號(hào)進(jìn)行實(shí)時(shí)計(jì)算，得出車輛具體的經(jīng)緯度位置參數(shù)。

(3)視覺定位導(dǎo)航技術(shù)

視覺導(dǎo)航依據(jù)視覺圖像，結(jié)合視頻處理、標(biāo)志物識(shí)別及動(dòng)態(tài)算法處理等技術(shù)，通過視頻捕捉車輛的運(yùn)動(dòng)狀態(tài)及位置坐標(biāo)，運(yùn)用智能視覺計(jì)算，實(shí)現(xiàn)車輛的導(dǎo)航。

1.3 交叉路口車輛信息分析處理系統(tǒng)

智能交通系統(tǒng)(Intelligent Traffic System，ITS)是一套復(fù)雜而龐大的系統(tǒng)網(wǎng)絡(luò)，通過將先進(jìn)的信息技術(shù)、數(shù)據(jù)通信傳輸技術(shù)、電子控制技術(shù)以及計(jì)算機(jī)處理技術(shù)等有效地運(yùn)用于整個(gè)運(yùn)輸管理體系，使人、車、路密切地配合，和諧地統(tǒng)一，從而建立起一種在大范圍內(nèi)，全方位發(fā)揮作用的實(shí)時(shí)、準(zhǔn)確、高效的運(yùn)輸綜合管理系統(tǒng)[5]，提高了交通運(yùn)輸效率，緩解交通阻塞，提高路網(wǎng)通過能力。

文中僅涉及智能交通大數(shù)據(jù)處理平臺(tái)中的實(shí)時(shí)處理子系統(tǒng)，整體系統(tǒng)邏輯框圖如圖2所示。

圖2 整體系統(tǒng)邏輯

該框圖主要分三部分：位置坐標(biāo)獲取、傳輸層、應(yīng)用層。由于各種誤差的存在，在車輛上采取了多種途徑進(jìn)行位置誤差的修正，以追求位置的盡可能精確；傳輸層主要是車與云端的數(shù)據(jù)傳輸；應(yīng)用層是基于云端地圖的大數(shù)據(jù)處理，結(jié)合車輛位置坐標(biāo)，確認(rèn)車輛即將進(jìn)入的交叉口，并匯總該交叉口的其他路口車輛信息(位置、速度、方向燈狀態(tài)等)，并通過算法策略預(yù)測(cè)出對(duì)駛?cè)肼房诘拿總€(gè)車輛的危險(xiǎn)事件。最終將有危險(xiǎn)的結(jié)果反饋給駕駛?cè)藛T。由于采用實(shí)時(shí)處理系統(tǒng)，所以該結(jié)果會(huì)不斷更新。

2 交叉路口車輛信息共享系統(tǒng)構(gòu)建

根據(jù)前面所述，該系統(tǒng)必須具有低延遲、高實(shí)時(shí)性、高容錯(cuò)性的特性，支持異構(gòu)環(huán)境(基于成本和分步實(shí)現(xiàn)系統(tǒng)考慮)，其核心技術(shù)包括大數(shù)據(jù)實(shí)時(shí)處理技術(shù)和終端數(shù)據(jù)精確定位技術(shù)。

整體系統(tǒng)示意圖如圖3所示。其中，基站提供了傳輸網(wǎng)絡(luò)和LBS服務(wù)，衛(wèi)星GPS提供了位置服務(wù)，云端提供了數(shù)據(jù)處理預(yù)測(cè)服務(wù)。未在示意圖中體現(xiàn)出該方案為了使定位更加精確而采用的兩項(xiàng)技術(shù)：慣性制導(dǎo)和視覺制導(dǎo)。

圖3 整體系統(tǒng)示意

有效地精確定位加上實(shí)時(shí)的大數(shù)據(jù)處理系統(tǒng)，構(gòu)成了方案的架構(gòu)。

圖4、圖5為整個(gè)系統(tǒng)中上行和下行邏輯圖。上行邏輯圖里的位置數(shù)據(jù)修正，主要是依據(jù)LBS、慣性制導(dǎo)和視覺導(dǎo)航進(jìn)行處理。具體見第2.2節(jié)。

圖4 上行邏輯

圖5 下行邏輯

2.1 實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)

鑒于Storm的特性：可被用于“連續(xù)計(jì)算”(Continuous Computation)，對(duì)數(shù)據(jù)流做連續(xù)查詢，在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶[4]。該系統(tǒng)采用Storm框架作為實(shí)時(shí)處理系統(tǒng)。

Storm框架的數(shù)據(jù)流是通過運(yùn)行一個(gè)Topology的拓?fù)鋵?shí)現(xiàn)數(shù)據(jù)流轉(zhuǎn)，類似于Hadoop上運(yùn)行的是MapReduce jobs。但Storm會(huì)持續(xù)不斷地處理達(dá)到的數(shù)據(jù)，而不會(huì)自動(dòng)結(jié)束該Topology。

Storm框架提供的基礎(chǔ)組件有：Spout和Bolt。其中的Spout組件是信息源，即從外部數(shù)據(jù)源讀取數(shù)據(jù)，并發(fā)送給Topology；邏輯處理組件Bolts，是用于將所有的消息處理邏輯被封裝在Bolts里面，可以發(fā)送多條消息。Bolts可以一級(jí)一級(jí)處理傳遞，因此一個(gè)Topology的數(shù)據(jù)流如圖6所示。

圖6 Topology結(jié)構(gòu)

Storm集群中共包含了兩個(gè)主要節(jié)點(diǎn)，即控制節(jié)點(diǎn)(Master Node)和工作節(jié)點(diǎn)(Worker Node)。每一個(gè)工作節(jié)點(diǎn)上面運(yùn)行一個(gè)叫作Supervisor的節(jié)點(diǎn)。整個(gè)工作機(jī)制如圖7所示。

2.2 終端數(shù)據(jù)采集系統(tǒng)

該系統(tǒng)終端數(shù)據(jù)采集分兩部分：一部分是位置數(shù)據(jù)、速度和車輛轉(zhuǎn)向燈的狀態(tài)等數(shù)據(jù)的采集；另一部分是從云端獲取即將駛?cè)氲慕徊媛房谥苓呠嚊r的影響情況，并獲得云端給出的危險(xiǎn)提示。文中僅先討論位置坐標(biāo)精確定位，而對(duì)于實(shí)時(shí)數(shù)據(jù)處理的算法策略和終端獲取云端數(shù)據(jù)信息放在下一步展開討論。

由于傳統(tǒng)的GPS定位系統(tǒng)受環(huán)境影響明顯，尤其陰天、霧霾天氣。首次定位時(shí)間長(zhǎng)，甚至無法定位，對(duì)于該系統(tǒng)如果出現(xiàn)無法定位，則整個(gè)系統(tǒng)將因此而無法有效工作。為此采用A-GPS，利用移動(dòng)基站的LBS服務(wù)，提高首次定位及由于天氣帶來的糟糕的定位效果。

傳統(tǒng)GPS定位在車輛駛?cè)敫呒軜蚧蛩淼罆r(shí)會(huì)出現(xiàn)定位無效。為此該方案在數(shù)據(jù)采集終端中采用慣性導(dǎo)航方案，集成陀螺儀和加速度傳感器，以實(shí)現(xiàn)無GPS信號(hào)時(shí)的連續(xù)定位或駛?cè)肓⒔粯驎r(shí)無效定位變得可以保持精確定位。同時(shí)接受GPS定位坐標(biāo)修正。

當(dāng)車輛駛?cè)攵嘬嚨罆r(shí)，為了能精確判斷車輛在一個(gè)路口的精確位置(如哪個(gè)車道，是否駛?cè)朕D(zhuǎn)向車道)而不僅僅是距離路口的距離，同時(shí)由于慣性制導(dǎo)存在累計(jì)誤差特性。數(shù)據(jù)采集終端采用視覺導(dǎo)航，主要利用攝像頭拍攝路面信息，通過與車載地圖比較，及車道上交通標(biāo)線的識(shí)別，從而修正慣性制導(dǎo)誤差，提高車輛坐標(biāo)位置確認(rèn)。

3 結(jié)束語(yǔ)

文中主要介紹了交叉路口車輛信息共享系統(tǒng)的基礎(chǔ)理論及核心方案。首先，介紹了整個(gè)系統(tǒng)的開發(fā)背景、功能需求以及邏輯框架，并據(jù)此展開介紹了具體方案，同時(shí)著重介紹了其中的核心技術(shù)。其次，具體介紹了該系統(tǒng)針對(duì)交通信息的大數(shù)據(jù)分析，以及在交通大數(shù)據(jù)實(shí)時(shí)計(jì)算方面的可行方案。最后，介紹了系統(tǒng)原型的構(gòu)成，并據(jù)此論證了方案的可行性。

通過上述成果，將進(jìn)一步展開具體開發(fā)及驗(yàn)證工作，并著重對(duì)實(shí)時(shí)交通大數(shù)據(jù)的數(shù)據(jù)流處理及分析算法等方面展開重點(diǎn)研究。