車載自組織網(wǎng)絡(luò)中的大數(shù)據(jù)技術(shù)應(yīng)用研究

李鐸 賴粵

摘要：大數(shù)據(jù)吸引了越來越多的關(guān)注并應(yīng)用于不同的研究領(lǐng)域。文章重點闡述了車載自組織網(wǎng)絡(luò)中的幾點關(guān)鍵問題，具體映射大數(shù)據(jù)的4V特征，提出車載大數(shù)據(jù)處理平臺框架，探索新的解決思路。

關(guān)鍵詞：車載自組織網(wǎng)絡(luò)；云計算；大數(shù)據(jù)；Hadoop； Spark

2011年5月，在“云計算相遇大數(shù)據(jù)”為主題的EMCWorld 2011會議中，EMC拋出了大數(shù)據(jù)（Big Data）概念。根據(jù)IDC的定義：大數(shù)據(jù)技術(shù)被設(shè)計用于在成本可承受的條件下，通過非常快速（velocity）的采集、發(fā)現(xiàn)和分析，從大量（volumes）、多類別（variety）的數(shù)據(jù)中提取價值（value），將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。

在通信系統(tǒng)中大數(shù)據(jù)技術(shù)的實現(xiàn)主要是通過收集和整合來自異構(gòu)服務(wù)所提供的數(shù)據(jù)。在異構(gòu)網(wǎng)絡(luò)環(huán)境中，深入的科學(xué)研究有待突破，使得技術(shù)服務(wù)更加貼近用戶需求。這一塊的研究主要集中包含有大規(guī)模分布式數(shù)據(jù)處理平臺（Hadoop）提供的數(shù)據(jù)倉庫產(chǎn)品和一些數(shù)據(jù)分析技術(shù)，比如機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等。

大數(shù)據(jù)時下還是一個新興的熱門技術(shù)，不可避免地碰到諸多挑戰(zhàn)，需要采用合適的技術(shù)去管理和分析大數(shù)據(jù)創(chuàng)造價值，增加預(yù)測的準(zhǔn)確性，提高管理和安全性。

車載自組織網(wǎng)絡(luò)（Vehicular AdHoc Networks，VANETs）被認(rèn)為是智能交通系統(tǒng)的一部分，是以車為節(jié)點的一種特殊形式的移動自組織網(wǎng)絡(luò)，在交通工程中有其自身的一些特點，近年來得到更廣泛的關(guān)注。車載自組織網(wǎng)絡(luò)由2個部分組成：車與車之間的通信（V2V），車與路邊基礎(chǔ)設(shè)施之間的無線通信（V21）。每輛自發(fā)參與的車變?yōu)橐粋€中繼或者無線節(jié)點連接其他的車輛，從而成為網(wǎng)絡(luò)的一部分，覆蓋的范圍大概是l00-300m之間。一旦車輛行駛超出這個范圍，網(wǎng)絡(luò)就會掉線。

汽車現(xiàn)在已經(jīng)是人們生活中的一部分，車輛作為移動終端越發(fā)智能化，在車載自組織網(wǎng)絡(luò)中，數(shù)據(jù)由車輛和路側(cè)單元配置的智能傳感器件生成，從而導(dǎo)致不斷增加的數(shù)據(jù)復(fù)雜度，特別是突發(fā)的數(shù)據(jù)量增大，需要結(jié)合云計算的彈性進(jìn)行快速處理。基于車載自組織網(wǎng)絡(luò)的車載安全、安保、信息娛樂、交通信息、導(dǎo)航、車輛故障診斷、預(yù)判等業(yè)務(wù)蓬勃發(fā)展。不難看出，在車載自組織網(wǎng)絡(luò)應(yīng)用需求的推動下，大數(shù)據(jù)無疑為其提供了堅實的技術(shù)后盾。因為無論是車輛的接入、服務(wù)內(nèi)容的選擇還是服務(wù)的精準(zhǔn)性，都為大數(shù)據(jù)提供了有利的介入空間。大數(shù)據(jù)很平滑地拓展到了交通領(lǐng)域。通過應(yīng)用大數(shù)據(jù)技術(shù)，可以從巨量的操作數(shù)據(jù)中獲得更好的認(rèn)知和了解，以期提高交通管理效率。

1 車載自組織網(wǎng)絡(luò)中的大數(shù)據(jù)問題

大數(shù)據(jù)的特征通常用4個V來概括：大量化（Volume）、多樣化（Variety）、快速化（Velocity）、價值密度低（Value），只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。大數(shù)據(jù)是工程技術(shù)和策略技術(shù)的結(jié)合。大數(shù)據(jù)要求改變?nèi)藗円酝鶎_性的苛求，轉(zhuǎn)而追求混雜性，不再偏執(zhí)于對因果關(guān)系的追問，轉(zhuǎn)為追求相關(guān)關(guān)系，這種思維的轉(zhuǎn)變是革命性的。

車載自組織網(wǎng)絡(luò)前進(jìn)的動力主要來自于大眾的應(yīng)用需求，交通安全、交通堵塞、車輛智能管理、環(huán)境保護(hù)等一系列問題。本文試圖闡述將車載自組織網(wǎng)絡(luò)的特征映射到大數(shù)據(jù)的屬性，以期驗證車載自組織網(wǎng)絡(luò)中的有些問題可被當(dāng)作大數(shù)據(jù)問題，并使用大數(shù)據(jù)技術(shù)進(jìn)行解決分析處理。這些問題包括：

實時數(shù)據(jù)：車載自組織網(wǎng)絡(luò)中的數(shù)據(jù)是實時更新的并存儲在數(shù)據(jù)庫中，生成很大的表給予路由決策使用。這部分對應(yīng)大數(shù)據(jù)的體量大的特征，巨量的數(shù)據(jù)由不同的數(shù)據(jù)源實時生成。

變化的網(wǎng)絡(luò)密度：車輛配置的智能傳感器件產(chǎn)生不同形式的數(shù)據(jù)，網(wǎng)絡(luò)的密度隨著車輛密度而改變。這部分對應(yīng)大數(shù)據(jù)的多樣性特征，包含有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

高度動態(tài)拓?fù)浜鸵苿幽Ｐ停很囕v作為中繼或者節(jié)點的網(wǎng)絡(luò)中，由于速度的高度改變影響頻繁的網(wǎng)絡(luò)分片和網(wǎng)絡(luò)密度的變化。這部分吻合大數(shù)據(jù)快速化特征，不單單是生成數(shù)據(jù)速率很快，而且也要求處理輸入數(shù)據(jù)的耗時更短。

大規(guī)模網(wǎng)絡(luò)和超強(qiáng)計算能力：大規(guī)模網(wǎng)絡(luò)中汽車配置的智能傳感期間增強(qiáng)了節(jié)點的計算能力，這要求抽取數(shù)據(jù)的價值來預(yù)測路由決策。這部分對應(yīng)于大數(shù)據(jù)的價值密度特征，在對節(jié)點分析和預(yù)測行為以期論證某個理論或者做決策優(yōu)化的時候很重要。

因此，車載自組織網(wǎng)絡(luò)問題可以被當(dāng)作一個很好的大數(shù)據(jù)分析的案例。

2 車載自組織網(wǎng)絡(luò)的大數(shù)據(jù)分析

車載自組織網(wǎng)絡(luò)的研究有助于改善交通系統(tǒng)、供應(yīng)鏈管理以及物流。通過GPS、RFID、傳感器、攝像頭處理等裝置獲得道路、汽車和駕駛員成千上萬的變量參數(shù)，車輛可以完成自身環(huán)境和狀態(tài)信息的采集。弄清道路的交通流量、本地天氣情況、駕駛員的操作習(xí)慣以及對突發(fā)情況的應(yīng)變反應(yīng)。這個規(guī)模是巨大的。僅百萬公里的道路、百萬輛的汽車、百萬名的駕駛員幾年下來提供的數(shù)據(jù)量就很令人震驚。當(dāng)下，唯有采用大數(shù)據(jù)技術(shù)可在合理的時間對這些巨量的數(shù)據(jù)進(jìn)行處理才能獲取有價值的東西。

在汽車及其相關(guān)的設(shè)備已經(jīng)或正在向數(shù)字化轉(zhuǎn)變的今天，汽車產(chǎn)業(yè)生態(tài)圈急需大數(shù)據(jù)技術(shù)對數(shù)據(jù)進(jìn)行處理，并使之產(chǎn)生真正可見的價值。從技術(shù)上講，它包括大數(shù)據(jù)的收集、轉(zhuǎn)化、存儲、分析、共享、可視化和應(yīng)用集成等領(lǐng)域，需要對產(chǎn)生于各系統(tǒng)終端的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集，對數(shù)據(jù)分析挖掘，建立相關(guān)模型，并針對客戶及行業(yè)需求。

一個簡單的服務(wù)應(yīng)用就能夠產(chǎn)生、收集很多類型的數(shù)據(jù)。數(shù)據(jù)產(chǎn)生的速度很快并且要求快速的處理。這些數(shù)據(jù)隱藏了部分有價值的信息，必須進(jìn)行深入的挖掘、分析。車載大數(shù)據(jù)的處理，就是挖掘其中的隱含價值，將大數(shù)據(jù)從某個方面進(jìn)行加工處理得到特定業(yè)務(wù)的便利性甚至是預(yù)見性的核心數(shù)據(jù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫處理不了這么巨大的數(shù)據(jù)，大數(shù)據(jù)必然無法用單臺的計算機(jī)進(jìn)行處理，必須采用分布式計算架構(gòu)。對海量數(shù)據(jù)的挖掘必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)，需要采用新的技術(shù)來處理這么巨量車載大數(shù)據(jù)。本文重點考察2個具有代表性的技術(shù)：

Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運(yùn)算和存儲。Hadoop的框架的最核心的設(shè)計就是：HDFS和MapReduce。HDFS實現(xiàn)存儲，而MapReduce實現(xiàn)分析處理。主要應(yīng)用批量處理，計算完成的數(shù)據(jù)如需數(shù)據(jù)倉庫的存儲，存入Hive中，然后進(jìn)行展現(xiàn)。

Spark為大數(shù)據(jù)的多種計算場景提供了一個通用的計算引擎，它立足于內(nèi)存計算，兼顧數(shù)據(jù)倉庫、流處理和圖計算等多種計算范式，是大數(shù)據(jù)系統(tǒng)領(lǐng)域的全棧計算平臺。針對源源不斷的數(shù)據(jù)，可以盡快處理，不產(chǎn)生積壓。在迭代處理、流式處理中表現(xiàn)優(yōu)異，提供的MLib組件實現(xiàn)了很多的機(jī)器學(xué)習(xí)算法。

本文綜合上述2個技術(shù)提出車載大數(shù)據(jù)處理平臺框架，如圖1所示，可兼容離線、近實時和實時環(huán)境下的不同業(yè)務(wù)場景。當(dāng)大數(shù)據(jù)聯(lián)合車載自組織網(wǎng)絡(luò)提供服務(wù)時，車載大數(shù)據(jù)所包含的豐富的興趣點和海量資料，通過整合地圖資源和LBS領(lǐng)域的優(yōu)秀數(shù)據(jù)，挖掘客戶深層次的需求，為客戶提供增值應(yīng)用服務(wù)。

3 結(jié)語

隨著云時代的來臨，大數(shù)據(jù)技術(shù)也滲透到了不同的研究和應(yīng)用領(lǐng)域。車載自組織網(wǎng)絡(luò)作為以車為節(jié)點的一種特殊形式的移動自組織網(wǎng)絡(luò)，借助大數(shù)據(jù)技術(shù)的力量，可以煥發(fā)新的生機(jī)。