車聯(lián)網(wǎng)的大數(shù)據(jù)訪問(wèn)和應(yīng)用方法研究

近年來(lái)，由于計(jì)算機(jī)技術(shù)的發(fā)展，車輛已成為移動(dòng)傳感器平臺(tái)，車聯(lián)網(wǎng)技術(shù)也取得了巨大進(jìn)步。聯(lián)網(wǎng)車輛（CV）能夠遠(yuǎn)程連接并與周圍環(huán)境通信。此連接不僅限于其他車輛（車輛到車輛通信），還包括與基礎(chǔ)設(shè)施（車輛到基礎(chǔ)設(shè)施和基礎(chǔ)設(shè)施到車輛）或與其他設(shè)備通信如手機(jī)的通信。聯(lián)網(wǎng)車輛從各種嵌入式傳感器收集大量數(shù)據(jù)。這些數(shù)據(jù)對(duì)汽車制造商和車主來(lái)說(shuō)具有很大的價(jià)值。CV從其組件上部署的各種傳感器收集的大量數(shù)據(jù)。每輛車能夠通過(guò)部署在其所有部件（即發(fā)動(dòng)機(jī)、內(nèi)部和外部）中的多個(gè)傳感器收集多達(dá)170個(gè)信息。傳輸數(shù)據(jù)包含范圍廣泛的信息，范圍從車輛識(shí)別號(hào)（VIN）到通過(guò)發(fā)動(dòng)機(jī)每分鐘轉(zhuǎn)數(shù)（RPM）的當(dāng)前GPS坐標(biāo)、車輛速度、外部溫度等。這些捕獲的數(shù)據(jù)對(duì)于道路安全、環(huán)保駕駛、交通規(guī)則、環(huán)境監(jiān)測(cè)等均具有實(shí)際意義。

大數(shù)據(jù)是指由于其特性而需要新處理技術(shù)的大型復(fù)雜數(shù)據(jù)集。大數(shù)據(jù)是大批量、高速度或高變量的信息資產(chǎn)，需要具有成本效益的創(chuàng)新形式的信息處理，以增強(qiáng)洞察力、決策制定和流程自動(dòng)化。

目前車聯(lián)網(wǎng)的大數(shù)據(jù)訪問(wèn)和處理應(yīng)用方法有很多種，下面著重介紹一下最新的幾種方法。

1 通過(guò)CV數(shù)據(jù)反饋進(jìn)行標(biāo)準(zhǔn)化架構(gòu)設(shè)計(jì)[1]

1.1 主要目的和主要原理

主要研究了標(biāo)致雪鐵龍集團(tuán)（PSA）部署的大數(shù)據(jù)架構(gòu)（文中Figure 1.）以及每個(gè)組件中使用的底層技術(shù)和產(chǎn)品，主要目的是通過(guò)提供PSA集團(tuán)關(guān)于利用聯(lián)網(wǎng)數(shù)據(jù)的反饋來(lái)嘗試標(biāo)準(zhǔn)化架構(gòu)設(shè)計(jì)。

提出了一種基于速度、批量和服務(wù)的架構(gòu)。該架構(gòu)使用了幾種類型的遠(yuǎn)程信息處理服務(wù)單元（例如自動(dòng)遠(yuǎn)程信息箱（ATB），批準(zhǔn)的售后市場(chǎng)箱等）。每個(gè)單元都有特殊應(yīng)用，有些單元設(shè)計(jì)用于廣泛監(jiān)控，以非常高的頻率發(fā)送大量數(shù)據(jù)，而其他單元?jiǎng)t用于車隊(duì)管理等。同時(shí)，為了簡(jiǎn)化的架構(gòu)，將組件呈現(xiàn)為功能層。包括設(shè)備和服務(wù)管理層、前端層、信息層、速度層、批處理層、服務(wù)層。

列舉了在PSA集團(tuán)平臺(tái)上部署的兩個(gè)生產(chǎn)服務(wù)：

第一個(gè)生產(chǎn)服務(wù)，每個(gè)CV將捕獲的外部溫度發(fā)送到基礎(chǔ)設(shè)施，標(biāo)記有其當(dāng)前位置。然后，后者負(fù)責(zé)關(guān)聯(lián)接收的數(shù)據(jù)，以便不斷更新地圖為國(guó)家氣象局要求提供天氣溫度數(shù)據(jù)，用于氣象預(yù)報(bào)，旨在提供全國(guó)氣溫的實(shí)時(shí)概況。目標(biāo)是盡可能精確地獲得國(guó)家天氣溫度的更新地圖，包括地區(qū)和部門。

Figure 1.PSA Group services

第二個(gè)生產(chǎn)服務(wù)：該服務(wù)分析駕駛風(fēng)格并將其與環(huán)境和其他人的駕駛相關(guān)聯(lián)，以便給出記錄并建議改進(jìn)駕駛。此服務(wù)由兩個(gè)操作組成：基于歷史數(shù)據(jù)生成模型的批處理作業(yè)和使用該模型（由批處理作業(yè)生成）評(píng)估驅(qū)動(dòng)樣式的流應(yīng)用程序。由于歷史處理和流式應(yīng)用程序的在線結(jié)果，批處理作業(yè)和流式處理作業(yè)的這種組合可以獲得準(zhǔn)確的評(píng)估。該服務(wù)不僅減少了二氧化碳排放和燃料消耗，還可以通過(guò)優(yōu)化車輛使用來(lái)延長(zhǎng)車輛部件的生命周期。

1.2 結(jié)論及存在的問(wèn)題

PSA集團(tuán)的大數(shù)據(jù)架構(gòu)通過(guò)突出顯示每個(gè)部分中選擇的技術(shù)與產(chǎn)品進(jìn)行深入審查。然而，這種架構(gòu)是單向的，并且對(duì)于諸如車輛管理或安全應(yīng)用之類的一些需求，我們還希望向車輛本身發(fā)送信息。目前，我們正在使用MQTT開(kāi)發(fā)汽車到汽車架構(gòu)。通常，CV會(huì)發(fā)布他們的數(shù)據(jù)并訂閱主題，這將簡(jiǎn)化基礎(chǔ)設(shè)施和車輛之間的互動(dòng)。另一項(xiàng)改進(jìn)是使用Apache Spark進(jìn)行處理和分析，以提高批處理的性能。

2 基于空間索引的方法[2]

2.1 主要目的和主要原理

主要目的是解決處理和存儲(chǔ)大數(shù)據(jù)時(shí)汽車信息的在線數(shù)據(jù)處理問(wèn)題。更準(zhǔn)確地說(shuō)，專注于數(shù)據(jù)融合的性能，以支持?jǐn)?shù)百萬(wàn)聯(lián)網(wǎng)車輛。為了應(yīng)對(duì)這一性能挑戰(zhàn)，提出了基于空間索引的新方法，以加速汽車的應(yīng)用。

為了評(píng)估所研究方法的有效性，在流處理引擎的實(shí)例中實(shí)現(xiàn)了它們，該實(shí)例部署在由64個(gè)vCPU組成的測(cè)試節(jié)點(diǎn)上，頻率為2.4 Ghz，RAM為40 GB。對(duì)溫度用例的測(cè)試，重新注入存儲(chǔ)的聯(lián)網(wǎng)車輛的數(shù)據(jù)以獲得真實(shí)的坐標(biāo)分布。構(gòu)建了以下場(chǎng)景：每個(gè)聯(lián)網(wǎng)車輛每秒發(fā)送一幀。聯(lián)網(wǎng)車輛的數(shù)量逐漸增加（即，增加數(shù)據(jù)速率），并且測(cè)量了流平臺(tái)的相應(yīng)處理時(shí)間。該方法可以處理的并發(fā)聯(lián)網(wǎng)車輛的數(shù)量由一秒內(nèi)處理的事件的數(shù)量來(lái)定義。為了滿足實(shí)時(shí)要求，整個(gè)處理時(shí)間必須保持在一秒以下，否則會(huì)發(fā)生流鏈中的擁塞。

通過(guò)環(huán)境監(jiān)測(cè)的實(shí)際用例（即溫度監(jiān)測(cè)）說(shuō)明了數(shù)據(jù)融合的問(wèn)題。為了加速數(shù)據(jù)融合的過(guò)程，探索了4種方法，徹底的方法、兩步法、分解方法、GeoHash法。使用流計(jì)算引擎實(shí)現(xiàn)和驗(yàn)證了所提出的每個(gè)方法(見(jiàn)文中 Fig 16.和 Fig 19.)。

2.2 結(jié)論及未來(lái)的工作

在這項(xiàng)研究中，通過(guò)環(huán)境監(jiān)測(cè)的實(shí)際用例（即溫度監(jiān)測(cè)）說(shuō)明了數(shù)據(jù)融合的問(wèn)題。為了加速數(shù)據(jù)融合的過(guò)程，已經(jīng)探索了幾種方法。已經(jīng)使用流計(jì)算引擎（即，IBM Streams）實(shí)現(xiàn)和驗(yàn)證了所提出的每個(gè)方法。最后一種基于GeoHash索引的方法，與其他方法相比，大大優(yōu)化了查詢時(shí)間。

對(duì)于未來(lái)的工作，將在其他服務(wù)中實(shí)施和評(píng)估GeoHash方法，確切地說(shuō)是在云架構(gòu)上的車輛到車輛通信中。在這些服務(wù)中，研究基于其地理位置向車輛發(fā)送信息（例如，警報(bào)，廣告）。

3 建立大數(shù)據(jù)流處理系統(tǒng)[3]

3.1 主要目的和主要原理

Fig.1 Proposed real-time video processing architecture

為做出實(shí)時(shí)決策的同時(shí)有效處理大數(shù)據(jù)，本文提出了一種高效、實(shí)時(shí)的大數(shù)據(jù)處理系統(tǒng)（文中Fig.1），包括其體系結(jié)構(gòu)和實(shí)現(xiàn)模型，它集成了Hadoop的高級(jí)處理技術(shù)，用于并行和分布式處理，Apache Spark用于實(shí)現(xiàn)實(shí)時(shí)環(huán)境，GPU用于快速高效處理。

將Hadoop生態(tài)系統(tǒng)的并行和分布式環(huán)境與圖形處理單元（GPU）和Spark集成，使其在處理方面更加強(qiáng)大和實(shí)時(shí)。還提出了MapReduce等效算法，通過(guò)將整個(gè)大數(shù)據(jù)文件劃分為固定大小的塊，使用GPU進(jìn)行參數(shù)計(jì)算的高效數(shù)據(jù)處理。Apache Spark流用于從遠(yuǎn)程位置捕獲實(shí)時(shí)數(shù)據(jù)，并使用HDFS在各種Ha?doop數(shù)據(jù)節(jié)點(diǎn)之間分發(fā)。Apache Spark引擎用于實(shí)時(shí)處理捕獲的數(shù)據(jù)。每個(gè)數(shù)據(jù)節(jié)點(diǎn)都配備有GPU和相應(yīng)的算法，以使用迭代指令執(zhí)行處理，并使用中間模塊將結(jié)果返回給Spark引擎。通過(guò)拍攝城市交通視頻來(lái)評(píng)估方法，即通過(guò)靜態(tài)和運(yùn)行車輛的攝像頭捕獲，識(shí)別道路上的車輛并采用大型基于文本的文件，通過(guò)考慮系統(tǒng)關(guān)于處理的效率方面來(lái)執(zhí)行評(píng)估，最后，獲取系統(tǒng)的吞吐量（每秒處理的幀數(shù)），該吞吐量是通過(guò)將視頻幀的總數(shù)除以處理整個(gè)視頻所花費(fèi)的總時(shí)間來(lái)測(cè)量的。

3.2 結(jié)論

通過(guò)拍攝城市交通視頻來(lái)評(píng)估方法，即通過(guò)靜態(tài)和運(yùn)行車輛的攝像頭捕獲，識(shí)別道路上的車輛并采用大型基于文本的文件，如Twitter數(shù)據(jù)文件，機(jī)器學(xué)習(xí)分類數(shù)據(jù)等，最后在考慮各個(gè)方面的處理時(shí)間和吞吐量的同時(shí)，評(píng)估了所提出的效率系統(tǒng)。與傳統(tǒng)的基于獨(dú)立CPU的MapReduce相比，所提出的系統(tǒng)被證明更有效。

4 開(kāi)發(fā)基于物聯(lián)網(wǎng)和CAN總線的系統(tǒng)架構(gòu)和實(shí)際模塊[4]

4.1 主要目的和主要原理

智能聯(lián)網(wǎng)汽車的基本概念是連通性，這種連接可以通過(guò)三個(gè)方面提供，例如車輛到車輛（V2V），車輛到基礎(chǔ)設(shè)施（V2I）和車輛到一切（V2X）。為了滿足V2V和V2I連接的各個(gè)方面，我們根據(jù)車載診斷II（OBDII）和4G長(zhǎng)期演進(jìn)（4G-LTE）的國(guó)際標(biāo)準(zhǔn)開(kāi)發(fā)了模塊，以獲取和傳輸車輛信息。還開(kāi)發(fā)了軟件來(lái)可視化檢查模塊提供的信息。然后，分析與發(fā)送到基于云的分布式文件系統(tǒng)（DFS）的用戶駕駛相關(guān)的信息，以進(jìn)行大數(shù)據(jù)分析，以向用戶提供關(guān)于駕駛習(xí)慣的信息。專注于根據(jù)大數(shù)據(jù)分析提出系統(tǒng)架構(gòu)和設(shè)計(jì)的概念。因此，這項(xiàng)研究通過(guò)這項(xiàng)工作做出的貢獻(xiàn)如下：

（1）開(kāi)發(fā)基于控制器局域網(wǎng)（CAN）總線，OBDII和4G-LTE的模塊;

（2）開(kāi)發(fā)軟件以檢查PC上的車輛信息;

（3）實(shí)施與車輛診斷代碼相關(guān)的數(shù)據(jù)庫(kù);

（4）提出大數(shù)據(jù)分析的系統(tǒng)架構(gòu)和設(shè)計(jì)。

由于大多數(shù)現(xiàn)代車輛由大量通過(guò)CAN總線進(jìn)行通信的電子傳感器組成。因此，提出了基于物聯(lián)網(wǎng)和CAN總線的系統(tǒng)架構(gòu)和實(shí)際模塊開(kāi)發(fā)，如文中Figure 5所示。

Figure 5.The overall system architecture.

開(kāi)發(fā)了三個(gè)主要組件：

第一個(gè)組件是CAN總線模塊，通過(guò)該模塊可以獲得主要與動(dòng)力系相關(guān)的車輛信息，這些信息就可以通過(guò)藍(lán)牙傳輸?shù)揭苿?dòng)設(shè)備，并由PC上的軟件檢查。

第二個(gè)組件是數(shù)據(jù)傳輸模塊。該數(shù)據(jù)傳輸模塊基于4G-LTE開(kāi)發(fā)。數(shù)據(jù)傳輸前往兩個(gè)目標(biāo)，例如移動(dòng)設(shè)備和服務(wù)器，但其主要目的地是服務(wù)器。

第三個(gè)主要組件是針對(duì)兩件事的移動(dòng)應(yīng)用程序：

（1）通過(guò)與服務(wù)器交互來(lái)檢查車輛故障代碼;

（2）通過(guò)無(wú)線通信將獲得的信息發(fā)送到基于云的DFS。

注：

2 CH:2 Channel;

CAN I/F:CAN Interface;

RPM:Revolution Per Minute;

UART:Universal Asynchronous Receiver/Transmitter

4.2 結(jié)論與展望

世界各國(guó)政府和汽車制造商正在積極尋求V2V，V2I和V2X連接的創(chuàng)新技術(shù)，實(shí)現(xiàn)這種連接的基礎(chǔ)技術(shù)是物聯(lián)網(wǎng)。這種新的技術(shù)范例促使我們探索車聯(lián)網(wǎng)的新技術(shù)。在本研究中，成功開(kāi)發(fā)了基于CAN總線和4G-LTE的實(shí)際模塊，以獲取和傳輸車輛動(dòng)力總成信息。模塊獲得的信息也由我們開(kāi)發(fā)的軟件進(jìn)行目視檢查。然而，雖然我們?yōu)檐囕v診斷和駕駛信息實(shí)現(xiàn)了基于結(jié)構(gòu)化查詢語(yǔ)言（SQL）的關(guān)系數(shù)據(jù)庫(kù)，但由于與NoSQL的特性沖突，實(shí)現(xiàn)的數(shù)據(jù)庫(kù)需要進(jìn)行修改。未來(lái)將研究如何成功的基于云的DFS實(shí)施以及大數(shù)據(jù)分析。

5 建立車聯(lián)網(wǎng)大數(shù)據(jù)聚合的整體架構(gòu)[5]

5.1 主要目的和主要原理

盡管在許多最新的汽車模型中引入了連接服務(wù)，但由于其專有性質(zhì)，目前對(duì)車輛數(shù)據(jù)的訪問(wèn)受到限制。因此，歐洲項(xiàng)目AutoMat開(kāi)發(fā)了一個(gè)開(kāi)放市場(chǎng)，為品牌獨(dú)立的車輛數(shù)據(jù)提供單一訪問(wèn)點(diǎn)。因此，可以利用車輛傳感器數(shù)據(jù)來(lái)設(shè)計(jì)和實(shí)現(xiàn)全新的服務(wù)，甚至超出與交通相關(guān)的應(yīng)用（例如超本地流量預(yù)測(cè)）。本研究介紹了車輛大數(shù)據(jù)市場(chǎng)的架構(gòu)(文中圖2)，作為跨部門和創(chuàng)新車輛數(shù)據(jù)服務(wù)的推動(dòng)者。因此，新穎的通用車輛信息模型（CVIM）被定義為開(kāi)放和協(xié)調(diào)的數(shù)據(jù)模型，允許品牌獨(dú)立和通用數(shù)據(jù)集的聚合。在這項(xiàng)工作中，實(shí)現(xiàn)了原型CVIM和Marketplace。介紹了本地天氣預(yù)報(bào)和道路質(zhì)量測(cè)量的兩個(gè)用例，以顯示AutoMat概念和原型在非汽車應(yīng)用中的適用性。

第一個(gè)用例，本地天氣預(yù)報(bào)。從具有高空間分辨率的觀測(cè)網(wǎng)絡(luò)提供氣象數(shù)據(jù)仍然是天氣預(yù)報(bào)的挑戰(zhàn)。作為成本效益折衷方案，觀測(cè)站之間的站點(diǎn)距離通常為數(shù)公里。作為移動(dòng)傳感器的車輛關(guān)閉了這些站之間的間隙。除溫度外，車輛還提供濕度、露點(diǎn)、霧和雨的檢測(cè)以及其他一些信息。因此，富含車輛大數(shù)據(jù)的經(jīng)典天氣模型將導(dǎo)致更準(zhǔn)確和更區(qū)域的天氣預(yù)報(bào)。

第二個(gè)用例，道路質(zhì)量。監(jiān)測(cè)道路質(zhì)量是道路維護(hù)的一個(gè)重要方面。損害和坑洼會(huì)對(duì)道路交通安全產(chǎn)生負(fù)面影響。此外，降低了駕駛舒適性并且更高的滾動(dòng)阻力導(dǎo)致更高的排放。通過(guò)車輛傳感器數(shù)據(jù)的可用性，可以顯著提高道路檢測(cè)的精度。除加速度，懸架高度，行走機(jī)構(gòu)信號(hào)和其他車輛屬性外，還可以進(jìn)行更深入的分析。通過(guò)大量車輛，可以增加測(cè)量的重要性并且可以更準(zhǔn)確地檢測(cè)損壞或坑洼。

5.2 結(jié)論

研究提出了一種用于車輛大數(shù)據(jù)聚合的整體架構(gòu)的概念。所提出的系統(tǒng)使服務(wù)和應(yīng)用程序的提供者能夠通過(guò)單一訪問(wèn)點(diǎn)訪問(wèn)車輛數(shù)據(jù)。市場(chǎng)處理車輛累積和與車主的合同處理，同時(shí)保護(hù)所有數(shù)據(jù)利益相關(guān)者的隱私權(quán)。建議的統(tǒng)一數(shù)據(jù)格式CVIM解決了協(xié)調(diào)專有和品牌相關(guān)傳感器數(shù)據(jù)和信息的任務(wù)。CVIM允許以時(shí)間序列和（基于地理的）直方圖的形式提供不同級(jí)別的質(zhì)量以及不同的數(shù)據(jù)聚合類型。如天氣預(yù)報(bào)和道路質(zhì)量監(jiān)測(cè)的示例所示，所提出的AutoMat平臺(tái)能夠?yàn)閯?chuàng)新和跨部門應(yīng)用和服務(wù)利用車輛大數(shù)據(jù)。