新能源汽車數(shù)據(jù)采集云端鏈路設(shè)計(jì)

[摘 要]近年來，新能源汽車已然成為市場銷售熱門，為實(shí)現(xiàn)新能源汽車的安全管理及行駛安全保障，國家對新能源汽車安全監(jiān)管體系建設(shè)提出嚴(yán)格的要求，就企業(yè)而言，必須依照GB/T32960的要求搭建自己的汽車監(jiān)控平臺，實(shí)現(xiàn)新能源汽車數(shù)據(jù)的實(shí)時采集，并與國家、地方政府平臺對接傳輸。本文設(shè)計(jì)一種新能源汽車車輛行駛數(shù)據(jù)采集的云端鏈路，并對云端鏈路的架構(gòu)進(jìn)行介紹。

[關(guān)鍵詞]新能源汽車；車輛行駛數(shù)據(jù)采集；云端鏈路

中圖分類號：U469.72文獻(xiàn)標(biāo)志碼：A文章編號：1003-8639（2023）

Talking about a new energy vehicles data collection cloud link

Wenquan Qin，Liang Zhang，KangzheGui，LihuaHuang，Laixi Guo

SAIC GM Wuling Automoblie Co.，Ltd .，Guangxi Laboratory of New Energy Automobile，Guangxi Key Laboratory of Automobile Four New Features，Liuzhou Guangxi，545007，China

[Abstract] In recent years，new energy vehicles have become popular in the market.In order to realize the safety management and driving safety of new energy vehicles，the state has put forward stricter requirements for the construction of new energy vehicle safety supervision system. For enterprises，they must build their own vehicle monitoring platform in accordance with the requirements of GB/T32960，realize real-time collection of new energy vehicle data，and connect with national and local government platforms for transmission. This paper briefly introduces a cloud link for the collection of driving data of new energy vehicles.

[Key words]New-energy vehicles；Vehicle driving data collection；Cloud link

作者簡介：覃文泉（1998—），男，助理工程師，主要從事大數(shù)據(jù)方向。

收稿日期：2022-11-07

自1886年卡爾本茨發(fā)明出三輪汽車并獲得專利后，以內(nèi)燃機(jī)為核心的燃油汽車得到了突飛猛進(jìn)的發(fā)展，直至今日，傳統(tǒng)的燃油車依舊是活躍在公路上的大頭。然而，石油資源的日益枯竭以及燃油車對環(huán)境的污染使人們對于新能源汽車愈發(fā)重視。

20世紀(jì)90年代，電池技術(shù)遲遲未能迎來重大突破，純電動汽車的制造盈利面臨巨大挑戰(zhàn)，在此背景下，傳統(tǒng)汽車制造商們另辟蹊徑，開始研究混合動力汽車，也就是我們常說的混動汽車，PHEV和HEV逐漸嶄露頭角。

進(jìn)入21世紀(jì)后，電池技術(shù)迎來突破，意味著純電動汽車的時代拉開序幕。

新能源汽車被定義為使用非常規(guī)車用燃料作為動力來源，綜合車輛的動力控制和驅(qū)動方面的先進(jìn)技術(shù)，形成的技術(shù)原理先進(jìn)、具有新技術(shù)、新結(jié)構(gòu)的汽車，包括純電動汽車、增程式電動汽車、混合動力汽車、燃料電池電動汽車、氫發(fā)動機(jī)汽車等。當(dāng)然在目前市場上，純電動汽車顯然被認(rèn)為是新能源汽車的代表，混動和燃料電池汽車齊頭并進(jìn)[1]。

鑒于全球石油危機(jī)的影響及新能源汽車在節(jié)能減排及環(huán)境保護(hù)中所扮演的重要角色，國家高度鼓勵新能源汽車的研究和發(fā)展并大力扶持，國內(nèi)新能源汽車制造廠商如雨后春筍般紛紛涌出，新能源汽車也快速進(jìn)入老百姓的眼簾。據(jù)中國汽車工業(yè)協(xié)會統(tǒng)計(jì)，2022年中國新能源汽車保有量達(dá)1310萬輛，約占全球新能源汽車總量的63%。

面對如此龐大的新能源汽車保有量，安全監(jiān)管變得至關(guān)重要，國家也高度重視新能源汽車的安全性問題，時至今日，國家出臺了一系列標(biāo)準(zhǔn)，2016年推行的GB/T.32960《電動汽車遠(yuǎn)程服務(wù)與管理系統(tǒng)技術(shù)規(guī)范》便是其中之一。

GB/T.32960規(guī)定建立國家、政府、企業(yè)3級新能源汽車監(jiān)控平臺，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時采集與傳輸，因此，電動汽車廠家需要搭建自己的汽車監(jiān)控平臺，以實(shí)現(xiàn)符合國家標(biāo)準(zhǔn)的新能源汽車實(shí)時數(shù)據(jù)的采集與傳輸。基于此需求，本文淺談一種新能源汽車實(shí)時數(shù)據(jù)采集的云端鏈路架構(gòu)，實(shí)現(xiàn)新能源汽車的實(shí)時數(shù)據(jù)采集。

1 "云端鏈路基本架構(gòu)

1.1 "總體架構(gòu)介紹

新能源汽車數(shù)據(jù)上傳的心臟器官是車載終端，車輛行駛時，車載終端會向云端上傳實(shí)時報文，在滿足國標(biāo)要求的前提下，報文采集頻率及上傳頻率由汽車廠商自己設(shè)定。

車載終端通過預(yù)先設(shè)定好的IP將報文上傳到云端，首先經(jīng)過的是負(fù)載均衡，然后到達(dá)前置機(jī)，并在此進(jìn)行云端平臺的登錄鑒權(quán)及報文解析。前置機(jī)鑒權(quán)通過后，大量數(shù)據(jù)會進(jìn)入到消息隊(duì)列中，并通過分布式日志收集系統(tǒng)對其進(jìn)行處理，再傳輸?shù)酱髷?shù)據(jù)存儲集群中儲存或進(jìn)入大數(shù)據(jù)計(jì)算集群、應(yīng)用服務(wù)集群中加以利用，最終以可視化的形式呈現(xiàn)在企業(yè)監(jiān)控平臺客戶端上。采集云端鏈路總體架構(gòu)示意如圖1所示。

圖1 "采集云端鏈路總體架構(gòu)示意圖

1.2 "負(fù)載均衡

負(fù)載均衡是數(shù)據(jù)流經(jīng)過的第1道關(guān)卡，為什么要做負(fù)載均衡呢？

負(fù)載均衡顧名思義起到均衡數(shù)據(jù)流的作用，當(dāng)車載終端的數(shù)量達(dá)到一定量級或處在車流高峰期時，會存在大量報文數(shù)據(jù)在短時間內(nèi)從車載終端涌入前置機(jī)，若不做負(fù)載均衡，這些數(shù)據(jù)流有可能同時涌入同一臺前置機(jī)，給其造成巨大壓力。當(dāng)前置機(jī)性能不足以處理這些數(shù)據(jù)流時，容易出現(xiàn)宕機(jī)的情況，從而影響業(yè)務(wù)。

那么負(fù)載均衡會起到什么作用呢？舉個簡單的例子，上學(xué)時會有一個課間操環(huán)節(jié)，當(dāng)課間操結(jié)束后，學(xué)生們會在同一時間內(nèi)從幾個門離開，這時極有可能出現(xiàn)大量學(xué)生同時擠向同一道門，產(chǎn)生擁擠的現(xiàn)象。但是，當(dāng)每一道門都有教師在一旁指揮，將學(xué)生們平均分配給每一道門，且同一時間每道門只允許相同人數(shù)的學(xué)生通過，那么基本就不會出現(xiàn)擁擠的情況發(fā)生。負(fù)載均衡在云端鏈路中就扮演著老師的角色，將數(shù)據(jù)流均衡發(fā)送給各個前置機(jī)，防止某臺前置機(jī)因無法處理過量數(shù)據(jù)而出現(xiàn)宕機(jī)的情況。

通常來說，市面上廣泛應(yīng)用的負(fù)載均衡技術(shù)有3種，分別為：基于DNS的負(fù)載均衡、基于軟件的負(fù)載均衡以及基于硬件的負(fù)載均衡，3種負(fù)載均衡有著各自的應(yīng)用場景。

1）基于DNS的負(fù)載均衡是3種負(fù)載均衡技術(shù)中最簡單，也最容易實(shí)現(xiàn)的技術(shù)，其按照就近原則對用戶的請求進(jìn)行分流處理。當(dāng)服務(wù)器收到用戶的域名訪問請求時，首先會將IP地址解析出來，然后DNS服務(wù)器會根據(jù)用戶的地理位置返回對應(yīng)區(qū)域的IP，實(shí)現(xiàn)負(fù)載均衡。其優(yōu)點(diǎn)顯而易見，配置簡單，成本低，無需額外的開發(fā)及維護(hù)工作，缺點(diǎn)是受DNS多級緩存的特性限制，配置發(fā)生修改時IP無法及時更新，影響到負(fù)載均衡的效果。

2）基于軟件的負(fù)載均衡是目前市場上使用得最多的技術(shù)方式，指的是通過軟件方式實(shí)現(xiàn)流量的分發(fā)，如LVS和Nginx，二者的區(qū)別為：LVS是基于傳輸層做的流量分發(fā)，處理量在幾十萬每秒；Nginx則基于應(yīng)用層做的流量分發(fā)，處理量只有幾萬每秒?？梢愿鶕?jù)具體使用場景及流量規(guī)模選擇合適的方式進(jìn)行負(fù)載均衡，二者成本都不高，但需要技術(shù)人員進(jìn)行維護(hù)、優(yōu)化[2]。

3）基于硬件的負(fù)載均衡技術(shù)顧名思義就是使用硬件進(jìn)行流量分發(fā)處理，其處理能力是最佳的，并具有安全功能，如防火墻等，但相對要付出的成本也是最大的，所以這類技術(shù)只有不差錢的企業(yè)會去使用。

1.3 "前置機(jī)

一般而言，企業(yè)都會擁有自己的后臺處理系統(tǒng)用來對數(shù)據(jù)進(jìn)行處理，或是向外提供接口服務(wù)，但是，我們不可能會讓外部業(yè)務(wù)直接訪問企業(yè)后臺系統(tǒng)，首先從數(shù)據(jù)安全角度就不被允許，其次從其他角度看也存在極大的業(yè)務(wù)風(fēng)險，因此，我們需要采用一種技術(shù)方式將其進(jìn)行隔離，前置機(jī)扮演的正是這個角色，如圖2所示。

圖2 "前置機(jī)交互圖

前置機(jī)指的是一種運(yùn)行在企業(yè)內(nèi)網(wǎng)，通過專線或硬件隔離技術(shù)實(shí)現(xiàn)與外網(wǎng)連接的計(jì)算機(jī)，當(dāng)然該計(jì)算機(jī)上要運(yùn)行相應(yīng)的軟件。前置機(jī)可以是虛擬機(jī)也可以是物理機(jī)，相比于虛擬機(jī)，物理機(jī)性能更加穩(wěn)定，實(shí)現(xiàn)的效果也更好。

通常來說，前置機(jī)具有隔離主機(jī)的作用，就像一臺適配器，也起到數(shù)據(jù)調(diào)度管理的作用，減輕后臺服務(wù)器的負(fù)擔(dān)，同時具有一定數(shù)據(jù)處理能力，如數(shù)據(jù)格式轉(zhuǎn)換等[3]。

作為內(nèi)網(wǎng)守門員，實(shí)現(xiàn)與外部車載終端的直接交互，前置機(jī)應(yīng)該是不二之選了。

1.4 "消息隊(duì)列服務(wù)

采集的數(shù)據(jù)進(jìn)入后臺系統(tǒng)后，也需要在內(nèi)部進(jìn)行流轉(zhuǎn)，給各個計(jì)算任務(wù)等使用。

GB/T.32960中規(guī)定車輛信息上報的時間周期最大不應(yīng)超過30s，若發(fā)生3級報警時，信息采樣周期不大于1s。僅從國標(biāo)規(guī)定的報文采集頻率我們就能預(yù)想到業(yè)務(wù)流量是不小的，且隨著企業(yè)接入平臺的車輛數(shù)的增長，特別是用車高峰期的到來，業(yè)務(wù)流量暴增，很容易發(fā)生由于服務(wù)器處理能力不足導(dǎo)致應(yīng)用掛掉的情況。因此，使用消息隊(duì)列中間件是一種有效的解決方案。

消息隊(duì)列是分布式系統(tǒng)中的重要組件，主要用于解決異步消息、應(yīng)用解耦和流量削峰等問題。像上面提到的流量高峰問題，使用消息隊(duì)列中間件后可以先把收到的請求放到隊(duì)列中，根據(jù)服務(wù)器處理能力分配消費(fèi)，當(dāng)然處理時長會比正常情況下要慢些，但不至于直接掛掉，等流量高峰期過去之后，服務(wù)器也就沒了壓力。

保證了流量高峰期服務(wù)器不會掛掉，接下來該考慮的就是大量日志數(shù)據(jù)的保存與使用問題，消息隊(duì)列組件中的分布式日志收集系統(tǒng)正好能應(yīng)用于此。

日志收集系統(tǒng)分為Zookeeper注冊中心、日志收集客戶端、Kafka集群和Storm集群4部分。其中，Zookeeper為注冊中心，是一個開源的、分布式的程序協(xié)調(diào)服務(wù)，主要用于配置管理、集群管理等；日志收集客戶端主要用于日志采集并將其推送至Kafka；Kafka是一個高吞吐的、可擴(kuò)展的分布式消息隊(duì)列，可作為一種高性能、低延遲的日志存儲系統(tǒng)使用，也可作為分布式消息消費(fèi)系統(tǒng)使用；Storm是一種分布式實(shí)時大數(shù)據(jù)計(jì)算系統(tǒng)，可以實(shí)時消費(fèi)隊(duì)列中的大批量數(shù)據(jù)，畢竟車輛數(shù)據(jù)處理的實(shí)時性要求很高，如預(yù)警功能等，Storm作為實(shí)時版Hadoop能夠很好地解決實(shí)時性需求，且可伸縮性很高，擴(kuò)展一個實(shí)時任務(wù)只需要提高計(jì)算任務(wù)的并行度即可，同時Storm存在重試機(jī)制，容錯性較高[4]。

當(dāng)然，市面上還存在其他各式各樣的系統(tǒng)組件，根據(jù)實(shí)際業(yè)務(wù)場景選擇最合適的組件才是性價比最高的方式。

1.5 "應(yīng)用服務(wù)集群及前端web平臺

1.5.1 "應(yīng)用服務(wù)集群

將車載終端數(shù)據(jù)接入到后臺系統(tǒng)后，接下來就該結(jié)合業(yè)務(wù)場景對使用功能進(jìn)行開發(fā)，而應(yīng)用服務(wù)集群就是對各項(xiàng)應(yīng)用服務(wù)的服務(wù)器進(jìn)行集中，比如對車輛運(yùn)行軌跡的遠(yuǎn)程監(jiān)控服務(wù)，將數(shù)據(jù)轉(zhuǎn)發(fā)到國家、政府平臺的數(shù)據(jù)轉(zhuǎn)發(fā)服務(wù)，配置中心及一些開放接口服務(wù)等。

使用服務(wù)集群可以利用多個計(jì)算機(jī)進(jìn)行并行計(jì)算，提高計(jì)算速度，同時也能減少單點(diǎn)故障數(shù)量，實(shí)現(xiàn)集群化資源的高可用性。但是，使用集群最主要的目的還是實(shí)現(xiàn)負(fù)載均衡，集群化后可以將客戶端的請求盡可能平分到集群的機(jī)器中，即使某臺服務(wù)器因請求過高而出現(xiàn)故障，也可以通過負(fù)載均衡規(guī)避掉，使用戶能夠正常訪問。

1.5.2 "前端web平臺

經(jīng)過上述的一系列步驟之后，車載終端的數(shù)據(jù)有了，針對業(yè)務(wù)場景的功能開發(fā)也完成了，最后就是將數(shù)據(jù)和功能展示出來，即可視化Web頁面開發(fā)。

通俗來說，企業(yè)檢測平臺就是一個Web瀏覽器頁面，上面集成了多項(xiàng)便于企業(yè)運(yùn)營人員針對不同業(yè)務(wù)場景所使用的前端功能，如車輛列表查詢、車載終端報文查詢、車輛數(shù)據(jù)轉(zhuǎn)發(fā)甚至是與終端交互的遠(yuǎn)程控制指令的下發(fā)等，能夠滿足企業(yè)運(yùn)營人員開展日常工作的需求。

2 總結(jié)

本文針對新能源汽車發(fā)展背景、數(shù)據(jù)采集需求，介紹了一種新能源汽車數(shù)據(jù)采集的云端鏈路架構(gòu)，簡單描述了鏈路中負(fù)載均衡、前置機(jī)及消息隊(duì)列的部分常用技術(shù)，當(dāng)然市面上相關(guān)技術(shù)還有很多，最好是根據(jù)實(shí)際業(yè)務(wù)場景選擇性價比最高的技術(shù)方式，本文介紹的云端鏈路架構(gòu)具有一定的參考意義。

參考文獻(xiàn)：

[1]于永初. 新能源汽車發(fā)展勢不可擋[J]. 汽車工藝師，2022（4）：5.

[2]周瑩蓮，劉甫. 服務(wù)器負(fù)載均衡技術(shù)研究[J]. 計(jì)算機(jī)與數(shù)字工程，2010，38（4）：11-14，35.

[3]陳鑫. 多機(jī)冗余前置機(jī)系統(tǒng)[D]. 濟(jì)南：山東大學(xué)，2011.

[4]劉邦，余華平. Kafka分布式消息隊(duì)列的高性能研究[J]. 電腦知識與技術(shù)，2019，15（32）：4-6.

（編輯 "楊 "景）