新能源汽車遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)壓縮系統(tǒng)研究

陳煉松，張 亮，黎 飛，班定東

（上汽通用五菱汽車股份有限公司，廣西新能源汽車實(shí)驗(yàn)室，廣西汽車新四化重點(diǎn)實(shí)驗(yàn)室，廣西 柳州 545007）

隨著中國(guó)對(duì)新能源汽車產(chǎn)業(yè)的大力發(fā)展，使得新能源汽車呈現(xiàn)快速增長(zhǎng)的趨勢(shì)，截至2021年底，全國(guó)新能源汽車保有量達(dá)784萬(wàn)輛[1]。同時(shí)，工業(yè)和信息化部也出臺(tái)了《新能源汽車生產(chǎn)企業(yè)及產(chǎn)品準(zhǔn)入管理規(guī)定》等法規(guī)，要求新能源汽車必須安裝遠(yuǎn)程監(jiān)控系統(tǒng)，并實(shí)現(xiàn)全生命周期的遠(yuǎn)程監(jiān)控，同時(shí)上傳車輛遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)時(shí)間周期最大不超過(guò)30s，且車輛遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)需要全生命周期存儲(chǔ)，直至車輛報(bào)廢。因此，隨著新能源汽車數(shù)量的不斷增加，新能源汽車監(jiān)控?cái)?shù)據(jù)也呈增量發(fā)展，數(shù)據(jù)存儲(chǔ)占用空間隨著數(shù)據(jù)體量的不斷增加變得越來(lái)越大，從而造成數(shù)據(jù)存儲(chǔ)云資源服務(wù)器成本不斷增加，進(jìn)而導(dǎo)致企業(yè)成本增高。為減少數(shù)據(jù)存儲(chǔ)占用的空間，降低數(shù)據(jù)存儲(chǔ)云資源成本，急需研究一種新能源汽車遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)壓縮[2]系統(tǒng)來(lái)滿足市場(chǎng)需求。該系統(tǒng)需滿足大數(shù)據(jù)需求，能提供數(shù)據(jù)壓縮后方便提取的API接口，供各業(yè)務(wù)系統(tǒng)調(diào)用數(shù)據(jù)，最大限度地保證數(shù)據(jù)分析應(yīng)用的可用性、完整性和準(zhǔn)確性。

1 系統(tǒng)需求及功能研究

新能源汽車數(shù)據(jù)壓縮系統(tǒng)需求主要包括：①需實(shí)現(xiàn)對(duì)原數(shù)據(jù)的處理，主要包含原數(shù)據(jù)提取、分類、過(guò)濾、清洗等功能；②結(jié)合車型情況，需實(shí)現(xiàn)對(duì)數(shù)據(jù)壓縮執(zhí)行任務(wù)參數(shù)的配置化處理；③需集成數(shù)據(jù)壓縮算法，結(jié)合配置的執(zhí)行任務(wù)參數(shù)，進(jìn)行數(shù)據(jù)壓縮處理；④數(shù)據(jù)壓縮完成后，需提供壓縮后數(shù)據(jù)提取的API接口，供上層業(yè)務(wù)調(diào)用數(shù)據(jù)；⑤需開(kāi)發(fā)Web系統(tǒng)，提供對(duì)數(shù)據(jù)壓縮執(zhí)行狀態(tài)及節(jié)省空間情況進(jìn)行查詢。

新能源汽車數(shù)據(jù)壓縮系統(tǒng)功能包括如下幾個(gè)方面。

1）原數(shù)據(jù)提?。簩?duì)新能源汽車監(jiān)控?cái)?shù)據(jù)進(jìn)行提取，構(gòu)建數(shù)據(jù)壓縮基礎(chǔ)。

2）原數(shù)據(jù)處理[3]：定義數(shù)據(jù)分類、過(guò)濾、清洗規(guī)則，對(duì)提取的原數(shù)據(jù)進(jìn)行分類、過(guò)濾、清洗等處理。

3）數(shù)據(jù)壓縮執(zhí)行配置：結(jié)合車型情況，需實(shí)現(xiàn)對(duì)數(shù)據(jù)壓縮執(zhí)行任務(wù)參數(shù)的配置化處理。

4）數(shù)據(jù)壓縮執(zhí)行：集成數(shù)據(jù)壓縮算法，結(jié)合配置的執(zhí)行任務(wù)參數(shù)進(jìn)行數(shù)據(jù)壓縮處理。

5）數(shù)據(jù)提取API接口：數(shù)據(jù)壓縮完成后，需提供壓縮后數(shù)據(jù)提取的API接口，供上層業(yè)務(wù)調(diào)用數(shù)據(jù)。

6）系統(tǒng)監(jiān)控Web界面[4]：①用戶管理，即新增、修改、刪除、查詢用戶，用戶所屬部門配置，用戶角色分配；②角色管理，即新增、修改、刪除、查詢角色，角色權(quán)限分配；③菜單管理，即新增、修改、刪除、查詢菜單；④部門管理，即新增、修改、刪除、查詢部門；⑤日志管理，即查詢、查看日志，日志不可刪改，保存期限不少于6個(gè)月；⑥數(shù)據(jù)壓縮情況查詢，包括壓縮前后的占用空間以及壓縮前后的數(shù)據(jù)條數(shù)等查詢，該功能可以實(shí)時(shí)顯示節(jié)約成本的具體情況。

2 可行性分析

2.1 技術(shù)可行性分析

在進(jìn)行新能源汽車遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)壓縮系統(tǒng)的技術(shù)可行性探討時(shí)，需要考慮以下問(wèn)題：一方面是原數(shù)據(jù)結(jié)構(gòu)及格式是否支持?jǐn)?shù)據(jù)壓縮，另一方面是數(shù)據(jù)壓縮后是否能穩(wěn)定輸出壓縮后數(shù)據(jù)，供上層業(yè)務(wù)調(diào)用。針對(duì)以上問(wèn)題，對(duì)原數(shù)據(jù)結(jié)構(gòu)及格式進(jìn)行全面了解及評(píng)估，發(fā)現(xiàn)原數(shù)據(jù)經(jīng)過(guò)分類、過(guò)濾、清洗后是滿足數(shù)據(jù)壓縮算法集成基礎(chǔ)的，故結(jié)合原數(shù)據(jù)情況進(jìn)行初步的數(shù)據(jù)壓縮算法集成測(cè)試，確定了技術(shù)可行性，并且經(jīng)過(guò)多次集成測(cè)試，開(kāi)發(fā)了相應(yīng)的測(cè)試壓縮后數(shù)據(jù)提取API接口，解決了壓縮后數(shù)據(jù)穩(wěn)定輸出問(wèn)題，保證了數(shù)據(jù)分析應(yīng)用的可用性、完整性、準(zhǔn)確性，滿足大數(shù)據(jù)需求，也進(jìn)一步確定了其技術(shù)的可行性，確認(rèn)了整體技術(shù)實(shí)施的可行性解決方案。

2.2 經(jīng)濟(jì)可行性分析

基于新能源汽車遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)壓縮系統(tǒng)的經(jīng)濟(jì)方面考慮，由于數(shù)據(jù)壓縮率越低，遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)存儲(chǔ)占有空間越低，數(shù)據(jù)存儲(chǔ)云資源成本也越低，故從數(shù)據(jù)壓縮率出發(fā)來(lái)研究可行性。通過(guò)一系列算法集成研究，并經(jīng)過(guò)多次數(shù)據(jù)壓縮算法集成測(cè)試，得出了數(shù)據(jù)壓縮率可達(dá)到10%～16%的結(jié)果，可以極大地減少數(shù)據(jù)存儲(chǔ)占用空間，大幅度降低數(shù)據(jù)存儲(chǔ)云資源成本，同時(shí)節(jié)省的成本遠(yuǎn)遠(yuǎn)超過(guò)了系統(tǒng)開(kāi)發(fā)成本，故確認(rèn)了本系統(tǒng)開(kāi)發(fā)的經(jīng)濟(jì)可行性。

3 系統(tǒng)開(kāi)發(fā)

在開(kāi)發(fā)工具選取上，新能源汽車數(shù)據(jù)壓縮系統(tǒng)采用Java中的IntelliJ IDEA作為編程語(yǔ)言開(kāi)發(fā)的集成環(huán)境，同時(shí)采用Mysql、Oracle Database等數(shù)據(jù)庫(kù)對(duì)原數(shù)據(jù)提取、原數(shù)據(jù)處理、數(shù)據(jù)壓縮執(zhí)行配置、數(shù)據(jù)壓縮執(zhí)行、數(shù)據(jù)提取API接口、系統(tǒng)監(jiān)控Web界面等功能進(jìn)行開(kāi)發(fā)。該系統(tǒng)監(jiān)控Web界面如圖1所示。

圖1 系統(tǒng)監(jiān)控Web界面

新能源汽車遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)從車端采集，上傳到采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)，提取當(dāng)前數(shù)據(jù)進(jìn)行二次處理（過(guò)濾、去除無(wú)效字符、大小寫轉(zhuǎn)換、字符截取等），采用新的壓縮算法，異步對(duì)所提取數(shù)據(jù)進(jìn)行壓縮處理，壓縮后的數(shù)據(jù)文件將替換原有數(shù)據(jù)文件。同時(shí)，新增功能配置、流程調(diào)度、數(shù)據(jù)清洗處理、數(shù)據(jù)文件壓縮轉(zhuǎn)換、數(shù)據(jù)入庫(kù)等功能模塊。有數(shù)據(jù)提取需求時(shí)，針對(duì)完成壓縮的數(shù)據(jù)提供數(shù)據(jù)提取API，供上層數(shù)據(jù)業(yè)務(wù)平臺(tái)使用（例如：后續(xù)的離線分析、數(shù)據(jù)導(dǎo)出等）。該系統(tǒng)技術(shù)架構(gòu)如圖2所示。

圖2 系統(tǒng)技術(shù)架構(gòu)

4 系統(tǒng)測(cè)試

為了驗(yàn)證和測(cè)試新能源汽車數(shù)據(jù)壓縮系統(tǒng)可以正常運(yùn)行工作，確保功能模塊表現(xiàn)良好，滿足使用要求，需要對(duì)目標(biāo)系統(tǒng)進(jìn)行實(shí)地檢驗(yàn)操作，并依據(jù)實(shí)際的測(cè)驗(yàn)結(jié)果來(lái)評(píng)價(jià)本新能源汽車數(shù)據(jù)壓縮系統(tǒng)軟件的應(yīng)用價(jià)值。

選取6個(gè)采集時(shí)間段的數(shù)據(jù)進(jìn)行壓縮，壓縮率為10%～16%，壓縮前總存儲(chǔ)量為3373TB，壓縮后總存儲(chǔ)量為419TB，節(jié)省總存儲(chǔ)量2954TB，總體壓縮率為12.42%，具體壓縮前后存儲(chǔ)量情況對(duì)比如表1所示。

表1 數(shù)據(jù)壓縮前后存儲(chǔ)量情況對(duì)比表

對(duì)選取的6個(gè)批次車輛的數(shù)據(jù)進(jìn)行檢驗(yàn)，發(fā)現(xiàn)壓縮前后數(shù)據(jù)條數(shù)、信號(hào)項(xiàng)、信號(hào)值均無(wú)變化，表明前后數(shù)據(jù)一致，數(shù)據(jù)品質(zhì)良好。

5 結(jié)論

新能源汽車數(shù)據(jù)壓縮系統(tǒng)主要應(yīng)用于新能源汽車歷史數(shù)據(jù)及新接入數(shù)據(jù)的數(shù)據(jù)壓縮，系統(tǒng)通過(guò)對(duì)歷史及新接入數(shù)據(jù)的提取、分類、過(guò)濾、清洗，并按照車型對(duì)數(shù)據(jù)壓縮進(jìn)行配置化任務(wù)管理，結(jié)合數(shù)據(jù)情況、配置的壓縮任務(wù)、集成數(shù)據(jù)壓縮算法對(duì)數(shù)據(jù)進(jìn)行壓縮處理，處理完成后的數(shù)據(jù)將重新進(jìn)行存儲(chǔ)并開(kāi)發(fā)對(duì)應(yīng)的數(shù)據(jù)提取API接口，滿足上層業(yè)務(wù)調(diào)用數(shù)據(jù)，同時(shí)開(kāi)發(fā)Web系統(tǒng)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)壓縮執(zhí)行狀態(tài)及數(shù)據(jù)壓縮情況，幫助相關(guān)工作人員了解并掌握數(shù)據(jù)壓縮情況。通過(guò)新能源汽車數(shù)據(jù)壓縮系統(tǒng)的應(yīng)用，極大地減少了新能源汽車遠(yuǎn)程監(jiān)控歷史數(shù)據(jù)及新接入遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)占用空間，大幅度降低了數(shù)據(jù)存儲(chǔ)云資源成本，同時(shí)保障了數(shù)據(jù)提取API接口穩(wěn)定輸出壓縮后的數(shù)據(jù)，解決了數(shù)據(jù)存儲(chǔ)成本、大數(shù)據(jù)調(diào)用需求等問(wèn)題。在此低成本的新能源汽車遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)存儲(chǔ)方案下，將更有利于新能源汽車產(chǎn)業(yè)的發(fā)展，促進(jìn)綠色能源發(fā)展。