汽車全生命周期大數(shù)據(jù)決策支持平臺(tái)建設(shè)方案

毛何靈 龐進(jìn)喜 高雪

（中汽信息科技（天津）有限公司，天津 300300）

縮略語(yǔ)

SCM Supply Chain Management

DMS Delaer Management System

BOM Bill of Material

ETL Extract Transform Load

MQ Message Queue

TSP Telematics Service Provider

POI Point of Interest

Redis REmote DIctionary Server

HDFS Hadoop Distributed File System

DW Data Warehouse

SQL Structured Query Language

ODS Operational Data Store

DWD Data Warehouse Detail

DWS Data WareHouse Servce

API Application Programming Interface

IDFA Identifier For Advertising

IMEI International Mobile Equipment Identity

SPSS Statistical Product and Service Solutions

0 引言

隨著國(guó)家對(duì)建設(shè)“數(shù)字中國(guó)”的高度重視以及數(shù)字化技術(shù)在全國(guó)各個(gè)行業(yè)的應(yīng)用，以數(shù)字化工具展示行業(yè)的發(fā)展動(dòng)向、使企業(yè)決策更有依據(jù)，是當(dāng)下經(jīng)濟(jì)與技術(shù)環(huán)境下各個(gè)產(chǎn)業(yè)的必經(jīng)之路。汽車行業(yè)的每個(gè)過程都會(huì)產(chǎn)生數(shù)據(jù)，包括選車、購(gòu)車、用車、管車、修車、換車6 個(gè)環(huán)節(jié)，每個(gè)環(huán)節(jié)的數(shù)據(jù)都由門戶網(wǎng)站、APP 等渠道收集，并最終形成數(shù)據(jù)資源，分散于汽車企業(yè)、經(jīng)銷商、維修廠等不同的數(shù)據(jù)持有者。所以用數(shù)據(jù)降維、數(shù)據(jù)批處理等數(shù)據(jù)治理工具，建設(shè)起覆蓋汽車全生命周期的數(shù)據(jù)湖，并經(jīng)過數(shù)據(jù)分析，為企業(yè)提供決策支撐，是當(dāng)下數(shù)據(jù)處理實(shí)踐的熱點(diǎn)。

目前國(guó)內(nèi)外對(duì)于汽車行業(yè)的數(shù)據(jù)采集和分析研究也較為豐富，Iaksch[1]對(duì)汽車產(chǎn)品的開發(fā)和生產(chǎn)過程中產(chǎn)生的數(shù)據(jù)進(jìn)行收集并用數(shù)學(xué)模型加以分析，最后實(shí)現(xiàn)產(chǎn)品生產(chǎn)過程的管理。崔鑫[2]的研究是基于消費(fèi)者使用過程中產(chǎn)生的數(shù)據(jù)，并創(chuàng)造性地結(jié)合車輛的靜態(tài)屬性與動(dòng)態(tài)駕駛行為特征建立數(shù)學(xué)模型，最終得到車輛畫像，從而幫助生產(chǎn)企業(yè)了解該車輛的使用場(chǎng)景。Malikov[3]和Miguel[4]充分利用客戶反饋的信息，提出了更快、更有效地響應(yīng)客戶對(duì)車輛要求的措施。以上學(xué)者的研究集中于汽車行業(yè)的部分?jǐn)?shù)據(jù)種類，但是汽車行業(yè)的數(shù)據(jù)類型較多，需要將不同種類的數(shù)據(jù)利用耦合關(guān)系打通后再分析。

實(shí)現(xiàn)數(shù)據(jù)收集后，需要以適當(dāng)?shù)姆椒閿?shù)據(jù)的需求方提供數(shù)據(jù)服務(wù)。佘承其[5]將收集上來的數(shù)據(jù)用數(shù)學(xué)模型的分析完畢后，將分析結(jié)果再以數(shù)據(jù)形式提供給車輛管理單位和企業(yè)。黃亞娟[6]和白學(xué)森[7]分別采用可視化大屏和遠(yuǎn)程監(jiān)控云平臺(tái)，實(shí)現(xiàn)了基于可視化界面的數(shù)據(jù)服務(wù)。Elisa[8]的研究揭示了IT系統(tǒng)如何使公司通過實(shí)時(shí)數(shù)據(jù)流快速與行業(yè)信息進(jìn)行交互，管理實(shí)時(shí)數(shù)據(jù)流并相應(yīng)地進(jìn)行調(diào)整。汽車企業(yè)對(duì)數(shù)據(jù)的可視化分析需要突出數(shù)據(jù)的具體分析維度，現(xiàn)有研究在結(jié)合企業(yè)需求進(jìn)行可視化頁(yè)面的設(shè)計(jì)方面還不足。

現(xiàn)有的研究集中于從建模分析、可視化平臺(tái)等角度分析汽車行業(yè)的數(shù)據(jù)使用。但還未能將數(shù)據(jù)打通，尤其是現(xiàn)在的汽車行業(yè)數(shù)據(jù)來源貫穿“選、購(gòu)、用、管、修、換”全生命周期，不同的環(huán)節(jié)產(chǎn)生的數(shù)據(jù)難以互相調(diào)取。本研究基于數(shù)據(jù)耦合關(guān)系將全生命周期的數(shù)據(jù)打通、然后搭建起大數(shù)據(jù)決策支撐平臺(tái)。對(duì)于數(shù)據(jù)處理過程涉及的數(shù)據(jù)降維、數(shù)據(jù)融合和數(shù)據(jù)治理等關(guān)鍵技術(shù)采用深入調(diào)研，利用數(shù)據(jù)處理領(lǐng)域主流的方法與工具實(shí)現(xiàn)汽車行業(yè)的數(shù)字化決策支持。創(chuàng)新點(diǎn)主要有：一是打通了“選、購(gòu)、用、管、修、換”全生命周期的汽車行業(yè)數(shù)據(jù)；二是結(jié)合汽車以及零部件企業(yè)的產(chǎn)品規(guī)劃、市場(chǎng)戰(zhàn)略等方面的決策支持需要，設(shè)計(jì)可視化分析的維度。

1 決策支持平臺(tái)數(shù)據(jù)內(nèi)容

1.1 汽車全生命周期數(shù)據(jù)來源

1.1.1 選車線索數(shù)據(jù)

選車線索數(shù)據(jù)主要指購(gòu)買者在瀏覽購(gòu)車網(wǎng)頁(yè)或者APP、以及與經(jīng)銷商交流中所留下的數(shù)據(jù)。購(gòu)買者在比較車型和配置過程中，對(duì)于貼近自身偏好和需求的產(chǎn)品進(jìn)行收藏和比較，購(gòu)買者關(guān)注的數(shù)據(jù)經(jīng)過數(shù)字化營(yíng)銷系統(tǒng)以及客戶關(guān)系管理系統(tǒng)的收集、整合、清洗，在挖掘用戶特征、描繪用戶畫像后，可以幫助汽車企業(yè)和經(jīng)銷商實(shí)現(xiàn)廣告精準(zhǔn)投放和線索密切跟蹤[9]。

選車線索數(shù)據(jù)的存儲(chǔ)取決于廣告渠道和銷售渠道，所以一部分在汽車企業(yè)內(nèi)的官方網(wǎng)站數(shù)據(jù)池或者企業(yè)數(shù)據(jù)庫(kù)中，一部分存儲(chǔ)于汽車企業(yè)之外，例如經(jīng)銷商追蹤的客戶線索、成交意愿、關(guān)注車型等信息存儲(chǔ)在第三方網(wǎng)頁(yè)和程序中。在圖1中對(duì)不同來源的數(shù)據(jù)（汽車企業(yè)內(nèi)和企業(yè)外）如何打通進(jìn)行了詮釋，雖然用戶選車的行為數(shù)據(jù)來源較為復(fù)雜，但經(jīng)過數(shù)據(jù)集成后都統(tǒng)一在汽車全生命周期數(shù)據(jù)平臺(tái)進(jìn)行處理，能夠?qū)ζ嚻髽I(yè)的決策起到支撐作用。

圖1 選車線索數(shù)據(jù)的來源與整合

1.1.2 汽車購(gòu)買數(shù)據(jù)

隨著疫情的影響逐漸減弱，客運(yùn)和物流的需要都在逐漸增加，無論是個(gè)人購(gòu)買家庭用車，還是物流和建設(shè)工地等單位換購(gòu)、增購(gòu)商用車的數(shù)量都在逐漸擴(kuò)大，且年輕人購(gòu)車的比例不斷提高，這些購(gòu)車者往往有較為個(gè)性化的需求，所以基于用戶選車偏好數(shù)據(jù)分析的“保客營(yíng)銷”策略尤為重要。

在購(gòu)車者購(gòu)買汽車的同時(shí)，其對(duì)車輛配置的個(gè)性化需求也將通過經(jīng)銷商的銷售系統(tǒng)進(jìn)入數(shù)據(jù)庫(kù)。對(duì)單個(gè)購(gòu)車者而言，經(jīng)銷商可依據(jù)購(gòu)車數(shù)據(jù)做好追蹤服務(wù)，為購(gòu)車者提供更有價(jià)值的附加產(chǎn)品與服務(wù)，在后市場(chǎng)服務(wù)中占據(jù)更多的市場(chǎng)份額。海量的用戶數(shù)據(jù)匯集后，可用于汽車企業(yè)分析市場(chǎng)趨勢(shì)和預(yù)測(cè)行業(yè)發(fā)展?fàn)顩r，為企業(yè)的市場(chǎng)進(jìn)入和退出戰(zhàn)略的制定起到了關(guān)鍵的參考作用。

所以打通線上、線下全渠道數(shù)字化全域用戶觸點(diǎn)，對(duì)汽車購(gòu)買數(shù)據(jù)開展數(shù)據(jù)分析，能夠使汽車行業(yè)得到更好地發(fā)展，滿足消費(fèi)者的消費(fèi)需求。

1.1.3 汽車使用數(shù)據(jù)

汽車使用數(shù)據(jù)主要指的是汽車在行駛時(shí)產(chǎn)生的數(shù)據(jù)。每一輛汽車的行駛證、運(yùn)營(yíng)證是相關(guān)監(jiān)管部門對(duì)車輛能否運(yùn)營(yíng)的檢測(cè)與登記結(jié)果。在部分情況下，汽車使用數(shù)據(jù)比汽車購(gòu)買數(shù)據(jù)更能反應(yīng)市場(chǎng)波動(dòng)。以商用車為例，2021 年上半年保險(xiǎn)數(shù)激增，為國(guó)五車輛提前上牌，但未開始營(yíng)運(yùn)。2022 年下半年，保險(xiǎn)數(shù)降低，但營(yíng)運(yùn)證提升，可知國(guó)五庫(kù)存車輛慢慢流通至市場(chǎng)，追蹤其中數(shù)據(jù)差異能夠準(zhǔn)確預(yù)判國(guó)五庫(kù)存清零時(shí)間。

汽車在獲得上路許可后，在行駛過程中將經(jīng)緯度、速度、燃油消耗情況、電池安全數(shù)據(jù)等實(shí)時(shí)信息上傳到車聯(lián)網(wǎng)信息服務(wù)系統(tǒng)（Telematics Service Provider，TSP），如果是商用貨車，還會(huì)產(chǎn)生載重?cái)?shù)據(jù)。

這些數(shù)據(jù)經(jīng)過清洗和降維分析后，對(duì)客戶用車的具體使用場(chǎng)景、使用頻率以及行駛路線都形成數(shù)據(jù)記錄。數(shù)據(jù)分析既能幫助汽車企業(yè)優(yōu)化產(chǎn)品，也能助力車輛管理部門利用車輛運(yùn)營(yíng)數(shù)據(jù)做好對(duì)違規(guī)車輛的監(jiān)管。

汽車全生命周期的數(shù)據(jù)管理和使用并不是相互隔絕的，有換購(gòu)、增購(gòu)需求的購(gòu)車者汽車使用數(shù)據(jù)能夠幫助經(jīng)銷商精準(zhǔn)分析客戶的使用場(chǎng)景與習(xí)慣，從而精準(zhǔn)營(yíng)銷助力購(gòu)車者選購(gòu)車輛。

1.1.4 車輛管理數(shù)據(jù)

通過車輛的運(yùn)營(yíng)數(shù)據(jù)，可以檢測(cè)車輛的交通運(yùn)行狀態(tài)，實(shí)時(shí)收集交通流量、擁堵狀況、平均車速數(shù)據(jù)，從而幫助政府了解城市交通運(yùn)行的實(shí)際情況，通過車輛實(shí)時(shí)調(diào)度，及時(shí)發(fā)現(xiàn)和解決交通問題。

除此之外，政府可以通過政策手段實(shí)現(xiàn)對(duì)車輛的管理，通常包括監(jiān)管部門對(duì)汽車行業(yè)的政策補(bǔ)貼、行業(yè)稅收、碳排放監(jiān)管、政策法規(guī)等方面。對(duì)于每條政府政策，需要判定其利好車型、利好企業(yè)，并分別整理歸納，結(jié)合市場(chǎng)數(shù)據(jù)、以呈現(xiàn)政策對(duì)于市場(chǎng)的影響力。

通過政策數(shù)據(jù)的全方面分析與挖掘，都可以依托政府的管理趨勢(shì)，汽車全價(jià)值鏈的參與企業(yè)可以有針對(duì)性地調(diào)整自身戰(zhàn)略。例如：將重點(diǎn)領(lǐng)域的相關(guān)政策統(tǒng)計(jì)，可得到監(jiān)管部門對(duì)該領(lǐng)域引導(dǎo)力度的變動(dòng)情況。

同時(shí)，在汽車全生命周期大數(shù)據(jù)決策支持平臺(tái)的建立過程中，必須要根據(jù)相應(yīng)政策法規(guī)的要求來進(jìn)行平臺(tái)建設(shè)，確保其符合網(wǎng)絡(luò)安全和數(shù)據(jù)安全等規(guī)章要求，適應(yīng)國(guó)家發(fā)展需求。

1.1.5 汽車維修數(shù)據(jù)

車輛在維修過程中，可能會(huì)在4S 店保修，也可能在其他維修廠進(jìn)行維修。將汽車的年檢數(shù)據(jù)與各渠道的維修數(shù)據(jù)打通，可用于分析用戶車輛重點(diǎn)零部件老化時(shí)間，結(jié)合汽車使用過程大數(shù)據(jù)，計(jì)算預(yù)測(cè)部件老化和損壞概率。從而幫助服務(wù)商提高售后服務(wù)質(zhì)量以及縮短響應(yīng)時(shí)間，及時(shí)觸達(dá)潛在用戶。

1.1.6 汽車換購(gòu)數(shù)據(jù)

汽車作為重要的代步工具甚至生產(chǎn)工具，其零部件以及車身的老化勢(shì)必會(huì)導(dǎo)致車輛淘汰與換購(gòu)，通過車輛換購(gòu)概率推算公式，可以根據(jù)汽車的每月運(yùn)行時(shí)長(zhǎng)、運(yùn)送貨物軌跡、細(xì)分市場(chǎng)種類計(jì)算得到汽車在未來半年內(nèi)換購(gòu)概率。

汽車車齡、行駛里程、維修頻次、殘值、停放二手車市場(chǎng)以及換購(gòu)概率字段，由經(jīng)銷商集成后進(jìn)行產(chǎn)品定點(diǎn)推送。經(jīng)銷商在后續(xù)推廣過程中，將用戶換購(gòu)過程產(chǎn)生的比對(duì)選車數(shù)據(jù)、新車配置數(shù)據(jù)重新入庫(kù)，以豐富換購(gòu)數(shù)據(jù)庫(kù)。

1.2 大數(shù)據(jù)決策支持平臺(tái)的數(shù)據(jù)集成

部分平臺(tái)已經(jīng)實(shí)現(xiàn)了數(shù)據(jù)集成，例如專注于汽車行業(yè)數(shù)據(jù)和汽車市場(chǎng)數(shù)據(jù)的中國(guó)汽車工業(yè)協(xié)會(huì)統(tǒng)計(jì)信息網(wǎng)、專注于政府在汽車行業(yè)政策信息的中國(guó)汽車工業(yè)信息網(wǎng)，這些數(shù)據(jù)平臺(tái)在自身領(lǐng)域內(nèi)都具有代表性，但對(duì)于數(shù)據(jù)的管理主要立足于數(shù)據(jù)的全面性、正確性，在深度價(jià)值挖掘、數(shù)據(jù)模型算法方面研究不足、貢獻(xiàn)有限。本文的平臺(tái)建設(shè)方法中，將用數(shù)據(jù)技術(shù)強(qiáng)化汽車全生命周期數(shù)據(jù)之間的聯(lián)系、挖掘其中的價(jià)值。

在大數(shù)據(jù)充分發(fā)揮價(jià)值的時(shí)代，應(yīng)用“數(shù)據(jù)提取-轉(zhuǎn)換-加載”（Extract Transform Load，ETL）、用戶身份標(biāo)識(shí)匹配（ID-Mapping）、消息隊(duì)列（Message Queue，MQ）數(shù)據(jù)技術(shù)，將數(shù)據(jù)整合為若干寬表。通過案頭研究和專家咨詢的方式研究數(shù)據(jù)源的數(shù)據(jù)特征，使用動(dòng)態(tài)成分分析算法對(duì)上述“選、購(gòu)、用、管、修、換”全周期數(shù)據(jù)進(jìn)行降維和清洗，利用AutoEncoder 深度學(xué)習(xí)算法對(duì)狀態(tài)數(shù)據(jù)進(jìn)行分析，提取主要目標(biāo)特征。實(shí)現(xiàn)數(shù)據(jù)應(yīng)用[10]。

1.2.1 靜態(tài)數(shù)據(jù)與動(dòng)態(tài)數(shù)據(jù)集成

汽車行業(yè)數(shù)據(jù)中，按照采集、入庫(kù)和清洗的頻次不同，將數(shù)據(jù)劃分為靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)。例如購(gòu)車者在選車環(huán)節(jié)中登記的個(gè)人信息，由于其更新頻次不高，通常被劃分為靜態(tài)數(shù)據(jù)；用戶在用車時(shí)每秒甚至每毫秒上傳的定位數(shù)據(jù)，通常被劃分為動(dòng)態(tài)數(shù)據(jù)。表1將汽車全生命周期靜態(tài)和動(dòng)態(tài)數(shù)據(jù)進(jìn)行劃分。

表1 汽車全生命周期靜態(tài)和動(dòng)態(tài)數(shù)據(jù)劃分

靜態(tài)數(shù)據(jù)的更新可通過數(shù)據(jù)庫(kù)之間的轉(zhuǎn)發(fā)、并進(jìn)行數(shù)據(jù)清洗，即可實(shí)現(xiàn)數(shù)據(jù)的調(diào)用和流轉(zhuǎn)[11]。

動(dòng)態(tài)數(shù)據(jù)是指以“s”甚至“ms”為單位進(jìn)行更新的數(shù)據(jù)[12]。如圖2 所示，是同時(shí)實(shí)現(xiàn)離線數(shù)倉(cāng)存儲(chǔ)和實(shí)時(shí)數(shù)據(jù)計(jì)算的數(shù)據(jù)架構(gòu)，數(shù)據(jù)生成的6大環(huán)節(jié)“選、購(gòu)、用、管、修、換”中，每個(gè)環(huán)節(jié)都擁有靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)。需要基于數(shù)據(jù)更新的頻次分別采集、融合數(shù)據(jù)，利用該數(shù)據(jù)處理架構(gòu)使數(shù)據(jù)入湖，經(jīng)過數(shù)據(jù)源、網(wǎng)關(guān)、數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵節(jié)點(diǎn)，形成能夠被汽車行業(yè)的制造企業(yè)以及經(jīng)銷商直接使用的數(shù)字資源。

圖2 數(shù)據(jù)集成架構(gòu)

靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)集成過程應(yīng)當(dāng)遵循3步走的方式。

第1 步，建立汽車靜態(tài)數(shù)據(jù)的數(shù)據(jù)庫(kù)模型和清洗數(shù)據(jù)內(nèi)容。將汽車車身參數(shù)、底盤參數(shù)、動(dòng)力系統(tǒng)參數(shù)按照一定的數(shù)據(jù)規(guī)則進(jìn)行整理和規(guī)范，從而建立汽車靜態(tài)數(shù)據(jù)庫(kù)。

第2 步，將汽車靜態(tài)數(shù)據(jù)與動(dòng)態(tài)數(shù)據(jù)打通。汽車的行駛狀態(tài)數(shù)據(jù)、實(shí)時(shí)排放數(shù)據(jù)、興趣點(diǎn)（Point of Interest，POI）數(shù)據(jù)等均能實(shí)現(xiàn)實(shí)時(shí)更新，將其與汽車靜態(tài)數(shù)據(jù)打通，以更完善的數(shù)據(jù)資源為企業(yè)提供專項(xiàng)化信息服務(wù)。

第3 步，打通汽車全域全生命周期的數(shù)據(jù)。打造覆蓋“選、購(gòu)、用、管、修、換”的汽車全域數(shù)據(jù)庫(kù)，進(jìn)一步賦能汽車企業(yè)的趨勢(shì)洞察、產(chǎn)品規(guī)劃、市場(chǎng)營(yíng)銷業(yè)務(wù)場(chǎng)景。

如圖2所示，該架構(gòu)的數(shù)據(jù)傳輸基于：分布式消息系統(tǒng)（Kafka）、阿里消息中間件（MetaQ）、推模式消息中間件（Notify）三類實(shí)時(shí)傳輸工具。該架構(gòu)的數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)基于：離線數(shù)據(jù)庫(kù)管理系統(tǒng)（MySQL）、非關(guān)系型數(shù)據(jù)庫(kù)（REmote DIctionary Server，Redis）、分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）三類數(shù)據(jù)儲(chǔ)存介質(zhì)。最終實(shí)現(xiàn)數(shù)據(jù)輸入、數(shù)據(jù)治理和數(shù)據(jù)共享重要功能。

1.2.2 身份標(biāo)識(shí)匹配（ID-Mapping）打通信息壁壘

在全生命周期的各個(gè)環(huán)節(jié)的數(shù)據(jù)之間，由于各環(huán)節(jié)之間存在較強(qiáng)的耦合關(guān)系，需要基于車輛和用戶的信息數(shù)據(jù)，將各個(gè)重要環(huán)節(jié)的數(shù)據(jù)打通。用戶在選車、購(gòu)車和換購(gòu)環(huán)節(jié)，通過直接登記方式，會(huì)留下姓名、身份證號(hào)、手機(jī)號(hào)基礎(chǔ)信息，需要基于用戶的登記信息將選車、購(gòu)車和換購(gòu)環(huán)節(jié)的用戶行為數(shù)據(jù)痕跡打通。

ID-Mapping技術(shù)能跨越用戶數(shù)據(jù)的存儲(chǔ)介質(zhì)和信息維度，對(duì)用戶實(shí)現(xiàn)精準(zhǔn)定位，即將以上的各類ID經(jīng)過對(duì)比、清洗和關(guān)聯(lián)，構(gòu)建“唯一ID”（One-ID），如圖3所示。

圖3 One-ID標(biāo)識(shí)用戶

不僅僅用戶登記信息可在提取后通過ID-Mapping 進(jìn)行定位，用戶在使用和維修、以及配合監(jiān)管部門管理時(shí)候，也可將個(gè)人ID作為運(yùn)行狀態(tài)更新的附加字段進(jìn)行上傳，以便于將用戶數(shù)據(jù)貫穿全生命周期進(jìn)行拼接，用于分析用戶的駕駛習(xí)慣，提供更好的維修等后續(xù)服務(wù)，也便于監(jiān)管單位鎖定違規(guī)人員。企業(yè)用戶和經(jīng)銷商數(shù)據(jù)主體都可以構(gòu)建One-ID 來區(qū)分，最終實(shí)現(xiàn)數(shù)據(jù)高效利用。

建立One-ID 后，將汽車貫穿全生命周期的識(shí)別ID與用戶（個(gè)人、企業(yè)）關(guān)聯(lián)（圖4），對(duì)車輛的全生命周期進(jìn)行數(shù)據(jù)管理、構(gòu)建完整的用戶畫像[13]，從而提高汽車全價(jià)值鏈的服務(wù)水平、優(yōu)化產(chǎn)品設(shè)計(jì)和競(jìng)爭(zhēng)能力。

圖4 基于用戶One-ID的用戶大數(shù)據(jù)

1.2.3 大數(shù)據(jù)存儲(chǔ)與計(jì)算模型分離體系

在硬件方面，汽車全生命周期的大數(shù)據(jù)決策平臺(tái)擁有數(shù)據(jù)種類多、數(shù)據(jù)量較大的特點(diǎn)，需要建立分布式大數(shù)據(jù)儲(chǔ)存。在計(jì)算方面，為了實(shí)現(xiàn)計(jì)算的效率提升，最大程度降低計(jì)算過程對(duì)存儲(chǔ)空間的占用，要建立獨(dú)立于大數(shù)據(jù)存儲(chǔ)的快速、高效的數(shù)據(jù)計(jì)算層。除此以外，要設(shè)立防護(hù)措施減少數(shù)據(jù)外泄造成的數(shù)據(jù)安全問題[14]。

數(shù)據(jù)加工層將數(shù)據(jù)采集后存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)層（Data Warehouse，DW）的數(shù)據(jù)，結(jié)合業(yè)務(wù)中使用、分發(fā)的需要，進(jìn)行數(shù)據(jù)加工。這個(gè)過程中可使用的工具有自定義腳本語(yǔ)言包（Shell）、JAVA 程序包、分布式存儲(chǔ)平臺(tái)（Spark）、結(jié)構(gòu)化查詢語(yǔ)言（Structured Query Language，SQL）等。

參考圖5，借鑒汽車企業(yè)的共同標(biāo)準(zhǔn)，設(shè)計(jì)車型級(jí)別清洗規(guī)則（例如緊湊型轎車?Car Compact?Car_A的數(shù)據(jù)映射），以SQL流程為工具進(jìn)行清洗。

圖5 SQL作業(yè)——數(shù)據(jù)清洗

數(shù)據(jù)實(shí)現(xiàn)存儲(chǔ)后，要將其定期從數(shù)據(jù)中間層推送至計(jì)算模型層[15]。

為支撐決策，對(duì)數(shù)據(jù)的挖掘與計(jì)算得到的深層信息是必不可少的，例如實(shí)時(shí)車況評(píng)估模型、電池安全預(yù)警模型、細(xì)分市場(chǎng)模型、駕駛行為分析模型[16]。

從大數(shù)據(jù)存儲(chǔ)將數(shù)據(jù)傳遞至模型計(jì)算層，可以通過在模型計(jì)算層編輯“拉取”數(shù)據(jù)的作業(yè)，利用jdbc 連接Oracle 的url 配置，并在Shell 語(yǔ)言包里規(guī)定拉取數(shù)據(jù)的字段、存儲(chǔ)位置，并進(jìn)入大數(shù)據(jù)計(jì)算模型層進(jìn)行后續(xù)計(jì)算，如圖6。

另一種從數(shù)據(jù)存儲(chǔ)往模型存儲(chǔ)轉(zhuǎn)移的方式是“數(shù)據(jù)推送”，其功能是從現(xiàn)有數(shù)據(jù)存儲(chǔ)工具連接目標(biāo)存儲(chǔ)層，并將所需要的字段推送入目標(biāo)存儲(chǔ)層。圖7 利用基于大數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu)查詢語(yǔ)言（Hive SQL）實(shí)現(xiàn)了同一個(gè)表格從分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）轉(zhuǎn)移的功能。

圖7 數(shù)據(jù)推送SQL作業(yè)

汽車全生命周期大數(shù)據(jù)決策支持平臺(tái)建設(shè)的基石是數(shù)據(jù)能支撐決策，不能僅落實(shí)在汽車營(yíng)銷、市場(chǎng)范圍之內(nèi)，還要與車路協(xié)同、智能駕駛應(yīng)用場(chǎng)景交叉[17]，確保能夠最大程度地利用汽車全生命周期大數(shù)據(jù)來引導(dǎo)企業(yè)走在技術(shù)的前沿，更好地優(yōu)化產(chǎn)品[18]。

2 大數(shù)據(jù)平臺(tái)建設(shè)方案

2.1 可視化汽車運(yùn)營(yíng)監(jiān)控平臺(tái)

汽車實(shí)時(shí)駕駛狀態(tài)、經(jīng)緯度和駕駛員的監(jiān)控?cái)?shù)據(jù)，以“s”為單位，由T-BOX 上傳至行車大數(shù)據(jù)監(jiān)控中心，供相關(guān)單位進(jìn)行車輛調(diào)度以及交通事故預(yù)案的輔助決策支撐[19]。除此之外，還可以在碳排放與經(jīng)濟(jì)性、停車點(diǎn)和路徑偏好、車輛運(yùn)行和健康狀況方面形成實(shí)時(shí)監(jiān)控圖表，分別為汽車生產(chǎn)企業(yè)用于節(jié)能低碳、用戶畫像制作方面提供分析素材。并且將車身狀態(tài)診斷、檢測(cè)成果轉(zhuǎn)發(fā)給用戶的手機(jī)和車載計(jì)算機(jī)上，提高居民出行安全?？梢暬囘\(yùn)營(yíng)監(jiān)控平臺(tái)實(shí)現(xiàn)了數(shù)據(jù)支撐決策作用，具體數(shù)據(jù)流如圖8 所示。

圖8 可視化汽車運(yùn)營(yíng)監(jiān)控平臺(tái)

2.2 大數(shù)據(jù)可視化分析支撐決策

汽車全生命周期大數(shù)據(jù)的可視化路徑需要分析對(duì)“選、購(gòu)、用、管、修、換”過程中的數(shù)據(jù)進(jìn)行清洗和分析，并用分析結(jié)果支撐生產(chǎn)企業(yè)決策[20]。

對(duì)汽車市場(chǎng)占有率、市場(chǎng)表現(xiàn)進(jìn)行分析，汽車生命周期大數(shù)據(jù)比單一的市場(chǎng)數(shù)據(jù)或者運(yùn)營(yíng)數(shù)據(jù)更加準(zhǔn)確，能夠幫助企業(yè)看清市場(chǎng)、看清競(jìng)爭(zhēng)對(duì)手。能夠指導(dǎo)汽車企業(yè)進(jìn)入市場(chǎng)和退出市場(chǎng)戰(zhàn)略，尋找競(jìng)爭(zhēng)藍(lán)海，找到適合自身?xiàng)l件的細(xì)分汽車使用領(lǐng)域[21]，如新能源冷藏車、碼頭運(yùn)貨車。同時(shí)，通過統(tǒng)計(jì)分析軟件（Statistical Product and Service Solutions，SPSS）數(shù)據(jù)分析工具能夠?qū)κ占娜芷诖髷?shù)據(jù)進(jìn)行數(shù)據(jù)降維、數(shù)據(jù)拆解，通過Tableau 可視化工具可以分析不同數(shù)據(jù)間的關(guān)系，促使可視化報(bào)表和后端實(shí)時(shí)推送的數(shù)據(jù)表之間通過即時(shí)聯(lián)動(dòng)，方便數(shù)據(jù)用戶快速獲取分析結(jié)果，在可視化的用戶端實(shí)時(shí)掌握數(shù)據(jù)重點(diǎn)。信息處理結(jié)合專家智慧、案頭調(diào)研，形成聚焦行業(yè)數(shù)據(jù)波動(dòng)的專業(yè)分析結(jié)果，預(yù)測(cè)未來行業(yè)走向。結(jié)合專家智慧和調(diào)研成果的數(shù)據(jù)報(bào)告，還應(yīng)當(dāng)通過可視化云端文件庫(kù)實(shí)現(xiàn)下載和導(dǎo)出，為汽車企業(yè)決策者提供全面數(shù)據(jù)支撐。汽車全生命周期大數(shù)據(jù)可視化平臺(tái)與大數(shù)據(jù)底座相互耦合、秒級(jí)自動(dòng)查詢，使得數(shù)據(jù)分析結(jié)果實(shí)時(shí)有效。汽車行業(yè)企業(yè)的決策者通過可視化分析報(bào)告洞悉行業(yè)未來動(dòng)向，從而規(guī)避投資風(fēng)險(xiǎn)[22]。

同時(shí)，對(duì)車輛售后環(huán)節(jié)進(jìn)行數(shù)據(jù)分析，可能會(huì)得出與原有售后業(yè)務(wù)不同的認(rèn)知，精準(zhǔn)定位客戶售后和維修需求，掌握后市場(chǎng)競(jìng)爭(zhēng)先機(jī)。

科技賦能汽車產(chǎn)業(yè)加速轉(zhuǎn)型，推動(dòng)汽車產(chǎn)業(yè)“電動(dòng)化、網(wǎng)聯(lián)化、智能化和共享化”發(fā)展。汽車全生命周期大數(shù)據(jù)能夠洞察市場(chǎng)供需變化，賦能行業(yè)數(shù)字管理，帶來數(shù)字化可視化決策支撐。當(dāng)前，汽車市場(chǎng)已經(jīng)進(jìn)入到“存量競(jìng)爭(zhēng)”新階段，汽車電動(dòng)化整體水平進(jìn)一步提升。企業(yè)面臨著用戶特征、購(gòu)車行為、用車特征、產(chǎn)品需求等多方面變化，汽車全生命周期大數(shù)據(jù)決策支持平臺(tái)高效掌握不同細(xì)分市場(chǎng)的運(yùn)營(yíng)動(dòng)態(tài)，賦能汽車行業(yè)數(shù)字管理。對(duì)于實(shí)現(xiàn)客觀信息實(shí)時(shí)監(jiān)控和前瞻決策賦能，進(jìn)一步賦能趨勢(shì)洞察、產(chǎn)品規(guī)劃和市場(chǎng)營(yíng)銷業(yè)務(wù)場(chǎng)景具有重要意義。

3 結(jié)束語(yǔ)

本文結(jié)合汽車產(chǎn)業(yè)數(shù)據(jù)特點(diǎn)，對(duì)汽車全生命周期數(shù)據(jù)種類、數(shù)據(jù)清洗和數(shù)據(jù)集成技術(shù)、大數(shù)據(jù)平臺(tái)建設(shè)方案進(jìn)行闡述。得出了全生命周期大數(shù)據(jù)決策支持平臺(tái)建設(shè)要點(diǎn)：

（1）針對(duì)動(dòng)靜態(tài)數(shù)據(jù)區(qū)別與關(guān)聯(lián)性，建立數(shù)據(jù)清洗規(guī)則，清洗靜態(tài)數(shù)據(jù)，制定處理動(dòng)態(tài)數(shù)據(jù)的自動(dòng)化任務(wù)。將數(shù)據(jù)降維并關(guān)聯(lián)分析。

（2）基于ID-Mapping打通了統(tǒng)一用戶和車輛的不同注冊(cè)信息，極大提高汽車全生命周期數(shù)據(jù)共享程度。

（3）將專家智慧、案頭調(diào)研工作與大數(shù)據(jù)分析結(jié)合，使得分析能解決行業(yè)痛點(diǎn)、難點(diǎn)，更好支撐決策。

未來的研究將在數(shù)據(jù)處理的基礎(chǔ)上，加大對(duì)數(shù)據(jù)趨勢(shì)的預(yù)測(cè)性研究。人工智能結(jié)合專家觀點(diǎn)，將未來汽車需求的預(yù)測(cè)值、市場(chǎng)競(jìng)爭(zhēng)的機(jī)會(huì)點(diǎn)、以及客戶個(gè)性化需求的發(fā)展方向，形成可視化決策參考，更加直接地支撐造車企業(yè)的決策。