基于殘差神經(jīng)網(wǎng)絡(luò)的車規(guī)級駕駛行為在線分析系統(tǒng)

劉奇 李楊

摘? ?要：文章提出基于殘差神經(jīng)網(wǎng)絡(luò)對駕駛員車輛操控情況和路基數(shù)據(jù)進(jìn)行實時分析，達(dá)到在線評估駕駛行為的目的。基于AutoSar框架對整個數(shù)據(jù)采樣和分析計算進(jìn)行車規(guī)級編程。在實車上的實驗結(jié)果表明，該系統(tǒng)對各種主流駕駛行為的分析準(zhǔn)確率達(dá)到91.2%，證明了該系統(tǒng)具有較好的有效性。

關(guān)鍵詞：殘差神經(jīng)網(wǎng)絡(luò);汽車開放系統(tǒng)架構(gòu);駕駛行為分析

隨著汽車電子與軟件技術(shù)的快速發(fā)展，汽車駕駛行為對交通安全、節(jié)能減排、智能網(wǎng)聯(lián)汽車技術(shù)發(fā)展都起到了越發(fā)重要的作用。在高性能汽車芯片的支持下，使用人工智能算法對駕駛行為進(jìn)行分析挖掘已經(jīng)成為目前的研究熱點。目前，常見的人工智能算法主要包括貝葉斯分類、支持向量機、馬爾科夫鏈、決策樹、淺層神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)等。其中，深度神經(jīng)網(wǎng)絡(luò)能夠自主進(jìn)行特征學(xué)習(xí)，有效避免了人工特征對分析精度的影響，因此，展現(xiàn)出旺盛的應(yīng)用前景。但是深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練代價較大，且隨著網(wǎng)絡(luò)深度的增加，訓(xùn)練存在無法收斂的風(fēng)險。殘差深度網(wǎng)絡(luò)（ResNet）的出現(xiàn)成功提高了訓(xùn)練的收斂性和效率，在高維原始特征空間上取得了很好的效果[1]。車輛駕駛行為受到復(fù)雜交通環(huán)境、駕駛員駕駛風(fēng)格、各種突發(fā)需求等因素的影響，因此，需要在高維環(huán)境中進(jìn)行刻畫。此外，在線駕駛行為分析系統(tǒng)對有效性、魯棒性都有很高的要求。因此，本文嘗試使用ResNet對駕駛行為進(jìn)行在線分析，并在汽車開放系統(tǒng)架構(gòu)（AUTOmotive Open System Architecture，AUTOSAR）框架下進(jìn)行實現(xiàn)，使其能夠運行在車載終端平臺上。

1? ? ResNet

傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)會因為高密度中間層而導(dǎo)致訓(xùn)練時發(fā)生梯度消失或爆炸，使得高深度神經(jīng)網(wǎng)絡(luò)無法實現(xiàn)高質(zhì)量的訓(xùn)練。He等受到Highway網(wǎng)絡(luò)啟發(fā)，在其機制基礎(chǔ)上提出了ResNet。該型網(wǎng)絡(luò)不但提高了訓(xùn)練的質(zhì)量和速度，也有效提高了整個網(wǎng)絡(luò)模型的準(zhǔn)確率。ResNet的根本特性是引入了邏輯單元殘差塊[2]。

1.1? 殘差塊

殘差塊由3個子層組成，分別是卷積層（Conv）、批處理歸一化層（BN）和非線性激活函數(shù)層（ReLU），其結(jié)構(gòu)如圖1所示。

對于任何一個殘差塊l，設(shè)其輸入為，則其輸出為：

xl+1=f（xl+F（xl，Wl））

其中，F(xiàn)（xl，Wl）是殘差函數(shù)，是該殘差函數(shù)對應(yīng)的權(quán)重參數(shù)，是非線性激活函數(shù)ReLU。殘差函數(shù)F中的卷積層數(shù)是可以根據(jù)需要進(jìn)行人為設(shè)定的，以獲取更好的性能。整個殘差塊引入直接連接方式實現(xiàn)輸入與輸出的線性映射，即：

xl+1=f（Wsxl+F（xl，Wl））

圖1? 殘差塊結(jié)構(gòu)

1.2? 網(wǎng)絡(luò)結(jié)構(gòu)

將多個殘差塊順序堆疊在一起后，就形成了整個ResNet，其結(jié)構(gòu)如圖2所示。

在ResNet中，卷積核的大小與數(shù)量、卷積計算時的步幅等都可以根據(jù)實際需要進(jìn)行調(diào)整。此外，殘差塊之間也可以通過增加池化層來實現(xiàn)降維。

1.3? 輸入特征

駕駛行為本質(zhì)上屬于一種高復(fù)雜性的時序過程，其過程演變受到交通環(huán)境、駕駛需求和習(xí)慣等因素的影響[3-4]。本文在現(xiàn)有技術(shù)的基礎(chǔ)上，生成以下駕駛行為原始特征作為ResNet的輸入特征。

表1? ResNet輸入特征

特征名稱 特征值范圍 特征作用

limspeed 0～150 km/h 描述道路限速情況

lampsta 0（紅）/1（黃）/2（綠） 前進(jìn)方向紅綠燈狀態(tài)

vehsum 0～300 車輛周邊車輛數(shù)量

fvehdis 0～300 m 前方車距

vehspeed 0～200 km/h 當(dāng)前車速

velacc ﹣10～10 m/s2 加減速

accfreq 0～10 000 急加減速頻率

clfreq 0～10 000 變道頻率

clls 0～10 000 變道打方向燈頻率

上述原始特征采集完成后，將特征向量輸入ResNet模型進(jìn)行分析。

圖2? ResNet整體結(jié)構(gòu)

2? ? 車規(guī)級編程

汽車軟件相比桌面消費應(yīng)用軟件具有極高的可靠性要求，再加上汽車軟件功能的復(fù)雜化趨勢，帶來了編程代價的快速增長。為了加快汽車軟件的研發(fā)和部署周期，廣泛采用在AutoSar框架下進(jìn)行車規(guī)級編程的方式。AutoSar是一種汽車開放系統(tǒng)架構(gòu)，其目的是為復(fù)雜的汽車電控單元軟件建立標(biāo)準(zhǔn)化平臺，以減少汽車軟件的設(shè)計復(fù)雜度，增加其靈活性，使上層應(yīng)用開發(fā)可以不用關(guān)心底層硬件和操作系統(tǒng)細(xì)節(jié)，大幅提高了開發(fā)效率[5-6]。

在本文設(shè)計的系統(tǒng)中，駕駛行為識別原始數(shù)據(jù)主要來自駕駛員對車輛操縱狀態(tài)以及道路信息終端的數(shù)據(jù)。其中，車輛操縱狀態(tài)數(shù)據(jù)的獲取主要通過車載網(wǎng)絡(luò)來獲取，道路交通信息終端數(shù)據(jù)主要通過4G平臺來獲取。

2.1? 車載網(wǎng)絡(luò)通信編程

AutoSar設(shè)控制器局域網(wǎng)絡(luò)（Controller Area Network，CAN）總線數(shù)據(jù)采集規(guī)范是由診斷協(xié)議（Unified Diagnostic Services，UDS）進(jìn)行定義。其基本原理是通過終端向汽車電子控制單元（Electronic Control Unit，ECU）發(fā)起詢問，然后等待接受并解析ECU的回應(yīng)。其編程規(guī)范為：

+ +

+

其中，SID是UDS設(shè)定的服務(wù)號，Parameter是指定服務(wù)的參數(shù)。

收到ECU發(fā)出的回應(yīng)CAN幀后，需要對其數(shù)據(jù)區(qū)原始數(shù)據(jù)進(jìn)行解析，以提取出車況數(shù)據(jù)。

2.2? 4G通信編程

在車載終端，4G通信編程的本質(zhì)是Scoket編程，其基本方法如下：

（1）構(gòu)建Socket實例，根據(jù)指定的服務(wù)器地址和端口建立傳輸控制協(xié)議（Transmission Control Protocol，TCP）連接。

（2）使用套接字提供的InputStream和OutputStream方法進(jìn)行數(shù)據(jù)讀寫。

AutoSar定義了服務(wù)信息軟件架構(gòu)中的通信協(xié)議方案，按照其規(guī)定進(jìn)行編程。

本文設(shè)計系統(tǒng)采用C++語言進(jìn)行程序編寫。編寫模塊按照ISO26262協(xié)議進(jìn)行，使軟件系統(tǒng)可靠性得到保證。

3? ? 系統(tǒng)架構(gòu)

整個系統(tǒng)的運行平臺為英偉達(dá)的Jetson TX2，該設(shè)備提供了CPU+GPU的計算平臺，支持TFPS的計算能力，能夠?qū)崟r進(jìn)行深度神經(jīng)網(wǎng)絡(luò)在線運算。外圍接口方面，TX2提供2路CAN模塊，通過外擴接口實現(xiàn)4/5G通信能力。在其基礎(chǔ)上設(shè)計整個系統(tǒng)的架構(gòu)，如圖3所示。

圖3? 系統(tǒng)架構(gòu)示意

系統(tǒng)中的CAN總線數(shù)據(jù)通過車載自動診斷系統(tǒng)（On-Board Diagnostics，OBD）接口進(jìn)行獲取，4/5G信號通過通信模塊進(jìn)行傳輸，然后再通過串行外設(shè)接口（Serial Peripheral Interface，SPI）總線和TX2進(jìn)行交互。

系統(tǒng)的操作系統(tǒng)采用Linux，在其上構(gòu)建AutoSar框架，安裝各型應(yīng)用庫，實現(xiàn)對上層軟件的支持。

4? ? 實驗

基于上述工作，將整個系統(tǒng)安裝在長安福特?？怂管囕v上進(jìn)行實車測試。招募了50名駕駛員進(jìn)行樣本制作實驗。具體方案為在每個駕駛員10～20 min的駕駛過程中進(jìn)行采樣，每個駕駛員相繼完成勻速駕駛、緩加減速、急加減速、變道等動作，由南京交通職業(yè)技術(shù)學(xué)院智慧交通實驗室提供的路基設(shè)備實現(xiàn)交通信號模擬生成。共完成3 200個樣本采集，分析結(jié)果分為正常駕駛、警告危險駕駛和嚴(yán)重危險駕駛3種模式[6]。

實驗采用五折交叉驗證法，將其結(jié)果與貝葉斯模型、支持向量機模型和徑向基函數(shù)（Radial Basis Function，RBF）神經(jīng)網(wǎng)絡(luò)（RBFNet）進(jìn)行比較，結(jié)果如表2所示。

表2? 實驗結(jié)果

駕駛行為分析模型 平均準(zhǔn)確率/%

BF 89.1

SVM 88.6

RBFNet 88.6

ResNet 91.2

可以看到，本文所用的方法獲得了最好的平均準(zhǔn)確率。

5? ? 結(jié)語

本文提出基于殘差神經(jīng)網(wǎng)絡(luò)對駕駛員操控車輛情況和路基數(shù)據(jù)進(jìn)行實時分析，達(dá)到在線評估駕駛行為的目的。基于AutoSar框架對整個系統(tǒng)進(jìn)行車規(guī)級編程，主要實現(xiàn)了基于車載網(wǎng)絡(luò)CAN總線上的數(shù)據(jù)采樣程序、基于4G的路基終端設(shè)備數(shù)據(jù)采樣分析程序、基于殘差深度網(wǎng)絡(luò)的駕駛行為分析程序的編寫。在實車上的實驗結(jié)果表明，該系統(tǒng)對各種主流駕駛行為的分析準(zhǔn)確率總體達(dá)到了91.2%，證明了該系統(tǒng)具有較高的有效性。隨著5G軟、硬件技術(shù)的逐漸成熟，后期會嘗試將4G通信方式升級為5G，大幅提高系統(tǒng)的可靠性。

[參考文獻(xiàn)]

[1]郭玥秀，楊偉，劉琦，等.殘差網(wǎng)絡(luò)研究綜述[J].計算機應(yīng)用研究，2019（6）：6-10.

[2]SERMANET P，EIGEN D，ZHANG X，et al.OverFeat：integrated recognition，localization and detection using convolutional networks[C].Moscow：Proc of International Conference on Learning Representations，2014.

[3]宋海娜.基于加速度計的智能網(wǎng)聯(lián)汽車駕駛行為建模方法[J].移動通信，2019（4）：14-15.

[4]周愛國，徐鵬宇，劉備.車載信息融合交通因素的駕駛行為分析[J].汽車零部件，2018（8）：27-28.

[5]ROMAN P，BRGE S.適用于高性能車載計算平臺的自適應(yīng)AUTOSAR[J].汽車與配件，2019（2）：13-15.

[6]付寶軍，錢賈敏，郝明德，等.軟件合作開發(fā)模式在汽車電子領(lǐng)域的應(yīng)用[C].上海：中國汽車工程學(xué)會年會，2018.

On-line analysis system of gauge-level driving behavior based on residual neural network

Liu Qi， Li Yang

（School of Electronic Information Engineering， Nanjing Communications Institute of? Technology， Nanjing 211188， China）

Abstract：This paper presents a real-time analysis of drivers vehicle handling and roadbed data based on residual neural network to achieve the purpose of online evaluation of driving behavior. Based on AutoSar framework， the whole data sampling and analysis calculation are programmed at the gauge level. The experimental results on a real vehicle show that the accuracy of the system for analyzing various mainstream driving behaviors reaches 91.2%， which proves that the system is effective.

Key words：residual neural network; AUTOmotive open system architecture; driving behavior analysis