基于神經(jīng)網(wǎng)絡(luò)的智能駕駛模式識別研究

吳毅 夏志平 陳軍源

（九江職業(yè)技術(shù)學(xué)院，九江 332007）

主題詞：智能駕駛 模式識別 神經(jīng)網(wǎng)絡(luò) 開放道路試驗 智能網(wǎng)聯(lián)

1 前言

隨著智能駕駛的興起和主動安全技術(shù)的逐漸成熟，汽車高級駕駛輔助系統(tǒng)（Advanced Driving Assistance System，ADAS）在智能駕駛汽車上的應(yīng)用越來越廣泛，目前，迫切需要用于ADAS功能研發(fā)和驗證的測試場景庫。在智能汽車駕駛模式識別、選擇、切換等方面：嚴(yán)利鑫等[1-2]基于危險態(tài)勢等級對智能汽車駕駛模式選擇進(jìn)行標(biāo)定，同時以車速、車頭時距、車道中心距離、前輪轉(zhuǎn)角標(biāo)準(zhǔn)差、駕駛經(jīng)驗作為智能車模式?jīng)Q策的特征屬性；汪澎等[3]基于多源信息提出了一種車輛運(yùn)行狀態(tài)識別體系。由于我國目前還沒有完備的主動安全測試場景庫，當(dāng)前的主要任務(wù)在于ADAS 測試場景挖掘和分類。針對主機(jī)廠的大量自然駕駛數(shù)據(jù)的閑置問題，智能駕駛識別程序可以通過離線處理的方式對各類ADAS 測試場景進(jìn)行模式識別與分類。

本文以自適應(yīng)巡航控制（Adaptive Cruise Control，ACC）[4-8]、盲區(qū)監(jiān)測（Blind Spot Monitoring，BSM）[9]、車道偏離預(yù)警（Lane Departure Warning，LDW）[10-14]系統(tǒng)的模式識別為例，針對智能駕駛汽車無法自主開啟相應(yīng)的ADAS功能這一問題，設(shè)計了一種基于神經(jīng)網(wǎng)絡(luò)的智能駕駛模式識別系統(tǒng)，使智能駕駛汽車針對特定場景自動開啟相應(yīng)的ADAS功能。

2 數(shù)據(jù)采集

2.1 道路試驗設(shè)計

道路試驗時間為2019年3月10～24日，測試有效時間為14天，道路測試總里程為2 208.49 km，測試地點(diǎn)包括天津、河北、河南、安徽等地區(qū)。道路類型包括高速公路、國道、城市道路、鄉(xiāng)村道路等，其中，高速公路、國道、城市道路、鄉(xiāng)村道路的比例約為5∶2∶2∶1，測試天氣有晴天、陰天、雨天、霧霾天等，場景數(shù)據(jù)包括直道、彎道、十字路口、紅綠燈、人行橫道、橋梁、隧道、高速公路等場景和2種及以上的組合場景。

2.2 人員及試驗設(shè)備

共選取20名有無人駕駛經(jīng)驗的男性安全輔助人員進(jìn)行道路試驗，平均年齡為33.5歲，無人駕駛安全輔助年齡1～5年不等，無其他影響無人駕駛安全的因素。數(shù)據(jù)采集試驗設(shè)備包括一款B 級車、Brick 工控機(jī)、Mobileye攝像頭、ESR毫米波雷達(dá)、ibeo激光雷達(dá)及相關(guān)設(shè)備，如圖1所示。

圖1 感知傳感器

2.3 獲取的原始數(shù)據(jù)

道路測試的數(shù)據(jù)采集記錄軟件選擇德國VECTOR公司的CANape 17.0，如圖2所示，原始數(shù)據(jù)包括車輛前向及左、右后方的視頻數(shù)據(jù)和感知傳感器探測到的位置、速度、相對速度等信息。

圖2 原始數(shù)據(jù)采集

3 神經(jīng)網(wǎng)絡(luò)識別模型

智能駕駛模式受到多種因素的非線性影響，無法用單一的數(shù)學(xué)公式描述，因此本文使用人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）設(shè)計一款智能駕駛模式識別程序，以實現(xiàn)ACC、BSM、LDW等ADAS功能場景的模式識別。神經(jīng)網(wǎng)絡(luò)以大量的自然駕駛數(shù)據(jù)特征參數(shù)作為輸入、輸出對，學(xué)習(xí)各類ADAS場景位置、約束等的特征參數(shù)，實現(xiàn)智能駕駛汽車的模式識別功能。

3.1 隱含層神經(jīng)元數(shù)量選擇

神經(jīng)網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù)量計算過程為：

式中，n1為隱含層神經(jīng)元數(shù)量；n2為輸入層神經(jīng)元數(shù)量；m為隱含層單元數(shù)量；a∈[1～10]為調(diào)節(jié)常數(shù)。

3.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法選擇

常用的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括梯度下降法、牛頓算法、共軛梯度法、準(zhǔn)牛頓法和Levenberg-Marquardt（L-M）算法。將模型參數(shù)和數(shù)據(jù)量進(jìn)行對比，結(jié)果表明L-M算法的收斂速度比其他算法快幾倍到幾十倍。

L-M算法的權(quán)重更新公式為：

式中，ΔW為權(quán)重；J為雅可比的加權(quán)系數(shù)矩陣；I為單位矩陣；u為加權(quán)系數(shù)。

3.3 學(xué)習(xí)效率

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效率過大會導(dǎo)致收斂過快，并在極值點(diǎn)附近產(chǎn)生不穩(wěn)定振蕩，過小會導(dǎo)致神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度過慢，經(jīng)過多次試驗驗證，學(xué)習(xí)效率選擇0.05效果最好。

3.4 神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果

圖3所示為神經(jīng)網(wǎng)絡(luò)模型，以感知傳感器獲取的交通環(huán)境信息和CAN 總線信息為輸入，通過神經(jīng)網(wǎng)絡(luò)對車輛的位置和運(yùn)動狀態(tài)進(jìn)行判斷，從而實現(xiàn)智能駕駛汽車的駕駛模式識別。

圖3 神經(jīng)網(wǎng)絡(luò)模型

由于駕駛行為的學(xué)習(xí)需要大量數(shù)據(jù)，最終在10～70 km/h 的速度區(qū)間截取了4 886 個場景數(shù)據(jù)，其中ACC 場景1 863 個，BSM 場景2 046 個，LDW 場景977個。以ACC 功能識別為例，以本車速度v、相對距離R、相對速度vr、本車與車道線的距離L作為輸入變量，輸出變量為各智能駕駛模式識別的判斷結(jié)果。訓(xùn)練一個20層的神經(jīng)網(wǎng)絡(luò)，樣本數(shù)據(jù)按70%∶15%∶15%的比例分為訓(xùn)練樣本、測試樣本、仿真樣本。

4 識別模型的裝載

為了將基于神經(jīng)網(wǎng)絡(luò)的ADAS 功能識別模型裝載到智能駕駛汽車上，并與設(shè)置的開關(guān)按鈕進(jìn)行關(guān)聯(lián)匹配，使用有限狀態(tài)機(jī)（Finite State Machine）識別輸入信號并輸出當(dāng)前所屬狀態(tài)。該系統(tǒng)將目標(biāo)可觸發(fā)功能類型以判別信號的形式輸送到車端（VECTOR 工控機(jī)）作為輸入信號，輸出的功能狀態(tài)包括功能關(guān)閉、功能待機(jī)、功能激活、故障和場景識別5個部分，如圖4所示。打開功能開關(guān)，系統(tǒng)由功能關(guān)閉狀態(tài)進(jìn)入功能待機(jī)狀態(tài)，接收到可疑觸發(fā)信號功能激活，并對信號進(jìn)行分類。

圖4 狀態(tài)機(jī)識別模型裝載

5 智能駕駛識別程序設(shè)計

本文設(shè)計的智能駕駛模式識別程序通過感知傳感器獲取真實的交通環(huán)境信息，經(jīng)過數(shù)據(jù)的預(yù)處理，對當(dāng)前場景所屬的ADAS 功能場景進(jìn)行模式識別。L2 級別智能駕駛汽車包含眾多的ADAS 功能，本文以ACC、BSM、LDW 的模式識別為例，設(shè)計ADAS 場景識別程序。ADAS場景挖掘程序由數(shù)據(jù)采集模塊、目標(biāo)檢測模塊、ADAS場景識別模塊組成。

5.1 數(shù)據(jù)采集模塊

數(shù)據(jù)采集模塊通過檢測目標(biāo)與本車的相對空間位置坐標(biāo)實現(xiàn)目標(biāo)的檢測和空間坐標(biāo)定位，如圖5 所示。定義車道位置輔助系數(shù)r，確定目標(biāo)的車道位置對應(yīng)系數(shù)值。

模塊的輸入量包括目標(biāo)與本車的相對距離R、目標(biāo)與本車的偏航角θ和車道線位置，可通過毫米波雷達(dá)、角毫米波雷達(dá)和攝像頭進(jìn)行數(shù)據(jù)采集。模塊的輸出量為目標(biāo)與本車的車頭縱向間距Ry=Rcosθ、橫向距離Rx=Rsinθ、車道位置輔助系數(shù)r、車頭間距輔助系數(shù)k，目標(biāo)車的車道位置可由攝像頭提供的車道線位置（右側(cè)為正值，左側(cè)為負(fù)值）進(jìn)行判定。橫向距離介于左、右車道線之間，標(biāo)記為r=0；橫向距離大于右車道線，標(biāo)記為r=1；橫向距離小于左車道線，標(biāo)記為r=-1。當(dāng)目標(biāo)位于自車前方時，k=1；當(dāng)目標(biāo)位于自車后方時，k=-1。

圖5 數(shù)據(jù)采集模塊

5.2 目標(biāo)檢測模塊

目標(biāo)檢測模塊以目標(biāo)車輛的車道位置輔助系數(shù)和車頭間距輔助系數(shù)為依據(jù)，分別篩選出觸發(fā)ACC、BSM、LDW功能的可疑目標(biāo)車輛，對當(dāng)前時刻和延遲時刻（根據(jù)ADAS 功能類型確定）的狀態(tài)進(jìn)行數(shù)據(jù)關(guān)聯(lián)，判定場景所屬ADAS 功能類型，從而實現(xiàn)對相應(yīng)ADAS 功能目標(biāo)車的篩選，如圖6所示。

圖6 目標(biāo)檢測模塊

模塊的輸入量為目標(biāo)的車道位置輔助系數(shù)r和車頭間距輔助系數(shù)k，通過對當(dāng)前時刻狀態(tài)和延遲時刻的輔助系數(shù)r1和k1進(jìn)行數(shù)據(jù)關(guān)聯(lián)，預(yù)測狀態(tài)值的變化趨勢，對最可疑的觸發(fā)目標(biāo)進(jìn)行分類并監(jiān)測。場景分類如表1 所示，將ADAS 狀態(tài)目標(biāo)（obj_status）分為ACC 目標(biāo)、BSM目標(biāo)、LDW目標(biāo)。

5.3 ADAS場景識別模塊

ADAS 場景識別模塊利用前文搭建的神經(jīng)網(wǎng)絡(luò)識別模型對系統(tǒng)包含的3 類ADAS 功能進(jìn)行模式識別[15]。其中：ACC 功能的可疑目標(biāo)經(jīng)過神經(jīng)網(wǎng)絡(luò)的模式識別后，增加車頭時距tTHW（取值范圍為0～5 s）作為跟車的輔助判別標(biāo)準(zhǔn)；BSM 功能的識別以速度v[16]、相對距離R、相對速度vr為神經(jīng)網(wǎng)絡(luò)的輸入，進(jìn)行模式識別后，增加對預(yù)警時間（目標(biāo)車輛進(jìn)入盲區(qū)邊界的初始時間）、左右側(cè)的判定，如圖7所示。

表1 ADAS功能場景分類

圖7 BSM決策算法模塊

左側(cè)BSM識別：

右側(cè)BSM識別：

式中，xobj為目標(biāo)車的橫向位置；ll、lr分別為本車所在車道左、右側(cè)車道線位置。

LDW功能的識別依據(jù)不同的道路條件分為一級變道（結(jié)構(gòu)性道路）和二級變道（非結(jié)構(gòu)性道路），如圖8所示：針對一級變道，以Mobileye ME630 提供的車道線位置、橫向速度、橫向加速度作為神經(jīng)網(wǎng)絡(luò)的輸入[16-19]；對于沒有車道線或車道線缺失的二級變道，利用ESR毫米波雷達(dá)設(shè)計群車檢測識別，通過橫向毫米波的64 個目標(biāo)與本車的橫向偏移進(jìn)行識別，橫向偏移為：

本車與80%以上毫米波雷達(dá)探測目標(biāo)發(fā)生相同橫向偏移，即大部分偏移曲線重合，程序識別為二級變道。

圖8 LDW決策算法模塊

6 智能駕駛模式識別程序驗證

圖9所示為某段ACC場景，作為駕駛模式識別的示例。圖9a 為車輛由右側(cè)車道向左側(cè)車道變道，場景模式ACC 跟車的識別值由0 變?yōu)?，圖9b～圖9i 為一段跟車過程，圖9i 為車輛向右側(cè)變道跟車結(jié)束，場景模式ACC跟車的識別值由1變?yōu)?。

圖9 ACC跟車場景識別示例

ACC跟車模式識別過程中，輸入信號和識別結(jié)果信號如圖10 所示，程序?qū)τ谄蔚淖R別結(jié)果符合實際要求，為了檢驗程序在實際道路試驗中的識別率，分別對ACC、BSM、LDW功能各選擇一段行程進(jìn)行驗證。

圖10 ACC跟車場景識別示例信號

6.1 ACC場景識別結(jié)果

ACC 場景模式識別測試結(jié)果如圖11 所示，測試行程共識別出284個跟車場景，198個被跟車場景，其中程序漏判定0次，誤判定0次。

圖11 ACC功能測試結(jié)果

6.2 BSM場景識別結(jié)果

BSM 場景模式識別測試結(jié)果如圖12 所示，測試行程共識別出228 個左后方來車場景，355 個右后方來車場景，其中程序漏判定0次，誤判定0次。

6.3 LDW場景識別結(jié)果

LDW 場景模式識別測試結(jié)果如圖13 所示，測試行程共識別出182個左變道場景，195個右變道場景，其中程序漏判定2 次，分析其失效原因為車道線模糊致Mobileye ME630無法識別，誤判定0次。

圖12 BSM功能測試結(jié)果

圖13 LDW功能測試結(jié)果

由上述開放道路測試結(jié)果可知，程序共識別ACC場景482 個，BSM 場景583 個，LDW 場景377 個，模式識別的準(zhǔn)確率達(dá)到99.86%，具有較好的工作效果。

7 結(jié)束語

針對主機(jī)廠現(xiàn)有道路測試數(shù)據(jù)無法準(zhǔn)確驗證ADAS 功能觸發(fā)和結(jié)束的現(xiàn)狀，本文對各類ADAS 功能的觸發(fā)和穩(wěn)定控制約束條件開展研究，設(shè)計了一款智能駕駛模式識別程序。該程序利用神經(jīng)網(wǎng)絡(luò)分別對ACC、BSM、LDW 場景的特征信息進(jìn)行學(xué)習(xí)，獲得ADAS 場景模式識別程序，并通過相關(guān)特征信息對各類場景進(jìn)行實時監(jiān)測識別。開放道路測試驗證結(jié)果表明，本文設(shè)計的智能駕駛模式識別程序能準(zhǔn)確預(yù)測ADAS 場景的駕駛模式，識別準(zhǔn)確率達(dá)到99.86%，可為汽車ADAS 功能主動觸發(fā)的研發(fā)和試驗驗證提供有效參考。