基于駕駛特征學(xué)習(xí)的自動(dòng)駕駛車輛換道軌跡規(guī)劃＊

黃輝 隗寒冰

（重慶交通大學(xué)，重慶 400074）

主題詞：軌跡規(guī)劃 駕駛特征 成本優(yōu)化 逆強(qiáng)化學(xué)習(xí)

1 前言

自動(dòng)駕駛車輛需要在換道軌跡規(guī)劃時(shí)反映擬人化需求，以提高行駛平順性及乘坐舒適性，避免換道過程中引起駕乘人員不適。因此，學(xué)習(xí)駕駛員軌跡特征在自動(dòng)駕駛車輛換道軌跡設(shè)計(jì)中具有十分重要的現(xiàn)實(shí)意義。

國內(nèi)外學(xué)者對車輛軌跡規(guī)劃問題已進(jìn)行了廣泛研究[1]。規(guī)劃方法按照原理可大致分為圖搜索、數(shù)值優(yōu)化、插值法和采樣法。目前，基于軌跡采樣與成本函數(shù)優(yōu)化相結(jié)合的方法作為主流的軌跡規(guī)劃方法被廣泛應(yīng)用于自動(dòng)駕駛車輛。如M.Werling等[2]以軌跡采樣與成本函數(shù)優(yōu)化相結(jié)合的方法規(guī)劃軌跡，實(shí)現(xiàn)各換道場景的軌跡生成。該方法規(guī)劃的換道軌跡基本滿足換道行為功能需求，但忽略了駕駛員駕駛行為特征因素[3]。

在換道軌跡規(guī)劃中考慮駕駛員換道特征，即擬人化換道軌跡規(guī)劃，是近年來研究的熱點(diǎn)。如黃晶[4]等運(yùn)用K均值聚類法將駕駛風(fēng)格分類，結(jié)合舒適性約束及換道行為數(shù)據(jù)進(jìn)行不同駕駛風(fēng)格換道軌跡規(guī)劃，但忽略了軌跡曲線特征。Schnelle 等[5]提出了組合駕駛員模型和確定駕駛員期望路徑的方法，對駕駛員模型和所需路徑參數(shù)進(jìn)行優(yōu)化，僅考慮了駕駛員的橫向控制，無法反映駕駛員的速度特征及行駛軌跡曲率特征。X.He 等[6]提出從自然駕駛數(shù)據(jù)中學(xué)習(xí)仿人軌跡規(guī)劃方法，以softmax函數(shù)建立軌跡的概率模型，但該方法存在奇異值問題與學(xué)習(xí)特征上的局限。

機(jī)器學(xué)習(xí)方法被用來從人類演示的數(shù)據(jù)中學(xué)習(xí)成本函數(shù)或參數(shù)設(shè)置，研究成果同樣應(yīng)用于自動(dòng)駕駛。Abbeel等[7]通過逆強(qiáng)化學(xué)習(xí)策略學(xué)習(xí)駕駛特征。Ziebart等[8]為了解決逆強(qiáng)化學(xué)習(xí)中存在的奇異值問題，將逆強(qiáng)化學(xué)習(xí)擴(kuò)展到基于最大熵的方法。但這些研究都限于全局路徑規(guī)劃問題，而且更偏向于駕駛員路徑選擇的離散空間問題。Kuderer 等[9]運(yùn)用最大熵逆強(qiáng)化學(xué)習(xí)策略學(xué)習(xí)軌跡特征后應(yīng)用到局部軌跡規(guī)劃中，在學(xué)習(xí)過程中通過最大似然求解二維空間中六自由度無窮軌跡的最大熵模型，該方法存在計(jì)算量龐大的弊端。

為生成反映駕駛員特征的換道軌跡，本文開展基于最大熵逆強(qiáng)化學(xué)習(xí)策略的換道軌跡特征學(xué)習(xí)方法研究，以軌跡采樣方法為基礎(chǔ)，對學(xué)習(xí)過程中的計(jì)算進(jìn)行簡化，通過軌跡采樣與成本優(yōu)化相結(jié)合的方式規(guī)劃換道軌跡。

2 基于逆強(qiáng)化學(xué)習(xí)的換道軌跡規(guī)劃

軌跡采樣與成本優(yōu)化相結(jié)合的方法主要思路是依據(jù)設(shè)計(jì)的成本函數(shù)篩選采樣軌跡以生成最優(yōu)軌跡。為了平衡軌跡規(guī)劃的效率、舒適性、安全性，成本函數(shù)項(xiàng)權(quán)重需要基于專家經(jīng)驗(yàn)設(shè)計(jì)，調(diào)試過程繁雜，具有一定的局限性。為解決目前存在的弊端，生成與駕駛員換道特征相匹配的軌跡，本文通過逆強(qiáng)化學(xué)習(xí)方法從駕駛員自然換道軌跡數(shù)據(jù)中迭代學(xué)習(xí)成本函數(shù)權(quán)重，并基于軌跡采樣的方法優(yōu)化學(xué)習(xí)過程中的迭代計(jì)算，使自動(dòng)駕駛車輛能夠規(guī)劃出與人類駕駛員駕駛特征相近的換道軌跡?；谀鎻?qiáng)化學(xué)習(xí)的換道軌跡規(guī)劃流程如圖1所示。

基于逆強(qiáng)化學(xué)習(xí)的換道軌跡規(guī)劃由軌跡規(guī)劃、駕駛特征建模及逆強(qiáng)化學(xué)習(xí)過程組成。在某一軌跡規(guī)劃周期τ中，軌跡規(guī)劃部分首先依據(jù)換道規(guī)劃起點(diǎn)、終點(diǎn)的車輛坐標(biāo)及其關(guān)于時(shí)間的一階微分及二階微分狀態(tài)，通過軌跡采樣的方式，生成備選換道軌跡序列TS=(Ts1,Ts2,Ts3,…,Tsn)，駕駛特征建模部分采集駕駛員換道軌跡離線坐標(biāo)點(diǎn)，以多項(xiàng)式曲線擬合方式構(gòu)建駕駛員換道軌跡TD=(TD1,TD2,TD3,…,TDn)，依據(jù)設(shè)計(jì)的軌跡特征函數(shù)向量f(TD)計(jì)算駕駛員換道軌跡各成本項(xiàng)的經(jīng)驗(yàn)特征值。為解決軌跡分布中存在的奇異值問題[8]，將軌跡特征函數(shù)向量f(T)與備選軌跡序列TS依據(jù)最大熵原理構(gòu)建軌跡的最大熵模型pMaxEnt，其中T為任意軌跡集輸入，再依據(jù)最大熵模型求解各備選軌跡的期望特征值Ep[f]。通過梯度變化迭代調(diào)整軌跡特征函數(shù)中的各成本項(xiàng)權(quán)重向量系數(shù)λ，使得經(jīng)驗(yàn)特征值與期望特征值Ep[f]盡可能接近：

圖1 基于逆強(qiáng)化學(xué)習(xí)的換道軌跡規(guī)劃流程

當(dāng)期望特征值Ep[f]與經(jīng)驗(yàn)特征值的差值收斂于最小值時(shí)，便得到表征駕駛員軌跡特征的權(quán)重向量λImi。依據(jù)λImi分配各成本函數(shù)項(xiàng)權(quán)重比，重新調(diào)整駕駛員特征成本函數(shù)CImi，最后通過CImi篩選采樣軌跡序列，以生成與駕駛員換道特征相匹配的換道軌跡。

3 軌跡規(guī)劃方法

對自動(dòng)駕駛車輛局部軌跡規(guī)劃問題進(jìn)行簡化，同時(shí)便于軌跡特征函數(shù)定義，采用曲線坐標(biāo)系為參考坐標(biāo)系。在結(jié)構(gòu)化道路下進(jìn)行軌跡規(guī)劃時(shí)，曲線坐標(biāo)系通常以道路中心線作為參考線，將駕駛軌跡規(guī)劃問題分解為沿道路中心線方向及其切線的法向量方向進(jìn)行規(guī)劃處理，圖2所示為笛卡爾坐標(biāo)系與曲線坐標(biāo)系的轉(zhuǎn)化關(guān)系。

圖2 笛卡爾坐標(biāo)系與曲線坐標(biāo)系的轉(zhuǎn)化關(guān)系

不同于笛卡爾坐標(biāo)基準(zhǔn)(x,y)，曲線坐標(biāo)系是以車輛位置與參考線投影點(diǎn)P之間的距離d為縱坐標(biāo)，以參考線起始點(diǎn)到投影點(diǎn)P的曲線長度s為橫坐標(biāo)建立曲線坐標(biāo)系基準(zhǔn)(s,d)[10]。坐標(biāo)系之間的映射關(guān)系與轉(zhuǎn)化關(guān)系表示為：

式中，x為笛卡爾坐標(biāo)系下的車輛位置坐標(biāo)向量；s(t)、d(t)分別為t時(shí)刻車輛位置到參考線Lref上投影點(diǎn)的弧長距離與法向距離；nr(s(t))為投影點(diǎn)的單位法向量；r(s(t))為投影點(diǎn)上的位置向量。

為保證換道軌跡曲率、速度、加速度上的連續(xù)性及軌跡邊界條件的完整性，采用五次多項(xiàng)式曲線擬合換道軌跡。根據(jù)峰值加速度準(zhǔn)則，五次多項(xiàng)式函數(shù)比其他路徑函數(shù)更具舒適性優(yōu)勢[11]。在任意t時(shí)刻，換道軌跡可以表示為：

式中，a0～a5與b0～b5分為d、s方向上五次多項(xiàng)式函數(shù)的系數(shù)。

當(dāng)換道軌跡的起點(diǎn)、終點(diǎn)狀態(tài)確定時(shí)，可依據(jù)五次多項(xiàng)式換道軌跡推導(dǎo)出其一階微分及二階微分狀態(tài)。起點(diǎn)狀態(tài)由換道時(shí)的縱向速度及偏離道路中線距離決定，終點(diǎn)狀態(tài)依據(jù)換道任務(wù)的縱向偏移距離及目標(biāo)車速定義。在一個(gè)規(guī)劃周期τ中，五次多項(xiàng)式的系數(shù)可由起點(diǎn)、終點(diǎn)狀態(tài)及其一階、二階微分狀態(tài)求解得到，規(guī)劃周期τ由規(guī)劃起點(diǎn)時(shí)刻ts與規(guī)劃終點(diǎn)時(shí)刻te決定。

在每個(gè)規(guī)劃周期中，依據(jù)s、d方向起始狀態(tài)及終點(diǎn)狀態(tài)的采樣，依據(jù)五次多項(xiàng)式函數(shù)便可規(guī)劃出一系列備選換道軌跡序列集TS。

4 駕駛特征建模

通過采樣方法生成備選換道軌跡集后，還需定義合理的成本函數(shù)用于備選換道軌跡篩選。本文的研究目標(biāo)是從駕駛員換道軌跡中學(xué)習(xí)駕駛軌跡特征，因此，成本函數(shù)應(yīng)為考慮更加全面且能表征駕駛員特征的成本函數(shù)項(xiàng)，同時(shí)為逆強(qiáng)化學(xué)習(xí)過程需求定義合理的特征函數(shù)。考慮如下成本函數(shù)項(xiàng)：

在整個(gè)換道軌跡中，以軌跡曲線函數(shù)在任意一點(diǎn)的三階微分量表征換道過程中的沖擊度特征J，整個(gè)換道軌跡s、d方向上的沖擊度特征成本CJ定義為：

以軌跡曲線在某一點(diǎn)上的二階微分量表征換道過程中的加速度特征a，整個(gè)換道軌跡s、d方向上的加速度特征成本Ca定義為：

以換道軌跡曲線上某一點(diǎn)處的曲率為曲率特征κ，整個(gè)換道軌跡上的曲率特征成本Cκ定義為：

以換道過程中s方向?qū)嶋H速度與期望速度偏差量vdev定義特征成本Cvdev：

以換道軌跡偏離道路中線Lref(τ)的距離ddev定義特征成本Cddev：

通過將設(shè)計(jì)的各成本項(xiàng)整合，同時(shí)分配權(quán)重系數(shù)便構(gòu)成完整的成本函數(shù)COpt：

式中，λ N為每個(gè)成本項(xiàng)的系數(shù)權(quán)重向量；N為成本函數(shù)的最大指數(shù)系數(shù)；C=(CJ(s(t)),CJ(d(t)),Ca(s(t)),Ca(d(t)),Cκ(s(t),d(t)),Cvdev(s(t)),Cddev(d(t)))為成本項(xiàng)向量。

本文通過逆強(qiáng)化學(xué)習(xí)的方法學(xué)習(xí)得到權(quán)重向量系數(shù)λ，實(shí)現(xiàn)各成本項(xiàng)還原駕駛員特性分配。依據(jù)設(shè)計(jì)的成本函數(shù)定義逆強(qiáng)化學(xué)習(xí)中的特征函數(shù)向量f：

式中，fJ(s(t))、fJ(d(t))分別為s、d方向上的沖擊度特征函數(shù)；fa(s(t))、fa(d(t))分別為s、d方向上的加速特征函數(shù)；fκ(s(t),d(t))為s、d方向上的曲率特征函數(shù)；fvdev(s(t))為s方向上的速度偏差特征函數(shù)；fddev(d(t))為d方向上的距離偏差特征函數(shù)。

依據(jù)駕駛員多次自由換道情況下的離線換道軌跡點(diǎn)，擬合出一系列換道軌跡曲線TD=(TD1,TD2,TD3,…,TDn)，依據(jù)特征函數(shù)向量f計(jì)算出逆強(qiáng)化學(xué)習(xí)過程中駕駛員軌跡經(jīng)驗(yàn)特征值：

5 逆強(qiáng)化學(xué)習(xí)

逆強(qiáng)化學(xué)習(xí)的目的是生成與演示結(jié)果相似的軌跡，以特征值為相似性的評判度量。逆強(qiáng)化學(xué)習(xí)的關(guān)鍵是找到預(yù)期的參數(shù)λ使得期望特征與觀察到的經(jīng)驗(yàn)特征相匹配。以采樣軌跡為基礎(chǔ)，構(gòu)建軌跡的最大熵概率模型pMaxEnt，優(yōu)化問題的最大熵模型有如下形式：

式中，Z(λ)為滿足歸一化條件的正規(guī)化因子，歸一化條件為：

將λTf(TS)解釋為成本函數(shù)，與軌跡規(guī)劃部分的成本函數(shù)COpt相對應(yīng)，可以理解為駕駛員更有可能選擇成本較低的軌跡進(jìn)行換道軌跡規(guī)劃。權(quán)重向量參數(shù)λ的解析解通常無法計(jì)算，但可以計(jì)算關(guān)于λ的拉格朗日函數(shù)的梯度，該梯度是期望值與經(jīng)驗(yàn)特征值的差值：

通過對演示軌跡TD求對數(shù)似然函數(shù)得到：

求其關(guān)于λ的一階微分為：

式中，pλ(T)為λ權(quán)重下關(guān)于任意軌跡輸入的概率。

通過基于采樣的軌跡生成方法，可以簡捷地計(jì)算出期望特征值：

選擇合適的采樣軌跡數(shù)量可以優(yōu)化逆強(qiáng)化學(xué)習(xí)過程中的計(jì)算量?；谔卣髌ヅ涞淖畲箪胤植紗栴}等價(jià)于假設(shè)指數(shù)族分布時(shí)訓(xùn)練數(shù)據(jù)的最大似然問題，從而將目標(biāo)轉(zhuǎn)化為找到符合預(yù)期的一組演示的特征分布。找到期望的分布意味著計(jì)算參數(shù)權(quán)重向量λ，使得期望特征值與經(jīng)驗(yàn)特征值相匹配。參數(shù)向量λ無法求解，但可以根據(jù)這些參數(shù)計(jì)算梯度，從而應(yīng)用基于梯度的優(yōu)化。梯度調(diào)整優(yōu)化過程通過計(jì)算特征函數(shù)的全微分，同時(shí)控制步長使函數(shù)到達(dá)極小值。對于部分特征項(xiàng)不可解析的計(jì)算梯度，可采用數(shù)值積分及解析導(dǎo)數(shù)相結(jié)合的方式計(jì)算。曲率特征梯度的近似求解公式為：

式中，Δt為在規(guī)劃周期τ內(nèi)的采樣周期。

基于逆強(qiáng)化學(xué)習(xí)方法學(xué)習(xí)駕駛員換道軌跡特征的權(quán)重分配算法流程如圖3所示。

通過逆強(qiáng)化學(xué)習(xí)過程學(xué)習(xí)到權(quán)重向量λ后，依據(jù)λ為成本函數(shù)COpt各成本項(xiàng)分配權(quán)重篩選備選軌跡，便實(shí)現(xiàn)了包含駕駛員特征的換道軌跡生成。

6 試驗(yàn)驗(yàn)證與結(jié)果分析

為驗(yàn)證本文提出的基于逆強(qiáng)化學(xué)習(xí)的換道軌跡規(guī)劃的有效性，在“行遠(yuǎn)”自動(dòng)駕駛車輛試驗(yàn)平臺[12]上開展試驗(yàn)，分別執(zhí)行駕駛員換道軌跡點(diǎn)采集與實(shí)時(shí)換道軌跡規(guī)劃及跟蹤控制任務(wù)。駕駛員換道軌跡點(diǎn)處理及逆強(qiáng)化學(xué)習(xí)過程均離線完成。試驗(yàn)平臺硬件配置如圖4 所示：感知系統(tǒng)由雙目攝像頭及激光雷達(dá)構(gòu)成；定位系統(tǒng)配置差分GPS用于實(shí)現(xiàn)厘米級車輛定位與導(dǎo)航；所有算法部署在車載工控機(jī)上以實(shí)現(xiàn)車輛的感知、定位、決策、規(guī)劃及控制。

圖3 學(xué)習(xí)駕駛員換道特征分配權(quán)重算法流程

圖4 “行遠(yuǎn)”自動(dòng)駕駛車輛試驗(yàn)平臺

以重慶交通大學(xué)校園試驗(yàn)區(qū)作為試驗(yàn)場景分別進(jìn)行駕駛員1、駕駛員2 換道軌跡點(diǎn)的采集工作。試驗(yàn)場地如圖5a 所示，其為標(biāo)準(zhǔn)單向雙車道場地。駕駛員進(jìn)行自由換道操作，僅收集駕駛員從右向左的換道軌跡，且駕駛員每次換道僅跨越1 個(gè)車道位置?？紤]校園試驗(yàn)場場景，規(guī)定駕駛員理想換道車輛速度為35 km/h。為了提高軌跡的隨機(jī)性，不預(yù)先告知駕駛員采集任務(wù)，僅告知其需控制車速在35 km/h附近自由換道操作。

共采集到2名駕駛員有效換道軌跡20條，平滑濾波處理后駕駛員換道軌跡如圖5b、圖5d所示。2名駕駛員均具有3～5 年駕齡，能夠穩(wěn)定執(zhí)行換道操作，依據(jù)換道軌跡集邊界定義駕駛員換道區(qū)域如圖5c、圖5e 所示。在曲線坐標(biāo)系下，依據(jù)換道軌跡點(diǎn)橫、縱坐標(biāo)以及每個(gè)軌跡點(diǎn)的時(shí)間序列，擬合s、d方向上的五次多項(xiàng)式函數(shù)，并依據(jù)式（11）計(jì)算出駕駛員各換道特征經(jīng)驗(yàn)特征值，統(tǒng)計(jì)結(jié)果如表1所示。相比于駕駛員換道軌跡縱向相關(guān)特征，橫向相關(guān)特征更為顯著。

圖5 校園試驗(yàn)場及駕駛員換道軌跡

將駕駛員換道軌跡經(jīng)驗(yàn)特征值代入逆強(qiáng)化學(xué)習(xí)過程中進(jìn)行迭代學(xué)習(xí)，如圖6 所示，基于梯度下降的權(quán)重系數(shù)調(diào)整策略導(dǎo)致特征值差值曲線出現(xiàn)微小振幅，而非單調(diào)下降。在經(jīng)過接近25次迭代后，2位駕駛員的經(jīng)驗(yàn)特征值向量與期望特征值向量的差值基本收斂。由于軌跡規(guī)劃基于采樣的方式完成，僅能在軌跡集中篩選出最接近駕駛特征的某條軌跡，導(dǎo)致特征差值不為零。依據(jù)學(xué)習(xí)得到的權(quán)重向量λ，對規(guī)劃系統(tǒng)的成本函數(shù)權(quán)重進(jìn)行重新分配調(diào)整，依據(jù)調(diào)整更新后的成本函數(shù)篩選實(shí)時(shí)規(guī)劃的備選軌跡。

表1 駕駛員換道特征值

圖6 特征值差值迭代過程

圖7所示為成本權(quán)重更新前、后實(shí)時(shí)軌跡規(guī)劃對比情況。從圖7中可以看出：未調(diào)整權(quán)重情況下實(shí)時(shí)車輛備選規(guī)劃軌跡序列大部分偏離2 位駕駛員的換道軌跡區(qū)域；學(xué)習(xí)駕駛員1 換道特征后，車輛實(shí)時(shí)規(guī)劃的換道軌跡基本包含在駕駛員1換道區(qū)域內(nèi)，部分偏離駕駛員2換道區(qū)域；學(xué)習(xí)駕駛員2換道特征后，車輛規(guī)劃的換道軌跡基本包含在駕駛員2換道軌跡區(qū)域內(nèi)。

如圖8、圖9 所示，將成本權(quán)重更新前、后換道軌跡特征對比情況以百分率形式表現(xiàn)，即以駕駛員特征為基準(zhǔn)。自動(dòng)駕駛車輛局部軌跡規(guī)劃系統(tǒng)在均等權(quán)重比下，s方向上的特征偏離基準(zhǔn)較小，能較好地匹配，而在d方向上，調(diào)整前特征偏離基準(zhǔn)較大。學(xué)習(xí)駕駛員特征后，特征偏離情況降低，向駕駛員特征靠近。對比調(diào)整前、后，表征乘員舒適度的縱向特征J與加速度特征a指標(biāo)明顯降低，且趨近于人類駕駛員換道操作水平，改善了換道過程中的乘員舒適性體驗(yàn)。

將駕駛員換道軌跡曲線及換道特征進(jìn)行對比，結(jié)合成本權(quán)重更新前、后的試驗(yàn)結(jié)果可以發(fā)現(xiàn)：在均等成本函數(shù)權(quán)重下生成的軌跡部分偏離駕駛員換道軌跡區(qū)域，相對于駕駛員換道軌跡曲線，曲率變換更為劇烈，換道軌跡曲線特征除縱向特征外，較駕駛員各特征相差較遠(yuǎn)；通過逆強(qiáng)化學(xué)習(xí)方法更新成本權(quán)重后的規(guī)劃軌跡基本包含在駕駛員換道軌跡內(nèi)，換道軌跡曲線各特征與駕駛員特征相近，更能反映駕駛員主觀感受。

圖7 成本權(quán)重更新前、后軌跡規(guī)劃對比

圖8 學(xué)習(xí)駕駛員1特征對比

圖9 學(xué)習(xí)駕駛員2特征對比

7 結(jié)束語

本文采用軌跡采樣及成本優(yōu)化相結(jié)合的軌跡規(guī)劃方法設(shè)計(jì)了自動(dòng)駕駛車輛軌跡規(guī)劃算法。考慮換道規(guī)劃過程中的駕駛員主觀感受，運(yùn)用最大熵逆強(qiáng)化學(xué)習(xí)策略從駕駛員換道軌跡中學(xué)習(xí)軌跡特征分配，并將學(xué)習(xí)得到的權(quán)重向量用于成本函數(shù)權(quán)重分配，依據(jù)更新后的成本函數(shù)在采樣軌跡中篩選匹配，最終生成與駕駛員換道軌跡特征相近的換道軌跡。試驗(yàn)結(jié)果表明，本文開發(fā)的基于逆強(qiáng)化學(xué)習(xí)的換道軌跡能較好地包含在駕駛員換道區(qū)域內(nèi)，且軌跡特征與駕駛員軌跡特征相近，即滿足擬人化駕駛需求。