基于深度強(qiáng)化學(xué)習(xí)的無人駕駛智能決策控制研究

朱武哲

摘 要：隨著人工智能技術(shù)的發(fā)展，越來越多的智能應(yīng)用正在潛移默化地改變我們的生活。普及無人駕駛車輛是未來交通的發(fā)展方向，決策控制問題則是無人駕駛技術(shù)發(fā)展需要面對的重要問題。本文針對無人駕駛決策控制問題，提出將示教學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合的解決方案，嘗試吸取示教學(xué)習(xí)算法的優(yōu)點(diǎn)，對強(qiáng)化學(xué)習(xí)算法訓(xùn)練效果進(jìn)行提升?；谏疃却_定性策略梯度算法（Deep Deterministic Policy Gradient， DDPG），本文提出了融合示教的 DDPG 算法（DDPG with Demonstration， DDPGwD），并使用了開源微軟仿真環(huán)境對算法進(jìn)行了仿真驗證，證明了上述算法在自動駕駛決策控制中的有效性。

關(guān)鍵詞：無人駕駛智能決策;深度確定性策略梯度算法;示教學(xué)習(xí);強(qiáng)化學(xué)習(xí)

一 引言

隨著自動駕駛技術(shù)的不斷突破，無人駕駛車輛的生產(chǎn)已經(jīng)向?qū)嵱没~進(jìn)，在未來數(shù)年內(nèi)將對提高道路安全、促進(jìn)交通管理和改善城市環(huán)保等產(chǎn)生顛覆性影響。據(jù)統(tǒng)計，在所有車輛肇事情況中，九成以上的車禍?zhǔn)怯神{駛員的失誤造成的。因此，無人駕駛功能的出現(xiàn)，有可能大幅降低交通肇事案件的數(shù)量。我國對于無人駕駛的研究起步較早，但是隨著對自動駕駛應(yīng)變能力要求的不斷提高，新一代的無人駕駛車輛既需要對復(fù)雜的道路場景進(jìn)行識別與分析，又需要克服不同環(huán)境下的傳感器噪聲等問題，同時還需要實時應(yīng)對各種突發(fā)狀況，這對自動駕駛?cè)斯ぶ悄艿目焖賹W(xué)習(xí)能力、泛化能力提出了更高的要求，成為急需攻克的難點(diǎn)問題。當(dāng)前，制約無人駕駛技術(shù)應(yīng)用的一個關(guān)鍵問題是如何保證車輛在不可控復(fù)雜環(huán)境中長時間安全自主行駛。在不可控復(fù)雜交通環(huán)境中，道路情況復(fù)雜（包括道路標(biāo)志缺失、被遮擋、表面破損，行人及車輛共存等），道路周圍環(huán)境多變（包括天氣、光照和氣候多變，城市部分片區(qū)改造或重新規(guī)劃等）。在不可控環(huán)境中要求無人駕駛車輛具有更加智能的決策控制能力，能夠綜合利用感知信息，在緊急突發(fā)情況下做出安全合理的決策控制。以示教學(xué)習(xí)（Imitation Learning）為代表的一系列通過人類示教來引導(dǎo)機(jī)器進(jìn)行學(xué)習(xí)的智能方法，已經(jīng)在機(jī)器人與智能控制領(lǐng)域取得了很大的成就。但是，如何將人類的經(jīng)驗用于汽車自動駕駛?cè)斯ぶ悄艿挠?xùn)練，尤其是在示教樣本較少的情況下，如何應(yīng)付不可控復(fù)雜交通場景、如何提高泛化能力，都是無人駕駛研究的難點(diǎn)。無人駕駛的決策與控制模塊是決定無人駕駛汽車安全性、穩(wěn)定性的關(guān)鍵。圖1展示了谷歌無人車和特斯拉自動駕駛模式下發(fā)生的事故。會發(fā)生這些事故，主要原因是面對不可控的突發(fā)交通狀況時，無人車無法做出最佳的實時決策與控制。因此，不可控復(fù)雜環(huán)境中的無人駕駛的決策和控制，逐漸成為制約無人駕駛技術(shù)發(fā)展的關(guān)鍵問題。

二 國內(nèi)外研究現(xiàn)狀

強(qiáng)化學(xué)習(xí)是一種再激勵學(xué)習(xí)算法，和上述的監(jiān)督學(xué)習(xí)方法不同，它通過和環(huán)境交互試錯進(jìn)行在線的學(xué)習(xí)，獲取反饋，從而優(yōu)化策略，不依賴環(huán)境模型和先驗知識。近年來很多學(xué)者將強(qiáng)化學(xué)習(xí)用于無人車路徑規(guī)劃上面。Liwei Huang等在動態(tài)環(huán)境下基于強(qiáng)化學(xué)習(xí)進(jìn)行車輛的路徑規(guī)劃和避障，將狀態(tài)空間分為八個角度區(qū)間，動作域分為三向前、左轉(zhuǎn)和右轉(zhuǎn)三個動作，并加入ε-貪婪策略改進(jìn)了獎勵函數(shù)，實現(xiàn)了無人小車導(dǎo)航，但是該方法未考慮后退動作，難以解決若前方堵死時車輛如何選擇動作的問題，還有避讓的路線是折線，并不是光滑的，與現(xiàn)實車輛行駛路線不符;董培方等加入初始引力勢場和陷阱搜索的改進(jìn)Q-learning算法，在其基礎(chǔ)上對環(huán)境進(jìn)行陷阱區(qū)域逐層搜索，剔除凹形陷阱區(qū)域Q值迭代，加快了路徑規(guī)劃的收斂速度，搜索到較好的路徑，但是其收斂速度還有待提高，規(guī)劃的路徑也可能不是最優(yōu)的;張明雨利用代價地圖的cost信息來構(gòu)建狀態(tài)空間，動作空間，獎賞函數(shù)和值函數(shù)，然后對移動機(jī)器人進(jìn)行訓(xùn)練，獲得Q值表，然后在后面的導(dǎo)航過程中遇到障礙物時，用學(xué)習(xí)到的策略選擇動作，避過障礙物，使用代價地圖結(jié)合Q-learning算法來修改全局路徑實現(xiàn)機(jī)器人的動態(tài)導(dǎo)航;張汕播等針對未知環(huán)境，利用情感學(xué)習(xí)機(jī)制輔助強(qiáng)化學(xué)習(xí)系統(tǒng)，給出算法在當(dāng)時環(huán)境下的決策空間，實現(xiàn)agent的實時決策，最后將強(qiáng)化學(xué)習(xí)模型和A*算法結(jié)合構(gòu)建路徑規(guī)劃系統(tǒng)。

現(xiàn)在大部分的無人駕駛車輛都是在無人區(qū)域或者簡單的道路環(huán)境下行駛的，但是現(xiàn)實的路況都是實時變化的，障礙物分布隨機(jī)且多，我們希望在復(fù)雜動態(tài)環(huán)境下無人車輛能自主搜索出合適的路徑并自主避讓障礙物。

三 DDPGwD 算法框架

本文采用組合運(yùn)動規(guī)劃方法進(jìn)行無人車的行為規(guī)劃。運(yùn)動規(guī)劃的組合方法通過連續(xù)的配置空間找到路徑，而無需借助近似值。組合方法通過對規(guī)劃問題建立離散表示來找到完整的解，首先使用路徑規(guī)劃器生成備選的路徑和目標(biāo)點(diǎn)（這些路徑和目標(biāo)點(diǎn)是融合動力學(xué)可達(dá)的），然后通過優(yōu)化算法選擇最優(yōu)的路徑。

在大規(guī)模學(xué)習(xí)時強(qiáng)化學(xué)習(xí)普遍有收斂速度慢、規(guī)劃效率低的缺點(diǎn)，對于無人車輛來說，其“試錯”機(jī)制可能會使車輛撞擊到障礙物，不能直接應(yīng)用于真實環(huán)境中。針對上述問題，擬加入人工勢場法對環(huán)境的勢能進(jìn)行賦值作為搜索啟發(fā)信息對Q值進(jìn)行初始化，從而在學(xué)習(xí)初期便能引導(dǎo)移動機(jī)器人快速收斂，提高規(guī)劃效率，使用攝像機(jī)、激光雷達(dá)等識別周圍環(huán)境，結(jié)合強(qiáng)化學(xué)習(xí)進(jìn)行動態(tài)的路徑規(guī)劃，流程圖如下：

利用強(qiáng)化學(xué)習(xí)解決機(jī)器人路徑規(guī)劃問題時，機(jī)器人會在相應(yīng)的環(huán)境中“試錯”學(xué)習(xí)，在執(zhí)行動作的同時會得到相應(yīng)的獎勵，考慮動作選擇和回報的馬爾科夫過程稱為馬爾科夫決策過程。強(qiáng)化學(xué)習(xí)的各種方法都是以馬爾科夫決策過程（MDP）為基礎(chǔ)的。

S：表示系統(tǒng)環(huán)境狀態(tài)的集合;

A：表示Agent可采取的動作集合;

P（s|s，a）描述在當(dāng)前狀態(tài)s∈S下，Agent采取動作a∈A，轉(zhuǎn)移到s∈S的概率;

R（s，a）表示在狀態(tài)s下Agent執(zhí)行動作a后獲得的獎賞值;

目標(biāo)就是求出累計獎勵最大的策略的期望。

根據(jù)求解方法不同，強(qiáng)化學(xué)習(xí)的算法主要分為兩大類：基于值的算法（Value-Based）和基于策略的算法（Policy-Based）。

四 試驗驗證

（一）環(huán)境因素分析

外界環(huán)境因素作為無人駕駛車輛的主要信息輸入，對無人駕駛過程中的環(huán)境感知、系統(tǒng)決策，路徑規(guī)劃和系統(tǒng)控制都有十分重要的影響。外界環(huán)境因素本身也是一個龐大而且復(fù)雜的系統(tǒng)，從廣義上講，外界環(huán)境因素主要包括靜態(tài)環(huán)境因素和動態(tài)環(huán)境因素。其中靜態(tài)的環(huán)境因素有不同類型的道路和交通標(biāo)志、道路上和兩邊的場景以及靜態(tài)障礙物等;動態(tài)的環(huán)境因素有車輛、行人、交通信號燈以及動態(tài)障礙物等。

1.結(jié)構(gòu)化道路

影響無人駕駛車輛的主要靜態(tài)環(huán)境因素是道路和靜態(tài)障礙物，道路兩旁的建筑和場景對于車輛路徑規(guī)劃的影響較小，故本文不做討論。其中道路又分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路兩種，在結(jié)構(gòu)化道路中又有直道、彎道、十字路口、Y型路口、環(huán)島、主干道的出口和入口以及這些要素的組合道路等，對于非結(jié)構(gòu)化道路本文不做討論。

①直道，作為結(jié)構(gòu)化道路中最簡單的組成元素，是結(jié)構(gòu)化道路主要的存在形式，大多數(shù)的道路都是以盡量直道的原則建造。直道又分為單車道和多車道，直道的邊界都是直線，主要的參數(shù)是道路的長度、寬度和邊界位置等信息。車輛在直道上行駛的方式較為固定，一般是直行、換道行駛，同時采取一些避障行為。

②彎道，通常作為道路的連接，彎道也是典型路況中的典型組成元素。由于其特殊性，彎道是交通事故的多發(fā)地。所以在做無人駕駛車輛的局部路徑規(guī)劃時，要著重考慮車輛在彎道的曲率值下的行駛能力。車輛在彎道上行駛的類型一般是沿著彎道作轉(zhuǎn)向行駛。

③匯入和匯出道路，兩條或者多條道路的合并形成匯入道路。單條道路分成多條道路形成匯出道路。車輛在匯入?yún)R出道路上，一般會進(jìn)行變道和避障行駛。

④十字路口，兩條或者多條道路相會產(chǎn)生十字路口，無人駕駛車輛的路徑規(guī)劃主要考慮來往車輛和行人。車輛在十字路口上，一般有轉(zhuǎn)向、調(diào)頭和直行等行駛方式。

⑤U型路，U型路通常是曲率比較大的彎道，有可能出現(xiàn)在雙向直道上需要調(diào)頭的位置。和彎道相類似，車輛在U型路上，一般是沿著U型路作調(diào)頭行駛，和彎道不同時是，轉(zhuǎn)向角度更大，目標(biāo)點(diǎn)一般在身后。

2.行人

行人在道路上行走一般具有很大的隨意性，是道路交通上的不確定因素，同時由于行人缺少相應(yīng)保護(hù)，往往在發(fā)生交通事故時會受到較大的傷害。行人在道路上行走一般可以分為兩類，一類是沿著道路行走，另一類是橫穿道路行走。由于行人具有隨意性，無人駕駛車輛如何檢測和避讓行人是研究的重點(diǎn)和難點(diǎn)之一。

為了驗證DDPGwD最終訓(xùn)練得到的模型泛化性，我們在微軟開源仿真平臺測試軌道中進(jìn)行了測試，軌道形狀及場景如下圖所示，無人車能夠順利地完成整圈的駕駛。

綜合上述仿真實驗，我們提出的DDPGwD算法能夠合理地解決無人駕駛的決策控制問題，并且通過引入示教監(jiān)督數(shù)據(jù)，能夠在相同的獎勵值函數(shù)下、在一定量的訓(xùn)練回合中獲得比原始DDPG算法更多的訓(xùn)練步數(shù)，可以更快地學(xué)到一個相對合理的策略。在弱化獎勵值函數(shù)后，我們提出的算法效果雖有所下降，但相較于DDPG算法仍然能夠維持在一個較高的訓(xùn)練水平。

五 結(jié)語

本文介紹了基本深度強(qiáng)化算法原理，分析了DDPGwD算法作為無人駕駛車輛局部路徑規(guī)劃與決策算法的優(yōu)缺點(diǎn)。針對無人駕駛車輛使用DDPG算法進(jìn)行局部路徑規(guī)劃的缺點(diǎn)，提出了基于場景約束的DDPGwD規(guī)劃方法，在此基礎(chǔ)上設(shè)計了基于示教學(xué)習(xí)與深度強(qiáng)化學(xué)習(xí)融合的路徑節(jié)點(diǎn)修剪與優(yōu)化方法，最后結(jié)合整車轉(zhuǎn)向控制模型對路徑進(jìn)行了進(jìn)一步的優(yōu)化。