對抗強化學(xué)習(xí)最新研究：可用于碰撞避免機制

隨著人工智能技術(shù)的迅速發(fā)展，人們普遍認(rèn)為，未來的交通系統(tǒng)將由自動駕駛汽車（AV）所主導(dǎo)?？梢哉f，對于更為安全的交通設(shè)施的需求是引起人們對自動駕駛汽車感興趣并推動其發(fā)展的一個主要推動力。但不可否認(rèn)，就現(xiàn)在而言，可靠和具有魯棒性的自動駕駛汽車技術(shù)的發(fā)展仍然是一個持續(xù)的挑戰(zhàn)，對可靠的運動規(guī)劃和碰撞避免機制的研究尤其重要。最近，堪薩斯州立大學(xué)（Kansas State University，KSU）的科學(xué)家提出了一種基于深度強化學(xué)習(xí)的新框架，用于對自動駕駛汽車的碰撞避免機制的行為進行基準(zhǔn)測試。

現(xiàn)如今，隨著人們對自主導(dǎo)航興趣的日益增長，關(guān)于運動規(guī)劃和碰撞避免技術(shù)（collision avoidance techniques）的研究已經(jīng)加速了全新提議和新進展的速度。然而，新技術(shù)的復(fù)雜性及其安全性要求使得當(dāng)前的大部分基準(zhǔn)測試框架不充分，因此對高效的比較技術(shù)的需求沒有得到滿足。這項研究提出了一種基于深度強化學(xué)習(xí)的新框架，用于在處理最佳對抗性智能體的最壞情況下，對碰撞避免機制的行為進行基準(zhǔn)測試，該最佳對抗性智能體進行訓(xùn)練從而將系統(tǒng)驅(qū)動到不安全狀態(tài)。我們將這個框架的體系結(jié)構(gòu)和流程描述為一個基準(zhǔn)測試解決方案，并通過一個比較兩種碰撞避免機制的可靠性的實際案例研究來證明其有效性，從而對有意識的碰撞嘗試做出回應(yīng)。

人們普遍認(rèn)為，未來的交通系統(tǒng)將由自動駕駛汽車（AV）所主導(dǎo)。隨著近年來這一領(lǐng)域的迅速發(fā)展，許多人預(yù)測這種轉(zhuǎn)變將在未來十年內(nèi)發(fā)生。對更為安全的交通運輸?shù)男枨?，是引起人們興趣和推動自動駕駛汽車發(fā)展的一個主要動機。一般認(rèn)為，用專家計算模型代替人類駕駛員的內(nèi)在缺陷，可以顯著減少由駕駛員的誤差所導(dǎo)致的事故數(shù)量。然而，可靠和具有魯棒性的自動駕駛汽車技術(shù)的發(fā)展仍然是一個持續(xù)的挑戰(zhàn)，并且人們正在積極從各個研究和發(fā)展方向來實現(xiàn)這一目標(biāo)。

對可靠的運動規(guī)劃和碰撞避免機制的研究尤其重要。在過去數(shù)十年的時間里，科學(xué)家們已經(jīng)提出了許多解決這個問題的方法，從控制理論形式化和最優(yōu)控制方法到潛在的基于場和規(guī)則的技術(shù)（field- and rule-based techniques）等。最近，機器學(xué)習(xí)的進步使得基于諸如模仿學(xué)習(xí)和深度強化學(xué)習(xí)（RL）等技術(shù)的全新數(shù)據(jù)驅(qū)動的碰撞避免方法成為可能。然而，隨著其部署環(huán)境和機制的日益復(fù)雜，為這些解決方案提供安全保障的挑戰(zhàn)變得越來越困難。一個值得注意的例子是交通碰撞避免系統(tǒng)（TCAS），在它廣泛部署到NextGen商用飛機之前，它就已經(jīng)滿足了美國聯(lián)邦航空局（FAA）的嚴(yán)格安全要求。然而，最近的一些表現(xiàn)表明，它在現(xiàn)代高密度空域中非常不可靠，在一定程度上，它可能會導(dǎo)致不可避免的碰撞狀態(tài)（ICS）——不管未來的軌跡如何，最終都會發(fā)生碰撞。此外，最近的研究表明，自動感知和避免機制可以被對抗性地加以利用來操縱自動駕駛車輛的運動軌跡。

作為回應(yīng)，科學(xué)家們提出了越來越多的緩解技術(shù)和全新的安全運動規(guī)劃方法，但每一種都有特定的基于案例的假設(shè)和驗證程序。因此，對這些方法進行定量比較變得非常困難。當(dāng)前最為先進的方法包括在運動規(guī)劃和碰撞避免中對安全行為進行基準(zhǔn)測試的幾次嘗試，但是許多現(xiàn)有的框架未能滿足基于機器學(xué)習(xí)的新自適應(yīng)技術(shù)的要求。而且，目前的基準(zhǔn)測試框架并不能提供全面的和具有魯棒性的探測機制，用于在不理想狀態(tài)和軌跡的復(fù)雜空間中進行探索。這種框架中的突出方法是基于隨機化或基于情景的障礙產(chǎn)生，這些障礙很容易丟失特定于被測機制的關(guān)鍵ICS或其他不需要的狀態(tài)。這些框架中的另一種方法依賴于計算上昂貴的碰撞狀態(tài)可達性分析技術(shù)，而這也無法為安全運行的關(guān)鍵邊界提供具體的保證。

為了彌補以安全為中心的基準(zhǔn)測試的缺陷，本文提出了一種基于機器學(xué)習(xí)的新框架，用于在與最優(yōu)對抗性智能體進行交互的最壞情況下，對新技術(shù)的可靠性進行基準(zhǔn)測試。該框架采用深度強化學(xué)習(xí)的強大的探索和優(yōu)化性能來訓(xùn)練對抗性自主智能體，而該智能體的目標(biāo)是學(xué)習(xí)旨在將系統(tǒng)驅(qū)動到ICS和其他不安全狀態(tài)的最佳導(dǎo)航策略。根據(jù)分析的參數(shù)和目標(biāo)，這些目標(biāo)可能包括對抗性智能體與自動駕駛汽車的直接碰撞，或利用避免碰撞機制來操縱自動駕駛汽車的軌跡以改變和控制其路徑，或間接誘發(fā)自動駕駛汽車和環(huán)境中的其他物體之間的碰撞。

在此基礎(chǔ)上，這項研究的主要貢獻包括：

1）提出碰撞避免算法的最壞情況基準(zhǔn)測試的計算框架和處理流程，且獨立于其復(fù)雜性、隨機性以及自適應(yīng)動力學(xué)。

2）提出深度強化學(xué)習(xí)過程流程以無縫地適應(yīng)于被測系統(tǒng)，并克服完全隨機或基于情景的探索機制的缺點。

3）提出關(guān)于碰撞避免算法標(biāo)準(zhǔn)化比較的全新的衡量指標(biāo)。

4）通過一個比較兩種碰撞避免機制應(yīng)對故意碰撞企圖的可靠性的實際案例研究，來證明所提出框架的實際應(yīng)用和效果。

總而言之，在本文中，我們提出了一個流程和框架，它利用對抗性深度強化學(xué)習(xí)來衡量自動駕駛汽車的運動規(guī)劃和碰撞避免機制的可靠性。我們已經(jīng)確立了這一框架的優(yōu)勢，要超過當(dāng)前的基準(zhǔn)測試規(guī)劃，其中包括靈活性和通用性、通過針對特定系統(tǒng)下測試、樣本效率和自定義探索機制對對抗性策略進行訓(xùn)練獲得的適用性探測，以及為不同系統(tǒng)之間的基準(zhǔn)測試和比較提供基線（例如最壞的情況）測量。

可以這樣說，本文所提出框架的直接架構(gòu)為進一步研究提供了一些潛在的研究領(lǐng)域。緊隨而來的下一個步驟就是將此框架應(yīng)用于顯著的和最近發(fā)布的運動規(guī)劃和碰撞避免技術(shù)中，目的是為相關(guān)研究項目創(chuàng)建參考基準(zhǔn)。另一個有發(fā)展前景的研究領(lǐng)域是檢查近期發(fā)布技術(shù)的適用性，這些已發(fā)布的技術(shù)聲稱在對抗性干擾下進行訓(xùn)練可以增強策略的適應(yīng)力和魯棒性。因此，通過對對抗性策略和碰撞避免的強化學(xué)習(xí)模型的結(jié)合性訓(xùn)練進行調(diào)查，可能會出現(xiàn)潛在的緩解和防御技術(shù)。