對(duì)抗深度強(qiáng)化學(xué)習(xí)為自動(dòng)駕駛汽車保駕護(hù)航

□文/ Aidin Ferdowsi、 Ursula Challita、Walid Saad、Narayan B. Mandayam

對(duì)于自動(dòng)駕駛汽車（AV）而言，要想在未來(lái)的智能交通系統(tǒng)中以真正自主的方式運(yùn)行，它必須能夠處理通過(guò)大量傳感器和通信鏈路所收集的數(shù)據(jù)。這對(duì)于減少車輛碰撞的可能性和改善道路上的車流量至關(guān)重要。然而，這種對(duì)通信和數(shù)據(jù)處理的依賴性使得AV很容易受到網(wǎng)絡(luò)物理攻擊。最近，美國(guó)弗吉尼亞理工大學(xué)電氣與計(jì)算機(jī)工程系的Aidin Ferdowsi和Walid Saad教授、瑞典愛(ài)立信研究院的Ursula Challita教授，以及美國(guó)羅格斯大學(xué)的Narayan B. Mandayam教授，針對(duì)自動(dòng)駕駛汽車系統(tǒng)中的“安全性”問(wèn)題，提出了一種新型對(duì)抗深度強(qiáng)化學(xué)習(xí)（RL）框架，以解決自動(dòng)駕駛汽車的安全性問(wèn)題。

可以這樣說(shuō)，為了能夠在未來(lái)的智能城市中有效地運(yùn)行，自動(dòng)駕駛汽車（AV）必須依靠車內(nèi)傳感器，如攝像頭和雷達(dá)，以及車輛間的通信。這種對(duì)于傳感器和通信鏈路的依賴使得AV暴露于攻擊者的網(wǎng)絡(luò)物理（CP）攻擊之下，他們?cè)噲D通過(guò)操縱它們的數(shù)據(jù)來(lái)控制AV。因此，為了確保安全和最佳的AV動(dòng)力學(xué)控制，AV中的數(shù)據(jù)處理功能必須針對(duì)這種CP攻擊具有強(qiáng)大的魯棒性。為此，本文分析了在存在CP攻擊情況下監(jiān)視AV動(dòng)力學(xué)的狀態(tài)估計(jì)過(guò)程，并提出了一種新的對(duì)抗深度強(qiáng)化學(xué)習(xí)（RL）算法，以最大化AV動(dòng)力學(xué)控制針對(duì)CP攻擊的魯棒性。我們?cè)诓┺恼摽蚣苤袑?duì)攻擊者的行為和AV對(duì)CP攻擊的反應(yīng)進(jìn)行了研究。在制定的游戲中，攻擊者試圖向AV傳感器讀數(shù)中注入錯(cuò)誤數(shù)據(jù)，以操縱車輛間的最佳安全間距，并潛在地增加AV事故的風(fēng)險(xiǎn)或減少道路上的車流量。與此同時(shí)，AV作為一名防守者，試圖將間距的偏差最小化，以確保具有針對(duì)攻擊者行為的魯棒性。由于AV沒(méi)有關(guān)于攻擊者行為的信息，并且由于數(shù)據(jù)值操作的無(wú)限可能性，因此玩家以往交互的結(jié)果被輸入到長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）塊中。每個(gè)玩家的LSTM塊學(xué)習(xí)由其自身行為產(chǎn)生預(yù)期間距偏差，并將它們饋送給其RL算法。然后，攻擊者的RL算法選擇能夠最大化間距偏差的動(dòng)作，而AV的RL算法試圖找到最小化這種偏差的最佳動(dòng)作。模擬結(jié)果表明，我們所提出的對(duì)抗深度RL算法可以提高AV動(dòng)力學(xué)控制的魯棒性，因?yàn)樗梢宰钚』疉V間的間距偏差。

圖1：文中所提出的對(duì)抗深度強(qiáng)化學(xué)習(xí)算法的體系結(jié)構(gòu)

智能交通系統(tǒng)（ITS）將包括自動(dòng)駕駛汽車（AV）、路邊智能傳感器（RSS）、車輛通信，甚至是無(wú)人機(jī)。為了在未來(lái)的ITS中能夠以真正自主的方式運(yùn)行，AV必須能夠處理通過(guò)大量傳感器和通信鏈路所收集的大量ITS數(shù)據(jù)。這些數(shù)據(jù)的可靠性對(duì)于減少車輛碰撞的可能性和改善道路上的車流量至關(guān)重要。然而，這種對(duì)通信和數(shù)據(jù)處理的依賴性使得AV很容易受到網(wǎng)絡(luò)物理攻擊。特別是，攻擊者可能會(huì)在AV數(shù)據(jù)處理階段進(jìn)行插入，通過(guò)注入錯(cuò)誤數(shù)據(jù)來(lái)降低測(cè)量的可靠性，并最終導(dǎo)致事故或危及ITS中的交通流量。這樣的流量中斷還可以波及到其他相互依賴的關(guān)鍵基礎(chǔ)設(shè)施，例如為ITS提供服務(wù)的電網(wǎng)或蜂窩通信系統(tǒng)。

最近，科學(xué)家們已經(jīng)提出了一些解決車輛內(nèi)部安全問(wèn)題的安全性解決方案。P.Kleberger、T. Olovsson和E. Jonsson在他們所著的《聯(lián)網(wǎng)汽車車載網(wǎng)絡(luò)的安全問(wèn)題》中，確定了車輛控制器的關(guān)鍵漏洞所在，并提出了許多入侵檢測(cè)算法用以保護(hù)該控制器。此外，在《對(duì)聯(lián)網(wǎng)汽車的實(shí)際無(wú)線攻擊和車輛內(nèi)部的安全協(xié)議》中，作者指出，AVs當(dāng)前安全協(xié)議中的遠(yuǎn)程無(wú)線攻擊可能會(huì)中斷其控制器區(qū)域網(wǎng)絡(luò)。他們分析了AVs車輛內(nèi)部網(wǎng)絡(luò)對(duì)局外無(wú)線攻擊的脆弱性。同時(shí)，《插入式車輛的安全性問(wèn)題》的作者解決了插電式電動(dòng)汽車的安全性挑戰(zhàn)，同時(shí)考慮了它們對(duì)電力系統(tǒng)的影響。此外，在《關(guān)于嵌入式汽車網(wǎng)絡(luò)安全威脅和保護(hù)機(jī)制的調(diào)查》中介紹了嵌入式汽車網(wǎng)絡(luò)安全威脅和保護(hù)機(jī)制的調(diào)查。

此外，科學(xué)家們還研究了車輛通信安全挑戰(zhàn)和解決方案，分析了當(dāng)前車輛通信體系架構(gòu)的安全漏洞。另外，科學(xué)家們發(fā)現(xiàn)，通過(guò)使用短期認(rèn)證方案和合作車輛計(jì)算架構(gòu)，可以減輕由信標(biāo)加密引起的計(jì)算開銷。

圖2：在攻擊者只攻擊信標(biāo)信息的情況下，AV和攻擊者的行為、regret以及我們提出的算法的偏差。

然而，在設(shè)計(jì)安全解決方案時(shí)，以往的一些研究成果中的體系構(gòu)架和解決方案沒(méi)有兼顧AV 的網(wǎng)絡(luò)層與物理層之間的相互依賴性。此外，現(xiàn)有的研究沒(méi)有對(duì)攻擊者的行為和目標(biāo)進(jìn)行合理的建模。在這種情況下，攻擊者的行為和目標(biāo)的這種網(wǎng)絡(luò)物理依賴性將有助于提供更好的安全解決方案。另外，在一些以往的研究成果中，現(xiàn)有技術(shù)沒(méi)有提供能夠增強(qiáng)AV動(dòng)力學(xué)控制應(yīng)對(duì)攻擊的魯棒性的解決方案。然而，設(shè)計(jì)一個(gè)最佳且安全的ITS需要對(duì)車輛間傳感器和車輛間通信的攻擊具有魯棒性。而且，現(xiàn)有的ITS安全性研究往往假設(shè)攻擊者的行為處于穩(wěn)定狀態(tài)，然而在許多真實(shí)情況下，攻擊者可能會(huì)自適應(yīng)地改變其策略以增強(qiáng)攻擊對(duì)ITS的影響。

因此，本文提出了一種新型對(duì)抗式深度強(qiáng)化學(xué)習(xí)（RL）框架，旨在提供具有魯棒性的AV控制。特別要強(qiáng)調(diào)的是，我們提出了一種車輛跟隨模型（car following model），在該模型中，我們將關(guān)注的重點(diǎn)放在緊跟在另一個(gè)AV后的一個(gè)AV的控制上。這樣的模型是恰當(dāng)?shù)?，因?yàn)樗鼤?huì)捕捉AV的動(dòng)力學(xué)控制，同時(shí)記錄AV的傳感器讀數(shù)和信標(biāo)。我們考慮通過(guò)車內(nèi)傳感器（例如攝像頭、雷達(dá)、RSS、車內(nèi)信標(biāo)）收集領(lǐng)先AV的四個(gè)信息源。我們認(rèn)為攻擊者可以向這些信息中心注入不良數(shù)據(jù)，并試圖增加事故風(fēng)險(xiǎn)或減少車流量。相比之下，AV的目標(biāo)是保持對(duì)攻擊者的數(shù)據(jù)注入攻擊（data injection attacks）具有魯棒性的同時(shí)，最大限度地控制其速度。為了分析AV和攻擊者之間的交互，我們提出了一個(gè)博弈問(wèn)題，并分析了它的納什均衡（NE）。然而，我們注意到，由于存在連續(xù)的攻擊者和AV動(dòng)作集以及連續(xù)的AV速度和間隔，使得在NE處獲得AV和攻擊者動(dòng)作具有挑戰(zhàn)性。為了解決這一問(wèn)題，我們提出了兩個(gè)基于長(zhǎng)短期記憶網(wǎng)絡(luò)（long-short term memory）（LSTM）塊的深度神經(jīng)網(wǎng)絡(luò)（DNN），針對(duì)AV和攻擊者，提取過(guò)去AV動(dòng)態(tài)的總結(jié)，并將這些總結(jié)反饋給每個(gè)玩家的RL算法。一方面，AV的RL算法試圖通過(guò)結(jié)合傳感器讀數(shù)來(lái)從領(lǐng)先的AV速度中學(xué)習(xí)最佳估計(jì)。另一方面，攻擊者的RL算法試圖欺騙AV，并偏離車輛間的最佳安全距離。模擬結(jié)果表明，所提出的深度RL算法收斂于混合策略的納什均衡點(diǎn)，可以顯著提高AV針對(duì)數(shù)據(jù)注入攻擊的魯棒性。結(jié)果還表明，AV可以利用所提出的深度RL算法來(lái)有效學(xué)習(xí)傳感器融合規(guī)則，最大限度地減小速度估計(jì)誤差，從而減小了與最優(yōu)安全間距的偏差。

圖3：在攻擊者攻擊所有傳感器的情況下，AV和攻擊者的行為、regret和偏差。

本文提出的新型深度RL方法，該方法能夠在傳感器讀數(shù)受到數(shù)據(jù)注入攻擊的情況下，實(shí)現(xiàn)對(duì)AV的具有魯棒性的動(dòng)力學(xué)控制（robust dynamics control）。為了分析攻擊者攻擊AV數(shù)據(jù)的動(dòng)機(jī)，同時(shí)了解AV對(duì)這類攻擊的反應(yīng)，我們提出了攻擊者與AV之間的博弈問(wèn)題。我們已經(jīng)表明，在納什均衡（the mixed strategies at Nash equilibrium）中推導(dǎo)出混合策略，從分析角度而言是具有挑戰(zhàn)性的。因此，我們使用我們提出的深度RL算法學(xué)習(xí)AV在每個(gè)時(shí)間步長(zhǎng)中的最優(yōu)傳感器融合。在所提出的深度RL算法中，我們使用了LSTM塊，它可以提取AV和攻擊者動(dòng)作及偏差值之間的時(shí)間特征與依懶性，并將其反饋給強(qiáng)化學(xué)習(xí)算法。模擬結(jié)果表明，利用所提出的深度RL算法，AV可以緩解數(shù)據(jù)注入攻擊對(duì)傳感器數(shù)據(jù)的影響，從而保持對(duì)這些攻擊的魯棒性。