混合交通流環(huán)境下基于MSIF-DRL 的網(wǎng)聯(lián)自動(dòng)駕駛車(chē)輛換道決策模型

韓 磊 ， 張 輪 ， 郭為安

（同濟(jì)大學(xué)a.道路與交通工程教育部重點(diǎn)實(shí)驗(yàn)室，b.電子與信息工程學(xué)院，c.中德工程學(xué)院，上海 201804）

近年來(lái)，隨著全球定位系統(tǒng)、無(wú)線通信、先進(jìn)傳感器和人工智能等新技術(shù)的快速發(fā)展，網(wǎng)聯(lián)自動(dòng)駕駛汽車(chē)（Connected and Automated Vehicles， CAV）已經(jīng)從科學(xué)幻想變成了科學(xué)事實(shí).伴隨著CAV 的出現(xiàn)與應(yīng)用，未來(lái)的交通運(yùn)輸系統(tǒng)將發(fā)生深刻變革［1-2］. 相較于人工駕駛汽車(chē)（Human-Driven Vehicles， HDV），CAV 的駕駛特性具有智能化和網(wǎng)聯(lián)化的優(yōu)勢(shì).一方面，CAV 能夠通過(guò)對(duì)周?chē)h(huán)境的動(dòng)態(tài)感知和自主導(dǎo)航，在沒(méi)有人為干預(yù)的情況下自主完成安全、高效的駕駛?cè)蝿?wù)，從而有效降低人類(lèi)駕駛員駕駛行為的不確定性和隨機(jī)性對(duì)交通運(yùn)輸系統(tǒng)造成的負(fù)面影響.另一方面，CAV 具備與周?chē)?lèi)型車(chē)輛、路側(cè)單元之間進(jìn)行車(chē)輛到車(chē)輛（Vehicle-to-Vehicle， V2V）和車(chē)輛到基礎(chǔ)設(shè)施（Vehicle-to-Infrastructure， V2I）通信的能力，這一能力使得CAV 在駕駛過(guò)程中可以獲得更多有用的信息，有助于生成并執(zhí)行更加合理、準(zhǔn)確、智慧的駕駛策略.因此，各國(guó)學(xué)者普遍認(rèn)為CAV 的混入有望從根本上改善傳統(tǒng)道路交通流的通行能力、交通安全以及通行效率［3-6］. 其中，自適應(yīng)巡航控制（Adaptive Cruise Control， ACC）和協(xié)同自適應(yīng)巡航控制（Cooperative Adaptive Cruise Control， CACC）技術(shù)是目前較為成熟的CAV 技術(shù)，該技術(shù)也是當(dāng)前落地最多的網(wǎng)聯(lián)自動(dòng)駕駛功能之一［7］.然而，受限于新技術(shù)推廣的漸近式發(fā)展特點(diǎn)，以及當(dāng)前道路交通環(huán)境、制造成本以及相關(guān)安全隱私政策等客觀因素的影響，距離CAV 的完全覆蓋還需較長(zhǎng)一段時(shí)間.因此，由CAV和HDV 共同組成的混合交通流將長(zhǎng)期存在.換道行為是車(chē)輛兩大基本微觀駕駛行為之一，對(duì)車(chē)輛的行駛效率、行駛安全以及交通流的穩(wěn)定性具有較大影響.因此，如何在混合交通環(huán)境的過(guò)渡階段提出可行的CAV 換道決策模型具有重要意義.

現(xiàn)有的CAV 換道決策研究可分為基于規(guī)則的方法和基于學(xué)習(xí)的方法.基于規(guī)則的方法結(jié)合駕駛經(jīng)驗(yàn)和交通規(guī)則等建立規(guī)則庫(kù)，CAV 根據(jù)駕駛場(chǎng)景從規(guī)則庫(kù)中選擇合適的駕駛行為策略［8-11］.然而，這種方法雖然可解釋性強(qiáng)，但在靈活性和泛化性能上卻存在較大局限性.隨著數(shù)據(jù)采集和數(shù)據(jù)存儲(chǔ)技術(shù)的不斷發(fā)展，以及得益于深度神經(jīng)網(wǎng)絡(luò)在特征提取和非線性逼近方面取得的長(zhǎng)足進(jìn)步，基于學(xué)習(xí)的方法被逐漸應(yīng)用于CAV 的換道決策中，并表現(xiàn)出優(yōu)于基于規(guī)則方法的性能.根據(jù)訓(xùn)練方法的不同，可進(jìn)一步將基于學(xué)習(xí)的方法分為深度監(jiān)督學(xué)習(xí)（Deep Supervised Learning， DSL）方法［12-15］以及深度強(qiáng)化學(xué) 習(xí)（Deep Reinforcement Learning， DRL）方法［16-24］.DSL 方法主要通過(guò)輸入大量人工標(biāo)記的訓(xùn)練數(shù)據(jù)來(lái)更新深度神經(jīng)網(wǎng)絡(luò)中的權(quán)重，學(xué)習(xí)駕駛環(huán)境與駕駛行為間的映射，并將其概念化和形式化，進(jìn)而形成一種端到端的自動(dòng)駕駛決策模式.研究表明，如果提供足夠多的專(zhuān)家示范駕駛數(shù)據(jù)，DSL 方法可實(shí)現(xiàn)人類(lèi)級(jí)別智能的決策能力［25］.雖然DSL 方法在CAV 換道決策領(lǐng)域取得了較大的成就，但仍存在較多不足之處.例如，DSL 方法的性能不僅很大程度上取決于專(zhuān)家示范駕駛數(shù)據(jù)的質(zhì)量和數(shù)量，而且還受到專(zhuān)家知識(shí)的約束；可解釋性較低，出現(xiàn)錯(cuò)誤時(shí)難以溯源和更正；訓(xùn)練成本較高，傳感器輸入的很多無(wú)關(guān)信息使得訓(xùn)練效率難以得到保證；泛化能力較弱，難以遷移至不同于訓(xùn)練場(chǎng)景的新場(chǎng)景中.DRL 作為一種高效的人工智能算法，通過(guò)不斷試錯(cuò)的機(jī)制與外部環(huán)境進(jìn)行交互，以最大化獎(jiǎng)勵(lì)值的方式不斷迭代，學(xué)習(xí)最優(yōu)的智能體動(dòng)作策略映射，無(wú)需精確建模，同時(shí)能夠適應(yīng)復(fù)雜多變的外部環(huán)境.針對(duì)DSL 方法的局限性，學(xué)者們開(kāi)始通過(guò)DRL 來(lái)提高CAV 的決策能力.Mirchevska 等［16］基于深度Q 網(wǎng)絡(luò)（Deep Q Network， DQN）提出了適用于高速公路場(chǎng)景的CAV 換道決策模型；喬良等［17］針對(duì)全智能網(wǎng)聯(lián)汽車(chē)環(huán)境下CAV 的匝道匯入問(wèn)題，通過(guò)DQN 構(gòu)建了一種基于深度強(qiáng)化學(xué)習(xí)的CAV 匝道匯入模型，使得自車(chē)可以根據(jù)周?chē)h(huán)境車(chē)輛行駛速度的不同自動(dòng)調(diào)節(jié)自身的駕駛策略；Wang 等［18］通過(guò)在獎(jiǎng)勵(lì)函數(shù)中引入變道配合系數(shù)，提出了一種以提升整體交通效率為導(dǎo)向的協(xié)同變道策略；羅鵬等［19］為了加快基于強(qiáng)化學(xué)習(xí)的CAV 換道決策算法的動(dòng)作選擇速度，利用專(zhuān)家知識(shí)來(lái)降低DQN 算法在動(dòng)作探索過(guò)程中的隨機(jī)性，提出一種以專(zhuān)家知識(shí)為引導(dǎo)的DQN 換道決策算法，并在高速公路三車(chē)道、合流區(qū)駕駛場(chǎng)景中驗(yàn)證了該方法的有效性和實(shí)用性；Li 等［20］提出了一種具有風(fēng)險(xiǎn)意識(shí)的CAV 深度強(qiáng)化學(xué)習(xí)換道決策策略，該策略將基于貝葉斯理論的風(fēng)險(xiǎn)評(píng)估模型和DQN 相結(jié)合，可以找到具有最小預(yù)期風(fēng)險(xiǎn)的最佳駕駛策略.

混合交通流環(huán)境下CAV 換道決策的難點(diǎn)在于如何充分融合自車(chē)運(yùn)動(dòng)信息、車(chē)載傳感器感知范圍內(nèi)CAV 和HDV 運(yùn)動(dòng)信息、V2V 通信范圍內(nèi)上、下游CAV 運(yùn)動(dòng)信息，以及如何利用融合后的信息來(lái)指導(dǎo)主車(chē)安全、高效、舒適地自動(dòng)換道［26-27］.已有混合交通環(huán)境下CAV 換道決策模型為了降低建模難度，模型輸入僅考慮了自車(chē)信息、感知信息，且必須采用預(yù)先指定好的格式（如固定大小的占用網(wǎng)格）對(duì)所駕駛的環(huán)境進(jìn)行表示，在實(shí)際應(yīng)用中存在安全隱患高、行車(chē)環(huán)境表征不充分、計(jì)算精度不足、計(jì)算成本較大等諸多缺陷［28-30］. 為了彌補(bǔ)上述缺陷，Huegle 等［31］利用Deep Sets 網(wǎng)絡(luò)對(duì)各種序列長(zhǎng)度的多源輸入信息進(jìn)行特征嵌入，并將其全部融合后再輸入到Q 網(wǎng)絡(luò)中以生成CAV 的換道策略.該方法雖然輸入方式較為靈活且輸入信息的長(zhǎng)度不會(huì)影響策略網(wǎng)絡(luò)的決策過(guò)程，但仍然存在諸多不足.首先，由于Deep Sets 的簡(jiǎn)單求和操作，所有高維特征都被壓縮成一個(gè)固定大小的向量，造成一些關(guān)鍵信息如上下游車(chē)輛的速度、位置和具體所處車(chē)道在這個(gè)過(guò)程被丟失.其次，由于沒(méi)有提供歸一化項(xiàng)，特征嵌入的絕對(duì)值可能會(huì)隨著周?chē)?chē)輛數(shù)量的增長(zhǎng)而線性增長(zhǎng).此外，該方法對(duì)所獲信息的價(jià)值差異沒(méi)有明確考慮，即不同空間位置的車(chē)輛信息被賦予相同的重要性，這顯然不合理，因?yàn)樵趯?shí)際駕駛過(guò)程中，來(lái)自不同信息源的信息對(duì)自車(chē)駕駛行為決策的影響程度不盡相同.

綜上，本文為兼顧突出CAV 面對(duì)復(fù)雜交通環(huán)境時(shí)行車(chē)決策技術(shù)的強(qiáng)適應(yīng)性，以及融合多源信息進(jìn)行智慧換道的駕駛特性，提出了一種混合交通流環(huán)境下集成多源信息融合的深度強(qiáng)化學(xué)習(xí)（Multi-Source Information Fusion Deep Reinforcement Learning， MSIF-DRL）端到端網(wǎng)聯(lián)自動(dòng)駕駛換道決策模型.該模型首先綜合考慮自車(chē)運(yùn)動(dòng)信息、傳感器感知范圍內(nèi)周?chē)?chē)輛以及V2V 通信范圍內(nèi)上下游CAV 運(yùn)動(dòng)信息對(duì)自車(chē)換道決策的影響，并根據(jù)信息源相對(duì)于自車(chē)的空間位置對(duì)來(lái)自各車(chē)的信息賦予適當(dāng)?shù)臋?quán)重；然后，通過(guò)集成一種編碼網(wǎng)絡(luò)對(duì)上述多源信息進(jìn)行充分融合，以編碼網(wǎng)絡(luò)融合后的信息作為模型輸入；最后，通過(guò)深度強(qiáng)化學(xué)習(xí)中具有優(yōu)先經(jīng)驗(yàn)回放機(jī)制的競(jìng)爭(zhēng)雙深度Q 網(wǎng)絡(luò)（Dueling Double Deep Q Network with Prioritized Experience Replay， PER-D3QN）輸出最終駕駛決策.MSIF-DRL 換道決策模型為主線、匝道CAV 設(shè)計(jì)了不同的獎(jiǎng)勵(lì)函數(shù)，故可解決多車(chē)道高速公路合流區(qū)駕駛場(chǎng)景中CAV 的自由以及強(qiáng)制換道問(wèn)題.在不同滲透率條件下的多次仿真試驗(yàn)顯示，所提MSIF-DRL 模型的行車(chē)效率、行車(chē)安全和乘坐舒適度均優(yōu)于現(xiàn)有模型.

1 深度強(qiáng)化學(xué)習(xí)

深度強(qiáng)化學(xué)習(xí)問(wèn)題可轉(zhuǎn)換成一個(gè)馬爾科夫決策過(guò)程（Markov Decision Process， MDP）.MDP 可由狀態(tài)集S、動(dòng)作集A、狀態(tài)轉(zhuǎn)移概率P：S×A×S、獎(jiǎng)勵(lì)函數(shù)R和折扣因子γ（γ∈[0，1)）5 個(gè)關(guān)鍵元組表示. 智能體（本文中為CAV）會(huì)在當(dāng)前狀態(tài)s（s∈S）中根據(jù)策略π來(lái)采取1 個(gè)動(dòng)作，執(zhí)行完所選動(dòng)作后智能體會(huì)收到一個(gè)數(shù)值獎(jiǎng)勵(lì)r，環(huán)境則會(huì)根據(jù)p(：|s，a)隨機(jī)抽樣生成一個(gè)新的狀態(tài)s′.智能體會(huì)依據(jù)上述過(guò)程反復(fù)迭代與環(huán)境進(jìn)行交互，最終實(shí)現(xiàn)最大化累積獎(jiǎng)勵(lì).深度強(qiáng)化學(xué)習(xí)的訓(xùn)練目標(biāo)就是給定一個(gè)MDP，尋找最優(yōu)的決策策略πθ*(a|s)，從而最大化期望累積獎(jiǎng)勵(lì).在尋找的前期過(guò)程中，智能體將采用隨機(jī)策略（記為πθ(a|s)=π(a|s；θ)，即智能體在狀態(tài)s下采取動(dòng)作a的概率）來(lái)探索環(huán)境并根據(jù)狀態(tài)生成一系列動(dòng)作；后期則聚焦于選擇Q值最大的動(dòng)作.其中，θ為深度強(qiáng)化學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的參數(shù).當(dāng)智能體某一時(shí)刻的策略為π時(shí)，在狀態(tài)s下采取動(dòng)作a后所獲得的期望累積獎(jiǎng)勵(lì)Eπθ，可用動(dòng)作值函數(shù)Qπθ(s，a)來(lái)描述，具體計(jì)算式為

式中，k為迭代次數(shù).

πθ*(a|s)的計(jì)算式為

式（2）可進(jìn)一步轉(zhuǎn)化為

在深度強(qiáng)化學(xué)習(xí)領(lǐng)域中，雙深度Q 網(wǎng)絡(luò)（Double Deep Q Network， DDQN）算法是一種經(jīng)典的價(jià)值學(xué)習(xí)人工智能算法［32］. 為了進(jìn)一步提高DDQN 算法的穩(wěn)定性和學(xué)習(xí)效果，通過(guò)在DDQN 的在線網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)中引入競(jìng)爭(zhēng)網(wǎng)絡(luò)結(jié)構(gòu)［33］對(duì)其進(jìn)行改進(jìn)，就可形成一種性能更強(qiáng)的深度強(qiáng)化學(xué)習(xí)算法，即D3QN 算法.競(jìng)爭(zhēng)網(wǎng)絡(luò)架構(gòu)將隱藏層輸出的狀態(tài)信息分別輸入到僅與狀態(tài)有關(guān)的價(jià)值函數(shù)V(s；ω，β) 以及與狀態(tài)動(dòng)作都有關(guān)的優(yōu)勢(shì)函數(shù)A(s，a；ω，α)中進(jìn)行進(jìn)一步的數(shù)據(jù)處理，再將兩個(gè)函數(shù)流的輸出線性組合，最終得到輸出的Q值，即

式中：Q(s，a；ω，α，β)為最終輸出的Q值；ω為公共隱藏層的網(wǎng)絡(luò)參數(shù)；α和β分別為價(jià)值函數(shù)和優(yōu)勢(shì)函數(shù)各自特有的網(wǎng)絡(luò)參數(shù)；a′是智能體在下一狀態(tài)s′所能采取的最優(yōu)動(dòng)作.

在D3QN 算法中，改進(jìn)后的在線網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)的參數(shù)分別為θ和θ-.在線網(wǎng)絡(luò)負(fù)責(zé)與環(huán)境不斷進(jìn)行交互且在每個(gè)時(shí)間步收集樣本.每個(gè)樣本中包含了4 個(gè)元素，即當(dāng)前狀態(tài)s、當(dāng)前動(dòng)作a、獎(jiǎng)勵(lì)r以及s′.由于在連續(xù)時(shí)間步收集到的相鄰樣本互相關(guān)聯(lián)，擁有較強(qiáng)的自相關(guān)性，因此，不能直接進(jìn)行訓(xùn)練.為了解決此問(wèn)題，D3QN 算法將收集到的經(jīng)驗(yàn)樣本存放在一個(gè)經(jīng)驗(yàn)回放池D中.每次在進(jìn)行訓(xùn)練時(shí)，都會(huì)從回放池中隨機(jī)取出一定批量的經(jīng)驗(yàn)樣本對(duì)評(píng)估網(wǎng)絡(luò)進(jìn)行訓(xùn)練，更新優(yōu)化其參數(shù)θ.目標(biāo)網(wǎng)絡(luò)中的參數(shù)θ-卻是固定的，只在一定間隔時(shí)間點(diǎn)復(fù)制評(píng)估網(wǎng)絡(luò)中的參數(shù)大小，即令θ-=θ.在線網(wǎng)絡(luò)的參數(shù)θ可以通過(guò)最小化神經(jīng)網(wǎng)絡(luò)的損失函數(shù)L(θ)來(lái)更新優(yōu)化，L(θ)的計(jì)算式為

式中：為從D中抽取到的經(jīng)驗(yàn)樣本；YD3QN為目標(biāo)值.

YD3QN的計(jì)算式為

為了加速整個(gè)訓(xùn)練過(guò)程，降低均勻隨機(jī)取樣導(dǎo)致的一些有巨大回報(bào)的經(jīng)驗(yàn)（如成功的嘗試或失敗的教訓(xùn)等）無(wú)法被充分利用甚至被直接覆蓋問(wèn)題，本文使用優(yōu)先經(jīng)驗(yàn)回顧［34］的方式從經(jīng)驗(yàn)回放單元中抽取樣本，以此增加重要性較高的樣本被抽取的概率.由于時(shí)間差分誤差（Temporal Difference-error，TD error）能夠衡量經(jīng)驗(yàn)樣本的重要性，因此，采用TD error 來(lái)計(jì)算每個(gè)經(jīng)驗(yàn)樣本被抽取的概率.每個(gè)經(jīng)驗(yàn)樣本被抽取的優(yōu)先級(jí)pi為

式中：μi為樣本i的TD error；φ為一個(gè)很小的正常數(shù)，該常數(shù)保證即使TD error 約為0 的樣本也有一定的概率被抽取.

進(jìn)而，經(jīng)驗(yàn)樣本被采樣的概率P(i)為

式中：σ為經(jīng)驗(yàn)回放時(shí)優(yōu)先級(jí)權(quán)重所占的比例，若σ=0，則表示均勻采樣；K為每次從經(jīng)驗(yàn)回放單元中取樣的樣本量.

由于優(yōu)先經(jīng)驗(yàn)回放會(huì)帶來(lái)修正誤差，故在更新神經(jīng)網(wǎng)絡(luò)參數(shù)θ時(shí)，需要使用重要性采樣權(quán)重ξi來(lái)進(jìn)行糾正，具體為

式中：θ′為參數(shù)θ更新后的值；τ為網(wǎng)絡(luò)更新頻率；?θQ(si，ai)為Q 值對(duì)θ的導(dǎo)數(shù)；C為經(jīng)驗(yàn)回放單元D的大小；ρ為糾正的程度，取值范圍為[0，1]，若ρ=1則表示優(yōu)先經(jīng)驗(yàn)回放的優(yōu)先取樣概率被完全抵消.

與DDQN 相比，本文所提PER-D3QN 網(wǎng)絡(luò)更好平衡了價(jià)值函數(shù)與優(yōu)勢(shì)函數(shù)之間的關(guān)系，同時(shí)采用優(yōu)先級(jí)經(jīng)驗(yàn)回放的方式抽取小批量樣本作為算法輸入，進(jìn)一步提高了TD error 絕對(duì)值較大的樣本利用效率，保證智能體性能的同時(shí)提高了優(yōu)化穩(wěn)定性.

2 MSIF-DRL 換道決策模型

2.1 模型應(yīng)用場(chǎng)景描述及說(shuō)明

所提模型的適用場(chǎng)景為文獻(xiàn)［35-36］中的一類(lèi)多車(chē)道高速公路合流區(qū)，具體示意圖如圖1 所示.圖1中，主線上的車(chē)道數(shù)有M條，車(chē)道編號(hào)為車(chē)道1 至車(chē)道M；匝道道路由進(jìn)口車(chē)道和平行式加速車(chē)道組成，加速車(chē)道編號(hào)為車(chē)道0.為簡(jiǎn)化模型復(fù)雜程度，提出3 條說(shuō)明：模型旨在通過(guò)編碼網(wǎng)絡(luò)和深度強(qiáng)化學(xué)習(xí)解決混合交通流環(huán)境下多車(chē)道高速公路合流區(qū)內(nèi)主線上CAV 的自由換道決策以及匝道上CAV 的強(qiáng)制換道決策問(wèn)題；V2V 通信通過(guò)專(zhuān)用短距離通信技術(shù)實(shí)現(xiàn)，通信距離為300 m，車(chē)載傳感器的感知范圍為120 m［37］；不考慮信息傳輸過(guò)程中的延遲及丟包等問(wèn)題.

圖1 多車(chē)道高速公路合流區(qū)示意圖Fig.1 Schematic diagram of multi-lane freeway merging area

2.2 模型整體框架及建模

2.2.1 整體框架

針對(duì)混合交通流環(huán)境下的高速公路合流區(qū)CAV 換道決策問(wèn)題，提出一種MSIF-DRL 端到端模型指導(dǎo)車(chē)輛進(jìn)行換道.MSIF-DRL 模型的總體框架如圖2 所示，由編碼網(wǎng)絡(luò)和PER-D3QN 網(wǎng)絡(luò)共兩個(gè)模塊組成，分別用于CAV 的多源信息融合和換道決策生成.其中，編碼網(wǎng)絡(luò)的結(jié)構(gòu)為Dense（64）+Dense（32），PER-D3QN 網(wǎng)絡(luò)的結(jié)構(gòu)為4×Dense（64）+Dense（32）+Dense（16）+Dense（8），兩者均采用優(yōu)先經(jīng)驗(yàn)回顧從經(jīng)驗(yàn)回放單元D中抽取小批量樣本進(jìn)行訓(xùn)練.對(duì)于每個(gè)小批量樣本，MSIFDRL 模型的損失函數(shù)LMSIF為

圖2 MSIF-DRL 模型整體架構(gòu)Fig.2 Overall architecture of MSIF-DRL model

式中：B為批尺寸；YMSIF為MSIF-DRL 模型目標(biāo)值.

2.2.2 狀態(tài)空間建模

在當(dāng)前時(shí)刻，交通環(huán)境狀態(tài)是MSIF-DRL 換道決策模型的初始輸入，主要由自車(chē)運(yùn)動(dòng)狀態(tài)信息Hego、感知信息Hsen、通信范圍內(nèi)上下游信息Hcon進(jìn)行表征.其中，來(lái)自Hego和Hsen的信息主要用來(lái)捕獲車(chē)輛所處位置小范圍駕駛環(huán)境，以保證車(chē)輛做出無(wú)碰撞決策，來(lái)自Hcon的信息起到擴(kuò)大自車(chē)環(huán)境感知范圍的作用，促進(jìn)車(chē)輛生成具有長(zhǎng)遠(yuǎn)利益的換道決策.Hego主要包含自車(chē)相對(duì)于駕駛環(huán)境的位置、速度、車(chē)道信息，即

式中：xego為自車(chē)絕對(duì)位置；xtotal為高速公路總長(zhǎng)；vego為自車(chē)速度；lego為自車(chē)所處車(chē)道索引；ltotal為路段所有車(chē)道索引的和.

Hsen主要包含與自車(chē)同車(chē)道、相鄰左側(cè)、相鄰右側(cè)車(chē)道上車(chē)輛的駕駛信息，即

式中：、、分別代表了感知范圍內(nèi)相鄰左側(cè)車(chē)道、同一車(chē)道、相鄰右側(cè)車(chē)道上所有車(chē)輛的駕駛信息；xn，sen、vn，sen、ln，sen分別為感知范圍內(nèi)車(chē)輛的絕對(duì)位置、速度、車(chē)道索引；dxn，sen為車(chē)輛n相對(duì)于自車(chē)的距離，dxn，sen=為自車(chē)感知范圍；dvn，sen為車(chē)輛n相對(duì)于自車(chē)的速度，dvn，sen=vmax為路段限速值；dln，sen為車(chē)輛n相對(duì)于自車(chē)的車(chē)道索引，dln，sen=ln，sen-lego（例如dln，sen=-1，代表車(chē)輛n位于自車(chē)的相鄰左側(cè)車(chē)道）.

Hcon中包含了通信范圍內(nèi)上、下游CAV 相對(duì)于自車(chē)的距離、速度、車(chē)道信息，可分別表示為

式中：、分別代表了通信范圍內(nèi)上、下游CAV的信息；xm，con、vm，con、lm，con分別為通信范圍內(nèi)車(chē)輛的絕對(duì)位置、速度、車(chē)道索引；dxm，con為車(chē)輛m相對(duì)于自車(chē)的距離，dxm，con=為通信距離；dvm，con為車(chē)輛m相對(duì)于自車(chē)的速度，dvm，con=為車(chē)輛m相對(duì)于自車(chē)的車(chē)道索引，dlm，con=lm，con-lego.

由于Hsen、Hcon的輸入長(zhǎng)度始終處于動(dòng)態(tài)變化中，故使用全連接神經(jīng)網(wǎng)絡(luò)?將自車(chē)自身輸入hego∈Hego、感知范圍內(nèi)各車(chē)道上車(chē)輛輸入hsen∈Hsen、通信范圍內(nèi)上、下游輸入hcon∈Hcon編碼到高維特征空間，然后在特征空間中進(jìn)行多源信息融合得到固定尺寸的輸入（特征圖）.從Hego、Hsen中獲得的全部特征嵌入可分別表示為

式中：Fego、Fsen為分別從Hego、Hsen中獲得的特征嵌入；Wn，sen為感知范圍內(nèi)周?chē)?chē)輛原始信息輸入權(quán)重.

對(duì)于從Hcon中獲得的全部特征嵌入Fcon有

一般距離自車(chē)越近的車(chē)輛，對(duì)其決策結(jié)果的影響程度也越大.因此，本文根據(jù)不同車(chē)輛j相對(duì)于自車(chē)的空間位置，來(lái)決定其權(quán)重值的大小，即：

式中：V為自車(chē)感知到的車(chē)輛數(shù)以及與其通信車(chē)輛數(shù)的和，即V=n+m；loca 代表車(chē)輛V是感知到的車(chē)輛還是通信車(chē)輛，loca={sen， con}.

上述連接形成的特征圖將進(jìn)一步被鋪平為向量，轉(zhuǎn)入PER-D3QN 網(wǎng)絡(luò)（記作Φ）中進(jìn)行Q值Q(s，a；θ，α，β)的計(jì)算，即

2.2.3 動(dòng)作空間建模

根據(jù)文獻(xiàn)［18， 21-22， 24］，在每一時(shí)間步，各個(gè)CAV 的離散動(dòng)作空間包含了車(chē)輛j可能做出的動(dòng)作，即

式中：alane為CAV 可以采取的換道動(dòng)作，包括向左換道、向右換道或保持原先車(chē)道直行；aE為CAV可以采取的離散加/減速度，取值范圍為-[-3m/s2， 3m/s2].MSIF-DRL 模型的整體動(dòng)作空間A是所有CAV 動(dòng)作的集合，即

2.2.4 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

在基于MSIF-DRL 算法的CAV 換道決策模型中，獎(jiǎng)勵(lì)函數(shù)的作用在于引導(dǎo)智能體與環(huán)境的交互，找到最大化累計(jì)獎(jiǎng)勵(lì)的換道決策策略.因此，獎(jiǎng)勵(lì)值函數(shù)的設(shè)計(jì)直接決定了智能體是否可以學(xué)習(xí)到最佳的換道決策策略，是整個(gè)算法中非常重要的一環(huán).在高速公路合流區(qū)駕駛場(chǎng)景中，為了使得CAV 既能提高車(chē)流的整體運(yùn)行效率，同時(shí)也能保證自身獲得更高的行車(chē)效率、良好的舒適性和安全性以及增強(qiáng)多個(gè)CAV 間的協(xié)作性，本文CAV 換道模型中使用的獎(jiǎng)勵(lì)值函數(shù)主要考慮5 方面.

現(xiàn)醫(yī)務(wù)處負(fù)責(zé)人伍姍姍2000年調(diào)入醫(yī)院，后任質(zhì)控科科長(zhǎng)，負(fù)責(zé)醫(yī)院醫(yī)療質(zhì)量與患者安全。她見(jiàn)證了醫(yī)院近十年間，甚至更早時(shí)候的醫(yī)療質(zhì)量管理“進(jìn)階”。

方面1：車(chē)速相關(guān)項(xiàng)R1.高速公路一般都會(huì)設(shè)置道路最低限速，其目的就是為了防止車(chē)輛在行駛過(guò)程中因?yàn)樗俣容^低而導(dǎo)致道路交通擁堵和通行效率下降的發(fā)生.因此，設(shè)置車(chē)速行駛獎(jiǎng)勵(lì)，鼓勵(lì)CAV在保證駕駛安全、低于最高限速值的前提下進(jìn)行高速行駛.設(shè)置車(chē)速行駛獎(jiǎng)勵(lì)函數(shù)R1為

方面2：合流相關(guān)項(xiàng)R2.匝道CAV 的行駛動(dòng)機(jī)是匯入主線，成功完成合流行為.根據(jù)文獻(xiàn)［22］，將R2（該獎(jiǎng)勵(lì)只有匝道CAV 可獲得）分為早期rearly以及最終合流成功獎(jiǎng)勵(lì)rsucc兩部分，即

式中，xlego為CAV 未變道前所處車(chē)道的長(zhǎng)度.

方面3：平穩(wěn)相關(guān)項(xiàng)R3.為了盡可能增加車(chē)輛行駛的平穩(wěn)性，以及減少車(chē)輛連續(xù)變換車(chē)道對(duì)交通流造成的負(fù)面擾動(dòng)（指交通流的穩(wěn)定性變?nèi)鹾推骄俣劝l(fā)生下降），根據(jù)文獻(xiàn)［18， 21］，設(shè)置變道懲罰函數(shù)R3為

式中：α為其他CAV 配合主車(chē)換道的協(xié)作系數(shù).其中，R3決定了車(chē)輛的換道意愿強(qiáng)度；α則可以促使CAV 溫和駕駛，防止發(fā)生一些不必要的變道行為，本文中的α取值為4［18，21］.此外，本文判斷CAV 是否連續(xù)變道的標(biāo)準(zhǔn)為兩次變道間的時(shí)間間隔，若時(shí)間步差小于20 步（2 s），則對(duì)該CAV 進(jìn)行施加懲罰.

方面4：安全相關(guān)項(xiàng)R4.對(duì)于車(chē)輛，避免發(fā)生碰撞是在合流區(qū)內(nèi)安全行駛的最基本和最重要的要求.本文選擇碰撞時(shí)間（Time-to-Collision， TTC）進(jìn)行駕駛安全評(píng)估，保證TTC 在安全范圍內(nèi)以避免與前車(chē)發(fā)生碰撞.設(shè)置碰撞懲罰函數(shù)R4為

式中：TTCmax為T(mén)TC 的安全閾值，依據(jù)文獻(xiàn)［28，38］取值為1.5 s；Δx為自車(chē)與前車(chē)間的車(chē)頭間距；L為車(chē)長(zhǎng)；vlead為前車(chē)速度.

方面5：舒適相關(guān)項(xiàng)R5.Jerk 又稱急動(dòng)度值，是加速度對(duì)時(shí)間的導(dǎo)數(shù)，表示車(chē)輛的突然移動(dòng)［23］.通常狀況下，車(chē)輛的Jerk 值以及加/減速度越小，說(shuō)明乘車(chē)舒適性愈好.因此，為了使CAV 能夠?qū)W習(xí)到舒適性的駕駛行為，設(shè)置舒適獎(jiǎng)勵(lì)函數(shù)R5為

式中：rJerk、rG分別為急動(dòng)度值、加/減速度獎(jiǎng)勵(lì)項(xiàng)；5.6 和2 分別為Jerk 的閾值和最大舒適加/減速度［23，28］；表示自車(chē)的加/減速度.

綜上，主線CAV 的總獎(jiǎng)勵(lì)值函數(shù)Rmain和匝道CAV 獎(jiǎng)勵(lì)值函數(shù)Rramp分別為

2.3 MSIF-DRL 算法步驟

為了能讓智能體對(duì)環(huán)境進(jìn)行充分的探索，獲得足夠多的經(jīng)驗(yàn)，MSIF-DRL 算法設(shè)置了仿真預(yù)熱階段，在該階段內(nèi)所有的CAV 將采取隨機(jī)動(dòng)作，并從交通環(huán)境中收集相應(yīng)的動(dòng)作狀態(tài)轉(zhuǎn)移序列，最后將這些序列存放在經(jīng)驗(yàn)回放池D中.MSIF-DRL 算法共分為10 個(gè)步驟.

步驟1：設(shè)置算法參數(shù)的初始值，包括γ、學(xué)習(xí)率η、采樣批尺寸B、目標(biāo)網(wǎng)絡(luò)更新頻率τ、探索概率ε、訓(xùn)練總回合數(shù)N以及每回合訓(xùn)練步數(shù)T.

步驟2：對(duì)于每個(gè)回合，初始化容量為C的回放經(jīng)驗(yàn)單元D，在線及目標(biāo)網(wǎng)絡(luò)和參數(shù)θ及θ-.

步驟3：開(kāi)始迭代，生成交通場(chǎng)景，得到初始的外部環(huán)境狀態(tài).

步驟4：進(jìn)入預(yù)熱階段.在時(shí)間步t（t=1）至T1內(nèi)，智能體采取隨機(jī)動(dòng)作a，得到當(dāng)前獎(jiǎng)勵(lì)r以及新一輪合流區(qū)環(huán)境狀態(tài)s，將四元組作為一個(gè)經(jīng)驗(yàn)樣本存儲(chǔ)到經(jīng)驗(yàn)回放單元D中.

步驟5：結(jié)束預(yù)熱，開(kāi)始訓(xùn)練.在時(shí)間步T1+1至總步數(shù)T內(nèi)，生成一個(gè)隨機(jī)概率值g，若g<ε，則隨機(jī)選擇一個(gè)動(dòng)作a.否則，使用編碼網(wǎng)絡(luò)?對(duì)多源信息進(jìn)行編碼，并利用PER-D3QN 網(wǎng)絡(luò)計(jì)算Q值，輸出動(dòng)作

步驟6：執(zhí)行動(dòng)作a*t，觀測(cè)獲得的即時(shí)獎(jiǎng)勵(lì)r和下一狀態(tài)s′，計(jì)算TD error.

步驟7：計(jì)算優(yōu)先級(jí)pi、采樣概率P(i)以及重要性權(quán)重ξi，將四元組作為一個(gè)經(jīng)驗(yàn)樣本存儲(chǔ)到經(jīng)驗(yàn)回放單元D中.

步驟8：將s′賦值給s，從經(jīng)驗(yàn)回放單元D中以概率P(i)抽取B個(gè)經(jīng)驗(yàn)樣本進(jìn)行更新.

步驟9：計(jì)算目標(biāo)值YMSIFt，基于損失函數(shù)LMSIF進(jìn)行隨機(jī)梯度下降法更新優(yōu)化網(wǎng)絡(luò)參數(shù).更新ε，每隔τ時(shí)間步，更新賦值目標(biāo)網(wǎng)絡(luò)的參數(shù)θ→θ-.若迭代次數(shù)未達(dá)到設(shè)定值，則進(jìn)入步驟5，否則進(jìn)入步驟10.

步驟10：結(jié)束整個(gè)流程.

3 仿真設(shè)置

3.1 混合交通流環(huán)境構(gòu)建

為了實(shí)現(xiàn)混合交通流環(huán)境下CAV 基于MSIFDRL 端到端模型在高速公路合流區(qū)內(nèi)進(jìn)行主線自由換道、合流強(qiáng)制換道的仿真，首先需要構(gòu)建CAV與HDV 混行的交通環(huán)境.因此，對(duì)于HDV，利用智能駕駛?cè)四Ｐ停↖ntelligent Driver Model， IDM）［39］和最小化由換道引起的所有制動(dòng)模型（Minimize Overall Braking Induced by Lane-change， MOBIL）模型［40］分別對(duì)HDV 的縱向跟馳與橫向換道進(jìn)行建模.此外，為了模擬駕駛?cè)瞬豢深A(yù)測(cè)的駕駛特性，在每個(gè)HDV 的加速度中都加入均值為0、隨機(jī)方差取值范圍為[0，1]的正態(tài)噪聲.對(duì)于CAV 的跟馳行為，文獻(xiàn)［41］指出根據(jù)前車(chē)類(lèi)型不同會(huì)存在兩種跟馳模式.前車(chē)為CAV，無(wú)功能退化，繼續(xù)以CACC 模式跟馳；前車(chē)為HDV，CAV 將退化為ACC 車(chē)輛.故本文分別采用ACC［42］、CACC 模型［43］來(lái)模擬兩種跟馳方式，仿真時(shí)各模型中的關(guān)鍵參數(shù)值均取自上述相關(guān)文獻(xiàn).混合交通流環(huán)境中CAV 滲透率所有取值的集合為{20%，50%，80%，100%}.

3.2 場(chǎng)景搭建與試驗(yàn)設(shè)置

基于SUMO 仿真平臺(tái)搭建仿真場(chǎng)景，并采用Python 語(yǔ)言調(diào)用SUMO 內(nèi)嵌的Traci 控制接口來(lái)實(shí)現(xiàn)IDM、MOBIL、ACC、CACC、MSIF-DRL 模型的所有功能.仿真試驗(yàn)路段選取美國(guó)加利福尼亞州I405 和洛杉磯市I-5 兩條高速公路.其中，I405和I-5 所選路段的總長(zhǎng)度分別為3.4 km 和3 km，合流區(qū)長(zhǎng)度分別為250 m 和200 m，主線車(chē)道數(shù)分別為3 條和5 條.根據(jù)檢測(cè)器歷史數(shù)據(jù)，每條路段主線和匝道上的交通需求可分為高、低兩種水平.鑒于此，本文共設(shè)計(jì)了4 種仿真場(chǎng)景，具體設(shè)置情況如表1 所示.

表1 仿真場(chǎng)景設(shè)置Tab.1 Setup of simulation scenarios

仿真試驗(yàn)中用于MSIF-DRL 模型訓(xùn)練和測(cè)試的計(jì)算機(jī)配置為Ubuntu18.04LTS 系統(tǒng)，Intel Core I7-12700H @2.7GHz CPU，GeForce RTX 3060 GPU，16GB 內(nèi)存.訓(xùn)練最大回合數(shù)設(shè)置為800，終止條件為CAV 單回合執(zhí)行步數(shù)達(dá)到20 步或CAV在行駛過(guò)程中與其他車(chē)輛發(fā)生碰撞.仿真總步長(zhǎng)設(shè)為106步，前2 ×105步（約200 個(gè)回合）用作仿真預(yù)熱，后8×105步（約600 個(gè)回合）用作訓(xùn)練.模型采用Adam 優(yōu)化器，設(shè)置的MSIF-DRL 模型超參數(shù)如表2 所示.

表2 MSIF-DRL 模型超參數(shù)取值Tab.2 Hyper-parameter values for MSIF-DRL model

4 仿真結(jié)果與分析

4.1 訓(xùn)練過(guò)程

智能體所獲得的獎(jiǎng)勵(lì)值能夠很好地反映其在訓(xùn)練過(guò)程中的學(xué)習(xí)表現(xiàn)，獎(jiǎng)勵(lì)值越高說(shuō)明智能體學(xué)習(xí)到的駕駛策略也更優(yōu).圖3 為MSIF-DRL 模型在各種滲透率PR 條件下的獎(jiǎng)勵(lì)值隨訓(xùn)練回合數(shù)變化的趨勢(shì).由圖3 可知：在訓(xùn)練初始階段（仿真預(yù)熱期間），CAV 智能體將采取隨機(jī)動(dòng)作來(lái)與環(huán)境不斷試錯(cuò)交互，致使CAV 發(fā)生碰撞的概率增大，導(dǎo)致獲得懲罰函數(shù)的次數(shù)增多，降低了所獲得的單步獎(jiǎng)勵(lì)函數(shù)值；隨著訓(xùn)練回合數(shù)的不斷增長(zhǎng)，MSIF-DRL 模型逐漸開(kāi)始適應(yīng)復(fù)雜的高速公路合流區(qū)駕駛環(huán)境，最終約在第300 個(gè)回合達(dá)到基本穩(wěn)定，建立符合CAV 運(yùn)行的換道行為模式；隨著滲透率的不斷提高，MSIF-DRL 模型收獲的獎(jiǎng)勵(lì)值也不斷提高，當(dāng)訓(xùn)練回合數(shù)結(jié)束時(shí)，20%、100%滲透率條件下的匝道CAV 獎(jiǎng)勵(lì)值分別為1389、1665，其提升比例為19.87%；在同等滲透率條件下，同一訓(xùn)練回合內(nèi)匝道CAV 收獲的獎(jiǎng)勵(lì)值要高于主線CAV 收獲的獎(jiǎng)勵(lì)值.

圖3 不同CAV 滲透下MSIF-DRL 模型在訓(xùn)練過(guò)程中的獎(jiǎng)勵(lì)值Fig.3 Comparison of reward for MSIF-DRL model during training process under various CAV penetration rates

4.2 測(cè)試過(guò)程

為了驗(yàn)證所提MSIF-DRL 換道決策模型在高速公路合流區(qū)駕駛場(chǎng)景中的有效性和優(yōu)越性，首先，選取基于規(guī)則的模型［11］、深度學(xué)習(xí)DBN（Deep Belief Network）模型［12］、DSQ（Deep Sets Q）模型［30］以及結(jié)合風(fēng)險(xiǎn)意識(shí)模型和深度Q 網(wǎng)絡(luò)模型的組合模 型（Deep Q-Network with Risk Awareness，RA-DQN）［20］作為基準(zhǔn)方法；其次，設(shè)置不同滲透率并在各種仿真場(chǎng)景中進(jìn)行測(cè)試；最后，根據(jù)獎(jiǎng)勵(lì)值變化情況、主線換道成功率、匝道合流成功率、平均速度、不安全碰撞時(shí)間出現(xiàn)比例以及Jerk 值等性能評(píng)價(jià)指標(biāo)，詳細(xì)對(duì)比各模型在獎(jiǎng)勵(lì)值、行車(chē)效率、安全性、舒適性方面上的優(yōu)劣.DSQ 模型、RA-DQN 模型中的狀態(tài)空間與原文獻(xiàn)相同，動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)則與本文所提模型保持一致.

4.2.1 獎(jiǎng)勵(lì)值對(duì)比分析

圖4 為各模型在各種仿真條件下進(jìn)行100 次仿真獲得的獎(jiǎng)勵(lì)值分布.由圖4 可知：在同一仿真場(chǎng)景中，隨著滲透率的上升，各模型均可得到更高的獎(jiǎng)勵(lì)；與其他模型相比，MSIF-DRL 換道決策模型在各種仿真條件下均能收獲最高的獎(jiǎng)勵(lì)值，而在20%滲透率和高交通需求條件下，MSIF-DRL 模型依然可以保持穩(wěn)定的收益；規(guī)則模型由于其固定的數(shù)學(xué)模型研究范式，甚至在仿真中出現(xiàn)了較大的負(fù)獎(jiǎng)勵(lì)值，且獎(jiǎng)勵(lì)值分布也較為分散，綜合穩(wěn)定性最差；在同一仿真路段和滲透率條件下，當(dāng)交通需求處于較高水平時(shí)，各模型獲得的獎(jiǎng)勵(lì)值要高于低交通需求水平下的獎(jiǎng)勵(lì)值，此現(xiàn)象主要由于此時(shí)交通流量的增加，導(dǎo)致需要換道的車(chē)輛總數(shù)也隨之增多.

圖4 不同滲透率下各模型在各場(chǎng)景中的獎(jiǎng)勵(lì)值對(duì)比Fig.4 Comparison of reward for models in different scenarios under varying penetration rates

4.2.2 行車(chē)效率對(duì)比分析

換道模型的行車(chē)效率主要通過(guò)主線換道成功率、匝道合流成功率以及車(chē)輛行駛過(guò)程中的平均速度大小進(jìn)行對(duì)比分析.仿真時(shí)主線CAV 由原先車(chē)道成功換道至目標(biāo)車(chē)道，且沒(méi)有和其他車(chē)輛發(fā)生碰撞，則記為一次換道成功.匝道CAV 在加速車(chē)道上能夠成功合流匯入主線，且沒(méi)有和其他車(chē)輛發(fā)生碰撞，則記為一次合流成功，若到達(dá)加速車(chē)道末端仍未換道成功，或與其他車(chē)輛發(fā)生碰撞，則記為一次合流失敗.圖5 為不同仿真條件下各模型主線CAV 的換道成功率、匝道CAV 的合流成功率以及行車(chē)平均速度對(duì)比.由圖5 可知：在同一仿真場(chǎng)景中，隨著滲透率的上升，各模型均可得到更高的換道、合流成功率和平均行車(chē)速度；在各種仿真條件下，MSIF-DRL模型的換道、合流成功率均保持在90%以上，平均行車(chē)速度始終高于90 km/h，各項(xiàng)行車(chē)效率指標(biāo)均為最優(yōu)；交通需求水平的上升會(huì)導(dǎo)致測(cè)試場(chǎng)景復(fù)雜程度的增加，最后造成5 種模型的各項(xiàng)行車(chē)效率指標(biāo)值較低交通需求狀況時(shí)均發(fā)生了一定程度的降低，而MSIF-DRL 模型在兩條試驗(yàn)路段上的各項(xiàng)行車(chē)效率指標(biāo)受交通需求變化的影響最小，充分體現(xiàn)了該方法的強(qiáng)魯棒性.

圖5 不同CAV 滲透下各模型在各場(chǎng)景中的行車(chē)效率對(duì)比Fig.5 Comparison of driving efficiency for models in various scenarios under varying penetration rates

在低滲透率、高交通需求水平下，可以更加直觀地看出本文所提換道模型對(duì)行車(chē)效率的提升.例如，在場(chǎng)景4 中使用MSIF-DRL 換道模型進(jìn)行決策的CAV，相比基于規(guī)則模型、DBN 模型、DSQ 模型以及RA-DQN 模型控制的CAV，其換道成功率最大分別提升29.17%、14.73%、6.96%、6.26%，合流成功率最大分別提升27.71%、15.41%、7.64%、7.5%，行車(chē)平均速度最大分別提升17.43%、9.16%、5.84%、3.69%.

4.2.3 安全性對(duì)比分析

車(chē)輛行駛安全性主要通過(guò)碰撞時(shí)間TTC 衡量，TTC 值越小代表前后兩車(chē)發(fā)生碰撞的可能性越大，碰撞危險(xiǎn)程度高.圖6 為5 種模型在不同場(chǎng)景和滲透率下，不安全TTC（TTC<1.5 s 時(shí)，碰撞幾率大大提高［38］）出現(xiàn)次數(shù)在測(cè)試過(guò)程中所占比例.由圖6可知：使用MSIF-DRL 模型控制的車(chē)輛出現(xiàn)TTC值<1.5 s 的危險(xiǎn)工況次數(shù)總體偏少，在各種仿真條件下均少于其他模型；DSQ 模型和DBN 模型相較于MSIF-DRL 模型、規(guī)則模型和RA-DQN 模型，出現(xiàn)不安全TTC 值的情況較多；當(dāng)試驗(yàn)路段的交通需求由低變高時(shí)，各模型出現(xiàn)不安全TTC 值的次數(shù)均會(huì)變多，但MSIF-DRL 模型的增加幅度在所有模型中最低；當(dāng)交通需求不變，滲透率逐漸增大時(shí)，各模型出現(xiàn)不安全TTC 值的次數(shù)均會(huì)減少；滲透率對(duì)MSIF-DRL 模型出現(xiàn)不安全TTC 次數(shù)的影響不如其他模型明顯，主要因?yàn)镸SIF-DRL 模型獎(jiǎng)勵(lì)函數(shù)中的駕駛安全項(xiàng)不僅考慮TTC，且學(xué)習(xí)效果優(yōu)于其他模型，在低滲透率條件下就能明顯降低車(chē)輛在換道過(guò)程中的碰撞風(fēng)險(xiǎn)，保證交通安全.

圖6 各模型在不同仿真條件下出現(xiàn)不安全TTC 的比例對(duì)比Fig.6 Comparison of unsafe TTC percentage for each model under different simulation conditions

4.2.4 舒適性對(duì)比分析

車(chē)輛舒適性的強(qiáng)弱可由Jerk 值的大小來(lái)反映，較大的Jerk 值代表了車(chē)輛舒適性較差.圖7 為5 種模型在不同場(chǎng)景和滲透率下，CAV 在行駛過(guò)程中的平均Jerk 值.由圖7 可知：使用MSIF-DRL 模型控制的車(chē)輛Jerk 值相對(duì)較小，在各種仿真條件下均小于其他模型，能夠生成更加平穩(wěn)、舒適的駕駛決策，提高駕駛接受度；當(dāng)試驗(yàn)路段的交通需求由低變高時(shí)，各模型中的CAV 平均Jerk 值會(huì)增大，而當(dāng)交通需求不變，滲透率逐漸增大時(shí)，各模型中的車(chē)輛Jerk 值均會(huì)發(fā)生一定程度的降低；基于規(guī)則的方法主要通過(guò)在其模型加入固定的舒適性參數(shù)來(lái)提升乘坐舒適性，這種方法雖然簡(jiǎn)單，但卻難以在車(chē)輛行駛過(guò)程中保證乘客處于舒適的狀態(tài).

圖7 各模型在不同仿真條件下的Jerk 值對(duì)比Fig.7 Comparison of Jerk for each model under different simulation conditions

綜上所述，MSIF-DRL 模型可通過(guò)含有多源信息的狀態(tài)空間以及多目標(biāo)獎(jiǎng)勵(lì)函數(shù)反饋過(guò)程更好地理解高速公路合流區(qū)道路交通環(huán)境的變化，做出最優(yōu)的CAV 換道駕駛行為決策，與規(guī)則模型、DBN 模型和DSQ 模型相比可獲得更高的獎(jiǎng)勵(lì)值、行車(chē)效率、安全性和舒適性.

5 結(jié)論

1）針對(duì)混合交通流環(huán)境下高速公路合流區(qū)內(nèi)CAV 的換道決策問(wèn)題，提出了一種基于MSIFDRL 的端到端網(wǎng)聯(lián)自動(dòng)駕駛模型.該模型獲取自車(chē)信息、感知信息、以及V2V 通信范圍內(nèi)上下游CAV信息作為狀態(tài)輸入，并根據(jù)信息源相對(duì)于自車(chē)的空間位置對(duì)來(lái)自不同車(chē)輛的信息分配權(quán)重，基于編碼網(wǎng)絡(luò)對(duì)擁有空間重要性（即權(quán)重）以及動(dòng)態(tài)輸入長(zhǎng)度的多源信息進(jìn)行了融合；通過(guò)含有行車(chē)效率、行車(chē)動(dòng)機(jī)、平穩(wěn)項(xiàng)、安全項(xiàng)、舒適項(xiàng)的多目標(biāo)獎(jiǎng)勵(lì)函數(shù)來(lái)引導(dǎo)深度強(qiáng)化學(xué)習(xí)PER-D3QN 算法利用融合后的信息做出主線和匝道CAV 的換道行為決策.

2）仿真結(jié)果結(jié)果表明，相比于現(xiàn)有模型，不同仿真條件下的MSIF-DRL 模型在訓(xùn)練和測(cè)試時(shí)均擁有更高的獎(jiǎng)勵(lì)值、換道成功率、合流成功率、平均行車(chē)速度、舒適性以及安全性.即使在低滲透率、高交通需求的測(cè)試條件下，MSIF-DRL 模型仍能保持90%以上的換道成功率和合流成功率，體現(xiàn)了其面對(duì)復(fù)雜交通場(chǎng)景時(shí)的靈活性和較強(qiáng)的魯棒性.

在后續(xù)的研究中，將考慮在深度強(qiáng)化學(xué)習(xí)算法中使用演員-評(píng)論家結(jié)構(gòu)，將提出的MSIF-DRL 換道決策模型拓展到連續(xù)動(dòng)作空間的駕駛行為決策中；同時(shí)隨著協(xié)同感知技術(shù)的不斷發(fā)展和數(shù)據(jù)存儲(chǔ)容量瓶頸的突破，未來(lái)將進(jìn)一步融合協(xié)同感知技術(shù)捕獲的全局交通信息（即上下游CAV 感知的周?chē)鶦AV、HDV 運(yùn)動(dòng)信息）以及含有時(shí)間尺度的歷史環(huán)境信息，使得CAV 能夠做出更合理的長(zhǎng)期主動(dòng)規(guī)避決策，提高決策的安全性.