基于深度強(qiáng)化學(xué)習(xí)的城市交通信號(hào)控制綜述

徐東偉，周 磊，王 達(dá)，丁加麗，魏臣臣

（浙江工業(yè)大學(xué)，a.網(wǎng)絡(luò)空間安全研究院,b.信息工程學(xué)院，杭州 310000）

0 引言

近年來，隨著我國(guó)車輛保有量的急劇增加，交通擁堵已成為全國(guó)大中小城市普遍存在的交通問題，帶來的負(fù)面問題也愈加嚴(yán)重。因此，交通擁堵問題的緩解刻不容緩[1]。交叉口是道路交通網(wǎng)絡(luò)的關(guān)鍵節(jié)點(diǎn)和主要瓶頸，因此交叉口信號(hào)智能控制在緩解交通擁堵方面起著至關(guān)重要的作用。

隨著計(jì)算機(jī)技術(shù)和數(shù)據(jù)處理技術(shù)的進(jìn)步，交通系統(tǒng)正逐步朝著智能化方向發(fā)展。人工智能技術(shù)的發(fā)展使得以最少的人為行為干預(yù)控制交通系統(tǒng)成為可能?；谧赃m應(yīng)控制方法的交通信號(hào)控制系統(tǒng)是目前廣泛應(yīng)用的信號(hào)控制系統(tǒng)，相比于固定配時(shí)系統(tǒng)，自適應(yīng)交通信號(hào)控制系統(tǒng)提高了交通燈控制的的靈活性以及道路運(yùn)行效率，但它難以應(yīng)對(duì)大規(guī)模交通路網(wǎng)的交通信號(hào)協(xié)調(diào)控制[2]。

自Mikami[3]于1994 年首次將強(qiáng)化學(xué)習(xí)(Reinforcement learning，RL)用于交通信號(hào)控制優(yōu)化以來，強(qiáng)化學(xué)習(xí)在區(qū)域交通信號(hào)控制系統(tǒng)中的應(yīng)用越來越廣泛[4,5]。但由于傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法適用于狀態(tài)離散化的模型，因此，將強(qiáng)化學(xué)習(xí)方法直接應(yīng)用于交通信號(hào)控制系統(tǒng)會(huì)導(dǎo)致計(jì)算復(fù)雜度過高。隨后，由深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)結(jié)合的深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning，DRL）[6]方法的誕生，使得城市交通信號(hào)控制技術(shù)進(jìn)一步邁入智能時(shí)代。

本文將介紹深度強(qiáng)化學(xué)習(xí)在城市交通信號(hào)控制中的研究與應(yīng)用，并討論基于深度強(qiáng)化學(xué)習(xí)的交通信號(hào)控制系統(tǒng)面臨的挑戰(zhàn)和有待解決的問題。

論文后續(xù)部分安排如下：第1部分簡(jiǎn)述主要的深度強(qiáng)化學(xué)習(xí)方法的基本理論，并介紹交通仿真環(huán)境；第2部分介紹深度強(qiáng)化學(xué)習(xí)方法在單交叉口交通信號(hào)控制領(lǐng)域的應(yīng)用，并根據(jù)策略學(xué)習(xí)方法的不同進(jìn)行分類和討論；第3部分介紹深度強(qiáng)化學(xué)習(xí)的多交叉口信號(hào)控制協(xié)同優(yōu)化，并對(duì)不同方法進(jìn)行對(duì)比，分析優(yōu)缺點(diǎn)，簡(jiǎn)要介紹目前用于交通信號(hào)控制仿真實(shí)驗(yàn)的路網(wǎng)環(huán)境和數(shù)據(jù)來源；第4部分討論交通信號(hào)控制未來的研究方向和挑戰(zhàn)。隨著深度強(qiáng)化學(xué)習(xí)在智能交通系統(tǒng)控制中的廣泛應(yīng)用[2]，希望本篇綜述能為研究深度強(qiáng)化學(xué)習(xí)在交通中的應(yīng)用提供參考。

1 概述

深度強(qiáng)化學(xué)習(xí)模型結(jié)合了深度神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)，適合處理高維數(shù)據(jù)和連續(xù)狀態(tài)的科學(xué)問題。下面首先介紹強(qiáng)化學(xué)習(xí)的理論背景，然后介紹主流的深度學(xué)習(xí)模型。

1.1 強(qiáng)化學(xué)習(xí)

在強(qiáng)化學(xué)習(xí)中，智能體執(zhí)行特定的動(dòng)作并不一定能得到特定的狀態(tài)，通常將執(zhí)行動(dòng)作后轉(zhuǎn)到某個(gè)狀態(tài)的概率建模為一個(gè)狀態(tài)轉(zhuǎn)化模型。在真實(shí)的環(huán)境轉(zhuǎn)化過程中，環(huán)境轉(zhuǎn)移到下一個(gè)狀態(tài)的概率與之前多個(gè)環(huán)境狀態(tài)有關(guān)。為了簡(jiǎn)化環(huán)境狀態(tài)轉(zhuǎn)化模型，在強(qiáng)化學(xué)習(xí)中假設(shè)轉(zhuǎn)化到下一個(gè)狀態(tài)的概率只與上一個(gè)狀態(tài)有關(guān)，即假設(shè)狀態(tài)轉(zhuǎn)化具有馬爾可夫性，因此強(qiáng)化學(xué)習(xí)模型大多由馬爾科夫決策過程(Markov Decision Process, MDP)建模。MDP 模型按照情節(jié)逐步計(jì)算，每個(gè)情節(jié)的終止點(diǎn)為終止時(shí)間T[7]或終止?fàn)顟B(tài)sT[8]。

由于MDP 中利用貝爾曼方程求解狀態(tài)值函數(shù)，即利用上一次迭代周期內(nèi)的狀態(tài)值更新當(dāng)前迭代周期內(nèi)狀態(tài)的狀態(tài)值，因此通常利用動(dòng)態(tài)規(guī)劃(Dynamic Programing，DP)[9]思想求解強(qiáng)化學(xué)習(xí)模型。在智能體狀態(tài)轉(zhuǎn)移概率和獎(jiǎng)勵(lì)函數(shù)未知的情況下，通常會(huì)使用蒙特卡洛(Monte Carlo，MC)[10]思想求解強(qiáng)化學(xué)習(xí)問題，即智能體通過采樣多個(gè)完整經(jīng)驗(yàn)的情景近似估計(jì)狀態(tài)值函數(shù)。然而當(dāng)環(huán)境中沒有完整的狀態(tài)序列，即智能體無法采樣完整的經(jīng)驗(yàn)情景時(shí)，MC 就無法求解強(qiáng)化學(xué)習(xí)問題。時(shí)間差分(Temporal Difference，TD)[11]方法是MC思想與DP 思想的結(jié)合，它采用單步更新的方式，從采樣的不完整經(jīng)驗(yàn)中學(xué)習(xí)值函數(shù)，不需要采樣完整的經(jīng)驗(yàn)樣本。TD方法與MC方法相比提高了模型的靈活性和學(xué)習(xí)能力，因此目前絕大多數(shù)（基于值和基于策略梯度的）強(qiáng)化學(xué)習(xí)乃至深度強(qiáng)化學(xué)習(xí)算法都以TD方法為基礎(chǔ)。

對(duì)于基于值的強(qiáng)化學(xué)習(xí)模型，每次迭代更新狀態(tài)值函數(shù)，值函數(shù)將狀態(tài)動(dòng)作對(duì)映射為值。Q學(xué)習(xí)(Q Learning)[12]與SARSA[13]均為根據(jù)TD 思想提出的基于值的強(qiáng)化學(xué)習(xí)算法。Q 學(xué)習(xí)是一種離線的方法，通過最大化動(dòng)作的Q 值來更新智能體的策略，而SARSA 是一種在線方法，根據(jù)Q 函數(shù)得到的策略更新智能體的行為。

對(duì)于基于策略梯度的強(qiáng)化學(xué)習(xí)模型，在每次迭代后采用策略梯度更新策略。最簡(jiǎn)單的策略梯度算法是蒙特卡洛策略梯度算法，將MC思想融入基于策略梯度的強(qiáng)化學(xué)習(xí)模型，利用MC方法計(jì)算狀態(tài)值函數(shù)，近似替代策略梯度的價(jià)值函數(shù)。蒙特卡洛策略梯度方法基于完整的經(jīng)驗(yàn)更新值函數(shù)參數(shù)，導(dǎo)致模型的學(xué)習(xí)效率較低。Degris[14]提出行動(dòng)者-評(píng)判者(Actor-Critic，AC)方法，將基于值的算法與基于策略梯度的算法結(jié)合，并采用TD 思想實(shí)現(xiàn)Actor 策略函數(shù)的參數(shù)更新，使算法參數(shù)更新變?yōu)閱尾礁隆Ｐ袆?dòng)者基于概率選擇動(dòng)作，評(píng)判者基于行動(dòng)者的行為評(píng)估行為得分，然后行動(dòng)者根據(jù)評(píng)判者的評(píng)分修改選擇行為的概率。由于基于策略梯度的方法不需要搜索連續(xù)空間以及在表格中儲(chǔ)存相應(yīng)的值，所以對(duì)于高維數(shù)據(jù)問題，基于策略梯度的方法通常優(yōu)于基于值的方法[15]。

1.2 深度強(qiáng)化學(xué)習(xí)

在交通信號(hào)控制的實(shí)際場(chǎng)景中，其任務(wù)具有高維狀態(tài)空間和連續(xù)動(dòng)作空間特征，傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法無法計(jì)算所有狀態(tài)的值函數(shù)和策略函數(shù)。隨著深度學(xué)習(xí)在監(jiān)督學(xué)習(xí)領(lǐng)域應(yīng)用的成功，基于深度學(xué)習(xí)的函數(shù)擬合器可以實(shí)現(xiàn)有效的函數(shù)逼近，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)最優(yōu)策略和價(jià)值函數(shù)的學(xué)習(xí)。下面將介紹目前應(yīng)用于交通信號(hào)控制的主流深度強(qiáng)化學(xué)習(xí)方法。

1.2.1 基于值的深度強(qiáng)化學(xué)習(xí)模型

由于基于值的強(qiáng)化學(xué)習(xí)算法將Q 值存儲(chǔ)在表格中學(xué)習(xí)Q 函數(shù)，且在網(wǎng)絡(luò)復(fù)雜和狀態(tài)空間維數(shù)較高時(shí)傳統(tǒng)強(qiáng)化學(xué)習(xí)方法難以計(jì)算，因此通過深度神經(jīng)網(wǎng)絡(luò)逼近Q 函數(shù)。Mnih[16]等人首次提出將深度神經(jīng)網(wǎng)絡(luò)與Q 學(xué)習(xí)結(jié)合的方法，即深度Q 網(wǎng)絡(luò)，使用CNN近似計(jì)算環(huán)境的Q值。此外，針對(duì)傳統(tǒng)強(qiáng)化學(xué)習(xí)方法的不穩(wěn)定和偏差現(xiàn)象，Mnih[17]等人提出使用目標(biāo)網(wǎng)絡(luò)和經(jīng)驗(yàn)回放穩(wěn)定深度Q 網(wǎng)絡(luò)的學(xué)習(xí)過程。其中，經(jīng)驗(yàn)回放可以去除觀測(cè)值之間的相關(guān)性并實(shí)現(xiàn)數(shù)據(jù)的隨機(jī)采樣、目標(biāo)網(wǎng)絡(luò)的周期性更新，能夠減少每次采取動(dòng)作后得到的Q 值與目標(biāo)值之間的相關(guān)性。

盡管深度Q 網(wǎng)絡(luò)（Dee Q Network, DQN)中利用了經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)，但仍無法克服DQN 的弱點(diǎn)——Q 學(xué)習(xí)容易過估計(jì)動(dòng)作Q 值的問題。因此，Van[15]等人提出雙重深度Q 網(wǎng)絡(luò)(Double Deep Q Network, DDQN)，將動(dòng)作選擇和值函數(shù)估計(jì)解耦，在計(jì)算實(shí)際Q 值時(shí)，動(dòng)作選擇由評(píng)估網(wǎng)絡(luò)完成，值函數(shù)估計(jì)由目標(biāo)網(wǎng)絡(luò)完成，有效提高了模型的穩(wěn)定性。由于均勻采樣容易導(dǎo)致出現(xiàn)次數(shù)少但價(jià)值高的經(jīng)驗(yàn)得不到高效利用而降低學(xué)習(xí)效果，Schaul[18]等人提出一種優(yōu)先處理重要操作的方法——優(yōu)先經(jīng)驗(yàn)回放，通過應(yīng)用具有比例優(yōu)先級(jí)或排名優(yōu)先級(jí)的樣本，具有高TD 誤差的樣本在概率排名上高于其他樣本，并根據(jù)分配的概率對(duì)經(jīng)驗(yàn)進(jìn)行抽樣，這種方法在提升效果的同時(shí)還可以加快學(xué)習(xí)速度。此外，Wang[19]等人提出決斗深度Q 網(wǎng)絡(luò)(Dueling Deep Q Network, Dueling DQN)，將DQN 中直接估算Q 值改為估算狀態(tài)值函數(shù)S和依賴于狀態(tài)的行為優(yōu)勢(shì)函數(shù)A，這種方法在每次網(wǎng)絡(luò)更新時(shí)，可以將狀態(tài)下的所有動(dòng)作的Q值更新。

1.2.2 基于策略梯度的深度強(qiáng)化學(xué)習(xí)模型

由于AC 的行為選擇取決于評(píng)判者的值，導(dǎo)致AC 方法難以收斂，因此Lillicrap[20]將AC 方法與DQN 結(jié)合，提出深度確定性策略梯度算法(Deep Deterministic Policy Gradient, DDPG)，該方法使用非線性函數(shù)近似表示值函數(shù)，使得函數(shù)能夠穩(wěn)定收斂，解決了Q 函數(shù)更新的發(fā)散問題，同時(shí)使用經(jīng)驗(yàn)回放機(jī)制批處理學(xué)習(xí)，從而使訓(xùn)練過程更加穩(wěn)定。在DDPG 的基礎(chǔ)上，基于AC 方法的面向連續(xù)動(dòng)作空間的DRL方法還有雙延遲深度確定性策略梯度算法(Twin Delayed Deep Deterministic Policy Gradient，TD3)[21]，通過延遲智能體更新和添加噪聲的方式提高算法穩(wěn)定性。此外，針對(duì)AC 方法難以收斂的問題，Mnih[22]提出A3C(Asynchronous advantage Actor-critic) 方法，與DQN 采用經(jīng)驗(yàn)池降低數(shù)據(jù)間的相關(guān)性不同，A3C 采用異步的方法降低數(shù)據(jù)間的相關(guān)性。通過創(chuàng)建多個(gè)并行的子線程，讓多個(gè)擁有子結(jié)構(gòu)的智能體在并行的子線程中更新主結(jié)構(gòu)的參數(shù)，降低數(shù)據(jù)間的相關(guān)性，加快收斂。但由于A3C 中各個(gè)智能體異步獨(dú)立更新，會(huì)導(dǎo)致難以達(dá)到最優(yōu)全局策略，A2C (Advantage actor-critic) 通過構(gòu)建多個(gè)并行的同步子線程，在每輪訓(xùn)練中，全局網(wǎng)絡(luò)會(huì)將子線程更新的梯度進(jìn)行匯總并求平均，得到一個(gè)統(tǒng)一的梯度從而更新主網(wǎng)絡(luò)的參數(shù)。

1.3 多智能體強(qiáng)化學(xué)習(xí)模型

多智能體強(qiáng)化學(xué)習(xí)(Multi-Agent Reinforcement Learning,MARL)系統(tǒng)遵循馬爾可夫博弈（隨機(jī)博弈）。在馬爾可夫博弈中，所有智能體根據(jù)當(dāng)前的環(huán)境狀態(tài)同時(shí)選擇各自要執(zhí)行的動(dòng)作，這些被選擇的動(dòng)作構(gòu)成的聯(lián)合動(dòng)作會(huì)影響環(huán)境狀態(tài)的轉(zhuǎn)移和更新，并且會(huì)影響智能體獲得的獎(jiǎng)勵(lì)。多智能體的馬爾可夫博弈過程如圖1所示。

圖1 多智能體的馬爾可夫博弈過程

由于多智能體的學(xué)習(xí)和控制過程更加復(fù)雜，智能體之間存在的關(guān)系通常分為三類：競(jìng)爭(zhēng)關(guān)系、半競(jìng)爭(zhēng)半合作關(guān)系和完全合作關(guān)系，差異體現(xiàn)在算法的獎(jiǎng)勵(lì)函數(shù)中[23]。智能體具有半競(jìng)爭(zhēng)半合作關(guān)系的系統(tǒng)通常使用混合獎(jiǎng)勵(lì)函數(shù)，在平衡貪婪和協(xié)作的重要性后學(xué)習(xí)最佳策略組合。具有完全競(jìng)爭(zhēng)關(guān)系的智能體通常只優(yōu)化智能體自身的控制策略。而具有完全合作關(guān)系的智能體在策略學(xué)習(xí)過程中考慮其他智能體影響的方式可以分為：無需協(xié)作、隱式協(xié)作和顯式協(xié)作。無需協(xié)作方式假設(shè)最優(yōu)聯(lián)合動(dòng)作唯一，因此不需要協(xié)作，但這種方式只在特定的場(chǎng)景下有效。分散Q 學(xué)習(xí)(Distributed Q-learning)[24]是一種無需協(xié)作的學(xué)習(xí)方法，在智能體學(xué)習(xí)的過程中不需要知道其他智能體的動(dòng)作。隱式協(xié)作通過學(xué)習(xí)其他智能體的策略達(dá)到最優(yōu)聯(lián)合動(dòng)作。顯式協(xié)作在協(xié)商選擇動(dòng)作時(shí)需要通信，并逐步完善通信機(jī)制，在訓(xùn)練結(jié)束后根據(jù)通信機(jī)制做出決策。

在隱式協(xié)作方式中，為了得到最優(yōu)策略，每個(gè)智能體需要考慮其他智能體的動(dòng)作和狀態(tài)，得到聯(lián)合動(dòng)作值函數(shù)，通常只適用于小規(guī)模的多智能體問題。平均場(chǎng)論(Mean Field Theory, MFT)[25]是一種隱式協(xié)作的多智能體強(qiáng)化學(xué)習(xí)模型。MFT 假設(shè)所有智能體是同構(gòu)的，動(dòng)作空間相同且動(dòng)作空間是離散的，將智能體與其鄰居智能體之間的相互作用簡(jiǎn)化為兩個(gè)智能體之間的相互作用。算法將值函數(shù)轉(zhuǎn)化為只包含鄰居之間相互作用的形式，對(duì)聯(lián)合動(dòng)作做了簡(jiǎn)化，但仍然使用全局狀態(tài)信息。通過與平均場(chǎng)論結(jié)合，提出了MF-Q 算法和MF-AC 算法[25]，用以改進(jìn)針對(duì)多智能體的Q 學(xué)習(xí)和AC 方法?；谄骄鶊?chǎng)論的多智能體強(qiáng)化學(xué)習(xí)方法主要解決隨著智能體數(shù)量的增加、智能體動(dòng)作維度過高導(dǎo)致計(jì)算復(fù)雜度增大的問題，方法主要思想是將智能體的動(dòng)作空間降維為二維動(dòng)作空間。

1.4 基于深度強(qiáng)化學(xué)習(xí)的交通信號(hào)控制問題

在基于深度強(qiáng)化學(xué)習(xí)的交通信號(hào)控制中，路網(wǎng)中的交通信號(hào)通常由一個(gè)智能體獨(dú)立控制或多個(gè)智能體協(xié)同控制，智能體表示交通信號(hào)燈，環(huán)境通常表示路網(wǎng)中帶有交通信號(hào)燈的交叉口，狀態(tài)st表示t時(shí)刻的環(huán)境信息，如車輛位置、車輛速度、車輛隊(duì)列長(zhǎng)度等；智能體決定采取下一時(shí)刻的動(dòng)作使得獎(jiǎng)勵(lì)最大化，獎(jiǎng)勵(lì)通常表示車輛平均等待時(shí)間或隊(duì)列長(zhǎng)度等。在決策過程中，智能體會(huì)結(jié)合輸入的狀態(tài)、獎(jiǎng)勵(lì)做出相應(yīng)的動(dòng)作。下面介紹基于深度強(qiáng)化學(xué)習(xí)的交通信號(hào)控制方法在狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)方面的設(shè)定。

1.4.1 狀態(tài)

智能體根據(jù)定量表示的環(huán)境狀態(tài)決定采取的動(dòng)作。由于方法結(jié)構(gòu)的不同，基于深度強(qiáng)化學(xué)習(xí)的交通信號(hào)控制使用了許多種不同的狀態(tài)表示。大部分作者將交叉口分割為固定長(zhǎng)度的網(wǎng)格，通過每個(gè)網(wǎng)格中的布爾值確定該位置是否存在車輛，這種網(wǎng)絡(luò)化的表示形式實(shí)現(xiàn)了交通狀態(tài)編碼的離散化，可以獲得高分辨率的真實(shí)交叉口信息[26-28]。一些工作通過交叉口當(dāng)前的快照獲得車輛的速度、加速度以及交通燈的信號(hào)相位等信息[8,29,30]，如Garg[31]將圖像作為狀態(tài)輸入神經(jīng)網(wǎng)絡(luò)計(jì)算預(yù)定義動(dòng)作的概率分布。還有一類廣泛使用的狀態(tài)定義方法是將交叉口各個(gè)車道的特定信息的平均值或總值作為特征組成一個(gè)狀態(tài)向量，這些特定信息包括交叉口第一輛車的累計(jì)等候時(shí)間、交叉口一定距離內(nèi)的車輛總數(shù)、車輛的隊(duì)列長(zhǎng)度以及信號(hào)燈的相位持續(xù)時(shí)間等[32,33]。還有一些研究將左轉(zhuǎn)車占比作為狀態(tài)信息[26]。

對(duì)于多交叉口交通信號(hào)控制問題，狀態(tài)定義還包括附近交叉口信息，如交通燈信號(hào)相位、車輛數(shù)量以及平均隊(duì)列長(zhǎng)度等[34,35]。

1.4.2 動(dòng)作

智能體在獲得當(dāng)前環(huán)境狀態(tài)后，會(huì)從動(dòng)作集中選擇要采取的動(dòng)作并觀察動(dòng)作帶來的獎(jiǎng)勵(lì)及新的環(huán)境狀態(tài)。當(dāng)智能體選擇改變相位的動(dòng)作時(shí)，為保證交通安全，會(huì)執(zhí)行黃燈過渡階段[27]。對(duì)交通信號(hào)控制的智能體有不同類型的動(dòng)作定義：（1）設(shè)置當(dāng)前相位持續(xù)時(shí)間[36]；（2）設(shè)置當(dāng)前相位持續(xù)時(shí)間與預(yù)定義的相位總周期持續(xù)時(shí)間的比率[37]；（3）在預(yù)定義的交通信號(hào)循環(huán)相序中，由當(dāng)前相位改變到下一相位[38,39]；（4）在預(yù)定義的相位中選擇需要更改的相位[32,40-42]。由于大多數(shù)單交叉口交通信號(hào)控制問題中，動(dòng)作集合通常為離散的，如保持當(dāng)前相位或選擇其他相位，因此，基于策略的深度強(qiáng)化學(xué)習(xí)方法較少應(yīng)用于單交叉口信號(hào)控制中。

1.4.3 獎(jiǎng)勵(lì)

在強(qiáng)化學(xué)習(xí)中，車輛等待時(shí)間、累計(jì)延遲和隊(duì)列長(zhǎng)度是最常見的獎(jiǎng)勵(lì)定義。等待時(shí)間為車輛靜止或速度小于某個(gè)閾值的時(shí)間[43,44]，累計(jì)延遲為連續(xù)的綠燈之間的總延誤差值[8,45]，隊(duì)列長(zhǎng)度為每個(gè)車道的累計(jì)隊(duì)列長(zhǎng)度[2,46]。此外，為同時(shí)強(qiáng)調(diào)交通擁堵和行程延遲，有些作者將等待時(shí)間與權(quán)衡系數(shù)相乘后與隊(duì)列長(zhǎng)度相加[32,33]。在多交叉口問題中，通常會(huì)設(shè)置全局獎(jiǎng)勵(lì)和局部獎(jiǎng)勵(lì)，局部獎(jiǎng)勵(lì)反映每個(gè)交叉口的交通狀況，提高每個(gè)智能體的穩(wěn)定性；而全局獎(jiǎng)勵(lì)使得智能體協(xié)作以學(xué)習(xí)整個(gè)路網(wǎng)的最優(yōu)策略。在智能體的學(xué)習(xí)過程中，首先通過局部獎(jiǎng)勵(lì)關(guān)注局部任務(wù)，然后利用學(xué)習(xí)到的局部信息優(yōu)化全局策略。Lin[5]等人將交叉口的凈流出量作為全局獎(jiǎng)勵(lì)，交叉口東西方向和南北方向隊(duì)列長(zhǎng)度差值的絕對(duì)值的相反數(shù)作為局部獎(jiǎng)勵(lì)，系統(tǒng)最終的獎(jiǎng)勵(lì)函數(shù)為局部獎(jiǎng)勵(lì)和全局獎(jiǎng)勵(lì)與系數(shù)相乘后相加的混合函數(shù)，即系統(tǒng)中智能體的關(guān)系為半競(jìng)爭(zhēng)半合作關(guān)系。

1.5 交通信號(hào)控制仿真環(huán)境

由于多數(shù)交通信號(hào)控制系統(tǒng)使用仿真環(huán)境進(jìn)行實(shí)驗(yàn)驗(yàn)證，因此本小節(jié)主要介紹用于交通信號(hào)控制的城市交通仿真軟件。目前，基于仿真環(huán)境的城市交通信號(hào)控制研究中，使用的交通數(shù)據(jù)可以分為自主設(shè)定的交通數(shù)據(jù)和真實(shí)交通數(shù)據(jù)，如Natafgi 等人[47]利用黎巴嫩的真實(shí)交通數(shù)據(jù)在仿真軟件中進(jìn)行交通信號(hào)自適應(yīng)控制實(shí)驗(yàn)。

目前的城市交通仿真環(huán)境主要有SUMO（Simulation Urban Mobility）[48]、Paramics[49]、VISSIM[50]、CityFlow[51]和MATLAB[52]等。其中，SUMO是最受歡迎的開源交通仿真軟件，能夠允許用戶根據(jù)自己的目的設(shè)置和修改仿真環(huán)境，且可以通過Python 中的流量控制接口（TraCI）庫(kù)與SUMO交互，同時(shí)設(shè)置和修改仿真環(huán)境。在2015 年SUMO 被首次使用后，此軟件成為該領(lǐng)域最常用的軟件；Paramics 于1992 年開發(fā)至今，其仿真環(huán)境中的路網(wǎng)建模和編程接口都較為完善和成熟；VISSIM由德國(guó)PTV 公司開發(fā)，可與西門子、飛利浦等多家公司的設(shè)備兼容；CityFlow作為近幾年新的交通模擬軟件，與SUMO 相比速度更快，已經(jīng)被越來越多的研究學(xué)者使用，有望成為下一個(gè)主流的交通仿真軟件。它是一種新的開源仿真軟件，可以基于合成數(shù)據(jù)或真實(shí)數(shù)據(jù)進(jìn)行多智能體交通信號(hào)控制仿真；MATLAB 使用頻率較低，主要功能為數(shù)據(jù)分析計(jì)算，在交通信號(hào)控制仿真的實(shí)際應(yīng)用中，通常與VISSIM 集成實(shí)現(xiàn)仿真。目前研究中使用的交通仿真軟件多數(shù)為開源交通仿真軟件。

交通系統(tǒng)是一個(gè)涉及車輛、道路和交通環(huán)境的復(fù)雜系統(tǒng)，含有許多不確定的因素。利用交通仿真工具，不僅可以將復(fù)雜交通信號(hào)控制問題具體場(chǎng)景化，而且可以在仿真環(huán)境中反復(fù)進(jìn)行低成本實(shí)驗(yàn)。由于當(dāng)前交通信號(hào)控制大多在仿真環(huán)境中進(jìn)行，而智能交通信號(hào)控制DRL 模型的研究工作是為了推動(dòng)智能交通信號(hào)控制的實(shí)際應(yīng)用，因此基于真實(shí)路網(wǎng)構(gòu)建仿真環(huán)境路網(wǎng)是后續(xù)研究工作的必然發(fā)展方向。

2 基于深度強(qiáng)化學(xué)習(xí)的單交叉口信號(hào)控制優(yōu)化

目前用于交通信號(hào)控制系統(tǒng)的深度強(qiáng)化學(xué)習(xí)方法大致可分為兩類：（1）基于值函數(shù)的方法，有深度Q 網(wǎng)絡(luò)[39]、雙重深度Q 網(wǎng)絡(luò)[15]、決斗深度Q 網(wǎng)絡(luò)[19]、雙重決斗深度Q 網(wǎng)絡(luò)(Double Dueling Deep Q Network)[29]、具有優(yōu)先經(jīng)驗(yàn)回放的深度Q 網(wǎng)絡(luò)(Prioritized Experience Replay)[18]等；（2）基于策略梯度的方法有：優(yōu)勢(shì)行動(dòng)者-評(píng)論者(Actor-Critic,A2C/A3C)[22]等。

近年來，強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合的深度強(qiáng)化學(xué)習(xí)方法在交通信號(hào)控制領(lǐng)域應(yīng)用越來越廣泛，并且取得了令人滿意的結(jié)果。單交叉口交通信號(hào)控制主要由單個(gè)智能體進(jìn)行訓(xùn)練和執(zhí)行，基于值和基于策略的方法都可以很好地滿足需要。還有許多學(xué)者從改進(jìn)深度學(xué)習(xí)模型的輸入或深度強(qiáng)化方法、考慮車輛異質(zhì)性、考慮路網(wǎng)關(guān)鍵點(diǎn)等方面入手，優(yōu)化用于交通信號(hào)控制的深度強(qiáng)化學(xué)習(xí)模型?；谏疃葟?qiáng)化學(xué)習(xí)的單交叉口信號(hào)控制系統(tǒng)方法匯總于表1。

表1 基于深度強(qiáng)化學(xué)習(xí)的單交叉口信號(hào)控制系統(tǒng)方法

2.1 改進(jìn)深度強(qiáng)化學(xué)習(xí)方法

為了解決DQN 容易高估Q 值的問題，Liang[29]等人提出將雙DQN 與決斗DQN 結(jié)合的方法——雙重決斗DQN，以增強(qiáng)模型的穩(wěn)定性，其中，使用CNN 分別作為Q 值函數(shù)逼近器和目標(biāo)網(wǎng)絡(luò)。與其他大多數(shù)方法不同的是，作者將動(dòng)作集定義為如何更新交叉口每個(gè)相位的持續(xù)時(shí)間。此外，作者使用優(yōu)先經(jīng)驗(yàn)回放提高有意義的經(jīng)驗(yàn)采樣率，與DQN 方法相比，明顯減少了車輛在高峰時(shí)期的平均等待時(shí)間，并提高了模型的可收斂性。這也是首次將決斗網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)、雙Q 網(wǎng)絡(luò)和優(yōu)先經(jīng)驗(yàn)回放結(jié)合到一個(gè)框架中來處理交通信號(hào)控制問題，為面向強(qiáng)化學(xué)習(xí)的交通信號(hào)控制系統(tǒng)提供新的思路，但雙DQN和決斗DQN在提高模型學(xué)習(xí)效果的同時(shí)也會(huì)使得模型的訓(xùn)練過程不穩(wěn)定。

Mousavi[8]等人分別提出基于值的交通信號(hào)控制方法和基于策略梯度的交通信號(hào)控制方法。其特點(diǎn)在于，將交叉口的截圖直接作為狀態(tài)輸入CNN 獲得車輛位置和隊(duì)列長(zhǎng)度，且仿真結(jié)果優(yōu)于淺層神經(jīng)網(wǎng)絡(luò)和固定時(shí)間的交通信號(hào)控制方法。實(shí)驗(yàn)驗(yàn)證了這種方法在模擬環(huán)境中的可行性，并且在智能體訓(xùn)練和應(yīng)用過程中沒有出現(xiàn)不穩(wěn)定性問題。但是模擬環(huán)境與實(shí)際物理場(chǎng)景可能不同，由于這種方法應(yīng)用交通模擬器采集的車輛位置圖像和隊(duì)列長(zhǎng)度以找到信號(hào)的最優(yōu)控制策略，因此現(xiàn)實(shí)環(huán)境中干擾物較多的情況下如何保證識(shí)別準(zhǔn)確率也需要考慮。

Wan[26]等人將動(dòng)作和狀態(tài)同時(shí)作為神經(jīng)網(wǎng)絡(luò)的輸入估算Q 值并輸出某一個(gè)動(dòng)作，根據(jù)智能體的兩個(gè)動(dòng)作執(zhí)行時(shí)間間隔確定動(dòng)態(tài)折扣因子，時(shí)間間隔越長(zhǎng)，則折扣因子越小，即時(shí)間間隔越久的動(dòng)作對(duì)當(dāng)前值函數(shù)的影響越小。在與DQN 等方法的對(duì)比實(shí)驗(yàn)中發(fā)現(xiàn)，將動(dòng)作作為輸入添加到神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練結(jié)束后只需要輸出一個(gè)動(dòng)作的值可以使DQN 的訓(xùn)練難度降低。但是DQN 框架只能在離散動(dòng)作空間中使用，因此嘗試在連續(xù)動(dòng)作空間應(yīng)用該方法處理交通信號(hào)控制問題更具有現(xiàn)實(shí)意義。

2.2 自編碼器結(jié)合深度強(qiáng)化學(xué)習(xí)方法

Gender[55]等人根據(jù)交通環(huán)境中的具體信息（車輛位置、速度等信息），將狀態(tài)表示為類圖，使用離散交通狀態(tài)編碼，在DQN 中使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）估算離散動(dòng)作的Q 值。但是Q-learning 方法中使用貪婪策略雖然可以快速讓Q 值向可能的優(yōu)化目標(biāo)靠攏，但容易導(dǎo)致過度估計(jì)。Q 值過度估計(jì)會(huì)使策略產(chǎn)生震蕩，使得模型策略陷入局部最優(yōu)，導(dǎo)致最終得到的算法模型有很大的偏差，因此Li[4]等人通過將DQN 中的值函數(shù)逼近器由傳統(tǒng)的DNN 更改為堆棧自編碼器（SAE）。這些方法主要著重于不同深度學(xué)習(xí)模型在強(qiáng)化學(xué)習(xí)中的應(yīng)用。

2.3 模式模糊推理結(jié)合深度強(qiáng)化學(xué)習(xí)方法

一些方法通過改變交叉口輸入或利用模糊推理定義車輛優(yōu)先級(jí)實(shí)現(xiàn)單交叉口交通信號(hào)控制的優(yōu)化。如Kumar[53]等人首先根據(jù)車輛種類將道路運(yùn)行模式分為三類：公平模式、優(yōu)先模式和緊急模式，通過模糊邏輯推理確定道路當(dāng)前運(yùn)行模式，并根據(jù)車輛類型分配相應(yīng)車道的綠燈時(shí)間。其次，智能體的動(dòng)作集合為選擇維持當(dāng)前動(dòng)作或切換動(dòng)作集合中的下一相位，綠燈持續(xù)時(shí)長(zhǎng)則由道路運(yùn)行模式?jīng)Q定。

該方法與改進(jìn)的深度強(qiáng)化學(xué)習(xí)方法有很大不同，通過考慮車輛的異質(zhì)性（例如優(yōu)先安排應(yīng)急車輛通過）最小化等待時(shí)間，與其他幾種基于模糊推理、神經(jīng)網(wǎng)絡(luò)或只基于優(yōu)先級(jí)的方法比較，在減少CO2排放和平均等待時(shí)間上有積極效果。但模糊推理需要大量?jī)?nèi)存，在智能體數(shù)目較多時(shí)會(huì)損失精度。

2.4 關(guān)鍵節(jié)點(diǎn)挖掘結(jié)合深度強(qiáng)化學(xué)習(xí)方法

Xu[27]等人認(rèn)為路網(wǎng)中的關(guān)鍵節(jié)點(diǎn)對(duì)緩解交通擁堵起著至關(guān)重要的作用，關(guān)鍵節(jié)點(diǎn)被識(shí)別為如果發(fā)生故障將導(dǎo)致道路網(wǎng)絡(luò)交通效率大幅降低的節(jié)點(diǎn)，因此優(yōu)化關(guān)鍵節(jié)點(diǎn)的信號(hào)控制具有重要意義。文中將交通信號(hào)控制系統(tǒng)分為兩個(gè)階段，分別為路網(wǎng)關(guān)鍵節(jié)點(diǎn)發(fā)現(xiàn)階段與信號(hào)控制策略學(xué)習(xí)階段。路網(wǎng)關(guān)鍵節(jié)點(diǎn)發(fā)現(xiàn)階段，通過地圖匹配方法實(shí)現(xiàn)路網(wǎng)區(qū)域劃分，并將路網(wǎng)劃分為三分圖，然后根據(jù)三分圖對(duì)每個(gè)交叉口的重要性進(jìn)行排序，實(shí)現(xiàn)路網(wǎng)關(guān)鍵節(jié)點(diǎn)被發(fā)現(xiàn)；在發(fā)現(xiàn)路網(wǎng)關(guān)鍵節(jié)點(diǎn)后利用基于深度回歸Q 網(wǎng)絡(luò)（Deep Recurrent Q Network，DRQN）的交通信號(hào)策略學(xué)習(xí)實(shí)現(xiàn)對(duì)關(guān)鍵節(jié)點(diǎn)的控制，在DRQN 中值函數(shù)逼近器為L(zhǎng)STM，在每個(gè)情節(jié)中利用ε-貪婪策略選擇一個(gè)動(dòng)作。

較大規(guī)模的交通路網(wǎng)更容易導(dǎo)致交通擁堵，要解決這一問題就需要更多的智能體或輸入的狀態(tài)空間維數(shù)增加，這會(huì)導(dǎo)致智能體學(xué)習(xí)效率降低。該方法通過對(duì)關(guān)鍵節(jié)點(diǎn)進(jìn)行優(yōu)化控制提高大規(guī)模路網(wǎng)交通效率，且仿真結(jié)果略優(yōu)于基于DQN 的交通信號(hào)控制方法。但實(shí)驗(yàn)中缺乏流量峰值時(shí)的對(duì)比實(shí)驗(yàn)，當(dāng)路網(wǎng)處于流量峰值時(shí)，在路網(wǎng)中選取的關(guān)鍵節(jié)點(diǎn)的數(shù)量和規(guī)則也需要考慮。

2.5 魯棒性增強(qiáng)結(jié)合深度強(qiáng)化學(xué)習(xí)方法

Tan[54]等人將雙DQN 作為交通信號(hào)控制策略學(xué)習(xí)方法，狀態(tài)定義為當(dāng)前信號(hào)相位、隊(duì)列長(zhǎng)度和道路中車輛的平均速度。圖2 給出了深度強(qiáng)化學(xué)習(xí)循環(huán)過程[54]，為進(jìn)一步提高交通信號(hào)控制系統(tǒng)的魯棒性，將噪聲信息添加到狀態(tài)集的隊(duì)列長(zhǎng)度中，而其他狀態(tài)則不受影響并通過多層神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)抗訓(xùn)練，提高模型的抗噪能力。

圖2 深度強(qiáng)化學(xué)習(xí)循環(huán)過程[54]

由于深度強(qiáng)化學(xué)習(xí)交通信號(hào)控制在實(shí)際應(yīng)用時(shí)，模型的魯棒性和安全性是最關(guān)鍵的問題，因此通過在模型訓(xùn)練過程中添加適當(dāng)噪聲模擬現(xiàn)實(shí)世界中狀態(tài)信息獲取不準(zhǔn)確的情況，以有效提高模型的魯棒性。在實(shí)驗(yàn)中證明經(jīng)過對(duì)抗訓(xùn)練的智能體在不同噪聲場(chǎng)景下具有更好的表現(xiàn)，這為深度強(qiáng)化學(xué)習(xí)交通信號(hào)控制系統(tǒng)從模擬環(huán)境走向現(xiàn)實(shí)環(huán)境提供了可行方案。

2.6 部分可觀測(cè)車輛結(jié)合深度強(qiáng)化學(xué)習(xí)方法

目前大多數(shù)研究都是在環(huán)境為完全可觀測(cè)環(huán)境的假設(shè)上進(jìn)行的，Zhang[28]等人通過設(shè)置部分車輛為不可觀測(cè)車輛，利用DQN、優(yōu)先經(jīng)驗(yàn)存放和目標(biāo)網(wǎng)絡(luò)實(shí)現(xiàn)在部分可觀測(cè)環(huán)境中改善交通信號(hào)控制。方法的特點(diǎn)是由于部分車輛可檢測(cè)，因此論文選擇交叉口中更具體的信息作為狀態(tài)，如可檢測(cè)到的車輛數(shù)量、當(dāng)前相位、最近車輛的距離、當(dāng)前相位持續(xù)時(shí)間和當(dāng)前時(shí)刻。其中，將當(dāng)前時(shí)刻作為狀態(tài)輸入是為了模擬現(xiàn)實(shí)生活中的交通模式。將模型分為訓(xùn)練階段和執(zhí)行階段，將訓(xùn)練階段訓(xùn)練好的模型應(yīng)用于未知的執(zhí)行階段的環(huán)境。設(shè)置車輛檢測(cè)率從0%到100%進(jìn)行改變，分別觀測(cè)交通信號(hào)控制的結(jié)果，通過訓(xùn)練階段與執(zhí)行階段的不同檢測(cè)率設(shè)置，檢驗(yàn)?zāi)Ｐ托阅堋?shí)驗(yàn)結(jié)果表明，模型的遷移性較好，具有一定的實(shí)際意義。

這是一種在部分檢測(cè)場(chǎng)景下優(yōu)化交通控制問題的新方法，追求以更低的檢測(cè)率來實(shí)現(xiàn)較優(yōu)的交通流量控制。這種方法考慮到了稀疏、中等和密集三種車流量的情況，雖然在稀疏車流和密集車流情況下優(yōu)化結(jié)果大有不同，但依然能提供良好的整體優(yōu)化方案。此外，在密集車流量情形下，相比于其他完全可觀測(cè)的場(chǎng)景，該方法中能被檢測(cè)到的車輛通行時(shí)間縮短，但總體的車輛等待時(shí)間還有待進(jìn)一步優(yōu)化。

3 基于深度強(qiáng)化學(xué)習(xí)的多交叉口信號(hào)控制協(xié)同優(yōu)化

近年來，多交叉口交通信號(hào)控制越來越成為人們的研究熱點(diǎn)。本節(jié)通過對(duì)多交叉口交通信號(hào)控制方法和技術(shù)進(jìn)行對(duì)比，將基于深度強(qiáng)化學(xué)習(xí)的多交叉口信號(hào)控制系統(tǒng)方法匯總于表2。

表2 基于深度強(qiáng)化學(xué)習(xí)的多交叉口信號(hào)控制系統(tǒng)方法

續(xù)表2

3.1 智能體中心化結(jié)合深度強(qiáng)化學(xué)習(xí)方法

Arel[56]等人利用路網(wǎng)中的中心化的Q 學(xué)習(xí)網(wǎng)絡(luò)控制多交叉口。中心智能體接收其鄰近智能體的流量信息學(xué)習(xí)價(jià)值函數(shù)，并且設(shè)置了中心智能體的獎(jiǎng)勵(lì)函數(shù)與多智能體的平均獎(jiǎng)勵(lì)函數(shù)優(yōu)化中心智能體的策略。中心智能體的鄰近智能體采用最長(zhǎng)隊(duì)列優(yōu)先（LQF）的方式實(shí)現(xiàn)信號(hào)控制，中心智能體通過將Q 學(xué)習(xí)結(jié)合前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)Q 值估計(jì)。

該方法通過中心智能體和鄰近智能體之間不同的控制方式，并由鄰近智能體向中心智能體提供本地交通數(shù)據(jù)信息從而與中心智能體進(jìn)行協(xié)作控制。實(shí)驗(yàn)結(jié)果清楚地證明了基于多智能體RL 的控制優(yōu)于LQF 控制的孤立單交叉口控制。同時(shí)這也是一種分布式的控制方式，因此具有良好的可擴(kuò)展性，可較好地應(yīng)用到規(guī)模較大的路網(wǎng)中。

3.2 復(fù)雜狀態(tài)表示結(jié)合深度強(qiáng)化學(xué)習(xí)方法

Rasheed[57]等人通過考慮相鄰智能體的動(dòng)作，以多智能體協(xié)作的方式學(xué)習(xí)最佳聯(lián)合動(dòng)作，且通過每個(gè)智能體的Q 值相加后得到全局Q 值。此外，為使環(huán)境更接近真實(shí)情況，實(shí)驗(yàn)中考慮暴雨天氣對(duì)交通狀況的影響，將暴雨程度作為狀態(tài)輸入DQN中實(shí)現(xiàn)交通信號(hào)控制。

一些強(qiáng)化學(xué)習(xí)交通信號(hào)控制方法容易受到維數(shù)災(zāi)難的困擾，環(huán)境的表示和動(dòng)作空間可能是高維和復(fù)雜的，這會(huì)使得模型訓(xùn)練難以收斂。因此Rasheed[57]等人研究了在高流量和高干擾的交通網(wǎng)絡(luò)場(chǎng)景下進(jìn)一步解決維數(shù)災(zāi)難的應(yīng)用，與基本模型相比，該模型在仿真中能夠獲得較高獎(jiǎng)勵(lì)，并在真實(shí)交通路網(wǎng)下進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

3.3 改進(jìn)深度強(qiáng)化學(xué)習(xí)方法

由于DQN 自身收斂效果差的缺點(diǎn)，Gong[58]等人將雙重決斗DQN應(yīng)用于多交叉口交通信號(hào)控制中。將智能體動(dòng)作空間中的部分動(dòng)作設(shè)置凍結(jié)期，處于凍結(jié)期的動(dòng)作無法被選中，以提高模型的穩(wěn)定性。Kim[59]等人也將雙重決斗DQN 與優(yōu)先經(jīng)驗(yàn)回放應(yīng)用于多交叉口交通信號(hào)控制優(yōu)化，將時(shí)刻、溫度等作為特征預(yù)測(cè)交叉口下一時(shí)刻的流量，并將預(yù)測(cè)值和智能體的動(dòng)作輸入NoisyNet，實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)智能體的探索過程。相較于基于ε-貪婪的探索方法，NoisyNet更加適用于高維動(dòng)作空間。針對(duì)多交叉口交通信號(hào)控制，利用分布式強(qiáng)化學(xué)習(xí)的思想，每個(gè)智能體在更新Q 值網(wǎng)絡(luò)時(shí)考慮其相鄰智能體上一時(shí)刻的Q值，通過多智能體協(xié)作獲得全局最優(yōu)值。將雙重決斗DQN作為多交叉口信號(hào)控制的方法能夠解決模型的過估計(jì)問題，但由于算法對(duì)數(shù)據(jù)和環(huán)境的要求較高，模型訓(xùn)練難度較高，因此模型的遷移性較低。

Chu[32]等人根據(jù)IDQN[65]提出多智能體A2C(MA2C)，在非完全觀測(cè)的條件下，將每個(gè)智能體的相鄰智能體的最新策略與智能體當(dāng)前狀態(tài)一同輸入DNN 網(wǎng)絡(luò)中，并且將距離較遠(yuǎn)的智能體的信息按比例縮放，提高算法的穩(wěn)定性和可收斂性。文中使用混合獎(jiǎng)勵(lì)函數(shù)，智能體之間的關(guān)系為半競(jìng)爭(zhēng)半合作關(guān)系。其中全局獎(jiǎng)勵(lì)為所有智能體即時(shí)獎(jiǎng)勵(lì)之和。將全局獎(jiǎng)勵(lì)與提出的空間折扣因子相乘后，再與時(shí)間折扣因子相乘得到反饋給每個(gè)智能體的折扣全局獎(jiǎng)勵(lì)，最終每個(gè)智能體的混合獎(jiǎng)勵(lì)為反饋的折扣全局獎(jiǎng)勵(lì)與鄰居智能體折扣后的值函數(shù)相加之和。實(shí)驗(yàn)結(jié)果顯示該方法在平均獎(jiǎng)勵(lì)和隊(duì)列長(zhǎng)度以及路網(wǎng)中的車輛吞吐量上均優(yōu)于無協(xié)作的IA2C 和貪婪算法。當(dāng)路網(wǎng)規(guī)模擴(kuò)大時(shí)，基于分散訓(xùn)練的多智能體模型的訓(xùn)練效率會(huì)降低，因此可擴(kuò)展性較差。

3.4 圖卷積神經(jīng)網(wǎng)絡(luò)方法

Li[44]等人在訓(xùn)練時(shí)考慮到全局狀態(tài)實(shí)現(xiàn)協(xié)作，將其他智能體的相位信息以布爾值形式存放在離散表格中，并將其輸入值函數(shù)逼近器中實(shí)現(xiàn)信息共享，每個(gè)智能體通過DQN 學(xué)習(xí)策略。但智能體單獨(dú)訓(xùn)練的方式可能會(huì)導(dǎo)致模型難以穩(wěn)定收斂。由于DQN 中常用的狀態(tài)信息學(xué)習(xí)模塊通?；贑NN，而CNN 對(duì)于拓?fù)浣Y(jié)構(gòu)的信息處理能力較差，因此Nishi[41]等人使用圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）直接提取路網(wǎng)幾何特征，并以分布式方式控制交叉口交通信號(hào)，使用N 步神經(jīng)擬合Q 迭代（NFQI）批處理收集的數(shù)據(jù)從而更新Q值。

與其他一些多交叉口控制方式不同，這種方法不是直接與其他智能體進(jìn)行通信，而是通過所提出的方法學(xué)習(xí)控制策略且每個(gè)交通信號(hào)燈由單獨(dú)學(xué)習(xí)的策略控制。GCN 能夠根據(jù)遠(yuǎn)距離道路之間的交通關(guān)系自動(dòng)提取特征，且這種方法擁有兩倍于基于強(qiáng)化學(xué)習(xí)方法的學(xué)習(xí)效率，更快地找到最優(yōu)策略。在與基于CNN的深度強(qiáng)化學(xué)習(xí)方法對(duì)比實(shí)驗(yàn)中，基于GCN的深度強(qiáng)化學(xué)習(xí)方法略有提升，但模型中智能體屬于完全競(jìng)爭(zhēng)型，降低了網(wǎng)絡(luò)的穩(wěn)定性。

3.5 獨(dú)立雙Q學(xué)習(xí)方法

Wang[61]等人提出一種基于協(xié)作的獨(dú)立雙Q 學(xué)習(xí)（Co-DQN）方法。Co-DQN 采用置信上限法則（UCB）進(jìn)行智能體的動(dòng)作探索行為。在多智能體學(xué)習(xí)過程中，為保證模型收斂和降低復(fù)雜度，作者應(yīng)用基于平均場(chǎng)論的多智能體強(qiáng)化學(xué)習(xí)模型，減少動(dòng)作空間維度，提出了獨(dú)立雙Q 學(xué)習(xí)方法。在提出的獨(dú)立雙Q 學(xué)習(xí)方法的基礎(chǔ)上，每個(gè)智能體的獎(jiǎng)勵(lì)函數(shù)由智能體自身和其相鄰智能體的加權(quán)獎(jiǎng)勵(lì)函數(shù)之和代替，相鄰智能體之間共享狀態(tài)信息，得到的Co-DQN模型提高了訓(xùn)練過程的穩(wěn)定性。

該方法與MA2C、IQL 等較為先進(jìn)的方法相比具有更高的獎(jiǎng)勵(lì)，且該方法的獎(jiǎng)勵(lì)比較穩(wěn)定。但置信上限法則的收斂速度較慢，對(duì)高度復(fù)雜問題的解決能力有限，不適用于大規(guī)模路網(wǎng)中的智能體訓(xùn)練。

3.6 中心訓(xùn)練結(jié)合分散執(zhí)行框架方法

Li[30]等人將多智能體深度確定性策略梯度（MADDPG）算法應(yīng)用于多交叉口交通信號(hào)控制的優(yōu)化。在MADDPG 算法中，智能體利用中心訓(xùn)練-分散執(zhí)行(Centralized Training Decentralized Execution, CTDE)框架，同時(shí)訓(xùn)練需要全局信息的Critic 網(wǎng)絡(luò)和只需要局部信息的Actor 網(wǎng)絡(luò)，并使用Critic 網(wǎng)絡(luò)對(duì)Actor 網(wǎng)絡(luò)進(jìn)行參數(shù)更新，執(zhí)行時(shí)Actor網(wǎng)絡(luò)只了解局部信息也能獲得近似的全局最優(yōu)策略。每個(gè)智能體根據(jù)其他智能體的全局信息訓(xùn)練學(xué)習(xí)策略，并根據(jù)其他智能體的預(yù)估策略調(diào)整局部策略。由于每個(gè)智能體有單獨(dú)的獎(jiǎng)勵(lì)函數(shù)，因此MADDPG 算法可應(yīng)用于存在完全合作、完全競(jìng)爭(zhēng)和半競(jìng)爭(zhēng)半合作關(guān)系的任務(wù)中。與基于DDPG的仿真結(jié)果相比，基于MADDPG 的算法可將收斂性提高，且平均車輛等待時(shí)間明顯降低。

Wu[62]等人在MADDPG 的基礎(chǔ)上提出MARDDPG，與MADDPG 的不同之處在于，MARDDPG在Critic 網(wǎng)絡(luò)和Actor 網(wǎng)絡(luò)中添加了循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）提高模型在非完全觀測(cè)環(huán)境下的穩(wěn)定性。此外，為了提高算法的訓(xùn)練效率和收斂速度，將參數(shù)共享機(jī)制融入Critic 網(wǎng)絡(luò)。為了更加符合實(shí)際情況，將多交叉口中的車輛設(shè)置不同優(yōu)先級(jí)，如公交車比私家車具有更高的優(yōu)先級(jí)，并進(jìn)一步考慮行人的影響。MARDDPG 的仿真結(jié)果相比MADDPG有所提高。

基于MADDPG 的方法與基于MARDDPG 的方法都采用AC 網(wǎng)絡(luò)實(shí)現(xiàn)，但Critic 網(wǎng)絡(luò)的輸入空間會(huì)隨著道路網(wǎng)絡(luò)規(guī)模的擴(kuò)大而線性增加，導(dǎo)致模型難以收斂，可以通過考慮相鄰模型的信息提高模型的可收斂性。

3.7 信息交換結(jié)合深度強(qiáng)化學(xué)習(xí)方法

在智能體協(xié)作過程中，通過相鄰交叉口獲得的信息維度較低且時(shí)滯較嚴(yán)重，導(dǎo)致智能體之間通信的魯棒性降低。為解決這一問題，Xie[33]等人提出了一種基于信息交換的方法來解決交通信號(hào)控制問題，即用非即時(shí)信息代替即時(shí)信息，使用上一時(shí)刻的觀測(cè)信息代替當(dāng)前時(shí)刻的觀測(cè)信息。提出的模型可分為三部分：信息抽象塊、信息交換塊和DQN。其中，信息抽象塊將局部智能體上一時(shí)刻的信息通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)后得到的較低維通信協(xié)議傳送給其他智能體，且所有智能體之間共享信息抽象塊的參數(shù)。信息交換塊根據(jù)智能體之間影響的重要性和智能體對(duì)其他智能體的敏感性自動(dòng)學(xué)習(xí)通信協(xié)議參數(shù)、分配權(quán)重。Q網(wǎng)絡(luò)塊根據(jù)信息交換塊輸入的影響系數(shù)和其他輸入信息輸出Q值。為緩解局部可觀測(cè)問題，文中假設(shè)將交叉口之間信息和當(dāng)前局部觀測(cè)信息整合后作為完全可觀測(cè)狀態(tài)。

圖3 給出了實(shí)驗(yàn)結(jié)果中的車輛平均隊(duì)列長(zhǎng)度和車輛平均延遲時(shí)間對(duì)比圖[33]，與MA2C和IQL等方法相比，該方法可獲得最低的平均隊(duì)列長(zhǎng)度和平均延遲。智能體間共享參數(shù)能夠提升算法的訓(xùn)練效率，但這種方法只適用于較為簡(jiǎn)單的路網(wǎng)，對(duì)具有不同動(dòng)作空間的交叉口適用性較差。

圖3 三種算法的車輛平均隊(duì)列長(zhǎng)度和車輛平均延遲時(shí)間對(duì)比[33]

3.8 元學(xué)習(xí)器結(jié)合深度強(qiáng)化學(xué)習(xí)方法

Zang[63]等人將基于值的元學(xué)習(xí)方法[65]應(yīng)用于交通信號(hào)控制中，元學(xué)習(xí)過程可分為訓(xùn)練過程和測(cè)試過程，目的是訓(xùn)練一種通用的元學(xué)習(xí)器，訓(xùn)練好的模型可以適應(yīng)不同種類和數(shù)量的交叉口。通過兩個(gè)模塊交替更新參數(shù)實(shí)現(xiàn)：個(gè)體適應(yīng)模塊和全局適應(yīng)模塊，其中個(gè)體適應(yīng)模塊每個(gè)時(shí)刻逐步優(yōu)化參數(shù)，全局適應(yīng)模塊通過批采樣任務(wù)同步更新，并最終將最優(yōu)的全局適應(yīng)模塊的參數(shù)傳遞給個(gè)體適應(yīng)模塊。其中，個(gè)體適應(yīng)模塊的參數(shù)學(xué)習(xí)方法為FRAP++，F(xiàn)RAP++是作者基于FRAP 方法[67]改進(jìn)后的方法，將相位表示由求和改為求均值后提高了模型的遷移能力。

這種方法提高了模型的遷移性，訓(xùn)練好的元學(xué)習(xí)器可以適應(yīng)新的交叉口，通過轉(zhuǎn)移先前學(xué)習(xí)的知識(shí)提高交通信號(hào)控制中深度強(qiáng)化學(xué)習(xí)的學(xué)習(xí)效率。

3.9 歸納動(dòng)態(tài)圖強(qiáng)化學(xué)習(xí)方法

Devailly 等人[60]基于歸納圖強(qiáng)化學(xué)習(xí)(Inductive Graph Reinforcement Learning，IG-RL)將交叉口中的對(duì)象（車道、信號(hào)燈以及車輛）建模為拓?fù)浣Y(jié)構(gòu)圖中的節(jié)點(diǎn)，對(duì)象之間的物理連接關(guān)系建模為拓?fù)浣Y(jié)構(gòu)圖中的邊，由節(jié)點(diǎn)和邊構(gòu)成動(dòng)態(tài)拓?fù)鋱D，采用GCN在相同類別的節(jié)點(diǎn)間、同交叉口中的對(duì)象間共享參數(shù)。其中，拓?fù)浣Y(jié)構(gòu)圖中的節(jié)點(diǎn)表示交通信號(hào)控制器的狀態(tài)（當(dāng)前相位、連接關(guān)系），連接節(jié)點(diǎn)表示交叉口入口車道與出口車道的連接關(guān)系（與拓?fù)浣Y(jié)構(gòu)圖中節(jié)點(diǎn)的當(dāng)前相位有關(guān)），車道節(jié)點(diǎn)表示車道狀態(tài)，車輛節(jié)點(diǎn)表示車輛狀態(tài)。通過分布式RL 訓(xùn)練模型，訓(xùn)練過程中，在多種路網(wǎng)拓?fù)浣Y(jié)構(gòu)、交叉口拓?fù)浣Y(jié)構(gòu)、交通車輛分布的環(huán)境中收集經(jīng)驗(yàn)，并通過學(xué)習(xí)到的經(jīng)驗(yàn)更新共享參數(shù)。通過包含多樣性路網(wǎng)拓?fù)浣Y(jié)構(gòu)的訓(xùn)練集限制相鄰交叉口的影響，提高訓(xùn)練過程的穩(wěn)定性和模型的可擴(kuò)展性。將在多種路網(wǎng)拓?fù)浣Y(jié)構(gòu)中訓(xùn)練好的模型應(yīng)用于測(cè)試路網(wǎng)，根據(jù)模型在測(cè)試路網(wǎng)中的表現(xiàn)評(píng)估模型的可遷移性。作者設(shè)計(jì)了豐富的實(shí)驗(yàn)，在IG-RL 中分別只考慮車輛級(jí)別信息和車道級(jí)別信息，驗(yàn)證了基于車輛級(jí)別信息訓(xùn)練模型的泛化能力更好，可遷移性更高，模型在正常流量和高峰流量情況下能獲得更好的控制效果。

由于在真實(shí)交通環(huán)境中進(jìn)行交通信號(hào)控制的研究較難實(shí)現(xiàn)，目前絕大多數(shù)基于深度強(qiáng)化學(xué)習(xí)的交通信號(hào)控制研究都是在仿真環(huán)境中完成的。前面介紹了目前常用的仿真軟件，仿真軟件可根據(jù)不同環(huán)境和參數(shù)實(shí)現(xiàn)不同場(chǎng)景下的仿真。目前大多數(shù)仿真實(shí)驗(yàn)都是通過在仿真軟件中構(gòu)建單個(gè)或多個(gè)網(wǎng)格路網(wǎng)實(shí)現(xiàn)多交叉口或單交叉口的交通信號(hào)實(shí)驗(yàn)[29,41,56,61]，許多工作中分別將真實(shí)的路網(wǎng)結(jié)構(gòu)和基于仿真軟件構(gòu)建的網(wǎng)格路網(wǎng)作為實(shí)驗(yàn)路網(wǎng)[30,57,65]。如Chu[32]等人將Monaco 市的真實(shí)路網(wǎng)作為實(shí)驗(yàn)路網(wǎng)，同時(shí)構(gòu)建了一個(gè)5*5的網(wǎng)格路網(wǎng)作為實(shí)驗(yàn)路網(wǎng)。

還有一些研究不僅使用真實(shí)路網(wǎng)，還根據(jù)一些公開的交通數(shù)據(jù)設(shè)置相應(yīng)的模擬參數(shù)，使得仿真情況更接近實(shí)際場(chǎng)景。如Gong[58]等人使用佛羅里達(dá)州Orlando 市Seminole 縣的真實(shí)路網(wǎng)作為實(shí)驗(yàn)路網(wǎng)，并根據(jù)Seminole 縣提供的真實(shí)信號(hào)控制時(shí)序作為對(duì)比方法，從Orlando 市區(qū)交通研究（Orlando Urban Area Transportation Study，OUATS）中獲取了2009 年Orlando 市Seminole 縣相應(yīng)路網(wǎng)的日常OD 矩陣，并依此規(guī)劃車輛軌跡。Zang[63]等人使用通過監(jiān)控捕捉的杭州和濟(jì)南地區(qū)的部分十字路口車輛信息，以及美國(guó)Atlanta 和Los Angeles 通過沿街?jǐn)z像機(jī)捕捉的車輛完整軌跡分別作為試驗(yàn)數(shù)據(jù)集，進(jìn)行模型的可遷移性對(duì)比。文中使用的路網(wǎng)和數(shù)據(jù)集均是通過美國(guó)ITS DataHub 網(wǎng)站的公開真實(shí)數(shù)據(jù)集，ITS DataHub 中的數(shù)據(jù)集包括連接車信息、自動(dòng)車輛數(shù)據(jù)、車輛軌跡現(xiàn)場(chǎng)測(cè)試數(shù)據(jù)以及天氣數(shù)據(jù)等。表3 總結(jié)了基于強(qiáng)化學(xué)習(xí)的交通信號(hào)控制仿真實(shí)驗(yàn)路網(wǎng)及數(shù)據(jù)。

表3 基于強(qiáng)化學(xué)習(xí)的交通信號(hào)控制仿真數(shù)據(jù)及路網(wǎng)

DRL 算法需要依靠大量的數(shù)據(jù)集，通過不斷的探索尋找最優(yōu)交通信號(hào)控制策略。訓(xùn)練完成后的智能體遷移性較差，在不同的交通流分布下表現(xiàn)出不同的性能。但是仿真實(shí)驗(yàn)的車流量、車軌跡的分布等大多由作者設(shè)定，因此智能體訓(xùn)練時(shí)的車流量要符合真實(shí)的交通流量分布。但是，不同模態(tài)（工作日和周末、高峰和平峰等）的車流分布往往會(huì)有很大差別，這種情況會(huì)給交通信號(hào)控制的DRL模型訓(xùn)練和通用性造成困難。

4 總結(jié)與展望

本文針對(duì)基于深度強(qiáng)化學(xué)習(xí)的交通信號(hào)控制方法做了全面的調(diào)查，并按照單智能體（單個(gè)交叉口信號(hào)控制）和多智能體（多個(gè)交叉口協(xié)同控制區(qū)域交通流量）兩部分進(jìn)行總結(jié)，且列舉了可用于交通信號(hào)控制實(shí)驗(yàn)的模擬環(huán)境。下面對(duì)未來的研究方向進(jìn)行探討。

4.1 狀態(tài)空間、獎(jiǎng)勵(lì)機(jī)制

正如前面所述，基于深度強(qiáng)化學(xué)習(xí)的交通信號(hào)控制使用許多種不同的狀態(tài)表示，較多的狀態(tài)具有大規(guī)模的狀態(tài)空間，而強(qiáng)化學(xué)習(xí)作為一種不斷試錯(cuò)去學(xué)習(xí)最優(yōu)策略的算法，會(huì)導(dǎo)致學(xué)習(xí)效率的下降。學(xué)習(xí)效率的下降同樣也會(huì)帶來交通信號(hào)控制中交通擁堵的出現(xiàn)。最新的研究[42,68]表明，簡(jiǎn)易的狀態(tài)空間和大規(guī)模復(fù)雜的狀態(tài)空間訓(xùn)練得到的智能體性能相近，但是簡(jiǎn)單的狀態(tài)能節(jié)約計(jì)算成本并提高學(xué)習(xí)效率。因此建議應(yīng)用簡(jiǎn)單的狀態(tài)作為智能體的輸入，提高交通信號(hào)控制智能體學(xué)習(xí)效率。

獎(jiǎng)勵(lì)作為強(qiáng)化學(xué)習(xí)的重要環(huán)節(jié)，因此不同的獎(jiǎng)勵(lì)機(jī)制會(huì)影響運(yùn)行結(jié)果?，F(xiàn)有文獻(xiàn)通常使用一種替代獎(jiǎng)勵(lì)，該獎(jiǎng)勵(lì)可以在行動(dòng)后有效測(cè)量，例如平均等待時(shí)間、平均隊(duì)列長(zhǎng)度、平均速度、車輛吞吐量等均可作為智能體的獎(jiǎng)勵(lì)激勵(lì)智能體學(xué)習(xí)最優(yōu)策略。由于不同獎(jiǎng)勵(lì)設(shè)置的出現(xiàn)，獎(jiǎng)勵(lì)中多個(gè)因素的權(quán)重設(shè)定也成為困擾。因此，研究人員需要尋找最能確切反映智能體學(xué)習(xí)目標(biāo)的因素，以更高效的方式控制交叉口交通流量。

4.2 算法復(fù)雜度

為了提高模型的性能，一些基于值的深度強(qiáng)化學(xué)習(xí)方法通過優(yōu)化策略學(xué)習(xí)過程防止模型過估計(jì)動(dòng)作的Q 值。一部分工作[41]將用于值函數(shù)逼近的深度學(xué)習(xí)方法由CNN 替換為GCN 提高交通信號(hào)控制系統(tǒng)的性能；還有一部分工作[58]引入3DQN等先進(jìn)方法。雖然這些方法能夠提高模型性能，但同樣也增加了算法的復(fù)雜度和模型的收斂難度。過高的算法復(fù)雜度與傳統(tǒng)的信號(hào)控制理念嚴(yán)重相違背，因此在追求模型高性能的同時(shí)要兼顧算法復(fù)雜度。

4.3 安全性

深度強(qiáng)化學(xué)習(xí)在交通信號(hào)控制應(yīng)用中表現(xiàn)出了卓越的性能，但由于其模型內(nèi)部的黑盒性質(zhì)以及不可解釋性，導(dǎo)致人們無法完全信任模型作出的決策。尤其是使用智能交通信號(hào)燈控制交叉口車輛流通時(shí)，對(duì)決策結(jié)果一味的信任可能會(huì)導(dǎo)致交通嚴(yán)重堵塞。因此深度強(qiáng)化學(xué)習(xí)系統(tǒng)真正應(yīng)用到實(shí)際之前，探究深度強(qiáng)化學(xué)習(xí)系統(tǒng)的魯棒性十分重要。安全性對(duì)于實(shí)際應(yīng)用是至關(guān)重要的，基于深度強(qiáng)化學(xué)習(xí)的多交叉口交通信號(hào)控制系統(tǒng)若受到攻擊，對(duì)城市交通的影響難以想像。因此，針對(duì)深度強(qiáng)化學(xué)習(xí)的安全漏洞[70]研究可以推動(dòng)研究人員找到抵御對(duì)抗性干擾的方法提高模型的魯棒性，這能夠在很大程度上提高交通控制系統(tǒng)的安全性，加快深度強(qiáng)化學(xué)習(xí)在交通信號(hào)控制中的實(shí)際應(yīng)用。

4.4 模型魯棒性

由于目前絕大多數(shù)交通信號(hào)控制研究都是在仿真環(huán)境中完成的，使用的交通數(shù)據(jù)和交通路網(wǎng)通常是由人為設(shè)定的數(shù)據(jù)仿真生成，缺少真實(shí)性，訓(xùn)練好的模型應(yīng)用到實(shí)際問題中的效果難以保證。因此，如何提高模型的魯棒性同樣是深度強(qiáng)化學(xué)習(xí)交通信號(hào)控制系統(tǒng)最關(guān)鍵的問題。雖然面向強(qiáng)化學(xué)習(xí)的元學(xué)習(xí)方法[63]和Devailly 等人[60]利用GCN 建立動(dòng)態(tài)關(guān)系被應(yīng)用在交通信號(hào)控制中，通過提高算法對(duì)新的交通場(chǎng)景的適應(yīng)能力，從而提高模型的遷移性。未來可以通過大量的真實(shí)數(shù)據(jù)集，包括環(huán)境中交叉口附近的車輛、人群以及建筑物等信息構(gòu)造一個(gè)更加逼真的交通環(huán)境。此外，還可以通過考慮人群軌跡等信息等進(jìn)一步優(yōu)化交通信號(hào)控制系統(tǒng)。這是從模擬環(huán)境到現(xiàn)實(shí)世界轉(zhuǎn)換的關(guān)鍵。

4.5 公平性

在實(shí)際設(shè)計(jì)交通信號(hào)控制系統(tǒng)時(shí)，公平性是非常重要的。由于當(dāng)前大部分的深度強(qiáng)化學(xué)習(xí)交通信號(hào)控制方法是一種在線的自適應(yīng)控制方式，即當(dāng)前相位持續(xù)時(shí)間結(jié)束時(shí)才能確定下一相位，這會(huì)導(dǎo)致駕駛員不知道要在交叉口等待多長(zhǎng)時(shí)間。然而在實(shí)際場(chǎng)景中，這種特性會(huì)導(dǎo)致實(shí)際應(yīng)用過程無法展示紅燈倒計(jì)時(shí)時(shí)間，并且擁有紅燈倒計(jì)時(shí)裝置的路口同樣有助于減少啟動(dòng)延遲。這或許也是能夠略微減少車輛等待時(shí)間的有效方法之一，值得研究人員深入考慮。

4.6 混合驅(qū)動(dòng)思想

傳統(tǒng)的信號(hào)控制方法將交通信號(hào)控制作為一個(gè)優(yōu)化問題，交通模型可以通過最大壓力控制器來減少路網(wǎng)中干線交通網(wǎng)絡(luò)的隊(duì)列長(zhǎng)度，但在現(xiàn)實(shí)世界中交通狀況容易受到眾多因素干擾且這些因素很難在交通模型中進(jìn)行描述。而強(qiáng)化學(xué)習(xí)算法可以描述有效的狀態(tài)信息，但有學(xué)者意識(shí)到單純的強(qiáng)化學(xué)習(xí)算法并不是最好的，因其存在一些問題：（1）采樣效率低：模型訓(xùn)練中需要從經(jīng)驗(yàn)回放池采樣幾萬(wàn)甚至更多的樣本進(jìn)行訓(xùn)練，計(jì)算成本巨大。（2）激勵(lì)函數(shù)：強(qiáng)化學(xué)習(xí)總是需要一個(gè)獎(jiǎng)勵(lì)函數(shù)。設(shè)定的獎(jiǎng)勵(lì)函數(shù)必須準(zhǔn)確地與實(shí)現(xiàn)的目標(biāo)相同，但是獎(jiǎng)勵(lì)函數(shù)的定義也是關(guān)鍵性問題。獎(jiǎng)勵(lì)過于豐厚或匱乏都會(huì)影響智能體學(xué)習(xí)最優(yōu)策略。（3）泛化能力差：DRL 有可能會(huì)過度適應(yīng)訓(xùn)練環(huán)境，導(dǎo)致該模型在其他環(huán)境中遷移性較差。因此在交通信號(hào)控制方法的改進(jìn)中，將強(qiáng)化學(xué)習(xí)算法與傳統(tǒng)交通信號(hào)控制算法結(jié)合或許是一種有效的改進(jìn)思路。

綜上所述，當(dāng)前通過DRL 解決交通擁堵問題的研究大部分依托于模擬交通數(shù)據(jù)和仿真交通網(wǎng)絡(luò)。但我們不能局限于在仿真環(huán)境中帶來的實(shí)驗(yàn)效果，在未來研究中，可以嵌入混合交通流、緊急車輛優(yōu)先等管理思想增強(qiáng)決策實(shí)用性；深入分析DRL 學(xué)習(xí)參數(shù)對(duì)性能的影響，提高決策的可靠性；利用真實(shí)的交通流數(shù)據(jù)、在實(shí)際交通路網(wǎng)中進(jìn)行實(shí)驗(yàn)，最終達(dá)到提高區(qū)域車輛通行效率，推動(dòng)DRL在智能交通控制中的發(fā)展和實(shí)際應(yīng)用。