一種改進(jìn)的深度確定性策略梯度網(wǎng)絡(luò)交通信號控制系統(tǒng)

劉利軍, 王 州 , 余 臻

(1.廈門大學(xué)航空航天學(xué)院, 廈門 361101; 2. 廈門大學(xué)深圳研究院, 深圳 518057)

1 引 言

隨著全球人口的快速增長,以及城市化進(jìn)程的發(fā)展,專家預(yù)計21世紀(jì)的城市人口將急劇增加.當(dāng)務(wù)之急是城市有效地管理其基礎(chǔ)設(shè)施以應(yīng)對這一問題.設(shè)計現(xiàn)代化城市時,一個關(guān)鍵的考慮因素是開發(fā)智能交通管理系統(tǒng).交通管理系統(tǒng)的主要目標(biāo)是減少交通擁堵.高效的城市交通管理能夠節(jié)省時間和財務(wù),并減少二氧化碳等大氣污染物排放到大氣中[1].已經(jīng)有許多學(xué)者提出方案解決這個問題[2].主要道路的交叉路口一般是通過交通信號燈管理.低效率的交通信號燈控制會導(dǎo)致許多浪費(fèi),增加車輛發(fā)生事故的風(fēng)險[3]. 現(xiàn)有的交通燈控制信號按照固定程序不考慮實(shí)時交通流量,效率低.因此，研究人員提出了許多改進(jìn)方案,這些方案可以分為三類:第一類是預(yù)定控制程序,參考?xì)v史數(shù)據(jù)制定交通信號切換時間; 第二類是利用傳感器檢測來往車輛,用以延長或縮短信號切換時間; 第三類是自適應(yīng)信號控制,根據(jù)交叉路口的當(dāng)前狀態(tài)自動切換[4].本論文對第三類控制方法展開研究,利用深度強(qiáng)化學(xué)習(xí)方法設(shè)計一種十字路口交通信號智能控制方法.

近年來，很多研究者結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)來處理復(fù)雜的優(yōu)化問題,例如Atari 2600游戲[5],圍棋[6]等.1997 年Thorpe[7]首次將強(qiáng)化學(xué)習(xí)的方法應(yīng)用到交通信號控制,大家開始意識到強(qiáng)化學(xué)習(xí)為解決非線性、不確定性的復(fù)雜路網(wǎng)問題提供了一種新的思路.隨著人工智能的快速發(fā)展,深度強(qiáng)化學(xué)習(xí)被應(yīng)用到交通控制中.2016年Li等人將深度強(qiáng)化學(xué)習(xí)應(yīng)用于交通信號控制中,降低了車輛14%的等待時間[8].2018年Liang等人[3]改進(jìn)Dueling DQN[9]和DoubleDQN[10],將車輛等待時間降低了25.7%. 本論文通過分析交通環(huán)境特點(diǎn), 設(shè)計了特征強(qiáng)化策略梯度算法(Feature Enhance DDPG，F(xiàn)EPG)算法并將其應(yīng)用于交通信號控制系統(tǒng)中.

2 背 景

2.1 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)的基本結(jié)構(gòu)由智能體Agent和外界環(huán)境組成. Agent通過執(zhí)行動作,從環(huán)境獲得下一狀態(tài)和獎勵值.不斷循環(huán)該過程,直到滿足一定條件為止.通常一個強(qiáng)化學(xué)習(xí)問題可以視為馬爾可夫決策過程(Markov Decision Process，MDP)[11]. MDP將強(qiáng)化學(xué)習(xí)任務(wù)定義為元組.其中，S是環(huán)境狀態(tài)的集合；A是Agent的動作空間集合；P是狀態(tài)之間的轉(zhuǎn)移概率；R是獎勵函數(shù)；γ∈[0,1]是獎勵值的折扣因子. Agent從狀態(tài)s采取動作a達(dá)到狀態(tài)s′并獲得獎勵r表示為(s,a,rt,s′).我們將Agent執(zhí)行動作的方法稱之為策略π.強(qiáng)化學(xué)習(xí)的目標(biāo)是最大化累積獎勵. 式(1)定義了累積獎勵Rt.下標(biāo)t表示Agent執(zhí)行策略π的第t步.

(1)

以累積獎勵為出發(fā)點(diǎn),誕生了基于值的強(qiáng)化學(xué)習(xí)方法如Q-learning[12]等. 利用神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù).在策略π下Q函數(shù)的定義為式(2).

Qπ(s,a)=E[Rt|st=s,at=a,π]

(2)

結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)[13],循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)[14]強(qiáng)化學(xué)習(xí)的應(yīng)用場景變得更為豐富.谷歌DeepMind工作室[15]于2015年提出了結(jié)合基于值的和基于策略方法優(yōu)點(diǎn)的深度確定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG).本論文將改進(jìn)DDPG網(wǎng)絡(luò)利用特征增強(qiáng)算法和樣本去重環(huán)節(jié)提升網(wǎng)絡(luò)性能，最后，將算法應(yīng)用于交通信號控制中.

2.2 交通環(huán)境模型

十字交叉路口交通環(huán)境十分復(fù)雜, 且交通信號燈的控制十分重要.本文利用SUMO[16]仿真環(huán)境驗(yàn)證算法有效性.道路模型的參數(shù)如表1所示. 車輛的污染排放模型可參考文獻(xiàn)[17].

2.2.1狀態(tài)s描述 如圖1所示十字路口狀態(tài)模型.路口的4個車道被劃分為4個單元,每個單元的長度為50 m. 單元格下方有白,灰色兩個方格.若某個單元內(nèi)有n輛車,白色方格內(nèi)數(shù)字則為n, 灰色方格代表該單元內(nèi)車輛的平均速度,若n為0則平均速度取0, 否則取n輛車速度的平均值如式(3).因此狀態(tài)維度為32，如表2所示.

表2 狀態(tài)向量表

圖1 狀態(tài)描述Fig.1 State description

(3)

2.2.2動作a描述 如表3所示, 十字交叉路口的交通信號燈由6個信號相位組成.相位按順序從1號變化到6號不斷循環(huán).每個相位由4個字母組成.每個字母代表一個路口信號燈的狀態(tài). 其中:G為綠燈,允許通行;R為紅燈,禁止通行;Y為黃燈,注意通行.例如相位GRGR表示此時1、3路口綠燈,2、4路口紅燈. 將1和4相位時間作為動作a.考慮到車輛行駛速度,其范圍為5～50 s.其余相位設(shè)為安全的固定值.

表3 交通信號相位

2.2.3獎勵值r描述 獎勵值在強(qiáng)化學(xué)習(xí)中的作用為提供網(wǎng)絡(luò)訓(xùn)練方向,本論文目的為提高車輛在十字路口的通行效率,減少車輛等待時間.每輛車的等待時間定義為其行駛速度為0時所持續(xù)的時間,記作d,所有路口等待的所有車輛的累計等待時間記作D. 在t時刻的累計等待時間為Dt.獎勵值定義如式(4)所示.

(4)

其中,n,m為t,t+1時刻路口等待的車輛數(shù)目;k為常數(shù);r越大, 代表減少的等待時間越多, 反之越少.算法的目的為盡量增大獎勵值r.

3 FEPG算法設(shè)計

DDPG網(wǎng)絡(luò)由策略網(wǎng)絡(luò)A,價值評價網(wǎng)絡(luò)C組成.其中策略網(wǎng)絡(luò)A分為A-online和A-target兩個網(wǎng)絡(luò),其參數(shù)分別表示為θ,θ′.評價網(wǎng)絡(luò)分為C-online和C-target兩個網(wǎng)絡(luò),其參數(shù)分別表示為φ,φ′.本論文針對交叉路口環(huán)境的特點(diǎn)提出兩點(diǎn)改進(jìn): (1) 交叉路口的狀態(tài)維度為32, 其中可能存在對訓(xùn)練結(jié)果無貢獻(xiàn)維度. 利用基于信息增益的特征增強(qiáng)算法, 自動優(yōu)化狀態(tài); (2) 在DDPG算法中,經(jīng)驗(yàn)池是樣本的唯一來源,保持經(jīng)驗(yàn)池樣本的多樣性有利于網(wǎng)絡(luò)收斂. 網(wǎng)絡(luò)訓(xùn)練時按照余弦相似度算法隨機(jī)丟棄樣本.本論文中將改進(jìn)的DDPG網(wǎng)絡(luò)框架簡稱為FEPG(Feature Enhance DDPG)網(wǎng)絡(luò),如圖2所示. FEPG算法首先從預(yù)訓(xùn)練階段開始,預(yù)訓(xùn)練階段的主要目的是進(jìn)行原始樣本采集, 并應(yīng)用特征增強(qiáng)算法和樣本去重算法.特征值增強(qiáng)和樣本去重算法的原理如下.

(1) 特征增強(qiáng)算法:由于交通環(huán)境的狀態(tài)量維度較高, 其中很可能存在干擾收斂的無關(guān)維度. 特征增強(qiáng)算法的核心思想是通過樣本的信息增益來篩選合適的特征. 將狀態(tài)s表示為向量s={x1,x2,...,x32}.特征篩選算法目的是降低不相關(guān)特征對訓(xùn)練的影響. 經(jīng)驗(yàn)池在算法的預(yù)訓(xùn)練階段將累積n組樣本. 對于隨機(jī)變量X, 可以求其信息熵:

(5)

以及給定條件Y下的條件熵:

(6)

信息增益則可以表示為

IG(Y|X)=H(Y)-H(Y|X)

(7)

信息增益越大說明隨機(jī)變量X對于Y的貢獻(xiàn)越大. 信息增益用于計算離散變量, 因此將獎勵值和狀態(tài)離散化, 狀態(tài)的第i個維度的信息增益可以表示為

hi=IG(R|Xi)

(8)

(9)

(10)

(2) 樣本去重算法:樣本去重的目的為保持樣本的多樣性, 加快算法收斂. 新進(jìn)加入的樣本與樣本池中的樣本隨機(jī)比對相似度. 相似度越高, 樣本被丟棄的可能性越高.相似度利用樣本間的余弦值表示,丟棄概率表達(dá)式如式(11),其中α為丟棄系數(shù).

(11)

圖2 FEPG算法結(jié)構(gòu)Fig.2 FEPG algorithm structure

待數(shù)據(jù)采集完畢后接著進(jìn)入訓(xùn)練階段.訓(xùn)練階段中4個神經(jīng)網(wǎng)絡(luò)相互作用,迭代.各個網(wǎng)絡(luò)的作用和相互之間的關(guān)系如下.

(12)

θ′←τθ+(1-τ)θ′

(13)

(14)

φ′←τφ+(1-τ)φ′

(15)

式(12)和式(14)中m為訓(xùn)練batch大小,τ一般取0.01.以上對各個網(wǎng)絡(luò)的描述可以知道target網(wǎng)絡(luò)應(yīng)當(dāng)分別和online網(wǎng)絡(luò)具有相同的網(wǎng)絡(luò)結(jié)構(gòu).動作網(wǎng)絡(luò)在輸出時會添加均值為0,方差按指數(shù)規(guī)律衰減的高斯噪聲. 目的是鼓勵智能體在前期探索盡可能大的狀態(tài)空間.根據(jù)以上對網(wǎng)絡(luò)訓(xùn)練方法的分析, FEPG算法流程如算法1所示.

算法1FEPG算法流程

1) 初始化在線網(wǎng)絡(luò).并賦予隨機(jī)權(quán)重θ,φ

2) 初始化目標(biāo)網(wǎng)絡(luò)θ′,φ′,初始化經(jīng)驗(yàn)池R

3) forj= 1 toMdo

4) 隨機(jī)初始化環(huán)境,獲得初始狀態(tài)s

5) fort= 1 toTdo

6) 動作網(wǎng)絡(luò)添加衰減的高斯噪聲輸出動作a

7) Agent執(zhí)行動作a并獲得樣本存入經(jīng)驗(yàn)池

8) 根據(jù)式(11)進(jìn)行樣本去重過程

9) if經(jīng)驗(yàn)池填充完畢

10) 根據(jù)式(8)和式(9)計算{ei}

11) if開始訓(xùn)練

12) 在經(jīng)驗(yàn)池中采集m個樣本并計算.

13) 使用最小化方差更新在線價值網(wǎng)絡(luò):

14) 使用策略梯度更新動作網(wǎng)絡(luò):

15) 采用軟更新方式更新目標(biāo)網(wǎng)絡(luò):

θ′←τθ+(1-τ)θ′

φ′←τφ+(1-τ)φ′

16) endfor

17) endfor

4 實(shí) 驗(yàn)

我們在上文所述的交通環(huán)境中驗(yàn)證算法有效性, 并且對比定時控制FTC (Fixed Timing Control), Pang等人的DDPG[18]控制方法, Genders等人的DQN[19]控制方法與本文的FEPG控制方法. 其中FTC為傳統(tǒng)方法, DDPG和DQN為新型的強(qiáng)化學(xué)習(xí)方法.對比的核心指標(biāo)為算法的收斂性能,車輛的平均等待時間以及車輛排放數(shù)據(jù).

4.1 實(shí)驗(yàn)設(shè)計與FTC方法

如表4所示, 本文設(shè)計了4組實(shí)驗(yàn), 分別是低車流密度低方差(Low Density Low Variance，LDLV), 低車流密度高方差(Low Density High Variance，LDHV), 高車流密度低方差(High Density Low Variance，HDLV), 高車流密度高方差 (High Density High Variance，HDHV). 車流密度指所有路口車輛數(shù)據(jù), 方差指4個路口車流量值與平均值之差的平方和, 方差越高表示路口的車流密度差異越大. 車流密度數(shù)據(jù)可見文獻(xiàn)[20].

表4 車流類型

一般交通信號燈的相位采用FTC方法控制. 實(shí)驗(yàn)測試不同環(huán)境下所有車輛的累積等待時間與1和4動作相位間隔的關(guān)系, 每個間隔時間測試2 000 s,統(tǒng)計結(jié)果如圖3所示. 在圖3中用綠色標(biāo)記了交通累積等待時間較短的區(qū)間.針對4組實(shí)驗(yàn),將LDLV的固定間隔設(shè)置為30 s,LDHV的固定間隔設(shè)置為20 s, HDLV的固定間隔設(shè)置為35 s, HDHV的固定間隔設(shè)計為20 s.

圖3 不同信號燈間隔的平均等待時間Fig.3 Average waiting time at different signal time intervals

4.2 實(shí)驗(yàn)對比和結(jié)果分析

根據(jù)上文對環(huán)境的描述, 實(shí)驗(yàn)的狀態(tài)維度為32,動作維度為1.設(shè)計FPPG網(wǎng)絡(luò)參數(shù)如表5所示. FEPG, DDPG, DQN算法的經(jīng)驗(yàn)池大小設(shè)為1萬,Batchsize為100,折扣取0.9. 訓(xùn)練200輪,每輪執(zhí)行200步后訓(xùn)練結(jié)果如圖4所示.總體而言FEPG收斂最快性能最好, DDPG性能其次. DDPG控制算法中將每一個車道劃分為多個單元，且需要保證每個單元內(nèi)僅有一輛車,狀態(tài)的維度為480. 其中很可能包含大量無效維度,導(dǎo)致其收斂不穩(wěn)定,特別是在HDHV環(huán)境中表現(xiàn)不佳. DQN控制算法的輸出動作值為離散變量. 實(shí)驗(yàn)中將輸出動作按5 s一個間隔進(jìn)行劃分.其輸出量不連續(xù)無法精確控制, 導(dǎo)致其效果最差.

表5 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

將訓(xùn)練完畢的網(wǎng)絡(luò)在4個實(shí)驗(yàn)環(huán)境中進(jìn)行測試, 測試時間為8 000 s. 圖5統(tǒng)計了8 000 s時間內(nèi)不同算法每輛車的平均等待時間.LDLV和LDHV統(tǒng)計了約1 500輛車, HDLV和HDHV統(tǒng)計了約2 500輛車.統(tǒng)計結(jié)果表明FEPG算法控制下的車輛等待時間平均比BFI降低了23.5%, 比DQN算法降低9.8%, 比DDPG算法降低了7.6%. 結(jié)果表明FEPG算法學(xué)習(xí)到了如何高效的控制交通信號, 證明了算法的有效性.

表6 污染物排放對比

以HDLV環(huán)境為例,表6是FEPG算法組對比其他算法在的污染排放情況.通過SUMO提供的數(shù)據(jù)統(tǒng)計了8 000 s內(nèi)1 500輛車的污染排放情況. 依次是一氧化碳、二氧化碳、碳?xì)浠衔?、汽車噪音、氮氧化合物、和顆粒物排放.其中噪聲為8 000 s內(nèi)平均值, 其余為累計值. 相比FTC算法, 使用FEPG算法使污染排放比FTC平均降低了19.7%, 比DQN算法降低了6.3%,比DDPG算法降低了3.6%.說明FEPG算法在提高通行效率的同時也降低了污染的排放.

圖5 平均等待時間對比Fig.5 Comparisonof average waiting time

5 結(jié) 論

面對大城市日益嚴(yán)重的交通擁堵情況, 本論文設(shè)計了一種強(qiáng)化學(xué)習(xí)算法控制十字路口交通信號燈.基于DDPG算法結(jié)合特征增強(qiáng)算法和樣本去重算法設(shè)計了FEPG算法. 改進(jìn)算法相比文獻(xiàn)[18]的DDPG算法和文獻(xiàn)[19]的DQN收斂的更快.以典型的十字路口交通信號燈為例,設(shè)計多組實(shí)驗(yàn)驗(yàn)證算法有效性. 實(shí)驗(yàn)結(jié)果表明FEPG網(wǎng)絡(luò)在提高通行效率的同時也降低了汽車污染物排放.高效狀態(tài)特征選擇可以提高強(qiáng)化學(xué)習(xí)成功率, 交通環(huán)境中的數(shù)據(jù)多種多樣,后續(xù)研究的一個方向是如何在更加復(fù)雜的交通網(wǎng)絡(luò)中選取有效的環(huán)境特征.