• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)可變限速控制對擁堵路段交通流的優(yōu)化

    2017-10-09 00:47:07程鵬謝小年
    山東交通學(xué)院學(xué)報 2017年3期
    關(guān)鍵詞:交通流匝道主線

    程鵬,謝小年

    (重慶交通大學(xué) 交通運輸學(xué)院,重慶 400041)

    基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)可變限速控制對擁堵路段交通流的優(yōu)化

    程鵬,謝小年

    (重慶交通大學(xué) 交通運輸學(xué)院,重慶 400041)

    為提高可變限速(variable speed limits,VSL)控制對高速公路交通流的控制效能,提出一種連續(xù)狀態(tài)下BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)VSL控制方法。以路網(wǎng)總通行時間、路段內(nèi)平均速度、平均密度和平均流量為評價指標(biāo),應(yīng)用VISSIM4.30與MATLAB軟件對比分析采用與不采用BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)VSL控制時,入口匝道和主線合流區(qū)域附近潛在擁堵路段對交通流的影響。結(jié)果表明,基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)型VSL控制方法對主線瓶頸區(qū)域上游易擁堵路段的交通流有明顯的優(yōu)化作用。

    BP神經(jīng)網(wǎng)絡(luò);Q-學(xué)習(xí);可變限速控制;交通流優(yōu)化

    VSL控制是主線控制的一種,通過VSL標(biāo)志來控制主線上車輛的行駛速度,并且標(biāo)志上的速度隨著主線上車輛數(shù)量的變化而變化。文獻(xiàn)[1]認(rèn)為安裝VSL標(biāo)志對改善高速公路交通流具有積極作用。VSL標(biāo)志能夠顯示限速信息,不但可以通過限制速度控制交通流,達(dá)到降低交通擁堵的目的,還能向駕駛員傳遞前面路段的交通狀況,提高交通安全[2]。文獻(xiàn)[3]以道路上的車輛數(shù)量為基礎(chǔ),分別利用BP神經(jīng)網(wǎng)絡(luò)、模糊控制、模糊神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)與遺傳算法相結(jié)合的方法對各影響因素進(jìn)行建模,并比較這4種方法在VSL控制中的性能。文獻(xiàn)[4]把可變限速過程控制定義為馬爾科夫決策過程,利用強(qiáng)化學(xué)習(xí)無需建立環(huán)境模型的特點對高速路主線交通流進(jìn)行主動控制。文獻(xiàn)[5]從實際快速路交通流數(shù)據(jù)出發(fā),分析VSL控制對交通流的影響,并運用改進(jìn)的元胞傳輸仿真模型,利用單目標(biāo)反饋法VSL策略以及強(qiáng)化學(xué)習(xí)VSL控制對主線合流擁堵區(qū)域進(jìn)行控制,達(dá)到防止主線交通擁堵,提高交通安全的目的。

    近年來,強(qiáng)化學(xué)習(xí)法(reinforcement learning approach,RL)在解決交通控制系統(tǒng)問題方面得到廣泛應(yīng)用。文獻(xiàn)[6]把RL用于控制高速公路入口匝道的車輛數(shù)以使主線的交通流處于最佳狀態(tài)。盡管RL在匝道交通調(diào)節(jié)和交通信號控制等方面已得到很多應(yīng)用,但RL在其傳統(tǒng)形式的離散狀態(tài)下,用于處理中型和大型的交通控制問題時,缺乏學(xué)習(xí)效率,遇到“維數(shù)災(zāi)”問題。本文利用函數(shù)逼近器BP神經(jīng)網(wǎng)絡(luò)來解決這一問題,通過BP神經(jīng)網(wǎng)絡(luò)存儲動作-狀態(tài)對的評價值,減少RL的存儲空間。在VSL控制時,根據(jù)高速公路入口匝道和主線合流區(qū)附近車輛的流量、速度和密度對高速公路限速分配進(jìn)行主動學(xué)習(xí),以降低高度公路的交通擁堵。

    1 RL與Q-學(xué)習(xí)算法

    1.1 RL

    RL是受到人類學(xué)習(xí)時的試錯行為啟發(fā)而提出的一種人工智能學(xué)習(xí)法。在學(xué)習(xí)過程中,智能體通過所處環(huán)境的交互作用和試錯,對每個狀態(tài)的最佳動作進(jìn)行學(xué)習(xí),以使它們接收的累計回報最大化。RL問題可以看作是馬爾科夫決策過程,是一個構(gòu)建序貫決策問題的數(shù)學(xué)模型框架[7]。定義在每個狀態(tài)下使智能體未來接收的期望折扣回報值最大化所得評價函數(shù)

    式中:γ為折扣系數(shù),γ∈[0,1];rt為時間步t所接收的回報。

    1.2 Q-學(xué)習(xí)算法

    本文使用的收斂效果較好的Q-學(xué)習(xí)算法是RL中應(yīng)用最廣泛的一種算法。在Q-學(xué)習(xí)算法中,用函數(shù)Q(s,a)評價給定狀態(tài)下采取動作的好壞,并以表格的形式存儲其評價值,即Q值[8-9]。假設(shè)在環(huán)境狀態(tài)s下采取的動作為a,Q函數(shù)對相應(yīng)的Q值進(jìn)行評價和存儲,反應(yīng)的是控制系統(tǒng)處于狀態(tài)s下采取動作a的長期累計回報值。

    設(shè)t時刻Q學(xué)習(xí)的時間差分

    (1)

    根據(jù)時間差分算法可得訓(xùn)練樣本更新Q函數(shù)

    Q(st,at)′=Q(st,at)+α(st,at)δt,

    (2)

    式中:Q(st,at)′為更新后Q的存儲值,表示新的學(xué)習(xí)經(jīng)驗;α(st,at)為學(xué)習(xí)率,0<α(st,at)≤1。

    由式(1)(2)得

    (3)

    在Q-學(xué)習(xí)過程中,無需知道環(huán)境模型,而是通過比較狀態(tài)s下的每個動作所產(chǎn)生的Q值來確定最優(yōu)策略,使決策過程更加簡便。

    2 基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)算法

    在交通控制問題過程中往往關(guān)系到多維連續(xù)空間,使用Q-學(xué)習(xí)算法做決策時,要把連續(xù)狀態(tài)空間離散化或者使用參數(shù)化表示的函數(shù)逼近法。多維連續(xù)狀態(tài)空間下的離散化會使Q值的存儲空間隨著維數(shù)的增加呈指數(shù)增長,出現(xiàn)“維數(shù)災(zāi)”問題,因此還要權(quán)衡學(xué)習(xí)速度和控制系統(tǒng)的最優(yōu)問題[10-12]。本文選擇BP神經(jīng)網(wǎng)絡(luò)作為值函數(shù)逼近器:可以解決大型交通系統(tǒng)控制的連續(xù)狀態(tài)空間的RL參數(shù)化表示問題;可以存儲和記憶Q值,避免狀態(tài)變量數(shù)呈指數(shù)增長的記憶需求;能夠自動除去已經(jīng)學(xué)過的經(jīng)驗,提高學(xué)習(xí)效率。

    圖1 單隱含層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    2.1 BP神經(jīng)網(wǎng)絡(luò)

    BP神經(jīng)網(wǎng)絡(luò)是一種誤差反向傳播的前向型神經(jīng)網(wǎng)絡(luò),通常由1個輸入層、1個輸出層和1個隱含層構(gòu)成,輸出層一般含有1個神經(jīng)元,隱含層一般含有多個神經(jīng)元。其結(jié)構(gòu)如圖1所示。

    隱含層的每個神經(jīng)元都有一個非線性s型激活函數(shù)。設(shè)網(wǎng)絡(luò)的輸入變量為Xi=[x1,x2,…,xk],(i=1,2,…,k)預(yù)輸出變量為Y=[y1,y2,…,ym],輸入層與隱含層之間的權(quán)值為wij=[w11,w12,…,wkn],(j=1,2,…,n)隱含層與輸出層之間的權(quán)值為wj=[w1,w2,…,wn]。則網(wǎng)絡(luò)輸出公式為:

    2.2 BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)算法

    假設(shè)離散狀態(tài)下狀態(tài)集S和動作集A中的每個狀態(tài)都會有與之對應(yīng)的Q值,RL環(huán)境下的神經(jīng)網(wǎng)絡(luò)中,狀態(tài)變量s作為輸入,Q值作為輸出,首先利用S中的狀態(tài)s和對應(yīng)的Q值進(jìn)行訓(xùn)練,調(diào)整網(wǎng)絡(luò)中的權(quán)值使誤差最小化。然后智能體感知環(huán)境狀態(tài)s,神經(jīng)網(wǎng)絡(luò)根據(jù)學(xué)習(xí)的經(jīng)驗對Q值進(jìn)行預(yù)測,智能體根據(jù)預(yù)測的Q值對環(huán)境采取動作,并接收到回報值。根據(jù)式(3)進(jìn)行更新,更新之后的狀態(tài)動作對也即新的Q值存儲到神經(jīng)網(wǎng)絡(luò)中,作為下一次預(yù)測的經(jīng)驗,這是一個不斷優(yōu)化的過程,隨著整個系統(tǒng)的學(xué)習(xí)經(jīng)驗越來越多,采取的動作也就越來越優(yōu)。

    BP神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中通過誤差反向傳播和梯度下降法修正各層之間的權(quán)值使預(yù)測誤差最小化,從而達(dá)到逼近函數(shù)的目的。誤差公式為:

    (4)

    式中:Jt為RL環(huán)境下t時刻的預(yù)測誤差;Wt為t時刻迭代時包含所有權(quán)重的參數(shù)向量,Wt=[w1,w2,…,wn,w11,w2n,…,wkn];et為網(wǎng)絡(luò)訓(xùn)練時實際輸出與理論輸出之差。

    梯度下降學(xué)習(xí)法的權(quán)重更新

    (5)

    式中:Wt+1為t+1時刻迭代時包含所有權(quán)重的參數(shù)向量;aN為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率。

    2.3基于基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)VSL控制

    通過基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)智能算法控制VSL標(biāo)志的速度(限速值),從而控制車道上的交通流。首先,系統(tǒng)根據(jù)車輛行駛狀態(tài)采用神經(jīng)網(wǎng)絡(luò)預(yù)測Q值,然后根據(jù)Q值發(fā)布限速值,以路網(wǎng)總通行時間T為控制目標(biāo)對發(fā)布限速值后車輛的行駛狀態(tài)進(jìn)行評價,系統(tǒng)再根據(jù)該評價結(jié)果通過式(3)更新Q值并存儲到神經(jīng)網(wǎng)絡(luò)中,根據(jù)式(4)(5)對神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行修正,如此循環(huán)往復(fù)。因此,該系統(tǒng)控制是一個不斷學(xué)習(xí)優(yōu)化的過程。

    3 實例分析

    將微觀仿真軟件VISSIM4.30與MATLAB軟件相結(jié)合對模型進(jìn)行仿真驗證。假設(shè)一條里程為9 km的單車道高速公路,把它分為N1~N66段,每段長度為1.5 km,如圖2所示?;疑珔^(qū)域為入口匝道與主線合流區(qū)域附近易擁堵的路段,為VSL控制區(qū),檢測器1、2可提供主線交通狀況數(shù)據(jù),如速度、占有率和流量等[13-16]。路段N6為限速解除的加速區(qū)域,匝道不進(jìn)行任何控制。

    圖2 可變限速布局圖

    在該研究案例中,假設(shè)交通優(yōu)化過程為馬爾科夫決策過程,定義數(shù)據(jù)檢測器檢測的速度、流量和密度為狀態(tài)變量。交通控制的主要目的是緩解交通擁堵,降低出行時間,所以定義路網(wǎng)總通行時間

    式中:Tc為控制周期;N(p)為控制周期為p時的車輛數(shù);c為仿真時間與周期之比。

    3.1參數(shù)設(shè)計

    主線自由流速度設(shè)置為100 km/h,交通需求設(shè)置為2 200輛/h,臨界密度為24輛/km,仿真時間跨度3 600 s,數(shù)據(jù)檢測器時間間隔設(shè)置為20 s,即每20 s采集1次速度、流量和密度,VSL控制周期為Tc=2 min,c=30,仿真精度為10,其它參數(shù)采用默認(rèn)值。把限速值進(jìn)行離散化,即Q-學(xué)習(xí)動作空間A= {50,60,70,80,90,100},α∈A,折扣系數(shù)γ=0.8。

    在BP神經(jīng)網(wǎng)絡(luò)中,參數(shù)的設(shè)置與網(wǎng)絡(luò)的結(jié)構(gòu)和每次迭代訓(xùn)練收斂情況有關(guān)。BP神經(jīng)網(wǎng)絡(luò)的輸入層設(shè)置3個節(jié)點,對應(yīng)的輸入分別為速度、流量和密度;輸出層節(jié)點為1個,對應(yīng)的是動作-狀態(tài)對評價值Q值;隱含層的神經(jīng)元數(shù)量要比輸入層多的多,并且使用反向傳播算法進(jìn)行訓(xùn)練,在經(jīng)過對不同隱含層神經(jīng)元的數(shù)量多次試驗之后,BP神經(jīng)網(wǎng)絡(luò)的隱層神經(jīng)元的數(shù)量定為18;學(xué)習(xí)率設(shè)為0.01,訓(xùn)練目標(biāo)誤差為0.001,迭代次數(shù)為3 000[17-18]。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本分為70%的訓(xùn)練數(shù)據(jù)和30%的測試數(shù)據(jù)。為精簡樣本,對網(wǎng)絡(luò)的輸入和輸出進(jìn)行歸一化處理,其值處于0~1。在BP神經(jīng)網(wǎng)絡(luò)的迭代學(xué)習(xí)中,最好是避免呈現(xiàn)來自狀態(tài)空間相同的區(qū)域的連續(xù)樣本,以避免權(quán)重偏置。此外,在整個學(xué)習(xí)過程中,樣本應(yīng)覆蓋狀態(tài)空間的不同區(qū)域,以提供良好的推廣。

    3.2仿真結(jié)果

    圖3分別為未實施和實施基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)VSL控制(以下簡稱VSL控制)時入口匝道和主線合流區(qū)域車輛的速度、密度和流量圖。未實施VSL控制時,由圖3a)、c)、e)可知:當(dāng)t=500 s時,合流區(qū)域的流量接近道路的通行能力2 200 輛/h。當(dāng)t>800 s時,流量隨著時間的增加持續(xù)降低,說明此時VSL控制區(qū)域上游產(chǎn)生了交通擁堵;在擁堵產(chǎn)生時VSL控制區(qū)域上游的車流密度保持較高水平;在t=500 s之后速度下降明顯,并且在仿真結(jié)束之前一直處于降低水平。

    圖3 入口匝道和主線合流區(qū)域的速度、密度和流量曲線

    實施VSL控制時,由圖3b)、d)、f)可知:在t=500 s之前,車輛的速度、密度和流量與未實施VSL控制時基本相同;在t=500 s之后,VSL被激活,進(jìn)入合流區(qū)域的交通流被拖延,使交通狀況保持穩(wěn)定,防止交通擁堵的發(fā)生[19-21];在t>800 s時,通行能力有所上升,速度有明顯的回升,密度始終保持在臨界密度以下。與未控制的情況相比,VSL控制的路網(wǎng)通行時間降低了19.2%,控制路段的平均流量增加了4.7%,平均速度增加31.4%,速度的變化更趨向于平穩(wěn),消除了擁堵時瓶頸區(qū)域車輛走走停停的狀況,平均密度降低了12.5%。

    仿真結(jié)果對比表明:基于BP的Q-學(xué)習(xí)VSL控制能夠使主線車輛速度提高,且變化均勻,增加瓶頸區(qū)域的通行能力,在緩解主線交通擁堵,降低出行時間等方面效果明顯。

    4 結(jié)論

    1)采用BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)算法解決連續(xù)狀態(tài)問題,用神經(jīng)網(wǎng)絡(luò)存儲Q值,并根據(jù)輸入狀態(tài)預(yù)測對應(yīng)的Q值。利用速度、密度和流量定義公路上的交通流,使用RL進(jìn)行限速分配,旨在沿著主線降低車速,以此降低交通擁堵。

    2)以路網(wǎng)車輛總通行時間、路段內(nèi)車輛的平均速度、平均密度和流量為評價指標(biāo),通過MATLAB和VISSIM仿真分析入口匝道和主線合流區(qū)域的交通擁堵狀況,表明基于BP的Q-學(xué)習(xí)VSL控制對瓶頸區(qū)域的交通流優(yōu)化作用明顯。

    [1]DGEORGIOU M, KOSMATOPOULOS E,PAPARMICHAIL I.Effect of variable speed limits on motorway traffic flow[J]. Transportation Research Record Journal of the Transportation Research Board,2008,2047 (2047) : 37-48.

    [2]陳建陽.高速公路可變限速標(biāo)志的作用及控制[J].同濟(jì)大學(xué)學(xué)報,1993,21(8):387-391. CHEN Jianyang.Action and control of freeway variable speed signs[J].Journal of Tongji Univercity, 1993,21(8): 387-391.

    [3]陳大山.高速公路主線可變限速控制研究[D].西安:長安大學(xué),2009. CHEN Dashan.Variable speed control of highway[D].Xi′an: Chang′an Univercity, 2009.

    [4]王薇,梁紅梅,李立超,等.高速公路可變限速控制算法研究[J].北華大學(xué)學(xué)報(自然科學(xué)版),2014,15(1):122-125. WANG Wei,LIANG Hongmei,LI Lichao,et al.On variable speed-limit control algorithms of expressways[J].Journal of Beihua Univercity (Natural Science), 2014,15(1):122-125.

    [5]李志斌.快速道路可變限速控制技術(shù)[D].南京: 東南大學(xué),2014. LI Zhibin.Variable speed limit control technique on expressway[D].Nanjing: Southeast University,2014.

    [6]王興舉,宮城俊彥.強(qiáng)化學(xué)習(xí)型匝道控制模型研究[J].石家莊鐵道大學(xué)學(xué)報(自然科學(xué)版),2010,23(2):104-108. WANG Xingju,MIYAGI Toshikiho.Reinforcement learning ramp metering[J].Journal of Shijiazhuang Tiedao University (Natural Sciences) , 2010,23(2):104-108.

    [7]虞靖靚.基于Q學(xué)習(xí)的Agent智能決策的研究與實現(xiàn)[D].合肥:合肥工業(yè)大學(xué),2005. YU Jingliang.The research and implementation of agent intelligent decision based on Q-learning[D].Hefei: Hefei University of Technology,2008.

    [8]孫晟.基于強(qiáng)化學(xué)習(xí)的動態(tài)單機(jī)調(diào)度研究[D].上海:上海交通大學(xué),2007. SUN Cheng.Reinforcement learning based dynamic single machine scheduling[D].Shanghai:Shanghai Jiao Tong University,2007.

    [9]張汝波,顧國昌,劉照德,等.強(qiáng)化學(xué)習(xí)理論、算法及應(yīng)用[J].控制理論與應(yīng)用,2000,17(5):637-642. ZHANG Rubo,GU Guochang,LIU Zhaode,et al.Reinforcement learning theory ,algorithms and its application[J].Control Theory and Applications,2000,17(5): 637-642.

    [10]陸鑫,高陽,李寧.基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法研究[J].計算機(jī)研究與發(fā)展,2002,39(8):981-985. LU Xin,GAO Yang,LI Ning.Research on a reinforcement learning algorithm based on neural network[J].Journal of Computer Research and Development, 2002,39(8):981-985.

    [11]蔣國飛,吳滄浦.基于Q學(xué)習(xí)算法和BP神經(jīng)網(wǎng)絡(luò)的倒立擺控制[J].自動化學(xué)報,5(24):662-666. JIANG Guofei,WU Cangpu.Learning to control an inverted pendulum using Q-learning and neural networks[J].Action Automatic Sinica,5(24):662-666.

    [12]夏麗麗.連續(xù)狀態(tài):連續(xù)行動強(qiáng)化學(xué)習(xí)[J].電腦知識與技術(shù),2011,19(7): 4669-4672. XIA Lili.Reinforcement learning with continuous state:continuous action[J].Computer Konwledge and Technology, 2011,19(7): 4669-4672.

    [13]李楊.高速公路可變速度控制方法研究[D].西安:長安大學(xué),2011. LI Yang.New variable speed control approach for freeway[D]. Xi′an: Chang′an Univercity,2011.

    [14]劉慶全,黃春平.公路主線可變限速模糊控制及仿真研究[J].計算機(jī)仿真,2010,27(12):335-338,400. LIU Qingquan,HUANG Chunping.Fuzzy control for variable speed limits and simulation on highway mainstream[J].Journal of Compter Simulaiton,2010,27(12):335-338,400.

    [15]WILLIAMS Ackaah,KLAUS Bogenberger.Advanced evaluation methods for variable speed limit systems[J].Transportation Research Procedia,2016,15:652-663.

    [16]CHO Hyerim,KIM Youngchan.Analysis of traffic flow with variable speed limit on highways[J].KSCE Journal of Civil Engineering,2012,6(16):1048-1049.

    [17]KUMAR K,PARIDA M,KATIYARV K.Short term traffic flow prediction for a non urban highway using artificial neural network[J].Procedia-Social and Behavioral Sciences,2013,104:755-764.

    [18]何玉婉.基于Elman 神經(jīng)網(wǎng)絡(luò)的高速公路入口匝道預(yù)測控制仿真研究[D].成都:西南交通大學(xué),2008. HE Yuwan.Research and simulation on neural network predictive control for freeway ramp based on Elman[D].Chengdu: Southwest Jiaotong University, 2008.

    [19]陳雪平,曾盛,胡剛.基于BP神經(jīng)網(wǎng)絡(luò)的短時交通流預(yù)測[J].公路交通技術(shù),2008:,3:115-117. CHEN Xueping,ZENG Sheng,HU Gang.Short-time traffic flow prediction based on BP neural network[J].Technology of Highway and Transport, 2008,3:115-117.

    [20]段薈,劉攀,李志斌,等.基于強(qiáng)化學(xué)習(xí)的匯流瓶頸區(qū)可變限速策略研究[J].交通運輸系統(tǒng)工程與息,2015,1(15):55-61. DUAN Hui,LIU Pan,LI Zhibin,et al.Variable speed limit control at freeway merge bottlenecks based on reinforcement learning[J].Journal of Transportation System Engineering and Information Technology, 2015,1(15):55-61.

    [21]蒲云,胡路,蔣陽升,等.高速公路主線收費站可變限速控制[J].交通運輸工程學(xué)報,2012,5(12):119-126. PU Yun,HU Lu,JIANG Yangsheng,et al.Variable speed-limit control before expressway mainline toll station[J].Journal of Traffic and Transportation Engineering, 2012,5(12):119-126.

    OptimizationforTrafficFlowofRoadCongestionBasedonQ-LearningVSLControlofBPNeuralNetwork

    CHENGPeng,XIEXiaonian

    (SchoolofTraffic&Transportation,ChongqingJiaotongUniversity,Chongqing400074,China)

    To improve the efficiency of VSL control over the freeway traffic flow, this paper proposes a new approach of Q-learning VSL control in the continuous BP neural network. Used the total traveling time of the road network, average speed of the road section and average flow as evaluation indexes, VISSIM4.30 and MATLAB are adopted to make the comparative analysis of the influence of the potential congestion section on the traffic flow at the on-ramp and nearby the merging area of the mainstream with and without the Q-learning VSL control of BP neural network. The results show that the Q-learning VSL control method based BP neural network plays an obvious role in the optimization of the traffic flow at the congested section of the upstream bottleneck of the mainstream.

    BP neural networks;Q-learning; VSL control;traffic flow optimization

    U491.54

    :A

    :1672-0032(2017)03-0038-06

    (責(zé)任編輯:楊秀紅)

    2017-02-19

    程鵬(1993—),男,安徽六安人,碩士研究生,主要研究方向為交通運輸規(guī)劃與管理,E-mail:1850083367@qq.com.

    10.3969/j.issn.1672-0032.2017.03.006

    猜你喜歡
    交通流匝道主線
    山東首套ETC匝道準(zhǔn)自由流預(yù)交易系統(tǒng)正式運行
    高速公路出入口匝道控制系統(tǒng)研究
    人物報道的多維思考、主線聚焦與故事呈現(xiàn)
    活力(2019年17期)2019-11-26 00:42:32
    更加突出主線 落實四個到位 推動主題教育取得實實在在成效
    淺談匝道ETC自由流應(yīng)用
    數(shù)字主線
    交通流隨機(jī)行為的研究進(jìn)展
    路內(nèi)停車對交通流延誤影響的定量分析
    下沉和整合 遼寧醫(yī)改主線
    具有負(fù)壓力的Aw-Rascle交通流的Riemann問題
    少妇被粗大的猛进出69影院| 777米奇影视久久| 欧美性长视频在线观看| 如日韩欧美国产精品一区二区三区| 人人妻人人爽人人添夜夜欢视频| 热re99久久国产66热| 美女扒开内裤让男人捅视频| 最近中文字幕2019免费版| 亚洲av美国av| 欧美黑人精品巨大| 亚洲国产成人一精品久久久| 欧美日韩精品网址| 精品国产一区二区久久| 国产91精品成人一区二区三区 | 狠狠婷婷综合久久久久久88av| 美女国产高潮福利片在线看| 黄色怎么调成土黄色| 熟女少妇亚洲综合色aaa.| 桃红色精品国产亚洲av| 精品人妻一区二区三区麻豆| 国产亚洲一区二区精品| 高清欧美精品videossex| 色播在线永久视频| 成年女人毛片免费观看观看9 | 亚洲天堂av无毛| 女性生殖器流出的白浆| 精品乱码久久久久久99久播| 欧美成人午夜精品| 不卡av一区二区三区| 色视频在线一区二区三区| 男女国产视频网站| 少妇的丰满在线观看| 极品人妻少妇av视频| 日本撒尿小便嘘嘘汇集6| 在线观看免费午夜福利视频| 免费看十八禁软件| cao死你这个sao货| 国产精品自产拍在线观看55亚洲 | 日韩中文字幕视频在线看片| 人人妻人人澡人人看| 波多野结衣一区麻豆| 国产精品偷伦视频观看了| 欧美精品人与动牲交sv欧美| 亚洲国产精品一区二区三区在线| 性高湖久久久久久久久免费观看| 午夜福利,免费看| 精品一品国产午夜福利视频| 国产xxxxx性猛交| 啦啦啦免费观看视频1| 搡老岳熟女国产| 亚洲 国产 在线| 老熟妇仑乱视频hdxx| 性色av一级| 天堂俺去俺来也www色官网| 国产精品久久久久久精品电影小说| 精品少妇内射三级| 亚洲国产精品一区三区| 欧美日韩亚洲国产一区二区在线观看 | 精品久久蜜臀av无| 视频区图区小说| 亚洲五月婷婷丁香| 在线看a的网站| 天堂中文最新版在线下载| 性高湖久久久久久久久免费观看| 午夜福利在线免费观看网站| 女性生殖器流出的白浆| 日韩熟女老妇一区二区性免费视频| 免费在线观看完整版高清| 国产精品久久久人人做人人爽| 久久精品国产亚洲av香蕉五月 | 国产麻豆69| 精品久久久久久电影网| 人人妻人人澡人人看| 精品国产乱码久久久久久小说| 如日韩欧美国产精品一区二区三区| 后天国语完整版免费观看| 一区二区三区精品91| 日韩大码丰满熟妇| 国产福利在线免费观看视频| 狠狠婷婷综合久久久久久88av| 日韩,欧美,国产一区二区三区| 午夜免费观看性视频| 日韩电影二区| 亚洲成人免费av在线播放| 亚洲伊人色综图| 国产深夜福利视频在线观看| 老熟妇仑乱视频hdxx| 亚洲精品国产av蜜桃| 成人国产一区最新在线观看| 另类精品久久| 一区二区三区激情视频| 9热在线视频观看99| 无限看片的www在线观看| 91九色精品人成在线观看| 在线观看舔阴道视频| 亚洲av成人一区二区三| 免费在线观看视频国产中文字幕亚洲 | 午夜福利影视在线免费观看| a 毛片基地| 一本久久精品| 免费在线观看日本一区| 亚洲欧洲精品一区二区精品久久久| 久久ye,这里只有精品| 亚洲精品国产一区二区精华液| 2018国产大陆天天弄谢| 国产男人的电影天堂91| 女人精品久久久久毛片| 少妇的丰满在线观看| 亚洲人成电影免费在线| 两人在一起打扑克的视频| 欧美精品一区二区大全| 狠狠婷婷综合久久久久久88av| 日韩熟女老妇一区二区性免费视频| 久久中文看片网| 日韩欧美一区视频在线观看| 国产野战对白在线观看| 久久久精品免费免费高清| 丰满少妇做爰视频| 精品亚洲成国产av| 精品一品国产午夜福利视频| www.熟女人妻精品国产| 91国产中文字幕| 日本av免费视频播放| 久久九九热精品免费| 超色免费av| 亚洲精品久久久久久婷婷小说| 18在线观看网站| 国产精品 国内视频| 久久人妻福利社区极品人妻图片| 老司机影院毛片| 天天添夜夜摸| 99国产综合亚洲精品| www.av在线官网国产| 99精品欧美一区二区三区四区| 美女高潮喷水抽搐中文字幕| 精品乱码久久久久久99久播| 午夜免费成人在线视频| 国产精品久久久久成人av| 99国产精品99久久久久| 国产精品欧美亚洲77777| 男人操女人黄网站| 亚洲精品国产精品久久久不卡| 午夜福利乱码中文字幕| 欧美精品高潮呻吟av久久| 成人国产一区最新在线观看| 国产欧美日韩一区二区三区在线| 12—13女人毛片做爰片一| 啦啦啦啦在线视频资源| 亚洲精品国产区一区二| 国产一级毛片在线| 999精品在线视频| 天天躁夜夜躁狠狠躁躁| 韩国精品一区二区三区| 韩国精品一区二区三区| 97在线人人人人妻| 精品一区二区三卡| 亚洲欧美色中文字幕在线| 精品亚洲成a人片在线观看| 久久久精品区二区三区| 三上悠亚av全集在线观看| 国产一级毛片在线| 天堂俺去俺来也www色官网| 好男人电影高清在线观看| 日韩中文字幕欧美一区二区| 美女视频免费永久观看网站| av天堂在线播放| 日本91视频免费播放| 在线观看一区二区三区激情| 成年动漫av网址| 精品人妻在线不人妻| 人人妻人人爽人人添夜夜欢视频| 叶爱在线成人免费视频播放| 欧美xxⅹ黑人| 波多野结衣一区麻豆| 亚洲国产av影院在线观看| 国产精品 欧美亚洲| 日日夜夜操网爽| 不卡av一区二区三区| 欧美国产精品va在线观看不卡| 大片电影免费在线观看免费| 国产亚洲午夜精品一区二区久久| √禁漫天堂资源中文www| 国产男女内射视频| av一本久久久久| 9色porny在线观看| 亚洲成人手机| 两性午夜刺激爽爽歪歪视频在线观看 | av网站免费在线观看视频| 天天操日日干夜夜撸| 男女下面插进去视频免费观看| 一级片免费观看大全| 免费看十八禁软件| 午夜福利在线观看吧| 如日韩欧美国产精品一区二区三区| 后天国语完整版免费观看| 操出白浆在线播放| 视频区图区小说| 国产区一区二久久| 男女国产视频网站| 午夜福利视频精品| 一本大道久久a久久精品| 男人爽女人下面视频在线观看| 一级黄色大片毛片| 中文字幕制服av| avwww免费| 人妻 亚洲 视频| 考比视频在线观看| 欧美激情 高清一区二区三区| 亚洲国产精品999| 久久国产精品大桥未久av| 亚洲精品自拍成人| 在线观看免费午夜福利视频| 日韩制服骚丝袜av| 黑人猛操日本美女一级片| 色视频在线一区二区三区| 搡老熟女国产l中国老女人| 一边摸一边抽搐一进一出视频| 欧美日韩黄片免| 无遮挡黄片免费观看| 免费在线观看完整版高清| 国产精品九九99| 国产精品久久久久久人妻精品电影 | 亚洲专区字幕在线| 一本大道久久a久久精品| 黄网站色视频无遮挡免费观看| 每晚都被弄得嗷嗷叫到高潮| 午夜免费成人在线视频| 久久毛片免费看一区二区三区| 老汉色av国产亚洲站长工具| 久久人妻熟女aⅴ| 免费观看a级毛片全部| 人妻久久中文字幕网| xxxhd国产人妻xxx| 在线 av 中文字幕| 丝袜在线中文字幕| 在线观看一区二区三区激情| 日韩欧美一区二区三区在线观看 | 51午夜福利影视在线观看| 一级,二级,三级黄色视频| 亚洲天堂av无毛| 国产一区二区在线观看av| 青春草亚洲视频在线观看| 欧美 亚洲 国产 日韩一| 不卡一级毛片| 男女免费视频国产| 欧美日韩成人在线一区二区| 色综合欧美亚洲国产小说| 亚洲精品国产av成人精品| 国产深夜福利视频在线观看| 另类亚洲欧美激情| av有码第一页| a级毛片在线看网站| 久久这里只有精品19| 成人18禁高潮啪啪吃奶动态图| 免费在线观看视频国产中文字幕亚洲 | 亚洲精品中文字幕在线视频| 女人高潮潮喷娇喘18禁视频| 91麻豆精品激情在线观看国产 | 久久精品国产亚洲av香蕉五月 | 91大片在线观看| 欧美精品啪啪一区二区三区 | 人妻一区二区av| 中国美女看黄片| 中文精品一卡2卡3卡4更新| 精品国产国语对白av| 精品国产超薄肉色丝袜足j| 日韩精品免费视频一区二区三区| 亚洲精品粉嫩美女一区| 免费高清在线观看视频在线观看| 人妻久久中文字幕网| 亚洲国产欧美网| 亚洲精品中文字幕在线视频| 久久毛片免费看一区二区三区| 日本a在线网址| 日本撒尿小便嘘嘘汇集6| 精品少妇久久久久久888优播| 亚洲中文字幕日韩| 国产xxxxx性猛交| 性色av乱码一区二区三区2| 日本vs欧美在线观看视频| 一级毛片女人18水好多| 黑人巨大精品欧美一区二区mp4| 欧美精品高潮呻吟av久久| 国产精品av久久久久免费| 国产区一区二久久| 啦啦啦在线免费观看视频4| 一区二区三区激情视频| 精品人妻在线不人妻| 高清视频免费观看一区二区| 十八禁网站免费在线| 国产三级黄色录像| 精品国产乱码久久久久久男人| 国产有黄有色有爽视频| 69av精品久久久久久 | 狠狠精品人妻久久久久久综合| 久久久久久人人人人人| 伊人久久大香线蕉亚洲五| 精品人妻1区二区| 国产成人系列免费观看| 免费黄频网站在线观看国产| 亚洲伊人色综图| 国产在线观看jvid| 国产精品香港三级国产av潘金莲| 日韩电影二区| 欧美黑人精品巨大| 亚洲视频免费观看视频| 欧美激情 高清一区二区三区| 人人妻人人爽人人添夜夜欢视频| 中文字幕人妻丝袜一区二区| 深夜精品福利| 国产欧美亚洲国产| 久久久国产成人免费| xxxhd国产人妻xxx| 午夜视频精品福利| 大香蕉久久网| 久久久精品国产亚洲av高清涩受| 国产av国产精品国产| 啦啦啦啦在线视频资源| 男女床上黄色一级片免费看| 麻豆国产av国片精品| 亚洲色图综合在线观看| 国产精品一二三区在线看| 国产91精品成人一区二区三区 | 交换朋友夫妻互换小说| 夫妻午夜视频| 一二三四在线观看免费中文在| 午夜福利乱码中文字幕| 男女下面插进去视频免费观看| 日本猛色少妇xxxxx猛交久久| 曰老女人黄片| 国产av一区二区精品久久| 亚洲一区二区三区欧美精品| √禁漫天堂资源中文www| 国产精品国产三级国产专区5o| 深夜精品福利| 精品国产一区二区久久| 精品久久久精品久久久| 涩涩av久久男人的天堂| 国产精品av久久久久免费| 成年女人毛片免费观看观看9 | 80岁老熟妇乱子伦牲交| 丝袜人妻中文字幕| 丰满人妻熟妇乱又伦精品不卡| 一区二区三区激情视频| 视频区欧美日本亚洲| 性少妇av在线| 亚洲国产精品一区三区| 国产高清视频在线播放一区 | 国产一区二区 视频在线| 婷婷色av中文字幕| 免费在线观看完整版高清| 后天国语完整版免费观看| 国产成人免费无遮挡视频| 美女国产高潮福利片在线看| 国产一区有黄有色的免费视频| av网站免费在线观看视频| 丰满迷人的少妇在线观看| 亚洲国产成人一精品久久久| 一个人免费在线观看的高清视频 | 日日摸夜夜添夜夜添小说| 亚洲av成人不卡在线观看播放网 | 国精品久久久久久国模美| 日本五十路高清| 国产伦人伦偷精品视频| 欧美另类一区| 日韩一区二区三区影片| 亚洲国产精品999| 黄色片一级片一级黄色片| 精品卡一卡二卡四卡免费| 精品亚洲成国产av| 国产成人精品久久二区二区91| 高清在线国产一区| 丰满饥渴人妻一区二区三| 美女高潮喷水抽搐中文字幕| 超色免费av| 亚洲成人手机| 日本欧美视频一区| 视频在线观看一区二区三区| 久久ye,这里只有精品| 超碰97精品在线观看| 老司机影院毛片| 亚洲精品国产一区二区精华液| 一二三四在线观看免费中文在| www.999成人在线观看| 精品国产一区二区久久| 国产在视频线精品| av视频免费观看在线观看| 免费高清在线观看视频在线观看| 久久热在线av| 亚洲国产成人一精品久久久| 最近中文字幕2019免费版| 爱豆传媒免费全集在线观看| 国产精品免费视频内射| 80岁老熟妇乱子伦牲交| 香蕉丝袜av| 99精品久久久久人妻精品| 亚洲欧洲日产国产| 精品国产国语对白av| 丝袜脚勾引网站| 日韩欧美国产一区二区入口| 男人添女人高潮全过程视频| 捣出白浆h1v1| 男女边摸边吃奶| 老司机午夜十八禁免费视频| 欧美另类一区| 国产精品久久久久成人av| 一区二区三区激情视频| 欧美97在线视频| 欧美日韩亚洲综合一区二区三区_| 一区在线观看完整版| 一级毛片电影观看| 亚洲欧美清纯卡通| 天天影视国产精品| 欧美精品一区二区免费开放| 国产成人精品久久二区二区免费| 国产在线观看jvid| 日本av免费视频播放| 亚洲国产欧美网| 午夜福利乱码中文字幕| 99香蕉大伊视频| 国产精品熟女久久久久浪| 一二三四社区在线视频社区8| 亚洲第一欧美日韩一区二区三区 | 法律面前人人平等表现在哪些方面 | 国产精品1区2区在线观看. | 99香蕉大伊视频| 欧美性长视频在线观看| 亚洲久久久国产精品| 成人国语在线视频| 丰满饥渴人妻一区二区三| 狠狠婷婷综合久久久久久88av| 丰满迷人的少妇在线观看| 波多野结衣av一区二区av| a在线观看视频网站| 久久精品国产综合久久久| 亚洲第一av免费看| 69精品国产乱码久久久| 一边摸一边抽搐一进一出视频| 超碰97精品在线观看| 亚洲专区字幕在线| 国产91精品成人一区二区三区 | 国产黄频视频在线观看| 男男h啪啪无遮挡| 久热这里只有精品99| 菩萨蛮人人尽说江南好唐韦庄| 国产亚洲av高清不卡| 久久久国产精品麻豆| 国产男人的电影天堂91| 久久久久久久大尺度免费视频| 伊人亚洲综合成人网| 久久精品国产综合久久久| 蜜桃在线观看..| 日本wwww免费看| 97人妻天天添夜夜摸| 久久国产精品大桥未久av| 亚洲欧洲精品一区二区精品久久久| 99国产极品粉嫩在线观看| 一区二区三区精品91| 亚洲国产精品成人久久小说| 日韩三级视频一区二区三区| 操美女的视频在线观看| 精品国产超薄肉色丝袜足j| 亚洲欧美精品自产自拍| 搡老乐熟女国产| av在线老鸭窝| 亚洲一卡2卡3卡4卡5卡精品中文| 国产成+人综合+亚洲专区| 亚洲视频免费观看视频| 日韩中文字幕视频在线看片| 国产免费视频播放在线视频| 午夜影院在线不卡| 久久九九热精品免费| 久久精品亚洲熟妇少妇任你| 黄色视频不卡| 精品欧美一区二区三区在线| 亚洲国产欧美日韩在线播放| 老鸭窝网址在线观看| 国产成人免费无遮挡视频| 国产精品国产av在线观看| 亚洲免费av在线视频| 亚洲精品在线美女| 中亚洲国语对白在线视频| 欧美日韩国产mv在线观看视频| 国产av一区二区精品久久| 国产97色在线日韩免费| 国产成人欧美| av超薄肉色丝袜交足视频| 黑人操中国人逼视频| 男女床上黄色一级片免费看| 亚洲国产中文字幕在线视频| 精品人妻一区二区三区麻豆| 亚洲美女黄色视频免费看| 亚洲欧美日韩另类电影网站| 日韩熟女老妇一区二区性免费视频| 各种免费的搞黄视频| av免费在线观看网站| 午夜免费观看性视频| 老鸭窝网址在线观看| 人人妻人人爽人人添夜夜欢视频| 久久女婷五月综合色啪小说| 男女国产视频网站| 亚洲欧美色中文字幕在线| 18禁黄网站禁片午夜丰满| 妹子高潮喷水视频| 久久久久国内视频| 女性被躁到高潮视频| 国产精品一区二区在线观看99| 日本av手机在线免费观看| kizo精华| 午夜激情久久久久久久| 国产野战对白在线观看| 国产av又大| 久久国产精品影院| 亚洲一码二码三码区别大吗| 亚洲欧美一区二区三区久久| 精品人妻熟女毛片av久久网站| 久久久精品94久久精品| tube8黄色片| 日本撒尿小便嘘嘘汇集6| 999精品在线视频| 桃红色精品国产亚洲av| 777久久人妻少妇嫩草av网站| 国产有黄有色有爽视频| 亚洲av成人一区二区三| 19禁男女啪啪无遮挡网站| 黄片播放在线免费| 久久中文看片网| 欧美精品av麻豆av| 精品人妻在线不人妻| 国产亚洲欧美精品永久| 午夜影院在线不卡| 久久久久久亚洲精品国产蜜桃av| 久久99热这里只频精品6学生| 亚洲视频免费观看视频| 国产精品欧美亚洲77777| 国产又爽黄色视频| 亚洲成国产人片在线观看| 日本五十路高清| 一进一出抽搐动态| 欧美 日韩 精品 国产| 黄片大片在线免费观看| 黑人巨大精品欧美一区二区mp4| 欧美精品人与动牲交sv欧美| 成年人午夜在线观看视频| 精品国产一区二区三区久久久樱花| 啦啦啦中文免费视频观看日本| 国产欧美日韩精品亚洲av| 淫妇啪啪啪对白视频 | 十八禁网站网址无遮挡| 久久久久久久久免费视频了| 国产免费av片在线观看野外av| 免费av中文字幕在线| avwww免费| 夫妻午夜视频| 美女中出高潮动态图| 一级片'在线观看视频| 精品国产一区二区三区四区第35| 国产精品亚洲av一区麻豆| 国产日韩欧美亚洲二区| 色婷婷av一区二区三区视频| 老熟女久久久| 一进一出抽搐动态| 国产在线一区二区三区精| 精品一区二区三区四区五区乱码| 好男人电影高清在线观看| 国产成人一区二区三区免费视频网站| 91字幕亚洲| 国产精品秋霞免费鲁丝片| 亚洲伊人色综图| 国产一区二区在线观看av| 精品亚洲乱码少妇综合久久| 亚洲av男天堂| 少妇精品久久久久久久| 亚洲国产av影院在线观看| 亚洲伊人色综图| av片东京热男人的天堂| 精品亚洲乱码少妇综合久久| 国产极品粉嫩免费观看在线| 亚洲国产成人一精品久久久| 18禁黄网站禁片午夜丰满| 好男人电影高清在线观看| 成人黄色视频免费在线看| 少妇 在线观看| 久久性视频一级片| 欧美 日韩 精品 国产| 视频区图区小说| 午夜免费成人在线视频| 成人国语在线视频| 国产xxxxx性猛交| 美女扒开内裤让男人捅视频| 欧美黑人精品巨大| 大片电影免费在线观看免费| av欧美777| 久久ye,这里只有精品| 国产伦理片在线播放av一区| 人人妻人人添人人爽欧美一区卜| 亚洲精品国产精品久久久不卡| 日日爽夜夜爽网站| 成人亚洲精品一区在线观看| 男男h啪啪无遮挡| 成在线人永久免费视频| 国产精品久久久久成人av| 天天操日日干夜夜撸| 欧美日韩精品网址| 国产精品久久久久久人妻精品电影 | 最近最新免费中文字幕在线| 亚洲中文字幕日韩| 亚洲熟女精品中文字幕| 久久人人97超碰香蕉20202| 免费不卡黄色视频| 一个人免费看片子| av网站在线播放免费| 他把我摸到了高潮在线观看 | 成人18禁高潮啪啪吃奶动态图| 亚洲成人国产一区在线观看|