• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Q學(xué)習(xí)算法的摘掛列車調(diào)車作業(yè)計劃優(yōu)化

    2022-02-16 06:56:48施俊慶陳林武林柏梁孟國連夏順?gòu)I
    中國鐵道科學(xué) 2022年1期
    關(guān)鍵詞:車列股道車組

    施俊慶,陳林武,林柏梁,孟國連,夏順?gòu)I

    (1.浙江師范大學(xué) 工學(xué)院,浙江 金華 321004;2.浙江師范大學(xué) 浙江省城市軌道交通智能運維技術(shù)與裝備重點實驗室,浙江 金華 321004;3.北京交通大學(xué) 交通運輸學(xué)院,北京 100044)

    調(diào)車作業(yè)計劃是規(guī)定車輛如何調(diào)移及其作業(yè)程序的具體行動計劃。按站順編組摘掛列車是指將調(diào)車場某調(diào)車線上集結(jié)的去往前方中間站的車輛,從雜亂無章到按到達(dá)中間站的順序進(jìn)行編組的過程,是一項十分復(fù)雜而重要的工作。

    調(diào)車作業(yè)計劃的質(zhì)量決定了車站調(diào)車工作的效率[1],許多學(xué)者對此展開深入研究,力求不斷提高編制質(zhì)量。文獻(xiàn)[2]提出了“表格調(diào)車法”,將摘掛列車車輛編組順序問題轉(zhuǎn)變?yōu)? 種編號問題,減少了調(diào)車鉤數(shù)和占用的調(diào)車線數(shù)。文獻(xiàn)[3]提出了“統(tǒng)籌對口調(diào)車法”,將編組調(diào)車過程描述為一系列連續(xù)的對口過程,優(yōu)化了選編調(diào)車的連掛鉤數(shù)。文獻(xiàn)[4—5]根據(jù)編制鉤計劃條件下的調(diào)車方案及摘掛列車下落等特點,提出變異方案的概念和“消逆法”調(diào)車作業(yè)理論,改進(jìn)了調(diào)車作業(yè)編制方法。文獻(xiàn)[6]分析了車組隔離、股道數(shù)量限制等情況下的編組摘掛列車鉤計劃優(yōu)化問題。文獻(xiàn)[7]將摘掛列車下落問題抽象為排序問題,提出了1種基于排序二叉樹的編組鉤計劃自動編制方法。文獻(xiàn)[8]在改進(jìn)“分析計算法”的基礎(chǔ)上,提出溜放鉤數(shù)計算式,優(yōu)化了調(diào)車方案的選擇。文獻(xiàn)[9]提出了基于分支定界法的摘掛列車編組優(yōu)化算法。

    隨著信息技術(shù)的進(jìn)步,傳統(tǒng)的優(yōu)化算法已無法滿足鐵路調(diào)車工作決策智能化發(fā)展的需求,強(qiáng)化學(xué)習(xí)的出現(xiàn)為此提供了新思路。強(qiáng)化學(xué)習(xí)技術(shù)是機(jī)器學(xué)習(xí)的1 個分支,從算法上看主要包括基于值的算法和基于策略的算法,可以作為支持調(diào)車工作智能化決策的有效工具。Watkins 于1989年首次提出的Q學(xué)習(xí)算法是1 種典型的基于值的算法,也是目前強(qiáng)化學(xué)習(xí)算法中應(yīng)用最廣泛且最有效的1 種算法[10—11]。在鐵路智能調(diào)度方面,文獻(xiàn)[12]根據(jù)車輛的位置、到達(dá)時間、停留時間等運行狀況,基于強(qiáng)化學(xué)習(xí)方法對列車調(diào)度算法進(jìn)行了改進(jìn);文獻(xiàn)[13]以減少調(diào)車機(jī)車移動為目的,研究了基于Q學(xué)習(xí)算法的貨車調(diào)度優(yōu)化問題。在列車運行控制方面,文獻(xiàn)[14—15]通過預(yù)測列車的運行狀態(tài)和調(diào)車計劃等,運用強(qiáng)化學(xué)習(xí)技術(shù)和深度Q學(xué)習(xí)算法研究了列車的控制方法;文獻(xiàn)[16]引入帶軌跡的延遲獎勵,結(jié)合Q學(xué)習(xí)算法研究了列車運行調(diào)整問題,減少了相應(yīng)的計算時間。

    本文將強(qiáng)化學(xué)習(xí)技術(shù)和Q學(xué)習(xí)算法應(yīng)用于摘掛列車編組調(diào)車作業(yè)計劃優(yōu)化問題。在表格調(diào)車法的基礎(chǔ)上,通過動作、狀態(tài)和獎勵3 要素的設(shè)置構(gòu)建強(qiáng)化學(xué)習(xí)模型,改進(jìn)Q學(xué)習(xí)算法,以最小化調(diào)車程為目標(biāo)建立待編車列和最佳調(diào)車作業(yè)方案之間的映射關(guān)系,智能體學(xué)習(xí)充分即累加Q值達(dá)到收斂狀態(tài)時,計算得到優(yōu)化后的調(diào)車表及調(diào)車作業(yè)計劃。

    1 問題描述

    沿用文獻(xiàn)[1]中的表述描述調(diào)車作業(yè)計劃編制問題,用阿拉伯?dāng)?shù)字代替車組到站,并規(guī)定距離本站最遠(yuǎn)的車組到站為“1”,從遠(yuǎn)到近依次編為2,3,…,調(diào)車機(jī)車在調(diào)車場的右端作業(yè),根據(jù)“按站順編組”的要求,將待編車列中的車組連掛成列,并使列車編成后各車組的排列順序為依次遞增或相等。調(diào)車作業(yè)計劃優(yōu)化的本質(zhì)是通過調(diào)車鉤的安排,實現(xiàn)調(diào)車程的最小化。其中,調(diào)車鉤指機(jī)車連掛或摘解1 組車輛的作業(yè),分為“掛車鉤”和“摘車鉤”;調(diào)車程指機(jī)車或機(jī)車連掛車輛加減速1次的移動,通常情況1 個掛車鉤對應(yīng)于2 個調(diào)車程,1 個摘車鉤對應(yīng)于1 個調(diào)車程。調(diào)車作業(yè)計劃的編制可用調(diào)車表來進(jìn)行。調(diào)車表是調(diào)車場的示意圖,橫格為“列”,表示股道,豎格為“行”,表示車組在待編車列中的相互位置。假設(shè):每個車組僅含1 輛車,牽出線及調(diào)車線的存車、調(diào)車機(jī)車的牽引能力等不受限制。

    同時引入如下定義。

    (1)接連:從左側(cè)某車組起,相鄰車組編號差值不大于1且為遞增或相等的形式。

    (2)非接連:與接連相對應(yīng),相鄰車組不滿足接連定義的其他所有形式。

    (3)目標(biāo)暫合列:調(diào)車表中非接連形式車組的所在列。

    (4)非接連數(shù):非接連形式的車組數(shù)量。相鄰2 個車組組成非接連形式后,便會產(chǎn)生1 個非接連數(shù)。

    例如,調(diào)車表中某列的車組編號依次為“1323456”。其中,相鄰車組1 與3 之間的編號差值為2,該相鄰車組構(gòu)成非接連形式;相鄰車組3與2 的編號為遞減,該相鄰車組也構(gòu)成非接連形式;從第3個車組起,相鄰車組2,3,4,5 與6 構(gòu)成接連形式。該列為目標(biāo)暫合列,非接連數(shù)為2。

    2 調(diào)車作業(yè)問題的強(qiáng)化學(xué)習(xí)模型

    在表格調(diào)車法的基礎(chǔ)上,將調(diào)車作業(yè)計劃分為下落和重組2 個部分,通過動作、狀態(tài)和獎勵3 要素的設(shè)置構(gòu)建強(qiáng)化學(xué)習(xí)模型。

    2.1 相關(guān)參數(shù)及定義

    參數(shù):K為某站實際可用的股道數(shù)量;L為待編車列中的車組數(shù)量;G為掛車鉤數(shù);D為摘車鉤數(shù);Z為調(diào)車機(jī)車最左端連掛的車組編號;Cij為調(diào)車表中第i列中第j輛車;Li為第i條股道上的車組數(shù);Pi為第i條股道上的最右端車組編號,若第i條股道上沒有車組,則不存在Pi。

    編組列車時,為了調(diào)轉(zhuǎn)待編車列中車組間的排序,需要將待編車列中的反順序車組分解到不同的股道上,這種調(diào)車過程反映在調(diào)車表上,被稱為下落[1]。任取待編車列“34172612537”的某一下落方案為例,所有車組下落后,各車組在調(diào)車場(調(diào)車表)中的位置見表1。表中:每1 格中的數(shù)字表示相應(yīng)編號的車組下落到對應(yīng)編號的股道上。由表1可知:此時K=5,L=11;對于第1 條股道,C11=3,C12=4,C13=5,L1=3,P1=5;存在唯一的目標(biāo)暫合列,即i=4,此目標(biāo)暫合列中僅車組7與6構(gòu)成非接連形式,非接連數(shù)為1。

    表1 初始下落方案調(diào)車表

    將待編車列的最右端車組定義為端組。考慮到分解待編車列時,若端組為最大編號車組,對其進(jìn)行下落操作可能會產(chǎn)生1 個多余的摘車鉤。基于此,本文假設(shè)端組為最大編號車組時,根據(jù)下落方案所得的調(diào)車表,端組及其所在列左端直接相連的車組將連掛在調(diào)車機(jī)車上,不進(jìn)行下落。例如在表1中,端組為最大編號車組(車組7),但調(diào)車表中其左端相鄰位置并無車組,所以僅端組不下落。

    2.2 強(qiáng)化學(xué)習(xí)的動作與狀態(tài)

    1)動作

    以調(diào)車機(jī)車為智能體,將車組下落的股道編號定義為智能體的動作。用1個L維的行向量αn表示智能體對第n個車組的動作(1≤n≤L),αn中第n個分量記為an,表示智能體選擇的股道編號,其余分量均為0。如果智能體可選擇的動作有K種,則有動作集合A={1,2,…,K},但各車組可選擇的動作均為K種時會存在大量重復(fù)解,為了減少重復(fù)性,規(guī)定第n個車組可選擇的動作集合An(An?A)為

    2)狀態(tài)

    為反映調(diào)車場對應(yīng)的股道下落情況,以調(diào)車表為環(huán)境,將調(diào)車表簡化為1 個L維的行向量Sn=(x1,x2,…,xL),用于表示第n個車組下落后的調(diào)車表狀態(tài),其中xn表示第n個車組下落后所處的股道編號。當(dāng)?shù)趎個車組未下落時,xn=0;當(dāng)?shù)趎個車組選擇某1 條股道下落時,向量Sn中第n個分量變?yōu)樗x股道編號an,并且狀態(tài)發(fā)生1 次變化。設(shè)調(diào)車表的初始狀態(tài)S0=(0,0,…,0),此時所有車組均未開始下落;調(diào)車表的目標(biāo)狀態(tài)SL=(a1,a2,…,aL),此時所有車組均完成下落。以表1為例,下落全部完成時該調(diào)車表對應(yīng)的狀態(tài)S11即為目標(biāo)狀態(tài),S11=(1,1,2,4,3,4,2,2,1,3,4)。

    3)狀態(tài)更新規(guī)則

    當(dāng)調(diào)車表處于初始狀態(tài)S0時,全部車組均未下落,此時,智能體對第1 個車組選擇的動作為α1=(a1,0,0,…,0),據(jù)此更新的下1 個狀態(tài)為S1。以此類推,在狀態(tài)Sn?1下,智能體采取動作αn(αn∈An)后,下1個狀態(tài)更新為Sn,即

    式中:Sn為更新后的狀態(tài);αn為對第n個車組的動作。

    以表1為例,當(dāng)?shù)? 個車組下落后,狀態(tài)S4=(1,1,2,4,0,0,0,0,0,0,0),此時智能體對第5個車組的動作α5=(0,0,0,0,2,0,0,0,0,0,0),更新后的狀態(tài)S5=(1,1,2,4,2,0,0,0,0,0,0)。

    2.3 車組掛車、摘車條件和車輛重組流程

    當(dāng)所有車組均下落后,需要通過掛車和摘車對調(diào)車場上的車輛進(jìn)行重組,以實現(xiàn)按站順編組。掛車、摘車的具體條件及車輛重組流程如下。

    1)掛車條件

    條件1:存在Cij及其右端所有車組,都能與調(diào)車機(jī)車上連掛的車組構(gòu)成接連形式,且股道中不存在比Cij大的車組。

    條件2:按非接連數(shù)從大到小依次尋找目標(biāo)暫合列,其中存在Cij=Pm或Cij=Pm+1,且i≠m。

    條件3:全部由接連構(gòu)成的列中存在Cij=Pm或Cij=Pm+1,且i≠m。

    當(dāng)滿足以上任意1 條掛車條件時,將車組Cij及其右端的所有車組掛至調(diào)車機(jī)車上。

    2)摘車條件

    條件4:存在Pi,使Z=Pi。

    條件5:存在Pi,使Z=Pi+1。

    當(dāng)滿足以上任意1 條摘車條件時,將調(diào)車機(jī)車最左端的車組溜放至相應(yīng)股道。

    3)車輛重組流程

    車輛重組的具體流程如圖1所示。待編車列下落完畢后,其余車組需先根據(jù)調(diào)車表依次判斷條件1—3,確定是否掛車;然后判斷調(diào)車機(jī)車上所有車組是否構(gòu)成接連且調(diào)車表中是否沒有比Z大的車組,若成立,且調(diào)車表中存在剩余車組則繼續(xù)判斷掛車條件,直到不成立;再根據(jù)條件4—5 確定是否摘車,溜放車組直至調(diào)車機(jī)車上的所有車組構(gòu)成接連形式,且股道中不存在比Z大的車組;此時,若本輪還未進(jìn)行過掛車或摘車作業(yè),需將Z車組隨機(jī)溜放至任意股道,并再次判斷摘掛條件;循環(huán)上述過程,直至調(diào)車表中無車組,最后獲得調(diào)車作業(yè)計劃表,并根據(jù)計劃表得到掛車鉤數(shù)G和摘車鉤數(shù)D。

    圖1 下落后車組的重組流程

    2.4 獎勵函數(shù)設(shè)計

    編組列車過程中,調(diào)車程的數(shù)量是評判下落方案優(yōu)劣的主要依據(jù)。同時,下落后調(diào)車表中非接連數(shù)越多,需要的掛車鉤就越多,調(diào)車程數(shù)量也會隨之增加,因此根據(jù)車組下落后的接連狀態(tài)及總調(diào)車程,分即時獎勵和附加獎勵2部分設(shè)計獎勵函數(shù)。

    根據(jù)車組下落后的接連狀態(tài)確定即時獎勵,規(guī)定下落過程中,對第n個車組執(zhí)行動作αn后獲得的即時獎勵rSn?1,αn為

    式中:λ為0-1 變量,當(dāng)執(zhí)行動作后能與所在股道上的相鄰車組構(gòu)成接連時取1;否則取0。

    車輛重組后,根據(jù)調(diào)車程數(shù)量確定下落方案的附加獎勵Rrestructure為

    式中:φ為任意正數(shù)。

    合并上述2 部分獎勵,智能體每選擇1 個動作后的累積獎勵RSn?1,αn為

    式中:RSn?1,αn為智能體在狀態(tài)Sn?1時選擇動作αn的累積獎勵;m為1到n的自然數(shù)。

    智能體依據(jù)環(huán)境狀態(tài)選擇動作,每次執(zhí)行動作后,根據(jù)上述計算式確定累積獎勵。當(dāng)所有車組完成下落,即達(dá)到目標(biāo)狀態(tài)時,需根據(jù)車組下落和車輛重組過程得到調(diào)車作業(yè)計劃表,并統(tǒng)計相應(yīng)的掛車鉤數(shù)和摘車鉤數(shù),計算附加獎勵。調(diào)車作業(yè)計劃表的優(yōu)劣通過獎勵函數(shù)體現(xiàn),獎勵函數(shù)計算得到的數(shù)值越大,意味著調(diào)車作業(yè)計劃表越優(yōu)。

    3 Q學(xué)習(xí)算法改進(jìn)

    改進(jìn)Q學(xué)習(xí)算法,對調(diào)車作業(yè)的強(qiáng)化學(xué)習(xí)模型進(jìn)行求解。Q學(xué)習(xí)算法根據(jù)智能體執(zhí)行每個動作后的累積獎勵來決定狀態(tài)與相應(yīng)的動作之間的映射關(guān)系。映射關(guān)系通過Q值來表示,即智能體在狀態(tài)Sn?1時選擇動作αn能夠獲得獎勵的期望。Q值越大,說明該狀態(tài)下執(zhí)行該動作越有利。求解前文模型時,在調(diào)車程最小化的目標(biāo)下,構(gòu)建待編車列與最優(yōu)調(diào)車作業(yè)計劃間的映射關(guān)系。以全部車組下落完畢為1 次迭代,每次迭代中,當(dāng)?shù)趎個車組下落時,根據(jù)當(dāng)前狀態(tài)Sn?1,從動作集合An中選擇可用的動作αn并執(zhí)行,Q值根據(jù)迭代中的累積獎勵進(jìn)行更新。

    使用動態(tài)的Q表來存儲智能體學(xué)習(xí)所得到的經(jīng)驗知識,見表2。表中:每行數(shù)字中的第1 到L列構(gòu)成狀態(tài),第L+1 列為該狀態(tài)對應(yīng)的Q值。在初始時刻,Q表僅記錄了初始狀態(tài)S0及其對應(yīng)的Q值;每當(dāng)狀態(tài)發(fā)生變化時,Q表中該狀態(tài)對應(yīng)的Q值將被更新;若Q表中無該狀態(tài),則插入該狀態(tài)及其Q值。智能體學(xué)習(xí)得到的最終Q表體現(xiàn)了待編車列和最優(yōu)調(diào)車作業(yè)方案之間的映射關(guān)系。

    表2 智能體學(xué)習(xí)得到的動態(tài)Q表

    第n個車組下落時,Q值的更新計算式為

    式中:Q′n?1(Sn?1,αn)為狀態(tài)Sn?1時智能體執(zhí)行動作αn后更新的Q值,αn由策略π(α|S)決定,該策略表示狀態(tài)S下選擇動作α的概率;β為學(xué)習(xí)率,β∈(0,1],學(xué)習(xí)率越大,表示采用新的嘗試得到的結(jié)果比例越大,保持舊的結(jié)果的比例越??;γ為折扣系數(shù),γ∈(0,1],如果γ接近于0,則智能體會傾向于即時獎勵,如果γ接近于1,則智能體會更多地考慮未來的獎勵,愿意延遲獎勵[11]。

    其中,

    式中:ε為智能體的探索率;y為迭代次數(shù);argmaxQ(S,α)為狀態(tài)S下使得Q值最大的動作。

    將Q表中的Q值之和定義為累加Q值。設(shè)定連續(xù)1 000 步內(nèi)累加Q值不發(fā)生變化即收斂。算法的具體過程如下。

    步驟1:智能體開始學(xué)習(xí),初始化Q表,確定待編車列,默認(rèn)參數(shù)β=0.5,γ=0.9,φ=5 000。

    步驟2:生成初始狀態(tài)S0。

    步驟3:根據(jù)當(dāng)前狀態(tài)Sn?1,從可選擇的動作集合An中,按式(7)選擇動作αn。

    步驟4:根據(jù)動作αn將狀態(tài)更新為Sn,并計算累積獎勵RSn?1,αn,按式(6)更新Q值。

    步驟5:判斷Sn是否為目標(biāo)狀態(tài),是則執(zhí)行步驟6,否則執(zhí)行3。

    步驟6:判斷累加Q值是否已經(jīng)收斂,是則執(zhí)行步驟7,表示此時智能體已學(xué)習(xí)充分,否則執(zhí)行步驟2。

    步驟7:退出循環(huán)并記錄數(shù)據(jù),結(jié)束算法學(xué)習(xí),求解得到最優(yōu)調(diào)車作業(yè)計劃。

    4 算例分析

    4.1 計算過程

    采用上文模型和算法進(jìn)行算例分析,使用的實驗運行環(huán)境為:設(shè)備CPU-Intel Core i7,工具Vi?sual Studio(C#)。

    以上文待編車列“34172612537”為例,在可用股道數(shù)量為3條時(K=3),強(qiáng)化學(xué)習(xí)模型進(jìn)行充分學(xué)習(xí)后,累加Q值的變化如圖2所示。起始階段累加Q值為零,并且智能體會有較大概率進(jìn)行探索,學(xué)習(xí)各種方案;隨著迭代次數(shù)的增加,累加Q值會不斷增加,而當(dāng)智能體學(xué)習(xí)充分后,會執(zhí)行回報最大的動作序列,使得累加Q值趨于穩(wěn)定,達(dá)到收斂狀態(tài)。

    圖2 累加Q值的變化

    智能體學(xué)習(xí)充分后的最優(yōu)調(diào)車表見表3,此時目標(biāo)狀態(tài)為s11=(1,1,2,3,3,3,2,2,1,2,2)。當(dāng)?shù)竭_(dá)目標(biāo)狀態(tài)后,智能體依照車輛重組流程,根據(jù)下落方案將車組依次溜放至相應(yīng)股道上。由表3可知:待編車列的端組為車組7,其相鄰位置為車組3,因此車組3 與7 均不溜放,連掛于調(diào)車機(jī)車上;車組下落結(jié)束后,根據(jù)車輛重組流程在調(diào)車表中依次尋找滿足掛車條件1—3的車組;股道3為目標(biāo)暫合列,該列第2 個車組及其右端相連的車組滿足條件2,因此將車組2 與6 連掛至調(diào)車機(jī)車,此時,調(diào)車機(jī)車上所有車組(2637)并不構(gòu)成接連,應(yīng)根據(jù)摘車條件4—5 尋找能夠溜放的股道;股道2中第3 個車組滿足條件4,因此將Z=2 溜放至股道2,此時調(diào)車機(jī)車上所有車組仍不構(gòu)成接連,須繼續(xù)根據(jù)條件4—5 尋找能夠溜放的股道,直至調(diào)車機(jī)車上所有車組構(gòu)成接連且股道中沒有比Z更大的車組,因此將Z=6溜放至股道1,Z=3溜放至股道2;此時僅剩端組7 連掛在調(diào)車機(jī)車上,且股道中沒有比7更大的車組,因此須再次尋找滿足掛車條件1—3的車組,直至股道中沒有任何車組。

    表3 最優(yōu)調(diào)車表

    表3執(zhí)行的具體調(diào)車作業(yè)計劃見表4。由表4可知:該方案共用到調(diào)車鉤12 個,其中掛車鉤5個,摘車鉤7個;用到調(diào)車程17個。

    表4 調(diào)車作業(yè)計劃表

    4.2 效果對比

    選取待編車列“34172612537”為案例1,待編車列“42531244627756186”為案例2,待編車列“1543253213”為案例3,分別利用統(tǒng)籌對口法、排序二叉樹法和分支定界法,依次與本文方法進(jìn)行調(diào)車作業(yè)計劃的對比驗證,結(jié)果見表5。對于案例1 中的統(tǒng)籌對口調(diào)車法在K=4 時存在多種優(yōu)化方案,本文任選1 種進(jìn)行對比;案例2 和案例3中的待編車列及所用方法得到的結(jié)果,分別取自文獻(xiàn)[7]和文獻(xiàn)[9]。

    由表5可得出以下結(jié)論。

    表5 本文方法與其他方法得到的調(diào)車作業(yè)計劃表對比

    (1)對比分析案例1 和案例2 結(jié)果,可以看出本文方法能在使用更少股道數(shù)量情況下得到優(yōu)于統(tǒng)籌對口法及排序二叉樹算法的調(diào)車作業(yè)計劃。

    (2)案例3 結(jié)果體現(xiàn)出,在相似設(shè)備及工具條件下進(jìn)行仿真計算,本文方法求解得到的調(diào)車作業(yè)計劃質(zhì)量近似于消逆規(guī)則的分支定界法,且用時僅為53 s,遠(yuǎn)遠(yuǎn)短于后者的求解時間1 076 s[9]。

    5 結(jié) 語

    本文在結(jié)合表格調(diào)車法、強(qiáng)化學(xué)習(xí)技術(shù)和Q學(xué)習(xí)算法的基礎(chǔ)上提出1種摘掛列車編組調(diào)車作業(yè)計劃優(yōu)化方法。將調(diào)車作業(yè)劃分為下落和重組2 部分,通過動作、狀態(tài)和獎勵3要素建立了調(diào)車作業(yè)問題的強(qiáng)化學(xué)習(xí)模型,從而使摘掛列車編組調(diào)車作業(yè)優(yōu)化問題轉(zhuǎn)化為對下落方案的尋優(yōu)問題。為求解該模型,改進(jìn)Q學(xué)習(xí)算法,以最小化調(diào)車程為目標(biāo)建立起待編車列與最優(yōu)調(diào)車作業(yè)計劃之間的映射關(guān)系,智能體學(xué)習(xí)充分、即累加Q值達(dá)到收斂狀態(tài)時,即可得到最優(yōu)的調(diào)車表及相應(yīng)的調(diào)車作業(yè)計劃。3 組算例分析驗證了本文方法的合理性和有效性,相較于統(tǒng)籌對口法和排序二叉樹法,本文方法使用的股道數(shù)量更少、調(diào)車作業(yè)計劃更優(yōu);相較于分支定界法,本文方法可在更短時間內(nèi)求解出質(zhì)量近似的調(diào)車作業(yè)計劃。這證實了本文方法有助于提高車站調(diào)車作業(yè)計劃編制的智能化決策水平。

    猜你喜歡
    車列股道車組
    股道全頂微機(jī)可控頂調(diào)速系統(tǒng)在臨沂站的應(yīng)用
    智慧車列交通系統(tǒng),讓城市出行更美好
    爭分奪秒的防控導(dǎo)彈車組
    基于WiFi便攜式防砂車組生產(chǎn)數(shù)據(jù)采集系統(tǒng)設(shè)計
    站內(nèi)股道一體化軌道電路絕緣破損信號越區(qū)干擾防護(hù)措施研究
    高速鐵路正線股道設(shè)置有源應(yīng)答器組必要性的探討
    關(guān)于側(cè)線股道LKJ數(shù)據(jù)的編制
    大小交路嵌套方式下城市軌道交通列車最優(yōu)車組數(shù)開行方案
    到發(fā)線車列鐵鞋防溜自動控制系統(tǒng)的研究
    調(diào)車監(jiān)控系統(tǒng)仿真平臺車列模擬模塊的實現(xiàn)
    赤兔流量卡办理| 亚洲人与动物交配视频| 男女边吃奶边做爰视频| 午夜日本视频在线| 国产精品国产av在线观看| 久久精品国产亚洲网站| 91久久精品国产一区二区成人| 精华霜和精华液先用哪个| 国产老妇女一区| 午夜视频国产福利| 晚上一个人看的免费电影| 午夜福利视频精品| a级毛片免费高清观看在线播放| 麻豆久久精品国产亚洲av| 韩国av在线不卡| 久久99热这里只频精品6学生| 美女国产视频在线观看| 我的老师免费观看完整版| 国产成人freesex在线| 欧美成人午夜免费资源| 免费观看的影片在线观看| 久久精品久久精品一区二区三区| 亚洲欧美日韩无卡精品| 国产成人精品久久久久久| 国产午夜精品一二区理论片| av线在线观看网站| 在线免费十八禁| 欧美zozozo另类| 一边亲一边摸免费视频| 亚洲精品日韩av片在线观看| 成年版毛片免费区| 91精品一卡2卡3卡4卡| 丝瓜视频免费看黄片| 一本一本综合久久| 综合色丁香网| 大码成人一级视频| 日韩中字成人| 免费高清在线观看视频在线观看| 亚洲国产高清在线一区二区三| 国产伦在线观看视频一区| 美女cb高潮喷水在线观看| 中国三级夫妇交换| 国产黄片美女视频| a级一级毛片免费在线观看| 直男gayav资源| 97精品久久久久久久久久精品| av国产久精品久网站免费入址| 国产男人的电影天堂91| 精品久久久久久久久亚洲| 中文欧美无线码| 成人国产av品久久久| videossex国产| 国产精品女同一区二区软件| xxx大片免费视频| 欧美日韩视频精品一区| 亚洲av日韩在线播放| 天天一区二区日本电影三级| av专区在线播放| 日本av手机在线免费观看| 亚洲精品久久久久久婷婷小说| 亚洲电影在线观看av| 赤兔流量卡办理| 97在线人人人人妻| 超碰97精品在线观看| 最近的中文字幕免费完整| 一区二区三区免费毛片| 噜噜噜噜噜久久久久久91| 黑人高潮一二区| 男女下面进入的视频免费午夜| 国产乱人视频| av福利片在线观看| 亚洲国产日韩一区二区| 人人妻人人澡人人爽人人夜夜| 丝瓜视频免费看黄片| 欧美3d第一页| 欧美性猛交╳xxx乱大交人| 精品久久国产蜜桃| 国产精品久久久久久精品电影| 久久热精品热| 免费观看av网站的网址| 亚洲无线观看免费| a级一级毛片免费在线观看| 男女无遮挡免费网站观看| 99久久人妻综合| 乱系列少妇在线播放| 老司机影院成人| 免费观看的影片在线观看| 插阴视频在线观看视频| 亚洲色图综合在线观看| 一级a做视频免费观看| 各种免费的搞黄视频| 少妇人妻久久综合中文| 亚洲成人中文字幕在线播放| 成人黄色视频免费在线看| 国产极品天堂在线| 日韩一本色道免费dvd| 亚洲电影在线观看av| 成人亚洲欧美一区二区av| 日韩成人伦理影院| 国产免费又黄又爽又色| 亚洲在线观看片| 一级爰片在线观看| 直男gayav资源| 老师上课跳d突然被开到最大视频| 高清毛片免费看| 在线亚洲精品国产二区图片欧美 | av又黄又爽大尺度在线免费看| 深夜a级毛片| 国产一区二区在线观看日韩| 亚洲一区二区三区欧美精品 | 亚洲,一卡二卡三卡| 中国国产av一级| 午夜免费鲁丝| 午夜亚洲福利在线播放| 国产黄片视频在线免费观看| 久久人人爽av亚洲精品天堂 | 亚洲av电影在线观看一区二区三区 | 久久女婷五月综合色啪小说 | 日产精品乱码卡一卡2卡三| 国产 一区精品| 亚洲精品,欧美精品| 日韩人妻高清精品专区| 日韩欧美 国产精品| 欧美精品人与动牲交sv欧美| 亚洲激情五月婷婷啪啪| 日日啪夜夜撸| 久久久亚洲精品成人影院| 亚洲精品自拍成人| freevideosex欧美| 亚洲欧美精品自产自拍| 欧美日韩一区二区视频在线观看视频在线 | 国产亚洲av片在线观看秒播厂| 亚洲不卡免费看| 真实男女啪啪啪动态图| av在线老鸭窝| 国产爽快片一区二区三区| 97在线人人人人妻| 大又大粗又爽又黄少妇毛片口| 亚洲av二区三区四区| 91狼人影院| 久热这里只有精品99| 观看免费一级毛片| 亚洲av中文字字幕乱码综合| 国产成人午夜福利电影在线观看| 免费看光身美女| 伊人久久精品亚洲午夜| 国产69精品久久久久777片| 亚洲精品成人av观看孕妇| 少妇熟女欧美另类| 国产美女午夜福利| 又爽又黄无遮挡网站| 免费看日本二区| 99久久人妻综合| 国产色爽女视频免费观看| 80岁老熟妇乱子伦牲交| kizo精华| 看十八女毛片水多多多| 九九在线视频观看精品| 亚洲av日韩在线播放| 亚洲精品自拍成人| 一区二区三区精品91| 国产精品偷伦视频观看了| av播播在线观看一区| 视频区图区小说| 久久久久久久久大av| 99久久中文字幕三级久久日本| 免费不卡的大黄色大毛片视频在线观看| 国产成人91sexporn| 日本猛色少妇xxxxx猛交久久| 舔av片在线| 美女xxoo啪啪120秒动态图| 国产成人福利小说| 大码成人一级视频| 男女下面进入的视频免费午夜| 国产一区二区在线观看日韩| 亚洲欧美一区二区三区黑人 | 国产熟女欧美一区二区| 国产熟女欧美一区二区| 国产有黄有色有爽视频| 亚洲精品aⅴ在线观看| av在线观看视频网站免费| 亚洲精品亚洲一区二区| 日韩欧美精品v在线| av免费观看日本| 国产成人免费观看mmmm| 777米奇影视久久| 偷拍熟女少妇极品色| 一级二级三级毛片免费看| 日本av手机在线免费观看| 18禁在线播放成人免费| 色播亚洲综合网| 美女内射精品一级片tv| 国产在视频线精品| 好男人在线观看高清免费视频| 国产中年淑女户外野战色| 蜜桃亚洲精品一区二区三区| 欧美极品一区二区三区四区| av在线app专区| 国产免费又黄又爽又色| 日韩成人伦理影院| av福利片在线观看| 国内少妇人妻偷人精品xxx网站| av播播在线观看一区| 亚洲国产av新网站| 亚洲内射少妇av| 亚洲精品国产av成人精品| 99热这里只有是精品在线观看| 中文字幕人妻熟人妻熟丝袜美| 久久久久久久久久久丰满| 国产精品国产三级专区第一集| 九九在线视频观看精品| 少妇被粗大猛烈的视频| 日本wwww免费看| 国产亚洲91精品色在线| 精品一区二区免费观看| 国国产精品蜜臀av免费| 中国三级夫妇交换| 久久综合国产亚洲精品| 国产精品嫩草影院av在线观看| 婷婷色av中文字幕| 高清毛片免费看| 欧美变态另类bdsm刘玥| 欧美最新免费一区二区三区| 男女边摸边吃奶| 久久久久久久久大av| 在线观看美女被高潮喷水网站| 在线 av 中文字幕| 欧美极品一区二区三区四区| 免费av观看视频| 一级毛片黄色毛片免费观看视频| 亚洲欧美精品专区久久| 午夜激情久久久久久久| 啦啦啦中文免费视频观看日本| 亚洲精品日本国产第一区| 女人被狂操c到高潮| 国产成人精品一,二区| 久久亚洲国产成人精品v| av.在线天堂| 欧美日韩视频精品一区| 久久久久久久久大av| 欧美日韩视频高清一区二区三区二| 天天躁日日操中文字幕| 一级黄片播放器| 蜜桃久久精品国产亚洲av| 99热这里只有是精品50| 久久久久久久午夜电影| 91久久精品国产一区二区三区| 日本一二三区视频观看| 晚上一个人看的免费电影| 小蜜桃在线观看免费完整版高清| 久久久久久久久久久免费av| 欧美日韩综合久久久久久| 免费观看a级毛片全部| 男女边吃奶边做爰视频| 欧美成人一区二区免费高清观看| 亚洲成人一二三区av| a级一级毛片免费在线观看| 肉色欧美久久久久久久蜜桃 | 久久久久久久精品精品| 成年人午夜在线观看视频| 国产爽快片一区二区三区| 欧美日本视频| 国产成人精品久久久久久| 国产午夜精品久久久久久一区二区三区| 亚洲国产欧美在线一区| 亚洲国产精品成人综合色| 国产精品一二三区在线看| a级一级毛片免费在线观看| 亚洲国产高清在线一区二区三| 最新中文字幕久久久久| 青春草亚洲视频在线观看| 精品一区二区三区视频在线| 国产综合懂色| 波野结衣二区三区在线| 26uuu在线亚洲综合色| 国产综合精华液| 男人爽女人下面视频在线观看| 中文字幕制服av| 日韩欧美一区视频在线观看 | 青春草亚洲视频在线观看| 卡戴珊不雅视频在线播放| 一级黄片播放器| 青春草视频在线免费观看| 夫妻性生交免费视频一级片| 国产爱豆传媒在线观看| 日韩大片免费观看网站| 午夜福利视频精品| 亚洲欧美日韩另类电影网站 | 亚洲,一卡二卡三卡| 丝袜脚勾引网站| 在线观看人妻少妇| 人人妻人人澡人人爽人人夜夜| 亚洲精品乱码久久久久久按摩| 爱豆传媒免费全集在线观看| 久久久久久久午夜电影| 丝袜脚勾引网站| 国产爽快片一区二区三区| 搞女人的毛片| 亚洲真实伦在线观看| 自拍欧美九色日韩亚洲蝌蚪91 | 人人妻人人爽人人添夜夜欢视频 | 国产一区亚洲一区在线观看| 久久97久久精品| 干丝袜人妻中文字幕| 国产成人午夜福利电影在线观看| 国产女主播在线喷水免费视频网站| 亚洲av成人精品一二三区| 久久综合国产亚洲精品| 在线免费观看不下载黄p国产| 亚洲av不卡在线观看| 日韩成人伦理影院| 日韩av在线免费看完整版不卡| 国产精品一及| 国内精品宾馆在线| 久久精品久久久久久久性| 日韩欧美一区视频在线观看 | 亚洲va在线va天堂va国产| 日本三级黄在线观看| 成年版毛片免费区| 国产精品秋霞免费鲁丝片| 久久6这里有精品| 性色av一级| 欧美激情国产日韩精品一区| 亚洲成人中文字幕在线播放| 精品少妇久久久久久888优播| 少妇熟女欧美另类| 日韩欧美一区视频在线观看 | 久久久久九九精品影院| 亚洲av成人精品一区久久| 亚洲欧美精品自产自拍| 大码成人一级视频| 亚洲四区av| 亚洲av成人精品一区久久| 成人毛片60女人毛片免费| 黑人高潮一二区| 高清欧美精品videossex| 国产综合懂色| 亚洲第一区二区三区不卡| av又黄又爽大尺度在线免费看| 亚洲最大成人手机在线| 久久久a久久爽久久v久久| 伦理电影大哥的女人| 又大又黄又爽视频免费| 国精品久久久久久国模美| 国产精品久久久久久久久免| 九草在线视频观看| 亚洲美女视频黄频| 久久6这里有精品| 狠狠精品人妻久久久久久综合| 亚洲av二区三区四区| 在线观看一区二区三区| 免费大片18禁| 五月天丁香电影| 成人一区二区视频在线观看| 免费观看av网站的网址| 日韩不卡一区二区三区视频在线| 卡戴珊不雅视频在线播放| 18禁动态无遮挡网站| 久久亚洲国产成人精品v| 久久精品人妻少妇| 久久久精品94久久精品| 热re99久久精品国产66热6| 精品少妇黑人巨大在线播放| 日本色播在线视频| 国产成人a∨麻豆精品| 新久久久久国产一级毛片| 寂寞人妻少妇视频99o| 一级片'在线观看视频| 成年人午夜在线观看视频| 一级爰片在线观看| 久久久久久九九精品二区国产| 亚洲精品国产成人久久av| 男人狂女人下面高潮的视频| 久久久久国产网址| 亚洲欧美成人综合另类久久久| av国产久精品久网站免费入址| 天堂网av新在线| 日韩av不卡免费在线播放| 欧美一区二区亚洲| 如何舔出高潮| 欧美最新免费一区二区三区| 国产欧美另类精品又又久久亚洲欧美| 久久久色成人| 日韩在线高清观看一区二区三区| 深夜a级毛片| 欧美日韩国产mv在线观看视频 | 成年免费大片在线观看| 搞女人的毛片| 99久久精品热视频| 国产精品熟女久久久久浪| 成年女人在线观看亚洲视频 | 一本一本综合久久| 亚洲丝袜综合中文字幕| 精品视频人人做人人爽| 日韩av不卡免费在线播放| 久久人人爽av亚洲精品天堂 | 性色av一级| 久久女婷五月综合色啪小说 | 国产免费视频播放在线视频| 观看免费一级毛片| 亚洲精品亚洲一区二区| 深爱激情五月婷婷| 国产精品蜜桃在线观看| 精品熟女少妇av免费看| 有码 亚洲区| 欧美成人精品欧美一级黄| 熟女电影av网| 欧美国产精品一级二级三级 | 国产黄色免费在线视频| 亚洲aⅴ乱码一区二区在线播放| 新久久久久国产一级毛片| 1000部很黄的大片| 久久综合国产亚洲精品| 久久精品国产鲁丝片午夜精品| 1000部很黄的大片| 激情 狠狠 欧美| 18禁动态无遮挡网站| 欧美xxⅹ黑人| 久久ye,这里只有精品| 成年av动漫网址| 午夜福利网站1000一区二区三区| 噜噜噜噜噜久久久久久91| 国产爽快片一区二区三区| 1000部很黄的大片| 免费大片18禁| 亚洲天堂国产精品一区在线| 久久精品人妻少妇| 久久97久久精品| 成人美女网站在线观看视频| 亚洲精品,欧美精品| 日韩免费高清中文字幕av| 亚洲精品一二三| av免费在线看不卡| 国产乱来视频区| 亚洲色图av天堂| 欧美精品国产亚洲| 嘟嘟电影网在线观看| 亚洲av日韩在线播放| 日本爱情动作片www.在线观看| av在线app专区| 婷婷色麻豆天堂久久| 色播亚洲综合网| 精品视频人人做人人爽| 哪个播放器可以免费观看大片| 高清欧美精品videossex| 高清视频免费观看一区二区| av免费在线看不卡| 秋霞在线观看毛片| 精品国产一区二区三区久久久樱花 | 麻豆精品久久久久久蜜桃| 成人亚洲欧美一区二区av| 久久ye,这里只有精品| 日本三级黄在线观看| 神马国产精品三级电影在线观看| 欧美xxxx黑人xx丫x性爽| 欧美变态另类bdsm刘玥| 亚洲欧洲国产日韩| 最近的中文字幕免费完整| 三级男女做爰猛烈吃奶摸视频| 一级毛片电影观看| 国产91av在线免费观看| 成人毛片a级毛片在线播放| 欧美zozozo另类| 日韩一区二区三区影片| 精品亚洲乱码少妇综合久久| 亚洲精品视频女| 亚洲婷婷狠狠爱综合网| 日日摸夜夜添夜夜添av毛片| 国产精品久久久久久精品电影| a级毛色黄片| 肉色欧美久久久久久久蜜桃 | 久久精品熟女亚洲av麻豆精品| 男女下面进入的视频免费午夜| 黄色视频在线播放观看不卡| 99久久九九国产精品国产免费| 国产成年人精品一区二区| 国产视频内射| 国产精品久久久久久久电影| 一级a做视频免费观看| 日本三级黄在线观看| 国产极品天堂在线| 禁无遮挡网站| 国产欧美亚洲国产| 欧美少妇被猛烈插入视频| av在线app专区| 26uuu在线亚洲综合色| 亚洲成人久久爱视频| .国产精品久久| 亚洲av电影在线观看一区二区三区 | 国产又色又爽无遮挡免| 亚洲伊人久久精品综合| 麻豆精品久久久久久蜜桃| av在线蜜桃| 少妇猛男粗大的猛烈进出视频 | 中文精品一卡2卡3卡4更新| 亚洲精品中文字幕在线视频 | 激情五月婷婷亚洲| tube8黄色片| 99热国产这里只有精品6| 亚洲欧美日韩另类电影网站 | 国产爽快片一区二区三区| 亚洲一区二区三区欧美精品 | 黄色日韩在线| 亚洲aⅴ乱码一区二区在线播放| 日韩在线高清观看一区二区三区| 色哟哟·www| 又爽又黄a免费视频| 少妇人妻一区二区三区视频| 亚洲成人久久爱视频| 国产精品久久久久久久电影| 久久精品久久精品一区二区三区| 波多野结衣巨乳人妻| 各种免费的搞黄视频| 日本三级黄在线观看| 国产精品福利在线免费观看| 午夜爱爱视频在线播放| 亚洲电影在线观看av| 王馨瑶露胸无遮挡在线观看| 久久鲁丝午夜福利片| 狂野欧美激情性xxxx在线观看| 成人一区二区视频在线观看| 久久久久久伊人网av| 亚洲精品乱码久久久v下载方式| 哪个播放器可以免费观看大片| 韩国av在线不卡| 边亲边吃奶的免费视频| 日本一二三区视频观看| 网址你懂的国产日韩在线| 天美传媒精品一区二区| 国产精品不卡视频一区二区| 精品久久国产蜜桃| 日韩视频在线欧美| 高清日韩中文字幕在线| 亚洲美女搞黄在线观看| 97人妻精品一区二区三区麻豆| 99热全是精品| 国产高潮美女av| 国产精品熟女久久久久浪| 国产熟女欧美一区二区| 亚洲精品影视一区二区三区av| 亚洲国产日韩一区二区| 偷拍熟女少妇极品色| 赤兔流量卡办理| 精品久久久久久久久av| 国产成人a区在线观看| 2018国产大陆天天弄谢| 亚洲欧美日韩另类电影网站 | 日韩视频在线欧美| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 联通29元200g的流量卡| 亚州av有码| 涩涩av久久男人的天堂| 国产精品秋霞免费鲁丝片| 晚上一个人看的免费电影| 成人黄色视频免费在线看| 成年免费大片在线观看| 婷婷色麻豆天堂久久| 国产黄色视频一区二区在线观看| 日本黄大片高清| 日韩欧美精品免费久久| 波野结衣二区三区在线| 午夜福利视频精品| 国产精品一区二区三区四区免费观看| 色视频在线一区二区三区| 国产精品99久久久久久久久| 国产综合精华液| 日本熟妇午夜| 亚洲色图综合在线观看| 国产精品.久久久| 国产在视频线精品| 国产免费福利视频在线观看| 国产人妻一区二区三区在| 在线观看av片永久免费下载| 熟女人妻精品中文字幕| 日韩av不卡免费在线播放| 乱系列少妇在线播放| 中文字幕av成人在线电影| 久久久色成人| 成人毛片60女人毛片免费| 男人爽女人下面视频在线观看| 国产成人精品久久久久久| 99久国产av精品国产电影| 制服丝袜香蕉在线| 色婷婷久久久亚洲欧美| 我的老师免费观看完整版| 麻豆成人午夜福利视频| 边亲边吃奶的免费视频| 国产人妻一区二区三区在| 成人毛片a级毛片在线播放| 最近的中文字幕免费完整| 国产精品三级大全| 久久久久精品性色| 日韩av不卡免费在线播放| 亚洲精品第二区| 2021天堂中文幕一二区在线观| 欧美3d第一页| 精品久久久久久久久亚洲| 亚洲人成网站在线播| 一区二区av电影网| 99热全是精品| 在线看a的网站| 黄色视频在线播放观看不卡| 夜夜看夜夜爽夜夜摸| av国产精品久久久久影院| 国产成人一区二区在线| 国精品久久久久久国模美| 三级经典国产精品| 18禁在线无遮挡免费观看视频| 肉色欧美久久久久久久蜜桃 | 亚洲色图av天堂| 亚洲精品国产av成人精品| 国产精品一区二区性色av| 久久精品夜色国产| 国产亚洲5aaaaa淫片| 特大巨黑吊av在线直播|