基于強化學習的動態(tài)物流中轉(zhuǎn)對接點方法研究?

張 超 胡 鵬 徐偉斌 宋 偉 全 鵬 余俊旸

（1.中國煙草總公司湖北省公司 武漢 430030）（2.湖北省煙草公司十堰市公司信息中心 十堰 442099）（3.武漢大學計算機學院 武漢 430072）

1 引言

煙草物流是煙草行業(yè)的核心業(yè)務(wù)，是中國煙草面向未來提升核心競爭力的重要支撐。借助現(xiàn)代統(tǒng)計學方法及工具對物流資源進行整合，打造合理、高效、優(yōu)質(zhì)的配送網(wǎng)絡(luò)是提高煙草企業(yè)核心競爭力的必由之路。當前卷煙物流市級配送網(wǎng)絡(luò)主體呈二級配送模式：第一級是市級卷煙物流中心直接配送區(qū)域；第二級縣（市、區(qū)）級中轉(zhuǎn)接力配送區(qū)域。中轉(zhuǎn)站一般選址在縣城區(qū)內(nèi)，如遇縣域地形復(fù)雜、面積大、縣城不在縣域中部位置等情況，就會導致終端送貨里程遠、行車時間長、裝載率低、客戶服務(wù)時間短等問題，間接造成煙草物流配送費用居高不下、客戶滿意度低，如何合理優(yōu)化中轉(zhuǎn)區(qū)域網(wǎng)絡(luò)布局，是煙草物流行業(yè)需要面對的一道重要課題。對此，國內(nèi)外許多學者都進行了深入的探索和研究。

2 國內(nèi)外研究現(xiàn)狀分析

在卷煙物流中轉(zhuǎn)站設(shè)置方面，國家煙草專賣局對中轉(zhuǎn)站設(shè)置原則［1］進行了描述：中轉(zhuǎn)站應(yīng)以服務(wù)質(zhì)量高、運行成本低為綜合優(yōu)化目標，合理設(shè)置卷煙物流配送中轉(zhuǎn)站的數(shù)量和區(qū)位，在設(shè)置配送中轉(zhuǎn)站的數(shù)量和區(qū)位時，應(yīng)考慮配送半徑，零售戶數(shù)量等因素。

在中轉(zhuǎn)站配送半徑方面，國內(nèi)學者石靜等［2］提出物流中心中轉(zhuǎn)站直配半徑在60km 較為合適，60km 范圍外的區(qū)域通過接力點接力配送更經(jīng)濟，而且隨著中轉(zhuǎn)站服務(wù)半徑的逐漸擴大，接力配送模式的優(yōu)勢更加明顯；華中科技大學在其對湖北煙草物流網(wǎng)絡(luò)布局優(yōu)化報告［3］中提出物流中心中轉(zhuǎn)站直配半徑在32km～48km左右為宜。

在中轉(zhuǎn)站功能要求及“甩箱”模式方面，國家煙草專賣局對中轉(zhuǎn)站的功能描述［1］：中轉(zhuǎn)站宜具有暫存?zhèn)}庫、裝卸月臺、停車場、輔助功能用房、值班監(jiān)控室等功能區(qū)；“甩箱”式配送［4］在煙草區(qū)域物流中具有明顯優(yōu)勢：在出庫裝車環(huán)節(jié)，實現(xiàn)“車-箱”分離，煙包可裝入集裝箱暫存，兼具移動倉庫作用，且集裝箱的交換在任意滿足車輛和吊裝設(shè)備活動的空地即可完成，對倉庫、月臺、停車場的需求大為減少，能夠大幅節(jié)省中轉(zhuǎn)站基建投資；尹許程［5］等提出在中轉(zhuǎn)區(qū)域內(nèi)設(shè)置僅具有轉(zhuǎn)運等功能的中轉(zhuǎn)對接點可以有效縮短干線運輸距離，降低中轉(zhuǎn)暫存費用，提高配送服務(wù)水平。

在中轉(zhuǎn)站規(guī)劃選址方法方面，劉飛宇提出了基于元學習的多目標強化學習算法PG-Meta-MORL［6］，利用多個擬合后的預(yù)測模型選擇得到的任務(wù)迭代求解，找到近似最優(yōu)解集合；朱廣勝［7］以總成本最低為目標，引入建站成本設(shè)計中轉(zhuǎn)站設(shè)置的算法模型；王勇等［8］提出先對備選配送中心進行聚類分析而后在各聚類單元內(nèi)進行選址排序的思想方法，并應(yīng)用到多級物流配送網(wǎng)絡(luò)的選址優(yōu)化問題中；葉嵐［9］提出通過對不同需求的大量離散卷煙零售客戶按道路情況聚類分析，打破以往按區(qū)域劃分的配送方式，運用覆蓋模型從零售客戶需求點集中尋找虛擬物流配送中轉(zhuǎn)站；李存兵等［10］提出中轉(zhuǎn)站配送資源優(yōu)化模型、跨區(qū)域配送路線優(yōu)化覆蓋模型、遺傳聚類算法的煙草物流配送優(yōu)化模型，在配送區(qū)域的合理劃分上取得了較好效果。

綜上所述，國內(nèi)外學者、煙草行業(yè)商業(yè)公司在優(yōu)化中轉(zhuǎn)區(qū)域網(wǎng)絡(luò)布局方面做出了一些有益的嘗試，有基于“硬件”層面的單元化集裝貨箱運輸模式和新增中轉(zhuǎn)對接點，有基于“軟件”層面的中轉(zhuǎn)站優(yōu)化布局算法模型及各種數(shù)據(jù)模型測算服務(wù)半徑的方法。但是目前綜合“硬、軟件”層面特點，根據(jù)外部條件變化，實現(xiàn)動態(tài)設(shè)置中轉(zhuǎn)站點的研究還比較少，針對這一研究薄弱領(lǐng)域，本文提出了一種基于強化學習的卷煙物流動態(tài)中轉(zhuǎn)對接點優(yōu)化方法，應(yīng)用強化學習、聚類、重心選址等算法建立動態(tài)卷煙物流中轉(zhuǎn)對接點優(yōu)化模型，優(yōu)化卷煙物流中轉(zhuǎn)網(wǎng)絡(luò)，并結(jié)合“甩箱”運輸模式和“站部所”資源，可根據(jù)訂單配送數(shù)量、零售客戶數(shù)量、送貨里程、行車時間等因素的變化，科學計算并形成動態(tài)中轉(zhuǎn)對接點的設(shè)置方案，能夠有效解決中轉(zhuǎn)配送區(qū)域大、中轉(zhuǎn)站位置不合理導致的弊端，達到縮減送貨里程和減少行車時間目的，進而提高卷煙物流運行效率、客戶服務(wù)水平，降低物流營運成本。

3 動態(tài)卷煙物流中轉(zhuǎn)對接點優(yōu)化方法研究

3.1 動態(tài)卷煙物流中轉(zhuǎn)對接點優(yōu)化方法

如圖1（a）所示，中轉(zhuǎn)區(qū)域面積大、中轉(zhuǎn)站位于配送服務(wù)區(qū)域邊緣。在第2天、第3天配送時，所有終端送貨車在固定中轉(zhuǎn)對接點接貨后需經(jīng)過長時間、長距離駕駛才能抵達到對應(yīng)配送區(qū)域，完成全部配送任務(wù)后又需原路返回。由此造成了終端車送貨里程遠、行車時間長、裝載率低、客戶服務(wù)時間不足等問題。

圖1 動態(tài)中轉(zhuǎn)對接點工作模式

基于對現(xiàn)有研究的分析和一線走訪調(diào)研，論文提出一種動態(tài)中轉(zhuǎn)對接點工作模式，通過設(shè)置動態(tài)中轉(zhuǎn)對接點方式對卷煙物流網(wǎng)絡(luò)進行優(yōu)化，優(yōu)化方法如圖2所示。

圖2 動態(tài)卷煙物流中轉(zhuǎn)對接點優(yōu)化方法技術(shù)路線圖

第一步：建立優(yōu)化模型，動態(tài)中轉(zhuǎn)對接點優(yōu)化模型是一個多目標優(yōu)化問題，既要實現(xiàn)減少行車時間，提高物流運行效率；又要做到減少送貨里程，降低物流營運成本。論文設(shè)計基于強化學習的動態(tài)中轉(zhuǎn)對接點優(yōu)化模型，根據(jù)零售客戶數(shù)量、送貨里程、配送任務(wù)的不同，科學設(shè)置動態(tài)中轉(zhuǎn)對接點。

第二步：應(yīng)用優(yōu)化模型

1）形成動態(tài)中轉(zhuǎn)對接備選點方案

在已有固定中轉(zhuǎn)站基礎(chǔ)上，應(yīng)用優(yōu)化模型，通過歷史物流配送數(shù)據(jù)（訂單數(shù)量、零售客戶數(shù)量、終端送貨車輛數(shù)量、送貨里程、行車時間）測算出合適的動態(tài)中轉(zhuǎn)對接備選點數(shù)量及坐標區(qū)域范圍。

2）形成動態(tài)中轉(zhuǎn)對接點方案

以動態(tài)中轉(zhuǎn)對接備選點為中心，尋找備選點附近煙葉收購工作站、市場部、專賣管理所（下文簡稱“站部所”）資源，確定動態(tài)中轉(zhuǎn)對接點選址。選址“站部所”，一方面能夠最大程度減少中轉(zhuǎn)對接點的建設(shè)及運營成本。同時方便對接點在旺季時啟用與淡季時關(guān)閉。

第三步：形成配送方案

根據(jù)動態(tài)中轉(zhuǎn)對接點方案和每日配送任務(wù)，應(yīng)用“甩箱”配送模式，干線大型貨車到對應(yīng)的中轉(zhuǎn)站或動態(tài)中轉(zhuǎn)對接點將煙包轉(zhuǎn)運到終端車上，由終端車進行零售客戶配送。對比圖1（a）和（b），采用“大車接力補，小車循環(huán)送”工作模式后，預(yù)期能夠減少行車時間，提高物流運行效率，降低物流運營成本，提高服務(wù)質(zhì)量。

3.2 建立優(yōu)化模型

論文設(shè)計基于強化學習的動態(tài)中轉(zhuǎn)對接點優(yōu)化模型，根據(jù)零售客戶數(shù)量、送貨里程、配送任務(wù)的不同，科學設(shè)置動態(tài)中轉(zhuǎn)對接點。強化學習是智能體（Agent）以“試錯”的方式進行學習，通過與環(huán)境進行交互獲得的獎賞指導行為，強化學習目標是使智能體獲得最大的獎賞。智能體通過強化學習，可以知道自己在什么狀態(tài)下，應(yīng)該采取什么樣的動作使得自身獲得最大獎勵。論文優(yōu)化模型主要考慮兩個優(yōu)化目標：

優(yōu)化目標1：降低物流營運成本的核心在于減少終端送貨或干線送貨里程。

優(yōu)化目標2：提高物流運行效率的核心在于減少終端行車時間，且終端行車時長最大值不超過4h。

終端行車時長Tt定義如式（1），其中Tc為客戶服務(wù)時長，Td為終端行車時長，To為其他工作時長：

終端工作日時長為一個工作日正常的工作時長，8h。

Tc代表在進行單個客戶配送時，送貨員完成取貨、送貨、點貨、簽收、返回車輛等環(huán)節(jié)的服務(wù)時長。經(jīng)過數(shù)據(jù)統(tǒng)計，客戶服務(wù)時長均值1.5min/戶左右，終端車一天約配送120 戶，所以，一天的客戶服務(wù)總時長約為3h。

To包含車輛出行檢查、轉(zhuǎn)運工作、送貨過程中的煙包整理、臨時性問題處理等工作用時，均值為1h/天。

Td代表終端車的送貨路上行駛時長。max（Td）=終端日工作時長（8h）-Tc-To=4h。如果行車時間超過最大值，客戶服務(wù)時長、其他工作時長會縮短，間接造成客戶服務(wù)品質(zhì)下降、行車安全風險增高。

與離散空間的多目標優(yōu)化問題相比，在具有高維連續(xù)狀態(tài)空間的多目標強化學習優(yōu)化目標求解更具有挑戰(zhàn)性［6］。卷煙動態(tài)中轉(zhuǎn)對接點設(shè)置是一個典型的連續(xù)空間多目標優(yōu)化問題，論文借鑒PG-Meta-MORL［6］算法基于訓練卷煙中轉(zhuǎn)點優(yōu)化模型。PG-Meta-MORL 算法使用具有不同優(yōu)化目標偏好的任務(wù)迭代訓練一個元策略，每一次迭代過程中，PG-Meta-MORL算法都會用歷史數(shù)據(jù)訓練得到一個優(yōu)化分析模型，預(yù)測元策略沿各個優(yōu)化任務(wù)方向的預(yù)期改進，然后PG-Meta-MORL 模型選擇最好的優(yōu)化結(jié)果作為下一輪元策略的迭代訓練輸入模型。

本優(yōu)化模型在確?？蛻舴?wù)品質(zhì)前提下，同時降低物流營運成本和提高物流運行效率，滿足終端送貨行車時間不超過4h、終端或干線送貨里程數(shù)減少兩個條件。因此，將物流營運成本最低和減少終端行車時間設(shè)定為優(yōu)化目標，建立強化學習模型，具體如下：

1）設(shè)定動態(tài)中轉(zhuǎn)對接點0～6 個，即n=（0，6）。一個訪送周期最多有7天，除中轉(zhuǎn)站配送的1天外，可以設(shè)置6個動態(tài)中轉(zhuǎn)對接點。

2）設(shè)定中轉(zhuǎn)區(qū)域物流營運成本（tc）=干線運輸成本（mc）+終端線路運輸成本（bc）+動態(tài)中轉(zhuǎn)對接點營運成本（oc）+動態(tài)中轉(zhuǎn)對接點固定投資成本（ic），其中：

mc=干線里程（km）×干線運輸費平均值（元/km）

bc=終端線路總里程×終端線路運價平均值（元/km）

oc=中轉(zhuǎn)對接點場地使用分攤費用（元）

ic=每動態(tài)中轉(zhuǎn)站投資成本（元）

3）終端車行車時長均值（avg_time）=中轉(zhuǎn)區(qū)域終端行車總時長/配送周期天數(shù)/終端車數(shù)量；

給定一個物流配送策略πθ和多目標偏好向量ω（ω1，ω2，其中ω1+ω2=1），我們通過式（2）最大化多目標期望獎勵和來優(yōu)化策略，即：

為了更好利用歷史物流配送數(shù)據(jù)，本文采用強化學習方案對路徑進行迭代優(yōu)化。強化學習過程分兩步迭代：配送策略調(diào)整步和策略訓練步。

在配送策略調(diào)整步中，基于當前調(diào)度策略πθ針對各個優(yōu)化子目標進行優(yōu)化迭代得到相應(yīng)的優(yōu)化路徑策略πθij（i 表示第i 個優(yōu)化目標，j 表示訓練輪次），優(yōu)化步驟如式（3）所示：

在策略訓練步中，算法上述配送策略調(diào)整步得到的中轉(zhuǎn)對接點優(yōu)化布局方案πθi與物流歷史數(shù)據(jù)進行訓練得到相應(yīng)的優(yōu)化選擇，得到匯總的優(yōu)化策略πθj：

3.3 應(yīng)用優(yōu)化模型

在強化學習模型中可以隨機選擇構(gòu)造初始中轉(zhuǎn)策略，利用上述強化學習模型得到針對多目標的優(yōu)化中轉(zhuǎn)路徑規(guī)劃策略，實踐中為了加快模型收斂速度，提升模型時間效率，我們基于現(xiàn)有配送策略給出了一種初始中轉(zhuǎn)對接點的選擇方案，實際應(yīng)用中可以根據(jù)實際需求選擇是否采用下述方法。根據(jù)當前訪銷周期，計算形成初步方案，1 個送貨周期有N天配送，就形成N套初步方案。

第1 個中轉(zhuǎn)點方案，整個中轉(zhuǎn)區(qū)域不作拆分，全都由中轉(zhuǎn)站來配送。

第k（2 ≤k≤N）個中轉(zhuǎn)點方案，中轉(zhuǎn)區(qū)域拆分為k 個子區(qū)域，對應(yīng)是中轉(zhuǎn)站+（k-1）個動態(tài)中轉(zhuǎn)對接點配送。采用K-means 聚類算法，計算出k 個子區(qū)域；中轉(zhuǎn)站外的子區(qū)域，采用重心選址法計算出動態(tài)中轉(zhuǎn)備選點；以動態(tài)中轉(zhuǎn)備選點為中心，就近尋找滿足條件的“站部所”資源，確定動態(tài)中轉(zhuǎn)對接點；基于式（2）計算出行車時間、行車里程。

得到N 套初始中轉(zhuǎn)點方案后，作為初始方案πθ0輸入到上述強化模型中進行迭代優(yōu)化分析。選擇算法如算法1所示。

4 動態(tài)卷煙物流中轉(zhuǎn)對接點優(yōu)化方法實證研究

以湖北省煙草公司十堰市公司實例驗證論文提出優(yōu)化方法。十堰市位于湖北省西部，市境內(nèi)多大山區(qū)，其中轉(zhuǎn)區(qū)域有以下特點：1）市轄各縣面積大、縣域地理分割不規(guī)則，且因地形限制，交通線路少，跨縣域調(diào)度難度大。2）部分縣（市）城區(qū)位于縣域邊緣，中轉(zhuǎn)站位于縣城區(qū)內(nèi)，以中轉(zhuǎn)站為中心配送服務(wù)送貨半徑超過100km。3）區(qū)域內(nèi)需配送的零售戶多。以8h 工作制計算，終端配送車輛裝載率極低、配送客戶服務(wù)時間短。如提高裝載率，則會出現(xiàn)無法當天返回情況。論文選擇竹山中轉(zhuǎn)區(qū)域，如圖3 所示，其縣域地理分割不規(guī)則，作為代表性區(qū)域進行實證研究。

圖3 十堰市竹山縣地圖

圖4 竹山中轉(zhuǎn)區(qū)域（星號代表零售戶）

4.1 實驗環(huán)境搭建

為驗證本文提出的動態(tài)卷煙物流中轉(zhuǎn)對接點優(yōu)化方法的有效性，設(shè)計實驗將物流網(wǎng)絡(luò)優(yōu)化后效果與現(xiàn)行物流網(wǎng)絡(luò)數(shù)據(jù)進行對比，實驗采用JAVA編程語言實現(xiàn)動態(tài)中轉(zhuǎn)點物流配送模型，使用Python3.7 和TensorFlow 2 來構(gòu)建并訓練模型，訓練模型運行在一臺配有Intel i9，RTX 3080 和32GB 內(nèi)存的主機上。實驗過程中設(shè)置每個epoch 處理256 個批次，迭代次數(shù)設(shè)置為50 次，在調(diào)度策略模型訓練過程中設(shè)置學習率為0.001。

4.2 數(shù)據(jù)集準備

以湖北省煙草公司十堰市公司2020-2021 年的物流統(tǒng)計數(shù)據(jù)、網(wǎng)點資源數(shù)據(jù)集、卷煙配送數(shù)據(jù)集、終端車行車數(shù)據(jù)集、路網(wǎng)數(shù)據(jù)集輸入模型進行訓練及計算。

4.2.1 優(yōu)化方法計算所需的物流統(tǒng)計數(shù)據(jù)

2021年干線運輸費率平均值（元/km）=4.8；

2021 年終端貨車運輸費率平均值（元/km）=4.6；

動態(tài)中轉(zhuǎn)對接點營運成本（oc），主要是使用“站部所”場地資源分攤費用，由物流中心預(yù)估一個值；

動態(tài)中轉(zhuǎn)對接點固定投資成本（ic）=0，原因是動態(tài)中轉(zhuǎn)對接點選址在“站部所”，不再新建場地和新增相應(yīng)配套設(shè)施。

4.2.2 卷煙配送及終端數(shù)據(jù)集

2020-2021年兩年的配送、簽收數(shù)據(jù)共40余萬條，包含：配送單位、配送車輛、配送線路號、零售客戶許可證編號、簽收時間（年/月/日 時分秒）、簽收地點經(jīng)緯度。2020-2021 年兩年的終端車定位系統(tǒng)行車數(shù)據(jù)共100 余萬條，字段包含：配送車輛編號、采集時間（年/月/日時分秒）、車輛狀態(tài)、車輛經(jīng)緯度。

4.2.3 路網(wǎng)數(shù)據(jù)集

收集網(wǎng)點資源、零售客戶的路網(wǎng)數(shù)據(jù)集共1，000 余萬條，二點間距離采集電子地圖的車行距離，字段包含：出發(fā)點編號、出發(fā)點經(jīng)緯度、目標點編號、目標點經(jīng)緯度、歐式距離、小型貨車行車距離、小型貨車行車時間。

4.3 數(shù)據(jù)測算驗證

以竹山中轉(zhuǎn)區(qū)域為例，按卷煙銷售的淡季和旺季分別進行數(shù)據(jù)測算驗證，中轉(zhuǎn)區(qū)域情況如下：竹山縣位于湖北省西北秦巴山區(qū)腹地，面積3586km2，竹山中轉(zhuǎn)站距離十堰市物流中心118km，干線中轉(zhuǎn)大貨車單邊行駛時間約為2.5h。中轉(zhuǎn)站雖然位于配送區(qū)域的中部，但因配送服務(wù)區(qū)域不規(guī)則、縣域地形類似“7”字，其西方向、南方向距離中轉(zhuǎn)站有130 多千米（配送半徑遠超過60km，可以增加中轉(zhuǎn)點［2～3］）。

4.3.1 淡季數(shù)據(jù)測算

5 月份為該區(qū)域煙草物流配送淡季。竹山中轉(zhuǎn)站3 臺終端送貨車，一個周期送4 天（N=4），以2022 年5 月份第2 周（9 日至14 日）1 個周期的訂單數(shù)據(jù)進行測算，統(tǒng)計數(shù)據(jù)見表1。

表1 十堰竹山中轉(zhuǎn)區(qū)域5月份第2周送貨周期統(tǒng)計數(shù)據(jù)

1）1個中轉(zhuǎn)點方案

按照動態(tài)卷煙物流中轉(zhuǎn)對接點優(yōu)化方法提供的公式，代入數(shù)據(jù)，計算營運成本tc 及終端車行車時長均值avg_time。

1個中轉(zhuǎn)點運營成本（tc）=干線運輸成本（mc）+終端線路運輸成本（bc）+動態(tài)中轉(zhuǎn)對接點營運成本（oc）+動態(tài)中轉(zhuǎn)對接點固定投資成本（ic）

終端車行車時長均值（avg_time）=終端總行車時長/配送周期N天數(shù)/終端車數(shù)量

終端車行車時長均值超過了終端行車時間長最大值。

2）k=2個中轉(zhuǎn)點方案

將中轉(zhuǎn)區(qū)域聚類劃分為2 個子區(qū)域，按應(yīng)用優(yōu)化模型的使用方法，優(yōu)化方案如圖5。

圖5 竹山中轉(zhuǎn)區(qū)2個中轉(zhuǎn)點方案圖

圖6 竹山中轉(zhuǎn)區(qū)3個中轉(zhuǎn)點方案圖

按表2 數(shù)據(jù)及物流中心提供的動態(tài)中轉(zhuǎn)對接點營運成本（oc）進行計算：

表2 十堰竹山中轉(zhuǎn)區(qū)域2個中轉(zhuǎn)點方案統(tǒng)計表

終端車行車時長均值3.8h，滿足小于終端行車時間長最大值約束條件。

3）3、4個中轉(zhuǎn)點方案

計算過程與2 個中轉(zhuǎn)點方案相同，列出計算后的結(jié)果。

3個中轉(zhuǎn)點方案tc=11，746.74，avg_time=3.5h。

4個中轉(zhuǎn)點方案tc=12，510.15，avg_time=3.4h。

綜合對比竹山中轉(zhuǎn)區(qū)域，淡季1 個周期2 個中轉(zhuǎn)點方案最優(yōu)，詳見表3。將1 個中轉(zhuǎn)點方案與最優(yōu)中轉(zhuǎn)方案進行關(guān)鍵數(shù)據(jù)對比，詳見表4。

表3 竹山淡季動態(tài)中轉(zhuǎn)方案對比

表4 竹山淡季1個中轉(zhuǎn)點方案與最優(yōu)中轉(zhuǎn)方案對比表

4.3.2 旺季數(shù)據(jù)測算

1 月份為該區(qū)域煙草物流配送旺季。竹山中轉(zhuǎn)站3 臺終端送貨車，一個周期送7 天（N=7），以2022 年1 月份第2 周（7 日至11 日）1 個周期的訂單數(shù)據(jù)進行測算，統(tǒng)計數(shù)據(jù)見表5。

表5 竹山中轉(zhuǎn)區(qū)域1月份第2周送貨統(tǒng)計數(shù)據(jù)

按照應(yīng)用優(yōu)化模型的使用方法，測算出旺季1～7個中轉(zhuǎn)點方案，詳見表6。

表6 竹山中轉(zhuǎn)區(qū)域旺季動態(tài)中轉(zhuǎn)方案

將1 個中轉(zhuǎn)點方案與最優(yōu)中轉(zhuǎn)方案進行關(guān)鍵數(shù)據(jù)對比，詳見表7。

表7 竹山旺季1中轉(zhuǎn)站方案與最優(yōu)中轉(zhuǎn)方案（k=3）對比表

竹山中轉(zhuǎn)區(qū)旺季最優(yōu)中轉(zhuǎn)方案——3 個中轉(zhuǎn)點方案，較現(xiàn)行1 個中轉(zhuǎn)點方案各指標優(yōu)化率如下：終端送貨時間減少了28.1%，終端送貨里程減少了26.4%；干線送貨時間和里程變化不大；一個周期運營成本節(jié)省約8.5%。中轉(zhuǎn)區(qū)域年運營成本預(yù)測節(jié)省約7.9 萬元（按1 年51 個周期測算），終端車日行車時長均值3.2h。

5 結(jié)語

卷煙物流中轉(zhuǎn)網(wǎng)絡(luò)布局問題一直以來都是配送優(yōu)化研究中的重點對象之一，中轉(zhuǎn)站點的布局不僅影響物流運行成本的高低，同時還影響物流運行效率、客戶服務(wù)品質(zhì)。論文針對現(xiàn)有固定配送中心導致煙草配送效率低下問題，提出一種卷煙物流網(wǎng)絡(luò)的動態(tài)優(yōu)化模型，能夠根據(jù)訂單、送貨里程等情況的變化，動態(tài)設(shè)置中轉(zhuǎn)對接點。論文設(shè)計了一種基于強化學習技術(shù)的中轉(zhuǎn)對接點優(yōu)化模型（軟件層面）與“甩箱”運輸模式（硬件層面）卷煙物流網(wǎng)絡(luò)的優(yōu)化方法。基于十堰市煙草公司的物流數(shù)據(jù)驗證表明，本文研究的動態(tài)卷煙物流中轉(zhuǎn)對接點優(yōu)化方法達到了降低中轉(zhuǎn)區(qū)域營運成本和減少終端行車時間的優(yōu)化目標，可以有效提高卷煙物流運行效率。本文研究結(jié)果對于優(yōu)化卷煙物流配送效率具有一定的參考意義，也為打破中轉(zhuǎn)站行政區(qū)劃、優(yōu)化配送網(wǎng)絡(luò)工作的開展奠定基礎(chǔ)。