基于LSTM-Transformer的城市軌道交通短時(shí)客流預(yù)測

摘 要：準(zhǔn)確預(yù)測城市軌道交通短時(shí)客流量的變化，有助于運(yùn)營部門做出決策，并幫助軌道交通集團(tuán)提高服務(wù)水平和實(shí)現(xiàn)智慧化運(yùn)營。然而，客流數(shù)據(jù)的動(dòng)態(tài)性和隨機(jī)性使短時(shí)客流預(yù)測變得困難，因此，文章提出了一種組合預(yù)測模型，將Transformer模型中的位置編碼（Positional Encoding）層與長短期記憶（Long Short-Term Memory，LSTM）神經(jīng)網(wǎng)絡(luò)相結(jié)合，構(gòu)建了LSTM-Transformer預(yù)測模型。隨后以青島市的106個(gè)站點(diǎn)的進(jìn)站客流數(shù)據(jù)為研究對象，并使用聚類算法對站點(diǎn)進(jìn)行聚類分析。在10分鐘的時(shí)間粒度下，利用前四周的客流數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，對未來一天的客流數(shù)據(jù)進(jìn)行預(yù)測研究。同時(shí)，將差分自回歸移動(dòng)平均模型（Auto-Regressive Integrated Moving Average，ARIMA）、LSTM、GA-SLSTM和Transformer作為對照模型進(jìn)行驗(yàn)證。通過多組實(shí)驗(yàn)證明了文章提出的LSTM-Transformer模型相較于對照模型組具有更好的預(yù)測精度和實(shí)用性。

關(guān)鍵詞：智能交通；城市軌道交通；短時(shí)客流預(yù)測；聚類算法；LSTM-Transformer模型

中圖分類號(hào)：F570；U293.13 文獻(xiàn)標(biāo)志碼：A DOI：10.13714/j.cnki.1002-3100.2024.14.020

文章編號(hào)：1002-3100（2024）14-0103-05

Short-Term Passenger Flow Prediction of Urban Rail Transit Based on LSTM-Transformer

（1. School of Traffic Engineering， Shandong Jianzhu University， Jinan 250101， China; 2. Institute of Road Traffic Safety， Shandong Police College， Jinan 250014， China; 3. Jinan Zhiye Electronics Co.， Ltd.， Jinan 250013， China）

Abstract： Accurately predicting changes in short-term passenger flow for urban rail transit is crucial for operational decision-making and improving service levels and intelligent operations within rail transit groups. However， the dynamic and stochastic nature of passenger flow data presents challenges in short-term prediction. To address this， the study proposes a combined prediction model， the LSTM-Transformer， which integrates the Positional Encoding layer from the Transformer model with the Long Short-Term Memory （LSTM） neural network. The paper focuses on the inbound passenger flow data from 106 stations in Qingdao and conducts clustering analysis using clustering algorithms to group the stations. Subsequently， based on a 10-minute time granularity， the paper utilizes passenger flow data from the preceding four weeks as training data to predict and analyze the passenger flow for the following day. Additionally， the paper compares LSTM-Transformer model with several control models， including the Differential Autoregressive Integrated Moving Average （ARIMA）， LSTM， GA-SLSTM， and Transformer. Through multiple experiments， the study demonstrates that the proposed LSTM-Transformer model outperforms the control models in terms of prediction accuracy and practicality.

Key words： intelligent transportation; urban rail transit; short-term passenger flow prediction; clustering algorithm; LSTM-Transformer model

收稿日期：2023-11-29

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目（71871130，71971125）；山東省公安廳科技服務(wù)項(xiàng)目（SDGP370000000202202004905，SDGP370000000202202006498）

作者簡介：張思楠（1999—），男，陜西咸陽人，山東建筑大學(xué)交通工程學(xué)院碩士研究生，研究方向：智能交通；李樹彬（1977—），本文通信作者，男，山東聊城人，山東建筑大學(xué)交通工程學(xué)院，山東警察學(xué)院道路交通安全研究所，教授，博士，碩士生導(dǎo)師，研究方向：系統(tǒng)分析與集成、智能交通系統(tǒng)。

引文格式：張思楠，李樹彬，曹永軍.基于LSTM-Transformer的城市軌道交通短時(shí)客流預(yù)測[J]．物流科技，2024，47（14）：103-106，114.

隨著城市人口不斷增加，出行引起的環(huán)境污染、交通延誤和交通堵塞等問題頻繁出現(xiàn)。作為公共交通的重要組成部分，城市軌道交通具有環(huán)保、高效和大載客量等優(yōu)點(diǎn)，已成為乘客出行的重要選擇。截至2022年底，中國內(nèi)地共有55個(gè)城市投入使用城市軌道交通，運(yùn)營線路總長度達(dá)10 291.95公里，其中地鐵運(yùn)營線路占比77.85%，達(dá)到8 012.85公里。新增城市軌道交通運(yùn)營線路長度為1 085.17公里，新增運(yùn)營線路共25條[1]。城市軌道交通持續(xù)發(fā)展，乘客選擇城市軌道交通的比例不斷增加，客流量的增加給運(yùn)營部門帶來了巨大的壓力和挑戰(zhàn)。準(zhǔn)確預(yù)測未來的客流量，可以幫助運(yùn)營部門實(shí)現(xiàn)動(dòng)態(tài)調(diào)度，提高服務(wù)水平，并實(shí)現(xiàn)城市軌道交通的智慧化運(yùn)營。

近年來，國內(nèi)外學(xué)者對城市軌道交通短時(shí)客流預(yù)測進(jìn)行了深入研究。短時(shí)客流量的預(yù)測方法主要可以分為基于統(tǒng)計(jì)學(xué)理論的預(yù)測模型、基于機(jī)器學(xué)習(xí)的預(yù)測模型和組合預(yù)測模型三類[2]。

馬超群等[3]探究城市軌道交通進(jìn)站客流量預(yù)測精度與時(shí)間粒度之間的關(guān)系，選取了差分自回歸移動(dòng)平均模型（Auto-Regressive Integrated Moving Average，ARIMA模型）進(jìn)行預(yù)測分析。相較于傳統(tǒng)的統(tǒng)計(jì)學(xué)理論模型，基于機(jī)器學(xué)習(xí)的預(yù)測模型在處理大量復(fù)雜數(shù)據(jù)和非線性數(shù)據(jù)時(shí)表現(xiàn)出更好的適應(yīng)性。杜希旺等[4]將長短期記憶（Long Short Term Memory，LSTM）[5]神經(jīng)網(wǎng)絡(luò)與K-Means[6]算法結(jié)合，對軌道交通進(jìn)站客流短時(shí)進(jìn)行分類預(yù)測研究。組合預(yù)測模型將多個(gè)單一模型進(jìn)行組合，結(jié)合了多種模型的優(yōu)點(diǎn)，提高了預(yù)測準(zhǔn)確度。胡明偉等[7]將輕量的梯度提升機(jī)（light gradient boosting machine，LightGBM）與長短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)進(jìn)行組合，建立了LightGBM-LSTM組合預(yù)測模型。滕騰等[8]在基于長短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，引入遺傳算法（GA，Genetic Algorithm）構(gòu)建了GA-SLSTM模型進(jìn)行客流預(yù)測。

Transformer[9]模型最初于2017年提出，主要應(yīng)用于自然語言處理領(lǐng)域。然而，隨著研究的深入，學(xué)者們逐漸認(rèn)識(shí)到了Transformer在時(shí)間序列預(yù)測中的巨大潛力。通過引入注意力機(jī)制（self-attention）和前向神經(jīng)網(wǎng)絡(luò)（Feed-Forward Neural Network）等結(jié)構(gòu)，Transformer能夠有效地捕捉序列中的長距離依賴關(guān)系，從而提高時(shí)間序列預(yù)測的準(zhǔn)確性和泛化能力。因此，Transformer模型在客流預(yù)測[10]等領(lǐng)域得到了廣泛的應(yīng)用。

上述學(xué)者的研究對城市軌道交通短時(shí)客流預(yù)測具有重要的參考價(jià)值，但仍存在改進(jìn)的空間。大部分學(xué)者的模型在處理序列之間的長期依賴和并行計(jì)算等問題上能力有限，導(dǎo)致計(jì)算效率較低。此外，部分學(xué)者在研究中未考慮到不同站點(diǎn)類型的客流特征差異，從而影響了預(yù)測精度。針對上述問題，本文擬構(gòu)建LSTM-Transformer組合預(yù)測模型，將Transformer與LSTM模型進(jìn)行組合搭建。該組合模型改善了LSTM在預(yù)測時(shí)存在的梯度消失[11]和梯度爆炸[12-13]問題，同時(shí)優(yōu)化了Transformer學(xué)習(xí)時(shí)間依賴性能力的不足，相較于單獨(dú)使用Transformer模型，該組合模型在客流預(yù)測的準(zhǔn)確性上有所提高，并且具有良好的泛化能力，適用于城市軌道交通的各類型站點(diǎn)。為了驗(yàn)證該模型，本文將青島地鐵客流數(shù)據(jù)進(jìn)行預(yù)處理后，對站點(diǎn)進(jìn)行分類研究。實(shí)驗(yàn)結(jié)果表明，本文模型的預(yù)測精度高于對照組模型。

1 模型構(gòu)建

1.1 LSTM神經(jīng)網(wǎng)絡(luò)

長短期記憶（Long Short-Term Memory，LSTM）神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）[14]的一種改良變體。其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)能夠有效地解決RNN在處理長序列時(shí)出現(xiàn)的梯度消失和梯度爆炸問題。LSTM引入了門控機(jī)制，包括輸入門、遺忘門和輸出門，以控制信息的流動(dòng)和記憶的更新。通過這些門控機(jī)制，LSTM能夠有選擇地記住和遺忘上一時(shí)刻的信息，并將其傳遞到未來時(shí)刻。因此，LSTM在各種實(shí)際的時(shí)間序列預(yù)測場景中得到廣泛應(yīng)用。

LSTM基本結(jié)構(gòu)。LSTM由遺忘門、輸入門和輸出門這三個(gè)基本結(jié)構(gòu)組成（見圖1）。遺忘門用來確定信息的保留程度，輸入門用于接收當(dāng)前的更新信息，而輸出門則將當(dāng)前時(shí)刻處理完的信息傳遞到下一時(shí)刻。

式中，、、、分別為遺忘門、輸入門、輸出門和細(xì)胞狀態(tài)；和分別為各自的權(quán)重矩陣和偏置項(xiàng)；為時(shí)刻的輸入；、tanh分別為Sigmod和雙曲正切激活函數(shù)。

1.2 Transformer

Transformer模型能夠更準(zhǔn)確、高效地捕捉序列之間的依賴關(guān)系。一般由輸入和編碼-解碼（Encoder-Decoder）部分組成。Encoder部分主要由多頭注意力機(jī)制（Multi-Head Self-Attention）和前向神經(jīng)網(wǎng)絡(luò)（Feed-Forward Neural Network）組成。Encoder模塊如圖2所示。

多頭注意力機(jī)制（Multi-Head Self-Attention）。它是Transformer模型的核心，它通過將給定的查詢矩陣、鍵和值矩陣映射到輸出的過程，實(shí)現(xiàn)信息的聚合，如圖3所示。

（7）

當(dāng)查詢矩陣、鍵矩陣和值矩陣相等時(shí)，我們稱之為注意力機(jī)制。多頭注意力機(jī)制能通過學(xué)習(xí)到的組不同的線性變換，將查詢、鍵和值投影到不同的子空間。然后，將組變換后的查詢、鍵和值進(jìn)行拼接，并通過一個(gè)可學(xué)習(xí)的線性變換得到最終輸出。

式中，分別為查詢、鍵和值線性變換的參數(shù)矩陣；表示第個(gè)注意力頭；表示用于各個(gè)注意力頭的聚合函數(shù)；是多頭注意力機(jī)制最終線性變換的參數(shù)矩陣。

1.3 LSTM-Transformer模型

原始的Transformer模型由于結(jié)構(gòu)問題無法學(xué)習(xí)時(shí)間依賴性，因此在傳遞到Encoder層之前，通常需要對輸入數(shù)據(jù)進(jìn)行位置編碼。為了解決這個(gè)問題，本文提出了一種LSTM-Transformer組合預(yù)測模型，將Transformer模型中的特征提取和位置編碼（Positional Encoding）部分與LSTM相結(jié)合，構(gòu)建了LSTM-Transformer組合預(yù)測模型。

在本模型中，經(jīng)過預(yù)處理后的數(shù)據(jù)首先通過聚類分析，然后送入LSTM Positional Encoding層。與傳統(tǒng)的單個(gè)注意力機(jī)制不同，本模型將LSTM與Encoder模塊中的多頭注意力機(jī)制相結(jié)合，以提取上一層處理過的數(shù)據(jù)的時(shí)間特征，然后將其送入Encoder層。最后，通過linear層得到預(yù)測結(jié)果（如圖4所示）。

2 客流特征分析

本文以青島市地鐵進(jìn)站客流為研究對象，通過地鐵自動(dòng)售檢票（Automatic Fare Collection， AFC）數(shù)據(jù)統(tǒng)計(jì)，獲取了每10分鐘的進(jìn)站客流量。具體而言，本文選取了2021年8月2—29日（四周）的客流進(jìn)站情況，如圖5所示。

通過對四周進(jìn)站客流的分析，可以觀察到客流特征在單日內(nèi)呈現(xiàn)出雙峰的趨勢，并且隨著時(shí)間的變化呈現(xiàn)出明顯的波動(dòng)。此外，還發(fā)現(xiàn)四周之間的客流波動(dòng)趨勢具有相似性，并且表現(xiàn)出明顯的周期性特征。

聚類分析。為了更進(jìn)一步對各類站點(diǎn)進(jìn)行分類研究，首先需要對客流特征進(jìn)行聚類分析。本文采用K-means聚類方法，將各站點(diǎn)間的進(jìn)站客流量作為聚類特征，通過手肘法確定最佳的聚類數(shù)。

隨著站點(diǎn)類別k的增加，站點(diǎn)分類會(huì)更加接近最佳值，簇與簇間的聚合程度會(huì)不斷增加，誤差平方和（Sum of the Squared Errors，SSE）會(huì)變小。當(dāng)k小于最佳站點(diǎn)數(shù)時(shí)，反而會(huì)增大簇與簇間的聚合程度，SSE的下降幅度會(huì)變大。當(dāng)k值等于最佳站點(diǎn)數(shù)時(shí)，再增加k所得到的SSE的下降幅度會(huì)驟減，然后隨著k值的繼續(xù)增大而趨于平緩。

（10）

其中，表示第i個(gè)簇；是中的樣本點(diǎn)；是的質(zhì)心（中所有樣本的均值）；是所有樣本的聚類誤差，反映了聚類效果的好壞。

用K-means對站點(diǎn)進(jìn)行聚類分析后，通過手肘法得到值。隨后根據(jù)聚類結(jié)果將106個(gè)站點(diǎn)分為4類（如表1、圖6所示），取李村、青島站、井岡山路、膠東為各類代表站點(diǎn)分別進(jìn)行預(yù)測研究。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文所建立的LSTM-Transformer組合預(yù)測模型的有效性。本文選取青島地鐵2021年8月2—23日每10分鐘時(shí)段的進(jìn)站客流作為實(shí)驗(yàn)數(shù)據(jù)，把每天6：00—23：00進(jìn)站客流作為研究對象，將2021年8月2—22日進(jìn)站客流數(shù)據(jù)用于訓(xùn)練，對2021年8月23日進(jìn)站客流進(jìn)行預(yù)測，預(yù)測客流與實(shí)際客流曲線如圖7所示。

為了進(jìn)行誤差對比分析，本文分別使用了ARIMA、LSTM、GA-SLSTM、Transformer以及本文所構(gòu)建的LSTM-Transformer進(jìn)行預(yù)測。使用均方根誤差（RMSE，Root Mean Square Error）和平均絕對誤差（MAE， Mean Absolute Error）作為誤差指標(biāo)，這些指標(biāo)的數(shù)值越小，預(yù)測精度越高。實(shí)驗(yàn)結(jié)果如表2所示。

根據(jù)表2的預(yù)測結(jié)果可見，LSTM-Transformer模型在預(yù)測4類站點(diǎn)進(jìn)站客流方面的誤差RMSE和MAE均低于對照組，因此LSTM-Transformer模型表現(xiàn)出的性能最優(yōu)。

4 結(jié) 論

為了更高效地預(yù)測城市軌道交通的短時(shí)客流，本文提出了一種基于LSTM-Transformer的組合預(yù)測模型。該模型通過優(yōu)化Transformer在學(xué)習(xí)時(shí)間依賴性能力方面的不足，并解決了LSTM在長時(shí)間序列預(yù)測中梯度消失和梯度爆炸的問題。針對不同站點(diǎn)之間的客流特征差異，我們對各類站點(diǎn)分別進(jìn)行了預(yù)測研究。實(shí)驗(yàn)結(jié)果表明， LSTM-Transformer組合預(yù)測模型的預(yù)測精度優(yōu)于對照組模型，適用于不同客流特征的各類站點(diǎn)。在后續(xù)研究中，我們將同時(shí)考慮客流的時(shí)間特征和空間特征，以提高預(yù)測的準(zhǔn)確性并增強(qiáng)模型的泛化能力。

參考文獻(xiàn)：

[1] 侯秀芳，馮晨，左超，等．2022年中國內(nèi)地城市軌道交通線路概況 [J]．都市快軌交通，2023，36（1）：9-13．

[2] 杜京朔，基于深度學(xué)習(xí)的城市軌道交通短時(shí)客流預(yù)測研究與系統(tǒng)實(shí)現(xiàn) [D]．石家莊：石家莊鐵道大學(xué)，2022．

[3] 馬超群，李培坤，朱才華，等．基于不同時(shí)間粒度的城市軌道交通短時(shí)客流預(yù)測 [J]．長安大學(xué)學(xué)報(bào)（自然科學(xué)版），

2020，40（3）：75-83．

[4] 杜希旺，趙星，李亮．基于LSTM的軌道交通進(jìn)站客流短時(shí)預(yù)測研究 [J]．貴州大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，38（5）：109-118.

[5] HOCHREITER S，SCHMIDHUBER J．Long short-term memory [J]．Neural computation，1997，9（8）：1735-1780．

[6] MACQUEEN J．Some methods for classification and analysis of multivariate observations[J/OL].Mathematics，1967.[2023-10-05].

https：//api.semanticscholar.org/CorpusID：6278891．

[7] 胡明偉，施小龍，吳雯琳，等．城市軌道交通車站短時(shí)客流機(jī)器學(xué)習(xí)預(yù)測方法 [J]．深圳大學(xué)學(xué)報(bào)（理工版），2022，39（5）：593-

599.

[8] 滕騰，劉正琦，王小敏．基于GA-SLSTM模型的城市軌道交通短時(shí)客流預(yù)測[J]．鐵路計(jì)算機(jī)應(yīng)用，2022，31（8）：7-12．

[9] VASWANI A，SHAZEER N，PARMAR N，et al．Attention is all you need[J/OL]．Advances in Neural Information Processing

Systems，2017，30.[2023-10-07].http：//papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html.

[10] 張文娟，楊皓哲，張彬，等．考慮多時(shí)間尺度特征的城市軌道交通短時(shí)客流量預(yù)測模型[J]．交通運(yùn)輸系統(tǒng)工程與信息，

2022，22（6）：212-223.

[11] PASCANU R，MIKOLOV T，BENGIO Y．On the difficulty of training recurrent neural networks[C]//Proceedings of the International

Conference on Machine Learning，2013．

[12] BENGIO Y，SIMARD P，F(xiàn)RASCONI P．Learning long-term dependencies with gradient descent is difficult [J]．IEEE transactions

on neural networks，1994，5（2）：157-166．

[13] GLOROT X，BENGIO Y．Understanding the difficulty of training deep feedforward neural networks[J]．Journal of Machine

Learning Research，2010，9：249-256．

[14] RUMELHART D E，HINTON G E，WILLIAMS R J．Learning representations by back-propagating errors [J]．Nature，1986，323：533-536.