基于動(dòng)態(tài)稀疏注意力的地鐵客流預(yù)測模型*

馬 茜 梁 奕 段 毅 曾尚琦

(1.西咸新區(qū)軌道交通發(fā)展有限公司，710086，西安；2.南瑞集團(tuán)(國網(wǎng)電力科學(xué)研究院)有限公司，210003，南京；3.國電南瑞科技股份有限公司，211106，南京∥第一作者，高級工程師)

地鐵客流的精準(zhǔn)預(yù)測可幫助優(yōu)化行車間隔和制定合理的運(yùn)行方案。然而，影響客流的變量在時(shí)間和空間上存在不均衡性，表現(xiàn)為：時(shí)間序列的高峰平峰，日、周、月客流以及空間存在位置性和方向性，包括車站、線路、線網(wǎng)瞬時(shí)和歷史數(shù)據(jù)(部分受氣候條件的影響)。其動(dòng)態(tài)復(fù)雜度顯著提升。

目前針對客流的時(shí)間序列預(yù)測，主要基于歷史客流進(jìn)行預(yù)測建模。隨著深度學(xué)習(xí)表征能力的增強(qiáng)，深度學(xué)習(xí)技術(shù)在時(shí)空數(shù)據(jù)預(yù)測領(lǐng)域得到廣泛應(yīng)用。RNN(遞歸神經(jīng)網(wǎng)絡(luò))可捕獲客流的時(shí)序依賴關(guān)系[1]。CNN(卷積神經(jīng)網(wǎng)絡(luò))結(jié)構(gòu)側(cè)重于空間特征，卻丟失了時(shí)間維度信息[2]。ConvLSTM(卷積長短記憶網(wǎng)絡(luò))將RNN和CNN的架構(gòu)結(jié)合起來，將全連接層替換為卷積層[3]來捕獲時(shí)空相關(guān)性；然而，ConvLSTM在狀態(tài)轉(zhuǎn)換中使用卷積，相當(dāng)于把循環(huán)連接結(jié)構(gòu)模型變?yōu)闀r(shí)空恒定結(jié)構(gòu)模型。總之，客流預(yù)測仍存在復(fù)雜非線性建模、動(dòng)態(tài)關(guān)聯(lián)及計(jì)算復(fù)雜度等亟待解決的問題。

在周一早高峰時(shí)段，進(jìn)站客流特征大致相同，體現(xiàn)了短期模式和局部數(shù)據(jù)緊密相關(guān)性；在其余工作日的早高峰及晚高峰時(shí)段，進(jìn)站客流特征大致相同，體現(xiàn)了長期模式和全局?jǐn)?shù)據(jù)稀疏相關(guān)性。對此本文提出DSANNs(動(dòng)態(tài)稀疏注意力)模型，利用全局變量注意力自動(dòng)選擇相關(guān)驅(qū)動(dòng)序列，增強(qiáng)模型預(yù)測的判別性；根據(jù)局部數(shù)據(jù)緊密相關(guān)性和全局?jǐn)?shù)據(jù)稀疏相關(guān)性的先驗(yàn)知識，對歷史時(shí)間步和相關(guān)變量分別卷積和稀疏卷積，提取局部時(shí)間和變量特征，并設(shè)計(jì)稀疏注意力對相關(guān)時(shí)間步加權(quán)和變量加權(quán)，進(jìn)而提高客流預(yù)測的準(zhǔn)確性。

1 客流預(yù)測的影響因素

現(xiàn)有的地鐵客流預(yù)測研究通常基于歷史數(shù)據(jù)進(jìn)行，其預(yù)測結(jié)果完全依賴于歷史數(shù)據(jù)的準(zhǔn)確性，并未挖掘多種監(jiān)測指標(biāo)之間存在的內(nèi)在復(fù)雜關(guān)系。客流預(yù)測主要受以下因素影響：

1)長短周期時(shí)間依賴的關(guān)聯(lián)。進(jìn)出站客流的多維時(shí)間序列蘊(yùn)含一種局部緊密和全局稀疏相關(guān)的內(nèi)在關(guān)聯(lián)，混合著長短周期時(shí)間依賴關(guān)系。變量的變動(dòng)可分為趨勢性、周期性、隨機(jī)性及循環(huán)性變動(dòng)?？土黝A(yù)測需過濾隨機(jī)性變動(dòng)，僅反映時(shí)間序列中的趨勢性變動(dòng)和周期性變動(dòng)，綜合捕獲時(shí)間序列數(shù)據(jù)中長短周期時(shí)間依賴關(guān)聯(lián)。

2)變量的動(dòng)態(tài)相關(guān)性。各維度變量之間的相關(guān)性是動(dòng)態(tài)的，即動(dòng)態(tài)相關(guān)性。車站的進(jìn)出站客流、線網(wǎng)拓?fù)洹⑻鞖鉅顩r和空氣質(zhì)量等變量間均存在動(dòng)態(tài)相關(guān)性，而且進(jìn)、出站客流間的相關(guān)性強(qiáng)，客流與溫度的相關(guān)性弱?？梢?，測點(diǎn)各維度變量的時(shí)間序列數(shù)據(jù)對于客流預(yù)測的影響并不一致。測點(diǎn)監(jiān)測每項(xiàng)指標(biāo)的時(shí)間相關(guān)性也是動(dòng)態(tài)的：非高峰時(shí)段的客流數(shù)據(jù)差異不大，相關(guān)性較強(qiáng)；在高峰時(shí)段，測點(diǎn)的監(jiān)測數(shù)據(jù)可能存在較大差異，相關(guān)性較弱。此外，測點(diǎn)監(jiān)測數(shù)據(jù)也可能存在周期性變化規(guī)律，因此需要選取合適的數(shù)據(jù)統(tǒng)計(jì)時(shí)間間隔。

3)數(shù)據(jù)受到外部因素的影響。各變量的時(shí)間序列數(shù)據(jù)對目標(biāo)預(yù)測序列數(shù)據(jù)的驅(qū)動(dòng)作用不僅隨時(shí)間的變化而變化，還會受外部因素的影響。惡劣環(huán)境因素及特殊活動(dòng)等事件因素，都會導(dǎo)致時(shí)間序列數(shù)據(jù)出現(xiàn)突變、陡降甚至是拐點(diǎn)。

2 DSANNs模型

為了捕獲變量多維時(shí)間序列中長短周期時(shí)間依賴關(guān)系和動(dòng)態(tài)性，針對客流預(yù)測的影響因素，本文提出DSANNs模型。如圖1所示，DSANNs模型包括全局變量注意力機(jī)制的編碼器、局部變量稀疏卷積注意力機(jī)制和全局時(shí)間卷積稀疏注意力的解碼器。

注：LSTM為長短時(shí)記憶網(wǎng)絡(luò)；Attn輸入指注意力機(jī)制輸入。

1)全局變量注意力機(jī)制自適應(yīng)地選擇相關(guān)驅(qū)動(dòng)序列，增強(qiáng)預(yù)測的判別性，捕獲動(dòng)態(tài)全局變量相關(guān)性。

2)局部緊密、全局稀疏的全局時(shí)間卷積稀疏注意力機(jī)制對變量多維時(shí)間序列中相關(guān)時(shí)間步蘊(yùn)含的信息加權(quán)，提取各時(shí)間步下的內(nèi)在局部特征。稀疏注意力可減少關(guān)聯(lián)，降低模型復(fù)雜度，防止過擬合。

3)局部變量稀疏卷積注意力會自動(dòng)選擇相關(guān)變量進(jìn)行加權(quán)。經(jīng)過稀疏卷積核提取的局部特征可以理解為每個(gè)變量在固定的時(shí)間窗口形成的局部內(nèi)在關(guān)系。通過局部變量注意力，將所有橫跨固定窗口的時(shí)間序列數(shù)據(jù)信息整合。

4)將相關(guān)的外部時(shí)間特征、氣象特征、目標(biāo)測點(diǎn)的相關(guān)屬性等特征因素合并為1個(gè)低維向量嵌入到模型中。

2.1 全局變量注意力

在預(yù)測過程中，時(shí)間序列同輸入序列數(shù)據(jù)和目標(biāo)序列數(shù)據(jù)的相關(guān)程度并非一致。基于每個(gè)測點(diǎn)輸入序列數(shù)據(jù)得到的對一時(shí)刻預(yù)測數(shù)據(jù)是隨時(shí)間動(dòng)態(tài)變化的。全局變量注意力機(jī)制設(shè)計(jì)如圖2所示。

圖2 全局變量注意力機(jī)制

全局變量注意力機(jī)制能自動(dòng)判定輸入序列每個(gè)時(shí)間步下各序列對目標(biāo)序列預(yù)測的重要程度，突出與當(dāng)前預(yù)測任務(wù)最相關(guān)的輸入變量，弱化與任務(wù)預(yù)測無關(guān)的輸入變量。

編碼器將輸入序列編碼成機(jī)器翻譯中的特征表示[4]。第k輸入序列Xk=(xk,1,xk,2,…,xk,T)∈T，xk,t∈n×T表示在驅(qū)動(dòng)序列k時(shí)間戳t下的數(shù)據(jù)值，n為驅(qū)動(dòng)預(yù)測序列的數(shù)量，T為歷史時(shí)間序列的長度。該編碼器用來學(xué)習(xí)從xt(xt∈T)到ht的1個(gè)映射函數(shù)，可表示為

ht=f1(ht-1,xt)，ht∈m

(1)

式中：

ht——編碼器在時(shí)間步為t的隱藏向量，蘊(yùn)含t時(shí)刻前的歷史信息，m為該隱藏向量大小;

f1——非線性激活函數(shù)。

DSANNs使用LSTM單元作為非線性激活函數(shù)f1去捕獲原始時(shí)間序列中的長期依賴關(guān)系。將其與歷史時(shí)間步隱藏層狀態(tài)ht-1和LSTM中的細(xì)胞狀態(tài)St-1進(jìn)行匹配，得到該時(shí)間步下驅(qū)動(dòng)預(yù)測時(shí)間序列的各變量重要性，故有：

ek,t=vetanh(We[ht-1,St-1]+Uexk)

(2)

式中：

ve,We,Ue————均為調(diào)優(yōu)的超參數(shù)，且ve∈、We∈T×2m、Ue∈T×T；

ek,t——在時(shí)間步t下衡量第k輸入序列的相似性值；

ak,t——通過SoftMax函數(shù)得到的注意力權(quán)值，且所有ak,t歸一化和為1。

輸入注意力機(jī)制通過前饋神經(jīng)網(wǎng)絡(luò)和遞歸循環(huán)神經(jīng)網(wǎng)絡(luò)部分一同訓(xùn)練，得到驅(qū)動(dòng)預(yù)測序列隨著時(shí)間演變的權(quán)重，并在每一個(gè)時(shí)間步自動(dòng)選取最重要的特征進(jìn)行預(yù)測，同時(shí)調(diào)整時(shí)間步t下隱藏層狀態(tài)向量。具體為：

(3)

2.2 動(dòng)態(tài)稀疏注意力

每個(gè)時(shí)間序列在固定窗口大小為ω的數(shù)據(jù)對目標(biāo)預(yù)測序列預(yù)測的重要性不同，往往蘊(yùn)含著一種局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在關(guān)系，而密集全局關(guān)聯(lián)任務(wù)是很少的。因此，基于局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在關(guān)系，DSANNs中設(shè)計(jì)了2種注意力機(jī)制(如圖3所示)，分別對變量和時(shí)間進(jìn)行卷積操作和注意力權(quán)值分配。

圖3 DSANNs模型的注意力機(jī)制

2.2.1 局部變量稀疏卷積注意力

DSANNs模型利用卷積核卷積編碼后的時(shí)間序列，增強(qiáng)學(xué)習(xí)到時(shí)間序列的局部變量內(nèi)在關(guān)系。設(shè)計(jì)卷積核Cj∈T。(Cj,T-ns,…,Cj,T-2s,Cj,T-s,…,Cj,T-1,Cj,T)≠0,T-ns≥1，s為局部緊密全局稀疏程度。

卷積核卷積每個(gè)變量，捕獲其局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在特征。全局變量注意力機(jī)制的隱藏層向量表示H∈m×T經(jīng)過卷積操作，最終的變量維度為HC∈m×k。其中,k代表k個(gè)具有不同內(nèi)在關(guān)聯(lián)關(guān)系的類似卷積核,m代表每個(gè)時(shí)間步編碼后變量的維度。RELU是激活函數(shù)RELU(x)=max(0,x)，故有：

(4)

式中：

Hi,j,C——卷積核對隱藏層向量提取結(jié)果；

Cj,T-ω+p——第j卷積核；

Hi,(T-ω+p)——隱藏層第i行向量；

bjC——偏差的參數(shù)。

局部變量稀疏卷積注意力選擇相關(guān)變量進(jìn)行加權(quán)，將時(shí)間序列數(shù)據(jù)整合成1個(gè)固定尺度的向量vs：

ai=sigmoid(Hi,Cht)

(5)

式中：

Hi,C——卷積后第i行隱藏層行向量表示；

ai——sigmoid函數(shù)計(jì)算注意力權(quán)值。

由式(5)，通過權(quán)重對HC重新分配得到隱藏層向量vs。

2.2.2 全局時(shí)間卷積稀疏注意力

時(shí)間序列數(shù)據(jù)通?；旌祥L期和短期模式，并且時(shí)間序列中歷史時(shí)間步蘊(yùn)含的信息對目標(biāo)預(yù)測的重要性不同，往往蘊(yùn)含著一種局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在關(guān)系。DSANNs根據(jù)此先驗(yàn)知識，利用卷積神經(jīng)網(wǎng)絡(luò)提取各變量序列中的短期局部變量，構(gòu)建稀疏注意力捕獲時(shí)間序列中的局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在關(guān)系。

全局時(shí)間卷積稀疏注意力自動(dòng)選擇相關(guān)時(shí)間步加權(quán)。卷積核提取所有變量在每一個(gè)時(shí)間步的內(nèi)在局部特征，通過全局時(shí)間稀疏注意力，將所有橫跨固定窗口的時(shí)間序列數(shù)據(jù)整合成一個(gè)固定尺度的低緯度向量vt。vt為固定尺度的上下文向量，具備時(shí)空特征。則有：

(i=1,3,…,t-5,vt∈l)

(6)

式中：

Hj，K——卷積后形成的第j時(shí)間步隱藏層列向量表示；

aj——自動(dòng)選取時(shí)間步計(jì)算注意力權(quán)值。

提取各時(shí)間步下的內(nèi)在局部變量特征后，通過局部緊密相關(guān)和全局稀疏相關(guān)的注意力機(jī)制，對單測點(diǎn)多維時(shí)間序列中相關(guān)時(shí)間步蘊(yùn)含的信息加權(quán)，捕獲時(shí)間序列短期和長期依賴關(guān)系。

2.3 模型預(yù)測

DSANNs模型包括：局部變量稀疏卷積注意力提取的、相關(guān)變量加權(quán)的、隱藏層向量表示vs，全局時(shí)間卷積稀疏注意力提取的、相關(guān)時(shí)間步加權(quán)的、隱藏層向量表示vt，全局變量注意機(jī)制的隱藏層向量ht。通過多層感知機(jī)，得到最終預(yù)測結(jié)果：

γt=Whht+Wsvs+Wtvt

(7)

式中：

Wh，Ws，Wt，Wγ——分別為各隱藏層的權(quán)重參數(shù)，Wh∈m×m，Ws∈m×k，Wt∈m×l，Wγ∈(n×Δ)×m

3 試驗(yàn)與分析

為了測試不同變量多維時(shí)間序列預(yù)測方法的性能，采用基于Python語言和Keras深度學(xué)習(xí)框架開發(fā)的DSANNs，以某城地鐵站點(diǎn)的月度客流量為例，進(jìn)行試驗(yàn)。按照10 min聚合1次，則聚合數(shù)據(jù)總計(jì)4 464條。

3.1 試驗(yàn)配置

1)參數(shù)設(shè)置。通過窗口大小進(jìn)行網(wǎng)格搜索“ω={3,5,10,15,25,50,72,100}”，確定時(shí)間窗口ω；對隱藏層進(jìn)行網(wǎng)格搜索“m={16,32,64,128,256}”，確定隱藏層m；為了確定不同注意力卷積核個(gè)數(shù)帶來預(yù)測表現(xiàn)的變化，設(shè)置k=l，對卷積核個(gè)數(shù)進(jìn)行網(wǎng)格搜索“k=l={16,32,64,128}”，最終參數(shù)選擇驗(yàn)證集的最佳性能參數(shù)。

2)評價(jià)指標(biāo)。為了衡量各種時(shí)間序列預(yù)測方法的有效性，考慮了均方誤差EMS、平均絕對誤差EMA及平均絕對百分誤差EMAP等3種不同的評價(jià)指標(biāo)。

(8)

3.2 結(jié)果分析

在客流多維時(shí)間序列數(shù)據(jù)集上將DSANNs模型同ARIMA(差分整合移動(dòng)平均自回歸)模型[6]、LSTM模型[7]、ConvLSTM模型[3]、TCN(時(shí)間卷積網(wǎng)絡(luò))模型[8]、DA-RNN(注意力機(jī)制-遞歸神經(jīng)網(wǎng)絡(luò))模型[9]進(jìn)行比較。各模型的時(shí)間序列預(yù)測效果如表1所示。

表1 各模型對單測點(diǎn)多維時(shí)間序列的預(yù)測結(jié)果評價(jià)指標(biāo)

從表1可以看出：基于實(shí)測數(shù)據(jù)，采用DSANNs模型得到的EMA、EMAP和EMS最佳，與采用DA-RNN模型的結(jié)果相比分別降低了21.07%、18.47%、29%；與LSTM模型相比，ARIMA模型的預(yù)測精度較差，這是因?yàn)锳RIMA模型只考慮目標(biāo)序列，忽略了其他相關(guān)維度的驅(qū)動(dòng)序列；ConvLSTM模型、TCN模型結(jié)合了時(shí)間和變量的相關(guān)模型，預(yù)測表現(xiàn)要優(yōu)于單純捕獲時(shí)間依賴的LSTM模型；DA-RNN比采用卷積和長短記憶網(wǎng)絡(luò)的ConvLSTM模型、TCN模型的性能更好，因?yàn)樗P(guān)注了時(shí)間和變量的動(dòng)態(tài)性。綜合來看，DSANNs模型表現(xiàn)最優(yōu)。這主要因?yàn)镈SANNs模型通過局部緊密全局稀疏的時(shí)間注意機(jī)制以及相關(guān)變量的注意力機(jī)制，捕獲了時(shí)間動(dòng)態(tài)性和變量的動(dòng)態(tài)內(nèi)在關(guān)系，提高了預(yù)測準(zhǔn)確性。圖4展示了對比基線最佳的DA-RNN模型和DSANNs模型在地鐵客流流量數(shù)據(jù)集的預(yù)測結(jié)果。

a)DA-RNN的地鐵客流預(yù)測及對比

與DA-RNN模型相比，DSANNs模型在捕獲時(shí)間動(dòng)態(tài)性和變量內(nèi)在關(guān)系方面表現(xiàn)更好，預(yù)測性能也更佳。經(jīng)分析，DSANNs模型通過全局稀疏局部緊密的時(shí)間注意力機(jī)制的權(quán)重分配，減少關(guān)聯(lián)性后，加大了全局稀疏的權(quán)重分配，使得模型整體的預(yù)測效果良好。

4 結(jié)語

客流預(yù)測需要預(yù)測地鐵車站的潛在流量，表現(xiàn)為隨時(shí)間演變的多維時(shí)間序列數(shù)據(jù)，受到外界復(fù)雜因素的影響而發(fā)生動(dòng)態(tài)變化。通過分析客流的時(shí)空特征，提出DSANNs模型。DSANNs模型自動(dòng)提取動(dòng)態(tài)時(shí)間和變量維度的內(nèi)在關(guān)系。其中，全局變量注意力機(jī)制自適應(yīng)地選擇相關(guān)驅(qū)動(dòng)序列，增強(qiáng)了模型預(yù)測的判別性；稀疏注意力對相關(guān)時(shí)間步加權(quán)，注意力機(jī)制對相關(guān)變量進(jìn)行加權(quán)，不僅能夠從全局和局部捕獲動(dòng)態(tài)內(nèi)在時(shí)間和變量關(guān)聯(lián)，提高模型預(yù)測準(zhǔn)確性，也能減少計(jì)算的復(fù)雜性。相比于ConvLSTM模型、TCN模型、DA-RNN模型等，DSANNs模型具有明顯優(yōu)勢。未來可將時(shí)空數(shù)據(jù)預(yù)測模型和時(shí)序圖進(jìn)一步結(jié)合，提高圖神經(jīng)網(wǎng)絡(luò)的預(yù)測準(zhǔn)確性。