基于iTransformer的高速公路通行費(fèi)精準(zhǔn)預(yù)測(cè)模型

摘要：高速公路通行費(fèi)受到節(jié)假日、突發(fā)事件等復(fù)雜因素影響，傳統(tǒng)預(yù)測(cè)方法在處理這些問題時(shí)，往往無法充分考慮多維因素之間的復(fù)雜交互作用，導(dǎo)致預(yù)測(cè)精度難以達(dá)到理想水平。大型語言模型利用自注意力機(jī)制能夠?qū)崿F(xiàn)對(duì)復(fù)雜時(shí)空數(shù)據(jù)的擬合，并具有更強(qiáng)的特征學(xué)習(xí)能力，可有效解決高速公路通行費(fèi)的精準(zhǔn)預(yù)測(cè)問題。利用此特性提出了一種基于iTransformer的高速公路通行費(fèi)精準(zhǔn)預(yù)測(cè)模型，該預(yù)測(cè)模型將時(shí)間信息作為獨(dú)立維度嵌入輸入序列中，并倒置了自注意力機(jī)制與前饋網(wǎng)絡(luò)的職責(zé)，使得預(yù)測(cè)模型能夠更準(zhǔn)確地捕捉時(shí)間序列的動(dòng)態(tài)特征和多變量之間的相關(guān)性。實(shí)例分析結(jié)果顯示，所提出的預(yù)測(cè)模型在普通場景下較SARIMA模型和LSTM模型平均預(yù)測(cè)精度分別提高23.47%和17.84%。特殊場景下具有更優(yōu)預(yù)測(cè)效果，分別提升70.92%和45.64%。針對(duì)所提出預(yù)測(cè)模型進(jìn)行敏感性分析，模型對(duì)前饋網(wǎng)絡(luò)層數(shù)和編碼器堆疊層數(shù)較為敏感，對(duì)注意力頭數(shù)變化不敏感。該研究為解決復(fù)雜交通環(huán)境下的通行費(fèi)預(yù)測(cè)問題提供了新的方法論支持，對(duì)提高高速公路通行費(fèi)預(yù)測(cè)精度具有重要意義。

關(guān)鍵詞：大語言模型；預(yù)測(cè)模型；自注意力機(jī)制；通行費(fèi)

中圖分類號(hào)：U491.1+22""" 文獻(xiàn)標(biāo)志碼：A""" 文章編號(hào)：1002-4026（2025）01-0120-09

開放科學(xué)（資源服務(wù)）標(biāo)志碼（OSID）：

DOI：10.3976/j.issn.1002-4026.20240055【交通運(yùn)輸】

收稿日期：2024-04-07

基金項(xiàng)目：國家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃（2022YFB4300404）；河北省中央引導(dǎo)地方科技發(fā)展資金項(xiàng)目（236Z0802G）

作者簡介：王恒昆（1991—），男，碩士，工程師，研究方向?yàn)榻煌üこ?。E-mail： 15054123066@163.com

*通信作者，王江鋒，男，教授，研究方向?yàn)檐嚶?lián)網(wǎng)、綜合交通大數(shù)據(jù)。E-mail： wangjiangfeng@bjtu.edu.cn， Tel：13811805476

A precise highway toll prediction model based on iTransformer

WANG Hengkun1，GU Jin2，SONG Zhifan3，WANG Jiangfeng3*

（1. Shandong Traffic Research Institute， Jinan 250002， China;2. Shandong Provincial Communications Planning and Design Institute

Group Co.， Ltd.， Jinan 250002， China;3. School of Traffic and Transportation， Beijing Jiaotong University， Beijing 100044， China）

Abstract∶The prediction of highway tolls is affected by complex factors such as holidays and unexpected events. Traditional prediction methods often fail to fully account for intricate interactions between these multiple factors， resulting in less-than-ideal prediction accuracy. By leveraging the self-attention mechanism， large language models can better fit complex spatiotemporal data and have enhanced feature learning capabilities， making them highly effective for precise highway toll prediction. Therefore， this study proposes a highway toll prediction model based on iTransformer. This model embeds temporal information as an independent dimension into the input sequence and reverses the roles of the self-attention mechanism and feed-forward network， thereby allowing the model to more accurately capture the dynamic features of time series and correlations between multiple variables. Case studies show that the proposed model improves the average prediction accuracy by 23.47% and 17.84% compared with the SARIMA and LSTM models， respectively， in regular scenarios. In irregular scenarios， the model demonstrates even better predictive performance， improving the accuracy by 70.92% and 45.64%， respectively. A sensitivity analysis of the proposed model indicates that it is highly sensitive to the number of feed-forward network layers and stacked encoder layers but is less sensitive to changes in the number of attention heads. Thus， this study provides a new methodological approach for addressing the challenges associated with toll prediction in complex traffic environments and has significant implications in terms of improving the accuracy of highway toll predictions.

Key words∶large language model; prediction model; self-attention; toll fee

通行費(fèi)是高速公路的主要營收來源之一，精準(zhǔn)的通行費(fèi)預(yù)測(cè)可以為高速公路運(yùn)營管理提供有力的數(shù)據(jù)支持［1］，然而現(xiàn)有預(yù)測(cè)模型由于精度較差、適應(yīng)場景單一等諸多原因無法滿足其需求［2］。隨著ChatGPT等生成式預(yù)訓(xùn)練模型應(yīng)用越來越廣泛，其背后的Transformer模型滲透到深度學(xué)習(xí)的各個(gè)研究領(lǐng)域，其強(qiáng)大的特征捕獲性能為高速公路通行費(fèi)精準(zhǔn)預(yù)測(cè)提供了另一種可能性，對(duì)于提高我國高速公路運(yùn)營管理和服務(wù)水平有著重要意義［3］。

目前的通行費(fèi)預(yù)測(cè)模型主要分為直接預(yù)測(cè)法、間接預(yù)測(cè)法［4］和深度學(xué)習(xí)預(yù)測(cè)法。其中直接預(yù)測(cè)法以差分自回歸移動(dòng)平均模型（ARIMA）［5］、Holt-Winters［6］模型為代表，它所需數(shù)據(jù)簡單、易于實(shí)現(xiàn)，但在非線性、不平穩(wěn)的數(shù)據(jù)集上表現(xiàn)欠佳。間接預(yù)測(cè)法以線性回歸、多元回歸等方法為代表，對(duì)于相關(guān)指標(biāo)的選取有著較高要求，同樣在復(fù)雜模式的預(yù)測(cè)中存在局限性。深度學(xué)習(xí)預(yù)測(cè)法通過對(duì)長期時(shí)序數(shù)據(jù)的學(xué)習(xí)表現(xiàn)出良好的預(yù)測(cè)性能［7］，如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）［8］和長短期記憶網(wǎng)絡(luò)（LSTM）［9］，但這類方法對(duì)于訓(xùn)練數(shù)據(jù)集的可靠性有著較高的要求。

時(shí)間序列與Transformer的結(jié)合成為近幾年深度學(xué)習(xí)領(lǐng)域的一個(gè)焦點(diǎn)，相比傳統(tǒng)的深度學(xué)習(xí)方法，Transformer模型在捕捉長時(shí)序數(shù)據(jù)的動(dòng)態(tài)特征方面展現(xiàn)了更強(qiáng)的能力。近年來出現(xiàn)不少將Transformer模型應(yīng)用于時(shí)間序列任務(wù)的嘗試，首先是多尺度建模的Transformer模型，它們強(qiáng)調(diào)在不同時(shí)間尺度上捕捉時(shí)間序列的特征，如Pathformer［10］和SCALEFORMER［11］。其次是頻域與時(shí)域結(jié)合的模型，此類模型結(jié)合了頻域和時(shí)域的信息來提升預(yù)測(cè)能力，如InParformer［12］和FEDformer［13］。在自注意力機(jī)制改進(jìn)方面，Informer設(shè)計(jì)了一種高效的長序列時(shí)間序列預(yù)測(cè)模型。最后，在復(fù)雜時(shí)間模式提取方面，iTransformer僅僅通過倒置自注意力機(jī)制和前饋網(wǎng)絡(luò)的職責(zé)，集成多層次注意力機(jī)制，實(shí)現(xiàn)了時(shí)間序列的全局和局部特征的精準(zhǔn)提?。?4］，能夠處理大規(guī)模時(shí)間序列數(shù)據(jù)，并通過減少計(jì)算復(fù)雜度來提高效率［15］。

本文以G9211甬舟高速通行費(fèi)數(shù)據(jù)為基礎(chǔ)，提出了基于iTransformer的高速公路通行費(fèi)精準(zhǔn)預(yù)測(cè)模型，測(cè)試模型在不同場景下的表現(xiàn)，與傳統(tǒng)預(yù)測(cè)模型進(jìn)行性能比較，為高速公路通行費(fèi)預(yù)測(cè)問題提供了一種新的解決思路和方法，探索了深度學(xué)習(xí)技術(shù)和大語言模型服務(wù)交通領(lǐng)域的可能性。

1" 數(shù)據(jù)預(yù)處理

本文采用卡爾曼濾波對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，卡爾曼濾波通過對(duì)系統(tǒng)狀態(tài)進(jìn)行遞歸估計(jì)，減少觀測(cè)數(shù)據(jù)中的噪聲和不確定性，突出系統(tǒng)長期趨勢(shì)，使數(shù)據(jù)更易于分析和理解，處理過程包含狀態(tài)更新方程和觀測(cè)更新方程，如下所示。

狀態(tài)更新方程：

x︿k|k-1=Fkx︿k-1|k-1+Bkuk，（1）

Pk|k-1=FkPk-1|k-1FTk+Qk，（2）

式中，x︿k|k-1為由時(shí)刻k-1的狀態(tài)得到的時(shí)刻k的狀態(tài)預(yù)測(cè)估計(jì)值;x︿k-1|k-1為由時(shí)刻k-1的狀態(tài)得到的時(shí)刻k-1的狀態(tài)預(yù)測(cè)估計(jì)值;Fk為描述系統(tǒng)動(dòng)態(tài)特性的狀態(tài)轉(zhuǎn)移矩陣;Bk為表示外部輸入對(duì)系統(tǒng)影響的控制輸入矩陣;uk為控制輸入向量;Pk|k-1為預(yù)測(cè)向量的協(xié)方差矩陣;Pk-1|k-1為時(shí)刻k-1時(shí)狀態(tài)的協(xié)方差矩陣;Qk為狀態(tài)轉(zhuǎn)移過程中系統(tǒng)噪聲的協(xié)方差矩陣。

觀測(cè)更新方程：

x︿k|k=x︿k|k-1+Kkzk-Hkx︿k|k-1，（3）

Pk|k=I-KkHkPk|k-1，（4）

Kk=Pk|k-1HkTHkPk|k-1HkT+Rk-1，（5）

式中，x︿k|k為在時(shí)刻k的狀態(tài)估計(jì)值;Kk為卡爾曼增益矩陣;zk為在時(shí)刻k的觀測(cè)值;Hk為用于將狀態(tài)空間映射到觀測(cè)空間的觀測(cè)矩陣;Rk為觀測(cè)噪聲協(xié)方差矩陣;I為單位矩陣。

2" 基于iTransformer的時(shí)間序列預(yù)測(cè)模型

2.1" 模型框架

本文基于iTransformer的高速公路通行費(fèi)精準(zhǔn)預(yù)測(cè)模型的研究主要分為3部分，分別是數(shù)據(jù)預(yù)處理、預(yù)測(cè)模型和模型性能評(píng)價(jià)，如圖1所示。其中核心部分預(yù)測(cè)模型由輸入嵌入、編碼器等模塊構(gòu)成，輸入嵌入模塊負(fù)責(zé)將時(shí)間序列數(shù)據(jù)進(jìn)行編碼，以便模型能夠理解輸入數(shù)據(jù)的含義和特征。編碼器通過多層堆疊實(shí)現(xiàn)對(duì)輸入序列的特征提取，每個(gè)編碼器包含多頭自注意力機(jī)制和前饋網(wǎng)絡(luò)，用于捕捉序列中的長期依賴關(guān)系和變化規(guī)律。

2.2" 輸入嵌入

Transformer模型在處理時(shí)間序列數(shù)據(jù)時(shí)，首先需要將數(shù)據(jù)嵌入為計(jì)算機(jī)可處理的三維張量形式，這一步驟是模型對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行處理和理解的關(guān)鍵。一般將包含變量數(shù)為N、長度為T的數(shù)據(jù)表示為如下形式的三維張量。

X=x1，…，xT∈瘙綆T×N，（6）

EmbeddingX=B，N，D，（7）

式中，X為輸入矩陣；B為批次大小，即一次輸入模型的樣本數(shù)量；N為特征維度，即每個(gè)時(shí)間步所包含的變量數(shù)量；T為時(shí)間步數(shù)，即時(shí)間序列的長度或觀察窗口的大??；D為數(shù)據(jù)被嵌入的維度。

以往使用Transformer模型處理時(shí)間序列數(shù)據(jù)時(shí)使用位置編碼來記錄時(shí)間步的順序信息，然而這種傳統(tǒng)的順序表示方法在時(shí)間序列任務(wù)中存在限制，各個(gè)變量具有不同的物理意義，而它為不同變量在相同的時(shí)間步賦予相同的時(shí)間戳，這種表示可能會(huì)導(dǎo)致相關(guān)性提取不準(zhǔn)確，從而影響模型的性能和表現(xiàn)。在iTransformer模型中，將時(shí)間信息作為一個(gè)獨(dú)立的維度嵌入到輸入變量序列中，這樣每個(gè)時(shí)間點(diǎn)都可以被表示為一個(gè)獨(dú)特的向量，準(zhǔn)確地捕捉時(shí)序數(shù)據(jù)中的動(dòng)態(tài)特征和相關(guān)性，具體步驟如下：

（1）將維度為B，N，T的數(shù)據(jù)輸入全連接層，每個(gè)時(shí)間步的數(shù)據(jù)映射到一個(gè)更高維度的特征空間中，輸出維度是B，N，D，其中D表示嵌入的維度。

（2）通過Rearrange函數(shù)將數(shù)據(jù)的維度重新排列成B，D，T的形式，這種形式可以更好地融合變量和時(shí)間步的信息，以便后續(xù)的自注意力機(jī)制能夠更好地捕捉時(shí)間序列數(shù)據(jù)中變量之間的關(guān)系。

（3）將數(shù)據(jù)輸入Layer Normalization層，對(duì)嵌入后的數(shù)據(jù)進(jìn)行歸一化處理，提高模型的訓(xùn)練穩(wěn)定性和收斂速度，表示如下：

LayerNormx=x-μσ⊙γ+β，（8）

式中，μ為數(shù)據(jù)的均值，σ為數(shù)據(jù)的標(biāo)準(zhǔn)差，γ和β為可學(xué)習(xí)的縮放因子和偏置項(xiàng)。

2.3" 編碼器

Transformer模型中的編碼器由多個(gè)模塊堆疊構(gòu)成，每個(gè)模塊包括自注意力機(jī)制和前饋網(wǎng)絡(luò)兩個(gè)主要組件。對(duì)于時(shí)間序列數(shù)據(jù)，編碼器的作用是將輸入的時(shí)間序列數(shù)據(jù)轉(zhuǎn)換為包含語義信息和上下文信息的隱藏狀態(tài)，幫助模型更好地理解時(shí)間序列數(shù)據(jù)的內(nèi)在規(guī)律和特征，提高模型在時(shí)間序列分析任務(wù)上的性能。

iTransformer模型在傳統(tǒng)Transformer模型的基礎(chǔ)上對(duì)編碼器進(jìn)行了改進(jìn)，倒置了自注意力機(jī)制和前饋網(wǎng)絡(luò)的職責(zé)，因此稱之為Inverted Transformer模型。在傳統(tǒng)的Transformer模型中，自注意力機(jī)制主要用于捕獲輸入序列的自相關(guān)性，前饋網(wǎng)絡(luò)用于學(xué)習(xí)序列中的局部特征。然而在iTransformer模型中，這兩者的職責(zé)發(fā)生顛倒，自注意力機(jī)制用于捕獲多變量之間的相關(guān)性，而前饋網(wǎng)絡(luò)則負(fù)責(zé)學(xué)習(xí)“序列-全局”表示，處理全局特征關(guān)系。

2.3.1" 自注意力機(jī)制

iTransformer模型中改進(jìn)的自注意力機(jī)制用于在輸入序列中捕獲多變量之間的關(guān)系，通過計(jì)算序列中每個(gè)位置與其他所有位置之間的關(guān)聯(lián)度，從而實(shí)現(xiàn)對(duì)序列的建模和特征提取。在本文所采用的模型中，自注意力機(jī)制通過以下幾個(gè)步驟構(gòu)建。

（1）首先通過3個(gè)線性變換層，將輸入數(shù)據(jù)映射到Q、K和V的空間，這一過程可以用

Q、K、V表示，公式如下：

Q=X·WQ，（9）

K=X·WK，（10）

V=X·WV，（11）

式中，WQ、WK和WV分別為Q、K、V空間對(duì)應(yīng)的權(quán)重矩陣。

（2）計(jì)算注意力分?jǐn)?shù)矩陣并歸一化處理，以獲取變量與變量之間的相關(guān)性。

AttentionQ，K，V=softmaxQK" dhV，（12）

式中，softmax為歸一化函數(shù)，dh為注意力頭的維度。

（3）最后將注意力分?jǐn)?shù)矩陣通過線性變換和殘差連接傳遞給下一層網(wǎng)絡(luò)進(jìn)行處理。

2.3.2" 前饋網(wǎng)絡(luò)

前饋網(wǎng)絡(luò)承接自注意力機(jī)制的輸出，其核心功能是通過線性變換將輸入特征映射到高維空間，通過激活函數(shù)對(duì)特征進(jìn)行非線性變換，使得模型能夠?qū)W習(xí)到更加復(fù)雜和豐富的特征表示。

在本文使用的模型中，前饋網(wǎng)絡(luò)由以下幾個(gè)關(guān)鍵部分組成：

（1）線性層：輸入序列通過線性變換層將原始維度映射到更高維度的特征空間，有助于提取輸入序列中的復(fù)雜特征信息。

（2）激活函數(shù)：線性層處理過的序列經(jīng)過一個(gè)門控線性單元（GEGLU）激活函數(shù)的處理，將每個(gè)特征分成兩個(gè)部分，分別進(jìn)行乘積和sigmoid激活函數(shù)的操作，然后再進(jìn)行點(diǎn)乘操作，從而引入了更多的非線性建模能力。

（3）Dropout層：激活函數(shù)處理過的序列通過Dropout層進(jìn)行正則化，以減少過擬合的風(fēng)險(xiǎn)。

（4）輸出歸一化：最后經(jīng)過正則化的序列通過另一個(gè)線性變換層將特征映射回原始的維度，得到最終的前饋網(wǎng)絡(luò)輸出。

3" 實(shí)例分析

3.1" 數(shù)據(jù)來源

選取滬杭甬高速和甬舟高速2013年1月至2023年8月每月通行費(fèi)數(shù)據(jù)進(jìn)行實(shí)例分析，其通行費(fèi)原始數(shù)據(jù)變化如圖2所示。從圖中可以看出，滬杭甬高速通行費(fèi)收入整體上大于甬舟高速，兩條高速通行費(fèi)數(shù)據(jù)在時(shí)間特征上均顯示出一定的趨勢(shì)性，2013—2019年通行費(fèi)收入呈現(xiàn)出逐年增長的趨勢(shì)，2020年受新冠疫情影響通行費(fèi)總額有所降低，2023年之后恢復(fù)增長趨勢(shì)。在模式特征上均顯示出明顯的周期性，受節(jié)假日的影響較大，每年的通行費(fèi)數(shù)據(jù)呈現(xiàn)出明顯的季節(jié)性波動(dòng)，春節(jié)、五一、十一假期受節(jié)假日通行費(fèi)免費(fèi)政策影響數(shù)值較低，而暑期受旅游業(yè)影響數(shù)值較高，其中滬杭甬高速受五一假期和十一假期產(chǎn)生的波谷更為明顯，甬舟高速受暑期旅游影響產(chǎn)生的波峰更為明顯。2020年受新冠疫情的影響采取了交通管制等措施導(dǎo)致數(shù)據(jù)變化異常。

3.2" 模型有效性分析

選取SARIMA模型和長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM模型作為比較，分別就普通場景和特殊場景測(cè)試iTransformer模型的有效性，普通場景數(shù)據(jù)集為通行費(fèi)變化較為規(guī)律的2013—2019年，特殊場景關(guān)注模型在疫情發(fā)生后追蹤數(shù)據(jù)變化特征的性能。

在使用卡爾曼濾波進(jìn)行數(shù)據(jù)預(yù)處理時(shí)，針對(duì)一維通行費(fèi)時(shí)間序列數(shù)據(jù)，設(shè)置狀態(tài)轉(zhuǎn)移矩陣Fk=1，控制輸入矩陣Bk=0，控制輸入向量uk=0，觀測(cè)矩陣Hk=1，初始狀態(tài)估計(jì)x0為時(shí)間序列數(shù)據(jù)的第一個(gè)值。滬杭甬高速數(shù)據(jù)過程噪聲協(xié)方差矩陣Qk=0.01，觀測(cè)噪聲協(xié)方差矩陣Rk=0.001，初始誤差協(xié)方差矩陣P0=1。甬舟高速數(shù)據(jù)過程噪聲協(xié)方差矩陣Qk=0.001，觀測(cè)噪聲協(xié)方差矩陣Rk=0.001，初始誤差協(xié)方差矩陣P0=100。

在模型有效性研究實(shí)驗(yàn)中，iTransformer模型學(xué)習(xí)率設(shè)置為0.000 1，隱藏維度設(shè)置為256，注意力頭數(shù)為8，前饋網(wǎng)絡(luò)層數(shù)為512，編碼器堆疊層數(shù)為2。

3.2.1" 普通場景

本節(jié)分別用3種模型對(duì)滬杭甬高速和甬舟高速2019年1月至12月的通行費(fèi)進(jìn)行預(yù)測(cè)，選取平均絕對(duì)誤差δMAE、均方誤差δMSE、均方根誤差δRMSE、平均相對(duì)誤差δMAPE作為評(píng)價(jià)指標(biāo)。3種模型預(yù)測(cè)結(jié)果的誤差指標(biāo)如圖3所示。

從圖3中可以看出，4種誤差指標(biāo)波動(dòng)趨勢(shì)相似。SARIMA模型在大部分時(shí)間步上預(yù)測(cè)誤差維持在一定區(qū)間，較其他兩種深度學(xué)習(xí)模型預(yù)測(cè)誤差水平偏大，5月和10月的預(yù)測(cè)值誤差較大；LSTM模型和iTransformer模型整體表現(xiàn)穩(wěn)定，預(yù)測(cè)精度較好，iTransformer模型預(yù)測(cè)效果更佳。以δMAPE值為度量，iTransformer模型較SARIMA模型月平均預(yù)測(cè)誤差降低23.47%，較LSTM模型月平均預(yù)測(cè)誤差降低17.84%。這是因?yàn)楸拘」?jié)使用的數(shù)據(jù)集涵蓋了疫情發(fā)生前變化相對(duì)規(guī)律的年份，符合SARIMA模型對(duì)季節(jié)性和趨勢(shì)性的假設(shè)，并且能穩(wěn)定地估計(jì)模型參數(shù)，因此預(yù)測(cè)誤差也普遍較低。而兩種深度學(xué)習(xí)模型使用不同方式對(duì)時(shí)間序列長期關(guān)系精準(zhǔn)建模，在識(shí)別這些簡單的數(shù)據(jù)模式特征上有效、簡潔，從而能夠達(dá)到較高的預(yù)測(cè)精度。

3.2.2" 特殊場景

新冠疫情對(duì)經(jīng)濟(jì)和社會(huì)生活產(chǎn)生了重大影響，因此模型在特殊場景下的特征追蹤能力對(duì)于預(yù)測(cè)疫情期間的通行費(fèi)數(shù)據(jù)變化至關(guān)重要。本節(jié)使用甬舟高速2019年及之前通行費(fèi)數(shù)據(jù)對(duì)2020年1月至2023年8月通行費(fèi)進(jìn)行預(yù)測(cè)，不同模型預(yù)測(cè)結(jié)果的誤差指標(biāo)如表1所示，預(yù)測(cè)結(jié)果如圖4所示。

由圖表結(jié)果可知，2020年突發(fā)新冠疫情，SARIMA模型由于其依賴歷史數(shù)據(jù)和季節(jié)性趨勢(shì)性的假設(shè)，無法適應(yīng)突發(fā)事件引起的數(shù)據(jù)變化特征，雖能大致刻畫數(shù)據(jù)的周期性變化，但其預(yù)測(cè)的精準(zhǔn)度顯著下降。LSTM模型通過門控機(jī)制學(xué)習(xí)時(shí)間序列的自相關(guān)性，在特殊場景下仍具有一定的預(yù)測(cè)能力。相比之下，iTransformer模型憑借其對(duì)時(shí)間戳的精準(zhǔn)表示和自注意力機(jī)制的強(qiáng)大解析能力，仍能產(chǎn)生與真實(shí)值較為吻合的預(yù)測(cè)結(jié)果。iTransformer模型在特殊場景下的預(yù)測(cè)精度仍為最優(yōu)，較SARIMA模型預(yù)測(cè)平均誤差降低70.92%，較LSTM模型降低45.64%。

為了定性評(píng)價(jià)模型在特殊情景下的預(yù)測(cè)效果，我們還使用皮爾遜相關(guān)系數(shù)作為實(shí)際值與模型預(yù)測(cè)值之間的趨勢(shì)擬合度量，計(jì)算得到SARIMA模型的皮爾遜相關(guān)系數(shù)為0.842，LSTM模型的皮爾遜相關(guān)系數(shù)為0.903，而iTransformer模型的皮爾遜相關(guān)系數(shù)為0.992。所有模型都與實(shí)際值趨勢(shì)曲線有著顯著的相關(guān)性，但iTransformer模型的擬合效果最佳，其皮爾遜相關(guān)系數(shù)接近于1，表示預(yù)測(cè)趨勢(shì)與實(shí)際趨勢(shì)之間的線性關(guān)系非常強(qiáng)。

3.3" 模型敏感性分析

本節(jié)對(duì)基于iTransformer的高速公路通行費(fèi)精準(zhǔn)預(yù)測(cè)模型進(jìn)行參數(shù)敏感性評(píng)估，將2013—2019年通行費(fèi)數(shù)據(jù)按照3∶2比例劃分為訓(xùn)練集和測(cè)試集，研究編碼器復(fù)雜程度決策參數(shù)和編碼器堆疊層數(shù)對(duì)所提出預(yù)測(cè)模型的精度影響。

3.3.1" 編碼器復(fù)雜程度決策參數(shù)

編碼器復(fù)雜程度決策參數(shù)包括注意力頭數(shù)n和前饋網(wǎng)絡(luò)層數(shù)d，不同決策參數(shù)情況下所提出預(yù)測(cè)模型的預(yù)測(cè)誤差如表2所示。

為了更好地觀察這兩個(gè)參數(shù)對(duì)模型性能的聯(lián)合影響，使用二維插值補(bǔ)全散點(diǎn)之間的數(shù)據(jù)并繪制三維曲面圖如圖5所示。從表2和圖5可以看出，注意力頭數(shù)和前饋網(wǎng)絡(luò)層數(shù)對(duì)預(yù)測(cè)結(jié)果有著不同的影響規(guī)律。相比較而言，前饋網(wǎng)絡(luò)層數(shù)d對(duì)預(yù)測(cè)結(jié)果影響更明顯，隨著層數(shù)d值增加，預(yù)測(cè)誤差先減小后增大最后再小幅減小，預(yù)測(cè)誤差圖像呈現(xiàn)出明顯的凹陷形狀，最小誤差約為2.69%，表明在模型在此數(shù)據(jù)集上對(duì)前饋網(wǎng)絡(luò)層數(shù)d有著一定的敏感性，較少的層數(shù)無法精確表征數(shù)據(jù)變化特征，但增加層數(shù)可能會(huì)導(dǎo)致梯度消失或爆炸的問題，影響預(yù)測(cè)效果。而注意力頭數(shù)對(duì)預(yù)測(cè)結(jié)果無明顯影響，主要是由于本模型中自注意力機(jī)制主要用于捕捉多變量之間相關(guān)性，而所采用數(shù)據(jù)集僅包含交通量和通行費(fèi)兩個(gè)變量，且具有顯著相關(guān)性，因此增加注意力頭數(shù)不會(huì)顯著改變模型的預(yù)測(cè)性能。

3.3.2" 編碼器堆疊層數(shù)

編碼器堆疊層數(shù)也是決定模型深度的重要參數(shù)，調(diào)整參數(shù)e得到預(yù)測(cè)誤差，預(yù)測(cè)結(jié)果趨勢(shì)圖如圖6所示。從圖中我們可以發(fā)現(xiàn)，模型對(duì)于編碼器堆疊層數(shù)具有一定的敏感性。當(dāng)編碼器堆疊的層數(shù)較小時(shí)，模型未能充分學(xué)習(xí)到數(shù)據(jù)的復(fù)雜特征，預(yù)測(cè)效果相對(duì)較差。編碼器堆疊層數(shù)增加至2時(shí)，模型學(xué)習(xí)到更多數(shù)據(jù)的特征和信息，預(yù)測(cè)效果達(dá)到最優(yōu)，誤差僅為2.69%。然而當(dāng)編碼器堆疊的層數(shù)進(jìn)一步增加時(shí)，模型可能會(huì)出現(xiàn)過擬合的情況，從而導(dǎo)致預(yù)測(cè)效果變差。

4" 結(jié)語

使用iTransformer模型進(jìn)行時(shí)間序列數(shù)據(jù)的預(yù)測(cè)，模型改進(jìn)了時(shí)間序列數(shù)據(jù)的輸入方式，倒置了自注意力機(jī)制和前饋網(wǎng)絡(luò)的職責(zé)，可以更好地捕獲時(shí)間序列的長時(shí)間依賴性和多變量相關(guān)性。以滬杭甬高速和甬舟高速2013—2023年的月度通行費(fèi)數(shù)據(jù)為基礎(chǔ)，就普通場景和特殊場景兩種情景測(cè)試模型有效性，實(shí)例分析結(jié)果顯示基于iTransformer的高速公路通行費(fèi)精準(zhǔn)預(yù)測(cè)模型較SARIMA模型和LSTM預(yù)測(cè)精度均有大幅提高，特殊場景下提升比例更高。在模型敏感性測(cè)試中，通過調(diào)整編碼器內(nèi)部注意力頭數(shù)和前饋網(wǎng)絡(luò)層數(shù)兩個(gè)參數(shù)，發(fā)現(xiàn)模型對(duì)解析全局特征的前饋網(wǎng)絡(luò)層數(shù)更加敏感，通過調(diào)整編碼器堆疊個(gè)數(shù)發(fā)現(xiàn)，在本數(shù)據(jù)集上編碼器堆疊層數(shù)為2時(shí)模型性能最佳。

參考文獻(xiàn)：

［1］李海東. 高速公路經(jīng)濟(jì)論［D］. 成都： 四川大學(xué)， 2004.

［2］石京. 一般收費(fèi)道路通行費(fèi)收入實(shí)用預(yù)測(cè)方法研究［J］. 公路工程， 2007， 32（4）： 103-106. DOI： 10.3969/j.issn.1674-0610.2007.04.026.

［3］劉闖. 高速公路運(yùn)營收入預(yù)測(cè)模型與方法［J］. 中外公路， 2005， 25（3）： 125-127. DOI： 10.3969/j.issn.1671-2579.2005.03.038.

［4］蔣強(qiáng)， 唐敏. 基于收費(fèi)政策的高速公路通行費(fèi)預(yù)測(cè)方法研究［J］. 公路工程， 2019， 44（5）： 263-268. DOI： 10.19782/j.cnki.1674-0610.2019.05.050.

［5］何九冉， 四兵鋒. ARIMA-RBF模型在城市軌道交通客流預(yù)測(cè)中的應(yīng)用［J］. 山東科學(xué)， 2013， 26（3）： 75-81. DOI： 10.3976/j.issn.1002-4026.2013.03.015.

［6］饒建輝， 王登才. Holt-Winters時(shí)間序列模型在江陰大橋車流量預(yù)測(cè)中的應(yīng)用［J］. 中國交通信息化， 2018（增刊）： 39-41.

［7］鄭宣傳， 韓寶明， 李得偉. 基于RBF神經(jīng)網(wǎng)絡(luò)的城市快速路短時(shí)交通流預(yù)測(cè)研究［J］. 山東科學(xué)， 2012， 25（3）： 23-28.

［8］BAI S J， KOLTER J Z， KOLTUN V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling［EB/OL］. ［2024-03-20］. http：//arxiv.org/abs/1803.01271.

［9］王鑫， 吳際， 劉超， 等. 基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測(cè)［J］. 北京航空航天大學(xué)學(xué)報(bào)， 2018， 44（4）： 772-784. DOI： 10.13700/j.bh.1001-5965.2017.0285.

［10］CHEN P， ZHANG Y Y， CHENG Y Y， et al. Pathformer： multi-scale transformers with adaptive pathways for time series forecasting［EB/OL］. ［2024-03-20］. http：//arxiv.org/abs/2402.05956.

［11］SHABANI A， ABDI A， MENG L L， et al. Scaleformer： iterative multi-scale refining transformers for time series forecasting［EB/OL］. ［2024-03-20］. http：//arxiv.org/abs/2206.04038.

［12］CAO H Z， HUANG Z H， YAO T C， et al.InParformer： evolutionary decomposition transformers with interactive parallel attention for long-term time series forecasting［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2023， 37（6）： 6906-6915. DOI： 10.1609/aaai.v37i6.25845.

［13］ZHOU T， MA Z Q， WEN Q S， et al. FEDformer： frequency enhanced decomposed transformer for long-term series forecasting［C］//Proceedings of the 39th International Conference on Machine Learning， 2022，162： 27268-27286.

［14］ZHOU H Y， ZHANG S H， PENG J， et al. Informer： beyond efficient transformer for long sequence time-series forecasting［C］.Proceedings of the AAAI conference on artificial intelligence. 2021， 35（12）： 11106-11115.

［15］LIU Y， HU T G， ZHANG H R， et al. iTransformer： inverted transformers are effective for time series forecasting［EB/OL］. ［2024-03-20］. http：//arxiv.org/abs/2310.06625.