中圖分類號(hào):TP183 文獻(xiàn)標(biāo)識(shí)碼:A DOI:10.7535/hbkd.2025yx03003
Research on anomaly detection model for traffic time series data integrating multiple mechanisms
ZHANG Peipei,LIU Jiaqi
(SchoolofEconomicsandManagement,NorthChinaUniversityofScienceandTechnology,Tangshan,HebeiO63oo,China)
Abstract:Toenhancetheanomalyrecognitionabilityof trafictimeseriesdata,ahybrid modelwasconstructed.Firstly,the multi-headatention,residualsandprobabiliticsparseself-atentionwerecombined toformaglobalfeaturerecognition(GFR) module,enhancing theability whilereducingcomputationalcomplexity.Secondly,the dilated convolutionandmulti-scale convolution werecombined to formalocalfeaturerecognition(LFR)module,furtheroptimizing local featureextraction. Thirdly,the FreeRunning training strategy wasused to improve model robustness.Fourthly,the modules and training strategy werecombined withLSTM,whiletheresultof theself-atention mechanismreplaced theLSTM input gate,soas to optimize long sequence memoryabilityand reducecomputing complexity.Finally,a multivariate Gausian distribution probabilityfunction wasused to discriminateanomalies.Theresults show that ading each moduleon the basis of LSTM significantly improvesthemodel'spredictionandanomalydetectionability;Comparedwiththegeneralhybridmodel Transformer-Bi-LSTM,the proposed model hasstronger prediction abilityandlowercomputational complexity.The proposed modelperformsefectivelyinrecognizingboth globalandlocalanomalies in trafictime seriesdata,which provides reference forimproving the operational efficiency and safety of the traffic system.
Keywords:computer neural networks;long sequence time-series data;anomaly detection; attention mechanism;LSTM
在交通領(lǐng)域,交通時(shí)序數(shù)據(jù)異常檢測(cè)至關(guān)重要。這類數(shù)據(jù)包括交通流量、速度和占有率等信息,其異常檢測(cè)對(duì)保障交通安全、優(yōu)化資源和提升交通效率意義重大。深度學(xué)習(xí)模型(如RNN、LSTM和Transformer)被廣泛用于異常檢測(cè)[1],通過(guò)學(xué)習(xí)數(shù)據(jù)模式和長(zhǎng)期依賴關(guān)系,比較預(yù)測(cè)值與實(shí)際值,來(lái)判斷異常[2]。然而,交通數(shù)據(jù)動(dòng)態(tài)性強(qiáng)、復(fù)雜度高,受多種因素干擾[3],需識(shí)別全局和局部特征異常[4]。1)全局特征檢測(cè)問(wèn)題:傳統(tǒng)RNN難以處理長(zhǎng)期依賴問(wèn)題,LSTM雖有改進(jìn),但對(duì)極長(zhǎng)序列的處理仍有限制[5],Transformer雖能捕捉遠(yuǎn)距離依賴[6],但計(jì)算復(fù)雜度高,不利于超長(zhǎng)序列處理[7]。2)局部特征檢測(cè)問(wèn)題:卷積層雖能提取局部特征[8],但因卷積核感受野固定,難以捕捉多尺度特征[9]。3)混合模型問(wèn)題:如 Transformer-Bi-LSTM混合模型雖能提升預(yù)測(cè)能力[10],但在局部特征提取、魯棒性和計(jì)算效率方面仍有不足。針對(duì)上述問(wèn)題,本文提出一種混合模型,旨在優(yōu)化交通時(shí)序數(shù)據(jù)的異常檢測(cè)能力。
1 模型設(shè)計(jì)
交通時(shí)序數(shù)據(jù)的復(fù)雜性使得交通數(shù)據(jù)的預(yù)測(cè)極具挑戰(zhàn)性,單一方法難以滿足高效、精準(zhǔn)的預(yù)測(cè)需求。為此,本文提出的交通時(shí)序數(shù)據(jù)預(yù)測(cè)模型融合了三大核心模塊:1)全局特征識(shí)別(global feature recognition,GFR)模塊,通過(guò)集成 Transformer的多頭注意力、殘差和概率稀疏自注意力機(jī)制,在精準(zhǔn)提取全局特征的同時(shí)降低計(jì)算復(fù)雜度;2)局部特征識(shí)別(local feature recognition,LFR)模塊,結(jié)合膨脹卷積和多尺度卷積技術(shù),靈活捕捉交通數(shù)據(jù)中的局部細(xì)節(jié)特征,優(yōu)化局部特征提取效果;3)FreeRunning 訓(xùn)練策略,增強(qiáng)模型訓(xùn)練的魯棒性。將上述特征識(shí)別模塊和訓(xùn)練策略與LSTM相結(jié)合,并將全局特征識(shí)別模塊的輸出作為L(zhǎng)STM的輸入門控,進(jìn)一步降低計(jì)算復(fù)雜度,提升長(zhǎng)序列數(shù)據(jù)的記憶與預(yù)測(cè)能力。
1)GFRGRF是模型的核心部分,用于高效提取交通時(shí)序數(shù)據(jù)的全局特征。自注意力機(jī)制通過(guò)對(duì)輸入序列的全局建模捕捉長(zhǎng)距離依賴,但其計(jì)算復(fù)雜度隨序列長(zhǎng)度增加而呈平方增長(zhǎng),限制了在長(zhǎng)序列數(shù)據(jù)中的應(yīng)用[1]。概率稀疏自注意力機(jī)制通過(guò)稀疏性度量方法對(duì)注意力得分進(jìn)行概率稀疏采樣,從而降低了計(jì)算復(fù)雜度[7]。然而,采樣后的鍵值對(duì)數(shù)量減少可能導(dǎo)致后續(xù)計(jì)算的缺失。為此,本模塊通過(guò)補(bǔ)零操作,結(jié)合卷積、ELU激活和最大池化對(duì)特征降采樣,使其在較短子序列上計(jì)算,降低計(jì)算量并防止過(guò)擬合。之后,利用反卷積進(jìn)行上采樣,恢復(fù)到原始序列長(zhǎng)度,在減少計(jì)算成本的同時(shí),保持對(duì)序列的有效建模能力。此外,Trans-former的多頭注意力結(jié)構(gòu)能從不同子空間中提取信息,增強(qiáng)模型對(duì)復(fù)雜關(guān)系的捕捉能力,殘差結(jié)構(gòu)能有效解決訓(xùn)練過(guò)程中梯度消失問(wèn)題。基于此,GFR融合了概率稀疏自注意力、殘差和多頭注意力機(jī)制,能更全面、精準(zhǔn)地捕捉數(shù)據(jù)中的全局特征。如圖1所示,該模塊包含6層編碼器,每層均采用概率稀疏自注意力、殘差和多頭注意力結(jié)構(gòu)。
初始輸入為 17856×3 的矩陣(17856為時(shí)間點(diǎn)數(shù),3為交通流量、平均速度和平均占用率三方面的數(shù)據(jù))。輸入數(shù)據(jù)首先經(jīng)過(guò)位置編碼以獲取序列位置依賴關(guān)系,然后通過(guò)多頭概率稀疏自注意力和降采樣獲取自注意力輸出。經(jīng)上采樣后,與位置編碼輸出相加并歸一化,再經(jīng)過(guò)前饋網(wǎng)絡(luò)處理,最后進(jìn)行殘差求和與歸一化,得到與輸入形狀一致的編碼器輸出結(jié)果。本模塊采用8頭注意力機(jī)制,具體結(jié)構(gòu)如圖2所示。
2)LFRLFR是本模型的關(guān)鍵部分,專注于捕捉交通時(shí)序數(shù)據(jù)中的局部細(xì)節(jié)特征,以增強(qiáng)模型對(duì)短時(shí)波動(dòng)和局部模式的感知能力。卷積神經(jīng)網(wǎng)絡(luò)能自動(dòng)從輸人數(shù)據(jù)中提取具有代表性的局部特征,但在處理序列數(shù)據(jù)時(shí),通常需要更深的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)獲得較大的感受野,這可能導(dǎo)致梯度消失[12]。而時(shí)空卷積通過(guò)卷積輸入的間隔采樣,有效擴(kuò)大了感受野[13」,避免出現(xiàn)梯度消失。但模型還需捕捉不同時(shí)間尺度的特征,多尺度卷積網(wǎng)絡(luò)通過(guò)使用不同大小的卷積核來(lái)獲取不同尺度的特征[9]。本模塊結(jié)合膨脹卷積和多尺度卷積,使模型對(duì)不同頻率和幅度的變化具有更強(qiáng)的適應(yīng)性。如圖3所示,卷積輸入通道數(shù)為3,輸出通道數(shù)為1,模型共有4個(gè)尺度的卷積核 {2,4,8,16} ,所以卷積核大小分別為 {3×1×2,3×1×4,3×1×8,3×1×16} 。每個(gè)尺度的卷積核又對(duì)應(yīng)著4個(gè)膨脹率,大小分別為 1,2,4,8 。模型共產(chǎn)生 4×4=16 個(gè)卷積結(jié)果。接下來(lái),利用拼接技術(shù)將16個(gè)卷積結(jié)果進(jìn)行拼接,拼接后大小為 17856×16 ,再經(jīng)過(guò)前饋網(wǎng)絡(luò),輸出數(shù)據(jù)維度修改為17856×3 。
3)FreeRunning混合訓(xùn)練策略在時(shí)序數(shù)據(jù)處理中,傳統(tǒng)訓(xùn)練模式常采用TeacherForcing策略,即直接用真實(shí)標(biāo)簽作為下一時(shí)間步的輸人,從而加快模型學(xué)習(xí)輸入與輸出映射關(guān)系的速度[14],如圖4a)所示。然式可能導(dǎo)致模型過(guò)度依賴外部輸入,忽視自身預(yù)測(cè)誤差的處理,在面對(duì)新數(shù)據(jù)時(shí)因缺乏糾錯(cuò)能力而無(wú)法有效適應(yīng)。FreeRunning 訓(xùn)練模式通過(guò)將前一步的輸出作為后一步的輸入(如圖4b)所示),迫使模型基于自身預(yù)測(cè)進(jìn)行訓(xùn)練,增強(qiáng)其對(duì)預(yù)測(cè)誤差的魯棒性和泛化能力,但也會(huì)增加訓(xùn)練的時(shí)間成本。本模型采用 TeacherForcing與FreeRunning混合訓(xùn)練策略,在 400個(gè)訓(xùn)練周期中,前40個(gè)周期用36個(gè)epoch 進(jìn)行TeacherForcing 訓(xùn)練,4個(gè)epoch 進(jìn)行FreeRunning 訓(xùn)練;最后40個(gè)epoch完全采用FreeRunning模式。通過(guò)動(dòng)態(tài)調(diào)整2種模式比例(如圖5所示),模型從依賴真實(shí)標(biāo)簽逐步過(guò)渡到依賴自身預(yù)測(cè),有效緩解過(guò)擬合,兼顧快速收斂與強(qiáng)泛化能力,特別適用于交通預(yù)測(cè)這類復(fù)雜任務(wù)和長(zhǎng)序列數(shù)據(jù),顯著提升模型在實(shí)際應(yīng)用中的表現(xiàn)。
4)整體結(jié)構(gòu)本文模型在LSTM的基礎(chǔ)上,融合了GFR、LFR以及 FreeRunning 混合訓(xùn)練策略:a)GFR經(jīng)過(guò)歸一化處理后,獲取輸入樣本的權(quán)重,記為 β ,并將其作為L(zhǎng)STM輸入門的門控,如圖6所示。LSTM的輸入門決定了當(dāng)前輸入信息能保存至細(xì)胞狀態(tài)的數(shù)量,而自注意力機(jī)制的輸出是給輸入的不同部分賦予不同程度的關(guān)注以及權(quán)重,恰好可以作為L(zhǎng)STM輸入門的門控參數(shù)。這種方法不但加快了模型的收斂速度,而且增強(qiáng)了其提取全局特征信息的能力。b)輸入數(shù)據(jù)經(jīng)過(guò)LFR模塊,提取出局部特征向量并輸人預(yù)測(cè)模型,進(jìn)而能夠更高效地提取局部特征。c)為了避免預(yù)測(cè)誤差持續(xù)累積,采用了FreeRunning 策略,有效地緩解了過(guò)擬合問(wèn)題,為后續(xù)的異常檢測(cè)打下基礎(chǔ)。
2異常檢測(cè)方法
在完成預(yù)測(cè)之后,模型使用多元高斯分布概率函數(shù)來(lái)識(shí)別異常,如圖7所示。
獲取時(shí)序數(shù)據(jù)集 XM=[x1,x2,…,xi,…,xM] ,其中, M 代表數(shù)據(jù)集 XM 的大?。?i 為正整數(shù); xi 代表時(shí)間 i 的記錄值。使用預(yù)測(cè)模型對(duì)所述數(shù)據(jù)集 XM 進(jìn)行預(yù)測(cè),得到預(yù)測(cè)結(jié)果 ,并計(jì)算 XM 中每個(gè)預(yù)測(cè)值
與真實(shí)數(shù)值 yi 的誤差向量 ei ,如式(1)所示。然后,計(jì)算每個(gè) ei 的高斯分布概率密度 ?Pi,?Pi 通過(guò)多元高斯分布模型計(jì)算,參數(shù)包括高斯分布的均值 μ 和協(xié)方差 Σ,μ 和 Σ 的計(jì)算如式(2)、(3)所示。最后,計(jì)算每個(gè)誤差向量 ei 的高斯分布概率密度值,如式(4)所示。當(dāng)概率密度值 ?Pi 小于閾值 τ 時(shí),記錄值 ΨXi 為異常,否則為正常。通過(guò)F1最大化的方式來(lái)確定區(qū)分異常值和正常值的閾值 τ 。
3 結(jié)果與討論
為了全面評(píng)估本文提出的交通時(shí)序數(shù)據(jù)異常檢測(cè)模型的性能,從多個(gè)維度對(duì)模型進(jìn)行實(shí)驗(yàn)驗(yàn)證。
3.1 實(shí)驗(yàn)準(zhǔn)備
1)樣本數(shù)據(jù)情況本實(shí)驗(yàn)使用美國(guó)加州交通系統(tǒng)的PEMsO8 數(shù)據(jù)集,包含17O 個(gè)探測(cè)器每隔 5min 采集的交通數(shù)據(jù),共62d、17856個(gè)時(shí)間點(diǎn)。每個(gè)探測(cè)器的數(shù)據(jù)有交通平均占有率、交通流量和交通平均速度3個(gè)特征,如圖8所示。隨機(jī)選取136個(gè)探測(cè)器 (80% )作為訓(xùn)練集,34個(gè)探測(cè)器 20% 作為測(cè)試集。
2)訓(xùn)練環(huán)境和參數(shù)設(shè)置硬件:CentOS7操作系統(tǒng),CPU為 Intel Core i5-8250U,GPU為NVIDIAGeForceMX150。軟件:CUDA9.2,CuDNN7.6,Python3.8,Keras 框架。訓(xùn)練參數(shù):初始學(xué)習(xí)率為 1× 10-4 ,均方誤差損失,Adam優(yōu)化器,迭代400次。GFR參數(shù):編碼器為6層,注意力頭數(shù)為8,dropout為0.2。LFR參數(shù):4個(gè)尺度卷積核大小為 {3×1×2 , 3×1×4 , 3×1×8 , ,膨脹率為 {1, 2, 4, 8} 。LSTM參數(shù):隱含層大小為10,dropout為0.2。
3.2 訓(xùn)練收斂狀況比較
通過(guò)消融實(shí)驗(yàn),逐一添加模塊并分析影響,如圖9所示。1)添加1個(gè)模塊:收斂效果總體優(yōu)于原始LSTM模型,其中GFR 收斂最快,F(xiàn)reeRunning 次之,LFR 再次之。2)添加2個(gè)模塊:總體優(yōu)于單模塊模型,GFR + FreeRunning表現(xiàn)最佳,GFR + LFR次之,LFR + FreeRunning再次之。3)添加3個(gè)模塊:初始收斂速度不如雙模塊模型,但后期收斂效果最好。總之,3個(gè)模塊都添加的模型最優(yōu),雙模塊優(yōu)于單模塊,且均優(yōu)于原始LSTM模型。
3.3 預(yù)測(cè)能力比較
通過(guò)平均絕對(duì)誤差(MAE)和 R2 值(見(jiàn)式(5)—(7))評(píng)估模型性能,結(jié)果如表1所示。1)添加1個(gè)模塊:總體優(yōu)于原始LSTM模型,GFR 表現(xiàn)最好,F(xiàn)reeRunning 次之,LFR 稍弱。2)添加 2個(gè)模塊:總體優(yōu)于單模
塊模型,其中GFR + FreeRunning表現(xiàn)最佳,GFR+LFR 次之,LFR+FreeRunning稍弱。3)添加3個(gè)模塊:預(yù)測(cè)能力最強(qiáng)??傊?,3個(gè)模塊都添加時(shí)模型最優(yōu),其次是雙模塊,再次是單模塊。
3.4異常檢測(cè)能力比較
圖10和圖11分別呈現(xiàn)了長(zhǎng)時(shí)和短時(shí)數(shù)據(jù)的異常檢測(cè)結(jié)果,a)圖均為歸一化后的交通流量(藍(lán)色)、交通平均速度(橙色)和交通平均占有率(綠色),b)圖均為基于多元高斯分布概率密度倒數(shù)的異常分值。由圖可知,模型能有效察覺(jué)長(zhǎng)時(shí)和短時(shí)數(shù)據(jù)的異常情況。實(shí)驗(yàn)數(shù)據(jù)證明了模型的有效性。
數(shù)據(jù)定義:將62d數(shù)據(jù)定義為長(zhǎng)時(shí)數(shù)據(jù),1d數(shù)據(jù)為短時(shí)數(shù)據(jù)。測(cè)試集包含34個(gè)探測(cè)器,共607104個(gè)數(shù)據(jù)點(diǎn),其中長(zhǎng)時(shí)異常73個(gè),短時(shí)異常2740個(gè)。
實(shí)驗(yàn)方法:通過(guò)消融實(shí)驗(yàn)對(duì)比各模型的異常檢測(cè)能力,結(jié)果見(jiàn)表2和表3。
評(píng)價(jià)指標(biāo):TP為正常數(shù)據(jù)被正確判定的數(shù)量,TN為異常數(shù)據(jù)被正確判定的數(shù)量,F(xiàn)N為漏檢數(shù)量, P 為精確度,R為召回率(見(jiàn)式(8)一(10))。
結(jié)果分析:3個(gè)模塊均添加的模型優(yōu)于雙模塊模型,雙模塊模型優(yōu)于單模塊模型,單模塊模型優(yōu)于原始LSTM。長(zhǎng)時(shí)異常檢測(cè)中,GFR模塊貢獻(xiàn)最大;短時(shí)異常檢測(cè)中,LFR模塊貢獻(xiàn)最大。FreeRunning混合訓(xùn)練策略對(duì)長(zhǎng)時(shí)和短時(shí)異常檢測(cè)均有提升作用。
3.5 對(duì)比分析
將模型的預(yù)測(cè)能力和異常檢測(cè)能力做對(duì)比分析。
1)預(yù)測(cè)能力如表4所示,單模塊總體提升了LSTM的預(yù)測(cè)能力,其中GFR提升效果最佳,F(xiàn)reeRun-ning次之,LFR較小。雙模塊優(yōu)于單模塊,GFR + FreeRunning提升幅度最大,其次是GFR + LFR,LFR + FreeRunning稍遜一籌。3個(gè)模塊均添加的模型預(yù)測(cè)能力提升最為顯著。
2)異常檢測(cè)能力如表5所示,在長(zhǎng)時(shí)異常檢測(cè)中,單模塊GFR 優(yōu)化效果最佳,F(xiàn)reeRunning 次之,LFR貢獻(xiàn)不明顯,雙模塊GFR + FreeRunning表現(xiàn)最佳,GFR + LFR其次,LFR + FreeRunning最差,3個(gè)模塊均添加的模型提升效果最佳;在短時(shí)異常檢測(cè)中,單模塊 LFR貢獻(xiàn)最大,F(xiàn)reeRunning 次之,GFR最小,雙模塊GFR + LFR貢獻(xiàn)最大,LFR + FreeRunning其次,GFR + FreeRunning最差,3個(gè)模塊均添加模的型優(yōu)化效果最好。
總之,3個(gè)模塊皆有助于提升模型的預(yù)測(cè)能力,長(zhǎng)時(shí)異常檢測(cè)中GFR貢獻(xiàn)最大,短時(shí)異常檢測(cè)中LFR貢獻(xiàn)最大,F(xiàn)reeRunning混合訓(xùn)練策略對(duì)長(zhǎng)時(shí)和短時(shí)異常檢測(cè)均有貢獻(xiàn)。
3.6 與Transformer-Bi-LSTM模型比較
本文模型在PAN等[10]提出的 Transformer-Bi-LSTM模型基礎(chǔ)上進(jìn)行了改進(jìn)。1)對(duì)預(yù)測(cè)能力而言,本文模型與Transformer-Bi-LSTM模型相同,均結(jié)合了多頭自注意力與LSTM,但本模型還通過(guò)以下3個(gè)優(yōu)化措施提升了預(yù)測(cè)能力:一是使用LFR模塊增強(qiáng)局部特征提取;二是引人FreeRunning混合訓(xùn)練策略提升模型魯棒性;三是將自注意力機(jī)制的輸出作為L(zhǎng)STM的輸入門控。如表6所示,在單一改進(jìn)中,將 Bi-LSTM替換為FreeRunning混合訓(xùn)練策略的效果最顯著,其次為添加LFR模塊,最后是門控改進(jìn)。在雙重改進(jìn)中,LFR + FreeRunning組合提升最明顯,其次是門控改進(jìn) + FreeRunning組合,最后是LFR + 門控改進(jìn)組合。3處改進(jìn)均實(shí)施時(shí),模型預(yù)測(cè)效果最佳。2)對(duì)計(jì)算復(fù)雜度而言,本文模型在Transformer-Bi-LSTM 模型基礎(chǔ)上,主要通過(guò)以下2個(gè)優(yōu)化措施降低計(jì)算復(fù)雜度:一是引入概率稀疏自注意力機(jī)制,將自注意力機(jī)制的復(fù)雜度由 O(N2) 降到了 O(NlogN )(見(jiàn)式(11)—(12))[15];二是把自注意力機(jī)制的結(jié)果作為L(zhǎng)STM輸入門控,進(jìn)一步減少計(jì)算量(見(jiàn)式(13)—(14))[16]。雖然本文模型與 Transformer-Bi-LSTM模型相比多了一個(gè)LFR模塊的計(jì)算(見(jiàn)式(15)—(16)),但該模塊計(jì)算量并不大(見(jiàn)式(17)),具體計(jì)算復(fù)雜度比較如表7所示[17]??傊疚哪P屯ㄟ^(guò) LFR 模塊、FreRunning 混合訓(xùn)練策略和將自注意力機(jī)制的輸出作為L(zhǎng)STM的輸入門控,顯著提升了模型的預(yù)測(cè)能力,降低了計(jì)算復(fù)雜度,整體性能優(yōu)于Transformer-Bi-LSTM。
FLOPsBi-LSTM=2×N×4×(d×W+W×W),
FLOPsFreeRuning=2×N×3×(d×W+W×W)
式中:num_layers為encoder層數(shù); h 為注意力頭數(shù); N 為時(shí)間序列個(gè)數(shù); d 為輸入特征維度; W 為隱含層參數(shù)數(shù)目; Cin 為輸入通道數(shù); Cout 為輸出通道數(shù); M 為不同卷積核種類個(gè)數(shù);size_kernal,為第 i 個(gè)卷積的大小;num_dilation為膨脹卷積個(gè)數(shù)。
4結(jié)語(yǔ)
提出了一種新型交通時(shí)序數(shù)據(jù)異常檢測(cè)模型,旨在提升交通系統(tǒng)中長(zhǎng)時(shí)和短時(shí)異常檢測(cè)的性能:1)通過(guò)融合多頭注意力、殘差及概率稀疏自注意力來(lái)構(gòu)建GFR,在增強(qiáng)模型對(duì)全局特征識(shí)別能力的同時(shí)還降低了計(jì)算復(fù)雜度;2)將膨脹卷積與多尺度卷積相結(jié)合形成LFR,優(yōu)化局部特征提取,提升模型對(duì)細(xì)節(jié)的捕捉能力;3)運(yùn)用FreeRunning 混合訓(xùn)練策略,提升模型的魯棒性;4)與LSTM相結(jié)合,并將自注意力機(jī)制的結(jié)果替代LSTM輸入門控,在優(yōu)化長(zhǎng)序列記憶和預(yù)測(cè)能力的同時(shí)降低計(jì)算復(fù)雜度。該模型在預(yù)測(cè)和異常檢測(cè)方面全面優(yōu)于基礎(chǔ)的LSTM模型,且相比Transformer-Bi-LSTM混合模型展現(xiàn)出更強(qiáng)的實(shí)踐推廣價(jià)值,為滿足交通領(lǐng)域中既要求長(zhǎng)時(shí)異常檢測(cè)又要求短時(shí)異常檢測(cè)的復(fù)雜需求提供了一種高效且精準(zhǔn)的解決方案,能夠顯著提升交通系統(tǒng)的運(yùn)行效率與安全性。
本文交通數(shù)據(jù)異常檢測(cè)主要基于單一模態(tài)數(shù)據(jù)[18],未來(lái)擬針對(duì)多模態(tài)數(shù)據(jù)融合研究尚不完善的情況[19],進(jìn)一步探索多模態(tài)數(shù)據(jù)融合技術(shù)以及協(xié)同學(xué)習(xí)機(jī)制,以獲取更全面和準(zhǔn)確的交通信息,從而更精準(zhǔn)地識(shí)別各類交通異常情況,為交通系統(tǒng)的智能化管理提供技術(shù)支持。
參考文獻(xiàn)/References:
[1]ZHAOMengmeng,ENGHaipeng,Liiangetal.Multivariatetieserisaomalyetectionbasedspatil-temporaltwokad transformerinindustrial Internetof Things[J].Computers,MaterialsandContinua,2O24,8o(2):2815-2837.
[2]ULLAH1,MAHMOUDQH.DesignanddevelopmentofRNNanomalydetectionmodelforIoTnetworks[J].IEEEAccessPractical Innovations,Open Solutions,2022,10:62722-62750.
[3]PAPACHARALAMPOUS G,TYRALIS H,PAPALEXIOU SM,et al. Global-scale masive feature extraction from monthly hydrocli matictimesertaiicalaacterzatiosatialedhdoloicalilityiefeotalEvio. DOI:10.1016/j. scitotenv. 2020.144612.
[4]HONGYu,WANGZngqing,XIEYongfang,etal.Amultigranularityherarchicalnetworkforlongandshrt-teforecastigon multivariate time series data[J]. Applied Soft Computing,2024. DOI:10.1016/j.asoc.2024.111537.
[5]ZHNG Wendong,ZHAOPutian,KAIHuang,etal.Understanding thepropertyoflongtermmemoryfortheLSTMwithatention mechanismC]/Proceedingsofthe3thCMInternationalCnferenceonInformationamp;KnowledgeManagement.S.1.]C2 2708-2717.
[6]YUBaiFAChn,HUAWangetal.TansformersasStatisticiansProvablein-ContextLearingwithi-ContextAlgoritheleco [DB/OL].[2024-10-19].https://arxiv.org/abs/2306.04637.
[7]ZHOU Haoyi,ZHANGShanghang,PENGJieqi,etalInformer:BeyondEficientTransformerforLongSequenceTimeSeriesForecasting [DB/OL].[2024-10-19].https://arxiv.org/abs/2012.07436.
[8]LIUChen,ZHENJuntao,SHANWeiTimeseriesclasificationbasedoconvolutionalnetwork withagatedlinearunitskeelngineering Applications of Artificial Inteligence,2023.DOI:10.1016/j.engappai.2023.106296.
[9]CUIZhicheng,CHENWenli,CHENYixinMulti-ScaleConvolutionalNeuralNetworksforTimeSeriesClassficationDB/O]22- 10-19].https://arxiv.org/abs/1603.06995.
[10]PAGuangliang,JELi,LMinglei.Multi-Channel Multi-StepSpectrumPrediction UsigTransformerandStacked Bi-LSTMDB/OL]. [2024-10-19].https://arxiv.org/abs/2405.19138.
[11]VASWAAAZEERNARMARN,etalAtentionisallyounedC//roceedingsofthe31stInternatioalCferecenNeu ral Information Processing Systems. [S.1.]:ACM,2017:60o0-6010.
[12]WANGYumiaoFENGLuweiSUNWei,etal.AlightweightCNN-transformernetworkforpixel-basedcropmappngusingtieies sentinel-2 imagery[J].Computersand Electronics in Agriculture,2024.DOI:10.1016/j.compag.2024.109370.
[13]BAI Shaojie,KOLTERJZKOLTUNV.Anempiricalevaluationofgenericconvolutionalandrecurent networksforsequence odeling [DB/OL].[2024-10-19].https://arxiv.org/abs/1803.01271.
[14]LIShiyang,WANGTongtong,LIGuoyuan,etal.Short-termshiprollmotionpredictionusingtheencoder-decoderBi-LSTMwith teacher forcing[J].Ocean Engineering,2024.DOI:10.1016/j.oceaneng.2024.116917.
[15]崔欣瑩.基于注意力機(jī)制和 BiLSTM的輿情情感分析[D].哈爾濱:哈爾濱理工大學(xué),2024. CUIXinying.AnalysisofPublicOpinionandEmotionBasedonAtentionMechanismandBiLSTMD].Harbin:HarbinUniversityofScience and Technology,2024.
[16]吳海,蔣林,李遠(yuǎn)成,等.面向可重構(gòu)結(jié)構(gòu)的LSTM混合壓縮優(yōu)化方法[J/OL].電訊技術(shù)[2025-04-30].htps://doi.org/10.20079/j.isn. 1001-893x.240926004. WU HaiJIANGLin,Yuanceng,etalLSThybridcompressnoptimzationmethodforreonfigurablestructures/OL.eleco munication Engineering[2024-10-19].https://doi.org/10.20079/j.issn.1001-893x.240926004.
[17]胡潤(rùn)文,項(xiàng)世軍,李曉龍,等.基于CNN計(jì)算局部復(fù)雜度的可逆信息隱藏算法[J].計(jì)算機(jī)學(xué)報(bào),2024,47(4):776-789. HURunwen,XIANGShijun,LIXiaolong,etal.CNNbasedlocalcomplexityetimationforreversibledatahdingJ].ChineseJoualf Computers,2024,47(4):776-789.
[18]宮曉蟀,董培信.基于改進(jìn)孤立森林算法的交通流異常數(shù)據(jù)檢測(cè)模型[J].重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版),2024,43(5):61-69. GONG Xiaoxing,DONGPeixinTraficflowanomalydatadetectionmodelbasedonimprovedisolationforestalgorithmJ].Jouralof Chongqing Jiaotong University(Natural Science),2024,43(5):61-69.
[19]吳精乙,景峻,賀熠凡,等.基于多模態(tài)大模型的高速公路場(chǎng)景交通異常事件分析方法[J].圖學(xué)學(xué)報(bào),2024,45(6):1266-1276. WUJingyi,JINGJun,HEYifan,etalTraffcanomalyeventanalysis methodforhighwaysenesbasedonmultimodallargelanguage models[J].Journal ofGraphics,2024,45(6):1266-1276.