結(jié)合對(duì)比學(xué)習(xí)的雙分支多維時(shí)間序列異常檢測(cè)方法

摘 要：多維時(shí)間序列異常檢測(cè)是維持復(fù)雜工業(yè)系統(tǒng)有效運(yùn)行的必要環(huán)節(jié)，如何準(zhǔn)確識(shí)別大量設(shè)備中的異常模式是一項(xiàng)重要挑戰(zhàn)?，F(xiàn)有方案大多對(duì)多維時(shí)間序列下實(shí)體存在的動(dòng)態(tài)依賴關(guān)系提取不足并且會(huì)受異常數(shù)據(jù)影響難以重構(gòu)出正常的模式。為此，提出一種結(jié)合對(duì)比學(xué)習(xí)的雙分支多維時(shí)間序列異常檢測(cè)方法。首先，通過圖結(jié)構(gòu)學(xué)習(xí)和圖特征增強(qiáng)得到實(shí)體之間的關(guān)聯(lián)圖以捕獲動(dòng)態(tài)變化的實(shí)體相關(guān)性，以及使用長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)時(shí)間依賴關(guān)系進(jìn)行提取得到時(shí)間編碼；接著，插入分塊重組并采用圖卷積操作提取不同尺度間的時(shí)空融合關(guān)系；最后，將融合后的關(guān)系特征進(jìn)行聯(lián)合對(duì)比訓(xùn)練得到正異常差異表示以評(píng)估異常。在SWaT、WADI、SWAP和MSL四個(gè)公開工業(yè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與近年來的方法相比，所提方法取得了較好的F₁分?jǐn)?shù)，分別為91.63%、90.60%、90.06%和93.69%，比MTGFLOW方法平均高出1.52百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，所提方法在提取動(dòng)態(tài)依賴關(guān)系和區(qū)分正常與異常模式方面具有顯著優(yōu)勢(shì)，驗(yàn)證了其在多維時(shí)間序列異常檢測(cè)中的有效性和先進(jìn)性，并顯示出廣泛的應(yīng)用潛力。

關(guān)鍵詞： 異常檢測(cè)； 多維時(shí)間序列； 對(duì)比學(xué)習(xí)； 圖卷積

中圖分類號(hào)： TP391 文獻(xiàn)標(biāo)志碼： A 文章編號(hào)： 1001-3695（2025）02-025-0507-07

doi： 10.19734/j.issn.1001-3695.2024.07.0286

Integrating contrastive learning dual-branch multivariate

time series anomaly detection method

Zhou Dan， Ling Jie

（School of Computer Science amp; Technology， Guangdong University of Technology， Guangzhou 510006， China）

Abstract：Multivariate time series anomaly detection is essential for maintaining the effective operation of complex industrial systems. Accurately identifying anomalous patterns across numerous devices presents a significant challenge. To address this challenge， this paper proposed a dual-branch multivariate time series anomaly detection method that incorporated contrastive learning. Firstly， it used graph structure learning and feature enhancement to construct relational graphs that captured dynamic correlations among entities. Long short-term memory （LSTM） networks were then employed to extract temporal dependencies and generate temporal encodings. Next， it introduced block reassembly and applied graph convolution operations to extract spatiotemporal relationships across different scales. Finally， the fused relational features underwent joint contrastive training to produce differential representations that effectively distinguished between normal and anomalous patterns. It validated the proposed method through experiments on four public industrial datasets： SWaT， WADI， SWAP， and MSL. The results demonstrate that this method achieves superior F₁ scores of 91.63%， 90.60%， 90.06%， and 93.69%， respectively， averaging 1.52 percentage points higher than the MTGFLOW method. The experimental results confirm that this method significantly enhances the extraction of dynamic dependencies and the distinction between normal and anomalous patterns. This validates its effectiveness and advancement in multivariate time series anomaly detection， indicating its broad potential for practical applications.

Key words：anomaly detection; multivariate time series; contrastive learning; graph convolution

0 引言

時(shí)間序列數(shù)據(jù)的異常檢測(cè)是當(dāng)前科技領(lǐng)域中的一項(xiàng)重要任務(wù)，它在健康監(jiān)控、能源管理以及網(wǎng)絡(luò)安全等多個(gè)行業(yè)有著廣泛的應(yīng)用^［1］。例如，發(fā)現(xiàn)金融行業(yè)中的欺詐行為對(duì)于減少經(jīng)濟(jì)損失具有關(guān)鍵意義，及時(shí)檢測(cè)能源行業(yè)中的風(fēng)力渦輪機(jī)傳感器異常有助于避免災(zāi)難性故障^［2］。隨著物聯(lián)網(wǎng)和智能設(shè)備快速發(fā)展，大數(shù)據(jù)時(shí)代已經(jīng)到來。越來越多的設(shè)備能夠?qū)崟r(shí)收集和傳輸數(shù)據(jù)，這使得從大規(guī)模的時(shí)間序列數(shù)據(jù)中及時(shí)識(shí)別出異常變得尤為重要^［3］。盡管時(shí)間序列異常檢測(cè)的重要性日益凸顯，但在實(shí)際應(yīng)用中仍然面臨許多挑戰(zhàn)。首先，定義何為異常本身就具有挑戰(zhàn)性，因?yàn)楫惓５慕缍ㄍ蕾囉诰唧w的應(yīng)用場(chǎng)景和產(chǎn)生數(shù)據(jù)的環(huán)境。其次，異常往往是稀有事件，這使得相關(guān)數(shù)據(jù)的標(biāo)注尤為困難，從而限制了許多基于監(jiān)督學(xué)習(xí)方法的應(yīng)用^［4］。此外，時(shí)間序列中各數(shù)據(jù)點(diǎn)之間存在關(guān)聯(lián)性，異常檢測(cè)時(shí)必須考慮序列內(nèi)部各采樣點(diǎn)的順序邏輯與潛在依賴關(guān)系，僅對(duì)單個(gè)數(shù)據(jù)點(diǎn)進(jìn)行分析不足以揭示整個(gè)序列的時(shí)間依賴性^［5］。最后，多維時(shí)間序列的處理更加復(fù)雜，因?yàn)椴煌臄?shù)據(jù)維度之間可能存在著內(nèi)在相關(guān)性，同時(shí)數(shù)據(jù)本身可能不具有穩(wěn)定性，這些因素都給有效的異常檢測(cè)帶來了額外的難度。因此，開發(fā)能夠處理這些復(fù)雜數(shù)據(jù)特性的高效異常檢測(cè)方法是研究的重點(diǎn)。目前，時(shí)間序列異常檢測(cè)的方法主要可以分為統(tǒng)計(jì)方法^［6］、機(jī)器學(xué)習(xí)方法^［7］以及深度學(xué)習(xí)方法三種類型。另外，還有一些將兩種類型結(jié)合在一起的混合方法^［8］。統(tǒng)計(jì)方法依賴于對(duì)數(shù)據(jù)分布的嚴(yán)格假設(shè)，這在實(shí)際應(yīng)用中往往因數(shù)據(jù)分布的復(fù)雜性而難以滿足。機(jī)器學(xué)習(xí)方法雖然能夠處理一些簡(jiǎn)單的時(shí)間序列關(guān)聯(lián)，但通常缺乏捕捉復(fù)雜時(shí)間動(dòng)態(tài)聯(lián)系的能力。相比之下，深度學(xué)習(xí)方法通過學(xué)習(xí)時(shí)間序列數(shù)據(jù)的深層特征和時(shí)間依賴性，能夠更好地識(shí)別和處理其中的復(fù)雜關(guān)系，但其面臨的主要挑戰(zhàn)是如何在保持時(shí)間序列的時(shí)間依賴關(guān)系和實(shí)體相關(guān)性的同時(shí)，學(xué)習(xí)出可以準(zhǔn)確區(qū)分異常的表示。近年來，研究者們?cè)谏疃葘W(xué)習(xí)領(lǐng)域開發(fā)了多種模型來處理這些挑戰(zhàn)，如基于重構(gòu)的模型、預(yù)測(cè)模型、判別模型和其他少量的混合模型?；谥貥?gòu)的模型通過嘗試重建正常行為的時(shí)間序列來識(shí)別異常。這種方法正在迅速發(fā)展，因?yàn)樗軌蚪Y(jié)合復(fù)雜數(shù)據(jù)與多種機(jī)器學(xué)習(xí)模型來處理復(fù)雜數(shù)據(jù)，并解釋實(shí)例中的異常行為。在情況頗為復(fù)雜的時(shí)間序列異常檢測(cè)中，由于異常的數(shù)量未知，且正常點(diǎn)與異常點(diǎn)可能同時(shí)出現(xiàn)在一個(gè)實(shí)例中，這使得構(gòu)建一個(gè)能清晰和準(zhǔn)確地重建出正常數(shù)據(jù)的模型十分困難。特別地，當(dāng)異常數(shù)據(jù)在訓(xùn)練集中占比較大時(shí)，重構(gòu)模型可能會(huì)重構(gòu)出一些異常模式，在一些特定的數(shù)據(jù)集上表現(xiàn)效果不佳。預(yù)測(cè)模型則利用歷史數(shù)據(jù)預(yù)測(cè)未來行為，通過分析預(yù)測(cè)結(jié)果與實(shí)際觀測(cè)值之間的偏差識(shí)別異常，但對(duì)于復(fù)雜和非線性的時(shí)間序列模式，預(yù)測(cè)可能不夠準(zhǔn)確。在計(jì)算機(jī)視覺任務(wù)中，對(duì)比學(xué)習(xí)因其多樣化應(yīng)用和卓越表現(xiàn)而受到了廣泛關(guān)注^［9］，并取得了顯著成就，但其在時(shí)間序列異常檢測(cè)方面的應(yīng)用和效果尚未得到足夠充分的研究。對(duì)比學(xué)習(xí)可以找到一種能夠清晰區(qū)分任何實(shí)例和其他實(shí)例的表示，極大減少異常和噪聲對(duì)模型性能的干擾，能夠?yàn)闀r(shí)間序列異常檢測(cè)帶來更準(zhǔn)確的表示。

為了完整提取多維時(shí)間序列的時(shí)間依賴關(guān)系和動(dòng)態(tài)實(shí)體相關(guān)性的深層特征，獲取具有差異性的正常數(shù)據(jù)和異常數(shù)據(jù)的對(duì)比表示，進(jìn)一步驗(yàn)證和探討對(duì)比表示學(xué)習(xí)在此領(lǐng)域的潛在效益，本文提出一種結(jié)合對(duì)比學(xué)習(xí)的雙分支多維時(shí)間序列異常檢測(cè)方法（integrating contrastive learning dual-branch anomaly detection，CLDAD）。CLDAD通過圖結(jié)構(gòu)學(xué)習(xí)得到實(shí)體之間的動(dòng)態(tài)變化圖，并使用殘差線性層進(jìn)行圖特征增強(qiáng)，同時(shí)使用長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)時(shí)間依賴關(guān)系進(jìn)行提取得到時(shí)間編碼。接著，使用圖卷積網(wǎng)絡(luò)融合時(shí)間維度和實(shí)體維度上的關(guān)系特征。最后，通過插入分塊重組操作分別得到不同尺度的融合特征和同尺度子序列間的融合特征，將其進(jìn)行聯(lián)合對(duì)比訓(xùn)練，得到異常評(píng)分，判斷異常。CLDAD是一種新穎的端到端對(duì)比學(xué)習(xí)異常檢測(cè)方法，充分關(guān)注實(shí)體之間的關(guān)系變化，增強(qiáng)了對(duì)比表示魯棒性的同時(shí)，放大了正常數(shù)據(jù)和異常數(shù)據(jù)的表示差異，能夠更好地區(qū)分出正異常。

1 相關(guān)工作

檢測(cè)多維時(shí)間序列中的異?？梢圆捎枚喾N方法。統(tǒng)計(jì)方法包括移動(dòng)平均和自回歸積分滑動(dòng)平均模型等。機(jī)器學(xué)習(xí)方法則涵蓋了聚類算法和基于密度的方法以及分類算法，如決策樹和支持向量機(jī)。隨著深度學(xué)習(xí)在非線性學(xué)習(xí)中表現(xiàn)出強(qiáng)大性能，大量研究開始將深度學(xué)習(xí)運(yùn)用于多維時(shí)間序列異常檢測(cè)任務(wù)中。由于現(xiàn)實(shí)世界中有標(biāo)簽的時(shí)間序列數(shù)據(jù)十分昂貴和稀少，無(wú)監(jiān)督方法更適用于現(xiàn)實(shí)世界中的異常檢測(cè)。目前主流的深度學(xué)習(xí)時(shí)間序列異常檢測(cè)方法可以分為預(yù)測(cè)方法^{［10，11］}、重構(gòu)方法^{［12～16］}以及判別方法^{［17～19］}三類。

預(yù)測(cè)方法通過學(xué)習(xí)時(shí)間序列的歷史數(shù)據(jù)來預(yù)測(cè)未來的值，異常檢測(cè)則基于預(yù)測(cè)值與實(shí)際值之間的偏差進(jìn)行^［7］。這類模型通常使用長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）^［10］和GRU等循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。圖神經(jīng)網(wǎng)絡(luò)在時(shí)間序列的預(yù)測(cè)上具有卓越的能力，特別是在挖掘?qū)嶓w間關(guān)系方面。例如，文獻(xiàn)［11］提出了一種圖偏差網(wǎng)絡(luò)GDN，該網(wǎng)絡(luò)通過學(xué)習(xí)傳感器之間的依賴關(guān)系圖，運(yùn)用圖注意力機(jī)制和實(shí)體嵌入向量進(jìn)行預(yù)測(cè)，并識(shí)別和解釋正異常模式的偏差。盡管該方法在探究實(shí)體依賴關(guān)系特征方面表現(xiàn)出色，但在時(shí)間維度上的特征提取仍顯不足。在復(fù)雜的實(shí)際系統(tǒng)中，由于歷史數(shù)據(jù)固有的無(wú)標(biāo)記性質(zhì)和異常的不可預(yù)測(cè)性，對(duì)于非線性和復(fù)雜的時(shí)間序列模式，預(yù)測(cè)可能不夠準(zhǔn)確，從而導(dǎo)致誤報(bào)率提高。這使得基于歷史數(shù)據(jù)的預(yù)測(cè)方法在實(shí)際應(yīng)用中面臨著挑戰(zhàn)。

重構(gòu)方法是指通過輸入正常的時(shí)間序列對(duì)模型進(jìn)行訓(xùn)練，在學(xué)習(xí)到正常時(shí)間序列的模式后，通過數(shù)據(jù)的重構(gòu)誤差是否大于閾值來標(biāo)記異常。重構(gòu)方法使用重構(gòu)誤差作為異常分?jǐn)?shù)，主要分為基于變分自動(dòng)編碼器（variational AutoEncoder，VAE）的方法和基于生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）的方法。文獻(xiàn)［12］提出了一種隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò) OmniAnomaly，利用平面歸一化流和隨機(jī)變量之間的連接等技術(shù)學(xué)習(xí)多維時(shí)間序列的魯棒表示，但時(shí)間序列依賴關(guān)系強(qiáng)度會(huì)使該方法的性能受到不同程度的影響。文獻(xiàn)［16］提出了MTAD-GAT，使用兩個(gè)平行圖注意層來動(dòng)態(tài)學(xué)習(xí)不同時(shí)間序列和時(shí)間戳之間的關(guān)系，利用每個(gè)信道變量重構(gòu)概率的可用性，通過計(jì)算各變量對(duì)差異得分的貢獻(xiàn)來診斷異常。但是當(dāng)異常數(shù)據(jù)在訓(xùn)練集中占比較大時(shí)，重構(gòu)模型可能會(huì)重構(gòu)出一些異常模式，在一些數(shù)據(jù)集上的表現(xiàn)效果不佳。

判別方法是指輸入標(biāo)記正常、異常的時(shí)間序列數(shù)據(jù)訓(xùn)練模型，使其學(xué)習(xí)到正常、異常數(shù)據(jù)之間的差別，進(jìn)而可以對(duì)待測(cè)數(shù)據(jù)進(jìn)行正異常判別。文獻(xiàn)［17］提出GANF模型，其利用歸一化流進(jìn)行無(wú)監(jiān)督異常檢測(cè)，開發(fā)了一種用于多維時(shí)間序列密度估計(jì)的圖增強(qiáng)流來尋找低密度區(qū)域，從而實(shí)現(xiàn)異常檢測(cè)。由于在實(shí)際采集過程中工業(yè)實(shí)體設(shè)備運(yùn)行的穩(wěn)定性，使得異常數(shù)據(jù)較為稀疏，所以缺乏異常標(biāo)簽。判別模型高度依賴標(biāo)注數(shù)據(jù)的質(zhì)量和數(shù)量，在數(shù)據(jù)標(biāo)注不充分的實(shí)際應(yīng)用中表現(xiàn)可能不佳。

從上文中可以看到，圖神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用在時(shí)間序列異常檢測(cè)任務(wù)中，它將數(shù)據(jù)建模為圖節(jié)點(diǎn)，并通過節(jié)點(diǎn)之間的信息更新與傳遞，在空間和節(jié)點(diǎn)建模方面展現(xiàn)出強(qiáng)大的能力^［20］。盡管圖神經(jīng)網(wǎng)絡(luò)已成熟地應(yīng)用于主流方法中，但除了這些方法本身的缺陷外，圖神經(jīng)網(wǎng)絡(luò)仍面臨以下挑戰(zhàn)：首先，時(shí)間序列數(shù)據(jù)本身并不具備圖結(jié)構(gòu)，但圖神經(jīng)網(wǎng)絡(luò)需要圖結(jié)構(gòu)作為輸入，如何準(zhǔn)確地學(xué)習(xí)和構(gòu)建合適的圖結(jié)構(gòu)成為難題。其次，圖神經(jīng)網(wǎng)絡(luò)的引入使模型更傾向于捕捉實(shí)體依賴關(guān)系，而忽略了數(shù)據(jù)中存在的時(shí)間依賴關(guān)系。針對(duì)以上挑戰(zhàn)，本文將多維時(shí)間序列中的實(shí)體視為圖節(jié)點(diǎn)，利用自注意力來學(xué)習(xí)動(dòng)態(tài)圖結(jié)構(gòu)。同時(shí)，添加了殘差線性層，用以增強(qiáng)學(xué)習(xí)到的動(dòng)態(tài)圖特征。

最近的一些研究表明，對(duì)比學(xué)習(xí)是時(shí)間序列表示學(xué)習(xí)的一種突出的自我監(jiān)督方法，它可以很好地緩解上述主流方法面臨的問題。在預(yù)測(cè)方法和重構(gòu)方法中，對(duì)比學(xué)習(xí)可以幫助模型更好地理解正常數(shù)據(jù)的結(jié)構(gòu)，從而在遇到異常時(shí)更加敏感。在判別方法中，對(duì)比學(xué)習(xí)則可以用來增強(qiáng)模型的區(qū)分能力，尤其是在標(biāo)簽數(shù)據(jù)不足的情況下。對(duì)比學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個(gè)嵌入空間，在這個(gè)空間中，相似的數(shù)據(jù)樣本彼此靠近，而不相似的樣本則相距甚遠(yuǎn)^［21］。經(jīng)典的對(duì)比模型創(chuàng)建正、負(fù)樣本對(duì)，以學(xué)習(xí)正樣本相互拉近、負(fù)樣本相互遠(yuǎn)離的表示方法^［22］。但是，并非所有正樣本對(duì)都有利于時(shí)間序列的對(duì)比學(xué)習(xí)^［25］。由于時(shí)間序列數(shù)據(jù)中不同實(shí)體和不同時(shí)間窗口之間都存在一定程度的聯(lián)系，不良正對(duì)的出現(xiàn)會(huì)干擾其對(duì)比學(xué)習(xí)的效果，從噪聲中學(xué)習(xí)模式，并且可能會(huì)破壞重要的時(shí)間模式。因此，出現(xiàn)了可以擺脫負(fù)樣本影響的模型^［23］。文獻(xiàn)［24］提出DCdetector模型，設(shè)計(jì)了一種基于對(duì)比學(xué)習(xí)的雙注意力結(jié)構(gòu)，擴(kuò)大了正常點(diǎn)和異常點(diǎn)之間的表示差異，但在處理時(shí)采取的上采樣操作，丟失了一些時(shí)間序列關(guān)聯(lián)信息。另外，其采用的多個(gè)patch的分塊方式帶來了額外的時(shí)間成本。本文方法延用其思想，針對(duì)上采樣信息丟失的問題，設(shè)計(jì)了只需進(jìn)行一次的分塊重組操作。此外，加入了不同尺度間的時(shí)間序列對(duì)比，增強(qiáng)了對(duì)比學(xué)習(xí)表示的魯棒性，從而提高模型分辨能力。

綜上，面對(duì)圖神經(jīng)網(wǎng)絡(luò)和對(duì)比學(xué)習(xí)在時(shí)間序列異常檢測(cè)任務(wù)中的挑戰(zhàn)，本文設(shè)計(jì)了結(jié)合對(duì)比學(xué)習(xí)的雙分支多維時(shí)間序列異常檢測(cè)方法，它學(xué)習(xí)時(shí)間序列表示區(qū)分多維時(shí)間序列的異常點(diǎn)和正常點(diǎn)。

2 本文方法

2.1 問題描述

2.2 整體框架

本文提出一種新的多維時(shí)間序列異常檢測(cè)方法CLDAD，方法框架如圖2所示。結(jié)合對(duì)比學(xué)習(xí)的雙分支多維時(shí)間序列異常檢測(cè)方法由空間關(guān)系提取和時(shí)間關(guān)系提取兩個(gè)分支以及分塊重組和融合對(duì)比兩個(gè)模塊構(gòu)成?？臻g關(guān)系提取分支通過圖結(jié)構(gòu)學(xué)習(xí)和圖特征增強(qiáng)得到動(dòng)態(tài)圖，捕捉在空間維度上多維時(shí)間序列的實(shí)體相關(guān)性；時(shí)間關(guān)系提取分支捕捉在時(shí)間維度上對(duì)多維時(shí)間序列的時(shí)間依賴關(guān)系。分塊重組模塊插入兩個(gè)分支用于得到不同尺度時(shí)空關(guān)系。最后，融合對(duì)比模塊將兩個(gè)分支的結(jié)果進(jìn)行圖卷積操作，融合時(shí)間維度和空間維度上的關(guān)系特征，通過聯(lián)合對(duì)比差異計(jì)算總損失，得到最終異常評(píng)分。

2.3 分塊重組

分塊操作是將多維時(shí)間序列數(shù)據(jù)X^K平均分為長(zhǎng)度為p的m塊，p表示分塊大小，m=?K/p」。重組操作是取這m塊中的第i個(gè)窗口，i∈{0，1，…，p}，構(gòu)成p個(gè)長(zhǎng)度為m的重組序列。圖3是分塊大小p=4時(shí)的分塊重組圖。分塊重組是為了從不同尺度內(nèi)提取多維時(shí)間序列特征進(jìn)行對(duì)比學(xué)習(xí)，正常模式在不同時(shí)間尺度內(nèi)的特征應(yīng)具有正相關(guān)性，但異常模式具有明顯的差異。同時(shí)，同尺度間的子序列也具有其特征。因此，本文進(jìn)行多塊重組來提取子序列，加入重組序列之間的對(duì)比，來增強(qiáng)對(duì)比學(xué)習(xí)表示的魯棒性。同時(shí)，這種方式可以避免上采樣操作，上采樣操作是為了解決表示進(jìn)行對(duì)比時(shí)維度不一致的操作，但同時(shí)會(huì)造成信息缺失。

圖3 分塊重組Fig.3 Block reorganization

2.4 空間關(guān)系提取分支

將注意力矩陣視為學(xué)習(xí)圖的鄰接矩陣A^k。注意力矩陣由每個(gè)節(jié)點(diǎn)的注意力分?jǐn)?shù)組成，所以包含了實(shí)體間的依賴關(guān)系。由于輸入的時(shí)間序列是隨時(shí)間變化的，所以A^k也會(huì)發(fā)生變化，用以捕捉動(dòng)態(tài)相關(guān)性。在圖卷積操作中，當(dāng)鄰接矩陣的特征值處于-1到1時(shí)，會(huì)使時(shí)間維度特征幅值減小，因此為了后續(xù)更好的圖卷積融合特征操作，本文對(duì)學(xué)習(xí)到的鄰接矩陣A^k在用殘差連接保留原始圖特征的情況下，縮放和增強(qiáng)圖特征，圖增強(qiáng)模塊由n層殘差線性層組成， f（x）=wx+x，鄰接矩陣A^k在經(jīng)過圖增強(qiáng)模塊以后，表示為=f^h（A^k），其中h指殘差線性層的層數(shù)。最后本文通過分塊重組操作，將得到的^K，k∈{1，…，K}分為ⁱ_in和ⁱ_wise。當(dāng)分塊大小為p時(shí)，分塊數(shù)量為m=?K/p」，ⁱ_in和ⁱ_wise可以表示為

2.5 時(shí)間關(guān)系提取分支

在時(shí)間序列數(shù)據(jù)中，存在著豐富的時(shí)間依賴關(guān)系。LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò)變體，能夠有效捕獲長(zhǎng)短期依賴關(guān)系，它適用于長(zhǎng)時(shí)間序列和短時(shí)間序列。因此，本文使用LSTM來捕捉時(shí)間依賴關(guān)系。如圖5所示，首先，X^K通過分塊重組操作被分為X_in和X_wise，當(dāng)分塊大小為p時(shí)，m=?K/p」：

X_in={Xⁱ_in|i=0，1，…，m}（7）

X_wise={Xⁱ_wise|i=0，1，…，p}（8）

其中：X_in中元素Xⁱ_in={xⁱ，xⁱ⁺¹，…，x^i+p}， X_wise中元素Xⁱ_wise={xⁱ，x^i+p，…，x^i+mp}。

對(duì)于第k窗口x^k，其時(shí)間t∈［kW：kW+S），得到時(shí)間編碼為H^k（t）=LSTM（x^k（t），H^k（t－1））。H^k（t）是LSTM的隱藏狀態(tài)，節(jié)點(diǎn)本身的歷史信息有助于增強(qiáng)時(shí)間序列的時(shí)間依賴關(guān)系。

然后得出X_in和X_wise的時(shí)間編碼表示為

H_in={H^k_in（t）|k={0，1，…，K}}（9）

H_wise={H^k_wise（t）|k={0，1，…，K}}（10）

2.6 融合對(duì)比

如圖6所示，本文對(duì)X^K分別在空間關(guān)系提取分支和時(shí)間關(guān)系提取分支得到的分塊時(shí)間編碼H_in和分塊圖_in進(jìn)行融合，進(jìn)一步提取時(shí)間依賴關(guān)系和實(shí)體相關(guān)性，采用圖卷積的方式，經(jīng)由兩層圖卷積后的融合，計(jì)算公式為

C^i（0）_in=ReLU（ⁱ_inHⁱ_inW₁）W₂（11）

C^i（1）_in=ReLU（ⁱ_inC^i（0）_inW₃）W₄（12）

其中：W₁ 和W₃為兩層圖卷積權(quán)重；W₂和W₄用于提高融合表示的表達(dá)能力。本文用Cⁱ_in表示C^i（1）_in。同樣地，如圖7所示，對(duì)X^K得到的重組時(shí)間編碼和重組圖進(jìn)行融合，采用圖卷積的方式，經(jīng)由兩層圖卷積后的融合，計(jì)算公式為

C^i（0）_wise=ReLU（ⁱ_wiseHⁱ_wiseW₁）W₂（13）

C^i（1）_wise=ReLU（ⁱ_wiseC^（0）_wiseW₃）W₄（14）

其中：W₁ ～W₄表示同式（12）（13），本文將用Cⁱ_wise表示C^i（1）_wise。

如圖8所示，將得到的每個(gè)重組融合表示連接得到C_in，C_in={Cⁱ_in|i=0，1，…，m}，其中Cⁱ_in={C^ip，C^ip+1，…，C^ip+p}，i∈{0，…，p}則可以表示為C_in={C¹_in，C²_in，…，C^k_in}。將每個(gè)Cⁱ_wise按重組順序還原得到C_wise，表示為C_wise={C¹_wise，C²_wise，…，C^k_wise}。然后，使用一個(gè)長(zhǎng)度為5的小窗口進(jìn)行移動(dòng)平均去平滑還原后的C_wise，得到C′_wise。隨后，經(jīng)過多層感知機(jī)得到最終的塊融合表示M_in和重組融合表示M_wise。最后，將M_in和M_wise之間的對(duì)比，以及對(duì)比重組融合表示中兩個(gè)不同的C^k_wise和C^k+im_wise進(jìn)行學(xué)習(xí)，增強(qiáng)對(duì)比學(xué)習(xí)表示的魯棒性。C^k+im_wise中m表示重組序列長(zhǎng)度，i∈{1，2，…，p}。本文將用C^′k_wise表示C^k+am_wise。

2.7 模型訓(xùn)練與異常判別

CLDAD方法的模型訓(xùn)練損失函數(shù)由兩部分組成，使用均方根誤差（RMSE）來度量表示的相似性。第一部分為重組融合表示C^k_wise和C^′k_wise之間的損失函數(shù)：

較高的異常分?jǐn)?shù)，表明異常的可能性較高。由于訓(xùn)練集和驗(yàn)證集中存在著異常序列，所以不能直接設(shè)置閾值來標(biāo)記異常。因此，為了減少異常干擾，存儲(chǔ)整個(gè)訓(xùn)練集的S（X^K），并使用四分位差（IQR）來設(shè)置閾值： S_thre=Q₃+1.5（Q₃－Q₁），其中Q₁和 Q₃分別為S（X^K）的第25個(gè)和第75個(gè)百分位數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文在多維時(shí)間序列數(shù)據(jù)異常檢測(cè)主流的四個(gè)公開數(shù)據(jù)集上開展實(shí)驗(yàn)，數(shù)據(jù)集特點(diǎn)描述如表1 所示。

SWaT是一個(gè)集成監(jiān)控系統(tǒng)行為的現(xiàn)代網(wǎng)絡(luò)物理系統(tǒng)，其特征主要包括傳感器數(shù)據(jù)和多個(gè)制動(dòng)器的開關(guān)狀態(tài)數(shù)據(jù)。WADI是一個(gè)由大量水分配管道組成的分配系統(tǒng)所記錄的數(shù)據(jù)集合，包含來自正常操作的兩周數(shù)據(jù)。在記錄的時(shí)間段內(nèi)，分配系統(tǒng)在不同的時(shí)間間隔進(jìn)行了一些受控的物理攻擊。SMAP由美國(guó)宇航局NASA和美國(guó)農(nóng)業(yè)部USDA合作開發(fā)的一個(gè)真實(shí)世界專家標(biāo)記數(shù)據(jù)集，用于土壤水分監(jiān)測(cè)和預(yù)測(cè)。MSL是好奇號(hào)火星探測(cè)器在火星表面上進(jìn)行探測(cè)期間所收集的大量科學(xué)數(shù)據(jù)集。

3.2 對(duì)比方法

本次實(shí)驗(yàn)使用的對(duì)比方法為目前有一定影響力的基線方法和主流方法。

a）OmniAnomaly^［12］?；谧兎肿跃幋a器的時(shí)間序列異常檢測(cè)重構(gòu)模型，利用隱變量建模復(fù)雜時(shí)間序列數(shù)據(jù)的分布，從而識(shí)別異常。

b）MAD-GAN^［28］?；谏蓪?duì)抗網(wǎng)絡(luò)的時(shí)間序列異常檢測(cè)重構(gòu)模型，通過生成器和判別器之間的對(duì)抗學(xué)習(xí)來捕捉數(shù)據(jù)的正常模式。

c）USAD^［14］?；谏蓪?duì)抗模型的異常檢測(cè)模型，通過兩個(gè)解碼器對(duì)一個(gè)編碼器進(jìn)行訓(xùn)練，使其能夠有效地檢測(cè)時(shí)間序列中的異常點(diǎn)。

d）GDN^［18］?；趫D神經(jīng)網(wǎng)絡(luò)的模型，利用圖結(jié)構(gòu)學(xué)習(xí)不同傳感器之間的耦合關(guān)系， 對(duì)于多維時(shí)間序列數(shù)據(jù)有著較強(qiáng)的維度相關(guān)分析。

e）FuSAGNet^［29］。聯(lián)合優(yōu)化重構(gòu)模型和預(yù)測(cè)模型，建模了多維時(shí)間序列中的特征關(guān)系。

f）MTGFLOW^［30］。基于密度估計(jì)的模型，通過圖結(jié)構(gòu)學(xué)習(xí)挖掘?qū)嶓w動(dòng)態(tài)關(guān)系，使用歸一化流建立多維時(shí)間序列的精確分布。

3.3 評(píng)價(jià)指標(biāo)

本文的性能評(píng)估將使用精確率（precision）、召回率（recall）和 F₁ 分?jǐn)?shù)為衡量檢測(cè)效果的指標(biāo)。精確率表示被模型預(yù)測(cè)為異常的真實(shí)異常樣本占所有被模型預(yù)測(cè)為異常的比例，用 Prec 表示精確率：

Prec=TPTP+FP（19）

召回率表示被模型預(yù)測(cè)為異常的真實(shí)異常樣本占所有真實(shí)異常樣本的比例，用Rec 表示召回率：

Rec=TPTP+FN（20）

F₁ 分?jǐn)?shù)為綜合考慮精確率和召回率的性能衡量指標(biāo)，用F₁ 表示 F₁ 分?jǐn)?shù)：

F₁=2×Prec×RecPrec+Rec（21）

其中：TP表示被識(shí)別為正的正樣本數(shù)量；FP表示被識(shí)別為正的負(fù)樣本數(shù)量；FN表示被識(shí)別為負(fù)的樣本的負(fù)樣本數(shù)量。

3.4 實(shí)驗(yàn)環(huán)境與設(shè)置

實(shí)驗(yàn)在型號(hào)為NVIDIA GeForce RTX 4060Ti 16 GB的顯卡上進(jìn)行。在 SWAT 和 WADI 數(shù)據(jù)集上設(shè)置窗口長(zhǎng)度 w=60，在 SMAP 和 MSL 數(shù)據(jù)集上設(shè)置窗口長(zhǎng)度 w=30， 實(shí)驗(yàn)中訓(xùn)練集和驗(yàn)證集的劃分比例為6∶4。另外，在實(shí)驗(yàn)中使用 ADAM 優(yōu)化器，其初始學(xué)習(xí)率為1E-3，殘差線性層的層數(shù)為3。按照各個(gè)模型公開的源代碼進(jìn)行實(shí)驗(yàn)，更公平地對(duì)比出不同算法之間的模型性能。

3.5 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文方法的普適性，本節(jié)主要在公開數(shù)據(jù)集上對(duì)其模型性能進(jìn)行評(píng)估與分析，對(duì)比實(shí)驗(yàn)結(jié)果如表2 所示，其中粗體數(shù)據(jù)表示排名第一的數(shù)值，下劃線數(shù)據(jù)表示排名第二的數(shù)值。可以看到，CLDAD在四個(gè)數(shù)據(jù)集上的F₁分?jǐn)?shù)均位居首位，分別是91.63、90.60%、90.06%和93.69%，比其他方法提高了0.83～61.03百分點(diǎn)。在WADI、SWAP和MSL數(shù)據(jù)集上的精確度排名第一，分別是96.83%、95.45%和98.65%，比其他方法提高了1.68～53.74百分點(diǎn)。這充分說明模型能夠適應(yīng)不同數(shù)據(jù)集，具有可靠性和穩(wěn)定性。

SWAT數(shù)據(jù)集比其他數(shù)據(jù)集連續(xù)量特征和離散量特征的數(shù)量更加平衡，GDN 在SWaT 數(shù)據(jù)集上的精確率最高，因?yàn)槠湟肓藞D神經(jīng)網(wǎng)絡(luò)和節(jié)點(diǎn)嵌入表示讓其能在更具平衡的數(shù)據(jù)集上通過圖偏差識(shí)別異常； CLDAD通過聯(lián)合對(duì)比訓(xùn)練可以有效提高模型的泛化能力和魯棒性，其在數(shù)據(jù)集上的所有性能指標(biāo)均表現(xiàn)良好。WADI數(shù)據(jù)集是四個(gè)數(shù)據(jù)集中維度最高、異常比例最低的，CLDAD運(yùn)用雙圖卷積并通過多尺度的時(shí)空融合表示和聯(lián)合對(duì)比學(xué)習(xí)框架提取復(fù)雜的特征維度耦合關(guān)聯(lián)，提高了模型的判別能力，取得了其排名第一的精確度和F₁分?jǐn)?shù)。說明CLDAD能夠高效識(shí)別異常模式，適合處理具有復(fù)雜空間依賴關(guān)系的數(shù)據(jù)。OmniAnomaly取得了優(yōu)異的召回率，說明了重構(gòu)模型利用隱變量建模復(fù)雜時(shí)間序列數(shù)據(jù)的分布在異常比例低的數(shù)據(jù)上表現(xiàn)優(yōu)異。SMAP數(shù)據(jù)集也存在較高的異常污染，CLDAD在精確率上表現(xiàn)最佳，在召回率和F₁分?jǐn)?shù)上排名第二，說明CLDAD受異常干擾小。MTGFLOW 利用異常通常位于低密度區(qū)域的假設(shè)，通過動(dòng)態(tài)圖結(jié)構(gòu)學(xué)習(xí)和實(shí)體感知密度估計(jì)，能夠有效地捕捉時(shí)間序列數(shù)據(jù)中的復(fù)雜依賴關(guān)系，使得它在該數(shù)據(jù)集上取得了略高于CLDAD的召回率；在MSL數(shù)據(jù)集上，CLDAD在精確率和F₁分?jǐn)?shù)上排名第一，說明CLDAD能夠較好地捕捉衛(wèi)星傳感器數(shù)據(jù)中的細(xì)微異常，模型充分捕捉復(fù)雜的時(shí)間依賴和空間依賴關(guān)系得到正異常區(qū)分表示，這對(duì)于處理火星探測(cè)器數(shù)據(jù)中的異常檢測(cè)非常有效。綜上所述，GDN、OmniAnomaly和MTGFLOW在特定數(shù)據(jù)集上表現(xiàn)較好，但總體來看，本文CLDAD更為優(yōu)異。

3.6 消融實(shí)驗(yàn)

為了證明模型中的圖增強(qiáng)模塊（GA）和重組融合表示對(duì)比損失項(xiàng)（RCL）的有效性，進(jìn)行兩項(xiàng)消融研究，性能指標(biāo)F₁分?jǐn)?shù)如表3所示。w/o GA和w/o RCL分別表示移除GA和RCL后的CLDAD模型。首先可以觀察到，相比于原模型，w/o GA的檢測(cè)性能有所下降。這是因?yàn)樵谀Ｐ椭械膱D增強(qiáng)模塊中使用了殘差線性層，讓模型在保留原有圖特征的同時(shí)，放大了鄰接矩陣的特征值并增大了特征值之間的差異，豐富了圖結(jié)構(gòu)中節(jié)點(diǎn)的特征信息，讓其于時(shí)間特征融合時(shí)避免幅值減少帶來的影響， 具有了更強(qiáng)的表達(dá)能力和健壯性。加上GA模塊后，四個(gè)數(shù)據(jù)集中各個(gè)指標(biāo)上的效果提升了2.2～3.57百分點(diǎn)，SWaT的F₁分?jǐn)?shù)從 89.43%增加到91.63%，WADI從87.64%增加到90.60%，SMAP從86.89%增加到90.06%，MSL從90.12%增加到93.69%。 其次，w/o RCL的整體性能相較于CLDAD下滑了7.61～8.53百分點(diǎn)。這是因?yàn)楸疚倪M(jìn)行多塊重組，加入重組融合表示之間的對(duì)比，最大限度地排除了噪聲的干擾，增強(qiáng)了對(duì)比學(xué)習(xí)表示的魯棒性。同時(shí)，這種方式可以解決不同尺度的數(shù)據(jù)表示之間因維度不一致，產(chǎn)生上采樣操作造成信息缺失問題。

3.7 超參數(shù)實(shí)驗(yàn)

為了探索模型中超參數(shù)的敏感性，本文針對(duì)模型訓(xùn)練過程中四個(gè)主要的超參數(shù)，分別是滑動(dòng)窗口大小（W）、圖增強(qiáng)層數(shù)（H）、分塊大?。≒）、批處理大?。˙），進(jìn)行了參數(shù)敏感性的實(shí)驗(yàn)。為了檢驗(yàn)設(shè)置不同的超參數(shù)對(duì)模型訓(xùn)練中的性能影響，實(shí)驗(yàn)在SWaT和MSL兩個(gè)數(shù)據(jù)集上進(jìn)行。實(shí)驗(yàn)結(jié)果如圖9所示。

其中，圖9（a）比較了選取滑動(dòng)窗口大小 W= {30， 45， 60， 75， 90}時(shí)模型的 F₁ 分?jǐn)?shù)。由圖可知，模型的 F₁在窗口大小分別取W=45 和W=60時(shí)最高，其他取值稍有降低。圖9（b）則比較了模型中編碼后的圖增強(qiáng)層數(shù)（H）的影響，分別選取并實(shí)驗(yàn)了H={1，2，3，4，5}時(shí)模型的 F₁分?jǐn)?shù)。由圖可知，模型的 F₁分?jǐn)?shù)均在圖增強(qiáng)層數(shù)（H） 取2時(shí)最高。圖9（c）則比較了模型中編碼后的分塊大?。≒）的影響，分別選取并實(shí)驗(yàn)了P={2，4，6，8，10}時(shí)模型的 F₁分?jǐn)?shù)。由圖可知，模型的 F₁分?jǐn)?shù)在分塊大小（P） 取4和6時(shí)最高。圖9（d）則比較了模型中批處理大?。˙）的影響，分別選取并實(shí)驗(yàn)了B= {16，32，64，128，256}時(shí)模型的 F₁分?jǐn)?shù)。由圖可知，模型的 F₁分?jǐn)?shù)均在批處理大?。˙）取128時(shí)最高。經(jīng)過分析，模型對(duì)圖增強(qiáng)層數(shù)（H）和滑動(dòng)窗口大?。╓）并不敏感，其變化范圍在較小的可控范圍內(nèi)。批處理大?。˙）和分塊大?。≒）對(duì)模型的性能有較大的影響。

3.8 模型復(fù)雜度分析

在相同硬件條件下，將本文CLDAD方法與各對(duì)比方法進(jìn)行計(jì)算效率比較，在MSL數(shù)據(jù)集上進(jìn)行四個(gè)輪次的實(shí)驗(yàn)，計(jì)算方法平均運(yùn)行時(shí)間和平均占用顯存大小，結(jié)果如圖10所示。在運(yùn)行時(shí)間方面，CLDAD也展現(xiàn)了較好的性能。它的運(yùn)行時(shí)間為344 s，僅次于GDN，與其他方法相比顯著更快。例如，與OmniAnomaly和USAD相比，CLDAD明顯縮短了運(yùn)行時(shí)間，提升了計(jì)算效率。在顯存占用方面，CLDAD占用顯存為10.02 GB，在所有方法中并不是最低的，但與占用顯存最多的FuSAGNet相比，顯存占用更為合理，避免了顯存占用過高的問題。同時(shí)，它的顯存使用量也比MAD-GAN和MTGFLOW等方法低，證明了它的資源利用效率。因此，CLDAD在顯存占用和運(yùn)行時(shí)間之間實(shí)現(xiàn)了良好平衡，既保證了較低的顯存需求，又在運(yùn)行時(shí)間上表現(xiàn)出色，證明了其在效率和資源使用上的優(yōu)越性。

3.9 實(shí)驗(yàn)結(jié)果可視化

圖11繪制了某一個(gè)時(shí)間窗口圖結(jié)構(gòu)學(xué)習(xí)后的鄰接矩陣在經(jīng)過GA模塊前后的特征值對(duì)比圖。圖11（a）和（b）分別表示經(jīng)過GA模塊前后的鄰接矩陣特征值分布，可以觀察到特征值的波動(dòng)范圍明顯變大。

為了更直觀地展示異常檢測(cè)結(jié)果，繪制了本文方法在MSL數(shù)據(jù)集時(shí)間戳上的M-6和T-12傳感器的觀測(cè)值、異常區(qū)域與異常分?jǐn)?shù)可視化圖，如圖12所示（見電子版）。其中，紅色陰影區(qū)域?yàn)閷?shí)際異常段。另外，圖12的前兩個(gè)圖中藍(lán)色線為數(shù)據(jù)集中不同傳感器的實(shí)際真實(shí)值，后兩個(gè)圖分別為方法計(jì)算出的異常分?jǐn)?shù)和真實(shí)異常標(biāo)簽，從圖中看出異常分?jǐn)?shù)在正常時(shí)間段內(nèi)較小，在異常時(shí)間段內(nèi)顯著變大，能夠通過對(duì)比較好地區(qū)分出正常值與異常值的差異，這充分驗(yàn)證了CLDAD方法的準(zhǔn)確性與有效性。

4 結(jié)束語(yǔ)

本文提出了一種新的多維時(shí)間序列異常檢測(cè)方法 CLDAD，它通過圖結(jié)構(gòu)學(xué)習(xí)和圖特征增強(qiáng)得到實(shí)體之間的動(dòng)態(tài)變化圖以捕獲動(dòng)態(tài)變化的實(shí)體相關(guān)性，以及使用長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)時(shí)間依賴關(guān)系進(jìn)行提取。通過設(shè)計(jì)的分塊重組操作和圖卷積融合提取了不同尺度間和子序列間的時(shí)空融合表示。設(shè)計(jì)了聯(lián)合對(duì)比訓(xùn)練得到了更具魯棒性的正異常差異表示。實(shí)驗(yàn)表明，與近年來的模型進(jìn)行對(duì)比，在SWaT、WADI、SWAP和MSL四個(gè)公開工業(yè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，本文方法取得了較好的F₁分?jǐn)?shù)，分別為91.63%、90.60%、90.06%和93.69%，比MTGFLOW方法平均高出1.52百分點(diǎn)。

方法的局限性在于采用多層感知機(jī)進(jìn)一步提取融合表示的特征對(duì)整體工作貢獻(xiàn)度不高，下一步的目標(biāo)是研究更適用于多維時(shí)間序列數(shù)據(jù)的時(shí)空特征表示降維模塊優(yōu)化方法。此外，未來另一個(gè)研究方向是探究如何同時(shí)提取多維時(shí)間序列的時(shí)空特征以避免融合操作，進(jìn)一步提高方法的表示能力。

參考文獻(xiàn)：

［1］Lacoquelle C， Pucel X， Travé-massuyès L， et al. Warped time series anomaly detection ［EB/OL］. （2024-08-18） ［2024-07-16］.https：//arxiv.org/abs/2404.12134.

［2］滕飛，黃齊川，李天瑞，等. 大規(guī)模時(shí)間序列分析框架的研究與實(shí)現(xiàn)［J］.計(jì)算機(jī)學(xué)報(bào)，2020，43（7）：1279-1292.（Teng Fei， Huang Qichuan， Li Tianrui， et al. An analysis framework for large-scale time series［J］. Chinese Journal of Computers，2020，43（7）：1279-1292.

［3］謝偉，盧士達(dá)，時(shí)寬治，等. 面向工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)的異常檢測(cè)方法［J］.計(jì)算機(jī)工程與應(yīng)用，2024，60（12）：270-282.（Xie Wei， Lu Shida， Shi Kuanzhi， et al. Anomaly detection method for industrial IoT timing data［J］. Computer Engineering and Applications， 2024，60（12）：270-282.）

［4］陳文禮，蘇宇，陳玲俐，等. 雙特征層次嵌入的多維時(shí)序異常檢測(cè)方法［J］.計(jì)算機(jī)工程與應(yīng)用，2024，60（21）：142-153.（Chen Wenli， Su Yu， Chen Lingli， et al. Double feature hierarchical embedding multivariate time series anomaly detection method［J］. Computer Engineering and Applications， 2024，60（21）：142-153.）

［5］曹晨曦，田友琳，張昱堃，等. 基于統(tǒng)計(jì)方法的異常點(diǎn)檢測(cè)在時(shí)間序列數(shù)據(jù)上的應(yīng)用［J］.合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2018，41（9）：1284-1288.（Cao Chenxi， Tian Youlin， Zhang Yukun， et al. Application of statistical methods in outlier detection for time series data［J］. Journal of Hefei University of Technology：Natural Science，2018，41（9）：1284-1288.）

［6］吳彥文，譚溪晨，葛迪，等. 結(jié)合重構(gòu)和圖預(yù)測(cè)的多元時(shí)序異常檢測(cè)框架［J］.計(jì)算機(jī)工程與應(yīng)用，2024，60（13）：301-310.（Wu Yanwen， Tan Xichen， Ge Di， et al. Combining reconstruction and graph prediction for multi-dimensional time series anomaly detection framework［J］. Computer Engineering and Applications， 2024，60（13）：301-310.）

［7］霍緯綱，王慧芳. 基于自編碼器和隱馬爾可夫模型的時(shí)間序列異常檢測(cè)方法［J］.計(jì)算機(jī)應(yīng)用，2020，40（5）：1329-1334.（Huo Weigang， Wang Huifang. Time series anomaly detection method based on autoencoder and HMM［J］. Journal of Computer Applications，2020，40（5）：1329-1334.）

［8］伍冠潮，凌捷. 基于自適應(yīng)交互學(xué)習(xí)的CPS時(shí)間序列異常檢測(cè)［J］.計(jì)算機(jī)應(yīng)用研究，2023，40（10）：2933-2938.（Wu Guanchao， Ling Jie. Time series anomaly detection for cyber physical systems based on adaptive interactive learning［J］. Application Research of Computers，2023，40（10）：2933-2938.）

［9］Caron M， Misra I， Mairal J， et al. Unsupervised learning of visual features by contrasting cluster assignments ［C］// Proc of the 34th International Conference on Neural Information Processing Systems. New York： Curran Associates Inc.，2020：9912-9924.

［10］Chen Ting， Kornblith S， Norouzi M， et al. A simple framework for contrastive learning of visual representations ［C］// Proc of the 37th International Conference on Machine Learning. New York： Curran Associates Inc.，2020： 1597-1607.

［11］He Kaiming， Fan Haoqi， Wu Yuxin， et al. Momentum contrast for unsupervised visual representation learning ［C］//Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2020：9729-9738.

［12］Su Ya， Zhao Youjian， Niu Chenhao， et al. Robust anomaly detection for multivariate time series through stochastic recurrent neural network ［C］// Proc of the 25th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press， 2019： 2828-2837.

［13］Tuli S， Casale G， Jennings N R. TranAD： deep transformer networks for anomaly detection in multivariate time series data ［C］// Proc of the 48th International Conference on Very Large Databases. New York： ACM Press， 2022.

［14］Garg A， Zhang Wenyu， Samaran J， et al. An evaluation of anomaly detection and diagnosis in multivariate time series［J］. IEEE Trans on Neural Networks and Learning Systems，" 2021， 33（6）： 2508-2517.

［15］Xu Jiehui， Wu Haixu， Wang Jianmin， et al. Anomaly Transformer： time series anomaly detection with association discrepancy ［EB/OL］. （2022-06-29） ［2024-07-16］. https：//arxiv.org/abs/2110.02642.

［16］Zhao Hang， Wang Yujing， Duan Juanyong， et al. Multivariate time-series anomaly detection via graph attention network［C］// Proc of IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2020： 841-850.

［17］Hundman K， Constantinou V， Laporte C， et al. Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding ［C］// Proc of the 24th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press， 2018： 387-395.

［18］Deng A， Hooi B. Graph neural network-based anomaly detection in multivariate time series ［C］// Proc of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 4027-4035.

［19］Dai Enyan， Chen Jie. Graph-augmented normalizing flows for anomaly detection of multiple time series ［EB/OL］. （2022-05-08） ［2024-07-16］.https：//arxiv.org/abs/2202.07857

［20］Zong Bo， Song Qi， Min M R， et al. Deep autoencoding Gaussian mixture model for unsupervised anomaly detection ［EB/OL］. （2018-02-16）［2024-07-16］. https：//openreview.net/forum？id=BJJLHbb0-.

［21］Zhang Chuxu， Song Dongjin， Chen Yuncong， et al. A deep neural network for unsupervised anomaly detection and diagnosis in multivariate time series data ［C］// Proc of the 33th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 1409-1416.

［22］Jin Ming， Koh H Y， Wen Qingsong， et al. A survey on graph neural networks for time series： forecasting， classification， imputation， and anomaly detection ［EB/OL］. （2023-07-07）. https：//arxiv.org/abs/2307.03759.

［23］Grill J-B， Strub F， Altché F， et al. Bootstrap your own latent-a new approach to self-supervised learning［C］// Proc of the 34th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc. 2020： 21271-21284.

［24］Yang Yiyuan， Zhang Chaoli， Zhou Tian， et al. DCdetector： dual attention contrastive representation learning for time series anomaly detection ［C］// Proc of the 29th ACM SIGKDD Conference on Know-ledge Discovery amp; Data Mining. New York： ACM Press，2023： 3033-3045.

［25］Lan Xiang， Yan Hanshu， Hong Shenda， et al. Towards better time series contrastive learning： a dynamic bad pair mining approach ［EB/OL］. （2023-02-07）［2024-07-16］. https：//arxiv.org/abs/2302.03357.

［26］Jin Yixuan， Wei Yutao， Cheng Zhangtao， et al. Multi-scale dynamic graph learning for time series anomaly detection： student abstract ［C］// Proc of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021：23523-23524.

［27］Kipf T N， Welling M. Semi-supervised classification with graph con-volutional networks［EB/OL］. （2017-02-22）. https：//arxiv.org/abs/1609.02907.

［28］Li Dan， Chen Dacheng， Jin Baihong， et al. MAD-GAN： multivariate anomaly detection for time series data with generative adversarial networks ［C］//Proc of International Conference on Artificial Neural Networks. Berlin： Springer， 2019： 703-716.

［29］Han S， Woo S S. Learning sparse latent graph representations for anomaly detection in multi-variate time series ［C］// Proc of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2022： 2977-2986.

［30］Zhou Qihang， Chen Jiming， Liu Haoyu， et al. Detecting multivariate time series anomalies with zero known label ［C］// Proc of the 37th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2023：4963-4971.