基于LSTMs-Autoencoder的流數(shù)據(jù)異常檢測(cè)算法

時(shí) 磊

(浙江工商大學(xué)信息與電子工程學(xué)院，浙江杭州 310018)

0 引言

隨著計(jì)算機(jī)和大數(shù)據(jù)技術(shù)的不斷發(fā)展，來自不同設(shè)備和應(yīng)用所產(chǎn)生的高容量、高速度的數(shù)據(jù)流正穩(wěn)步增長。其中，最重要的課題之一是對(duì)流數(shù)據(jù)的異常檢測(cè)[1-3]。它在傳感器數(shù)據(jù)異常檢測(cè)、預(yù)測(cè)維護(hù)、事件檢測(cè)等領(lǐng)域都得到了廣泛的關(guān)注和研究。

對(duì)于不同類型的數(shù)據(jù)，有相應(yīng)的異常檢測(cè)方法。例如，文獻(xiàn)[4]針對(duì)設(shè)備性能指標(biāo)、用戶數(shù)據(jù)指標(biāo)的異常檢測(cè)問題，使用k-means將歷史數(shù)據(jù)按照時(shí)間進(jìn)行劃分，使用grubbs算法剔除歷史數(shù)據(jù)中的噪音，提出了一種混合異常檢測(cè)方法。文獻(xiàn)[5]針對(duì)電力大數(shù)據(jù)流的異常檢測(cè)問題，將流數(shù)據(jù)聚類算法與電力大數(shù)據(jù)相結(jié)合，從數(shù)據(jù)的完整性、安全性以及流數(shù)據(jù)聚類算法的低時(shí)間復(fù)雜度的角度出發(fā)，對(duì)CluStream流數(shù)據(jù)聚類算法進(jìn)行改進(jìn)，提出了一種流式K-means聚類算法。文獻(xiàn)[6]為了準(zhǔn)確檢測(cè)空管監(jiān)視技術(shù)中的ADS-B數(shù)據(jù)，在充分考慮時(shí)間相關(guān)性的基礎(chǔ)上，提出了針對(duì)ADS-B數(shù)據(jù)的異常數(shù)據(jù)檢測(cè)模型。文獻(xiàn)[7]針對(duì)電力用戶的異常用電行為，利用TensorFlow框架，構(gòu)建了特征提取網(wǎng)絡(luò)和多層特征匹配網(wǎng)絡(luò)，提出一種基于深度學(xué)習(xí)的用戶異常用電模式檢測(cè)模型。

當(dāng)前，大多異常檢測(cè)模型為批處理模型，這就意味著整個(gè)訓(xùn)練集必須提前準(zhǔn)備，這便成為當(dāng)今大數(shù)據(jù)背景下的一個(gè)難點(diǎn)。近十年來，隨著硬件技術(shù)的飛速發(fā)展，數(shù)據(jù)采集和分析的形式發(fā)生了重大變化。具體地說，在物聯(lián)網(wǎng)應(yīng)用中，數(shù)據(jù)是從連接到物聯(lián)網(wǎng)設(shè)備的傳感器獲取的，并持續(xù)不斷地到達(dá)。在開始時(shí)，并沒有靜態(tài)的訓(xùn)練集可用于批處理方式的模型初始化。

與傳統(tǒng)的異常檢測(cè)任務(wù)不同，流數(shù)據(jù)中的異常檢測(cè)尤其困難，因?yàn)閿?shù)據(jù)是隨時(shí)間到達(dá)的，具有潛在分布變化，單個(gè)平穩(wěn)模型并不總是能對(duì)流數(shù)據(jù)進(jìn)行擬合。一方面，在傳統(tǒng)的批處理分類器中，無限數(shù)據(jù)流會(huì)導(dǎo)致內(nèi)存溢出問題；另一方面，流數(shù)據(jù)通常具有很高的速度，卻留給系統(tǒng)很少的處理時(shí)間。此外，數(shù)據(jù)的統(tǒng)計(jì)特性也會(huì)隨著時(shí)間的推移而改變，這在形式上稱為概念漂移[1]。因此，流數(shù)據(jù)異常檢測(cè)算法應(yīng)具備以下特征：(1)僅用一個(gè)小子集進(jìn)行初始化；(2)實(shí)時(shí)處理流數(shù)據(jù)并進(jìn)行檢測(cè)；(3)實(shí)時(shí)適應(yīng)流上的數(shù)據(jù)演化；(4)模型應(yīng)該能夠應(yīng)對(duì)概念漂移現(xiàn)象。

長短記憶網(wǎng)絡(luò)(LSTM)是一種對(duì)時(shí)間序列表現(xiàn)出動(dòng)態(tài)時(shí)間行為的遞歸神經(jīng)網(wǎng)絡(luò)[8]。作為一種基于神經(jīng)網(wǎng)絡(luò)的模型，長短記憶網(wǎng)絡(luò)(LSTM)能夠直接處理高維非線性數(shù)據(jù)。近十年來，LSTM被廣泛應(yīng)用于時(shí)間序列預(yù)測(cè)和文本預(yù)測(cè)。最近，LSTM也被用于時(shí)間序列異常檢測(cè)，以捕獲數(shù)據(jù)點(diǎn)之間的時(shí)間信息。例如文獻(xiàn)[9-11]中引入了一種基于LSTM的異常檢測(cè)方法，并在多時(shí)間序列數(shù)據(jù)集中取得了良好的性能。然而，在這些研究中，他們?nèi)匀患僭O(shè)整個(gè)數(shù)據(jù)集是可用的，并在靜態(tài)數(shù)據(jù)上工作，沒有考慮在線實(shí)時(shí)檢測(cè)問題。

本文提出了一種增量式LSTMs-Autoencoder異常檢測(cè)模型，該算法是專門針對(duì)時(shí)間序列數(shù)據(jù)采用長短記憶網(wǎng)絡(luò)(LSTM)的流方式設(shè)計(jì)，具有在線檢測(cè)能力，并可以進(jìn)行模型更新。對(duì)于每個(gè)累積的小批流數(shù)據(jù)，依據(jù)之前的正常數(shù)據(jù)運(yùn)用自動(dòng)編碼器(Autoencoder)進(jìn)行知識(shí)重構(gòu)。此外，當(dāng)檢測(cè)到數(shù)據(jù)分布變化時(shí)，算法能夠自我更新。仿真實(shí)驗(yàn)表明，LSTMs-Autoencoder在不同的數(shù)據(jù)流上具有檢測(cè)異常的能力，并且能夠通過模型在線更新對(duì)不同的概念漂移進(jìn)行自我調(diào)整。

1 深層遞歸神經(jīng)網(wǎng)絡(luò)(LSTMs)

遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network，RNN)[12]與其他前饋神經(jīng)網(wǎng)絡(luò)[13]相比，由于其遞歸特性能夠有效捕獲數(shù)據(jù)點(diǎn)之間的時(shí)間依賴關(guān)系，被廣泛應(yīng)用于語音、視頻識(shí)別以及預(yù)測(cè)等方面。然而，記憶容量有限、消失梯度等問題，是RNN最顯著的缺點(diǎn)。因此，長短記憶網(wǎng)絡(luò)(LSTM)作為一種增強(qiáng)的神經(jīng)網(wǎng)絡(luò)，能夠在任意時(shí)間間隔內(nèi)記住有價(jià)值的信息。RNN和LSTM網(wǎng)絡(luò)基本結(jié)構(gòu)如圖1所示，LSTM在傳統(tǒng)RNN的基礎(chǔ)上進(jìn)行改進(jìn)，增加了單元控制機(jī)制，以解決RNN所存在的長期依賴以及梯度爆炸問題。LSTM單元中的遺忘門和更新門能夠捕獲長期內(nèi)存，并根據(jù)每個(gè)時(shí)間步長的輸入數(shù)據(jù)選擇必要的以前信息和最新信息。

LSTM對(duì)信息的控制與傳輸，主要通過S型函數(shù)進(jìn)行，如圖2所示，LSTM核心神經(jīng)元像傳送帶那樣水平線貫穿于LSTM結(jié)構(gòu)的頂部，并與點(diǎn)乘單元構(gòu)成閾門。

圖3為LSTM的遺忘門，LSTM通過遺忘門來選擇性地處理隱藏單元的輸出，即根據(jù)上一時(shí)間隱藏層的狀態(tài)和當(dāng)前時(shí)間節(jié)點(diǎn)的輸入來計(jì)算介于0和1之間的值，并作用于上一時(shí)間的單元狀態(tài)以確定需要存儲(chǔ)什么信息。當(dāng)hi-1是之前的狀態(tài)，xt是在時(shí)間t的序列向量時(shí)，可得：

rt=σ(Wrxt+Urht-1+br)

(1)

式中：Wr和Ur為權(quán)重系數(shù)；σ(·)為S形函數(shù)；br為偏差項(xiàng)。

圖4是LSTM中的輸入門，該部分可以去除一些不必要的信息。通過以當(dāng)ht-1和xt作為輸入，經(jīng)過加入神經(jīng)元相位相量的候選狀態(tài)所建立的層，從而確定需要保留的內(nèi)容以及更新的單元狀態(tài)：

it=σ(Wzxt+Uzht-1+bz)

(2)

(3)

式中：tanh(·)為雙曲正切函數(shù)；bz、bh分別為偏差項(xiàng)；運(yùn)算符?表示逐元素乘法。

圖5為LSTM的更新門，待狀態(tài)Ct-1更新為狀態(tài)Ct，將狀態(tài)Ct-1乘以ft，忘記早些已經(jīng)決定忘記的信息，然后與輸入門的輸出相加，即可確定需要更新的狀態(tài)。

校企合作是高職院校培養(yǎng)高素質(zhì)技能型和應(yīng)用型人才的必由之路，高職院校辦學(xué)的基本目標(biāo)之一是向社會(huì)、向企業(yè)輸送具有高素質(zhì)、多技能符合社會(huì)多樣化需求的復(fù)合型、創(chuàng)新型、應(yīng)用型專門人才。而要達(dá)到以上人才培養(yǎng)目標(biāo)，高職院校則必須直接順應(yīng)市場(chǎng)變化，與體現(xiàn)市場(chǎng)行業(yè)需求的企業(yè)開展校企合作。讓企業(yè)走進(jìn)校園，企業(yè)直接參與高職院校學(xué)生職業(yè)技能的培養(yǎng)。讓校園融入企業(yè)，高職院?？山柚Ｆ蠛献鬟@個(gè)平臺(tái)，直接了解企業(yè)需求，及時(shí)調(diào)整教學(xué)計(jì)劃，重新進(jìn)行優(yōu)化組合，與企業(yè)共同育人，從而培養(yǎng)出社會(huì)和企業(yè)需要的人才。

(4)

最后，通過如圖6所示的輸出門，即可控制當(dāng)前隱藏層節(jié)點(diǎn)的輸出，并確定是輸出到下一個(gè)隱藏層還是到輸出層。

(5)

ht=ottanh(Ct)

(6)

本文將單個(gè)LSTM網(wǎng)絡(luò)通過疊加，構(gòu)成一個(gè)深層遞歸神經(jīng)網(wǎng)絡(luò)，稱之為LSTMs。深層遞歸神經(jīng)網(wǎng)絡(luò)(LSTMs)，是一個(gè)隨時(shí)間展開的前饋神經(jīng)網(wǎng)絡(luò)，其中每一層能夠共享相同的模型參數(shù)。如圖7(a)所示，是LSTM神經(jīng)網(wǎng)絡(luò)的示例，其中共有3個(gè)LSTM層，每個(gè)層可以展開為多個(gè)LSTM單元。如圖7(b)所示，深色點(diǎn)代表展開的LSTM單元，空心點(diǎn)和灰點(diǎn)代表輸入和輸出窗口。

2 LSTMs-Autoencoder架構(gòu)

自動(dòng)編碼器(Autoencoder)[14]結(jié)構(gòu)如圖8所示，是一種結(jié)構(gòu)對(duì)稱的人工神經(jīng)網(wǎng)絡(luò)。通常，自動(dòng)編碼器至少有一個(gè)隱含層，該隱含層比輸入層和輸出層包含的神經(jīng)元少。自動(dòng)編碼器的基本目的是重構(gòu)自己的輸入，在隱含層將學(xué)習(xí)輸入數(shù)據(jù)進(jìn)行低維表示(編碼)。此外，通過測(cè)量輸入與預(yù)測(cè)之間的重構(gòu)誤差，自動(dòng)編碼器可用于異常檢測(cè)。這其中，通常將輸入層和隱含層之間的組件稱為編碼器，隱含層和輸出層之間的對(duì)稱組件稱為解碼器。對(duì)于輸入變量，自動(dòng)編碼器的目標(biāo)是找到編碼器和解碼器的權(quán)值向量，從而使重構(gòu)誤差最?。?/p>

(7)

式中：Φ是編碼器；H是隱藏層；Ψ是解碼器。

本文將深層遞歸神經(jīng)網(wǎng)絡(luò)(LSTMs)[15]與自動(dòng)編碼器(Autoencoder)[16]相結(jié)合，提出了一種新的異常檢測(cè)架構(gòu)，稱之為LSTMs-Autoencoder。該架構(gòu)具有與自動(dòng)編碼器相同的編解碼器架構(gòu)，以神經(jīng)元為LSTM單元，并且按照深層遞歸神經(jīng)網(wǎng)絡(luò)方式進(jìn)行疊加連接。圖9(a)是基本LSTMs-autoencoder架構(gòu)，在編碼器(Encoder)和解碼器(Decoder)端分別有一個(gè)LSTM層。該模型以長度為T的窗口作為輸入(每一步為一個(gè)實(shí)例)，每個(gè)狀態(tài)攜帶序列信息，并隨著時(shí)間通過LSTM單元傳遞。當(dāng)編碼器到達(dá)最后一種編碼器狀態(tài)即圖9(b)的ET時(shí)，其單元狀態(tài)實(shí)際上是輸入窗口的固定長度嵌入，并作為解碼器的初始單元狀態(tài)復(fù)制到解碼器，從而輸入信息也傳輸?shù)浇獯a器。為了使優(yōu)化問題更容易，解碼器以相反的順序進(jìn)行檢測(cè)。

3 Encoder-decoder模型

該模型由兩個(gè)LSTM單元組成，一個(gè)作為編碼器(Encoder)，另一個(gè)作為解碼器(Decoder)。編碼器輸入為形狀〈MB，T，D〉的固定長度向量，其中，MB為小批處理中包含的窗口數(shù)，T為每個(gè)數(shù)據(jù)窗口內(nèi)的數(shù)據(jù)點(diǎn)數(shù)，D為數(shù)據(jù)維數(shù)。在這里，初始化階段將MB和T作為超參數(shù)學(xué)習(xí)。在解碼器端，它為每個(gè)小批輸出完全相同格式的數(shù)據(jù)向量，LSTM單元將自己的單元狀態(tài)復(fù)制為下一個(gè)時(shí)間戳的單元輸入之一。在編碼器的最后一個(gè)時(shí)間戳中，LSTM單元的單元狀態(tài)是輸入向量的隱藏表示，并作為初始單元狀態(tài)復(fù)制到解碼器單元中，從而將隱藏信息傳遞給解碼器。隱藏層表示向量的大小，即單元狀態(tài)的大小是初始化階段需要學(xué)習(xí)的另一個(gè)超參數(shù)。這其中，隱藏向量越大，在過程中捕捉到的信息將越多，是一個(gè)對(duì)數(shù)據(jù)依賴性強(qiáng)的特征。

為了讓整個(gè)過程在線進(jìn)行，模型初始化也利用了流數(shù)據(jù)。一旦流數(shù)據(jù)的一個(gè)小子集可用，就會(huì)學(xué)習(xí)超參數(shù)，然后從流中收集另一個(gè)只包含正常數(shù)據(jù)的數(shù)據(jù)集，用于訓(xùn)練。假設(shè)一旦確定了異常檢測(cè)任務(wù)，則將明確定義異常狀態(tài)，異常數(shù)據(jù)子集將用于模型初始化。為此，將正常數(shù)據(jù)分成4個(gè)子集，其中N1用于超參數(shù)調(diào)優(yōu)，N2用于模型訓(xùn)練，N3用于早期停止和參數(shù)評(píng)分學(xué)習(xí)，N4用于測(cè)試。將異常數(shù)據(jù)分成2個(gè)子集，其中A1用于判定異常評(píng)分閾值，A2用于測(cè)試。

由于自動(dòng)編碼器需要利用正常數(shù)據(jù)對(duì)輸入數(shù)據(jù)進(jìn)行重構(gòu)，因此當(dāng)輸入數(shù)據(jù)中含有異常時(shí)，由于缺乏異常知識(shí)，重構(gòu)誤差將會(huì)明顯增大。對(duì)于輸入x(i)，其重構(gòu)誤差為[17]：

e(i)=|x(i)-x′(i)|

(8)

用N3中數(shù)據(jù)點(diǎn)的重建誤差，來估計(jì)最大似然估計(jì)正態(tài)分布N(μ,δ2)的參數(shù)μ和δ2。定義點(diǎn)x(i)的異常分?jǐn)?shù)為：

a(i)=(e(i)-μ)Tδ-2(e(i)-μ)

(9)

在初始化階段，用N3和A1來學(xué)習(xí)異常分?jǐn)?shù)的閾值τ：

τ=arg max AUC(a(N3),a(A1))

(10)

式中：AUC(·)是將窗口中每個(gè)實(shí)例的異常值與閾值τ進(jìn)行比較，經(jīng)超過閾值τ的值判定為異常值。

4 在線檢測(cè)

將模型用于流數(shù)據(jù)，由于初始化數(shù)據(jù)相對(duì)較小和簡單，隨著時(shí)間推移會(huì)出現(xiàn)概念漂移，自動(dòng)編碼器將可能會(huì)過時(shí)。因此，對(duì)模型的在線檢測(cè)與更新將必不可少。

待LSTMs-Autoencoder初始化之后，為了實(shí)現(xiàn)在線檢測(cè)，需加入一個(gè)多線程設(shè)置。其中，子線程不斷地從流中收集數(shù)據(jù)實(shí)例，只要子線程能夠提供少量的數(shù)據(jù)，主線程就可以進(jìn)行實(shí)時(shí)異常檢測(cè)。對(duì)于每一批處理中的單一窗口，可依據(jù)式(9)計(jì)算異常分?jǐn)?shù)。

如圖10所示，系統(tǒng)將維護(hù)2個(gè)數(shù)據(jù)緩沖區(qū)來用于更新，其中一個(gè)用于正常數(shù)據(jù)，另一個(gè)則用于異常數(shù)據(jù)。在在線處理期間，如果系統(tǒng)檢測(cè)到模型不再適合當(dāng)前數(shù)據(jù)，則觸發(fā)模型更新，使用2個(gè)緩沖區(qū)中收集的最新數(shù)據(jù)進(jìn)行更新。實(shí)際應(yīng)用中，流數(shù)據(jù)很少出現(xiàn)異常，所以經(jīng)常會(huì)出現(xiàn)模型需要更新來擬合最新數(shù)據(jù)，而緩沖區(qū)中仍然缺少異常數(shù)據(jù)來更新異常分?jǐn)?shù)閾值的情況。為此，只要異常緩沖區(qū)不是空的，就會(huì)觸發(fā)更新。如果異常數(shù)據(jù)不足以組成單個(gè)批處理，那么將在異常緩沖區(qū)中復(fù)制窗口，直到緩沖區(qū)適合批處理大小。當(dāng)正常緩沖區(qū)達(dá)到預(yù)定的大小且異常緩沖區(qū)不為空時(shí)，在子線程中更新模型，而主線程繼續(xù)處理流數(shù)據(jù)。

5 仿真實(shí)驗(yàn)

實(shí)驗(yàn)中使用了電力需求(power demand)數(shù)據(jù)[18-19]來驗(yàn)證本文算法性能。電力需求數(shù)據(jù)集是一個(gè)單變量時(shí)間序列，記錄了常年的電力需求情況。通常，工作日電力需求高于周末，白天電力需求高于夜晚，特殊日(如節(jié)假日)電力需求會(huì)出現(xiàn)異常。異常檢測(cè)的目的，是能夠根據(jù)正常的電力需求量，上下關(guān)聯(lián)自主檢測(cè)出異時(shí)間段。

為了比較訓(xùn)練前和訓(xùn)練后的性能，在每次模型更新后，實(shí)驗(yàn)計(jì)算了指定時(shí)間段的AUC值。如圖11所示，x軸表示周期，y軸表示AUC值。對(duì)于每個(gè)數(shù)據(jù)集，比較了平穩(wěn)模型(僅使用初始化集訓(xùn)練)和自適應(yīng)模型(在線更新)的AUC值。實(shí)驗(yàn)表明在大多數(shù)情況下，自適應(yīng)模型優(yōu)于平穩(wěn)模型，這表明模型能夠從知識(shí)中進(jìn)行更新而不是從流數(shù)據(jù)中獲益。

為了展示在線檢測(cè)流數(shù)據(jù)更新的優(yōu)勢(shì)，實(shí)驗(yàn)中檢驗(yàn)了電力需求的在線訓(xùn)練過程。電力需求數(shù)據(jù)集雖不包含明確的增量或突然的概念漂移，但正常模式之間仍然略有不同。一般情況下，自編碼器重構(gòu)的正常數(shù)據(jù)重構(gòu)誤差相對(duì)較小，而異常數(shù)據(jù)的重構(gòu)誤差較大。如圖12所示，演示了PowerDemand中的2個(gè)典型數(shù)據(jù)窗口，一個(gè)正常窗口和一個(gè)異常窗口。異常周的周一(圖12(c))是一個(gè)特殊的數(shù)據(jù)，其電力需求異常低。即使如此，Autoencoder仍然像往常一樣重構(gòu)周一，但異常得分更高，因此重構(gòu)誤差在周一明顯更為明顯，模型最終將一周情況標(biāo)記為異常。

在對(duì)PowerDemand數(shù)據(jù)集進(jìn)行的實(shí)驗(yàn)中，將電力需求類型分為7種標(biāo)簽。如圖13所示，在開始階段，TYPE1數(shù)據(jù)出現(xiàn)在流中，其中一部分用于模型初始化。隨后，在結(jié)束階段中出現(xiàn)來自TYPE2、TYPE3、TYPE5、TYPE6、TYPE7的數(shù)據(jù)，最后是TYPE2。異常數(shù)據(jù)(TYPE4)在流中隨機(jī)分布。通常，流數(shù)據(jù)中存在漂移現(xiàn)象是輕微的、周期性的、潛在的以及重復(fù)的。一個(gè)輕微的數(shù)據(jù)漂移可能不會(huì)觸發(fā)再訓(xùn)練，但需要將新知識(shí)保存到訓(xùn)練緩沖區(qū)中，這樣，一旦用新知識(shí)對(duì)模型進(jìn)行訓(xùn)練，當(dāng)發(fā)生相同的漂移現(xiàn)象時(shí)，模型可以從容面對(duì)。此外，當(dāng)一個(gè)新類型數(shù)據(jù)流出現(xiàn)在流中，正常數(shù)據(jù)得分總會(huì)出現(xiàn)峰值，從而與異常分?jǐn)?shù)的差值會(huì)減小。

在線更新的主要優(yōu)點(diǎn)是，它能夠?qū)﹄S著時(shí)間的推移而出現(xiàn)的數(shù)據(jù)奇異變化做出反應(yīng)。但系統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)，可能會(huì)隨著時(shí)間的推移而發(fā)生變化，這種現(xiàn)象被稱為概念漂移[1]。為了有效驗(yàn)證這一點(diǎn)，實(shí)驗(yàn)過程中構(gòu)造了PowerDemand+數(shù)據(jù)集。PowerDemand+數(shù)據(jù)集是在PowerDemand之后直接連接假日電力需求數(shù)據(jù)集而形成的，因此在兩者之間有一個(gè)突然的概念漂移。但模型初始化時(shí)，只使用了PowerDemand數(shù)據(jù)，假日電力需求數(shù)據(jù)集對(duì)于模型來說是完全未知的知識(shí)。圖14顯示了PowerDemand+數(shù)據(jù)流正常和異常數(shù)據(jù)的異常分?jǐn)?shù)。在開始時(shí)，數(shù)據(jù)流中只有PowerDemand數(shù)據(jù)，并且部分用于模型初始化。在在線預(yù)測(cè)階段，一旦有假日電力需求數(shù)據(jù)到達(dá)，正常數(shù)據(jù)得分曲線出現(xiàn)了第一個(gè)峰值，然后緩沖區(qū)以為少量的PowerDemand數(shù)據(jù)和大部分假日電力需求數(shù)據(jù)觸發(fā)模型更新。在第一次模型更新之后，由于缺少足夠的假日電力需求數(shù)據(jù)，模型的性能仍然不是很理想，因此在接下來的流數(shù)據(jù)處理中還觸發(fā)了兩次模型更新。因此，除了概念漂移后的一小段時(shí)間，對(duì)PowerDemand+流數(shù)據(jù)的異常檢測(cè)總體來說是好的。

最后，為了評(píng)估本文算法對(duì)檢測(cè)異常數(shù)據(jù)、確定異常分?jǐn)?shù)的有效性，與另一種用于流數(shù)據(jù)異常檢測(cè)方法異常數(shù)據(jù)分別建模算法(abnormal data distribution modeling，ADM)進(jìn)行比較，并分別為算法設(shè)定了兩種不同的權(quán)重值。圖15顯示了兩種算法分別在兩種訓(xùn)練效率設(shè)置下的訓(xùn)練效果以及檢測(cè)效果的性能比較。ADM算法由于僅是對(duì)異常數(shù)據(jù)進(jìn)行分布式建模，更適用于有大量異常數(shù)據(jù)的情況。總體而言，本文算法在訓(xùn)練準(zhǔn)確率上比ADM算法總體高0.07%，在檢測(cè)誤差方面比ADM算法總體低0.004%。

6 結(jié)論

針對(duì)流數(shù)據(jù)存在的實(shí)時(shí)檢測(cè)以及概念飄逸等問題，首先在遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建長短記憶單元，將多個(gè)LSTM單元通過疊加，構(gòu)成了一個(gè)深層遞歸神經(jīng)網(wǎng)絡(luò)(LSTMs)；然后將深層遞歸神經(jīng)網(wǎng)絡(luò)與自動(dòng)編碼器(Autoencoder)相結(jié)合，從而提出了一種基于LSTMs-Autoencoder的流數(shù)據(jù)異常檢測(cè)算法。該算法具有與自動(dòng)編碼器相同的編解碼器架構(gòu)，以神經(jīng)元為LSTM單元，并且按照深層遞歸神經(jīng)網(wǎng)絡(luò)方式進(jìn)行疊加連接，能夠僅用數(shù)據(jù)子集實(shí)現(xiàn)初始化，能夠?qū)崟r(shí)處理流數(shù)據(jù)并進(jìn)行檢測(cè)，能夠?qū)崟r(shí)適應(yīng)流上的數(shù)據(jù)演化，能夠有效應(yīng)對(duì)概念漂移現(xiàn)象。結(jié)果表明，算法能夠充分檢測(cè)數(shù)據(jù)流中的異常，并及時(shí)更新模型以符合最新的數(shù)據(jù)屬性。