基于CNN-BiLSTM特征融合的異常檢測(cè)算法

王晨輝 王恩東 高曉鋒

1(鄭州大學(xué)信息工程學(xué)院 河南 鄭州 450001) 2(浪潮電子信息產(chǎn)業(yè)股份有限公司 山東 濟(jì)南 250101)

0 引 言

云計(jì)算的發(fā)展帶來(lái)數(shù)據(jù)中心規(guī)?；?、集中化的趨勢(shì)，為保障用戶所需業(yè)務(wù)的穩(wěn)定運(yùn)行，在云數(shù)據(jù)中心需要對(duì)監(jiān)控指標(biāo)進(jìn)行異常檢測(cè)，但由于監(jiān)控指標(biāo)多、數(shù)據(jù)量大的特點(diǎn)，完全依賴人力來(lái)判定異常已經(jīng)不切實(shí)際。同時(shí)數(shù)據(jù)中心和人們的生產(chǎn)生活都密切相關(guān)，一旦異常不能夠及時(shí)進(jìn)行處理，就會(huì)帶來(lái)嚴(yán)重的損失。2018年8月，騰訊云服務(wù)因操作失誤造成大量數(shù)據(jù)丟失，造成了難以估量的損失。因此，亟需一種高效且穩(wěn)定的運(yùn)維方式來(lái)解決這一問(wèn)題。Gartner于2016年提出智能運(yùn)維(Artificial Intelligence for IT Operations，AIops)的概念，基于數(shù)據(jù)中心的運(yùn)維數(shù)據(jù)，通過(guò)統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法來(lái)處理手動(dòng)運(yùn)維無(wú)法解決的問(wèn)題[1]，進(jìn)而大大提高了運(yùn)維效率。

1 相關(guān)工作

針對(duì)智能運(yùn)維中異常檢測(cè)方法的研究，國(guó)內(nèi)外的研究人員將異常檢測(cè)方法主要分為兩種。一種是基于統(tǒng)計(jì)模型的方法[2]，例如：Yahoo團(tuán)隊(duì)于2015年提出一種時(shí)間序列異常檢測(cè)框架EGADS[3]，將目前流行的回歸模型和差分移動(dòng)平均模型等統(tǒng)一放到上述框架中，在所提供的數(shù)據(jù)集中得到了可靠性較高的檢測(cè)結(jié)果；James等[4]提出了一種可以自動(dòng)檢測(cè)數(shù)據(jù)中的異常點(diǎn)的統(tǒng)計(jì)模型方法，通過(guò)傳統(tǒng)的能量統(tǒng)計(jì)方法來(lái)監(jiān)測(cè)數(shù)據(jù)中的異常點(diǎn)出現(xiàn)的概率。另一種是基于機(jī)器學(xué)習(xí)或者神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法。Liu等[5]與百度公司合作并提出了一種關(guān)鍵性能指標(biāo)(Key Performance Indicator,KPI)自動(dòng)異常檢測(cè)系統(tǒng)Opprentice，通過(guò)特征提取的方法將數(shù)據(jù)放到一個(gè)訓(xùn)練好的隨機(jī)森林模型中去，通過(guò)分類判定數(shù)據(jù)的異常。Liu等[6]提出的孤立森林(Isolation Forest)算法屬于一種無(wú)監(jiān)督算法，遞歸地隨機(jī)分割數(shù)據(jù)集，將異常定位于分布稀疏且離密度高的集群較遠(yuǎn)的點(diǎn)。

以上異常檢測(cè)方法大都是基于傳統(tǒng)的統(tǒng)計(jì)模型和機(jī)器學(xué)習(xí)算法，同時(shí)也有研究人員嘗試將多種深度學(xué)習(xí)方法應(yīng)用于異常檢測(cè)，深度學(xué)習(xí)模型在圖像、語(yǔ)音識(shí)別等領(lǐng)域應(yīng)用比較廣泛，其中最具代表性深度學(xué)習(xí)方法包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)[7]和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[8]，CNN和RNN可以分別提取空間和時(shí)間上的特征，研究人員[9]根據(jù)數(shù)據(jù)的時(shí)態(tài)特征嘗試結(jié)合這兩種方法可以在時(shí)間序列上更好地進(jìn)行預(yù)測(cè)和分類。Kim等[10]首先應(yīng)用了C-LSTM[11]時(shí)間序列異常檢測(cè)模型，C-LSTM模型由CNN、LSTM和深度神經(jīng)網(wǎng)絡(luò)(DNN)組成。首先，應(yīng)用滑動(dòng)窗口將時(shí)間序列分為幾個(gè)固定長(zhǎng)度的序列，并建立新的序列數(shù)據(jù)集；然后高層的時(shí)空特征由CNN和LSTM從窗口數(shù)據(jù)中提??；最后將提取的特征輸入到一個(gè)全連接的DNN網(wǎng)絡(luò)實(shí)現(xiàn)分類。文獻(xiàn)[10]中的模型基于線性結(jié)構(gòu)，依次將數(shù)據(jù)從一維卷積神經(jīng)網(wǎng)絡(luò)輸出到LSTM，然后輸出結(jié)果到全連接層進(jìn)行分類，能夠較好地提取時(shí)間和空間特征，但缺少對(duì)融合特征的處理?；谖墨I(xiàn)[10]中的研究方法，本文提出改進(jìn)的網(wǎng)絡(luò)架構(gòu)，以更好地應(yīng)用于異常檢測(cè)，在獲取數(shù)據(jù)集后，使用滑動(dòng)窗口用于生成時(shí)間相關(guān)的子序列，分別輸入到一維卷積神經(jīng)網(wǎng)絡(luò)和BiLSTM中去，得到數(shù)據(jù)的空間和時(shí)間特征，然后將提取到的特征使用Attention進(jìn)行加權(quán)，得到融合特征，再將其輸入到一個(gè)全連接層得到預(yù)測(cè)結(jié)果，最后通過(guò)Softmax函數(shù)進(jìn)行分類。

2 CNN-BiLSTM-Attention模型結(jié)構(gòu)

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種前饋神經(jīng)網(wǎng)絡(luò)，其最初是由Lecun等[7]提出，CNN的本質(zhì)就是構(gòu)建能夠提取數(shù)據(jù)特征的濾波器，因此在深度學(xué)習(xí)領(lǐng)域中多被用作特征提取網(wǎng)絡(luò)，一個(gè)完整的CNN網(wǎng)絡(luò)包括輸入層、輸出層和隱藏層，隱藏層又可以分為卷積層、池化層和全連接層，本文主要用到其中的卷積層和池化層，其大致結(jié)構(gòu)如圖1所示。

圖1 CNN結(jié)構(gòu)示意圖

圖1中的卷積層和池化層主要用于提取輸入序列的空間特征[12]，其中卷積層利用濾波器來(lái)處理輸入的序列，從而依次獲得空間上的特征，卷積層后接一個(gè)激活函數(shù)，本文使用tanh雙曲正切激活函數(shù)，從而能夠提取更加復(fù)雜的特征。

Pooling層主要是用于減少CNN網(wǎng)絡(luò)的參數(shù)，從而能夠減輕計(jì)算壓力，池化的方法有均值池化和最大池化，本文取用Max Pooling，其實(shí)質(zhì)上就是在n×n的樣本中取最大值，作為采樣后的樣本值。

2.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

LSTM是一種由循環(huán)神經(jīng)網(wǎng)絡(luò)衍生而來(lái)的時(shí)序神經(jīng)網(wǎng)絡(luò)，它使用存儲(chǔ)單元來(lái)代替RNN中的循環(huán)單元來(lái)存儲(chǔ)時(shí)間序列的特征，能夠比較好地解決循環(huán)神經(jīng)網(wǎng)絡(luò)中的長(zhǎng)時(shí)間依賴問(wèn)題[13]。

LSTM內(nèi)部結(jié)構(gòu)如圖2所示，其中：xt代表第t個(gè)輸入序列元素值；c表示記憶單元，其控制著序列的傳遞；i指代輸入門決定當(dāng)前xt保留多少信息給ct；f代表遺忘門，其決定保存多少前一時(shí)刻的細(xì)胞狀態(tài)ct-1傳遞至當(dāng)前狀態(tài)的ct；o指代輸出門，其決定ct傳遞多少至當(dāng)前狀態(tài)的輸出ht；ht-1指代在t-1時(shí)刻的隱層狀態(tài)[14]。

上述過(guò)程對(duì)應(yīng)公式如下：

ft=σ(Wf·[ht-1,xt]+bf)

(1)

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot° tanh(ct)

(6)

式中：Wf代表遺忘門的權(quán)重矩陣；[ht-1,xt]表示上一時(shí)刻與當(dāng)前時(shí)刻組成的新的輸入向量；Wi代表輸入門的權(quán)重矩陣；Wc代表記憶單元的權(quán)重矩陣；Wo代表輸出門權(quán)重矩陣；bf代表遺忘門的偏置量；bi代表輸入門的偏置量；bc指代記憶單元的偏置量；bo代表輸出門的偏置量；σ指代Sigmoid激活函數(shù)；° 表示向量元素乘。

LSTM更適合進(jìn)行時(shí)間擴(kuò)展，并且較好地解決了長(zhǎng)時(shí)依賴問(wèn)題，具有長(zhǎng)期記憶功能，能夠很好地處理時(shí)間序列上的特征[15]，上面的CNN通過(guò)卷積和池化操作提取空間特征，LSTM可以在提取空間特征的基礎(chǔ)上進(jìn)一步提取時(shí)間維度上的特征，從而能夠提升數(shù)據(jù)特征的表達(dá)能力。

2.3 注意力機(jī)制

Attention機(jī)制是基于人類觀察事物的過(guò)程而演進(jìn)過(guò)來(lái)的一種方法，人們?cè)谟^察事物時(shí)并不會(huì)將整個(gè)事物完全地看一遍，而是根據(jù)自己的偏好有選擇性地進(jìn)行欣賞?；诖?，將Attention用到對(duì)空間和時(shí)間特征的處理上，可以獲得包含原數(shù)據(jù)更多信息的融合特征[16]。本文中的Attention主要是對(duì)前面CNN和LSTM提取的特征進(jìn)行加權(quán)處理，從而捕捉到原序列空間和時(shí)間上的融合特征，然后放到模型中進(jìn)行預(yù)測(cè)，其大致結(jié)構(gòu)如圖3所示。

圖3 Attention結(jié)構(gòu)

φ(hi,C)=tanh(hi·Wα·CT+bα)

(7)

(8)

(9)

式中：Wα是一個(gè)m×n的權(quán)值矩陣；bα為偏置項(xiàng)；C為CNN網(wǎng)絡(luò)得到的特征向量；hi為第i個(gè)時(shí)刻LSTM得到的特征向量。式(7)是將CNN和LSTM提取到的特征進(jìn)行加權(quán)，并通過(guò)激活函數(shù)得到融合后的權(quán)值；式(8)是將權(quán)值通過(guò)Softmax函數(shù)；最后通過(guò)式(9)將LSTM的輸出值與權(quán)值相乘得到最終的特征，然后將其通過(guò)一個(gè)全連接層的網(wǎng)絡(luò)輸出預(yù)測(cè)結(jié)果[17]，最后通過(guò)Softmax函數(shù)將數(shù)據(jù)分類為0(正常)或1(異常)。

2.4 模型結(jié)構(gòu)和參數(shù)設(shè)置

本文所提出的CNN-BiLSTM-Attention完整結(jié)構(gòu)如圖4所示。

圖4 CNN-BiLSTM-Attention模型結(jié)構(gòu)

圖4中，首先對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理，然后將處理過(guò)的數(shù)據(jù)分別輸入到CNN和BiLSTM網(wǎng)絡(luò)中去得到相應(yīng)的空間和時(shí)間上的特征，然后將這二維特征使用Attention進(jìn)行加權(quán)，然后將權(quán)值與LSTM網(wǎng)絡(luò)輸出進(jìn)行相乘，得到融合特征，然后將其通過(guò)全連接層和分類器進(jìn)行分類。

CNN-BiLSTM-Attention算法流程如算法1所示。

算法1異常檢測(cè)算法

輸入:

1.原始時(shí)間序列X=[x1,x2,…,xt]；

2.滑動(dòng)窗口的窗長(zhǎng)b,步長(zhǎng)s；

3.訓(xùn)練好的CNN-BiLSTM-Attention模型；

輸出:

2. 通過(guò)CNN網(wǎng)絡(luò)從輸入數(shù)據(jù)中提取高維度空間特征；

3. 通過(guò)BiLSTM網(wǎng)絡(luò)提取高維度時(shí)間特征；

4. 使用Attention機(jī)制對(duì)空間特征和時(shí)間特征進(jìn)行加權(quán)得到融合特征；

5. 將融合特征輸入到全連接層網(wǎng)絡(luò)和Softmax函數(shù)進(jìn)行分類，得到分類結(jié)果0或1；

Endfor

本文所提出模型中包含許多的參數(shù)，其中CNN濾波器個(gè)數(shù)為64，卷積核大小為5，步長(zhǎng)設(shè)置為1，LSTM中隱層單元個(gè)數(shù)為64，Adam優(yōu)化器用來(lái)優(yōu)化深度學(xué)習(xí)模型，epoch設(shè)置為100，batch size設(shè)置為64，學(xué)習(xí)率設(shè)置為10-3，使用tanh作為激活函數(shù)，交叉熵作為損失函數(shù)來(lái)評(píng)估模型的優(yōu)劣。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)配置

本文實(shí)驗(yàn)的設(shè)備為個(gè)人電腦，核心處理器為Intel(R) Core(TM)i7- 9750H CPU @ 2.50 GHz，RAM 16 GB，圖形處理器為NVIDIA GeForce RTX 2060，Windows 10操作系統(tǒng)，開發(fā)環(huán)境是Python3.6.5，Keras- 2.2.4，TensorFlow- 1.14.0。

3.2 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

本文實(shí)驗(yàn)數(shù)據(jù)集選用雅虎[18]和亞馬遜[19]這兩大云平臺(tái)所監(jiān)控采集的KPI時(shí)序數(shù)據(jù)集。這些數(shù)據(jù)集來(lái)源于真實(shí)的業(yè)務(wù)環(huán)境，涵蓋了云環(huán)境中大部分KPI時(shí)序數(shù)據(jù)可能出現(xiàn)的形態(tài)特征和異常類別，具有較好的代表性。

本文使用了Yahoo Webscope S5異?；鶞?zhǔn)數(shù)據(jù)集中的A1類，包含67個(gè)文件，用于驗(yàn)證提出的異常檢測(cè)算法結(jié)構(gòu)，其收集到的數(shù)據(jù)來(lái)自實(shí)際Web服務(wù)的流量監(jiān)測(cè)值，采集頻率為5分鐘一次，并且手動(dòng)標(biāo)記異常值。亞馬遜的數(shù)據(jù)集來(lái)自于云監(jiān)控CloudWatch所采集的服務(wù)器基礎(chǔ)資源指標(biāo)數(shù)據(jù)，包含多種服務(wù)器運(yùn)維指標(biāo)，并分別以這些指標(biāo)進(jìn)行命名。這兩個(gè)數(shù)據(jù)集均是由時(shí)間戳、值和標(biāo)簽組成，KPI中的值是某個(gè)KPI指標(biāo)在對(duì)應(yīng)的時(shí)間戳的值，對(duì)應(yīng)上面所說(shuō)的Web流量監(jiān)測(cè)數(shù)據(jù)和服務(wù)器基礎(chǔ)資源指標(biāo)數(shù)據(jù)，是企業(yè)經(jīng)過(guò)脫敏處理后的監(jiān)測(cè)數(shù)據(jù)，標(biāo)簽是運(yùn)維人員對(duì)于異常與否進(jìn)行的標(biāo)注。這里分別選取Yahoo數(shù)據(jù)集中類別為A1的真實(shí)數(shù)據(jù)集和亞馬遜數(shù)據(jù)集中編號(hào)為cpu_utilization_asg_misconfiguration的監(jiān)控CPU利用率的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，分別記為數(shù)據(jù)集①和數(shù)據(jù)集②。圖5(這里是A1類中的其中一個(gè)數(shù)據(jù)集)、圖6是兩組數(shù)據(jù)集的時(shí)序曲線(為截取的其中一部分?jǐn)?shù)據(jù)曲線)。

圖5 數(shù)據(jù)集①時(shí)序曲線

圖6 數(shù)據(jù)集②時(shí)序曲線

由圖5和圖6中的時(shí)序曲線可以看出，數(shù)據(jù)集①中曲線變化趨勢(shì)相對(duì)明顯，圖5中標(biāo)注的部分即為離群異常點(diǎn)，真實(shí)網(wǎng)絡(luò)流量的突增突降意味著網(wǎng)絡(luò)的異常占用，對(duì)正常用戶使用造成影響。數(shù)據(jù)集②中，標(biāo)注的部分表現(xiàn)為數(shù)據(jù)激增，正常系統(tǒng)中任務(wù)到來(lái)時(shí)CPU利用率會(huì)增長(zhǎng)繼而表現(xiàn)平穩(wěn)，并不會(huì)突然地增加下降，如圖6中未標(biāo)注的部分。表1是兩個(gè)數(shù)據(jù)集的數(shù)據(jù)情況對(duì)比。

表1 實(shí)驗(yàn)數(shù)據(jù)集對(duì)比

可以看出，數(shù)據(jù)集中的負(fù)樣本數(shù)量占比較大，因?yàn)橄到y(tǒng)在大多數(shù)情況下都處于正常工作狀態(tài)，因而正負(fù)樣本比例嚴(yán)重不平衡，這樣會(huì)使得模型訓(xùn)練效果大打折扣。因此本文采用過(guò)采樣聯(lián)合欠采樣的方法來(lái)解決數(shù)據(jù)不平衡問(wèn)題[20]，對(duì)大樣本進(jìn)行欠采樣，對(duì)小樣本進(jìn)行過(guò)采樣，從而使得正負(fù)樣本比例接近對(duì)等，保證模型的訓(xùn)練效果。過(guò)采樣包含簡(jiǎn)單隨機(jī)過(guò)采樣和啟發(fā)式過(guò)采樣，前者僅僅是對(duì)小樣本進(jìn)行簡(jiǎn)單的復(fù)制使得其在數(shù)量上大大增加，并沒(méi)有增加小樣本所攜帶的特征信息，對(duì)于模型訓(xùn)練效果并沒(méi)有很好地提升；后者是利用當(dāng)前小樣本來(lái)合成新的樣本，比較典型的是SMOTE(Synthetic Minority Oversampling Technique)算法，其是在鄰近小樣本之間進(jìn)行插值，得到新樣本，然后依次進(jìn)行插值，最終增加小樣本的數(shù)量，這樣得到的小樣本就攜帶有新的特征信息，使得模型訓(xùn)練的效果得以提升。這里主要是用SMOTE算法進(jìn)行小樣本過(guò)采樣和簡(jiǎn)單隨機(jī)欠采樣，使得數(shù)據(jù)樣本得以均衡。

在對(duì)數(shù)據(jù)進(jìn)行均衡之后，需要對(duì)數(shù)據(jù)進(jìn)一步處理，得到適合模型輸入的數(shù)據(jù)格式，因?yàn)樵紨?shù)據(jù)為一維時(shí)間序列，需要將數(shù)據(jù)處理成多維的向量格式，這里使用滑動(dòng)窗口的方法，具體流程如圖7所示。

圖7 滑動(dòng)窗口流程

(10)

(11)

在對(duì)數(shù)據(jù)進(jìn)行加窗時(shí)，還要注意窗口長(zhǎng)度和步長(zhǎng)的設(shè)置，設(shè)置過(guò)大會(huì)使特征淡化，使得數(shù)據(jù)間的特征偏離原數(shù)據(jù)特征，因此這里以窗長(zhǎng)和步長(zhǎng)為變量，對(duì)模型進(jìn)行訓(xùn)練，得到如圖8和圖9所示的隨訓(xùn)練周期變化的損失函數(shù)曲線。

圖8 數(shù)據(jù)集①損失函數(shù)曲線

圖9 數(shù)據(jù)集②損失函數(shù)曲線

從圖8和圖9的損失函數(shù)來(lái)看，在進(jìn)行加窗處理過(guò)后，損失值也相應(yīng)降低，曲線下降趨勢(shì)也比未加窗的要快，但是當(dāng)窗口長(zhǎng)度設(shè)置較高時(shí)，效果反而不佳，因?yàn)樵O(shè)置的窗口長(zhǎng)度過(guò)長(zhǎng)時(shí)，其提取的特征也會(huì)相應(yīng)偏離原數(shù)據(jù)特征。因此，針對(duì)相應(yīng)的數(shù)據(jù)，應(yīng)設(shè)置合適的窗口長(zhǎng)度以得到最佳的特征提取效果，由圖8、圖9的下降趨勢(shì)來(lái)看，這里對(duì)數(shù)據(jù)集①選取窗長(zhǎng)b=4，步長(zhǎng)s=2，數(shù)據(jù)集②選取窗長(zhǎng)b=6，步長(zhǎng)s=2。

(12)

式中：xmin表示數(shù)據(jù)中的最小值；xmax表示數(shù)據(jù)中的最大值。

3.3 評(píng)價(jià)標(biāo)準(zhǔn)

分類算法的評(píng)價(jià)指標(biāo)較多，這里選取以下幾個(gè)標(biāo)準(zhǔn)對(duì)模型進(jìn)行評(píng)估，準(zhǔn)確率代表所有分類正確的樣本個(gè)數(shù)與總體樣本的比例，其數(shù)值越高，代表模型預(yù)測(cè)正確的數(shù)目越多，如式(13)所示。精確率代表模型預(yù)測(cè)結(jié)果是正類數(shù)的數(shù)據(jù)中原本為真的數(shù)據(jù)的比例，數(shù)值越高，查準(zhǔn)率也就越高，如式(14)所示。召回率代表模型預(yù)測(cè)為正類數(shù)的數(shù)據(jù)與原本屬于正類數(shù)據(jù)總數(shù)之間的比率，數(shù)值越高，查全率就越高，如式(15)所示。F1-score值是由精確率和召回率計(jì)算得到的，由式(16)可以看出，當(dāng)精確率和召回率接近時(shí)，其值最大，值的大小往往反映著模型的綜合指標(biāo)。

(13)

(14)

(15)

(16)

式中：TP為將正類預(yù)測(cè)為正類的個(gè)數(shù)；FN為將正類預(yù)測(cè)為負(fù)類的個(gè)數(shù)；FP為將負(fù)類預(yù)測(cè)為正類的個(gè)數(shù)；TN為將負(fù)類預(yù)測(cè)為負(fù)類的個(gè)數(shù)。

3.4 實(shí)驗(yàn)結(jié)果

將預(yù)處理過(guò)后的數(shù)據(jù)放到模型中進(jìn)行訓(xùn)練，得到圖10和表2、表3中的實(shí)驗(yàn)結(jié)果。

圖10 檢測(cè)效果對(duì)比

表2 各個(gè)模型效果對(duì)比(數(shù)據(jù)集①)(%)

表3 各個(gè)模型效果對(duì)比(數(shù)據(jù)集②)(%)

圖10為測(cè)試集中原有的標(biāo)記與模型標(biāo)記對(duì)比圖，模型標(biāo)記為三角，可以看出模型可以比較準(zhǔn)確地標(biāo)記出異常點(diǎn)位置。由于對(duì)數(shù)據(jù)進(jìn)行了加窗處理，相鄰的異常點(diǎn)就會(huì)標(biāo)注為一處，比如在橫坐標(biāo)為1 020位置。而在起始位置數(shù)據(jù)表現(xiàn)為突增，這里模型進(jìn)行了異常標(biāo)注，原數(shù)據(jù)應(yīng)表現(xiàn)為機(jī)器開始運(yùn)作有大量的網(wǎng)絡(luò)流量涌入，因而出現(xiàn)了誤報(bào)的情況。由表2和表3中的數(shù)據(jù)可以看出，混合模型的訓(xùn)練效果相比單個(gè)模型有著很大的提升，在數(shù)據(jù)集①中，單個(gè)模型的F1-score值均比較低，數(shù)據(jù)集②中單一LSTM模型的F1-score值也相對(duì)較低，通過(guò)提取單一的特征可以得到數(shù)據(jù)間的簡(jiǎn)單特征，但當(dāng)面對(duì)數(shù)據(jù)量較大時(shí)，就難免捕捉不到數(shù)據(jù)間的復(fù)雜特征，當(dāng)使用混合模型時(shí)，對(duì)數(shù)據(jù)特征的捕捉能力提升，同時(shí)加入雙向LSTM編碼可以對(duì)上下文之間的特征獲取更加全面。最后使用Attention可以對(duì)特征進(jìn)行合理加權(quán)，得到更好的檢測(cè)效果，最終準(zhǔn)確率均能保持在97%以上，F(xiàn)1-score值可以達(dá)到94%以上，證實(shí)了本文模型的有效性。

4 結(jié) 語(yǔ)

針對(duì)運(yùn)維系統(tǒng)復(fù)雜性和運(yùn)維數(shù)據(jù)多樣性的特點(diǎn)，本文提出一種基于CNN-BiLSTM的混合模型，并引入了Attention機(jī)制，用于提取融合特征來(lái)實(shí)現(xiàn)可靠性更高的云數(shù)據(jù)中心異常檢測(cè)，實(shí)驗(yàn)表明該模型表現(xiàn)良好，準(zhǔn)確率、精確率及召回率均能達(dá)到92%以上，證實(shí)了算法的有效性。然而，運(yùn)維數(shù)據(jù)的異常檢測(cè)通常要關(guān)注一個(gè)大型系統(tǒng)中的成百上千個(gè)參數(shù)，在以后的工作中，將轉(zhuǎn)向如何更加有效地提取多維數(shù)據(jù)的復(fù)雜特征，因?yàn)橄到y(tǒng)的異常往往伴隨著各個(gè)指標(biāo)的偏差，多維監(jiān)控指標(biāo)的異常分析對(duì)于運(yùn)維人員監(jiān)測(cè)系統(tǒng)運(yùn)行狀態(tài)更有幫助，其包含有更多的異常判決因素，進(jìn)而更加有效地提高檢測(cè)效率。