基于切片GRU的日志異常檢測研究

王易東 王彬

摘要：深度學(xué)習(xí)應(yīng)用在日志異常檢測領(lǐng)域中，取得了較好的準(zhǔn)確率。日志異常檢測對實(shí)時(shí)性的要求很高，這對異常檢測模型的運(yùn)行速度提出了巨大挑戰(zhàn)，目前基于循環(huán)神經(jīng)網(wǎng)絡(luò)的檢測算因其固有的循環(huán)結(jié)構(gòu)導(dǎo)致并行計(jì)算難以實(shí)現(xiàn)，這極大限制了模型的計(jì)算速度。為提高日志異常檢測效率，設(shè)計(jì)了基于切片GRU日志異常檢測模型，提出了一種基于最小質(zhì)因數(shù)切片的日志異常檢測算法。構(gòu)建的切片GRU模型主要對隱藏層做了改進(jìn)，輸入序列在進(jìn)入隱藏層之前進(jìn)行了切片，每一層的GRU塊按照切片數(shù)量進(jìn)行分組，組與組之間并行計(jì)算，層與層之間串行計(jì)算，多個(gè)隱藏層共同處理輸入序列，切片GRU模型的這種層次結(jié)構(gòu)加快了模型的運(yùn)行速度，在不影響檢測精度的前提下，算法在不同長度的日志序列上均有不效率提升，且輸入序列越長，提升的幅度越大。

關(guān)鍵詞：日志異常檢測;深度學(xué)習(xí);循環(huán)神經(jīng)網(wǎng)絡(luò);GRU網(wǎng)絡(luò);切片算法

中圖分類號：TP319? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）19-0059-02

1 引言

日志異常檢測可以看作一種自然語言序列預(yù)測任務(wù)，通過對比預(yù)測值與實(shí)際值來判定異常。循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network ，RNN）通過一個(gè)循環(huán)結(jié)構(gòu)，將上一種狀態(tài)的輸出作為當(dāng)前的輸入，從而追蹤歷史，做出預(yù)測，可以用于自然語言序列預(yù)測任務(wù)。由于梯度消失/梯度爆炸的問題，傳統(tǒng)RNN在實(shí)際中很難處理長期依賴，而長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）和門控循環(huán)單元（Gated Recurrent Unit，GRU）則解決了這個(gè)問題，可以從語料中學(xué)習(xí)到長期依賴關(guān)系。Du M[1]等將系統(tǒng)日志建模為自然語言序列，提出了一種基于LSTM的深度神經(jīng)網(wǎng)絡(luò)模型——DeepLog，在多個(gè)大型數(shù)據(jù)集上取得了較高的檢測精度。

然而日志異常檢測對實(shí)時(shí)性的要求很高，這對異常檢測模型的運(yùn)行速度提出了巨大挑戰(zhàn)。LSTM和GRU作為 RNN的變種，其固有的循環(huán)結(jié)構(gòu)導(dǎo)致并行計(jì)算難以實(shí)現(xiàn)，切片循環(huán)神經(jīng)網(wǎng)絡(luò)[2]（Sliced Recurrent Neural Networks，SRNN）從結(jié)構(gòu)上對RNN進(jìn)行改進(jìn)，通過將輸入序列切分為多個(gè)子序列實(shí)現(xiàn)并行計(jì)算。本文參照Du M等[1]提出的Deeplog模型構(gòu)造日志異常檢測模型，用GRU網(wǎng)絡(luò)替換Deeplog中的LSTM，將SRNN的思路應(yīng)用到日志異常檢測模型中，提出了一種基于最小質(zhì)因數(shù)切片的日志異常檢測算法，基于該算法改進(jìn)異常檢測模型，并結(jié)合日志序列的特點(diǎn)，調(diào)整模型參數(shù)，本文的最后將改進(jìn)后的切片模型與原始GRU模型做對比，從性能和速度兩方面來評價(jià)模型的提升。

2 基于GRU的日志異常檢測模型介紹

在系統(tǒng)日志中，所有相似日志條目中的公共常量消息叫作log key，可以用來表示日志消息類型。N元語法（N-gram）是NLP領(lǐng)域中一種常用的概率語言模型，可以通過極大似然估計(jì)從長度為N的已知log key序列中計(jì)算出下一個(gè)log key出現(xiàn)的條件概率。本文基于N-gram語言模型，參考了文獻(xiàn)[1]中的設(shè)計(jì)思路，構(gòu)建了一種基于GRU的日志異常檢測模型。

模型總體上可分為輸入層（input layer）、嵌入層（embedding layer）、隱藏層（hidden layer）和輸出層（output layer），信息沿各層依次傳遞。圖1給出了基于GRU的日志異常檢測模型的結(jié)構(gòu)示意圖，該模型的運(yùn)算速度相比于DeepLog約提升了16.7%，同時(shí)該模型也是本文切片GRU日志異常檢測模型的基礎(chǔ)，結(jié)合下文中的切片算法，可以進(jìn)一步大幅提高日志異常檢測效率。

3 基于最小切片因子的切片算法

相比于標(biāo)準(zhǔn)GRU模型，本文構(gòu)建的切片GRU模型主要對隱藏層做了改進(jìn)。改進(jìn)模型與原模型的不同之處在于：輸入序列在進(jìn)入隱藏層之前進(jìn)行了切片[3]，每一層的GRU塊按照切片數(shù)量進(jìn)行分組，組與組之間并行計(jì)算，層與層之間串行計(jì)算，多個(gè)隱藏層共同處理輸入序列，切片GRU模型的這種層次結(jié)構(gòu)[4]加快了模型的運(yùn)行速度。

本文對文獻(xiàn)[2]中的切片方法做了改進(jìn)，提出一種基于最小切片因子切片算法，和文獻(xiàn)[2]中的方法相比，本文算法細(xì)化了切片過程，改進(jìn)了切片方式，具有更強(qiáng)的合理性。算法的核心思想是對輸入序列進(jìn)行多次切片，每次切片數(shù)都等于切片序列（子序列）的最小切片因子，直到最小子序列的長度也等于最小切片因子為止。最小切片因子的取值為2、3、5，對于長度等于最小切片因子的序列，無法通過切片加快其計(jì)算速度。

假設(shè)模型的輸入是一個(gè)長度為n的log key序列X={[x1，x2，…xh}]，若n是最小切片因子的倍數(shù)，直接對序列進(jìn)行切片，得到[m1m1∈{2，3，5}]個(gè)子序列;若不是，則在序列最后加入一個(gè)元素后再切片，該元素僅用來輔助切片，不參與序列中記憶傳遞。

4 實(shí)驗(yàn)及結(jié)果分析

為評估切片算法的速度與性能，本節(jié)在大型日志數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境實(shí)驗(yàn)環(huán)境在個(gè)人筆記本上配置，處理器為Intel Core i7-6700HQ（2.60GHz），NVIDIA GeForce GTX 965M GPU（2GB），16GB RAM（2133MHz），操作系統(tǒng)為Ubuntu 16.04（64位）。GRU網(wǎng)絡(luò)的搭建和訓(xùn)練基于深度學(xué)習(xí)框架keras，tensorflow作為后端，編程環(huán)境為Python3.6.5。對比實(shí)驗(yàn)分別從速度和精度兩方面對切片模型的優(yōu)越性進(jìn)行驗(yàn)證。

首先驗(yàn)證切片模型的速度提升，選取包含11175629條數(shù)據(jù)的亞馬遜大型HDFS日志[5]作為實(shí)驗(yàn)數(shù)據(jù)集，其中前1%日志數(shù)據(jù)中的正常會話作為訓(xùn)練集訓(xùn)練模型，整個(gè)數(shù)據(jù)集用來測試模型性能。對比實(shí)驗(yàn)共分為3組，分別選取長度（h）為6、9、12的log key序列作為輸入，對比兩個(gè)模型的運(yùn)行速度、檢測精度。

表1給出了不同輸入長度下兩種模型的運(yùn)行速度對比，從表中可以看出，不同序列長度下的切片GRU模型相較于原模型的速度提升均達(dá)到了切片模型速度提升的預(yù)期值。觀察長度為6和12的序列在不同切片方式下的運(yùn)行速度，發(fā)現(xiàn)不同結(jié)構(gòu)下檢測每條日志花費(fèi)的時(shí)間相當(dāng)，從而證明了序列的不同切片方式并不會影響模型的運(yùn)算速度。對比不同序列長度下的性能提升幅度，可以看到序列長度越長，切片GRU模型相較于原模型速度提升越大。

5 結(jié)語

當(dāng)前基于深度學(xué)習(xí)的日志異常檢測領(lǐng)域中，涉及提升運(yùn)算速度的研究相對較少，且大都通過改進(jìn)循環(huán)單元來提升速度，提升幅度較低。本文研究基于并行計(jì)算的思想，提出了切片GRU模型，使用分解質(zhì)因數(shù)的思想對GRU模型的輸入序列進(jìn)行切片，多次切片形成了多個(gè)隱藏層，每個(gè)隱藏層中的切片序列之間并行計(jì)算，各隱藏層之間串行計(jì)算。在大型日志數(shù)據(jù)集上進(jìn)行的切片GRU模型與普通GRU模型的對比實(shí)驗(yàn)表明，切片算法對GRU模型的異常檢測效率提升顯著，在處理較長輸入序列時(shí)提升尤為明顯。本文研究為今后相關(guān)工作提供了算法參考和模型構(gòu)建基準(zhǔn)，具有一定理論指導(dǎo)意義。

參考文獻(xiàn)：

[1] Du M， Li F， Zheng G， et al. Deeplog： Anomaly detection and diagnosis from system logs through deep learning[C].Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security.ACM，2017：1285-1298.

[2] Yu Z， Liu G.Sliced Recurrent Neural Networks[J].2018.

[3] Oord A， Dieleman S， Zen H， et al. Wavenet： A generative model for raw audio[J].arXiv preprint arXiv，2016.

[4] Yang Z，Yang D，Dyer C，et al.Hierarchical attention networks for document classification[C].Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies.2016：1480-1489.

[5] Xu W，Huang L，F(xiàn)ox A，et al.Detecting large-scale system problems by mining console logs[C]. Proceedings of the ACM SIGOPS 22nd symposium on Operating systems principles.ACM，2009： 117-132.

【通聯(lián)編輯：朱寶貴】