基于模糊核聚類和主動學(xué)習(xí)的異常檢測方法

呂宗平 時熙然 顧兆軍

摘 ?要： 針對日志數(shù)據(jù)的異常檢測獲取標(biāo)記數(shù)據(jù)代價過高的問題，提出一種基于模糊核聚類與主動學(xué)習(xí)的算法，即KFCM?AL算法。首先將日志解析，之后利用模糊核聚類算法將待選樣本在高維空間進行劃分聚類，濾去樣本冗余點，同時選取聚類中心進行標(biāo)記構(gòu)建初始分類器，最后結(jié)合主動學(xué)習(xí)利用較小的標(biāo)記代價對異常檢測模型進行優(yōu)化。實驗結(jié)果表明，所提方法能夠利用較少的標(biāo)記樣本獲取異常檢測模型的性能提升。

關(guān)鍵詞： 異常檢測; 模糊核聚類; 主動學(xué)習(xí); 日志解析; 聚類分析; 性能對比

中圖分類號： TN911.23?34; TP301.6 ? ? ? ? ? ? ? ? 文獻標(biāo)識碼： A ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）20?0053?05

Anomaly detection method based on fuzzy kernel clustering and active learning

L? Zongping1， SHI Xiran1， 2， GU Zhaojun1， 2

（1. Information Security Evaluation Center， Civil Aviation University of China， Tianjin 300300， China;

2. College of Computer Science and Technology， Civil Aviation University of China， Tianjin 300300， China）

Abstract： In allusion to the problem of high cost of obtaining marking data for anormal detection of log data， an algorithm ?based on kernel fuzzy C?means and active learning （KFCM?AL） is proposed. The log is parsed， and then the samples under selection are classified and clustered in high?dimensional space by means of KFCM algorithm. The redundant points of samples are filtered out， at the same time the clustering center is selected to make marking and build the initial classifier. ?In combination with active learning， the anomaly detection model is optimized with a smaller marking cost. The experimental results show this method can improve the performance of the anomaly detection model with fewer marking samples.

Keywords： abnormal detection; fuzzy kernel clustering; active learning; log parse; clustering analysis; performance comparison

0 ?引 ?言

隨著信息時代的來臨，互聯(lián)網(wǎng)也越發(fā)緊密地與人們?nèi)粘Ｉ盥?lián)系起來，網(wǎng)絡(luò)信息安全的重要性也越發(fā)突出，逐漸成為研究人員研究的焦點。異常檢測是保障網(wǎng)絡(luò)信息安全不可或缺的重要技術(shù)手段。與傳統(tǒng)使用人工關(guān)鍵字搜索和規(guī)則匹配的手動查詢模式相比，異常檢測不僅可以發(fā)現(xiàn)已知的異常行為，還能檢測出未知的異常行為[1]，更適用于應(yīng)對目前層出不窮的網(wǎng)絡(luò)攻擊方式，具有實際需求和應(yīng)用價值。

系統(tǒng)日志數(shù)據(jù)記錄了網(wǎng)絡(luò)服務(wù)運行過程中詳細(xì)的操作信息，以及各個關(guān)鍵點的系統(tǒng)狀態(tài)和重要事件，是異常檢測的主要數(shù)據(jù)源[2]。近年來將機器學(xué)習(xí)算法引入基于日志的異常檢測，已經(jīng)是一種流行趨勢，比如文獻[3]使用遞歸神經(jīng)網(wǎng)絡(luò)建立日志的系統(tǒng)故障預(yù)測系統(tǒng)，文獻[4]使用決策樹、邏輯回歸等機器學(xué)習(xí)算法對日志進行異常檢測并評估。由于機器學(xué)習(xí)異常檢測需要有大量的標(biāo)記數(shù)據(jù)來進行訓(xùn)練，在現(xiàn)實情況下的日志數(shù)據(jù)中是無標(biāo)記的數(shù)據(jù)，有標(biāo)記的數(shù)據(jù)非常有限，于是主動學(xué)習(xí)也應(yīng)運而生。主動學(xué)習(xí)的基本思想就是通過啟發(fā)式的采樣策略，迭代地從未標(biāo)記樣本中選取最有價值的樣本進行標(biāo)注，從而減輕專家的工作[5]。同時主動學(xué)習(xí)也在異常檢測方面受到關(guān)注，比如劉敬等人結(jié)合主動學(xué)習(xí)和單分類支持向量機進行異常檢測[6]和朱東陽等人使用主動學(xué)習(xí)和加權(quán)支持向量機對工業(yè)故障進行識別[7]。但是主動學(xué)習(xí)算法的樣本選擇策略受限于初始訓(xùn)練集的樣本質(zhì)量，易選中不具有代表性的離群點和大量相同標(biāo)簽的樣本，使人工標(biāo)注的負(fù)擔(dān)加重[8]。

為了降低樣本數(shù)據(jù)的冗余度，選擇最有價值的樣本進行人工標(biāo)注，提升主動學(xué)習(xí)的檢測精度，本文利用模糊核聚類算法過濾冗余樣本點，降低樣本復(fù)雜度，同時選取置信度最高的聚類中心的樣本進行人工標(biāo)注，以此構(gòu)建主動學(xué)習(xí)初始分類器。

1 ?基本算法

1.1 ?支持向量機

定義 最優(yōu)超平面。若訓(xùn)練數(shù)據(jù)集可以無誤差地被劃分，并且每一類數(shù)據(jù)距離超平面最近的向量與超平面之間的距離最大，則稱這個平面為最優(yōu)超平面。

當(dāng)求解的問題線性可分時，支持向量機的本質(zhì)就是求得一個最優(yōu)超平面，使得兩類樣本到達超平面的距離最大。

當(dāng)求解的問題線性不可分時，為了利用支持向量機對樣本集進行分類，將樣本映射到高維空間使其線性可分，然后在高維空間構(gòu)建最大間隔超平面來進行分類。設(shè)訓(xùn)練集W={（x1，y1），（x2，y2），…，（xj，yj）}，其中[xj∈Rh]表示樣本的h維特征向量，[yj∈{-1，1}]是樣本的類別標(biāo)記。在核函數(shù)[K（θ）]映射的高維核空間，通過求解式（1）可以獲得最大間隔超平面。

式中：b為位移量，決定了超平面與原點的距離;[αi]為拉格朗日乘因子，[αi]=0時，它所對應(yīng)的樣本點對構(gòu)造最優(yōu)超平面沒有貢獻，只有當(dāng)[αi][≠]0時，它所對應(yīng)的樣本點才被稱為支持向量，對構(gòu)造最優(yōu)超平面有貢獻。因此，這就意味著構(gòu)建支持向量機的最優(yōu)超平面僅由支持向量決定。

1.2 ?模糊核聚類算法

模糊聚類（Fuzzy C?Means，F(xiàn)CM）算法通過迭代目標(biāo)函數(shù)，得到每個樣本在各個類別的隸屬度，使相似度最高的樣本劃分為同一類別[9]。通過劃分未標(biāo)注樣本集G獲得模糊劃分矩陣U，聚類中心C={c1，c2，…，cj，cn}，cj表示第j個簇的聚類中心。FCM算法的目標(biāo)函數(shù)如下：

由于FCM算法處理高維數(shù)據(jù)劃分精度不高，引用模糊核聚類（Kernel Fuzzy C?means，KFCM）算法進行聚類。KFCM算法引入核方法的思想：利用非線性映射把原始樣本集合都映射到高維空間來擴大每個樣本類之間的差距，以此達到在高維特征空間線性可分的目的[10]。由于高斯核函數(shù)通常具有良好的泛化功能，而且高斯核函數(shù)的核值范圍為（0，1），可以簡化計算過程，因此本文選用高斯核函數(shù)：

2 ?基于模糊核聚類和主動學(xué)習(xí)的異常檢測方法

為了改善主動學(xué)習(xí)初始分類器的樣本選擇策略，降低樣本冗余度，本文提出了一種新的基于模糊核聚類和主動學(xué)習(xí)的異常檢測方法，即KFCM?AL（Kernel Fuzzy C?means?Active Learning）算法，利用KFCM算法將日志聚類并將聚類中心進行標(biāo)記，同時過濾掉冗余點，然后將其饋送到主動學(xué)習(xí)分類器進行訓(xùn)練，從而生成異常檢測模型。最后構(gòu)建的異常檢測模型可以識別新傳入的日志數(shù)據(jù)是否為異常數(shù)據(jù)。

2.1 ?日志數(shù)據(jù)預(yù)處理

HDFS日志數(shù)據(jù)集是由亞馬遜的EC2平臺所運行的基于Hadoop作業(yè)而生成，并由該領(lǐng)域?qū)＜疫M行了標(biāo)記，可以運用到任意異常檢測中[11]。

HDFS日志數(shù)據(jù)集記錄了每個塊操作的唯一塊ID。在數(shù)據(jù)預(yù)處理階段，可以利用唯一塊ID將日志分割成一組日志序列，使用LogSig算法將原始日志文件解析成結(jié)構(gòu)化日志消息[12]，每條日志消息包含HDFS塊ID和日志事件。

HDFS日志數(shù)據(jù)集解析圖如圖1所示。

圖1 ?日志解析過程

之后從日志序列中提取特征向量生成事件計數(shù)向量，每一行代表了一個HDFS塊;每列表示日志事件類型;每個單元格計算某個HDFS塊上事件的發(fā)生。提取后的特征向量如圖2所示。

圖2 ?日志事件特征向量

2.2 ?基于模糊核聚類和主動學(xué)習(xí)的異常檢測算法

2.2.1 ?算法參數(shù)

基于模糊核聚類和主動學(xué)習(xí)的異常檢測算法所需參數(shù)如表1所示。

表1 ?算法參數(shù)表

2.2.2 ?KFCM?AL異常檢測算法

在機器學(xué)習(xí)領(lǐng)域，按照訓(xùn)練樣本的處理方法，支持向量機的學(xué)習(xí)方法可以分為被動學(xué)習(xí)和主動學(xué)習(xí)兩種。被動學(xué)習(xí)隨機地從數(shù)據(jù)集中選擇樣本進行訓(xùn)練，主動學(xué)習(xí)主動選擇最有利于提升分類器性能的樣本進行標(biāo)記，從而減少訓(xùn)練所需標(biāo)注樣本個數(shù)。相較于被動學(xué)習(xí)，主動學(xué)習(xí)的選擇策略可以用較小的代價獲取分類器性能的改善[13]。

本文結(jié)合主動學(xué)習(xí)和KFCM算法，使用模糊核聚類算法劃分的聚類中心構(gòu)建候選訓(xùn)練集S，從S中隨機選取一定的樣本進行標(biāo)記。令Li為KFCM劃分的第i個簇，i=1，2，…，k，threshi表示樣本相應(yīng)的隸屬度，取樣規(guī)則如下：

利用KFCM算法將未標(biāo)注樣本集聚類成k個簇，將簇中心進行標(biāo)記用于構(gòu)建初始樣本集，不需要全部樣本點。

由支持向量機的特點可知， 未標(biāo)注樣本點離分類面越接近就越有可能成為新的支持向量， 從而重構(gòu)和優(yōu)化當(dāng)前分類超平面， 提升支持向量機的分類精度。異常檢測中，主動學(xué)習(xí)通常選擇距離決策邊界最近的樣本進行標(biāo)記，這些樣本的不確定度最高，能夠為模型提供最多的優(yōu)化信息，該方法稱為最近邊界策略[6]。設(shè)x為被選中的待標(biāo)記的樣本，G為未標(biāo)注樣本集，D為訓(xùn)練樣本集，其選擇策略滿足：

KFCM?AL算法的流程圖如圖2所示。算法步驟如下：

Step1：將初始樣本集用模糊核聚類算法聚類，劃分為L個樣本簇。過濾掉單一類簇中的冗余數(shù)據(jù)，并選取聚類中心，進行標(biāo)記構(gòu)造初始訓(xùn)練集S，使S中至少包含一個輸出y為1和一個輸出y為-1 的樣本;

Step2：根據(jù)初始訓(xùn)練集構(gòu)造初始分類器f;

Step3：對所有樣本使用f，根據(jù)樣本選擇準(zhǔn)則從樣本集中選擇離分類邊界最近的未標(biāo)注樣本[（x，y）]，[y]為f給向量x預(yù)先打上的標(biāo)注;

Step4：將該樣本正確標(biāo)注后加入訓(xùn)練集D中（y為x的正確標(biāo)注）;

Step5：若檢測精度達到某一設(shè)定值，算法終止，返回f，否則重復(fù)Step2。

圖3 ?KFCM?AL算法流程圖

3 ?實驗以及結(jié)果分析

為了驗證KFCM?AL算法的有效性，使用Python語言編寫程序?qū)崿F(xiàn)算法，實驗環(huán)境為Intel Core i7?3770 CPU 3.4 GHz處理器。實驗?zāi)康氖亲C明通過結(jié)合模糊核聚類算法和主動學(xué)習(xí)算法，可以有效地減少樣本的復(fù)雜度，同時提高支持向量機的樣本標(biāo)記。對比方法選用隨機取樣算法和主動學(xué)習(xí)算法。

3.1 ?實驗數(shù)據(jù)集和設(shè)置

HDFS原始日志數(shù)據(jù)集包含從亞馬遜EC2平臺收集的11 175 629條日志消息，共記錄29個原始日志事件，其中16 838條被原始領(lǐng)域?qū)＜沂謩訕?biāo)記異常，見表2。

表2 ?實驗數(shù)據(jù)集

本文抽取5 000個日志事件計數(shù)向量，其中4 000個作為訓(xùn)練集，1 000個作為測試集。由于在實際的日志數(shù)據(jù)中正常的數(shù)據(jù)樣本量遠(yuǎn)大于異常數(shù)據(jù)，所以在實驗里標(biāo)記異常數(shù)據(jù)占全部數(shù)據(jù)1.6%。

實驗采用高斯核函數(shù)作為支持向量機的核函數(shù)，經(jīng)過實驗選擇最優(yōu)實驗參數(shù)，設(shè)置核函數(shù)控制因子s2=2，懲罰因子C=1 024，模糊聚類算法最大迭代次數(shù)Vmax=150，樣本隸屬度閾值thresh=0.9。

實驗使用準(zhǔn)確率、召回率、誤報率作為評價指標(biāo)來評估異常檢測方法的性能。準(zhǔn)確率用于表示有多少樣本被正確檢測的百分比，召回率是檢測到多少正確異常數(shù)據(jù)的百分比，誤報率表示錯誤檢測的樣本占正確檢測的樣本的百分比。準(zhǔn)確率越高表示模型總體檢測性能越好，召回率越高表示模型的漏報率越低，靈敏度越高，誤報率越低表示模型的檢測精度越高。

表3 ?混淆矩陣

3.2 ?實驗結(jié)果與分析

實驗通過KFCM算法將樣本進行聚類，然后結(jié)合支持向量機最優(yōu)化超平面的思想，濾去樣本的非支持向量，即數(shù)據(jù)樣本冗余點。同時為了保證數(shù)據(jù)的完整性，只過濾掉單一類簇的非支持向量點，并選取樣本中心進行標(biāo)注。經(jīng)過KFCM聚類后結(jié)果如圖4所示。

圖4 ?聚類結(jié)果圖

通過圖4可以得知，KFCM算法可以濾去樣本中的非支持向量點，使樣本的復(fù)雜度降低，減少SVM算法進行學(xué)習(xí)訓(xùn)練的樣本集規(guī)模，且避免SVM算法的過學(xué)習(xí)現(xiàn)象，提升SVM算法的檢測精度。

為了對比算法的性能，保證達到同等異常檢測條件下，實驗選取隨機取樣和主動學(xué)習(xí)支持向量機作為對比算法。下面比較三者所需的標(biāo)記樣本數(shù)的比較結(jié)果。重復(fù)試驗5次取平均值對3種算法進行對比，結(jié)果如表4所示。

表4 ?實驗結(jié)果

從實驗結(jié)果可以看出，采用隨機取樣的方法需要的標(biāo)記樣本數(shù)最多，由于隨機取樣算法采集的樣本多是正常數(shù)據(jù)且不在分類邊界，所以檢測精度效果最差;主動學(xué)習(xí)算法選擇分類邊界附近的點進行標(biāo)記，由于這些點的置信度較低，所以標(biāo)記這些點能為建立模型提供更多信息;本文方法采用模糊聚類與主動學(xué)習(xí)相結(jié)合，選取兼具代表性和置信度的樣本點進行標(biāo)記，更能充分利用樣本的標(biāo)記信息，減輕標(biāo)記數(shù)據(jù)代價，獲取的性能提升程度最高。

4 ?結(jié) ?語

為了解決針對日志數(shù)據(jù)的異常檢測獲取標(biāo)記數(shù)據(jù)代價過高的問題，本文提出一種基于模糊核聚類與主動學(xué)習(xí)支持向量機的算法。實驗結(jié)果表明，本文方法能夠利用較少的標(biāo)記樣本獲取模型的性能提升。在未來的工作中，將結(jié)合日志數(shù)據(jù)研究更加適合的主動學(xué)習(xí)算法的選擇策略和更具有專業(yè)性的日志解析方法。

注：本文通訊作者為時熙然。

參考文獻

[1] 肖國榮.改進蟻群算法和支持向量機的網(wǎng)絡(luò)入侵檢測[J].計算機工程與應(yīng)用，2014，50（3）：75?78.

XIAO Guorong. Network intrusion detection by combination of improved ACO and SVM [J]. Computer engineering and application ， 2014， 50（3）： 75?78.

[2] DU M， LI F， ZHENG G， et al. DeepLog： anomaly detection and diagnosis from system logs through deep learning [C]// ACM Conference on Computer and Communications Security. Dallas： ACM， 2017： 1285?1298.

[3] ZHANG K， XU J， MIN M R， et al. Automated IT system failure prediction： a deep learning approach [C]// 2016 IEEE International Conference on Big Data. Washington： IEEE， 2016： 1291?1300.

[4] HE S L， ZHU J M， HE P J， et al. Experience report： system log analysis for anomaly detection [C]// 2016 IEEE 27th International Symposium on Software Reliability Engineering. Ottawa： IEEE， 2016： 207?218.

[5] 王一鵬，云曉春，張永錚，等.基于主動學(xué)習(xí)和SVM方法的網(wǎng)絡(luò)協(xié)議識別技術(shù)[J].通信學(xué)報，2013（10）：135?142.

WANG Yipeng， YUN Xiaochun， ZHANG Yongzheng， et al. Network protocol identification based on active learn and SVM algorithm [J]. Journal on communications， 2013（10）： 135?142.

[6] 劉敬，谷利澤，鈕心忻，等.基于單分類支持向量機和主動學(xué)習(xí)的網(wǎng)絡(luò)異常檢測研究[J].通信學(xué)報，2015，36（11）：136?146.

LIU Jing， GU Lize， NIU Xinxin， et al. Research on network anomaly detection based on one?class and active learning [J]. Journal on communications， 2015， 36（11）： 136?146.

[7] 朱東陽，沈靜逸，黃煒平，等.基于主動學(xué)習(xí)和加權(quán)支持向量機的工業(yè)故障識別[J].浙江大學(xué)學(xué)報（工學(xué)版），2017，51（4）：697?705.

ZHU Dongyang， SHEN Jingyi， HUANG Weiping， et al. Fault classification based on modified active learning and weighted SVM [J]. Journal of Zhejiang University （Engineering science）， 2017， 51（4）： 697?705.

[8] 吳偉寧，劉揚，郭茂祖，等.基于采樣策略的主動學(xué)習(xí)算法研究進展[J].計算機研究與發(fā)展，2012，49（6）：1162?1173.

WU Weining， LIU Yang， GUO Maozu， et al. Advances in active learning algorithms based on sampling strategy [J]. Journal of computer research and development， 2012， 49（6）： 1162?1173.

[9] 唐成華，劉鵬程，湯申生，等.基于特征選擇的模糊聚類異常入侵行為檢測[J].計算機研究與發(fā)展，2015，52（3）：718?728.

TANG Chenghua， LIU Pengcheng， TANG Shensheng， et al. Anomaly intrusion behavior detection based on fuzzy clustering and features selection [J]. Journal of computer research and development， 2015， 52（3）： 718?728.

[10] 黃衛(wèi)春，劉建林，熊李艷.基于樣本一特征加權(quán)的可能性模糊核聚類算法[J].計算機工程與科學(xué)，2014（1）：169?175.

HUANG Weichun， LIU Jianlin， XIONG Liyan. A sample?feature weighted possibilistic fuzzy kernel clustering algorithm [J]. Computer engineering & science， 2014（1）： 169?175.

[11] XU W， HUANG L， FOX A， et al. Detecting large?scale system problems detection by mining console logs [C]// Proceedings of 27th International Conference on Machine Learning. Haifa， Israel： SOSP， 2009： 37?46.

[12] TANG L， LI T， PERNG C S. LogSig： generating system events from raw textual logs [C]// Proceedings of 20th ACM International Conference on Information and Knowledge Management. Glasgow： CIKM， 2011： 785?794.

[13] 白寧.基于主動學(xué)習(xí)的支持向量機算法[J].現(xiàn)代電子技術(shù)，2013，36（24）：22?24.

BAI Ning. Support vector machine algorithm based on active learning [J]. Modern electronics technique， 2013， 36（24）： 22?24.