基于局部異常檢測(cè)的告警誤報(bào)緩解*

袁 齊，范曉波，胥小波

（中國(guó)電子科技網(wǎng)絡(luò)信息安全有限公司，四川 成都 610041）

0 引言

隨著網(wǎng)絡(luò)應(yīng)用和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，計(jì)算機(jī)網(wǎng)絡(luò)在提供生活便利的同時(shí)，也產(chǎn)生了大量的安全漏洞?；ヂ?lián)網(wǎng)上充斥著各式各樣的網(wǎng)絡(luò)攻擊，很多擁有大量網(wǎng)絡(luò)資產(chǎn)的大中型企業(yè)，往往成為黑客的首要攻擊目標(biāo)，因此企業(yè)往往會(huì)部署多種安全設(shè)備。在這種背景下，企業(yè)內(nèi)部的多種安全防護(hù)設(shè)備每天會(huì)產(chǎn)生大量的安全告警，一個(gè)中等的企業(yè)每天的安全日志告警數(shù)量通常在百萬級(jí)別[1]，企業(yè)安全運(yùn)營(yíng)人員難以對(duì)這些安全告警逐一分析調(diào)查，也無法定位出真正高威脅的告警。因此，安全運(yùn)營(yíng)人員疲于處理大量安全誤報(bào)，而真實(shí)的惡意攻擊行為被淹沒在警報(bào)中沒有得到及時(shí)處理。

告警誤報(bào)緩解[2]旨在去除大量的誤報(bào)，從而使得安全運(yùn)營(yíng)人員集中精力分析真正的高危告警。告警誤報(bào)緩解是異源多構(gòu)網(wǎng)絡(luò)空間知識(shí)高質(zhì)量轉(zhuǎn)化的需要，海量網(wǎng)絡(luò)空間信息的正確決策對(duì)智能化程度有更高的要求。網(wǎng)絡(luò)空間行為是由信息主導(dǎo)的，但制約正確決策的并非是信息本身，而是從海量數(shù)據(jù)中提取重要信息的能力。告警誤報(bào)緩解是網(wǎng)絡(luò)態(tài)勢(shì)理解的前提，只有進(jìn)行過整理、解釋、選擇后生成的知識(shí)層面的網(wǎng)絡(luò)空間信息才能有效用于態(tài)勢(shì)理解。一方面，應(yīng)著重關(guān)注網(wǎng)絡(luò)空間信息大數(shù)據(jù)挖掘的研究，從而加強(qiáng)對(duì)網(wǎng)絡(luò)空間態(tài)勢(shì)的抽象理解，如網(wǎng)絡(luò)空間態(tài)勢(shì)的感知判斷，信息內(nèi)部因果關(guān)系的理解，網(wǎng)絡(luò)空間知識(shí)的搜索、判斷、歸類和度量，對(duì)不同格式數(shù)據(jù)（結(jié)構(gòu)化和非結(jié)構(gòu)化）的自動(dòng)分析等；另一方面，應(yīng)當(dāng)對(duì)專家知識(shí)等已有的成果和結(jié)論加以高效利用，比如可以組織經(jīng)驗(yàn)豐富的網(wǎng)絡(luò)安全專家為生成的樣本集添加標(biāo)簽，形成數(shù)據(jù)資產(chǎn)，以提高網(wǎng)絡(luò)空間信息處理能力。

一般來說，傳統(tǒng)的告警緩解方法大都基于規(guī)則[3]采用前件與后件的工作方式，當(dāng)告警滿足前件時(shí)則忽略該告警或者將該告警置于優(yōu)先級(jí)較低的隊(duì)列。近年來，由于規(guī)則方法的局限性，很多工作探索數(shù)據(jù)驅(qū)動(dòng)的方法進(jìn)行告警緩解，如將告警看作是一種特殊的“語言”采用遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行分析[4]，或是基于生成對(duì)抗網(wǎng)絡(luò)的進(jìn)行系統(tǒng)日志級(jí)檢測(cè)[5]等。而在文獻(xiàn)[6]中，作者利用先驗(yàn)知識(shí)采用聚類的方法進(jìn)行告警關(guān)聯(lián)驗(yàn)證。

本文提出一種新的基于局部異常檢測(cè)的告警誤報(bào)緩解方法對(duì)攻擊網(wǎng)際互連協(xié)議地址（Internet Protocol，IP）進(jìn)行畫像，該方法蘊(yùn)含的1 個(gè)基本前提是絕大部分告警都是使用自動(dòng)化工具發(fā)起的嘗試性攻擊，真正高威脅的攻擊相對(duì)是比較少的。那么，從攻擊階段、攻擊頻次、攻擊者地域特征等維度去刻畫，真實(shí)高威脅的攻擊會(huì)偏離正常范圍。

1 模型和框架

網(wǎng)絡(luò)安全監(jiān)控已經(jīng)逐步走向成熟，目前很多工具旨在監(jiān)控并發(fā)現(xiàn)針對(duì)自身網(wǎng)絡(luò)里的攻擊行為，如防火墻、入侵檢測(cè)系統(tǒng)（Intrusion Detection System，IDS）[7]、入侵防御系統(tǒng)（Intrusion Prevention System，IPS）[8]、主機(jī)監(jiān)控設(shè)備等，以全局、“自上而下”的方式監(jiān)控每個(gè)服務(wù)和設(shè)備。每個(gè)監(jiān)控設(shè)備都會(huì)產(chǎn)生大量的日志，安全信息和事件管理中心（Security Information and Event Management，SIEM）[9]對(duì)所有的安全日志進(jìn)行歸一化處理和保存，以便對(duì)企業(yè)的安全狀態(tài)有一個(gè)全面地認(rèn)識(shí)，典型的SIEM 中告警日志處理流程如圖1 所示。

圖1 SIEM 中日志處理流程

通常來說，一方面，監(jiān)測(cè)設(shè)備為了不遺漏攻擊事件，發(fā)現(xiàn)任意攻擊特征就上報(bào)事件，這種攻擊特征檢測(cè)是非常寬松的；而另一方面，糟糕的開發(fā)者通常對(duì)用戶的輸入不進(jìn)行過濾、轉(zhuǎn)義等處理，兩者相互配合造成大量誤報(bào)，開發(fā)者編碼不規(guī)范，導(dǎo)致這種誤報(bào)更加泛濫，從而掩蓋真實(shí)攻擊。

本文提出的基于異常檢測(cè)的告警誤報(bào)緩解系統(tǒng)如圖2 所示。圖中特征層基于數(shù)據(jù)拉取模塊拉取的數(shù)據(jù)，定期通過特征工程計(jì)算源攻擊IP 最近一段時(shí)間的統(tǒng)計(jì)特征，在特征空間中刻畫源IP 的行為特征，并將特征數(shù)據(jù)存入數(shù)據(jù)庫中。在訓(xùn)練階段，對(duì)于某個(gè)攻擊IP 來說，獲取其前一段時(shí)間的特征數(shù)據(jù)用于訓(xùn)練異常檢測(cè)模型，模型評(píng)估與驗(yàn)證模塊對(duì)訓(xùn)練的模型進(jìn)行交叉驗(yàn)證，若通過驗(yàn)證則保存模型。檢測(cè)階段則用保存的模型對(duì)當(dāng)前的告警日志進(jìn)行實(shí)時(shí)檢測(cè)，輸出真實(shí)、高危的告警。告警誤報(bào)緩解可以去除大量的誤報(bào)，從而使得安全運(yùn)營(yíng)人員集中精力分析真正的高危告警。值得注意的是，由于數(shù)據(jù)漂移等問題存在，在經(jīng)過一段時(shí)間后，模型可能并不適用當(dāng)前數(shù)據(jù)分布情況，因而模型需要定期進(jìn)行更新。

圖2 基于異常檢測(cè)的告警誤報(bào)緩解流程

2 局部異常檢測(cè)

2.1 特征工程

對(duì)于機(jī)器學(xué)習(xí)模型來說，數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限。本文異常檢測(cè)的特征主要分為基本屬性特征和統(tǒng)計(jì)特征兩大類。不管是統(tǒng)計(jì)特征還是屬性特征，都需要將原始日志如事件類型、執(zhí)行的動(dòng)作、設(shè)備源等通過配置文件中的特征字典映射為對(duì)應(yīng)的數(shù)值編碼，并通過數(shù)值編碼來表示嚴(yán)重等級(jí)或者可信程度。屬性特征用0-1 就可以進(jìn)行編碼，表明攻擊者是否具備某個(gè)屬性，如是否命中威脅情報(bào)字段，可以用1 表示命中，而0 表示未命中。模型主要的屬性特征如圖3 所示。

圖3 屬性特征及說明

針對(duì)告警階段等強(qiáng)相關(guān)數(shù)值特征，則采用統(tǒng)計(jì)特征分別從總量特性sum、最大值特性max、唯一值特性u(píng)nique 3 個(gè)維度進(jìn)行刻畫。如圖4 所示，其中攻擊階段是指告警事件在網(wǎng)絡(luò)攻擊生命周期殺傷鏈（kill-chain）7 個(gè)階段中所處的位置。殺傷鏈7個(gè)階段用來拆分惡意軟件的每個(gè)攻擊階段，包括偵查跟蹤、武器構(gòu)建、載荷投遞、漏洞利用、安裝植入、命令與控制、目標(biāo)達(dá)成等。

圖4 統(tǒng)計(jì)特征及說明

屬性特征和統(tǒng)計(jì)特征的具體說明如下文所述。

（1）屬性特征說明：例如源IP 是國(guó)內(nèi)或國(guó)外、是否命中威脅情報(bào)、源IP 和目的IP 的內(nèi)外網(wǎng)類型。

（2）統(tǒng)計(jì)特征說明：通過主鍵（源IP 和資產(chǎn)標(biāo)識(shí)兩個(gè)字段）進(jìn)行聚合之后對(duì)每個(gè)原始日志字段進(jìn)行對(duì)應(yīng)的聚合函數(shù)（主要是求和函數(shù)sum、最大值函數(shù)max、唯一值函數(shù)unique）得到對(duì)應(yīng)的特征字段。

2.2 異常檢測(cè)算法

真實(shí)的攻擊日志通常和實(shí)際監(jiān)控網(wǎng)絡(luò)環(huán)境（拓?fù)洹I(yè)務(wù)、資產(chǎn)、漏洞等）息息相關(guān)。通過將上述系統(tǒng)部署到真實(shí)的線上環(huán)境中，抽取高維特征數(shù)據(jù)進(jìn)行可視化分析，告警日志通常會(huì)形成相關(guān)簇。例如，對(duì)于提供公網(wǎng)服務(wù)的企業(yè)來說，在外網(wǎng)中部署的設(shè)備較多，使得產(chǎn)生的告警日志中外網(wǎng)占了大部分，內(nèi)網(wǎng)少部分；相反，對(duì)于內(nèi)網(wǎng)業(yè)務(wù)系統(tǒng)較多的企業(yè)來講，內(nèi)網(wǎng)中部署的設(shè)備較多，使得產(chǎn)生的告警日志中內(nèi)網(wǎng)占了大部分，外網(wǎng)少部分。此外，內(nèi)網(wǎng)和外網(wǎng)的安全設(shè)備類型也不一致，產(chǎn)生的告警類型也不同。因此，內(nèi)網(wǎng)和外網(wǎng)產(chǎn)生的告警數(shù)量以及類型不同，其通過特征工程后形成了兩種相對(duì)獨(dú)立的分布。如果選擇孤立森林（Isolation Forest，iForest）[10]或者直方圖異常（Histogram-based Outlier Score，HbOS）[11]這種全局的異常檢測(cè)算法，在進(jìn)行檢測(cè)的時(shí)候會(huì)將少量的簇判定為異常，從而造成誤判。

不同的攻擊方向關(guān)注的告警類型也不一樣，在3 種攻擊方向外網(wǎng)到內(nèi)網(wǎng)、內(nèi)網(wǎng)到內(nèi)網(wǎng)、內(nèi)網(wǎng)到外網(wǎng)中，其特征顯然是不一樣的。如從外到內(nèi)更多關(guān)注的是掃描、漏洞攻擊、挑戰(zhàn)黑洞（Challenge Collapsar，CC）攻擊、暴力破解等，內(nèi)網(wǎng)之間則更關(guān)注橫向滲透、內(nèi)網(wǎng)服務(wù)、蠕蟲傳播等[12]。

本文在異常檢測(cè)中采用局部異常因子算法（Local Outlier Factor，LOF）[13-15]。LOF 局部異常檢測(cè)依賴每個(gè)點(diǎn)p和鄰域點(diǎn)的密度來判斷該點(diǎn)是否為異常，點(diǎn)p的密度越低，越有可能是異常點(diǎn)。而點(diǎn)的密度是通過點(diǎn)之間的距離來計(jì)算的，也就是說，LOF 算法中點(diǎn)的密度是通過點(diǎn)的k鄰域計(jì)算得到的，而不是通過全局計(jì)算得到。LOF 的計(jì)算依賴如下幾個(gè)定義。

（1）k-鄰近距離。在距離數(shù)據(jù)點(diǎn)p最近的幾個(gè)點(diǎn)中，第k個(gè)最近的點(diǎn)跟點(diǎn)p之間的距離稱為點(diǎn)p的k-鄰近距離，記為k_distance(p)。

（2）可達(dá)距離。可達(dá)距離的定義跟k-鄰近距離是相關(guān)的，給定參數(shù)k時(shí)，數(shù)據(jù)點(diǎn)p到數(shù)據(jù)點(diǎn)o的可達(dá)距離reach_dist（p,o）為數(shù)據(jù)點(diǎn)o的k-鄰近距離和數(shù)據(jù)點(diǎn)p與點(diǎn)o之間的直接距離的最大值，計(jì)算方式為：

數(shù)據(jù)點(diǎn)p的局部可達(dá)密度（local reachability density，lrd）的定義是基于可達(dá)距離的，為它與鄰近的數(shù)據(jù)點(diǎn)的平均可達(dá)距離的倒數(shù)，具體為：

式中：Nk(p)是那些跟點(diǎn)p的距離小于等于k-distance（p）的數(shù)據(jù)點(diǎn)集合。

（3）局部異常因子。根據(jù)局部可達(dá)密度的定義，如果一個(gè)數(shù)據(jù)點(diǎn)跟其他點(diǎn)比較疏遠(yuǎn)的話，那么顯然它的局部可達(dá)密度就小。但LOF 算法衡量一個(gè)數(shù)據(jù)點(diǎn)的異常程度，并不是看它的絕對(duì)局部密度，而是看它跟周圍鄰近的數(shù)據(jù)點(diǎn)的相對(duì)密度。局部異常因子即是用局部相對(duì)密度來定義的。數(shù)據(jù)點(diǎn)p的局部相對(duì)密度（局部異常因子）為點(diǎn)p的鄰居們的平均局部可達(dá)密度跟數(shù)據(jù)點(diǎn)p的局部可達(dá)密度的比值，計(jì)算方法為：

根據(jù)局部異常因子的定義，如果數(shù)據(jù)點(diǎn)p的LOF 得分在1 附近，表明數(shù)據(jù)點(diǎn)p的局部密度跟它的鄰居們差不多；如果數(shù)據(jù)點(diǎn)p的LOF 得分小于1，表明數(shù)據(jù)點(diǎn)p處在一個(gè)相對(duì)密集的區(qū)域；如果數(shù)據(jù)點(diǎn)p的LOF 得分遠(yuǎn)大于1，表明數(shù)據(jù)點(diǎn)p跟其他點(diǎn)比較疏遠(yuǎn)，很有可能是一個(gè)異常點(diǎn)，從而實(shí)現(xiàn)異常檢測(cè)。

3 實(shí)驗(yàn)結(jié)果與分析

本文系統(tǒng)在公安部組織的2021 年針對(duì)國(guó)內(nèi)基礎(chǔ)設(shè)施系統(tǒng)的大型攻防演練中進(jìn)行實(shí)驗(yàn)。攻防演練持續(xù)14 天，采集了流量側(cè)日志（綠盟綜合威脅探針uts、天眼分析平臺(tái)）、防火墻日志和終端告警日志，日志分布情況如圖5 所示，從圖中可以看出大部分日志為流量側(cè)日志。

圖5 日志分布情況

在攻防演練中的每一天，都統(tǒng)計(jì)上報(bào)被封的IP數(shù)目、算法檢測(cè)IP 數(shù)目及算法檢測(cè)的真實(shí)攻擊IP數(shù)目，記錄結(jié)果如表1 表2 所示。

表1 第1 周IP 數(shù)統(tǒng)計(jì)

表2 第2 周IP 數(shù)統(tǒng)計(jì)

值得注意的是，表中僅包含安全分析人員通過分析網(wǎng)絡(luò)態(tài)勢(shì)感知系統(tǒng)攻擊日志進(jìn)行上報(bào)的IP 數(shù)，不包括通過主機(jī)上的普通業(yè)務(wù)日志進(jìn)行研判封堵的IP，也不包括其他廠商上報(bào)的IP，因?yàn)檫@些IP 無法從攻擊日志中進(jìn)行分析得到。

由表1和表2中可以看出，攻防演練開始的時(shí)候算法檢測(cè)的性能較差，其原因是：一方面，異常檢測(cè)算法需要訓(xùn)練數(shù)據(jù)的沉淀；另一方面，需要根據(jù)實(shí)際情況進(jìn)行算法調(diào)優(yōu)，包括超參數(shù)和特征等。除去開始的第1天，后面13 天的平均檢測(cè)精度P（Precision）為0.59，平均召回率R（Recall）為0.69。精度的定義是算法檢測(cè)的正確攻擊IP 數(shù)，占檢測(cè)IP 總數(shù)的比例；而召回率為檢測(cè)的正確攻擊IP 數(shù)，占實(shí)際攻擊IP 的比例。兩者計(jì)算如下：

式中：TP 為被判定為攻擊IP，NTP為攻擊IP 的數(shù)目；FP 為被判定為攻擊IP，NFP為正常訪問的數(shù)目；FN為被判定為正常訪問，NFN為攻擊IP 的數(shù)目。

根據(jù)精度和召回率的定義，本文提出的基于局部異常的算法檢測(cè)出IP 中接近六成的IP 屬于真實(shí)的攻擊IP，且檢測(cè)的真實(shí)攻擊IP 占所有真實(shí)攻擊IP 總數(shù)的七成。

此外，將本文提出的算法性能和監(jiān)控設(shè)備內(nèi)置的規(guī)則進(jìn)行比較，規(guī)則輸出將所有的告警日志分為4 類：很高、高、中、信息，從而在日志量巨大的情況下使得安全分析人員關(guān)注等級(jí)為“很高”的日志。圖6 為基于規(guī)則的不同等級(jí)占比顯示每個(gè)等級(jí)的日志占比，由于整個(gè)攻防演練期間，被封的真實(shí)IP 總數(shù)為245 個(gè)，而等級(jí)為“很高”的日志數(shù)目為24 718，其最高精度為245/24 718 ≈1%，與之對(duì)應(yīng)的，本文算法精度為59%，和只采用規(guī)則相比，該算法可以極大減少分析人員的時(shí)間。

圖6 基于規(guī)則的不同等級(jí)占比

4 結(jié)語

針對(duì)企業(yè)安全運(yùn)營(yíng)中存在的海量告警問題，本文提出一種新的告警誤報(bào)緩解方法，基于真正高威脅的攻擊相對(duì)是比較少的事實(shí)，該方法采用局部異常檢測(cè)算法從攻擊階段、攻擊頻次、攻擊者地域特征等維度去刻畫攻擊IP 的偏離正常范圍的程度，從而去除大量的誤報(bào)，使得安全運(yùn)營(yíng)人員集中精力分析真正的高危告警。該方法在大型網(wǎng)絡(luò)攻防實(shí)戰(zhàn)中進(jìn)行部署，結(jié)果表明具備較好的檢測(cè)性能。