基于模糊場景關(guān)聯(lián)分析的技術(shù)研究與實踐

曲光學(xué)

摘要：文章針對海量多源異構(gòu)安全日志分析問題，提出了一種基于模糊場景的關(guān)聯(lián)分析方法。這種方法打破傳統(tǒng)安全告警日志關(guān)聯(lián)分析技術(shù)中常采用的構(gòu)建固定攻擊場景的方式。它采用聚類算法對多源異構(gòu)告警日志進(jìn)行聚合，綜合考慮告警事件的數(shù)據(jù)來源、數(shù)量和事件等級，對每部分進(jìn)行權(quán)重的累加，計算出與源IP對應(yīng)的事件疑似度。文章介紹了模糊場景關(guān)聯(lián)分析方法的架構(gòu)原理、技術(shù)實現(xiàn)，并通過實例加以說明，對所提出的方法進(jìn)行驗證。結(jié)果表明該方法和應(yīng)用是可行和有效的。

關(guān)鍵詞：安全日志；多源異構(gòu)日志；模糊場景關(guān)聯(lián)分析；聚類分析；疑似度

隨著網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展，安全管理問題日益繁雜。企業(yè)單位采用各種網(wǎng)絡(luò)安全設(shè)備，如防火墻、入侵檢測系統(tǒng)、病毒木馬檢測系統(tǒng)、行為審計系統(tǒng)、漏洞掃描器等，節(jié)點分散，數(shù)量品牌多，產(chǎn)品差異大，各安全設(shè)備功能相對獨立，告警日志多。例如連續(xù)運行的入侵檢測系統(tǒng)報警量常常達(dá)到G數(shù)量級。據(jù)統(tǒng)計，其中約有99%以上是無關(guān)報警。傳統(tǒng)對各種告警日志進(jìn)行單獨分析和處理的方法，由于忽略各種類型日志之間的相關(guān)性，使其分析結(jié)果無法準(zhǔn)確地反映網(wǎng)絡(luò)系統(tǒng)的安全狀況，管理員湮沒在大量告警中，很難了解系統(tǒng)的安全威脅狀況，無法在海量日志中快速定位有價值的安全威脅，也不能及時采取有效的響應(yīng)措施。因此，針對這種多源異構(gòu)告警日志的模糊場景關(guān)聯(lián)分析具有重要的實用價值和研究意義。

近年來，國內(nèi)外研究人員從不同角度對多源異構(gòu)日志進(jìn)行研究，并取得一定的成果。Asif-Iqba等提出了一種異構(gòu)日志事件過濾的方法，利用聚類算法過濾冗余的日志事件，最后對日志事件進(jìn)行聚合，從而有利于多源日志事件關(guān)聯(lián)分析；Robiah等提出了一種基于異構(gòu)日志的入侵報警關(guān)聯(lián)分析方法；文獻(xiàn)通過對日志文件的交集進(jìn)行分析來發(fā)現(xiàn)用戶的惡意行為，從而提高系統(tǒng)的安全性，但該方法只能對防火墻日志與應(yīng)用系統(tǒng)日志進(jìn)行分析；文章提出了一種日志關(guān)聯(lián)分析模型，通過對不同來源的日志文件進(jìn)行采集、過濾、規(guī)范化以及關(guān)聯(lián)分析，重構(gòu)攻擊序列。

以上方法為多源異構(gòu)日志分析工作提供了可行的解決思路，為日志分析模型及算法奠定了良好的基礎(chǔ)，但也普遍存在分析數(shù)據(jù)源不夠廣泛、分析技術(shù)單一等問題。為此，本文提出了一種包含聚合分析、統(tǒng)計分析和關(guān)聯(lián)分析在內(nèi)的模糊場景關(guān)聯(lián)分析方法，旨在解決從海量信息安全報警日志中快速準(zhǔn)確關(guān)聯(lián)分析出最有威脅攻擊行為的問題，輔助管理員對事件進(jìn)行深度分析和準(zhǔn)確處理，實現(xiàn)海量異構(gòu)安全報警的高效關(guān)聯(lián)分析及處置，以減少網(wǎng)絡(luò)攻擊威脅對信息系統(tǒng)所造成的影響。

1系統(tǒng)架構(gòu)

本文所使用的模糊場景關(guān)聯(lián)分析是對各類安全設(shè)備告警日志數(shù)據(jù)的深入挖掘和分析，該算法應(yīng)用在某單位安全運維一體化管控系統(tǒng)的核心關(guān)聯(lián)分析引擎中。模糊場景關(guān)聯(lián)分析算法依靠內(nèi)存數(shù)據(jù)庫的高效率特點，將格式化后的安全告警日志實時保存在內(nèi)存中進(jìn)行周期性快速比對分析，依據(jù)攻擊源和目的IP地址聚合后攻擊行為的次數(shù)、類型、攻擊手段、事件名稱等關(guān)鍵要素進(jìn)行不同分析，基于越多次數(shù)、越多類型、越多攻擊手段其作為攻擊源和攻擊目標(biāo)的疑似度就越高的基本分析原則，為每個攻擊來源和目的IP地址進(jìn)行實時疑似度統(tǒng)計分析，管理員不再根據(jù)安全告警原始日志的接收順序進(jìn)行分析處置，而是依據(jù)攻擊行為疑似度高低優(yōu)先處理最具安全威脅的攻擊者或攻擊目標(biāo)IP地址。

2海量異構(gòu)安全日志關(guān)聯(lián)分析原理

在面對大量安全告警信息進(jìn)行關(guān)聯(lián)處理中，傳統(tǒng)分析引擎依照順序規(guī)則判定安全報警的生成，按照一個既定的告警事件分析順序依次判斷，最終根據(jù)提前明確預(yù)定義規(guī)則生成安全報警。但在實際關(guān)聯(lián)分析過程中，過于教科書樣式的分析規(guī)則在現(xiàn)實關(guān)聯(lián)分析中，由于受安全產(chǎn)品的部署和檢測效能限制，往往無法保證百分之百地提供真實、有效的安全告警讓分析引擎正確執(zhí)行命中。為了實現(xiàn)針對全網(wǎng)真實環(huán)境下部署策略各不相同的安全設(shè)備所觸發(fā)安全告警數(shù)據(jù)的有效分析，本文設(shè)計引入模糊化場景分析規(guī)則，其具體設(shè)計步驟為：以單一日志分析后的來源和目的IP地址作為關(guān)鍵索引，在一個有效的時間窗口中不斷聚合告警日志中每次攻擊的來源和目的分別相同的IP地址，在時間窗口中不斷累積攻擊源和攻擊目標(biāo)IP所對應(yīng)的安全事件的名稱、級別、對端IP這些信息成為關(guān)聯(lián)分析的輸入條件。最終基于這些輸入數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析后，形成一個不斷變化的疑似度閾值，當(dāng)閾值達(dá)到提前設(shè)置的數(shù)值時，算法就趨于認(rèn)同該來源或者目的IP地址有可能是一個真實的攻擊來源或者攻擊目標(biāo)。

3整體架構(gòu)

為了使模糊場景關(guān)聯(lián)分析算法保持高效的實時比對分析，系統(tǒng)架構(gòu)采用流式數(shù)據(jù)處理引擎、內(nèi)存數(shù)據(jù)庫和傳統(tǒng)關(guān)系型數(shù)據(jù)庫混合構(gòu)建完成，將1天24小時即86400秒內(nèi)采集到的海量日志全部放入內(nèi)存數(shù)據(jù)庫中進(jìn)行實時比對分析，流式數(shù)據(jù)處理引擎負(fù)責(zé)格式化處理各類實時安全告警日志數(shù)據(jù)，流式引擎處理格式化后的日志數(shù)據(jù)放入內(nèi)存數(shù)據(jù)庫，相對傳統(tǒng)關(guān)系型數(shù)據(jù)更適合大量數(shù)據(jù)的匹配分析。所有分析出來的安全告警數(shù)據(jù)以及對應(yīng)原始告警數(shù)據(jù)日志放入關(guān)系型數(shù)據(jù)庫中進(jìn)行保存。

4技術(shù)實現(xiàn)

4.1模糊關(guān)聯(lián)場景分析方法

模糊場景關(guān)聯(lián)分析是對安全運維一體化系統(tǒng)中匯集的安全告警原始日志數(shù)據(jù)的分析和挖掘。該方法主要是通過模糊關(guān)聯(lián)分析算法，對當(dāng)前和歷史的安全告警和日志數(shù)據(jù)的計算，發(fā)現(xiàn)系統(tǒng)中告警威脅的攻擊者和被攻擊者疑似度（疑似度的值為0～1之間，用來表示攻擊者和被攻擊者的疑似程度，越接近1表明攻擊者和被攻擊者的確定程度越大）。

通過對安全告警產(chǎn)生過程的深入分析，認(rèn)為有4種安全告警對于疑似度的計算可以產(chǎn)生不同影響。

第1種：未符合聚合策略被忽略的安全告警。由于某些高級持續(xù)性威脅（APT）的告警會有意識地調(diào)整攻擊頻率，系統(tǒng)中單一的聚合策略并不能生成告警。

第2種：已處理生成安全事件的安全告警。對于己生成安全事件的告警，這些攻擊源和攻擊目標(biāo)是管理員需要持續(xù)關(guān)注的。

第3種：管理員手動操作忽略的安全告警。由于管理員并不能輕松根據(jù)上報的安全告警分析出它們之間的關(guān)聯(lián)關(guān)系，所以往往對這些告警采用忽略處理，進(jìn)而錯過徹底發(fā)現(xiàn)攻擊的最佳時機。

第4種：系統(tǒng)中狀態(tài)為未處理的安全告警。系統(tǒng)中未處理的安全告警是管理員最關(guān)注的。

以上是模糊場景關(guān)聯(lián)分析方法的四大數(shù)據(jù)來源（見圖1）。

對于每一種安全告警中都存在著攻擊源和攻擊目標(biāo)，在安全告警事件中，源IP即攻擊源，目的IP即攻擊目標(biāo)。模糊場景關(guān)聯(lián)分析方法根據(jù)4個數(shù)據(jù)源計算出每個源IP和目的IP的疑似度（見圖2）。

通過對模糊場景關(guān)聯(lián)分析的數(shù)據(jù)源的分析，每種數(shù)據(jù)源都是由安全告警組成，每個安全告警又是由多個原始的告警聚合產(chǎn)生，對于安全告警的聚合數(shù)量、告警等級是直接影響計算疑似度的2個重要參數(shù)（見圖3）。

4.2模糊場景算法組成

模糊場景關(guān)聯(lián)分析方法中有4個數(shù)據(jù)來源、2個維度和2個參數(shù)。模糊場景關(guān)聯(lián)分析主要是攻擊源和攻擊目標(biāo)疑似度的計算模型（見圖4）。

由于4個數(shù)據(jù)源產(chǎn)生的安全告警的影響是不同的，己處理生成安全事件的安全告警最高，系統(tǒng)中狀態(tài)為未處理的安全告警次之，由于未符合聚合策略被忽略的安全告警和管理員手動忽略的安全告警均屬于忽略狀態(tài)的告警，所以此類告警影響最低。

其對應(yīng)在計算方法中的權(quán)值也是依次降低。影響劃分如下：

己處理生成安全事件的安全告警權(quán)重>系統(tǒng)中狀態(tài)為未處理的安全告警權(quán)重>未符合聚合策略被忽略的安全告警和系統(tǒng)運維人員手動忽略的安全告警權(quán)重。

數(shù)據(jù)源的權(quán)重Ts范圍為1～100，4種數(shù)據(jù)源的權(quán)重如表1所示（表中數(shù)據(jù)為假設(shè)數(shù)據(jù)）。

對于模糊場景關(guān)聯(lián)分析方法中告警數(shù)量，每種數(shù)據(jù)源提供的數(shù)量是不同的，為了避免數(shù)據(jù)量對計算結(jié)果誤導(dǎo)性影響，告警數(shù)量的權(quán)重采用非線性的計算方式獲得，具體計算公式如下所示：

Tc=a*th（X/Fn）

Tc表示報警數(shù)量的權(quán)重，x表示告警數(shù)量。a是控制權(quán)重的變化趨勢，a值越大表明_rc的值越大。th（）為雙曲正切函數(shù)，使用雙曲正切函數(shù)能保證數(shù)量的大小變化對權(quán)重值影響不成比例。Fn為調(diào)整系數(shù)，是一個常量值，更能符合Tc的變化趨勢。

模糊場景關(guān)聯(lián)分析方法告警等級權(quán)重Td也是計算方法中重要的參數(shù)，安全告警一共分為3個等級：高、中、低。告警等級的權(quán)重范圍為1～10，由于低等級的安全告警對于疑似度的影響較小，系統(tǒng)默認(rèn)定義低級別安全報警的權(quán)值為1。其中安全告警等級的權(quán)重如表2所示（表中高中級數(shù)據(jù)為假設(shè)數(shù)據(jù)）。

事件疑似度是由數(shù)據(jù)源種類、安全告警數(shù)量和安全報警等級決定的，具體計算公式如下所示：

其中，DoubtC表示源IP（或目的IP）為攻擊源（或攻擊目的）的疑似度。n表示時間范圍內(nèi)參加計算的安全報警數(shù)量。Ts表示每種數(shù)據(jù)源的權(quán)重。Tc表示通過安全告警聚合的數(shù)量計算出的數(shù)量權(quán)重。Td代表安全告警等級的權(quán)重。Fa為疑似度調(diào)整系數(shù)，是一個常量值，F(xiàn)a的設(shè)置是將疑似度作整體調(diào)整的人性化設(shè)計，更能符合用戶對于疑似度的感念意識。疑似度計算使用雙曲正切函數(shù)y=th（X）=（e∧x-e∧（-X））/（e∧x+e∧、（-x）），如圖5所示，在雙曲正切函數(shù)中，不論數(shù)值有多大（如：疑似度原值可以是無限大），最終計算出的結(jié)果都是在0～1之間的，而其他函數(shù)則沒有此性質(zhì)。疑似度計算公式中利用雙曲正切函數(shù)的分值限制將疑似度值控制在0～100%之間。

模糊場景關(guān)聯(lián)分析算法實例（此數(shù)據(jù)為測試算法數(shù)據(jù)）：

（1）時間范圍10分鐘，取源IP為192.168.10.1的10條數(shù)據(jù)為例。

（2）數(shù)量權(quán)重計算公式中的Fn值為200，a系數(shù)值為10。

（3）安全報警等級權(quán)值高中低分別為：Td=6，Td=4，Td=1。

（4）疑似度計算公式中的Fa值為1000。

具體如表3所示。

Doubtc=th（9982.400/1000）=0.7609

則時間范圍10分鐘，源IP；為192.168.10.1的攻擊者疑似度為76.09%。

5應(yīng)用效果

模糊場景關(guān)聯(lián)分析算法作為安全運維一體化管控系統(tǒng)的核心日志分析處置功能引擎，已經(jīng)成功部署在某單位并在安全日志關(guān)聯(lián)分析處置中發(fā)揮了實際功效價值。該引擎自從上線后，平均每天關(guān)聯(lián)分析接近370萬條不同廠家品牌規(guī)格的安全日志數(shù)據(jù)，通過對安全日志分析處置，每天可以穩(wěn)定針對20～30個重點攻擊源和攻擊目標(biāo)IP地址進(jìn)行高威脅疑似度預(yù)警，及時通知管理員進(jìn)行研判分析處置。管理員可以直接在系統(tǒng)界面中查看相關(guān)疑似度統(tǒng)計分析數(shù)據(jù)以及對應(yīng)的原始日志主數(shù)據(jù)，進(jìn)行運維流程處理。模糊場景關(guān)聯(lián)分析算法應(yīng)用后，日常安全運維人員不必每天再面對大量滾動更新的安全日志而束手無策，系統(tǒng)成為安全運維團隊日常工作的重要支撐工具。

6結(jié)語

綜上所述，傳統(tǒng)安全告警日志關(guān)聯(lián)分析技術(shù)中經(jīng)常采用構(gòu)建固定攻擊場景的方式進(jìn)行關(guān)聯(lián)分析，為攻擊行為建立嚴(yán)格的發(fā)展順序，只有按照場景規(guī)定的步驟進(jìn)行的告警日志才能夠被檢測分析。這種明確的場景規(guī)則存在較大的局限性，在實際應(yīng)用中一方面攻擊場景不可能全部枚舉出來，另一方面攻擊行為隱蔽性越來越強，攻擊者為了繞過安全設(shè)備的防守，采取各種各樣的方式，攻擊步驟不斷變化，一旦攻擊步驟變了，而監(jiān)控系統(tǒng)仍然按照原先設(shè)定的場景進(jìn)行匹配，則此次關(guān)聯(lián)分析對于攻擊的識別是失敗的。本文提出的安全告警日志模糊場景關(guān)聯(lián)分析的技術(shù)架構(gòu)，跳出了傳統(tǒng)分析規(guī)則的局限，不再針對一系列攻擊行為進(jìn)行預(yù)先場景描述，而是綜合考慮告警事件的數(shù)據(jù)來源、數(shù)量和事件等級，對每部分進(jìn)行權(quán)重的累加，最終得到某個源IP（目的IP）是攻擊威脅（被攻擊威脅對象）的疑似度。該規(guī)則更加簡單易用，無需頻繁升級調(diào)整，同時也更加符合實際工作中安全告警日志數(shù)據(jù)的結(jié)構(gòu)特點，增強了安全運維系統(tǒng)針對大型網(wǎng)絡(luò)中各類安全攻擊威脅預(yù)警的及時性和準(zhǔn)確性。