基于主機(jī)日志的惡意登錄異常檢測方法

王偉

摘要：高級持續(xù)性威脅通常會利用網(wǎng)絡(luò)中的橫向移動來造成傷害。事實上，橫向移動占攻擊時間的 80% 以上。攻擊者通常使用竊取的憑據(jù)進(jìn)行橫向移動。然而，目前的檢測方法更關(guān)注惡意用戶和主機(jī)，而不是表明惡意登錄的異常日志條目，無法有效檢測橫向移動。文章提出了一種惡意登錄檢測方法，主要針對竊取憑據(jù)的攻擊。細(xì)粒度方法采用時間神經(jīng)網(wǎng)絡(luò)嵌入來學(xué)習(xí)主機(jī)跳躍表示。日志條目中學(xué)習(xí)到的主機(jī)向量和初始化的屬性向量被輸入具有登錄特征提取的注意力機(jī)制的長短期記憶中，從而確定登錄是不是惡意的。實驗結(jié)果表明，文章提出的方法優(yōu)于幾種基線檢測模型。

關(guān)鍵詞：主機(jī)日志；惡意登錄；異常檢測

中圖分類號：TP399文獻(xiàn)標(biāo)志碼：A

0 引言

機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法在入侵檢測系統(tǒng)設(shè)計中起著重要作用。在入侵檢測系統(tǒng)中，只要網(wǎng)絡(luò)中的活動序列與已知的攻擊簽名相匹配，就會檢測到系統(tǒng)中的攻擊。另外，在異常檢測方法中，可以基于系統(tǒng)狀態(tài)轉(zhuǎn)換與其正常狀態(tài)的顯著差異來識別系統(tǒng)中的異常狀態(tài)［1］。

1 相關(guān)概念與技術(shù)理論基礎(chǔ)

1.1 惡意登錄攻擊分析

異常登錄檢測是構(gòu)建安全可信系統(tǒng)的關(guān)鍵一步。當(dāng)?shù)卿浻涗浿谐霈F(xiàn)新用戶時，傳統(tǒng)方法判斷登錄發(fā)生了異常行為，但實際上，第一個登錄主體可能是攻擊者以外的新員工。高級持續(xù)性威脅（APTs）一直是大量研究的焦點通常表現(xiàn)為對特定目標(biāo)的持續(xù)有效攻擊［2］。攻擊者通常會破壞主機(jī)，并采用隱藏策略進(jìn)入睡眠狀態(tài)。橫向移動是攻擊的下一個關(guān)鍵且耗時的階段，會嘗試逐步移動到網(wǎng)絡(luò)中的其他機(jī)器并進(jìn)行控制。因此，惡意登錄檢測對于對抗高級持續(xù)威脅至關(guān)重要。

1.2 惡意登錄檢測方法概述

惡意登錄檢測方法在描述用戶和主機(jī)之間交互的通信圖中建模登錄。然而，這些方法主要關(guān)注日志條目的部分屬性（例如登錄關(guān)系），以識別惡意用戶和主機(jī)，這是一種相對粗粒度的檢測策略。其他橫向移動檢測技術(shù)利用機(jī)器學(xué)習(xí)可以獲得更好的結(jié)果，然而，大多數(shù)技術(shù)都受到模型可解釋性的限制。此外，還有一些細(xì)粒度的檢測方法，包括主機(jī)表示學(xué)習(xí)和日志文件特征提取。主機(jī)表示學(xué)習(xí)使用時間神經(jīng)網(wǎng)絡(luò)嵌入模型來學(xué)習(xí)初始主機(jī)向量，使主機(jī)登錄關(guān)系轉(zhuǎn)換為主機(jī)向量［3］。

1.3 深度學(xué)習(xí)理論基礎(chǔ)

最近，深度學(xué)習(xí)是一種廣泛使用的技術(shù)，可應(yīng)用于入侵檢測系統(tǒng)以檢測惡意網(wǎng)絡(luò)流量。深度學(xué)習(xí)模型檢測效率的核心是基于數(shù)據(jù)集的質(zhì)量訓(xùn)練模型。本研究提出了一個帶有深度學(xué)習(xí)模型的檢測框架，使用由惡意和正常流量構(gòu)建的數(shù)據(jù)集。用于提供惡意登錄異常檢測方法，以檢測網(wǎng)絡(luò)流量異常。這項研究的重大挑戰(zhàn)是將提取的特征用于訓(xùn)練各種攻擊的模型，以區(qū)分異常流量和常規(guī)流量。數(shù)據(jù)集 ISOT-CID 網(wǎng)絡(luò)流量部分用于訓(xùn)練 ML 模型。筆者添加了一些重要的列功能，并且批準(zhǔn)該功能在訓(xùn)練階段支持 ML 模型。ISOT-CID 數(shù)據(jù)集流量部分包含兩類特征，一類特征是從網(wǎng)絡(luò)流量中提取的，另一類特征是在特定時間間隔內(nèi)計算的。筆者還展示了一個添加到數(shù)據(jù)集的新列特征，并證實它可以提高檢測質(zhì)量。

2 基于實體嵌入的日志向量化表示方法

2.1 實體嵌入算法思想

在一般的基于日志的異常檢測系統(tǒng)中，網(wǎng)絡(luò)、設(shè)備和主機(jī)日志都被一起用來分析和檢測異常。然而，不斷增加的日志量仍然是異常檢測工具面臨的主要挑戰(zhàn)之一。本文提出了一種基于主機(jī)的日志分析系統(tǒng)，該系統(tǒng)可以在不使用網(wǎng)絡(luò)日志的情況下檢測異常，以減少體積并顯示基于主機(jī)的日志的重要性，使解析器從Sysmon日志中解析和提取特征，并對數(shù)據(jù)執(zhí)行檢測。經(jīng)過兩次廣泛的體積縮減步驟后，有價值的信息得以成功保留。周超［3］提出了一個異常檢測系統(tǒng)，并在多達(dá) 55 000 個事件和超過100萬條日志消息的不同數(shù)據(jù)集上執(zhí)行。系統(tǒng)使用保存的日志可以輕松地檢測攻擊和惡意活動。

模型不能直接理解文本或圖像數(shù)據(jù)，要在機(jī)器學(xué)習(xí)或深度學(xué)習(xí)中建立任何模型，最終級別的數(shù)據(jù)必須是數(shù)字形式。向量化或詞嵌入是將文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值向量的過程，被用來構(gòu)建各種機(jī)器學(xué)習(xí)模型［4］。

2.2 基于實體嵌入的日志向量化表示方法

日志分為日志鍵和日志參數(shù)。為了理解和生成文本，NLP 驅(qū)動的系統(tǒng)必須能夠識別單詞、語法和大量的語言細(xì)微差別。為了彌合差距，NLP 專家開發(fā)了一種詞嵌入技術(shù)，可以將詞轉(zhuǎn)換成相應(yīng)的數(shù)字表示。轉(zhuǎn)換后，NLP 算法可以輕松處理文本信息。詞嵌入將詞映射為實數(shù)值向量，通過標(biāo)記序列（或句子）中的每個單詞并將它們轉(zhuǎn)換為向量空間來實現(xiàn)。詞嵌入旨在捕捉文本序列中詞的語義，將相似的數(shù)字表示分配給具有相似含義的單詞。TF-IDF 是一種機(jī)器學(xué)習(xí)（ML）算法，它基于尋找文本中單詞相關(guān)性的統(tǒng)計度量，文本可以是文檔或各種文檔（語料庫）的形式。TF-IDF是兩個指標(biāo)的組合：詞頻 （TF）和逆文檔頻率（IDF）。TF 的計算方法是將單詞（i）的出現(xiàn)次數(shù)除以文檔（j）中單詞的總數(shù) （N）。隨著 NLP 的進(jìn)步，詞嵌入技術(shù)也在進(jìn)步。許多 NLP 任務(wù)不需要高級嵌入技術(shù)，詞嵌入技術(shù)的選擇必須基于實驗和特定任務(wù)的要求。

3 基于神經(jīng)網(wǎng)絡(luò)的惡意登錄異常檢測方法

3.1 注意力機(jī)制原理

注意力機(jī)制的興起使得惡意登錄異常檢測能力獲得了比較高的準(zhǔn)確率。同時，小波變換和粒子群優(yōu)化算法用于優(yōu)化和改變決策樹模型，以提高模型的性能。根據(jù)后驗概率最大化進(jìn)行分類判斷，得到了較好的結(jié)果。在 KDD 數(shù)據(jù)集中，二進(jìn)制精度可以顯著提高到 99.6%～99.8% ，同時將誤報減少到 0.5%。

3.2 長短時記憶網(wǎng)絡(luò)

長短時記憶網(wǎng)絡(luò)使用神經(jīng)網(wǎng)絡(luò)來檢測惡意流量。研究結(jié)果發(fā)現(xiàn)，較深的網(wǎng)絡(luò)比淺層神經(jīng)網(wǎng)絡(luò)能更準(zhǔn)確地檢測惡意流量。同時，一些研究人員使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）作為特征提?。?］。多CNN融合模型非常適合在NSL-KDD數(shù)據(jù)集上提供高精度、低復(fù)雜度的分類方法。

3.3 基于注意機(jī)制的LSTM惡意登錄異常檢測模型

異常檢測已成為多個領(lǐng)域的重要問題。本文提出了一種基于長短期記憶 （Long Short-Term Memory，LSTM）網(wǎng)絡(luò)檢測時間序列異常的新方法。在對正常數(shù)據(jù)進(jìn)行訓(xùn)練后，網(wǎng)絡(luò)用于預(yù)測時間序列中感興趣的步驟。預(yù)測值和觀測值之間的差異被計算為預(yù)測誤差。然后，筆者使用分位數(shù)函數(shù)的核估計計算閾值，該閾值用于確定異常觀察。

4 基于主機(jī)日志的惡意登錄異常檢測方法研究

4.1 系統(tǒng)架構(gòu)

防御的一個重要組成部分是惡意登錄異常檢測方法，它分析跨越防御邊界的網(wǎng)絡(luò)流量并尋找正在進(jìn)行惡意活動的證據(jù)。當(dāng)檢測到此類活動時，會發(fā)出警報，然后由網(wǎng)絡(luò)管理員進(jìn)行分析，確定損壞的范圍，并進(jìn)行修復(fù)。

惡意登錄異常檢測方法可以根據(jù)不同的標(biāo)準(zhǔn)進(jìn)行分類：位置（在主機(jī)、有線網(wǎng)絡(luò)或無線網(wǎng)絡(luò)上）、檢測方法（簽名匹配、異常檢測或狀態(tài)協(xié)議分析）或能力（簡單檢測或主動攻擊預(yù)防）。

基于異常的檢測通過建立正常行為的統(tǒng)計模型，并檢測與它的所有偏差來減少人工?；诋惓５臋z測能夠檢測新的、以前未知的攻擊，前提是它們的統(tǒng)計行為與正常流量的統(tǒng)計行為不同。基于異常的檢測方法雖然在概念上很有吸引力，但是通常具有很高的誤報率，尚未被廣泛采用。

4.2 日志解析器原理

日志分為日志鍵和日志參數(shù)。首先，要把兩者分開，把日志解析成結(jié)構(gòu)。解析日志的完整過程如下：

Input： log input

Output： sequence output

（1）Initialization （， ， ）

（2）Store to

（3）Read by STREAM

（4）Traverse the to find the largest common subsequence

（5）ifthen

（6）GOTO

（7）else

（8）GOTO

（9）end if

（10）Initialize the line of log into the list

（11）Update the line log

（12）Update the template

（13）GOTO

基于異常的惡意登錄異常檢測方法的誤報分為兩類：非結(jié)構(gòu)化誤報和結(jié)構(gòu)化誤報。非結(jié)構(gòu)化誤報本質(zhì)上是由網(wǎng)絡(luò)流量的隨機(jī)性引起的隨機(jī)噪聲，而結(jié)構(gòu)化誤報是由持續(xù)但不同的少數(shù)行為引起的。

通過時間平滑異常值來降低非結(jié)構(gòu)化誤報率，會導(dǎo)致發(fā)生在不同時間的相似異常獲得相似的異常分?jǐn)?shù)。該方法使用兩種不同的惡意登錄異常檢測方法進(jìn)行評估，評估證明在兩種情況下，惡意登錄異常檢測準(zhǔn)確性均有所提高。因此，可以將日志執(zhí)行順序視為一個多分類問題。日志鍵的總數(shù)是一定的，將其視為K。在訓(xùn)練階段，輸入典型的日志執(zhí)行序列生成多分類器模型。在測試階段，輸入最近的日志鍵的歷史，輸出一個日志鍵的概率分布。當(dāng)序列預(yù)測結(jié)果與實際結(jié)果誤差較大時，可以認(rèn)為日志異常。

4.3 處理特征提取

為了開發(fā)異常檢測模型，包括角色分類模型，本文提取了一些特征。每個日志條目代表一個用戶的單個事務(wù)。為了分析用戶活動，每個用戶的日志被合并到一個特定的時期。企業(yè)的每一項活動都將代表難以單獨分析的無意義數(shù)據(jù)點。但是，通過觀察企業(yè)在特定時間段內(nèi)的幾次活動，可以更輕松地執(zhí)行異常檢測任務(wù)。將日志數(shù)據(jù)處理成24小時的塊，以便一個實例代表用戶在一天內(nèi)的累積活動。結(jié)果，從原始日志中提取了25 151個實例，其中，24 223個被認(rèn)為是正常的、585個被認(rèn)為是非惡意異常、343個被標(biāo)記為惡意。因此，在日志中，惡意數(shù)據(jù)代表一天內(nèi)至少有一次惡意日志訪問的所有實例，正常數(shù)據(jù)表示對日志的所有訪問都是合法的所有實例，非惡意異常數(shù)據(jù)表示至少有一次異常日志訪問但沒有惡意的實例，然后將這些實例轉(zhuǎn)化為惡意訪問檢測的特征。

4.3.1 日志鍵編碼

由于日志是由程序的代碼或進(jìn)程輸出的，代碼是恒定的，所以輸出日志的類型也是恒定的，數(shù)量往往不大。因此，對于log key，直接使用序號進(jìn)行編碼。

4.3.2 日志參數(shù)編碼

與日志類型不同，參數(shù)值不是由模板生成的，而是在系統(tǒng)運(yùn)行過程中根據(jù)實際情況動態(tài)生成的，因此往往具有很大的不確定性。參數(shù)值的字符串類型會很多種，在很多情況下，直接使用簡單的整數(shù)置換碼會導(dǎo)致線性長度過大。

4.4 異常檢測方案

對于惡意訪問檢測，包括精確度、召回率和F-measures在內(nèi)的多種測量被確定并用于評估性能。LSTM核心單元函數(shù)流程描述如下。

Input： input sequence

Output： prediction

（1）while BatchNotFinished do

（2）InitializeParameters（， ， ， ）

（3）Connect the previous hidden state with the current input

（4）Put the into forget layer， DELETE irrelevant data

（5）Create a candidate layer using cell state

（6）input layer， decide candidate layer data

（7）Calculate the vector using forget， candidate and input layers

（8）Calculate the current output

（9）Update the new hidden state

（10）end while

（11）Output the prediction

LSTM的第一步是從細(xì)胞狀態(tài)中選擇要放棄的信息。這個決定是由稱為“遺忘門層”的S形網(wǎng)絡(luò)層做出的。對于細(xì)胞狀態(tài)中的每個數(shù)字，輸出值介于0和1之間，1表示“完全接受”，0表示“完全忽略”。通常，自動惡意行為檢測用作過濾器以縮小數(shù)據(jù)范圍，供進(jìn)一步手動調(diào)查。在這種情況下，高召回率是首選，這樣大部分實際的惡意訪問都不會被遺漏。但是，如果將使用自動惡意行為檢測的結(jié)果作為最終決策而不需要進(jìn)一步的人工調(diào)查，則高精度優(yōu)于高召回率。通過使用高精度的方法，幾乎所有被禁止的訪問都是惡意的；相反，如果使用高召回率的算法作為最終決策者，可能會禁止一些被誤認(rèn)為是欺詐的合法訪問。惡意行為檢測主要用于在進(jìn)一步人工調(diào)查之前的決策支持系統(tǒng)。

5 結(jié)語

為了解決社交網(wǎng)絡(luò)服務(wù)器的安全問題，本文提出了一種惡意登錄檢測方法，主要針對竊取憑證的攻擊。特征提取部分采用了LSTM神經(jīng)網(wǎng)絡(luò)，使得惡意登錄異常檢測方法能夠更好地提取隱藏在日志中的特征信息，以達(dá)到更好的檢測效果。惡意登錄檢測方法包括主機(jī)表示學(xué)習(xí)和日志文件特征提取。主機(jī)表示學(xué)習(xí)使用時間神經(jīng)網(wǎng)絡(luò)嵌入模型來學(xué)習(xí)初始主機(jī)向量，使主機(jī)登錄關(guān)系轉(zhuǎn)換為主機(jī)向量。主向量和其他屬性的初始表達(dá)式是日志特征提取的輸入。特征提取模型使用長短期記憶和額外的注意機(jī)制來學(xué)習(xí)日志輸入向量，該機(jī)制增強(qiáng)了關(guān)于重要屬性的信息提取。日志向量隨后被輸入一個多層感知器，該感知器將它們分類為惡意或良性。受文本分類研究的啟發(fā)，文章采用長短時記憶來學(xué)習(xí)屬性信息并提取日志文件的含義。與僅僅檢測惡意主機(jī)和用戶不同，每個日志條目都被分析并分類為惡意或非惡意，從而支持細(xì)粒度檢測。注意機(jī)制強(qiáng)調(diào)了模型的重要屬性，加強(qiáng)了模型的可解釋性。此外，由于惡意登錄發(fā)生在主機(jī)之間，因此考慮使用時間圖嵌入來學(xué)習(xí)首選的主機(jī)表示并將其集成到日志向量中。實驗結(jié)果表明，該惡意登錄檢測方法的誤報率僅為0.002%，優(yōu)于幾種最先進(jìn)的檢測模型。

參考文獻(xiàn)

［1］李信強(qiáng).結(jié)合時間和語意信息的異常日志檢測方法研究［D］.成都：電子科技大學(xué)，2022.

［2］牛旭.面向軟件演化的日志質(zhì)量增強(qiáng)技術(shù)研究［D］.長沙：國防科技大學(xué)，2019.

［3］周超.面向云服務(wù)的日志處理系統(tǒng)關(guān)鍵技術(shù)研發(fā)［D］.西安：西安電子科技大學(xué)，2020.

［4］杜海森.基于并發(fā)完備日志的過程挖掘［D］.青島：山東科技大學(xué)，2019.

［5］吳其.復(fù)合型日志模版提取方法的研究與實現(xiàn)［D］.北京：北京郵電大學(xué)，2020.

（編輯 王雪芬）