基于自動編碼器的內(nèi)部威脅檢測技術(shù)

孫小雙，王 宇

(1.航天工程大學 研究生院，北京 101416；2.航天工程大學 航天信息學院，北京 101416)

0 引 言

相比于外部威脅，內(nèi)部威脅具有隱蔽性、多樣性及高危性。內(nèi)部威脅活動通常分布在大量正常行為中，而且內(nèi)部威脅需要處理和分析大量不同類型的數(shù)據(jù)，從網(wǎng)絡流量、文件訪問日志、電子郵件記錄，到員工信息等，如何從海量數(shù)據(jù)中挖掘關(guān)聯(lián)信息、識別內(nèi)部威脅依然是內(nèi)部威脅檢測技術(shù)面臨的難題。

基于行為特征的內(nèi)部威脅檢測主要是從數(shù)據(jù)中提取行為特征向量或者對行為序列建模，在此基礎上進行異常檢測。由于異常行為和異常用戶具有未知性，異常檢測方法通常采用無監(jiān)督學習方法。而傳統(tǒng)的無監(jiān)督機器學習方法受到特征維度限制，本文提出基于自動編碼器的內(nèi)部威脅檢測方法，旨在通過深度學習模型從廣泛的審計數(shù)據(jù)中學習非線性相關(guān)性，檢測異常行為。

1 相關(guān)研究

內(nèi)部威脅檢測相關(guān)研究較為豐富。文獻[1-3]從不同視角梳理了內(nèi)部威脅的發(fā)展歷程、技術(shù)研究和挑戰(zhàn)等。內(nèi)部威脅檢測技術(shù)發(fā)展過程中運用的主要方法包括基于規(guī)則的方法、統(tǒng)計分析法、圖算法、機器學習等。統(tǒng)計分析法運用數(shù)學方式建立模型，不需要與領(lǐng)域相關(guān)的先驗知識，對異常事件較為敏感，但是由于主觀確定閾值存在有限性和靜態(tài)性?；谝?guī)則的方法利用專家?guī)焐梢?guī)則識別內(nèi)部惡意人員，在結(jié)果固定且類別較少的分類中是很有意義的，但是它嚴重依賴領(lǐng)域知識，需要不斷對規(guī)則庫進行更新以應對新威脅。圖算法通過數(shù)據(jù)間的關(guān)聯(lián)關(guān)系構(gòu)建圖結(jié)構(gòu)，根據(jù)圖結(jié)構(gòu)的變化識別惡意行為。例如，Gamachchi等[4]提出了一個基于圖形化和異常檢測技術(shù)的惡意用戶隔離框架。該架構(gòu)主要由圖形處理單元(GPU)和異常檢測單元(ADU)兩部分組成，將多維數(shù)據(jù)源的數(shù)據(jù)格式化并送入GPU,GPU生成網(wǎng)絡信息資產(chǎn)關(guān)系圖，并為每個用戶計算圖參數(shù)。然后將計算圖和時變數(shù)據(jù)輸入ADU，執(zhí)行隔離森林算法，輸出每個用戶的異常分數(shù)作為判斷標準。文獻[5-9]采用淺層機器學習的方法，例如K-means、Support Vector Machine(SVM)、Isolation Forest等，機器學習是在統(tǒng)計學的理論基礎上發(fā)展起來的，相比于統(tǒng)計分析法，機器學習會犧牲可解釋性獲得強大的預測能力，在實際應用中具有更高的準確度；而相比基于規(guī)則的算法，機器學習可以不斷學習新的規(guī)則，不需要人工更新規(guī)則庫。但是面對體量龐大且結(jié)構(gòu)日益復雜的審計數(shù)據(jù)，傳統(tǒng)機器學習方法受到特征維度等因素的限制，研究者又將目光轉(zhuǎn)向深度學習。

目前，應用于內(nèi)部威脅檢測的深度學習模型[10-14]包括卷積神經(jīng)網(wǎng)絡模型(CNN)、長短期記憶神經(jīng)網(wǎng)絡模型(LSTM)、自動編碼器神經(jīng)網(wǎng)絡模型(auto-encoder)等及其改進或組合模型。文獻[10]使用卷積層從輸入樣本中捕獲局部特征，然后使用LSTM層考慮這些給定特征的順序。文獻[14]利用集成的深度自編碼器對重構(gòu)誤差進行學習實現(xiàn)異常檢測。文獻[14]采用LSTM模型和多頭注意力機制來檢測異常網(wǎng)絡行為模式，并利用Dempster條件規(guī)則對信念進行更新，用于融合證據(jù)，實現(xiàn)增強預測。與傳統(tǒng)機器學習相比，深度學習不需要復雜的特征工程，算法適應性強；而且隨著數(shù)據(jù)量的增大，深度學習在學習能力和檢測指標上有著更好的表現(xiàn)。

2 基于自動編碼器的內(nèi)部威脅檢測模型

基于自動編碼器的內(nèi)部威脅檢測模型采用樹結(jié)構(gòu)分析方法，從大量審計日志中分析并構(gòu)建基于樹結(jié)構(gòu)的用戶行為特征圖，并將樹節(jié)點表示為用戶特征向量。采用自動編碼器模型對特征向量進行學習，將輸入和輸出之間的重建誤差作為異常分數(shù)，利用Z-score方法判斷異常等級。其整體工作流程如圖1所示。

2.1 基于樹結(jié)構(gòu)分析的特征向量生成

由于審計數(shù)據(jù)體量大、數(shù)據(jù)類型多樣、結(jié)構(gòu)復雜，本文采用樹結(jié)構(gòu)方法[15]分析用戶審計數(shù)據(jù)。通過層層屬性分析，形成樹形結(jié)構(gòu)，建立的樹節(jié)點可以用特征向量表示。其優(yōu)勢在于分析速度快，具有良好的擴展性，而且為所有用戶提供了行為特征的一致性表示。

如圖2所示，先按照時間域和行為域?qū)γ織l行為記錄分類。時間域從工作時間與非工作時間上進行劃分，工作時間和非工作時間是通過學習用戶日常上下班時間得到的。行為域包括用戶的登錄行為、網(wǎng)站訪問、郵件收發(fā)、文件操作、設備使用等，不同行為域的活動變化反映了用戶不同的意圖?？梢愿鶕?jù)實際情況對行為域進行擴展，從而更全面地刻畫用戶行為特征。

在行為域下，行為記錄接著按照設備-活動-屬性的樹結(jié)構(gòu)進行分析。設備是指用戶登錄的設備型號；活動是指用戶在某行為域下的具體操作，例如文件的復制、粘貼、刪除等；屬性指操作行為附帶的特征，例如收發(fā)郵件的附件大小、數(shù)量等。

通過樹結(jié)構(gòu)分析，如果得到的節(jié)點在原樹結(jié)構(gòu)中存在，則節(jié)點的計數(shù)值增加，如果不存在，則插入該新節(jié)點，最后得到用戶在一段時間內(nèi)的基于樹結(jié)構(gòu)的行為特征圖。行為特征圖可以編碼為特征向量，長度取決于樹結(jié)構(gòu)分析中的節(jié)點數(shù)目。由于不同節(jié)點間存在時間或行為的關(guān)聯(lián)關(guān)系，可以通過對不同節(jié)點進行組合獲取新的特征向量，例如非工作時間的活動頻率為不同行為域下非工作時間活動頻率的總和。

2.2 基于自動編碼器的異常檢測

2.2.1 模型原理及算法

內(nèi)部威脅檢測屬于異常檢測的一類，通常采用無監(jiān)督學習方法，而傳統(tǒng)的機器學習方法受特征維度限制，隨著維度數(shù)升高，檢測性能受到影響。本文選擇基于自動編碼器的異常檢測方法，它是一種基于神經(jīng)網(wǎng)絡的無監(jiān)督學習算法，是PCA類型的模型的非線性擴展，適用于高維數(shù)據(jù)。通過訓練正常數(shù)據(jù)，自動編碼器學習到正常數(shù)據(jù)的有效特征和內(nèi)在聯(lián)系，在對異常數(shù)據(jù)進行重構(gòu)時會產(chǎn)生較大誤差，有利于檢測未知攻擊。

設D維樣本x(n)∈RD, 1≤n≤N， 自動編碼器將數(shù)據(jù)映射到特征空間，得到樣本的編碼z(n)∈RM, 1≤n≤N， 并通過這組編碼重構(gòu)原來的樣本。最簡單的自動編碼器是兩層神經(jīng)網(wǎng)絡。其中，輸入層到隱藏層用來編碼，隱藏層到輸出層用來解碼，層與層之間是全連接關(guān)系，自動編碼器的網(wǎng)絡結(jié)構(gòu)如圖3所示。編解碼過程中，隱藏層的活性值z為x的編碼，x′為自動編碼器的輸出重構(gòu)數(shù)據(jù)，即

z=f(W(1)x+b(1))

(1)

x′=g(W(2)x+b(2))

(2)

其中，W(1)、W(2)為權(quán)重矩陣，b(1)、b(2)為偏置，f、g為激活函數(shù)。令W(1)=W(2)T， 通過捆綁權(quán)重的方式減少自動編碼器的參數(shù)，易于學習，并在一定程度上起到正則化的作用。

當特征向量輸入到自動編碼器中，編碼器通過學習將數(shù)據(jù)有效壓縮至低維空間，解碼器將有效特征重構(gòu)出與輸入特征相近的擬合數(shù)據(jù)，擬合數(shù)據(jù)與輸入數(shù)據(jù)的差值為重構(gòu)誤差(reconstruction error)。自動編碼器正是通過最小化重構(gòu)誤差來有效學習網(wǎng)絡參數(shù)的，即重構(gòu)數(shù)據(jù)趨近于真實數(shù)據(jù)。異常檢測中把重構(gòu)誤差作為異常分數(shù)來識別異常用戶。其計算方法如下所示

(3)

基于自動編碼器的異常檢測算法步驟如下：

輸入：按時間順序依次輸入某用戶第i天的行為特征向量xi=[xi,1，xi,2，…，xi,m]，m為特征向量的長度。

步驟1 初始化函數(shù)。

步驟2 對特征向量進行歸一化處理。

步驟3 輸入訓練數(shù)據(jù)，通過反向傳播學習確定參數(shù)W、b。

步驟4 輸入測試數(shù)據(jù)，計算重構(gòu)誤差。

輸出：按時間順序依次輸出某用戶第i天的行為特征向量的重構(gòu)誤差。

2.2.2 模型體系結(jié)構(gòu)及參數(shù)

自動編碼器體系結(jié)構(gòu)的設計對自動編碼器的性能有重要影響。主要需要考慮以下幾個方面：

(1)神經(jīng)網(wǎng)絡深度。神經(jīng)網(wǎng)絡深度加深能增強特征的抽象程度和網(wǎng)絡的表達能力，但同時網(wǎng)絡中的超參數(shù)會增多，從而提高計算復雜度和訓練難度。本文通過實驗對比不同網(wǎng)絡結(jié)構(gòu)的自動編碼器，既可以得到良好的特征表達，又能降低計算復雜度；

(2)損失函數(shù)。為了最大化正常和異常用戶行為之間的可分性，選擇損失函數(shù)來懲罰結(jié)構(gòu)差異。因此，與熵相關(guān)的損失函數(shù)，如交叉熵損失函數(shù)(cross-entropy loss function)等，可能優(yōu)于傳統(tǒng)的距離度量指標，如均方誤差(mean squared error)等。而且，交叉熵損失函數(shù)在誤差大時權(quán)重更新快，誤差小時權(quán)重更新慢，可以解決均方誤差損失函數(shù)權(quán)重更新過慢的問題；

(3)dropout rate。在輸入層和隱藏層后分別加入dropout層，使輸入數(shù)據(jù)和隱藏層神經(jīng)單元按一定概率隨機從網(wǎng)絡中暫時丟棄，相當于減少中間特征的數(shù)量，增加每層特征之間的正交性，防止模型的過擬合，增強模型的泛化能力。

2.3 基于Z-score方法的異常等級分類

Z-score是一種低維特征空間中的參數(shù)異常檢測方法。它假定數(shù)據(jù)服從于高斯分布，異常值通常是分布尾部的數(shù)據(jù)點，遠離數(shù)據(jù)的平均值。距離的遠近取決標準差分數(shù)zi和設定閾值zth間的關(guān)系

(4)

其中，μ為原始數(shù)據(jù)的均值，σ為原始數(shù)據(jù)的標準差，zi表示了給定數(shù)據(jù)距離其均值的相差的標準差個數(shù)。這種方式將數(shù)據(jù)歸一化，提高了數(shù)據(jù)的可比性。

內(nèi)部威脅行為類別多樣，異常分數(shù)與正常行為的分數(shù)差值也大小不一。部分異常行為隱藏在大量正常行為中，其經(jīng)過異常檢測所得的異常分數(shù)與正常行為差較小，如果閾值設置過高可能會忽略這部分異常行為，而閾值設置過低則會導致誤判率升高，所以本文中的zth選取了1、2、3這3個不同的閾值，對用戶異常行為進行了等級劃分，根據(jù)不同異常等級的行為出現(xiàn)的頻次綜合判定用戶是否異常。

3 實驗分析

3.1 實驗準備

3.1.1 實驗設計

通過相關(guān)理論研究，本文對autoencoder的神經(jīng)網(wǎng)結(jié)構(gòu)和各項參數(shù)進行實驗設計，并將結(jié)果進行對比。另外，分別對PCA、isolation forest、autoencoder等異常檢測方法進行實驗設計，并將結(jié)果進行對比。通過準確率、精確率、召回率、ROC曲線和PR曲線對以上方法進行評估。

3.1.2 環(huán)境配置

實驗環(huán)境信息描述如下：系統(tǒng)環(huán)境為Windows操作系統(tǒng)；硬件配置為Inter(R)Core(TM)i7-7700H CPU@2.7 GHz，NVIDIA GeForce GTX1060,16 G內(nèi)存IT硬盤；實驗框架為TensorFlow 2.1深度學習框架；開發(fā)語言為Python。

3.1.3 數(shù)據(jù)集選取

內(nèi)部威脅數(shù)據(jù)在檢測算法的研究中至關(guān)重要，沒有可靠合適的數(shù)據(jù)，任何檢測技術(shù)都很難達到預期的效果。本文采用卡耐基梅隆大學CERT項目的內(nèi)部威脅數(shù)據(jù)集進行實驗。

該數(shù)據(jù)集數(shù)據(jù)類型豐富，包括了主機日志、網(wǎng)絡日志、員工心理評價以及人力資源信息等，包含了1000名用戶502天時間里的320 770 727條行為記錄，是一個比較全面的內(nèi)部威脅檢測數(shù)據(jù)集，其具體內(nèi)容見表1。

表1 CERT-IT數(shù)據(jù)集

CERT-r4.2數(shù)據(jù)集從真實企業(yè)環(huán)境中采集，并加入了人工制造的攻擊行為，例如數(shù)據(jù)泄露、系統(tǒng)破壞等。其所包含的攻擊場景概括如下：

(1)用戶開始在非工作時間登錄賬戶，使用可移動存儲設備，并向某些網(wǎng)站上傳數(shù)據(jù)，存在數(shù)據(jù)泄露的風險；

(2)用戶頻繁瀏覽求職網(wǎng)站，并頻繁使用可移動存儲設備拷貝數(shù)據(jù)，存在竊取數(shù)據(jù)并跳槽的風險；

(3)用戶下載一個鍵盤記錄程序，然后用可移動存儲設備把它傳送到他上司的設備上。根據(jù)收集到的鍵盤日志，以上司的身份登錄賬戶，并群發(fā)郵件，在組織中引起恐慌。

3.2 評價標準

本文采用準確率(accuracy)、精確率(precision)、召回率(recall/TPR)、ROC曲線和PR曲線作為評測指標。準確率、精準率和召回率是根據(jù)混淆矩陣中的TP(true positives)、FP(false positives)、TN(true negatives)、FN(false negatives) 等計算得到的，見表2。

表2 混淆矩陣

準確率表示預測正確的樣本在總樣本中的比例，精確率表示真陽性樣本占預測為正樣本的比例，召回率表示真陽性樣本占實際為正的樣本的比例，計算公式如下

(5)

(6)

(7)

(8)

ROC曲線是分類問題的一種性能度量，AUC則是曲線下的面積，表示分離度，AUC值越大，模型的分類效果越好。但是，當數(shù)據(jù)樣本不平衡時，ROC曲線不能很好地反映模型性能，而PR曲線能解決這個問題。PR曲線展示的是以精確率為橫坐標、以召回率為縱坐標的曲線，PR曲線與ROC曲線的相同點是都采用了TPR，都可以用AUC來衡量分類器的效果。不同點是ROC曲線使用了FPR，而PR曲線使用了精確率，因此PR曲線的兩個指標都聚焦于正例。由于數(shù)據(jù)不平衡問題中主要關(guān)心正例，所以在此情況下，PR曲線被廣泛認為優(yōu)于ROC曲線。

3.3 實驗結(jié)果及分析

通過對用戶數(shù)據(jù)的樹結(jié)構(gòu)分析生成了用戶每日的特征向量，對特征向量求和即得該用戶當日的活動頻率。如圖4所示，左圖展示了用戶CCL0068在268天時間中的活動頻率變化(為方便觀察，數(shù)據(jù)中不包含周六、周日的活動)，從圖中可以觀察到用戶大致在第250天左右的活動頻率增加，表明該用戶可能存在異常行為。

將特征向量按時間順序輸入自動編碼器中，得到用戶每日的異常分數(shù)，異常分數(shù)越高表示用戶行為異常的可能性越大。右圖展示了用戶CCL0068的異常分數(shù)變化情況。從圖中可以觀察到第250天左右的異常分數(shù)明顯偏高，說明該用戶存在異常行為，其異常行為的具體時間域需要進一步分析。

但是，由于內(nèi)部人員具有合法身份，內(nèi)部攻擊行為可能只有幾個細微的異常動作，并隱藏在大量正常行為中，難以發(fā)現(xiàn)；而且內(nèi)部人員熟悉系統(tǒng)的安全防護機制，可以有效規(guī)避安全防護檢測。如圖5所示，左圖展示了用戶BSS0369在219天時間中的活動頻率變化，幾乎很難從活動頻率的變化中發(fā)現(xiàn)異常情況，但在右圖展示的該用戶的異常分數(shù)變化中，可以明顯看出該用戶某幾天的行為中存在異常，需要進一步對其各項活動進行分析。

為了驗證基于自動編碼器的異常檢測方法的有效性，本文將自動編碼器與PCA方法[15]進行了對比，其中PCA中的n_components值為3，自動編碼器的具體參數(shù)見表3。前期，對特征向量進行歸一化處理，使兩種方法具有相同的輸入值，比較兩種方法的ROC曲線和PR曲線及其覆蓋面積大小。

兩種方法的ROC曲線和PR曲線對比如圖6、圖7所示，曲線覆蓋面積對比見表4，從面積覆蓋值中可以看出，自動編碼器的檢測效果要好于PCA方法。

由于內(nèi)部威脅行為類別多樣，異常分數(shù)的判別閾值也不是固定的。從實驗中可以發(fā)現(xiàn)固定判別閾值，如果閾值設置過高可能會忽略部分異常行為，而閾值設置過低則會導致誤判率升高，所以本文采用Z-score方法，其中Zth選取了1、2、3這3個不同的閾值，對用戶異常行為進行了等級劃分，1、2、3分別表示了低、中、高3個異常等級，結(jié)合其出現(xiàn)的頻率判斷異常用戶。

表3 實驗參數(shù)設置

表4 曲線覆蓋面積對比

實驗中，將70名異常用戶和剩余正常用戶中隨機挑選的70名用戶混合進行測試，結(jié)果如圖8所示。其中，正常用戶與異常用戶均判斷正確，7名疑似用戶需要進一步結(jié)合其它數(shù)據(jù)進行分析。

4 結(jié)束語

本文采用基于自動編碼器的內(nèi)部威脅檢測方法，首先對用戶數(shù)據(jù)進行樹結(jié)構(gòu)分析，對于大量多源異構(gòu)數(shù)據(jù)的處理速度快且可擴展性高。樹結(jié)構(gòu)分析得到的特征向量輸入異常檢測模型中，異常檢測模型將自動編碼器和Z-score方法相結(jié)合，通過自動編碼器得到異常分數(shù)，采用Z-score方法對異常分數(shù)分級后判斷異常用戶。自動編碼器能學習到正常數(shù)據(jù)的有效特征和內(nèi)在聯(lián)系，且隨著特征擴展，也適用于高維數(shù)據(jù)。實驗結(jié)果表明，該方法是一種有效的檢測方法。

下一步工作將擴展內(nèi)部威脅檢測中的行為特征，對上述實驗中的疑似用戶進行進一步判斷，提高準確率并降低誤判率；進一步研究用戶行為特征間的關(guān)聯(lián)關(guān)系，對用戶的攻擊行為和攻擊意圖進行全面分析，結(jié)合用戶畫像技術(shù)對用戶的攻擊行為建立畫像模型。