內(nèi)部威脅檢測中用戶行為模式畫像方法研究

郭淵博，劉春輝,2，孔菁，王一豐

（1. 中國人民解放軍戰(zhàn)略支援部隊信息工程大學(xué)密碼工程學(xué)院，河南 鄭州 450001；2. 中國人民解放軍61213部隊，山西 臨汾 041000）

1 引言

全球企業(yè)每年因為內(nèi)部用戶蓄意破壞或無意失職而造成的損失所占比重越來越大，內(nèi)部威脅日益成為企業(yè)安全關(guān)注的重點。2015年美國網(wǎng)絡(luò)犯罪調(diào)查顯示，23%的電子犯罪事件來自于內(nèi)部人員，45%的受訪者認(rèn)為內(nèi)部人員攻擊造成的損害要遠(yuǎn)高于外部攻擊帶來的損害。Verizon RISK Team發(fā)布的《2017年數(shù)據(jù)泄露調(diào)查報告》[1]指出，15%的數(shù)據(jù)泄露是由內(nèi)部人員造成的。Crowd Research Partners在2018年對472位資深網(wǎng)絡(luò)安全專家進(jìn)行的在線調(diào)查[2]顯示，53%的組織確認(rèn)過去一年內(nèi)遭受過內(nèi)部威脅攻擊，29%的組織認(rèn)為內(nèi)部威脅攻擊越來越頻繁。

內(nèi)部威脅攻擊中，攻擊者來自企業(yè)內(nèi)部，攻擊行為往往發(fā)生在工作時間，惡意行為嵌入大量正常數(shù)據(jù)中，增加了數(shù)據(jù)挖掘分析的難度。同時，內(nèi)部攻擊者往往具有組織安全防御機制的相關(guān)知識，會采取措施規(guī)避安全檢測[3]。

用戶在訪問文件、使用應(yīng)用程序、獲取內(nèi)部資源、使用設(shè)施設(shè)備的時間和頻率等方面會形成一個相對固定的行為模式。相同角色、相同工作部門的用戶的工作性質(zhì)相近，其行為模式具有一定的相似性。若用戶行為明顯偏離正常模式，則表示該用戶有意隱藏其惡意行為或存在違反企業(yè)相關(guān)政策（如知識產(chǎn)權(quán)政策）違規(guī)獲取工作需求之外信息的行為。對用戶正常行為進(jìn)行畫像，并加以對比分析，可以有效檢測用戶行為模式變化。

本文對內(nèi)部威脅中用戶行為模式畫像方法進(jìn)行了研究，針對標(biāo)簽式畫像方法特征提取過度依賴人工提取，行為模型缺少細(xì)節(jié)、不夠全面等問題，提出了一種全新的自動化行為細(xì)節(jié)特征提取方案，構(gòu)建了細(xì)節(jié)描寫與全局刻畫相結(jié)合的用戶行為模式畫像框架。

用戶對不同網(wǎng)站的訪問模式、與某個 E-mail賬戶的聯(lián)系模式等，都可以用來描述該用戶的歷史性、習(xí)慣性行為。通過自動化提取行為細(xì)節(jié)特征，利用一分類支持向量機（OCSVM，one class support vector machine）集群構(gòu)建全細(xì)節(jié)行為畫像，可以判斷用戶行為是否與歷史習(xí)慣存在明顯差異。

用戶每天進(jìn)行大量業(yè)務(wù)操作，且其工作具有穩(wěn)定性，業(yè)務(wù)流程具有固定性，因此用戶每天的活動具有一定的重復(fù)性。采用隱馬爾可夫模型整合多類行為數(shù)據(jù)，提取用戶行為序列，可以揭示隱藏在行為背后的業(yè)務(wù)邏輯，預(yù)測業(yè)務(wù)流程的轉(zhuǎn)移概率，刻畫用戶全局行為模式。根據(jù)轉(zhuǎn)移概率的大小可以判定用戶行為偏離歷史行為的程度。

全細(xì)節(jié)行為畫像與業(yè)務(wù)狀態(tài)轉(zhuǎn)移預(yù)測相結(jié)合的用戶行為模式畫像框架，能夠充分提取并利用審計日志中的用戶行為信息，較全面地刻畫用戶行為模式，有效提高企業(yè)內(nèi)部用戶異常行動判定的準(zhǔn)確率。

2 研究現(xiàn)狀

近年來，隨著內(nèi)部用戶攻擊行為對企業(yè)造成的影響越來越大，內(nèi)部威脅檢測也被越來越多的人關(guān)注。相關(guān)領(lǐng)域的專家、學(xué)者針對此類問題提出了不同的技術(shù)方法和解決方案。但由于內(nèi)部攻擊具有隱蔽性、多元性等特點[3]，內(nèi)部威脅依然是企業(yè)組織面臨的主要威脅之一。Nurse等[4]整合并明確定義內(nèi)部威脅的多方面因素，提出了表征內(nèi)部用戶攻擊行為的框架，對表征用戶心理狀態(tài)變化的因素進(jìn)行了研究。Legg等[5]提出了基于樹型結(jié)構(gòu)的用戶角色特征畫像模型，人工定義了一系列描述用戶日常行為的特征，并通過主成分分析（PCA, principal component analysis）方法對特征進(jìn)行了降維，對每一個用戶、每一個工作角色的活動記錄進(jìn)行特征提取，構(gòu)建了刻畫用戶、角色行為的樹型模型，然而，該方法特征提取過度依賴人工挑選，缺乏有效的自動化處理機制，無法與用戶歷史行為進(jìn)行有效貼合。Rashid等[6]首次將隱馬爾可夫模型應(yīng)用到內(nèi)部威脅檢測中，利用隱馬爾可夫模型學(xué)習(xí)用戶正常行為序列，通過對比發(fā)現(xiàn)明顯偏離正常行為的用戶，然而，單純利用隱馬爾可夫模型，并沒有取得較高的檢測準(zhǔn)確率。Gamachchi等[7]將圖處理技術(shù)應(yīng)用到內(nèi)部威脅檢測中，提出了圖處理單元與異常檢測單元相結(jié)合的理論框架，然而，只是將圖理論用到了用戶與設(shè)備、用戶與行為的描述上，并沒有關(guān)注用戶行為的畫像問題。Gavai等[8]提出了利用企業(yè)在線活動和社交數(shù)據(jù)檢測內(nèi)部威脅的方法，利用非監(jiān)督的獨異森林方法檢測統(tǒng)計意義上的異常點，準(zhǔn)確率達(dá)到了73.4%，利用監(jiān)督學(xué)習(xí)方法，預(yù)測用戶離職情況，取得了0.77的AUC分?jǐn)?shù)，同樣地，該方法沒有關(guān)注用戶行為畫像問題。Parveen P[9]在系統(tǒng)中部署k個分類器，提出了一種基于“k-投票”形式的內(nèi)部威脅解決方案，使用Hadoop分布式框架提高學(xué)習(xí)效率，然而，未針對內(nèi)部威脅數(shù)據(jù)進(jìn)行實驗，無法判斷其實際效果。文獻(xiàn)[10]提出文件內(nèi)容異常檢測模型，該模型使用文本分割和樸素貝葉斯方法對企業(yè)內(nèi)部文件內(nèi)容進(jìn)行分類，根據(jù)個體行為與群組行為偏移量檢測文件訪問異常行為，實驗證明該模型對保護(hù)內(nèi)部文件訪問有一定作用，但只針對文件操作單域行為，且檢測效果完全取決于所用詞匯庫的豐富程度。Ioannis等[11]提出了活動樹模型，記錄用戶的工作流模式，根據(jù)分支長度、對應(yīng)節(jié)點相似度等指標(biāo)判斷新行為與歷史工作流模式的匹配度。本文將正常用戶行為日志存儲至全文搜索引擎，通過搜索用戶當(dāng)前行為與歷史行為的差異，形成行為特征向量，實現(xiàn)了特征提取的自動化，并能夠有效衡量當(dāng)前行為與歷史行為的偏離程度。

由于內(nèi)部威脅的復(fù)雜性和企業(yè)數(shù)據(jù)的隱私性，之前的研究多從某一個或幾個維度對用戶活動進(jìn)行檢測，存在檢測準(zhǔn)確率低、誤報率高等問題。本研究結(jié)合用戶歷史行為提取特征，從單類行為細(xì)節(jié)和全局狀態(tài)轉(zhuǎn)移 2個方面對用戶行為進(jìn)行綜合畫像，較全面地刻畫了用戶行為模式，異常行為檢測效果得到了明顯提升。

3 思路和方法

在內(nèi)部威脅檢測中，由于攻擊模式多樣、攻擊樣本缺乏、人工標(biāo)記標(biāo)簽工作量大等困難，當(dāng)前較為成熟的有監(jiān)督學(xué)習(xí)分類方法無法有效利用現(xiàn)有數(shù)據(jù)進(jìn)行訓(xùn)練。用戶行為畫像技術(shù)無需標(biāo)簽數(shù)據(jù)，通過學(xué)習(xí)用戶的歷史行為模式，可以形成精細(xì)描繪用戶行為的歷史畫像。本文的主要目標(biāo)有：1) 研究行為特征自動提取和局部全細(xì)節(jié)行為畫像方法、行為序列劃分和全局業(yè)務(wù)狀態(tài)轉(zhuǎn)移預(yù)測方法；2) 將局部描寫與全局預(yù)測相結(jié)合，搭建基于行為畫像的內(nèi)部威脅檢測框架；3) 利用卡耐基梅隆大學(xué)計算機安全應(yīng)急響應(yīng)組（CMU-CERT, Carnegie Mellon University Computer Emergency Response Team）數(shù)據(jù)集對本文所述方法的有效性進(jìn)行檢驗。本節(jié)主要介紹方法思路和涉及的理論基礎(chǔ)。

3.1 審計日志獲取和數(shù)據(jù)準(zhǔn)備

隨著企業(yè)安全意識的提高，安全策略、訪問控制、權(quán)限管理等防護(hù)措施都基本完善，然而僅通過這些防護(hù)措施，并不能完全保證企業(yè)信息的安全。為保證合法用戶有效訪問受保護(hù)資源、防止非法用戶非授權(quán)訪問、保留用戶行為記錄進(jìn)行違規(guī)追查，日志分析和審計成為保護(hù)企業(yè)信息安全、監(jiān)控內(nèi)部用戶行為合規(guī)性的重要手段。在審計系統(tǒng)中，部署在企業(yè)內(nèi)部的各類傳感器會不斷記錄用戶操作行為，并生成相關(guān)日志，存儲至日志服務(wù)器。用戶登錄、文件操作、郵件收發(fā)、網(wǎng)頁瀏覽、外設(shè)使用等行為，是企業(yè)審計用戶行為所使用的最基本的數(shù)據(jù)，相比網(wǎng)絡(luò)流量、能量消耗等數(shù)據(jù)，這5類數(shù)據(jù)具有采集方便、可理解性強的特點。

企業(yè)內(nèi)部惡意活動往往以竊取信息、偽裝身份、破壞系統(tǒng)為主要目的，其中發(fā)生最多的是竊取組織內(nèi)部信息資產(chǎn)，這些信息資產(chǎn)包括但不限于用戶數(shù)據(jù)信息、金融/財務(wù)信息、知識產(chǎn)權(quán)、內(nèi)部人員信息等。信息竊取過程中，惡意員工通常通過企業(yè)的數(shù)據(jù)庫服務(wù)器、文件服務(wù)器、OA應(yīng)用/業(yè)務(wù)應(yīng)用、終端等獲取內(nèi)部信息，然后通過移動介質(zhì)、郵件、網(wǎng)頁上傳等方式將信息轉(zhuǎn)移出企業(yè)內(nèi)部。身份偽裝攻擊多表現(xiàn)為惡意員工竊取合法員工的身份，冒充他人身份發(fā)布惡意信息、執(zhí)行破壞性操作等。系統(tǒng)破壞攻擊多為員工的報復(fù)性行為，通常表現(xiàn)為惡意刪除關(guān)鍵數(shù)據(jù)、刪除關(guān)鍵系統(tǒng)模塊等行為。通過監(jiān)控用戶文件操作、郵件收發(fā)、外設(shè)使用、網(wǎng)絡(luò)瀏覽行為可以防范信息竊取威脅，監(jiān)控用戶登錄、郵件收發(fā)、文件操作可以防范身份偽裝威脅，監(jiān)控文件操作可以防范惡意系統(tǒng)破壞威脅。綜上所述，綜合分析員工審計日志中的登錄行為、文件操作行為、郵件收發(fā)行為、外設(shè)使用情況、網(wǎng)頁瀏覽記錄等內(nèi)容，提取用戶的行為特征，進(jìn)行行為畫像，能夠為檢測內(nèi)部威脅行為提供解決方法。

3.2 行為特征提取和全細(xì)節(jié)行為畫像方法

企業(yè)審計日志中，用戶行為本身沒有分類標(biāo)簽，且很難及時準(zhǔn)確地判斷其是否具有威脅性。為海量日志人工標(biāo)記標(biāo)簽不僅耗時耗力，而且無法保證準(zhǔn)確性。

全文搜索引擎技術(shù)通過掃描文檔中的每一個詞，對每個詞建立索引，指明該詞在文檔中出現(xiàn)的次數(shù)和位置，當(dāng)用戶查詢時，檢索程序就根據(jù)事先建立的索引進(jìn)行查找，并將查找的結(jié)果即時反饋給用戶[12]。

為用戶的歷史行為日志建立索引，并存儲到搜索引擎數(shù)據(jù)庫中。當(dāng)新的行為數(shù)據(jù)到來時，檢索該行為模式在歷史行為中出現(xiàn)的次數(shù)以及出現(xiàn)的時間節(jié)點等信息，通過與歷史行為對比，可以判斷新行為是否為異常操作。本文將全文搜索引擎技術(shù)作為聯(lián)系用戶新行為和歷史行為的橋梁。在訓(xùn)練階段，將之前某一段時間內(nèi)的歷史用戶行為數(shù)據(jù)作為正常數(shù)據(jù)索引并存儲至搜索引擎數(shù)據(jù)庫中，作為初始搜索的基礎(chǔ)數(shù)據(jù)。之后，對新的行為進(jìn)行全文搜索，可以得到新行為是否出現(xiàn)在歷史行為記錄中以及在歷史行為中的占比，進(jìn)而將字符型的日志數(shù)據(jù)轉(zhuǎn)化為方便處理的數(shù)值型向量。

由于用戶歷史行為不具有分類標(biāo)簽，傳統(tǒng)的二分類方法不能很好地適應(yīng)該問題。在模型訓(xùn)練階段，本文假設(shè)開始一段時間內(nèi)用戶行為日志中不包含惡意行為。由于一分類支持向量機對數(shù)值型向量分類具有良好的分類效果，本文將OCSVM作為基礎(chǔ)分類器。OCSVM集群能夠有效降低單模型中數(shù)據(jù)過擬合導(dǎo)致的誤報、漏報問題帶來的影響，并能夠隨著時間推移學(xué)習(xí)用戶行為模式變化，實現(xiàn)行為模式的在線更新，提高建模的健壯性和穩(wěn)定性，于是，本文提出利用一分類支持向量機集群對用戶歷史行為模式進(jìn)行細(xì)節(jié)畫像的方法。

首先將用戶單類行為序列按時間順序，以某固定時間窗口（例如 7 d）為單位劃分為不同的行為塊。同時，保證每一個行為塊中包含用戶工作日和休息日的行為數(shù)據(jù)，這樣可以較為全面地描述一段時間內(nèi)的行為模式。利用每一個行為塊中的數(shù)據(jù)訓(xùn)練得到一個OCSVM分類器。保存時間最近的v個數(shù)據(jù)塊形成的分類器集合M={M1,M2,…,Mv}，構(gòu)成OCSVM集群。當(dāng)新來數(shù)據(jù)時，取M個分類器得分的平均值作為新數(shù)據(jù)的異常得分。一分類支持向量機集群如圖1所示。

3.3 隱馬爾可夫全局畫像和行為序列劃分方法

一分類支持向量機集群可以對用戶單個行為的細(xì)節(jié)進(jìn)行畫像，能夠有效判斷單類行為的異常。但是當(dāng)內(nèi)部攻擊者具有組織安全防御機制的相關(guān)知識，并采取一定的規(guī)避措施時，僅利用單類行為判斷用戶是否存在攻擊行為的準(zhǔn)確性有所降低。此時，整合多類行為數(shù)據(jù)，能夠更好地刻畫用戶全局行為模式。本文采用隱馬爾可夫模型，提取用戶全局行為序列，揭示隱藏在行為背后的業(yè)務(wù)邏輯，預(yù)測業(yè)務(wù)狀態(tài)的轉(zhuǎn)移概率。

隱馬爾可夫模型（HMM，hidden Markov model）是結(jié)構(gòu)最簡單的動態(tài)貝葉斯網(wǎng)絡(luò)，是一種著名的有向圖模型，主要用于時序數(shù)據(jù)建模[13-14]。隱馬爾可夫模型是馬爾可夫鏈的一種，它的狀態(tài)不能直接地觀察到，但能通過觀測向量序列觀察到，每個觀測向量都是通過某些概率密度分布表現(xiàn)為各種狀態(tài)，每一個觀測向量由一個具有相應(yīng)概率密度分布的狀態(tài)序列產(chǎn)生[14]。

如圖2所示，隱馬爾可夫模型中的變量可以分為2組。第一組是狀態(tài)變量{y1,y2,…,yn}，其中yi∈Y表示第i時刻的系統(tǒng)狀態(tài)。通常假定狀態(tài)變量是隱藏的、不可被觀測到的，因此狀態(tài)變量又稱為隱變量。第2組是觀測變量{x1,x2,…,xm}，其中xi∈X表示第i時刻的觀測值。在隱馬爾可夫模型中，系統(tǒng)通常在多個狀態(tài){s1,s2,…,sN}之間轉(zhuǎn)換， 因此狀態(tài)變量yi的取值范圍Y通常是有N個可能取值的離散空間。

圖2 隱馬爾可夫模型的圖結(jié)構(gòu)

圖2中的箭頭表示了變量間的依賴關(guān)系。在任一時刻，觀測變量的取值僅依賴于相對應(yīng)的狀態(tài)變量，與其他狀態(tài)變量及觀測變量的取值無關(guān)。同時t時刻的狀態(tài)yt僅依賴于t-1時刻的狀態(tài)yt-1，與其余狀態(tài)無關(guān)?；谶@種依賴關(guān)系，所有變量的聯(lián)合概率分布為

企業(yè)安全審計系統(tǒng)中，由于不同活動的監(jiān)控器傳感器不同，同一類活動中所有用戶數(shù)據(jù)混合在一起。為方便后續(xù)操作，需要將行為日志進(jìn)行預(yù)處理。首先，將日志數(shù)據(jù)庫中的不同日志數(shù)據(jù)，按照用戶ID進(jìn)行重新劃分，將每個用戶的全部行為數(shù)據(jù)放到一個獨立的文件中。隨后，將每個用戶的行為按照發(fā)生的時間順序進(jìn)行排序，得到用戶行為數(shù)據(jù)流。

圖1 一分類支持向量機集群

在隱馬爾可夫模型中，要求觀測序列離散且有限。因此需要將用戶行為數(shù)據(jù)流中的長序列劃分為便于處理的短序列。在現(xiàn)實生活中，由于用戶處理的業(yè)務(wù)流程不同，產(chǎn)生的行為序列也會存在差異。在進(jìn)行業(yè)務(wù)切換時，用戶行為的間隔時間比業(yè)務(wù)進(jìn)行時的間隔時間長?；谝陨锨闆r，本文假設(shè)相同業(yè)務(wù)狀態(tài)中用戶行為間隔時間Δ小于時間間隔閾值θ，在業(yè)務(wù)狀態(tài)發(fā)生切換時，Δ＞θ。根據(jù)時間間隔閾值θ可以將用戶行為序列流劃分為多個具有先后順序的短序列。

在相同的業(yè)務(wù)流程中，用戶的行為序列應(yīng)大致相同。為保證觀測值的有限性，提升HMM模型預(yù)測效率，將劃分好的短序列根據(jù)萊文斯坦比進(jìn)行k-means聚類。相似的短序列被聚到同一類中，于是，在進(jìn)行HMM模型訓(xùn)練時，可以用類名稱代替該類中的所有短序列。得到觀測值集合X={x1,x2,…,xm}，其中xi∈X表示第i時刻的觀測值所在的類名稱。

4 系統(tǒng)實現(xiàn)

在內(nèi)部威脅檢測中，由于獲取攻擊行為樣本代價高、難度大，且正負(fù)例樣本比例嚴(yán)重失衡，傳統(tǒng)的二分類方法不能很好地適應(yīng)該問題。因此，在畫像提取部分，只能對單類行為細(xì)節(jié)和全局行為序列特征進(jìn)行學(xué)習(xí)，并分別形成一個對正常用戶行為的數(shù)據(jù)描述模型。而后，根據(jù)設(shè)定的閾值判斷新行為樣本的歸屬。利用上文介紹的隱馬爾可夫模型和單分類支持向量機集群構(gòu)建集成學(xué)習(xí)方法，組成一個提取用戶畫像、計算用戶行為異常得分的框架。用戶行為模式畫像框架如圖3所示。

4.1 日志解析器

由于企業(yè)數(shù)據(jù)的機密性、隱私性等原因，目前無法獲取到真實企業(yè)中的數(shù)據(jù)為本文方法進(jìn)行訓(xùn)練和測試。因此，使用目前認(rèn)可度較高的 CMUCERT集成數(shù)據(jù)集作為實驗數(shù)據(jù)源。

CMU-CERT數(shù)據(jù)集是由美國國防部高級研究計劃局（DARPA, defense advanced research projects agency）贊助的卡耐基梅隆大學(xué)內(nèi)部威脅研究中心與ExactData公司合作，從真實企業(yè)環(huán)境中采集數(shù)據(jù)構(gòu)造的一個內(nèi)部威脅測試集。該數(shù)據(jù)集模擬了惡意內(nèi)部用戶實施系統(tǒng)破壞、信息竊取與身份偽裝 3類主要的攻擊行為。除攻擊行為數(shù)據(jù)外，還包含了大量正常的背景數(shù)據(jù)。在該數(shù)據(jù)集中，企業(yè)審計日志包含5個分別記錄不同用戶活動的文件。這5類活動是登錄（login）、外設(shè)使用（device）、電子郵件（e-mail）、網(wǎng)頁（Web）、文件讀寫（file access）。解析每一條數(shù)據(jù)可以得到時間戳（timestamp）、用戶 ID（userID）、設(shè)備 ID（deviceID）、活動名稱（activity）等信息，部分活動可能包含更多的信息，本文中統(tǒng)稱為活動屬性（attribute），例如電子郵件包含收件人、發(fā)件人、郵件內(nèi)容等。CMU-CERT數(shù)據(jù)集用戶行為活動的具體內(nèi)容如表1所示。

表1 CMU-CERT數(shù)據(jù)集用戶行為活動內(nèi)容

針對不同活動的屬性，在解析過程中，需要進(jìn)行一定的處理。在電子郵件活動中，考慮到真實企業(yè)環(huán)境中郵件內(nèi)容的機密性，將郵件內(nèi)容和附件信息直接舍棄，不進(jìn)行處理；在發(fā)送的郵件中，將收件人信息加入活動屬性；在接收的郵件中，將發(fā)件人信息加入活動屬性。在文件讀寫活動中，將路徑和文件名加入活動屬性。在網(wǎng)頁瀏覽中，將 URL信息加入活動屬性。登錄和外設(shè)使用兩類活動不包含屬性數(shù)據(jù)，將其活動屬性設(shè)為空(None)。

圖3 用戶行為模式畫像框架

最終，每一條日志可以解析為一個五元組(timestamp,userID,deviceID,activity,attribute)。

4.2 行為序列劃分和全文搜索引擎特征提取

圖3中，日志解析器首先將原始日志數(shù)據(jù)按照用戶 ID劃分為不同的數(shù)據(jù)流。隨后將數(shù)據(jù)流分別進(jìn)行行為序列劃分和特征提取。行為序列劃分如算法1所示。

算法1首先計算相鄰行為之間的時間間隔，當(dāng)時間間隔ti小于時間間隔閾值θ時，將行為劃分到相同的短序列中；當(dāng)時間間隔ti大于時間間隔閾值θ時，開啟一個新序列，后一個行為被劃分到新序列中。當(dāng)用戶行為序列按照時間間隔閾值劃分為多個短序列時，根據(jù)序列相似度，對所有短序列進(jìn)行聚類。最后，輸出聚類后的序列集合。

ES（elastic search）是一款基于apache lucence的開源的實時分布式搜索和分析引擎，能夠以極高的速度處理大規(guī)模數(shù)據(jù)，實現(xiàn)穩(wěn)定、可靠、快速地實時搜索，是當(dāng)前流行的企業(yè)級搜索引擎。在實現(xiàn)過程中，本文使用開源的ES作為全文搜索引擎的技術(shù)支撐。

對于每條活動記錄，按算法2進(jìn)行全文搜索，得到特征向量V。

算法2中，對userID,deviceID,activity,attribute，timestamp進(jìn)行組合查詢，得到相應(yīng)的查詢數(shù)hit_num，并計算不同hit_num之間的比值關(guān)系，最終輸出由不同的比值關(guān)系組成的行為向量。算法2中，用戶行為時間區(qū)間設(shè)置為±30 min，實現(xiàn)過程中可以根據(jù)實際效果對該值進(jìn)行調(diào)整。

從算法2中可以看出，pc_per_user值代表用戶使用此臺設(shè)備的頻率，當(dāng)某用戶在一臺不常用的設(shè)備上進(jìn)行操作時，該值趨近于 0；若某用戶在常用設(shè)備上進(jìn)行操作時，該值趨近于 1。同樣地，當(dāng)用戶執(zhí)行的活動與其慣有活動存在明顯差異時，act_per_user也趨近于0。當(dāng)用戶在某個異常時間點進(jìn)行慣有操作時，act_time_per_user趨近于 0。當(dāng)用戶訪問了歷史中不常訪問網(wǎng)頁或者拷貝了某項機密文件時，attri_per_user_i趨近于 0。綜合上述分析，當(dāng)用戶操作出現(xiàn)異常時，特征向量V中的一項或幾項值會趨近于0。

4.3 行為畫像異常得分計算

前序活動完成后，將經(jīng)過處理的行為類別和行為向量輸入行為畫像器進(jìn)行異常得分計算。行為畫像器中異常得分的計算過程如圖4所示。

圖4 異常得分計算過程

圖 4中行為序列{a11,a12,…,a1n}構(gòu)成觀測狀態(tài)x1，x1對應(yīng)隱狀態(tài)y1。P12表示隱狀態(tài)y1向y2轉(zhuǎn)移的概率。當(dāng)新序列{a21,a22,…,a2m}到來時，可以得到計算P1,2。對于每一個行為a2i，利用之前訓(xùn)練好的OCSVM集群可以得出該行為的異常得分si。最終，新序列的異常得分為

當(dāng)隱狀態(tài)y1向y2轉(zhuǎn)移的概率很大，且行為序列中的活動為用戶歷史常做活動時，異常得分S值趨近于1。反之，當(dāng)隱狀態(tài)y1向y2轉(zhuǎn)移的概率很小，或行為序列中出現(xiàn)歷史罕見活動時，S值趨近于0。

最后，根據(jù)選定的得分閾值判定當(dāng)前行為是否為異常。判定為異常行為時，系統(tǒng)向安全運維人員發(fā)出警報；判定為正常行為時，將當(dāng)前行為數(shù)據(jù)存儲至全文搜索引擎，更新歷史用戶行為模式。

5 實驗驗證

為驗證文中所提方法的有效性，本文利用Python語言開發(fā)了原型測試系統(tǒng)。測試環(huán)境操作系統(tǒng)為 CentOS 7，CPU 為 Intel i7-4790 @3.60 GHz ，RAM 為16 GB，硬盤為1TB 機械硬盤。

5.1 實驗數(shù)據(jù)

CMU-CERT數(shù)據(jù)集包含企業(yè)內(nèi)部4 000名用戶500 d的所有活動記錄，部分記錄為攻擊活動。由于實驗條件的限制，對所有用戶數(shù)據(jù)進(jìn)行實驗，會耗費大量的時間，且不利于模型參數(shù)的調(diào)校。本文選取用戶 CMP2946和用戶 CDE1846進(jìn)行實驗驗證。根據(jù)CMU-CERT中的異常行為標(biāo)簽，可知該用戶前90 d的數(shù)據(jù)中不包含攻擊數(shù)據(jù)。實驗中選取前90 d的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，提取正常用戶行為畫像，剩下410 d的數(shù)據(jù)作為測試數(shù)據(jù)。測試過程中，當(dāng)用戶行為判定為正常后，也會被加入到正常數(shù)據(jù)中，用于充實和更新正常用戶畫像。

根據(jù)CERT數(shù)據(jù)集的介紹，用戶CMP2946和用戶 CDE1846，涉及兩個完全不同的內(nèi)部威脅場景。用戶CMP2946從某天開始瀏覽求職網(wǎng)站，向競爭單位發(fā)出求職申請，并在離開公司之前，使用可移動存儲設(shè)備偷竊公司數(shù)據(jù)。用戶 CDE1846登錄其他用戶的機器找尋機密文件信息，將找到的機密文件通過E-mail發(fā)送到私人郵箱中。兩用戶所有活動中包含的惡意行為如表2所示。

表2 內(nèi)部威脅場景中惡意行為信息

5.2 評價標(biāo)準(zhǔn)

為評判本文提出方法的有效性，需要結(jié)合多個不同的指標(biāo)作為評價標(biāo)準(zhǔn)。在內(nèi)部威脅檢測中僅用一個指標(biāo)很難準(zhǔn)確評價系統(tǒng)的效果，查準(zhǔn)率（P，precision）、查全率（R，recall）、F1 得分（F1，F(xiàn)1-score）是經(jīng)常用來評價模型效果的重要指標(biāo)。

對于二分類問題，可將樣例根據(jù)其真實類別與分類器預(yù)測類別的組合劃分為真正例（TP，ture positive）、假正例（FP，false positive）、真反例（TN，true negative）、假反例（FN，false negative），令TP、FP、TN、FN分別表示其對應(yīng)的樣例數(shù)，則顯然有TP+FP+TN+FN=樣例總數(shù)。分類結(jié)果的混淆矩陣如表3所示。

表3 分類結(jié)果混淆矩陣

查準(zhǔn)率P和查全率R是一對矛盾的度量，一般來說，查準(zhǔn)率高時，查全率往往偏低，反之亦然。查準(zhǔn)率P、查全率R分別定義為F1是基于查準(zhǔn)率和查全率的調(diào)和評價，定義如式(5)所示。

受試者工作特性曲線（ROC曲線，receiver operator characteristic curve）是反映敏感度和特異度連續(xù)變量，評價系統(tǒng)有效性的綜合型指標(biāo)。根據(jù)學(xué)習(xí)器的預(yù)測結(jié)果對樣例進(jìn)行排序，按此順序逐個把樣本作為正例進(jìn)行預(yù)測，每次計算出假正例率和真正例率，分別以它們作為橫、縱坐標(biāo)作圖就得到了ROC曲線。AUC(area under curve)即ROC曲線下面的面積，AUC越大模型效果越好。一般來說，AUC接近 1時，實驗取得了較理想的效果，AUC在0.7～0.9時，實驗的準(zhǔn)確性較高。

5.3 實驗結(jié)果

在劃分觀測序列時，不同的時間間隔對序列長短、序列數(shù)量以及序列劃分的有效性會產(chǎn)生不同的影響。為選取合理的時間間隔，方便后續(xù)實驗開展，在其他實驗參數(shù)固定的情況下，分別對2 min、5 min、10 min的時間間隔進(jìn)行驗證。圖5展示了2個不同用戶在不同的時間間隔下，14 d活動的異常得分分布情況?？梢钥闯?，當(dāng)時間間隔為2 min時，序列劃分?jǐn)?shù)量比5 min、10 min時要多，且得分分布較分散，此時異常得分均值分別為0.37和0.205，方差分別為0.073和0.037。時間間隔為10 min時，序列數(shù)量急劇減少，一個序列中包含的活動數(shù)量增加，但當(dāng)一天中用戶活動數(shù)量較少時，不能很好地表現(xiàn)用戶工作狀態(tài)的轉(zhuǎn)換情況，此時得分的均值分別為0.228和0.069，方差分別為0.039和0.008。綜上比較，最終選擇5 min為合理的活動序列劃分時間間隔，此時得分的均值分別為0.217和0.151，方差分別為0.027和0.034。

將5 min作為用戶行為觀測序列的劃分間隔，進(jìn)行后續(xù)實驗。用訓(xùn)練好的畫像器預(yù)測剩下的410 d中的活動，得到圖6中的異常得分圖。從圖6可以看出，隨著時間的推移，每個活動的異常得分趨于平穩(wěn)，由于隱馬爾可夫模型中部分隱狀態(tài)的轉(zhuǎn)換概率較小，存在少部分活動得分小于 1 × 1 0-4。

圖5 不同時間間隔下異常得分分布

圖6 測試數(shù)據(jù)異常得分

選取不同的得分閾值作為異常行為的評判標(biāo)準(zhǔn)，訓(xùn)練模型的檢測效果也會有所不同，如表4所示。

在實際工作中，不同的企業(yè)對查全率和查準(zhǔn)率的要求不同。在安全級別較高的企業(yè)中，漏報惡意行為會引起較大損失，該類企業(yè)更傾向于低漏報率。一般企業(yè)中，當(dāng)異常行為排查難度大時，高誤報會加大安全工程師的工作量，降低正常員工的滿意度和工作積極性，該類企業(yè)更傾向于低誤報率。企業(yè)可以根據(jù)自身特征選擇合適的評定閾值。從表4中，可以得出，用戶CMP2946、用戶CDE1846、整體均在10-7時取得最大F1。通過實驗結(jié)果可以看出，該系統(tǒng)中，異常行為的得分趨近于0。

系統(tǒng)的ROC曲線如圖7所示。從圖7中可以看到用戶CMP2946的AUC達(dá)到了0.95，系統(tǒng)整體的AUC為0.88。

為充分表現(xiàn)本文所提方法的有效性，就查準(zhǔn)率P、查全率R、F1得分、AUC這4項指標(biāo)與現(xiàn)有研究方法進(jìn)行了對比。本文第2節(jié)對內(nèi)部威脅檢測領(lǐng)域中現(xiàn)有方法進(jìn)行了介紹，并對部分方法的優(yōu)缺點進(jìn)行了分析。鑒于上述文獻(xiàn)中的方法并未提供用于測試的開源代碼，且根據(jù)文獻(xiàn)描述無法完全復(fù)現(xiàn)實驗細(xì)節(jié)，這里選取與本文使用相同數(shù)據(jù)集(CMUCERT)進(jìn)行實驗的文獻(xiàn)[5]和文獻(xiàn)[6]作為性能對比對象。文獻(xiàn)[5]中使用查準(zhǔn)率P、查全率R這2項指標(biāo)對實驗結(jié)果進(jìn)行的評價，此處根據(jù)F1定義計算得出其F1得分。文獻(xiàn)[6]中使用AUC作為評價實驗結(jié)果的標(biāo)準(zhǔn)，但全文未出現(xiàn)查準(zhǔn)率P、查全率R的確切數(shù)值。表5展示了3種方法的性能對比，表中文獻(xiàn)[5]和文獻(xiàn)[6]的數(shù)據(jù)選取自其原文中最優(yōu)的實驗結(jié)果。

圖7 系統(tǒng)ROC曲線

表5 實驗結(jié)果對比

從表5中的數(shù)據(jù)對比可以看出，本文方法在保證高查準(zhǔn)率的同時，能夠得到較高的查全率，F(xiàn)1得分為0.925遠(yuǎn)高于文獻(xiàn)[5]的0.591。同時，本文方法整體AUC得分為0.88，大于文獻(xiàn)[6]中最優(yōu)實驗結(jié)果0.83。通過對比，進(jìn)一步證明本文提出的方法具有可行性。

表4 不同得分閾值下模型效果

6 結(jié)束語

隨著信息化時代的全面到來，企業(yè)核心業(yè)務(wù)及機密信息都存儲于信息系統(tǒng)。內(nèi)部威脅攻擊發(fā)生在企業(yè)內(nèi)部，具有隱蔽性強、破壞性大的特點，直接威脅到企業(yè)的核心利益，造成嚴(yán)重危害。

本文針對當(dāng)前標(biāo)簽式畫像方法特征提取過度依賴人工，對用戶行為模式畫像缺少細(xì)節(jié)、不夠全面等問題，提出了一種使用全文搜索方法的全新的自動化行為細(xì)節(jié)特征提取方案。通過自動化提取行為細(xì)節(jié)特征，利用一分類支持向量機集群構(gòu)建了全細(xì)節(jié)單類行為畫像。采用隱馬爾可夫模型，整合多類行為數(shù)據(jù)，提取用戶行為序列，揭示隱藏在行為背后的業(yè)務(wù)邏輯，預(yù)測業(yè)務(wù)流程的轉(zhuǎn)移概率，刻畫了用戶全局行為模式。通過構(gòu)建全細(xì)節(jié)行為畫像與業(yè)務(wù)狀態(tài)轉(zhuǎn)移預(yù)測相結(jié)合的用戶行為模式畫像框架，充分提取并利用了審計日志中的用戶行為信息，可以較全面地刻畫用戶行為模式，有效提高企業(yè)內(nèi)部用戶異常行動判定準(zhǔn)確率。

利用 CMU-CERT數(shù)據(jù)集對方法的有效性進(jìn)行了驗證，異常行為檢測查準(zhǔn)率為 0.999，單用戶的AUC得分高達(dá)0.95，系統(tǒng)整體AUC得分為0.88，充分證明了本文方法的有效性。本文提出的框架為企業(yè)安全運維人員建立用戶行為模式畫像，有效檢測惡意用戶行為具有一定的借鑒意義。