基于Cuckoo平臺(tái)的HDBSCAN惡意代碼聚類算法*

傅依嫻，蘆天亮，張學(xué)軍

(中國人民公安大學(xué) 信息技術(shù)與網(wǎng)絡(luò)安全學(xué)院，北京 100076)

0 引言

網(wǎng)絡(luò)時(shí)代的迅猛發(fā)展、網(wǎng)民數(shù)量的急劇增加以及網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，使得網(wǎng)絡(luò)逐漸成為現(xiàn)代社會(huì)競(jìng)爭(zhēng)的新資源，高級(jí)網(wǎng)絡(luò)滲透技術(shù)成為了重點(diǎn)發(fā)展的對(duì)象；不法分子利用惡意程序?qū)嵤┓缸?，從而破壞網(wǎng)絡(luò)環(huán)境的穩(wěn)定，成為了網(wǎng)絡(luò)安全領(lǐng)域的研究熱點(diǎn)。面對(duì)惡意軟件使用的常態(tài)化及其破壞性，計(jì)算機(jī)用戶不得不投入更多成本來維護(hù)信息系統(tǒng)安全。

近年來，隨著機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等新技術(shù)的發(fā)展，惡意代碼分析問題也呈現(xiàn)出新的研究趨勢(shì)。SCHULTZ M[1]等人利用可執(zhí)行文件靜態(tài)特征并結(jié)合RIPPER算法實(shí)現(xiàn)對(duì)惡意代碼的精確檢測(cè)。SHAW S等人提出了基于云的檢測(cè)技術(shù)[2];KOLOSNJAJI B等人則提出用深度學(xué)習(xí)算法來對(duì)樣本的系統(tǒng)調(diào)用序列進(jìn)行分類，從而達(dá)到判斷樣本惡意性的目的[3]。

本文通過搭建Cuckoo惡意代碼自動(dòng)分析系統(tǒng)來作為沙箱環(huán)境，提取所需的惡意代碼特征，通過聚類算法來實(shí)現(xiàn)對(duì)惡意代碼的研究,其聚類效果證明行之效。

1 惡意代碼的特征提取

1.1 特征提取思路

特征提取是進(jìn)行惡意代碼分類的必要前提。而惡意軟件的系統(tǒng)調(diào)用是最主要獲取的特征之一。目前，系統(tǒng)調(diào)用的獲取方法主要為靜態(tài)分析方法和動(dòng)態(tài)分析方法；但是，對(duì)于靜態(tài)分析方法來說，惡意代碼會(huì)使用混淆、花指令等手段，從而影響靜態(tài)分析的結(jié)果。而動(dòng)態(tài)分析當(dāng)前也仍然存在一些問題：(1)基于序列比對(duì)法[4-6]會(huì)產(chǎn)生大量冗余特征，隨著測(cè)試樣本的動(dòng)態(tài)行為越多，檢測(cè)結(jié)果受到干擾越嚴(yán)重；(2)基于行為頻繁度方法[7-8]研究不夠深入，會(huì)影響之后的聚類效果；(3)病毒有反虛擬環(huán)境對(duì)抗技術(shù)。

為了對(duì)上述情況進(jìn)行改善，本文對(duì)常見的特征提取手段進(jìn)行改進(jìn)，提出了基于惡意行為的頻繁度和內(nèi)存特征相結(jié)合的惡意代碼特征提取方法。主要包括API函數(shù)特征、行為特征以及內(nèi)存特征。

1.1.1API函數(shù)特征

惡意代碼在執(zhí)行時(shí)會(huì)調(diào)用一些高級(jí)應(yīng)用程序接口，例如Windows API(Windows應(yīng)用程序接口，針對(duì)Microsoft Windows操作系統(tǒng)家族的系統(tǒng)編程接口)，而API是由API函數(shù)來實(shí)現(xiàn)的。API函數(shù)包含在API庫文件中，例如勒索軟件要對(duì)計(jì)算機(jī)中相應(yīng)后綴名文件進(jìn)行加解密時(shí)會(huì)先載入CRYPT32.dll動(dòng)態(tài)鏈接庫，再調(diào)用該鏈接庫中一系列的加解密函數(shù)。本文提取的API函數(shù)特征包括API函數(shù)調(diào)用頻繁度以及動(dòng)態(tài)鏈接庫調(diào)用頻繁度。

1.1.2行為特征

在行為特征方面，主要提取了網(wǎng)絡(luò)行為、注冊(cè)表行為、文件行為[9]。

網(wǎng)絡(luò)行為上，惡意代碼在系統(tǒng)中運(yùn)行會(huì)建立多個(gè)網(wǎng)絡(luò)連接，因此本文提取了樣本中建立連接的主機(jī)域名個(gè)數(shù)，建立TCP、UDP連接等。

注冊(cè)表行為上，惡意代碼會(huì)通過修改注冊(cè)表，從而將計(jì)算機(jī)中默認(rèn)的主頁改為其指定的網(wǎng)站、非法修改正常信息或者導(dǎo)致正常功能被禁用等。本文對(duì)注冊(cè)表行為中訪問注冊(cè)表、讀取注冊(cè)表、修改注冊(cè)表、刪除注冊(cè)表進(jìn)行計(jì)數(shù)，并且考慮到在訪問大量注冊(cè)表時(shí)存在嵌套路徑遍歷，最后進(jìn)行了去重計(jì)數(shù)。

文件行為上，惡意代碼會(huì)頻繁讀取系統(tǒng)文件，從其指定網(wǎng)站下載所需文件并存入指定路徑或者修改某些文件中的內(nèi)容等，本文在文件行為上，對(duì)文件的創(chuàng)建、讀取、修改、刪除、移動(dòng)等進(jìn)行計(jì)數(shù)。行為特征如表1所示。

1.1.3內(nèi)存特征

和其他特征提取思路不同的是，本文考慮到惡意軟件的反沙箱機(jī)制以及反分析技術(shù)，基于沙箱技術(shù)的動(dòng)態(tài)行為不一定能夠完全捕獲樣本的行為，因此本文利用Volatility內(nèi)存取證工具以及Yara匹配工具提取出內(nèi)存行為特征作為補(bǔ)充，最終提取出行為標(biāo)簽特征和互斥體(mutex)的特征，如表2所示。

表1 行為特征

表2 內(nèi)存特征

1.2 特征降維

本文使用到機(jī)器學(xué)習(xí)算法t-SNE(t-distributed Stochastic Neighbor Embedding)來對(duì)所提取到的高維特征進(jìn)行降維。t-SNE算法屬于非線性降維算法的一種，適用于將高維數(shù)據(jù)降到二維或者三維進(jìn)行可視化展示[10]。

t-SNE算法在高維空間數(shù)據(jù)點(diǎn)之間構(gòu)建了一個(gè)概率分布，該概率分布會(huì)使相似的數(shù)據(jù)點(diǎn)對(duì)應(yīng)較高的概率，不相似的數(shù)據(jù)點(diǎn)對(duì)應(yīng)較低的概率。其計(jì)算公式如下：

(1)

(2)

t-SNE算法目標(biāo)是在低維空間的映射yi,…,ydt,yi∈Rdt，yi和yj之間的相似度公式為：

(3)

兩個(gè)分布之間的相似度可以使用KL散度來衡量，其計(jì)算公式為：

(4)

2 改進(jìn)算法HDBSCAN的設(shè)計(jì)

2.1 傳統(tǒng)的DBSCAN聚類算法

基于密度的DBSCAN(Density-Based Spatial Clustering of Applications with Noise)算法[11]將簇定義為密度相連的點(diǎn)的最大集合,它的主要思想是對(duì)于構(gòu)成類簇的每一個(gè)對(duì)象，其Eps領(lǐng)域包含的對(duì)象個(gè)數(shù)，必須不小于某個(gè)給定的值(MinPts)。

DBSCAN算法的描述如下：

輸入：具有n個(gè)對(duì)象的數(shù)據(jù)集D，半徑e，最小領(lǐng)域點(diǎn)數(shù)MinPts；

輸出：目標(biāo)類簇集合。

Repeat：

1 判斷輸入點(diǎn)是否為核心對(duì)象；

2 找出核心對(duì)象的e領(lǐng)域中的所有直接密度可達(dá)點(diǎn)；

Until所有輸入點(diǎn)都判斷完畢。

Repeat：

針對(duì)所有核心對(duì)象的e領(lǐng)域內(nèi)所有直接密度可達(dá)點(diǎn)找到最大密度相連對(duì)象集合，中間涉及一些密度可達(dá)對(duì)象的合并；

Until所有核心對(duì)象的e領(lǐng)域都便利完畢。

2.2 基于層次的改進(jìn)算法HDBSCAN

DBSCAN有兩個(gè)缺陷：(1)算法對(duì)參數(shù)的變化很敏感，不同的參數(shù)組合對(duì)最后的聚類效果有較大影響；(2)算法需要逐個(gè)判斷輸入的每個(gè)數(shù)據(jù)點(diǎn)是否為核心點(diǎn)，如果樣本集較大，聚類收斂時(shí)間較長(zhǎng)，則需要較大的I/O開銷。

本文針對(duì)缺陷1和缺陷2，提出了一個(gè)基于層次的對(duì)DBSCAN的改進(jìn)算法HDBSCAN(Hierarchical-based DBSCAN)。

HDBSCAN算法引入了層次聚類的思想，不僅對(duì)由于輸入?yún)?shù)Eps選擇不當(dāng)而造成聚類結(jié)果不佳的問題給予糾正，還有效屏蔽了算法對(duì)輸入?yún)?shù)的敏感性；同時(shí)，HDBSCAN不需要對(duì)輸入的每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行檢測(cè)和判斷，它只需要判斷其中某些部分點(diǎn)即可識(shí)別最終生成簇，從而減少了查詢次數(shù)，降低了I/O開銷。

HDBSCAN定義了幾個(gè)基本概念：

(1)核心距離corek(x)為當(dāng)前點(diǎn)到其第k近的點(diǎn)的距離:

corek(x)=d(x,Nk(x))

(2)互達(dá)距離：dmreach-k(a,b)=max {corek(a),corek(b),d(a.,b)}

(3)最小生成樹：當(dāng)圖中的每一條邊都具有一個(gè)權(quán)值時(shí)，那么會(huì)有一個(gè)生成樹的所有邊的權(quán)值之和小于或者等于其他生成樹的所有邊的權(quán)值之和。

(4)MST(最小生成樹)性質(zhì)：設(shè)一個(gè)連通網(wǎng)絡(luò)G(V,E)(V代表點(diǎn)集，E代表邊集)，U是頂點(diǎn)集V的一個(gè)真子集。若(u，v)是G中一條“一個(gè)端點(diǎn)在U中，另一個(gè)端點(diǎn)不在U中”的邊，且(u,v)具有最小權(quán)值，則一定存在G的一棵最小生成樹包括此邊(u,v)。

HDBSCAN算法主要分為兩個(gè)大步驟，第一步是生成初始簇集，第二步是對(duì)基于層次的初始簇集進(jìn)行合并。HDBSCAN算法的具體流程如圖1所示。

圖1 HDBSCAN算法流程

2.3 T-SNE降維后使用HDBSCAN

在使用改進(jìn)算法HDBSCAN聚類前對(duì)數(shù)據(jù)進(jìn)行t-SNE降維處理，可以有效地提高數(shù)據(jù)集聚類的匹配結(jié)果，t-SNE通過基于多個(gè)特征的數(shù)據(jù)點(diǎn)的相似性識(shí)別觀察到的模式來找到數(shù)據(jù)中的規(guī)律，它具有在高維數(shù)據(jù)之間找到合適數(shù)據(jù)結(jié)構(gòu)和相關(guān)連接的極高能力。T-SNE具有非凸目標(biāo)函數(shù)，通過隨機(jī)初始化使梯度下降最小化，降維后使用HDBSCAN算法，可以對(duì)數(shù)據(jù)帶來最有效的分割。

3 實(shí)驗(yàn)環(huán)境

沙箱技術(shù)是近些年安全領(lǐng)域一個(gè)新的熱點(diǎn)，其關(guān)鍵技術(shù)在于隔離、個(gè)性化以及自動(dòng)。本文將Cuckoo沙箱作為惡意樣本分析環(huán)境，提交樣本后便能自動(dòng)化地分析文件并收集樣本文件在隔離的Windows系統(tǒng)中運(yùn)行的行為。并且每次分析都會(huì)從一個(gè)處于純凈狀態(tài)的快照開始，以保證分析的正確性，避免多個(gè)分析之間的相互干擾。完整的實(shí)驗(yàn)環(huán)境如表3所示。

表3 實(shí)驗(yàn)環(huán)境

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)計(jì)

4.1.1實(shí)驗(yàn)流程

本文從公開網(wǎng)站上下載了900個(gè)惡意代碼作為樣本文件提交至沙箱環(huán)境中，所有的惡意代碼均來源于公開網(wǎng)站www.malware-traffic-analysis.net。

將下載好的惡意代碼提交至Cuckoo沙箱環(huán)境中運(yùn)行，Cuckoo利用其HOOK機(jī)制對(duì)提交樣本的動(dòng)態(tài)行為及其參數(shù)進(jìn)行提取，整個(gè)分析報(bào)告以JSON格式保存。通過樣本的分析報(bào)告提取所需的特征屬性，最后用到聚類算法HDBSCAN對(duì)惡意代碼進(jìn)行研究。整個(gè)實(shí)驗(yàn)?zāi)Ｐ腿鐖D2所示。

4.1.2實(shí)驗(yàn)結(jié)果

編寫Python腳本對(duì)收集到的JSON格式的樣本分析報(bào)告提取特征，接著對(duì)提取到的特征直接使用DBSCAN算法、直接使用HDBSCAN算法、先進(jìn)行t-SNE降維再使用HDBSCAN算法，待聚類結(jié)束后，畫出在提取后的特征和聚類后的標(biāo)簽下所有樣本的分布情況，如圖3所示。

圖2 實(shí)驗(yàn)流程

圖3 分布情況

4.2 聚類模型評(píng)估

本文使用調(diào)整蘭德系數(shù)(Adjusted Rand index)、同質(zhì)性(Homogeneity)、完整性(Completeness)、調(diào)和平均(V-measure)、輪廓系數(shù)(Silhouette Coefficient)來對(duì)聚類模型進(jìn)行評(píng)估。

(1)調(diào)整蘭德系數(shù)：調(diào)整蘭德系數(shù)假設(shè)模型的超分布為隨機(jī)模型，它具有更高的區(qū)分度：

(5)

(2)同質(zhì)性：每個(gè)群集只包含單個(gè)類的成員；

完整性：給定類的所有成員都分配給同一個(gè)群集。

同質(zhì)性和完整性分?jǐn)?shù)基于以下公式得出：

(6)

(7)

其中H(C|K)是給定簇賦值的類的條件熵，由以下公式求得：

(8)

H(C)是類熵，公式為：

(9)

其中，n是樣本總數(shù)，nc和nk分別屬于類c和類k的樣本數(shù)，而nc,k是從類c劃分到類k的樣本數(shù)量。條件熵H(K|C)和類熵H(K)，根據(jù)以上公式對(duì)稱求得。

(3) 調(diào)和平均：V-measure是同質(zhì)性和完整性的調(diào)和平均數(shù)，公式為：

(10)

(4) 輪廓系數(shù)：對(duì)于單個(gè)樣本，設(shè)a是與它同類別中其他樣本的平均距離，b是與它距離最近不同類別中樣本的平均距離，其輪廓系數(shù)為：

(11)

對(duì)于一個(gè)樣本集合，它的輪廓系數(shù)是所有樣本輪廓系數(shù)的平均值。

聚類評(píng)估指標(biāo)如表4所示。

表4 聚類評(píng)估指標(biāo)

由表4的結(jié)果可以得出，對(duì)行為特征進(jìn)行t-SNE降維后，再采用HDBSCAN算法后的聚類效果相對(duì)于直接使用DBSCAN、HDBSCAN的聚類效果更佳，并且其評(píng)估指標(biāo)也是最優(yōu)，在時(shí)間復(fù)雜度上，對(duì)特征屬性進(jìn)行降維處理，可以有效減少聚類時(shí)間，更快得出聚類結(jié)果。改進(jìn)后的聚類算法可以研究數(shù)據(jù)對(duì)象的分類問題，在模式識(shí)別、圖像處理、市場(chǎng)研究以及生命科學(xué)等眾多學(xué)科領(lǐng)域具有廣泛的應(yīng)用前景。

5 結(jié)論

本文通過自動(dòng)化Cuckoo沙箱平臺(tái)得到惡意代碼分析報(bào)告，提出了基于惡意行為的頻繁度和內(nèi)存特征相結(jié)合的惡意代碼特征提取方法，并運(yùn)用改進(jìn)后的聚類算法來研究惡意代碼的聚類情況，提高聚類質(zhì)量，具有較高的可行性。未來將在此實(shí)驗(yàn)基礎(chǔ)上，繼續(xù)改進(jìn)舊算法或?qū)で笮碌乃惴ㄒ蕴岣呔垲愋Ч徒档蜁r(shí)間復(fù)雜度。