基于機器學(xué)習(xí)的惡意軟件識別研究綜述

王志文，劉廣起，韓曉暉，左文波，吳曉明，王連海

(齊魯工業(yè)大學(xué)(山東省科學(xué)院) 山東省計算中心(國家超級計算濟南中心)山東省計算機網(wǎng)絡(luò)重點實驗室，濟南 250014)

1 引 言

惡意軟件指運行在用戶計算機或其他終端上、在用戶不知情或未允許的情況下利用操作系統(tǒng)或應(yīng)用程序漏洞侵害用戶合法權(quán)益的軟件.根據(jù)特征和危害不同，目前惡意軟件主要可以分為廣告軟件、勒索軟件、后門、特洛伊木馬等類別，如表1所示.惡意軟件給網(wǎng)絡(luò)用戶、企業(yè)、工業(yè)設(shè)施、網(wǎng)絡(luò)和信息設(shè)備等帶來嚴(yán)重的安全威脅，并且近年來新型惡意軟件的數(shù)量不斷增長，僅2019年就有至少500個新型惡意軟件家族出現(xiàn)[1，2].

表1 惡意軟件類型

為有效應(yīng)對數(shù)量日益增長的惡意軟件及其威脅，目前學(xué)術(shù)界和產(chǎn)業(yè)界廣泛開展了惡意軟件識別研究工作，包括對惡意軟件的檢測和族系分類.早期，產(chǎn)業(yè)界一般通過基于簽名匹配的方式來識別惡意軟件[3-5].這種方式優(yōu)點是對于已知惡意軟件檢測的準(zhǔn)確率高、誤報率低，缺點是無法有效檢測未知惡意軟件.之后許多基于啟發(fā)式的方法被相繼提出，這類方法根據(jù)惡意軟件的特性，預(yù)定義一系列靜態(tài)或動態(tài)的啟發(fā)式規(guī)則來識別惡意軟件[8-11].其優(yōu)點是能夠檢測部分未知的惡意代碼，缺點是誤報率較高.隨著反檢測技術(shù)的發(fā)展，惡意軟件可通過加殼、變形、多態(tài)、自毀等技術(shù)隱蔽自身或變種，上述兩類識別方法的有效性逐漸降低.

近年來，基于機器學(xué)習(xí)的惡意代碼識別技術(shù)逐漸成為主流，其流程如圖1所示.良好的特征表示是基于機器學(xué)習(xí)的惡意軟件識別算法能否取得理想性能的關(guān)鍵因素之一.早期基于機器學(xué)習(xí)的識別技術(shù)通過人工特征工程方法提取樣本的特征表示，再訓(xùn)練支持向量機(SVM)、隨機森林(RF)等分類模型來檢測惡意軟件(如圖1上半部分所示).然而，人工特征工程的成本較高，且隨著惡意代碼功能的不斷復(fù)雜化、隱蔽化，如何設(shè)計有效的特征成為一個極具挑戰(zhàn)的問題.近期，隨著深度學(xué)習(xí)技術(shù)的突破性進(jìn)展，基于循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型的惡意代碼識別成為新的研究趨勢.深度學(xué)習(xí)模型基于深層神經(jīng)網(wǎng)絡(luò)可自動學(xué)習(xí)樣本的區(qū)分性特征表示，因而可以實現(xiàn)端到端的惡意軟件檢測(如圖1下半部分所示).

圖1 惡意軟件識別流程

本文對近年來基于機器學(xué)習(xí)的惡意軟件識別相關(guān)研究工作進(jìn)行了歸類和梳理，以樣本特征表示的獲取方法為主線，從基于特征工程的識別模型和基于特征學(xué)習(xí)的識別模型兩個方面對已有研究進(jìn)行了闡述，并整理了目前可用于訓(xùn)練識別模型的公開數(shù)據(jù)集，在此基礎(chǔ)上進(jìn)一步展望了惡意軟件識別研究當(dāng)前面臨的問題和挑戰(zhàn).本文旨在幫助讀者比較全面地了解基于機器學(xué)習(xí)的惡意軟件識別技術(shù)及主要進(jìn)展，為該領(lǐng)域的研究人員提供技術(shù)參考，以推動該領(lǐng)域的進(jìn)一步發(fā)展.

2 基于特征工程的惡意軟件識別

基于特征工程的惡意軟件識別通過人工設(shè)計的處理流程，在樣本中提取有意義的特征對其進(jìn)行表示，再利用機器學(xué)習(xí)模型對惡意軟件進(jìn)行識別.本節(jié)從惡意軟件特征表示、特征選擇與降維兩個方面對已有研究工作進(jìn)行了歸納，相關(guān)工作在表2中列出.

表2 基于特征工程的惡意軟件識別研究工作總結(jié)

2.1 惡意軟件特征表示

目前，針對惡意軟件的特征分析方法主要可分為靜態(tài)和動態(tài)兩種方式.

2.1.1 靜態(tài)特征分析

靜態(tài)特征分析是指在不運行軟件的情況下，通過分析軟件所包含文件的內(nèi)容來提取特征.針對Windows平臺惡意軟件，許多研究從EXE、DLL等PE(Portable Executable)文件中提取惡意軟件的靜態(tài)特征表示.Ye等人[13]以PE文件中的API及其它能夠反映攻擊者意圖和目標(biāo)的字符串作為特征，基于SVM構(gòu)建惡意軟件識別模型.Shafiq等人[14]分別從PE文件頭、節(jié)表和節(jié)中提取動態(tài)鏈接庫引用、符號數(shù)、鏈接器版本和導(dǎo)入/導(dǎo)出表大小等信息作為特征，基于J48、樸素貝葉斯(NB)等構(gòu)建惡意軟件識別模型.另有一些研究從PE文件中提取序列化的靜態(tài)特征表示，使用n-gram的出現(xiàn)頻率作為特征.例如，Abou-Assaleh等人[18]選擇PE文件中出現(xiàn)最頻繁的二進(jìn)制字節(jié)n-gram(如圖2所示)作為特征；Santos等人[20]和Ding等人[21]使用PE文件匯編操作碼序列的n-gram作為特征；Moskovitch等人[19]對PE文件的二進(jìn)制字節(jié)n-gram和匯編操作碼n-gram的有效性進(jìn)行了對比，實驗結(jié)果表明操作碼序列n-gram更有效.上述基于序列特征的方法并未考慮程序執(zhí)行時的實際控制流，即軟件運行時的真實行為.針對此問題，Ding等人[22]將PE匯編文件解析為執(zhí)行樹，基于樹遍歷算法生成所有可能執(zhí)行路徑的操作碼n-gram作為特征.

圖2 字節(jié)tri-gram提取過程

針對Android平臺的惡意軟件，邵等人[23]從Android軟件的清單文件和DEX反匯編文件中提取權(quán)限和API特征，分別使用SVM和k-NN構(gòu)建惡意軟件識別模型.Alazab等人[24]進(jìn)一步將API調(diào)用劃分為模糊調(diào)用、風(fēng)險調(diào)用、破壞性調(diào)用等類別，對特征的有效性進(jìn)行了評估，實驗表明破壞性調(diào)用與風(fēng)險調(diào)用的組合效果最好.楊等人[25]從清單文件中提取權(quán)限和意圖(Intent)兩類特征，提出一種改進(jìn)的隨機森林算法識別惡意軟件.王等人[26]提取鎖屏、加密、權(quán)限、威脅文本、支付方式和網(wǎng)絡(luò)通信6類特征，使用Prism算法對勒索軟件進(jìn)行檢測.

2.1.2 動態(tài)特征分析

動態(tài)特征分析[27]通過在虛擬機或沙箱中運行惡意軟件并進(jìn)行實時監(jiān)控，分析和提取其在運行時的行為特征.

針對Window平臺的惡意軟件，Huang等人[29]分別使用了軟件運行時的API調(diào)用、組合和API調(diào)用序列的tri-gram作為特征，訓(xùn)練多任務(wù)前饋神經(jīng)網(wǎng)絡(luò)來識別惡意軟件.Ijaz等人[30]提取訪問/刪除/修改文件數(shù)、注冊表鍵值、IP地址、DNS查詢、運行時API調(diào)用和訪問鏈接等作為特征構(gòu)建惡意軟件識別模型，實驗表明某些惡意軟件能夠檢測到沙箱環(huán)境并隱匿自身的惡意行為，導(dǎo)致識別模型失效.

針對Andriod平臺的惡意軟件，Burguera等人[32]以運行時調(diào)用的系統(tǒng)API次數(shù)作為特征，提出一種基于k-Means聚類的識別模型.Shabtai等人[33]設(shè)計了88個特征來捕捉軟件運行時功率、內(nèi)存、網(wǎng)絡(luò)、觸屏和鍵盤等14個方面的信息，使用不同分類器構(gòu)建識別模型，實驗表明基于J48和NB的識別模型表現(xiàn)較好.Alzaylaee等人[34]融合運行時的API調(diào)用、動作/事件等動態(tài)特征和權(quán)限等靜態(tài)特征，使用多層感知機(MLP)構(gòu)建識別模型.Xu等人[36]基于運行時的系統(tǒng)調(diào)用和進(jìn)程號(PID)構(gòu)建軟件的直方圖系統(tǒng)調(diào)用圖、n-gram系統(tǒng)調(diào)用圖和馬爾可夫鏈系統(tǒng)調(diào)用圖表示，通過最短路徑圖核[37]算法構(gòu)造核矩陣，并使用SVM對惡意軟件進(jìn)行識別.

與靜態(tài)特征分析方法相比，動態(tài)分析方法能夠更好的識別惡意軟件的非常態(tài)行為，但提取特征的過程非常耗時，因此不適合時效性高的檢測任務(wù).

2.2 特征選擇與降維

為防止高維特征造成的過擬合問題，許多研究進(jìn)一步對初始特征進(jìn)行特征選擇或降維.其中，常用的特征選擇方法包括信息增益[24，34](IG)、互信息[23，29]等，常用的特征降維方法包括主成分分析[14](PCA)、隨機映射[39，29]等.Huang等[29]先后使用了互信息和隨機映射，將特征空間從百萬維映射到數(shù)千維.Shafiq等人[14]使用冗余特征去除(RFR)、PCA和哈爾小波變換(HWT)3種不同的方法對提取的特征進(jìn)行降維.Yang等人[25]分別使用IG和ReliefF算法對提取的特征進(jìn)行選擇，實驗表明隨著特征數(shù)的增加，IG算法相較ReliefF更加穩(wěn)定.Shabtai等人[33]對比了卡方檢驗[40]、Fisher分值[41]和IG 3種特征選擇方法，實驗表明沒有一種方法在所有實驗設(shè)置中具有絕對優(yōu)勢.

部分研究借助自動編碼器(Auto Encoder)實現(xiàn)特征降維[42-45](如圖3所示)，但對于上萬維的特征，訓(xùn)練編碼器非常困難.針對這一問題，Hinton等人[46]提出的深度信念網(wǎng)絡(luò)(DBN)，通過逐層預(yù)訓(xùn)練和參數(shù)微調(diào)，可達(dá)到很好的降維效果.Su等人[47]對從Android軟件中提取的組件、意圖和請求權(quán)限等特征進(jìn)行0/1編碼，使用DBN進(jìn)行降維，降維后識別準(zhǔn)確率達(dá)97.5%.Ding等人[21]提取PE文件操作碼n-gram并使用DBN進(jìn)行降維，也獲得了顯著的性能提升.

圖3 自動編碼器實現(xiàn)降維

3 基于特征學(xué)習(xí)的惡意軟件識別

隨著深度學(xué)習(xí)技術(shù)的突破性進(jìn)展，利用深度神經(jīng)網(wǎng)絡(luò)的識別惡意軟件成為新的研究趨勢.由于深層神經(jīng)網(wǎng)絡(luò)具有自動學(xué)習(xí)區(qū)分性特征的能力，本文將這類研究歸類為基于特征學(xué)習(xí)的識別方法.針對不同的樣本表示方式，這些方法又可劃分為基于循環(huán)神經(jīng)網(wǎng)絡(luò)、基于卷積神經(jīng)網(wǎng)絡(luò)和基于圖神經(jīng)網(wǎng)絡(luò)3類，本節(jié)分別對其進(jìn)行闡述，相關(guān)模型在表3中列出.

表3 基于特征學(xué)習(xí)的惡意軟件識別研究工作總結(jié)

3.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的惡意軟件識別

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)具有很好的序列化數(shù)據(jù)處理能力，已被廣泛應(yīng)用在自然語言處理、機器翻譯等任務(wù)中.有鑒于此，許多研究首先通過靜態(tài)或動態(tài)分析方法將惡意軟件解析為操作碼序列、API調(diào)用序列等序列化數(shù)據(jù)的形式，然后基于RNN構(gòu)建惡意軟件識別模型.例如，Catak等人[48]動態(tài)提取軟件的API調(diào)用序列，采用詞嵌入(Embedding)獲得序列的張量表示，并將其輸入長短期記憶網(wǎng)絡(luò)(LSTM)進(jìn)行惡意軟件族系分類.Jeon等人[49]反匯編提取軟件的操作碼序列，采用卷積自動編碼器獲得序列的壓縮向量表示，將向量輸入LSTM計算軟件為惡意的概率.考慮到同類惡意軟件的不同變體在程序?qū)崿F(xiàn)和實際執(zhí)行流程上不盡相同，許多研究者使用雙向RNN來同時從正向和反向捕捉序列元素的依賴性，以更好的識別惡意序列模式.例如，鄭等人[12]使用CNN+BiLSTM(雙向LSTM)對軟件的API調(diào)用序列進(jìn)行分類，得到的結(jié)果顯著優(yōu)于單向LSTM.Liu等人[50]同樣采用BiLSTM建模API調(diào)用序列，并與門控循環(huán)單元(GRU)、BiGRU(雙向GRU)、LSTM進(jìn)行比較，實驗表明BiLSTM表現(xiàn)最優(yōu).Lu等人[61]通過IG選出API調(diào)用的關(guān)鍵n-gram序列，并提出一種雙向殘差LSTM對選出的序列進(jìn)行進(jìn)一步特征學(xué)習(xí)，最后使用RF進(jìn)行惡意軟件識別.

盡管基于RNN的惡意軟件識別方法取得了不錯的性能，但攻擊者可以通過添加大量非關(guān)鍵序列元素的方式對此類模型進(jìn)行迷惑.因此，如何提升RNN識別模型對于序列元素混淆的魯棒性仍是需要深入研究的問題.

3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的惡意軟件識別

部分研究將軟件轉(zhuǎn)換為可視化圖像，利用圖像處領(lǐng)域的方法和模型構(gòu)建惡意軟件識別模型.Choi等人[57]以軟件二進(jìn)制表示中的每8位作為一個像素，將文件轉(zhuǎn)換為通道數(shù)為1的灰度圖像(過程如圖4所示)，再使用CNN進(jìn)行惡意軟件識別.Jung等人[35]考慮Android軟件的DEX文件可能包含大量噪聲，因此僅將其中的數(shù)據(jù)部分轉(zhuǎn)換為灰度圖，使用CNN進(jìn)行惡意軟件識別.Yuan等人[58]將字節(jié)表示的整數(shù)值視為狀態(tài)，基于軟件的字節(jié)序列計算狀態(tài)間的轉(zhuǎn)移概率，然后構(gòu)造“馬爾科夫圖像(Markov Image)”(如圖5所示)輸入CNN模型來識別惡意軟件.Zhang等人[60]采用了相似的思路，將軟件匯編操作碼轉(zhuǎn)移概率及其IG的乘積作為一個像素來構(gòu)造圖像，并進(jìn)一步使用直方圖歸一化、膨脹和腐蝕等方法進(jìn)行圖像增強.也有研究將軟件的二進(jìn)制文件轉(zhuǎn)換為三通道的RGB彩色圖像表示[62-64].Vasan等人[62]將MalImg數(shù)據(jù)集中以灰度圖表示的惡意軟件樣本通過色彩映射(colormap)轉(zhuǎn)換為彩色圖像，并通過旋轉(zhuǎn)、翻轉(zhuǎn)和縮放等操作對數(shù)據(jù)進(jìn)行增強，使用CNN進(jìn)行惡意軟件識別.Xiao等人[63]和Huang等人[64]將軟件字節(jié)碼表示中連續(xù)的3個字節(jié)分別視為RGB色彩空間3個通道的像素值來構(gòu)建彩色圖像，進(jìn)而基于CNN構(gòu)建識別模型.

圖4 灰度圖轉(zhuǎn)化過程

圖5 字節(jié)轉(zhuǎn)移概率矩陣轉(zhuǎn)化過程

通常，深層卷積網(wǎng)絡(luò)相比淺層網(wǎng)絡(luò)結(jié)構(gòu)能夠更好地學(xué)習(xí)有效的表征，對數(shù)據(jù)的擬合能力更強.對于惡意軟件識別，更深層的網(wǎng)絡(luò)結(jié)構(gòu)可以更有效的應(yīng)對混淆后的樣本.然而，隨著深度的增加和網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜，會造成訓(xùn)練時的梯度消失或梯度爆炸的問題，使參數(shù)得不到有效更新[65，66].He等人[67]提出ResNet模型，通過殘差結(jié)構(gòu)有效緩解了上述問題，使得卷積網(wǎng)絡(luò)結(jié)構(gòu)可以達(dá)到上百層甚至上千層.但深層卷積網(wǎng)絡(luò)由于參數(shù)規(guī)模更大，需要更多的數(shù)據(jù)才能很好的訓(xùn)練.鑒于能夠獲得的惡意軟件族系標(biāo)注樣本規(guī)模有限，許多研究基于遷移學(xué)習(xí)的思想，首先在大規(guī)模圖像數(shù)據(jù)上訓(xùn)練深層卷積網(wǎng)絡(luò)模型，然后再將模型學(xué)習(xí)到的知識遷移到惡意軟件識別任務(wù)中.例如，Vasan等人[68]提出的IMCEC架構(gòu)首先在ImageNet數(shù)據(jù)集[69]上訓(xùn)練VGG16[59]和ResNet50模型，然后通過遷移學(xué)習(xí)將兩個模型的參數(shù)遷移到惡意軟件識別模型中.

在小數(shù)據(jù)集上訓(xùn)練深度學(xué)習(xí)模型易導(dǎo)致過擬合問題.針對小樣本條件下的惡意代碼模型訓(xùn)練，Kim等人[70]提出tGAN模型，在將惡意軟件樣本轉(zhuǎn)換為圖像后，首先訓(xùn)練卷積自動編碼器學(xué)習(xí)惡意軟件各類別的特征表示，然后將自動編碼器中的解碼器遷移到對抗生成網(wǎng)絡(luò)(GAN)中，分別利用GAN的生成器和鑒別器進(jìn)行數(shù)據(jù)增強和惡意軟件識別，實驗表明該模型在小樣本條件下的準(zhǔn)確率達(dá)90%.

基于可視化利用圖像處理技術(shù)構(gòu)建的惡意軟件識別模型往往能夠取得較高的準(zhǔn)確率.然而，已有研究一般是將1維的序列強制轉(zhuǎn)換為2維的“圖像”，因而第二維度的結(jié)構(gòu)關(guān)系并不是惡意軟件中自然存在的.如何構(gòu)建一種更合理的可視化表示，以更好的發(fā)揮CNN模型的優(yōu)勢，值得進(jìn)一步探討.此外，雖然基于VGG16、ResNet50等結(jié)構(gòu)構(gòu)建的識別模型可以獲得很好的分類效果，但所需的訓(xùn)練和推理時間及消耗的計算資源往往也很高，限制了此類模型的應(yīng)用.

3.3 基于圖神經(jīng)網(wǎng)絡(luò)的惡意軟件識別

圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks，GNN)將圖分析引入深度學(xué)習(xí)模型，具有很好地處理關(guān)系型數(shù)據(jù)的能力.許多研究者嘗試將軟件樣本表示為圖的形式，然后使用GNN模型對圖進(jìn)行分類實現(xiàn)惡意軟件識別.如，Li等人[17]將從軟件樣本中動態(tài)提取的API調(diào)用序列和由整個樣本生成的馬爾可夫鏈分別將軟件樣本表示為一個有向循環(huán)圖和一個共享權(quán)重圖，將二者融合后使用圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network，GCN)進(jìn)行惡意軟件檢測.Busch等人[28]通過監(jiān)測軟件運行時的網(wǎng)絡(luò)流量構(gòu)建有向圖然后使用GNN對軟件進(jìn)行分類，圖中的節(jié)點對應(yīng)網(wǎng)絡(luò)中的IP地址，邊表示網(wǎng)絡(luò)流量的方向并具有發(fā)送包數(shù)目、包長度均值、包傳送間隔最大和最小值等屬性.為了避免引入運行時開銷，F(xiàn)eng等人[31]將Android應(yīng)用程序反編譯為Smali文件，從中提取函數(shù)調(diào)用關(guān)系構(gòu)建函數(shù)調(diào)用圖，并將函數(shù)的語義信息、安全級別、權(quán)限作為節(jié)點屬性，使用GNN進(jìn)行惡意軟件識別.整體來看，目前將GNN應(yīng)用于惡意軟件識別的研究工作還較少，在樣本的圖表示和表征學(xué)習(xí)等方面仍值得進(jìn)一步探討.

4 惡意軟件數(shù)據(jù)集

為了方便研究者訓(xùn)練機器學(xué)習(xí)模型并評測模型性能，學(xué)術(shù)界和產(chǎn)業(yè)界發(fā)布了多個惡意軟件數(shù)據(jù)集.本節(jié)匯總了已公開的Windows、Andriod等系統(tǒng)和平臺上的惡意軟件數(shù)據(jù)集，獲取鏈接在表4中列出，供研究者參考.

表4 惡意軟件數(shù)據(jù)集/平臺的獲取鏈接

4.1 Windows平臺惡意軟件數(shù)據(jù)集

目前，已公開的Window平臺惡意軟數(shù)據(jù)集的數(shù)據(jù)格式包括字節(jié)文件、匯編文件、動態(tài)API調(diào)用序列、可視化圖像等.

MalImg數(shù)據(jù)集[71]包括25個不同家族的9339個惡意軟件樣本，每個樣本為一幅由惡意軟件轉(zhuǎn)換得到的灰度圖像，具體格式如圖6所示.通過觀察樣本可發(fā)現(xiàn)，許多研究的實驗在此數(shù)據(jù)集上進(jìn)行[15，16，62，72].

圖6 不同家族樣本灰度圖

MMCC數(shù)據(jù)集[73]是微軟為在BIG 2015上進(jìn)行的惡意軟件分類挑戰(zhàn)賽公開的惡意軟件數(shù)據(jù)集.該數(shù)據(jù)集包括Ramnit、Lollipop、Kelihosver3等9個惡意軟件家族的21741個樣本.每個惡意軟件樣本包含兩種形式的文件，即二進(jìn)制文件(.bytes)和使用IDA Pro提取的元數(shù)據(jù)文件(.asm)，兩種文件的數(shù)據(jù)格式如圖7、圖8所示.迄今為止，該數(shù)據(jù)集已被數(shù)百篇學(xué)術(shù)論文引用，如本文參考文獻(xiàn)[53，55，56，58，74].

圖7 二進(jìn)制文件的十六進(jìn)制表示

圖8 匯編文件

Mal-API-2019數(shù)據(jù)集[75]是使用布谷鳥沙箱(Cuckoo Sandbox)提取生成的Windows惡意軟件數(shù)據(jù)集.該數(shù)據(jù)集包括Trojan、Backdoor、Worm等8個不同類別共7107個惡意軟件樣本，每個樣本由惡意軟件運行時的API調(diào)用序列構(gòu)成.

APIMDS數(shù)據(jù)集[76]包括Worm、Backdoor、Trojan等6個不同種類的23080個惡意軟件的API調(diào)用序列，共涉及2727個不同的API調(diào)用.

Ember數(shù)據(jù)集[77]包含110萬個PE文件樣本，每個數(shù)據(jù)樣本由5組格式特征(即，通用文件信息、頭部信息、導(dǎo)入函數(shù)、導(dǎo)出函數(shù)、節(jié)信息)和3組格式無關(guān)特征(即，字節(jié)直方圖、字節(jié)熵直方圖、字符串信息)表示.

CILPKU08和Henchiri數(shù)據(jù)集均由可執(zhí)行文件組成.其中，CILPKU08包括915個良性程序和3547個惡意程序；Henchiri包括1414個良性程序和2994個惡意程序.

4.2 Android平臺惡意軟件數(shù)據(jù)集

目前，可公開獲取的Android平臺惡意軟件數(shù)量大、類型繁多.盧森堡大學(xué)公布的AndroZoo數(shù)據(jù)集[78]包含1700萬個APK樣本，并仍在不斷擴展.在線平臺VirusShare上匯集了近4000萬個惡意軟件樣本，Contagio社區(qū)包含許多用戶分享的大量惡意軟件.Drebin數(shù)據(jù)集[79]包含179個不同惡意軟件家族的5560個樣本，每個樣本由從清單文件中和反匯編DEX文件中通過靜態(tài)分析獲取的特征表示.Genome數(shù)據(jù)集[80]包含49個惡意軟件家族的1260個樣本，其中1083個是通過加入惡意負(fù)載重新打包的應(yīng)用程序.CICAndMal數(shù)據(jù)集[81，82]包括42個惡意軟件家族的426個惡意和5065個良性樣本，樣本使用軟件的權(quán)限、API調(diào)用、網(wǎng)絡(luò)流量、內(nèi)存轉(zhuǎn)儲、權(quán)限、意圖等特征表示.RmvDroid數(shù)據(jù)集[83]包括56個惡意軟件家族的9133個樣本，每個樣本附帶了描述、評級、下載數(shù)量等元數(shù)據(jù)以輔助惡意軟件的識別.

5 問題與挑戰(zhàn)

盡管基于機器學(xué)習(xí)的惡意軟件識別研究已經(jīng)取得了很大的進(jìn)展，但仍然面臨一些問題和挑戰(zhàn)，本章對部分問題和挑戰(zhàn)進(jìn)行了列舉和分析.

5.1 類別不平衡

在惡意軟件識別場景中，類別不平衡是一個常見的問題.對于惡意軟件檢測任務(wù)，能夠獲取到的良性樣本的數(shù)量往往遠(yuǎn)大于能夠獲取到的惡意樣本的數(shù)量；對于惡意軟件分類任務(wù)，各惡意軟件類別的樣本數(shù)量通常也存在偏斜，如MMCC數(shù)據(jù)集中Lollipop和Kelihos ver3兩類的樣本數(shù)量分別為2478、2942，而Simda類別僅有42個樣本數(shù)據(jù).類別不平衡會導(dǎo)致機器學(xué)習(xí)方法偏向于大類別，已有部分文獻(xiàn)針對這一問題提出解決方案，例如Liu等人[38]提出了兩種集成學(xué)習(xí)機制，通過從大類別樣本中抽取與小類別樣本數(shù)目相同的若干子集，與小類別樣本共同訓(xùn)練多個弱分類器集成進(jìn)行輸出.此方法僅適用于二分類，而對于惡意軟件識別，多分類任務(wù)更易受到類別不平衡的影響.Kim等人[70]提出的tGAN模型通過生成的方式對所有類別的數(shù)據(jù)進(jìn)行增強，采用集成的方式進(jìn)行多分類，但GAN模型在樣本生成時穩(wěn)定性較差.Yue等人[72]采用加權(quán)softmax損失對CNN進(jìn)行微調(diào)，對不同數(shù)目的類別賦予不同的損失權(quán)值，但加權(quán)損失只能在一定程度上緩和類別不平衡的影響.總體來看，如何處理惡意軟件識別中的數(shù)據(jù)不平衡問題仍然是一個需要深入探討的問題.

5.2 主動識別方法

隨著基于機器學(xué)習(xí)的惡意軟件識別技術(shù)持續(xù)發(fā)展，各類反識別技術(shù)也不斷出現(xiàn).惡意軟件的編寫者能夠根據(jù)機器學(xué)習(xí)模型的特性設(shè)計相應(yīng)的策略，使惡意軟件能夠規(guī)避模型的檢測.例如，陳等人[84]和Hu等人[85]分別根據(jù)基于字節(jié)碼圖像和API特征的惡意軟件識別模型的原理特性，設(shè)計了一種生成對抗網(wǎng)絡(luò)來生成惡意對抗樣本，能夠成功避開黑盒識別；Grosse等人[86]僅對不影響惡意功能的特征進(jìn)行更改，以生成保留其惡意功能的對抗樣本.此外，有監(jiān)督的機器學(xué)習(xí)模型一般基于訓(xùn)練數(shù)據(jù)構(gòu)建，對于未知惡意軟件的泛化性往往不高.針對上述兩種情況，通常需要再根據(jù)反檢測技術(shù)和新型惡意軟件的特性重新構(gòu)建識別模型，以被動的形式應(yīng)對.如何基于演化學(xué)習(xí)、對抗生成、終身學(xué)習(xí)等理論和方法建立能夠自進(jìn)化的主動式惡意軟件識別模型，也是值得進(jìn)一步深入探討的方向.

5.3 模型輕量化

隨著5G、無線傳感、物聯(lián)網(wǎng)等技術(shù)的發(fā)展，人類社會即將迎來萬物互聯(lián)的時代，無處不在的智能終端將融入人們生活的方方面面.然而，許多智能終端在設(shè)計時并未考慮安全問題，因而安全防護能力普遍較差，非常容易受惡意軟件的侵害.而受限于計算能力和資源，大部分基于惡意軟件識別模型無法在智能終端上運行.目前的一種解決方案是將智能終端的數(shù)據(jù)進(jìn)行匯聚，在高性能的服務(wù)端或云端分析并完成惡意軟件識別，但這種方式的實時性較差.基于知識蒸餾、模型剪枝等方法協(xié)同軟件的特殊表示研究惡意軟件識別模型的輕量化，在保持識別性能的條件下使其適合在智能終端等算力和資源有限的設(shè)備上運行，對于萬物互聯(lián)時代的網(wǎng)絡(luò)安全有重要意義.

5.4 模型可解釋性

盡管基于機器學(xué)習(xí)的惡意軟件檢測模型表現(xiàn)出了較好的性能，但是模型的黑盒特性使預(yù)測結(jié)果不具有良好的可解釋性，因而不利于分析人員理解復(fù)雜惡意軟件的構(gòu)成和運行機理.Jeon等人[49]嘗試使用網(wǎng)絡(luò)隱藏層的平均激活值定位惡意軟件中惡意的操作碼片段，可以提供一定的解釋信息，但僅是面向整個組合架構(gòu)的決策過程，并未涵蓋單個深度模型內(nèi)部機理解釋.如何有效提升基于機器學(xué)習(xí)的惡意軟件識別模型的可解釋性，以幫助分析人員更好的剖析惡意軟件的作用機制，也是一個亟需進(jìn)一步研究的方向.

6 總 結(jié)

目前，機器學(xué)習(xí)模型和方法已被廣泛應(yīng)用到惡意代碼識別任務(wù)中，能夠緩解傳統(tǒng)基于簽名和啟發(fā)式規(guī)則的方法泛化性差、誤報率高等問題.本文梳理和綜述了近年來基于機器學(xué)習(xí)的惡意軟件識別相關(guān)研究，分別從特征表示、特征選擇和降維等方面闡述了早期基于特征工程的識別方法，并歸納和分析了近期出現(xiàn)的基于RNN、CNN和GNN等深度神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)類識別方法.此外，對于目前已公開的惡意軟件數(shù)據(jù)集，本文也進(jìn)行了匯總.通過分析該領(lǐng)域的國內(nèi)外研究現(xiàn)狀，本文指出未來尚需解決類別不平衡、主動識別方法、模型輕量化和模型可解釋性等問題和挑戰(zhàn).隨著機器學(xué)習(xí)及深度學(xué)習(xí)技術(shù)的飛速發(fā)展，基于機器學(xué)習(xí)的惡意軟件識別在性能和效率將得到進(jìn)一步提升.