智能化漏洞挖掘與網(wǎng)絡(luò)空間威脅發(fā)現(xiàn)綜述

劉寶旭 李 昊 孫鈺杰 董放明 孫天琦 陳 瀟

1(中國(guó)科學(xué)院信息工程研究所 北京 100093)2(中國(guó)科學(xué)院大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 北京 100049)3(中國(guó)科學(xué)院網(wǎng)絡(luò)測(cè)評(píng)技術(shù)重點(diǎn)實(shí)驗(yàn)室 北京 100195)4(網(wǎng)絡(luò)安全防護(hù)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室 北京 100195)

隨著信息化水平的提高,各行業(yè)的生產(chǎn)效率也隨之提高,國(guó)家、個(gè)人和各行業(yè)基礎(chǔ)設(shè)施都高度依賴網(wǎng)絡(luò)計(jì)算系統(tǒng).同時(shí),網(wǎng)絡(luò)空間面臨的威脅也更加嚴(yán)重:2010年震網(wǎng)病毒事件展現(xiàn)了網(wǎng)絡(luò)威脅對(duì)現(xiàn)實(shí)世界的破壞[1];2015年烏克蘭電網(wǎng)被植入惡意軟件造成大規(guī)模的停電[2];2020年網(wǎng)絡(luò)管理軟件SolarWinds被植入后門,使超過(guò)30萬(wàn)用戶面臨供應(yīng)鏈攻擊威脅[3].高級(jí)持續(xù)性威脅(advanced persistent threat, APT)旨在破壞社會(huì)的關(guān)鍵基礎(chǔ)設(shè)施,如政府、能源、教育等領(lǐng)域[4],對(duì)特定目標(biāo)進(jìn)行長(zhǎng)期、隱蔽和持續(xù)攻擊,在世界范圍內(nèi)造成了嚴(yán)重的安全威脅和巨大的經(jīng)濟(jì)損失.

軟件是構(gòu)建網(wǎng)絡(luò)空間的核心基礎(chǔ)設(shè)置之一,存在于軟件中的漏洞成為影響網(wǎng)絡(luò)空間安全的重要因素.漏洞可被利用于竊取他人隱私數(shù)據(jù)(如HeartBleed漏洞),亦可被用于控制他人計(jì)算機(jī)(如Sandworm漏洞),以及種種其他網(wǎng)絡(luò)空間破壞活動(dòng).在“黑客地下產(chǎn)業(yè)”經(jīng)濟(jì)利益驅(qū)動(dòng)下,從漏洞發(fā)現(xiàn)、利用到網(wǎng)絡(luò)滲透攻擊,已經(jīng)形成分工明細(xì)、規(guī)?；漠a(chǎn)業(yè)鏈,各種稀有漏洞資源待價(jià)而沽,從漏洞首次發(fā)現(xiàn)并被用于滲透攻擊的周期縮短到幾周甚至幾天.快速、深入地漏洞分析與發(fā)現(xiàn)已成為安全防御的關(guān)鍵.

漏洞挖掘技術(shù)可以應(yīng)用于網(wǎng)絡(luò)攻擊發(fā)生前,降低被入侵的風(fēng)險(xiǎn).而為了應(yīng)對(duì)正在發(fā)生的網(wǎng)絡(luò)空間攻擊,安全界建立了多重防護(hù)體系:Gartner公司[5]每年都會(huì)總結(jié)網(wǎng)絡(luò)安全行業(yè)的關(guān)鍵技術(shù),威脅發(fā)現(xiàn)一直是最關(guān)鍵的研究問(wèn)題之一,威脅發(fā)現(xiàn)技術(shù)是處置、溯源等減少被入侵損失的基礎(chǔ),也是網(wǎng)絡(luò)安全防御體系的基石.而網(wǎng)絡(luò)威脅尤其是APT攻擊的發(fā)現(xiàn)目前是一個(gè)非常具有挑戰(zhàn)性的研究領(lǐng)域.

漏洞挖掘技術(shù)關(guān)注于攻擊發(fā)生前系統(tǒng)面臨的威脅,而威脅發(fā)現(xiàn)技術(shù)關(guān)注攻擊發(fā)生中系統(tǒng)產(chǎn)生的威脅行為,下面將分別介紹智能化的漏洞挖掘與智能化的網(wǎng)絡(luò)威脅發(fā)現(xiàn)相關(guān)研究.

1 智能化的漏洞挖掘研究

隨著人工智能和計(jì)算機(jī)技術(shù)的飛速發(fā)展,智能化正深刻改變著各個(gè)領(lǐng)域.針對(duì)漏洞挖掘高度依賴安全人員專業(yè)知識(shí)等問(wèn)題,智能化漏洞挖掘技術(shù)在漏洞挖掘領(lǐng)域嶄露頭角.近年來(lái),研究者開始將人工智能技術(shù)與漏洞挖掘技術(shù)相結(jié)合,主要包括將人工智能技術(shù)應(yīng)用于漏洞補(bǔ)丁識(shí)別、漏洞預(yù)測(cè)、代碼比對(duì)和模糊測(cè)試等.

1.1 智能化漏洞補(bǔ)丁識(shí)別

漏洞補(bǔ)丁包含了漏洞語(yǔ)句、修補(bǔ)語(yǔ)句、漏洞函數(shù)等重要的信息,但是開發(fā)人員可能不會(huì)在補(bǔ)丁信息中表明這是漏洞補(bǔ)丁,或者在未公開的情況下靜默修復(fù)漏洞,這些補(bǔ)丁被稱為靜默補(bǔ)丁,如何精準(zhǔn)地從大量提交信息中識(shí)別靜默補(bǔ)丁是一個(gè)技術(shù)難題.

1.1.1 基于機(jī)器學(xué)習(xí)的漏洞補(bǔ)丁識(shí)別

Zhou等人[6]從提交信息和漏洞報(bào)告中提取文本特征,使用K-fold stacking算法將多個(gè)分類器組合起來(lái).Perl等人[7]開發(fā)了一種啟發(fā)式算法,從修復(fù)提交中找到引入漏洞的提交,提取特征,包括代碼度量和GitHub元數(shù)據(jù)特征.使用線性支持向量機(jī)(SVM)作為分類器,能夠自動(dòng)識(shí)別潛在的漏洞.

1.1.2 基于深度學(xué)習(xí)的漏洞補(bǔ)丁識(shí)別

傳統(tǒng)的機(jī)器學(xué)習(xí)需要研究者提取語(yǔ)義特征,人工成本較高,而深度學(xué)習(xí)模型能夠自動(dòng)從輸入中學(xué)習(xí)特征,因此深度學(xué)習(xí)模型越來(lái)越多地應(yīng)用在補(bǔ)丁識(shí)別領(lǐng)域.

PatchRNN[8]使用經(jīng)典的RNN模型,設(shè)計(jì)了TwinRNN和TextRNN這2個(gè)子模型,分別處理修改前后的代碼和補(bǔ)丁消息.E-SPI[9]對(duì)SPI進(jìn)行了改進(jìn).E-SPI也由2個(gè)神經(jīng)網(wǎng)絡(luò)組成,作者設(shè)計(jì)了一個(gè)AST編碼器獲取修改代碼相關(guān)的抽象語(yǔ)法樹路徑,使用BiLSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練;使用圖神經(jīng)網(wǎng)絡(luò)(GNN)構(gòu)建提交消息依賴圖,學(xué)習(xí)文本消息表示.

1.1.3 基于大語(yǔ)言模型的漏洞補(bǔ)丁識(shí)別

大語(yǔ)言模型相較于普通的深度學(xué)習(xí)模型更有優(yōu)勢(shì),通過(guò)對(duì)大語(yǔ)言模型預(yù)訓(xùn)練,能夠很好地勝任補(bǔ)丁識(shí)別相關(guān)任務(wù).已經(jīng)有很多學(xué)者進(jìn)行了嘗試.VulFixMiner[10]基于Transformer,僅從代碼更改中提取語(yǔ)義,該系統(tǒng)的框架包括3個(gè)階段:微調(diào)、訓(xùn)練和應(yīng)用.使用標(biāo)記的數(shù)據(jù)對(duì)CodeBERT進(jìn)行微調(diào).在訓(xùn)練階段使用單層神經(jīng)網(wǎng)絡(luò)分類器對(duì)補(bǔ)丁進(jìn)行分類.

1.2 智能化漏洞預(yù)測(cè)

傳統(tǒng)的漏洞識(shí)別方法需要依靠人工專家的知識(shí)和經(jīng)驗(yàn),然而隨著對(duì)軟件安全性要求的提高,需要更高效、自動(dòng)化和智能化的漏洞識(shí)別方法.智能漏洞識(shí)別技術(shù)具備強(qiáng)大的特征提取和模式識(shí)別能力,可以從海量數(shù)據(jù)中自動(dòng)學(xué)習(xí)和提取關(guān)鍵特征,并從中學(xué)習(xí)出模式和規(guī)律,使得漏洞識(shí)別更加高效和準(zhǔn)確.

1.2.1 基于語(yǔ)法特征的智能化漏洞預(yù)測(cè)

Rebecca[11]針對(duì)大多數(shù)研究受限于數(shù)據(jù)集的規(guī)模和多樣性,無(wú)法充分發(fā)揮深度學(xué)習(xí)優(yōu)勢(shì)的問(wèn)題,提出了利用深度學(xué)習(xí)從源代碼中直接學(xué)習(xí)特征的方法,并將學(xué)習(xí)到的特征表示與隨機(jī)森林分類器相結(jié)合進(jìn)行漏洞檢測(cè).

1.2.2 基于語(yǔ)義特征的智能化漏洞預(yù)測(cè)

隨著研究的深入,研究人員開始結(jié)合程序分析技術(shù)利用更深層的語(yǔ)義信息進(jìn)行模型訓(xùn)練.Benjamin[12]以漏洞檢測(cè)的程序分析算法Dataflow Analysis(DFA)為指導(dǎo),對(duì)DFA和GNN消息傳遞算法進(jìn)行對(duì)比,設(shè)計(jì)了一種嵌入技術(shù),用于對(duì)CFG中每個(gè)節(jié)點(diǎn)編碼,嵌入處理后的CFG進(jìn)行圖學(xué)習(xí),通過(guò)利用節(jié)點(diǎn)中編碼的數(shù)據(jù)流信息進(jìn)行分析,從而模擬DFA中的數(shù)據(jù)流技術(shù).

1.2.3 基于大語(yǔ)言模型的智能化漏洞預(yù)測(cè)

基于Transformer的大語(yǔ)言模型在自然語(yǔ)言處理中的出色表現(xiàn)以及自然語(yǔ)言與高級(jí)編程語(yǔ)言(如C/C++)的相似性,使得大模型在漏洞識(shí)別中有很好的應(yīng)用前景.Claudia[13]研究探索了基于Transformer的模型在Java漏洞的多標(biāo)簽分類中的應(yīng)用,通過(guò)使用BERT等Transformer模型,解決了現(xiàn)有漏洞檢測(cè)數(shù)據(jù)集過(guò)小的問(wèn)題,提高了模型的性能.

1.3 智能化代碼比對(duì)

代碼比對(duì)是發(fā)現(xiàn)目標(biāo)軟件中是否存在已知漏洞的重要技術(shù),將漏洞函數(shù)與目標(biāo)軟件中的所有函數(shù)進(jìn)行比較,當(dāng)相似度大于閾值時(shí)即可推斷目標(biāo)軟件中存在已知漏洞.二進(jìn)制代碼比對(duì)方法的一個(gè)關(guān)鍵是發(fā)現(xiàn)目標(biāo)場(chǎng)景(跨架構(gòu)、跨版本、跨編譯器、跨優(yōu)化選項(xiàng)或其組合)盡可能具有魯棒的、可標(biāo)識(shí)的特征,人工智能方法的基本思想是借助深度神經(jīng)網(wǎng)絡(luò)而非人的先驗(yàn)知識(shí)識(shí)別出這樣的特征.

1.3.1 基于深度學(xué)習(xí)的二進(jìn)制代碼比對(duì)技術(shù)

Gemini[14]提出借助深度圖神經(jīng)網(wǎng)絡(luò)具化這一非對(duì)等映射.Gemini假設(shè)一個(gè)函數(shù)等價(jià)于一個(gè)屬性控制流圖,進(jìn)一步,Gemini借助內(nèi)嵌Structure2Vec網(wǎng)絡(luò)的Siamese網(wǎng)絡(luò)將一個(gè)ACFG表示為一個(gè)低維embedding.然后通過(guò)比較嵌入的相似性來(lái)判斷2個(gè)二進(jìn)制函數(shù)的相似性.

1.3.2 基于大模型的二進(jìn)制代碼比對(duì)技術(shù)

Jtrans[15]將匯編代碼作為輸入,首先使用BERT根據(jù)輸入生成token,然后引入位置嵌入作為跳轉(zhuǎn)關(guān)系依據(jù),接著將兩者通過(guò)屏蔽語(yǔ)言模型進(jìn)行訓(xùn)練,最后通過(guò)跳躍目標(biāo)預(yù)測(cè)進(jìn)行微調(diào).VulHawk[12]首先將二進(jìn)制代碼轉(zhuǎn)換為微碼,通過(guò)補(bǔ)充隱式操作數(shù)和剪枝冗余指令,有助于保留二進(jìn)制函數(shù)的主要語(yǔ)義.然后使用RoBERTa模型提取微碼基本塊嵌入,使用圖卷積網(wǎng)絡(luò)(GCN)將基本塊嵌入和CFG進(jìn)行結(jié)合生成函數(shù)向量進(jìn)行匹配.

1.4 智能化模糊測(cè)試

傳統(tǒng)的模糊測(cè)試的輸入構(gòu)造過(guò)程高度依賴于測(cè)試人員的經(jīng)驗(yàn),2017年,微軟提出了Learn& Fuzz[16]這一智能化模糊測(cè)試技術(shù),標(biāo)志著模糊測(cè)試智能化方向的興起.構(gòu)造輸入主要需要解決3個(gè)問(wèn)題:確定變異位置、改良變異策略、生成合法輸入.本文從這3個(gè)方面觀察模糊測(cè)試在智能化技術(shù)上的發(fā)展.

1.4.1 確定變異位置

Neuzz[17]采用了基于梯度的方法增益模糊測(cè)試的變異過(guò)程,利用神經(jīng)網(wǎng)絡(luò)中的梯度判斷和指定代碼強(qiáng)相關(guān)的輸入?yún)^(qū)域,并重點(diǎn)對(duì)此類區(qū)域進(jìn)行變異.MTFuzz[18]通過(guò)多維度因素,如變異方法、上下文調(diào)用情況與代碼覆蓋進(jìn)行訓(xùn)練模型.

1.4.2 改良變異策略

Meuzz[19]根據(jù)從過(guò)去相同或類似項(xiàng)目的種子調(diào)度決策中學(xué)到的知識(shí)來(lái)確定哪些新種子有更高的代碼覆蓋率.FuzzBoost[20]結(jié)合Q-learning模型,設(shè)計(jì)了一種獎(jiǎng)勵(lì)策略來(lái)評(píng)估測(cè)試覆蓋率,以此增強(qiáng)模糊過(guò)程中的輸入突變.Seamfuzz[21]能夠捕捉單個(gè)種子輸入的特征,按照種子間的語(yǔ)法和語(yǔ)義相似性進(jìn)行分組,使用湯普森采樣算法為不同的種子輸入應(yīng)用不同的突變策略.

1.4.3 生成合法輸入

LAFuzz[22]使用LSTM和Attention這2種模型生成高質(zhì)量的結(jié)構(gòu)化或非結(jié)構(gòu)化的種子輸入.在針對(duì)編程語(yǔ)言的測(cè)試用例生成方面,DeepFuzz[23]利用Seq2Seq模型對(duì)C語(yǔ)言源碼進(jìn)行建模并生成半有效的畸形輸入.此外,有部分研究嘗試?yán)蒙窠?jīng)網(wǎng)絡(luò)模型恢復(fù)輸入中的語(yǔ)法信息,例如GANFuzz[24]利用生成對(duì)抗網(wǎng)絡(luò)生成符合協(xié)議語(yǔ)法規(guī)范的畸形輸入.

2 智能化的威脅發(fā)現(xiàn)研究

威脅發(fā)現(xiàn)可以分為威脅檢測(cè)和威脅狩獵[25],威脅檢測(cè)是被動(dòng)的掃描系統(tǒng)識(shí)別疑似惡意行為,威脅狩獵是主動(dòng)地在網(wǎng)絡(luò)中搜索可以繞開安全檢測(cè)或產(chǎn)生危害的威脅的過(guò)程[26].

網(wǎng)絡(luò)空間威脅發(fā)現(xiàn)需要依賴攻擊發(fā)生時(shí)收集的信息載體,如網(wǎng)絡(luò)流量、主機(jī)日志、惡意文件、網(wǎng)絡(luò)威脅情報(bào)等,下面將從幾種信息載體出發(fā),結(jié)合智能方法總結(jié)每個(gè)載體在網(wǎng)絡(luò)威脅發(fā)現(xiàn)中發(fā)揮的作用.

2.1 基于網(wǎng)絡(luò)流量的威脅發(fā)現(xiàn)研究

網(wǎng)絡(luò)流量是網(wǎng)絡(luò)計(jì)算系統(tǒng)互相通信時(shí)傳輸?shù)男畔⑤d體,而當(dāng)攻擊者入侵網(wǎng)絡(luò)計(jì)算系統(tǒng)時(shí)會(huì)在各個(gè)環(huán)節(jié)中產(chǎn)生與正常流量不同的特征,以下將介紹基于網(wǎng)絡(luò)流量在滲透攻擊不同階段的威脅發(fā)現(xiàn)研究.

2.1.1 外部滲透攻擊流量檢測(cè)研究

攻擊者通過(guò)外部滲透入侵系統(tǒng),通過(guò)對(duì)網(wǎng)絡(luò)流量的分析可以檢測(cè)到攻擊行為.Yang[27]利用IP地址、端口號(hào)、包類型數(shù)、網(wǎng)絡(luò)包數(shù)作為數(shù)據(jù)源,結(jié)合信息熵和SVM模型進(jìn)行異常檢測(cè).

2.1.2 C2通信的威脅發(fā)現(xiàn)研究

攻擊者需要向被入侵的主機(jī)發(fā)送指令完成接下來(lái)的滲透攻擊環(huán)節(jié),在通信的過(guò)程中不可避免地產(chǎn)生網(wǎng)絡(luò)流量,盡管只占網(wǎng)絡(luò)流量的極小一部分.然而,惡意的C2通信與正常的通信行為模式往往具有差異,許多研究關(guān)注C2通信的威脅發(fā)現(xiàn),Dong等人[28]將遠(yuǎn)程控制木馬的網(wǎng)絡(luò)行為建模,從每個(gè)待評(píng)估應(yīng)用的獨(dú)特網(wǎng)絡(luò)跟蹤行為中自動(dòng)構(gòu)建多級(jí)樹(MLTree),并將二者進(jìn)行對(duì)比識(shí)別是否為木馬通信.

2.1.3 隱蔽信道的威脅發(fā)現(xiàn)研究

惡意軟件在獲取機(jī)密信息后需要進(jìn)行數(shù)據(jù)傳輸,為了規(guī)避檢測(cè),在數(shù)據(jù)傳輸時(shí)通常使用隱蔽信道,例如使用DNS協(xié)議的字段外泄數(shù)據(jù),偽裝成合法的DNS查詢通過(guò)防火墻的檢查.Zhang等人[29]使用深度學(xué)習(xí)方法,將DNS隧道數(shù)據(jù)視作文本,使用詞嵌入作為擬合神經(jīng)網(wǎng)絡(luò)的一部分,檢測(cè)決策由常見(jiàn)的深度學(xué)習(xí)模型作出,包括密集神經(jīng)網(wǎng)絡(luò)(DNN)、1維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN).

2.2 基于主機(jī)數(shù)據(jù)的威脅發(fā)現(xiàn)技術(shù)

主機(jī)數(shù)據(jù)是網(wǎng)絡(luò)計(jì)算系統(tǒng)在運(yùn)行中記錄操作的文件,包含操作種類、操作時(shí)間、操作狀態(tài)等字段,為威脅發(fā)現(xiàn)提供了關(guān)鍵信息.下面將結(jié)合主機(jī)日志介紹威脅發(fā)現(xiàn)技術(shù).

最早研究關(guān)注利用日志的統(tǒng)計(jì)信息進(jìn)行異常檢測(cè),Llgun[30]利用UNIX操作系統(tǒng)的審計(jì)數(shù)據(jù)序列分析系統(tǒng)狀態(tài)轉(zhuǎn)換,并匹配攻擊模式的行為檢測(cè)異常.

隨著計(jì)算資源的增加,許多深度學(xué)習(xí)模型被提出并用于日志數(shù)據(jù)系統(tǒng)異常檢測(cè).Yang等人[31]提出一種基于對(duì)數(shù)的異常檢測(cè)方法PLELog,采用半監(jiān)督方法消除耗時(shí)的人工標(biāo)簽,并通過(guò)概率標(biāo)簽估計(jì)方法,結(jié)合有關(guān)歷史異常的知識(shí),以發(fā)揮監(jiān)督方法的優(yōu)越性.通過(guò)設(shè)計(jì)一個(gè)基于注意力的GRU神經(jīng)網(wǎng)絡(luò)有效地檢測(cè)異常.

由于APT攻擊具有時(shí)間跨度長(zhǎng)的特點(diǎn),使用傳統(tǒng)方法很難記錄長(zhǎng)期行為并進(jìn)行關(guān)聯(lián),溯源圖可以記錄上下文,是一種具有威脅發(fā)現(xiàn)潛力的數(shù)據(jù)結(jié)構(gòu),Hossain[32]首先利用溯源圖描述APT攻擊,將進(jìn)程、文件等作為圖的節(jié)點(diǎn),審計(jì)事件作為邊,并對(duì)違反規(guī)則的事件進(jìn)行報(bào)警.

盡管目前許多研究展示了非常高的檢測(cè)準(zhǔn)確性,但Le[33]在評(píng)估后指出現(xiàn)有研究存在的局限性,例如在數(shù)據(jù)集正常與異常數(shù)據(jù)分布高度不平衡、標(biāo)記錯(cuò)誤的日志、額外的日志事件、日志解析錯(cuò)誤產(chǎn)生的數(shù)據(jù)噪聲等情況會(huì)大大影響現(xiàn)有方法的性能,而這些局限性也是未來(lái)的研究方向.

2.3 基于文件的威脅檢測(cè)

文件通常是惡意功能實(shí)現(xiàn)的載體,攻擊者可以將惡意功能加裝在文件中,并通過(guò)傳播文件、誘導(dǎo)受害者系統(tǒng)打開文件的方式實(shí)現(xiàn)惡意攻擊行為的自動(dòng)執(zhí)行.自2013年以來(lái),惡意軟件呈指數(shù)級(jí)傳播,知名惡意軟件檢測(cè)網(wǎng)站VirusTotal日均處理樣本數(shù)量在200萬(wàn)以上,在所有檢測(cè)到的惡意軟件中,首次出現(xiàn)的惡意軟件比例保持在40%以上[34].

惡意軟件分析是確定惡意軟件功能、分析工作原理的過(guò)程.分析惡意軟件主要有2種技術(shù):靜態(tài)分析與動(dòng)態(tài)分析.靜態(tài)分析在不運(yùn)行實(shí)際代碼的情況下檢查惡意軟件,其代表工具有PEiD,DIE,YARA,Angr,IDA等,動(dòng)態(tài)分析則在可控環(huán)境下執(zhí)行惡意代碼、監(jiān)控代碼行為,代表工具有cuckoo,VMware,Ollydbg等.

自動(dòng)化惡意軟件檢測(cè)還需要對(duì)惡意軟件的分析結(jié)果進(jìn)行數(shù)據(jù)挖掘,并從中提取惡意軟件特征.惡意軟件的特征提取技術(shù)同樣在數(shù)十年的發(fā)展中獲得了長(zhǎng)足的進(jìn)展.早期的特征提取以啟發(fā)式特征為主,包括文件導(dǎo)入導(dǎo)出表、文件主體與導(dǎo)入表、導(dǎo)出表等各部位的hash值、文件在動(dòng)態(tài)分析中表現(xiàn)出的域名及IP等網(wǎng)絡(luò)通信行為地址以及軟件中可能出現(xiàn)的標(biāo)志性字節(jié)特征,如字符串、字節(jié)碼等.

隨著數(shù)據(jù)挖掘技術(shù)在惡意軟件特征提取方面的引入,更多惡意軟件特征也隨之出現(xiàn),Abou-Assaleh[35]早在2004年就提出將N-gram技術(shù)引入惡意軟件檢測(cè),這種技術(shù)獲得了學(xué)術(shù)界認(rèn)可并不斷發(fā)展[36],另一些研究將惡意軟件以TF-IDF(term frequency-inverse document frequency)[37]、控制流圖[38]、函數(shù)長(zhǎng)度頻率[39]、可打印字符串信息[39-40]等形式進(jìn)行表征,并取得一定成果.

特征提取的成果需要經(jīng)過(guò)處理以判定軟件的惡意性或相似性.最直接的判斷方式是基于規(guī)則的特征匹配算法,通過(guò)研究機(jī)構(gòu)發(fā)布的域名、IP、文件hash匹配等IOC(indicators of compromise)情報(bào).這類精準(zhǔn)匹配的代表性工具有YARA,SIGMA,IDS等.

但是,精準(zhǔn)的特征匹配通常易于規(guī)避,攻擊人員可以輕易地改變自身的網(wǎng)絡(luò)基礎(chǔ)設(shè)施與惡意軟件hash.基于行為的惡意軟件檢測(cè)方法更加魯棒,盡管程序代碼在更改,但程序的行為總是相似的,因此,大量新的惡意軟件可以用基于行為的方式進(jìn)行檢測(cè).這類方法對(duì)以下特征更為關(guān)注:系統(tǒng)調(diào)用、文件更改、注冊(cè)表改動(dòng)、網(wǎng)絡(luò)活動(dòng)、執(zhí)行過(guò)程.

得益于數(shù)據(jù)挖掘技術(shù)的幫助,研究人員將機(jī)器學(xué)習(xí)與深度學(xué)習(xí)引入軟件惡意性判定領(lǐng)域,并對(duì)各類特征進(jìn)行分析,經(jīng)典的機(jī)器學(xué)習(xí)方法包括貝葉斯網(wǎng)絡(luò)、樸素貝葉斯等,而深度學(xué)習(xí)方法則包括深度信念網(wǎng)絡(luò)、CNN網(wǎng)絡(luò)等.機(jī)器學(xué)習(xí)與深度學(xué)習(xí)在精準(zhǔn)分類與檢測(cè)未知樣本領(lǐng)域展現(xiàn)出強(qiáng)大的實(shí)力,但較高的誤報(bào)率、匱乏的可解釋性與模型退化問(wèn)題一直困擾著研究人員.

2.4 基于威脅情報(bào)的入侵檢測(cè)

根據(jù)Gartner的定義:威脅情報(bào)是某種基于證據(jù)的知識(shí),包括上下文、機(jī)制、標(biāo)示、含義和能夠執(zhí)行的建議,這些知識(shí)與資產(chǎn)所面臨已有的或醞釀中的威脅或危害相關(guān),可用于資產(chǎn)相關(guān)主體對(duì)威脅或危害的響應(yīng)或處理決策提供信息支持[41].本節(jié)將從入侵檢測(cè)發(fā)現(xiàn)和威脅預(yù)測(cè)預(yù)警2個(gè)方面進(jìn)行詳細(xì)介紹.

2.4.1 入侵檢測(cè)發(fā)現(xiàn)

傳統(tǒng)的入侵檢測(cè)系統(tǒng)(intrusion detection system, IDS)主要依賴于主機(jī)和網(wǎng)絡(luò)設(shè)備生成的日志和流量數(shù)據(jù),并基于規(guī)則、簽名或行為模式等方式檢測(cè)潛在的入侵行為.這使得IDS難以適應(yīng)不斷涌現(xiàn)的新型網(wǎng)絡(luò)攻擊,無(wú)法做到準(zhǔn)確識(shí)別、及時(shí)報(bào)告和有效阻截.威脅情報(bào)極大地?cái)U(kuò)展了IDS可用的數(shù)據(jù)源范圍,可以實(shí)時(shí)更新檢測(cè)規(guī)則并提供額外的攻擊上下文信息,進(jìn)而幫助IDS更好地發(fā)現(xiàn)和應(yīng)對(duì)入侵行為.

劉亮等人[42]利用深度學(xué)習(xí)技術(shù)提取文本中的入侵指標(biāo)(indicator of compromise, IOC),并基于威脅情報(bào)自動(dòng)生成入侵檢測(cè)規(guī)則方法,補(bǔ)足了傳統(tǒng)IDS實(shí)時(shí)性的不足,提升了IDS對(duì)網(wǎng)絡(luò)安全熱點(diǎn)事件的響應(yīng)能力.Guarascio等人[43]則進(jìn)一步建立了IDS和其他信息感知組件之間的合作平臺(tái),通過(guò)共享知識(shí)信息改進(jìn)了IDS潛在的入侵行為預(yù)測(cè)準(zhǔn)確性.Mahmoud等人[44]利用威脅報(bào)告的內(nèi)容和關(guān)聯(lián)關(guān)系捕獲攻擊行為,使用系統(tǒng)內(nèi)部日志建立系統(tǒng)起源圖,將威脅狩獵建模為攻擊行為與系統(tǒng)起源圖的匹配問(wèn)題,進(jìn)而在高級(jí)持續(xù)性威脅(advanced persistent threat, APT)攻擊的早期階段將其檢出.在威脅狩獵方面,Gao等人[45]也提出了基于威脅情報(bào)的THREATRAPTOR系統(tǒng),設(shè)計(jì)了一種專用的查詢語(yǔ)言TBQL,實(shí)現(xiàn)了從非結(jié)構(gòu)化文本中提取結(jié)構(gòu)化威脅行為,并通過(guò)高效的查詢執(zhí)行引擎進(jìn)行準(zhǔn)確有效的威脅狩獵.

2.4.2 威脅預(yù)測(cè)預(yù)警

威脅預(yù)測(cè)預(yù)警旨在通過(guò)收集、分析和解釋威脅情報(bào),提前預(yù)測(cè)可能的安全威脅,并采取相應(yīng)的防御措施,以最大程度地降低潛在的風(fēng)險(xiǎn).

海量多源的威脅情報(bào)數(shù)據(jù)中隱含了許多現(xiàn)有或醞釀中的網(wǎng)絡(luò)威脅信息.Riebe等人[46]提出了一個(gè)基于Twitter的警報(bào)生成系統(tǒng),該系統(tǒng)可以持續(xù)關(guān)注最新的網(wǎng)絡(luò)安全相關(guān)主題,并在15min內(nèi)追蹤和報(bào)告最新的網(wǎng)絡(luò)威脅,相關(guān)事件的檢出率高達(dá)93.8%,誤報(bào)率為14.81%.為了解決日益增多的網(wǎng)絡(luò)攻擊對(duì)組織的困擾,Nagai等人[47]提出了一種從多個(gè)數(shù)據(jù)源有效收集威脅信息的方法,并通過(guò)可視化分析展現(xiàn)了網(wǎng)絡(luò)威脅的發(fā)展趨勢(shì),以便組織采取相應(yīng)措施保護(hù)其關(guān)鍵資產(chǎn).而在威脅預(yù)警方面,GonzáLez-Granadillo等人[48]構(gòu)建了一個(gè)功能全面的威脅情報(bào)平臺(tái),具有可擴(kuò)展的情報(bào)導(dǎo)入、質(zhì)量評(píng)估流程、可視化和信息共享功能,并能基于啟發(fā)式的分析推理評(píng)估和呈現(xiàn)威脅的嚴(yán)重程度.

3 總結(jié)與展望

隨著智能化技術(shù)的蓬勃發(fā)展,人工智能在漏洞挖掘、威脅發(fā)現(xiàn)等領(lǐng)域的作用日益突顯.在漏洞挖掘方面,當(dāng)前人工智能技術(shù)也開始與傳統(tǒng)漏洞挖掘和程序分析技術(shù),如污點(diǎn)分析和符號(hào)執(zhí)行相融合.近年來(lái),大型語(yǔ)言模型的迅速崛起更進(jìn)一步促使基于深度學(xué)習(xí)的方法與這些大模型相結(jié)合.如何最有效地激發(fā)大型語(yǔ)言模型在漏洞挖掘領(lǐng)域的潛力,是一個(gè)值得深思和探索的問(wèn)題.相同地,在威脅發(fā)現(xiàn)方面,如何將大語(yǔ)言模型與其相結(jié)合也是值得探索的方向.同時(shí),為了保持持續(xù)有效的防御,安全團(tuán)隊(duì)需要不斷改進(jìn)數(shù)據(jù)采集、處理和整合的方法,并及時(shí)調(diào)整入侵檢測(cè)規(guī)則,以適應(yīng)不斷演變的威脅環(huán)境.