融合多種特征的惡意URL檢測(cè)方法?

吳森焱,羅 熹,王偉平,覃 巖

1(中南大學(xué) 計(jì)算機(jī)學(xué)院,湖南 長(zhǎng)沙 41008 3)

2(湖南警察學(xué)院 信息技術(shù)系,湖南 長(zhǎng)沙 41 0083)

隨著互聯(lián)網(wǎng)的快速普及,用戶在生活和工作中享受到了互聯(lián)網(wǎng)帶來(lái)的便利服務(wù),同時(shí)也面臨著惡意網(wǎng)頁(yè)的安全威脅.惡意URL 指所對(duì)應(yīng)的網(wǎng)頁(yè)中,含有對(duì)用戶造成危害的惡意代碼.這些惡意代碼在用戶訪問(wèn)網(wǎng)頁(yè)的過(guò)程中,利用用戶的瀏覽器或插件中存在的漏洞攻擊用戶,自動(dòng)下載惡意軟件.根據(jù)賽門鐵克發(fā)布統(tǒng)計(jì)報(bào)告,2018年發(fā)現(xiàn)的新增惡意URL 達(dá)到近3 億個(gè),惡意URL 已經(jīng)成為互聯(lián)網(wǎng)安全中最主要的威脅之一[1].

攻擊者利用惡意URL 進(jìn)行攻擊的整體流程通常包括:首先,攻擊者入侵正常網(wǎng)站取得管理權(quán)限,并在頁(yè)面中插入自動(dòng)重定向代碼;這些代碼會(huì)將用戶引導(dǎo)到惡意URL,一旦用戶訪問(wèn)這個(gè)被篡改網(wǎng)站的URL,用戶會(huì)在不知情的情況下被強(qiáng)制性自動(dòng)跳轉(zhuǎn)到惡意網(wǎng)站;惡意網(wǎng)站根據(jù)用戶的請(qǐng)求信息判斷用戶的客戶端環(huán)境,對(duì)于符合攻擊條件的用戶,則直接返回包含惡意代碼的惡意頁(yè)面;當(dāng)用戶的瀏覽器在解析和執(zhí)行這些惡意頁(yè)面的過(guò)程中,惡意代碼就會(huì)自動(dòng)執(zhí)行,利用瀏覽器或插件的漏洞取得高級(jí)的系統(tǒng)權(quán)限,自動(dòng)將惡意軟件下載到用戶客戶端,對(duì)用戶造成持續(xù)性的危害.惡意URL 的整個(gè)攻擊流程不需要用戶參與交互,攻擊方式非常隱蔽.

目前,針對(duì)惡意網(wǎng)站的檢測(cè)方法多是對(duì)頁(yè)面代碼進(jìn)行靜態(tài)分析或者采用動(dòng)態(tài)執(zhí)行的方式來(lái)進(jìn)行檢測(cè).其中,基于頁(yè)面代碼靜態(tài)分析的方法通過(guò)對(duì)頁(yè)面代碼進(jìn)行靜態(tài)匹配與分析,然后基于啟發(fā)式規(guī)則和機(jī)器學(xué)習(xí)進(jìn)行檢測(cè),常見(jiàn)的頁(yè)面特征包括隱藏標(biāo)簽的數(shù)量、字符串的最大長(zhǎng)度和頁(yè)面中URL 的數(shù)量等.基于頁(yè)面代碼靜態(tài)分析的方法檢測(cè)速度較快,通常用于初步的篩選和過(guò)濾.基于動(dòng)態(tài)執(zhí)行的方法是在受控環(huán)境(如客戶端蜜罐)中執(zhí)行源代碼,監(jiān)控觸發(fā)的行為與系統(tǒng)狀態(tài)變化,但只有在特定的環(huán)境下才會(huì)觸發(fā)惡意URL 的攻擊行為.

盡管研究人員提出了多種檢測(cè)方法,惡意URL 會(huì)采用多種逃避檢測(cè)的方法,例如用代碼混淆來(lái)逃避靜態(tài)分析中的特征提取,從而使得基于靜態(tài)特征的方法失效;用客戶端環(huán)境探測(cè)來(lái)識(shí)別用戶客戶端類型,逃避基于行為的動(dòng)態(tài)執(zhí)行檢測(cè);以及用頁(yè)面重定向跳轉(zhuǎn)將用戶逐步引向真正的惡意站點(diǎn),從而逃避靜態(tài)特征提取.這些逃避手段給惡意URL 的檢測(cè)帶來(lái)了挑戰(zhàn).面對(duì)上述問(wèn)題,我們從3 個(gè)方面擴(kuò)展了惡意URL 的檢測(cè)特征,將重定向跳轉(zhuǎn)、客戶端環(huán)境探測(cè)等特點(diǎn)補(bǔ)充為檢測(cè)依據(jù),提出了融合多種特征的惡意URL檢測(cè)方法.本文的主要貢獻(xiàn)包括:

(1)在特征選擇方面,融合了頁(yè)面內(nèi)容、JavaScript 函數(shù)參數(shù)和Web 會(huì)話流程這3 個(gè)方面的25 個(gè)特征,提出了惡意URL 的檢測(cè)方法——HADMW,其中包含了重定向跳轉(zhuǎn)、客戶端探測(cè)、HTML5 新出現(xiàn)標(biāo)簽和事件函數(shù)等新的頁(yè)面特征,從JavaScript 函數(shù)的參數(shù)長(zhǎng)度和參數(shù)內(nèi)容中提取的函數(shù)參數(shù)特征,以及從會(huì)話流程中的協(xié)議、響應(yīng)碼和響應(yīng)資源類型等方面提取的Web 會(huì)話流程特征;

(2)通過(guò)HpHosts 和ZeusTracker 等公開(kāi)網(wǎng)站收集了1 萬(wàn)多的惡意URL 數(shù)據(jù)集,并對(duì)提出的檢測(cè)方法進(jìn)行了測(cè)試,結(jié)果表明:HADMW 與部分特征組合方法相比具有更好的精確性和召回率,分別達(dá)到了96.2%和94.6%,說(shuō)明特征融合有效提高了分類器的準(zhǔn)確性;

(3)將HADMW 與現(xiàn)有開(kāi)源項(xiàng)目以及免費(fèi)版本的安全軟件進(jìn)行對(duì)比測(cè)試,結(jié)果表明:相比于現(xiàn)有檢測(cè)工具,HADMW 取得了更好的檢測(cè)效果.

本文第1 節(jié)介紹相關(guān)工作.第2 節(jié)詳細(xì)介紹選取的特征與原因.第3 節(jié)介紹本文檢測(cè)方法的基本思想.第4節(jié)介紹特征提取的過(guò)程與特征處理方法.第5 節(jié)介紹實(shí)驗(yàn)測(cè)試的數(shù)據(jù)集、實(shí)驗(yàn)設(shè)計(jì)和實(shí)驗(yàn)結(jié)果.最后,第6 節(jié)是對(duì)本文工作的總結(jié).

1 相關(guān)工作

目前,國(guó)內(nèi)外安全廠商和科研人員針對(duì)惡意URL 的檢測(cè)方法展開(kāi)多方面研究,并提出了多種檢測(cè)方法,主要包括采用基于黑名單過(guò)濾和簽名匹配的方法,以及基于特征的檢測(cè)方法.

基于黑名單過(guò)濾是一種常見(jiàn)的方法,該方法通過(guò)維護(hù)黑名單列表來(lái)檢測(cè)惡意URL[2].著名的Google Safe Browsing 就是Google 公司基于該方法提供的工具,用于保護(hù)瀏覽器用戶的安全[3].基于簽名匹配的方法通過(guò)將頁(yè)面源代碼與簽名進(jìn)行匹配來(lái)檢測(cè)惡意URL,由于頁(yè)面中惡意代碼變化非?？?因此,基于簽名匹配的方法很難全面地檢測(cè)惡意URL.基于特征的檢測(cè)方法依據(jù)安全專家的相關(guān)經(jīng)驗(yàn)和知識(shí)來(lái)選取具有區(qū)分性的特征,不同類型的特征適用于不同的檢測(cè)場(chǎng)景.相關(guān)研究包括以下類型.

(1)基于靜態(tài)頁(yè)面特征的方法

基于靜態(tài)頁(yè)面特征的方法是一種從頁(yè)面源代碼中選取特征、基于啟發(fā)式規(guī)則和機(jī)器學(xué)習(xí)進(jìn)行分類的檢測(cè)方法,常見(jiàn)的頁(yè)面特征包括隱藏標(biāo)簽的數(shù)量、字符串的最大長(zhǎng)度和頁(yè)面中URL 的數(shù)量等.文獻(xiàn)[4]提出從頁(yè)面中的HTML,JavaScript 以及URL 這3 個(gè)方面分別選取特征進(jìn)行檢測(cè).文獻(xiàn)[5]提出根據(jù)長(zhǎng)字符串和編碼函數(shù)的數(shù)量等特征結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行分類.文獻(xiàn)[6]使用字符串最大熵值和字符串的長(zhǎng)度等作為特征,并訓(xùn)練多個(gè)分類器來(lái)檢測(cè)惡意代碼.基于靜態(tài)頁(yè)面特征的方法檢測(cè)速度較快,適合于快速篩選可疑的頁(yè)面,但存在誤判率較高的問(wèn)題.文獻(xiàn)[7]認(rèn)為網(wǎng)頁(yè)中單詞語(yǔ)義包含了釣魚(yú)網(wǎng)頁(yè)行為和內(nèi)容的線索,提出了一種基于上下文內(nèi)容和關(guān)鍵詞密度的釣魚(yú)網(wǎng)頁(yè)檢測(cè)方法,從HTML 中判斷網(wǎng)頁(yè)中關(guān)鍵詞集合是否存在,并提取關(guān)鍵詞集合的頻率和密度等特征,使用機(jī)器學(xué)習(xí)對(duì)網(wǎng)頁(yè)進(jìn)行分類但該方法不適用于惡意頁(yè)面的檢測(cè).

(2)基于會(huì)話交互特征的方法

基于會(huì)話交互特征的方法從網(wǎng)絡(luò)流量中提取會(huì)話交互過(guò)程,關(guān)注正常網(wǎng)站和惡意URL 在會(huì)話交互模式中的區(qū)別.文獻(xiàn)[8]提出使用客戶端蜜罐捕獲會(huì)話過(guò)程的數(shù)據(jù),提取會(huì)話中重定向跳轉(zhuǎn)和逃避檢測(cè)行為等特征.文獻(xiàn)[9]提出使用會(huì)話流量中的字節(jié)總數(shù)、平均每個(gè)包字節(jié)數(shù)等特征構(gòu)建模型進(jìn)行檢測(cè).文獻(xiàn)[10]提出通過(guò)收集網(wǎng)絡(luò)流量用于構(gòu)建用戶訪問(wèn)鏈,并提取短時(shí)間段中域名的數(shù)量等特征,使用決策樹(shù)來(lái)識(shí)別惡意重定向鏈.文獻(xiàn)[11]提出通過(guò)記錄瀏覽器與網(wǎng)站間的交互,將整個(gè)過(guò)程抽象為圖表示,聚合重定向鏈得到重定向圖,并從圖中提取特征.文獻(xiàn)[12]提出基于重定向行為進(jìn)行檢測(cè)的方法,側(cè)重于會(huì)話訪問(wèn)的數(shù)據(jù),包括訪問(wèn)時(shí)間、Referer 引用等特征.但是使用單一會(huì)話交互特征的方法檢測(cè)準(zhǔn)確性較弱.文獻(xiàn)[13]直接根據(jù)網(wǎng)絡(luò)代理獲取的惡意網(wǎng)站訪問(wèn)流程包含的URL 序列進(jìn)行分類,提取其中的URL 字符串、域名、文件名和路徑長(zhǎng)度以及域名注冊(cè)國(guó)家等特征,使用卷積神經(jīng)網(wǎng)絡(luò)CNN 來(lái)檢測(cè)惡意URL.該方法本質(zhì)上也是利用了URL 重定向特征,但由于代理獲取的訪問(wèn)序列中包含頁(yè)面加載資源、外部腳本等噪聲,導(dǎo)致該方法檢測(cè)率較低.

(3)基于動(dòng)態(tài)行為特征的方法

動(dòng)態(tài)行為特征指源代碼在瀏覽器的執(zhí)行過(guò)程中觸發(fā)的行為以及系統(tǒng)底層API 調(diào)用等特征,如注冊(cè)表修改和進(jìn)程創(chuàng)建等.現(xiàn)有的檢測(cè)方法通過(guò)執(zhí)行源代碼,監(jiān)控觸發(fā)的行為與系統(tǒng)狀態(tài)變化,提取行為特征進(jìn)行檢測(cè).文獻(xiàn)[14]提出使用高交互蜜罐模擬客戶端,記錄與服務(wù)器間的交互信息,同時(shí)監(jiān)控系統(tǒng)狀態(tài)的改變,從而發(fā)現(xiàn)存在的威脅.文獻(xiàn)[15]提出基于動(dòng)態(tài)行為的網(wǎng)頁(yè)木馬檢測(cè)方法,針對(duì)惡意腳本的可疑操作提取行為,監(jiān)控動(dòng)態(tài)執(zhí)行函數(shù),根據(jù)定義的規(guī)則提取行為特征,該方法可對(duì)抗代碼混淆的干擾,但采用動(dòng)態(tài)分析檢測(cè)效率較低.文獻(xiàn)[16]專注于惡意攻擊的事后取證與分析,提出一個(gè)取證引擎JSgraph,記錄瀏覽器中JavaScript 程序執(zhí)行的細(xì)粒度細(xì)節(jié),重點(diǎn)關(guān)注于JavaScript 對(duì)DOM 的修改,實(shí)現(xiàn)對(duì)用戶遭受的基于JavaScript 的惡意網(wǎng)站攻擊過(guò)程進(jìn)行事后取證分析.該方法沒(méi)有檢測(cè)惡意頁(yè)面,而是用于提取惡意頁(yè)面攻擊行為的細(xì)粒度行為.基于動(dòng)態(tài)行為特征的方法對(duì)惡意URL 的檢測(cè)準(zhǔn)確率較高,但是這種方法檢測(cè)過(guò)程中需要加載和運(yùn)行源代碼,當(dāng)惡意頁(yè)面代碼具有環(huán)境檢測(cè)能力來(lái)逃避檢測(cè)時(shí),可能無(wú)法捕獲到惡意動(dòng)態(tài)行為特征.

近年來(lái)出現(xiàn)了結(jié)合靜態(tài)分析和動(dòng)態(tài)檢測(cè)的方案.文獻(xiàn)[17]中的方案先采用靜態(tài)特征分類,從HTML 和JavaScript 代碼以及URL 這3 個(gè)方面提取特征進(jìn)行分類.對(duì)于靜態(tài)分類為可疑的對(duì)象采用動(dòng)態(tài)分析,即通過(guò)動(dòng)態(tài)執(zhí)行監(jiān)控應(yīng)用程序接口的調(diào)用信息來(lái)進(jìn)一步判定.文獻(xiàn)[18]分析了惡意URL 與客戶端的交互模式,從3 個(gè)方面提取了特定內(nèi)容特征、特定交互特征和特定連接特征,提出根據(jù)會(huì)話交互模式構(gòu)建分類模型的方法,使用決策樹(shù)對(duì)惡意URL 進(jìn)行分類.但是選取的特征對(duì)檢測(cè)效果的影響很關(guān)鍵.

綜上所述,現(xiàn)有的檢測(cè)方法中,單一依靠靜態(tài)頁(yè)面特征或會(huì)話交互特征檢測(cè)準(zhǔn)確性較弱.而動(dòng)態(tài)行為特征方法面臨的問(wèn)題是:惡意代碼可能通過(guò)探測(cè)用戶客戶端的環(huán)境來(lái)識(shí)別檢測(cè)引擎,從而終止惡意行為以逃避檢測(cè)的問(wèn)題.不同于疊加使用的方法,我們的方法無(wú)需對(duì)系統(tǒng)底層API 調(diào)用行為進(jìn)行捕獲,而直接將頁(yè)面特征和會(huì)話特征進(jìn)行了結(jié)合,面向逃避檢測(cè)問(wèn)題,在頁(yè)面特征方面,我們提出了包含重定向跳轉(zhuǎn)、客戶端探測(cè)、HTML5 新出現(xiàn)標(biāo)簽和事件函數(shù)以及惡意VBScript 腳本代碼的新特征.同時(shí),為了更加準(zhǔn)確地檢測(cè),選取關(guān)鍵JavaScript 函數(shù)的參數(shù)長(zhǎng)度和參數(shù)內(nèi)容作為檢測(cè)特征.

2 惡意URL 逃避檢測(cè)手段分析

隨著針對(duì)惡意URL檢測(cè)方法的不斷改進(jìn),目前惡意URL 的逃避檢測(cè)手段也變得越來(lái)越多樣化,惡意URL采用的主要逃避檢測(cè)手段包括頁(yè)面代碼混淆、頁(yè)面代碼注入、客戶端環(huán)境探測(cè)和頁(yè)面重定向跳轉(zhuǎn),而且惡意URL 通常會(huì)將多種手段結(jié)合來(lái)進(jìn)行逃避檢測(cè).

2.1 頁(yè)面代碼混淆

頁(yè)面代碼混淆通常用于開(kāi)發(fā)者對(duì)頁(yè)面代碼進(jìn)行保護(hù)和壓縮,而攻擊者采用代碼混淆手段則是用于隱藏惡意代碼,從而逃避安全軟件檢測(cè).惡意URL 利用JavaScript 腳本代碼中的字符串操作函數(shù)對(duì)惡意代碼進(jìn)行加密混淆和模糊處理,然后使用動(dòng)態(tài)執(zhí)行函數(shù)執(zhí)行惡意代碼.其中最常見(jiàn)的代碼混淆方式是對(duì)頁(yè)面中的字符串進(jìn)行的操作,如對(duì)字符串進(jìn)行拆分、拼接和編碼等.混淆后的惡意代碼與原來(lái)的惡意代碼完全不相同,給很多頁(yè)面內(nèi)容分析方法造成了較大困難.如圖1所示是一段混淆前的惡意代碼,攻擊者在頁(yè)面上插入一個(gè)將寬度和高度設(shè)置為0.1、目的地址設(shè)置為惡意URL 的隱藏的iframe 標(biāo)簽.

Fig.1 Sample of unobfuscated malicious JS code圖1 未混淆的JS 惡意代碼樣本

而經(jīng)過(guò)混淆后的惡意代碼如圖2所示,攻擊者首先將要傳輸?shù)淖侄涡畔⒗胑ncodeURIComponent 函數(shù)進(jìn)行編碼,然后將多次使用“+”將惡意 URL 的真實(shí)地址進(jìn)行字符串拼接,實(shí)現(xiàn)混淆惡意 URL 地址,再通過(guò)appendChild 函數(shù)對(duì)頁(yè)面的DOM 結(jié)構(gòu)進(jìn)行操作.惡意代碼在執(zhí)行的過(guò)程中,將拼接的惡意iframe 標(biāo)簽插入到頁(yè)面中.基于以上對(duì)惡意代碼的分析可以看出:代碼混淆的特點(diǎn)主要體現(xiàn)在頁(yè)面源代碼中,攻擊者在源代碼中進(jìn)行混淆操作.

Fig.2 The malicious JS code after obfuscation圖2 進(jìn)行混淆后后的惡意代碼JS 樣本

2.2 頁(yè)面代碼注入

攻擊者通常并不會(huì)直接將惡意代碼插入頁(yè)面中,而是利用頁(yè)面代碼注入的方式引入外部的惡意代碼,其中,將惡意代碼注入網(wǎng)頁(yè)中的方式包括使用HTML 標(biāo)簽注入外部惡意代碼和使用JavaScript 腳本動(dòng)態(tài)注入惡意代碼.相比于直接將惡意代碼寫(xiě)在頁(yè)面中,攻擊者使用HTML 標(biāo)簽注入外部惡意代碼的方式更加隱蔽,如圖3所示是一段利用iframe 標(biāo)簽來(lái)注入外部惡意代碼的示例,使用iframe 標(biāo)簽來(lái)加載外部惡意代碼,并將標(biāo)簽的屬性設(shè)置為不可見(jiàn)狀態(tài),在用戶不知情的情況下注入外部惡意代碼.這些惡意標(biāo)簽直接在頁(yè)面文件中,因此,通過(guò)分析頁(yè)面文件比較容易找到注入惡意代碼的源標(biāo)簽.

Fig.3 Sample of JS forinjected external code injection by iframe tag圖3 利用iframe 標(biāo)簽來(lái)注入外部代碼樣本

除了使用iframe 標(biāo)簽進(jìn)行代碼注入外,攻擊者還會(huì)利用JavaScript 腳本代碼的動(dòng)態(tài)特性,實(shí)現(xiàn)動(dòng)態(tài)地注入惡意代碼,例如JavaScript 語(yǔ)言中自帶的eval 函數(shù)可以動(dòng)態(tài)執(zhí)行腳本代碼,以及使用document.write 函數(shù)修改頁(yè)面的DOM 結(jié)構(gòu)實(shí)現(xiàn)外部惡意代碼注入.如圖4所示是一段利用document.write 函數(shù)動(dòng)態(tài)創(chuàng)建一個(gè)指向惡意URL的iframe 標(biāo)簽,實(shí)現(xiàn)注入外部惡意代碼.基于以上對(duì)惡意代碼分析可以看出:頁(yè)面代碼注入的特點(diǎn)主要體現(xiàn)在頁(yè)面源代碼中,攻擊者通過(guò)動(dòng)態(tài)執(zhí)行將惡意標(biāo)簽注入到頁(yè)面中.

Fig.4 JS for A sample of dynamica HTML taglly creatgenerationed HTML tag圖4 動(dòng)態(tài)寫(xiě)入創(chuàng)建HTML 標(biāo)簽生成JS 代碼示例樣本

2.3 客戶端環(huán)境探測(cè)

針對(duì)不同客戶端環(huán)境之間存在的差異性,攻擊者通常精心編寫(xiě)JavaScript 腳本代碼對(duì)客戶端環(huán)境進(jìn)行探測(cè),實(shí)現(xiàn)更加精準(zhǔn)地攻擊特定用戶群體,而且針對(duì)客戶端環(huán)境的探測(cè)也可以有效地識(shí)別檢測(cè)引擎.如圖5 中是一段對(duì)客戶端環(huán)境進(jìn)行探測(cè)的惡意JavaScript 代碼,其中,第2 行~第6 行JavaScript 腳本代碼實(shí)現(xiàn)判斷客戶端是否為真實(shí)瀏覽器的功能.因?yàn)槟M瀏覽器不會(huì)造成ActiveXObject 異常,但是惡意代碼故意拋出ActiveXObject 異常,因此只有支持處理異常的真實(shí)瀏覽器才會(huì)繼續(xù)執(zhí)行后續(xù)的操作.

惡意代碼通過(guò)客戶端的UserAgent 字段獲取瀏覽器指紋信息,并將其存儲(chǔ)在變量ua 中,使用條件分支語(yǔ)句進(jìn)行判斷.如果變量ua 包含“msie 6”或“msie 8”字符串,則分別執(zhí)行不同的重定向代碼,即客戶端瀏覽器為IE6 的用戶會(huì)被重定向跳轉(zhuǎn)到“http://exploit.com/IE6/”的網(wǎng)址,而客戶端瀏覽器為IE8 的用戶被重定向到“http://exploit.com/IE8/”的網(wǎng)址,其他不符合瀏覽器版本的用戶則不會(huì)發(fā)生重定向跳轉(zhuǎn).只有瀏覽器是IE6 和IE8 版本的用戶才會(huì)被跳轉(zhuǎn)到真正的惡意URL.基于以上分析可以看出:客戶端環(huán)境探測(cè)的特點(diǎn)主要體現(xiàn)在頁(yè)面源代碼和會(huì)話流程中,攻擊者通過(guò)客戶端環(huán)境探測(cè)代碼識(shí)別用戶的客戶端,并針對(duì)不同客戶端環(huán)境的用戶,分別重定向到不同的惡意網(wǎng)站.

Fig.5 Fig.5 A sample ofJS for client environment recognitiondetection圖5 客戶端環(huán)境識(shí)別樣本

2.4 頁(yè)面重定向跳轉(zhuǎn)

為了使檢測(cè)引擎難以跟蹤和發(fā)現(xiàn)惡意URL 的真實(shí)地址,攻擊者還會(huì)在頁(yè)面中插入進(jìn)行自動(dòng)重定向跳轉(zhuǎn)的惡意代碼,以此來(lái)逃避安全軟件的檢測(cè).其中,惡意網(wǎng)頁(yè)最常使用Meta 標(biāo)簽設(shè)置頁(yè)面進(jìn)行刷新重定向,如圖6所示的惡意代碼是在頁(yè)面中設(shè)置Meta 標(biāo)簽中的http-equiv,content 和url 屬性值,從而實(shí)現(xiàn)在等待0.1s 后進(jìn)行自動(dòng)刷新,然后重定向跳轉(zhuǎn)到惡意URLexploit.com.

Fig.6 A sample JS forof automatically redirected malicious codeion圖6 自動(dòng)重定向跳轉(zhuǎn)的惡意代碼JS 樣本

基于以上分析可以看出:頁(yè)面重定向跳轉(zhuǎn)的特點(diǎn)主要體現(xiàn)在頁(yè)面源代碼和會(huì)話流程中,攻擊者通過(guò)重定向代碼將用戶導(dǎo)向惡意網(wǎng)站,以此來(lái)逃避檢測(cè)引擎的跟蹤.

3 惡意URL 特征選擇

特征選擇的過(guò)程,即根據(jù)正常網(wǎng)站和惡意網(wǎng)站各方面的差異性選擇具有明顯區(qū)別度的特征.在本節(jié)中,我們根據(jù)對(duì)真實(shí)存活的惡意URL 的會(huì)話流程進(jìn)行統(tǒng)計(jì)與分析.我們發(fā)現(xiàn):在惡意URL 的攻擊流程中,存在客戶端環(huán)境識(shí)別、多次重定向跳轉(zhuǎn)、典型的逃避檢測(cè)行為以及發(fā)送有效攻擊執(zhí)行載荷等典型特點(diǎn),因此,我們主要從3個(gè)方面設(shè)計(jì)特征,包括頁(yè)面內(nèi)容特征、JavaScript 函數(shù)參數(shù)特征和Web 會(huì)話流程特征.

3.1 頁(yè)面內(nèi)容特征

在選取頁(yè)面特征之前,我們首先從惡意樣本公布網(wǎng)站VirusShare(https://virusshare.com/)收集了近期公布的真實(shí)惡意頁(yè)面樣本,而正常頁(yè)面來(lái)源于Alexa 中受歡迎的正常網(wǎng)站.我們借助于人工分析,發(fā)現(xiàn)這些惡意頁(yè)面與正常頁(yè)面在HTML 和JavaScript 方面存在的差異.

正常頁(yè)面在通常情況下頁(yè)面整體HTML 結(jié)構(gòu)比較規(guī)范,頁(yè)面中不會(huì)包含很多的特殊字符和敏感字符串;而惡意頁(yè)面在HTML 結(jié)構(gòu)上與正常頁(yè)面相比存在較多的差異,例如,惡意頁(yè)面中通常包含某些可利用的HTML 標(biāo)簽和存在風(fēng)險(xiǎn)的JavaScript 函數(shù),并且為了防止被檢測(cè)引擎分析,惡意頁(yè)面還會(huì)結(jié)合包括代碼混淆、代碼注入和客戶端環(huán)境識(shí)別等方式來(lái)逃避檢測(cè).攻擊者通過(guò)混淆惡意代碼來(lái)隱藏真正目的,從而逃避檢測(cè)引擎,其中最常見(jiàn)的混淆方式是對(duì)字符串做操作,如字符串的拆分替換和編碼轉(zhuǎn)義,以及加密等操作.

除了以上的差異,我們還發(fā)現(xiàn):最新的惡意頁(yè)面更多地結(jié)合了HTML5 新出現(xiàn)標(biāo)簽和事件函數(shù),以及惡意VBScript 腳本代碼進(jìn)行攻擊.此外,惡意URL 還通過(guò)精心編寫(xiě)的惡意代碼進(jìn)行自動(dòng)的重定向跳轉(zhuǎn),從而逃避檢測(cè)引擎的跟蹤.同時(shí),為了實(shí)現(xiàn)精準(zhǔn)化地攻擊特定用戶人群,惡意URL 在對(duì)用戶進(jìn)行攻擊之前,還會(huì)通過(guò)多種方式探測(cè)用戶的客戶端環(huán)境,判斷用戶客戶端是否滿足攻擊條件.我們?cè)谑占臉颖局蟹謩e隨機(jī)選取了1 000 個(gè)正常頁(yè)面和惡意頁(yè)面進(jìn)行了統(tǒng)計(jì),圖7 顯示了樣本統(tǒng)計(jì)中新提出頁(yè)面特征的累積分布圖.

Fig.7 Cumulative distribution diagram of the new page features圖7 新頁(yè)面特征的累積分布圖

從圖中可以看出:在客戶端重定向總次數(shù)上,約40%的惡意頁(yè)面大于1,而只有20%左右的正常頁(yè)面跳轉(zhuǎn)總數(shù)大于1;而在客戶端環(huán)境探測(cè)總數(shù)上,大約73%的正常頁(yè)面都沒(méi)有進(jìn)行客戶端環(huán)境探測(cè),而50%以上的惡意頁(yè)面都會(huì)進(jìn)行環(huán)境探測(cè).除此之外,相比于正常頁(yè)面,惡意頁(yè)面中還會(huì)包含較多的控件標(biāo)簽、觸發(fā)事件函數(shù)和VBScript 敏感字符串.

因此,我們共選取了12 個(gè)頁(yè)面特征,這些頁(yè)面內(nèi)容特征中包含了相關(guān)研究的已有特征和擴(kuò)充的新特征,見(jiàn)表1,其中,以*標(biāo)注的為HADMW 擴(kuò)充的新特征.

Table 1 ESxtractedelected page features表1 選取的頁(yè)面特征

下面將對(duì)這些新特征進(jìn)行重點(diǎn)解釋.

(1)客戶端重定向總數(shù)

為了防止被安全軟件檢測(cè)和分析,攻擊者通常會(huì)在頁(yè)面中插入重定向跳轉(zhuǎn)的代碼,而且利用中轉(zhuǎn)網(wǎng)站多次的重定向跳轉(zhuǎn),從而實(shí)現(xiàn)隱藏最終的惡意服務(wù)器.我們對(duì)存活惡意URL 的頁(yè)面代碼進(jìn)行人工分析發(fā)現(xiàn),惡意URL 采用3 種方式自動(dòng)重定向跳轉(zhuǎn),包括惡意代碼通過(guò)Meta 標(biāo)簽設(shè)置自動(dòng)刷新refresh 屬性的時(shí)間進(jìn)行自動(dòng)重定向、將惡意URL 的地址賦值給location 對(duì)象的href 屬性以及利用window.open 函數(shù)打開(kāi)一個(gè)新的瀏覽器窗口的方式跳轉(zhuǎn)到惡意URL.這些方式都可以實(shí)現(xiàn)自動(dòng)d2 將客戶端重定向跳轉(zhuǎn)惡意URL,因此，我們選取客戶端重定向跳轉(zhuǎn)代碼使用的總數(shù)量作為特征.

(2)客戶端環(huán)境探測(cè)總數(shù)

為了實(shí)現(xiàn)精準(zhǔn)化攻擊特定客戶端環(huán)境的用戶,攻擊者會(huì)精心構(gòu)造惡意代碼,利用JavaScript 腳本自帶的“navigator.userAgent”對(duì)象和自定義的控件函數(shù)來(lái)判斷用戶的環(huán)境是否滿足攻擊條件.惡意代碼獲取用戶的客戶端瀏覽器版本信息,然后通過(guò)多次條件匹配進(jìn)行判斷,只將滿足攻擊條件的用戶強(qiáng)制重定向跳轉(zhuǎn)到真實(shí)的惡意URL.而對(duì)于不滿足攻擊條件的用戶,惡意代碼則重定向跳轉(zhuǎn)到其他正常的網(wǎng)站.同時(shí),越來(lái)越多的攻擊者利用現(xiàn)有的檢測(cè)瀏覽器版本的JavaScript 庫(kù)PluginDetect 對(duì)用戶的客戶端環(huán)境進(jìn)行探測(cè).攻擊者利用現(xiàn)有的JavaScript 庫(kù)來(lái)檢測(cè)瀏覽器版本等信息,可以使惡意代碼更加容易逃避檢測(cè).因此,我們將頁(yè)面源代碼中客戶端環(huán)境探測(cè)代碼使用的總數(shù)量作為特征.

(3)控件標(biāo)簽總數(shù)

控件標(biāo)簽是一類用于引入外部控件資源的標(biāo)簽,惡意頁(yè)面利用控件標(biāo)簽引入包含漏洞的外部控件資源,從而獲取系統(tǒng)的高級(jí)權(quán)限.我們選取了控件標(biāo)簽的數(shù)量作為特征,關(guān)注的控件標(biāo)簽包括Object 標(biāo)簽和Embed 標(biāo)簽.

(4)觸發(fā)事件函數(shù)總數(shù)

觸發(fā)事件是一類用于在進(jìn)行某個(gè)操作后自動(dòng)觸發(fā)執(zhí)行后續(xù)動(dòng)作的標(biāo)簽屬性.攻擊者將要執(zhí)行的惡意代碼與觸發(fā)事件進(jìn)行綁定,從而在事件觸發(fā)后自動(dòng)的執(zhí)行惡意代碼.其中最常使用的觸發(fā)事件包括onload 和onclick事件,我們發(fā)現(xiàn),最新的惡意頁(yè)面結(jié)合了HTML5 中增加的onerror 和onscroll 事件來(lái)自動(dòng)地觸發(fā)執(zhí)行惡意代碼.

(5)VBScript 敏感字符串總數(shù)

由于IE 瀏覽器使用范圍廣且存在較多的安全問(wèn)題,惡意頁(yè)面越來(lái)越多地使用惡意VBScript 腳本對(duì)IE 瀏覽器進(jìn)行攻擊.因此,我們不只局限于對(duì)JavaScript 代碼的分析,還關(guān)注頁(yè)面中VBScript 代碼.為了執(zhí)行執(zhí)行惡意操作,惡意 VBScript 代碼中通常會(huì)包含敏感的字符串,我們將在頁(yè)面 VBScript 代碼中包含的“CreateObject”“WriteData”“svchost.exe”和“cmd.exe”字符串的總數(shù)量作為特征.

3.2 JavaScript函數(shù)參數(shù)特征

在對(duì)符合攻擊條件的用戶實(shí)施攻擊的過(guò)程中,惡意URL 會(huì)將包含惡意代碼的頁(yè)面發(fā)送給用戶.我們發(fā)現(xiàn):這些惡意代碼在執(zhí)行的過(guò)程中,JavaScript 關(guān)鍵函數(shù)的參數(shù)在長(zhǎng)度和與內(nèi)容方面與正常代碼存在較大的區(qū)別,惡意代碼的關(guān)鍵函數(shù)的參數(shù)中含有更多敏感字符串,而在靜態(tài)頁(yè)面內(nèi)容分析的過(guò)程中難以獲得準(zhǔn)確的參數(shù)值.

因此,我們通過(guò)動(dòng)態(tài)代碼執(zhí)行的方式獲取JavaScript 關(guān)鍵函數(shù)的參數(shù),并對(duì)關(guān)鍵函數(shù)的參數(shù)長(zhǎng)度和參數(shù)內(nèi)容進(jìn)行更加細(xì)粒度的檢測(cè),共選取了6 個(gè)JavaScript 函數(shù)參數(shù)特征,見(jiàn)表2.

Table 2 Extracted JavaScript function parameter features表2 選取的JavaScript 函數(shù)參數(shù)特征

下面將對(duì)選取的JavaScript 函數(shù)參數(shù)特征進(jìn)行詳細(xì)解釋.

(1)動(dòng)態(tài)執(zhí)行函數(shù)參數(shù)特征

動(dòng)態(tài)執(zhí)行函數(shù)是 JavaScript 中可以將傳入函數(shù)的參數(shù)字符串作為代碼執(zhí)行的一類函數(shù),包括 eval,setTimeout 和setInterval 函數(shù).為了逃避靜態(tài)分析檢測(cè),攻擊者通常將惡意代碼作為字符串傳入eval 等動(dòng)態(tài)執(zhí)行函數(shù)參數(shù)中,然后在頁(yè)面代碼解析過(guò)程中,動(dòng)態(tài)地執(zhí)行這些惡意代碼來(lái)實(shí)施攻擊.惡意代碼中,傳入動(dòng)態(tài)執(zhí)行函數(shù)的參數(shù)的長(zhǎng)度普遍較長(zhǎng),而且參數(shù)內(nèi)容中經(jīng)常包含“iframe”“frame”“script”和“l(fā)ink”等敏感字符串,因此,選取動(dòng)態(tài)執(zhí)行函數(shù)參數(shù)的平均長(zhǎng)度和含敏感字符串的總數(shù)量作為特征.

(2)動(dòng)態(tài)生成函數(shù)參數(shù)特征

動(dòng)態(tài)生成函數(shù)是JavaScript 中可以實(shí)現(xiàn)插入標(biāo)簽和修改頁(yè)面DOM 結(jié)構(gòu)的一類函數(shù),包括document.write和document.writeln 函數(shù).惡意頁(yè)面為了逃避簽名匹配檢測(cè),通常在頁(yè)面解析的過(guò)程中利用document.write 等函數(shù)動(dòng)態(tài)的創(chuàng)建惡意標(biāo)簽.惡意代碼中,傳入動(dòng)態(tài)生成函數(shù)的字符串參數(shù)的長(zhǎng)度普遍較長(zhǎng),在參數(shù)內(nèi)容中通常會(huì)包含“iframe”“frame”“script”和“l(fā)ink”等敏感字符串,用于動(dòng)態(tài)地創(chuàng)建這些標(biāo)簽,因此,選取動(dòng)態(tài)生成函數(shù)參數(shù)的平均長(zhǎng)度和含敏感字符串的總數(shù)量作為特征.

(3)escape 和unescape 函數(shù)參數(shù)特征

除了利用動(dòng)態(tài)執(zhí)行函數(shù)和動(dòng)態(tài)生成函數(shù)外,惡意頁(yè)面還經(jīng)常利用escape 函數(shù)對(duì)惡意代碼進(jìn)行編碼,然后在執(zhí)行的過(guò)程中,再通過(guò)unescape 函數(shù)進(jìn)行解碼還原得到初始的惡意代碼,通過(guò)一系列的編碼和解碼操作,可以混淆惡意代碼.惡意代碼中,傳入escape 和unescape 函數(shù)的字符串參數(shù)的通常較長(zhǎng),而且參數(shù)內(nèi)容中包含敏感字符串,用于后續(xù)創(chuàng)建惡意標(biāo)簽.

3.3 Web會(huì)話流程特征

除了以上提出的頁(yè)面特征和JavaScript 函數(shù)參數(shù)特征,我們通過(guò)對(duì)大量的樣本進(jìn)行分析,發(fā)現(xiàn)了惡意URL與正常網(wǎng)站在會(huì)話過(guò)程中存在的差異,主要體現(xiàn)在會(huì)話過(guò)程中的重定向、會(huì)話協(xié)議、響應(yīng)碼和響應(yīng)資源類型等方面.

(1)會(huì)話樣本分析

我們從惡意流量公布網(wǎng)站Malware-traffic-analysis 下載了200 個(gè)惡意URL 會(huì)話流量包進(jìn)行統(tǒng)計(jì)與分析,這些流量包中包含了惡意URL 整個(gè)攻擊過(guò)程的全部會(huì)話流量.同時(shí)作為對(duì)比,我們?cè)谔摂M機(jī)環(huán)境中收集了200個(gè)訪問(wèn)正常網(wǎng)站的會(huì)話流量包,模擬了一系列用戶訪問(wèn)正常網(wǎng)站的行為,包括訪問(wèn)社交網(wǎng)站、搜索引擎以及使用郵箱和點(diǎn)擊分享鏈接等.

我們關(guān)注用戶客戶端與網(wǎng)站服務(wù)器之間的交互過(guò)程,因此提取流量包中網(wǎng)站服務(wù)器的響應(yīng)頭信息和響應(yīng)內(nèi)容.表3 是從會(huì)話流量中提取的整個(gè)會(huì)話過(guò)程中網(wǎng)站服務(wù)器數(shù)量和重定向次數(shù)的統(tǒng)計(jì)結(jié)果.我們將同一會(huì)話過(guò)程中不同的IP 對(duì)應(yīng)為不同的網(wǎng)站服務(wù)器,從表中可以看出:在一個(gè)會(huì)話過(guò)程中,服務(wù)器數(shù)量最小值始終為1 個(gè),即最簡(jiǎn)單的會(huì)話只涉及客戶端和一臺(tái)服務(wù)器的交互過(guò)程;而在惡意URL 會(huì)話過(guò)程中,服務(wù)器數(shù)量最大值為58個(gè),平均值為7.8 個(gè),這些值都明顯大于正常網(wǎng)站會(huì)話過(guò)程中服務(wù)器數(shù)量的最大值和平均值.同時(shí),在惡意URL 會(huì)話過(guò)程中平均會(huì)發(fā)生4.8 次的重定向跳轉(zhuǎn),而正常網(wǎng)站會(huì)話過(guò)程重定向平均值為0.45 次.

Table 3 Comparison of the number of servers and number of redirects in the session表3 會(huì)話中服務(wù)器數(shù)量和重定向數(shù)量的對(duì)比

除了會(huì)話過(guò)程中,服務(wù)器數(shù)量和重定向次數(shù)方面的差異,我們又從會(huì)話流量包中提取了服務(wù)器的響應(yīng)頭信息,包括協(xié)議信息、響應(yīng)碼和響應(yīng)資源類型等內(nèi)容.我們對(duì)正常網(wǎng)站和惡意URL 會(huì)話流量中響應(yīng)頭信息進(jìn)行統(tǒng)計(jì),如圖8所示.從圖中可以看出:與正常網(wǎng)站的會(huì)話過(guò)程相比,惡意URL 會(huì)話過(guò)程中,相關(guān)響應(yīng)頭信息的統(tǒng)計(jì)分布明顯不同.其中,惡意URL 返回的以3 開(kāi)頭的服務(wù)器端重定向響應(yīng)碼的數(shù)量明顯高于正常網(wǎng)站會(huì)話過(guò)程中的數(shù)量.我們分析原因是,惡意URL 通常會(huì)通過(guò)多次服務(wù)器端重定向跳轉(zhuǎn)來(lái)逃避安全軟件的檢測(cè).

Fig.8 Comparison of the number of HTTP response types圖8 HTTP 響應(yīng)類型數(shù)目比較

同時(shí),從圖中可以看出:以4 開(kāi)頭的客戶端錯(cuò)誤的響應(yīng)碼和以5 開(kāi)頭的服務(wù)器端錯(cuò)誤的響應(yīng)碼數(shù)量也明顯高于正常網(wǎng)站會(huì)話過(guò)程中的數(shù)量.我們分析,這是因?yàn)閻阂釻RL 為了避免被用戶察覺(jué)到異常,對(duì)于不滿足攻擊條件的用戶通常會(huì)直接返回請(qǐng)求錯(cuò)誤,所以會(huì)話請(qǐng)求錯(cuò)誤的響應(yīng)碼數(shù)量更多.而在正常網(wǎng)站的訪問(wèn)過(guò)程中,對(duì)于大部分的用戶請(qǐng)求,正常網(wǎng)站都能夠正常響應(yīng),很少發(fā)生請(qǐng)求錯(cuò)誤的情況.

而且,正常網(wǎng)站中使用HTTPS 進(jìn)行通信的數(shù)量明顯大于惡意URL.我們分析正常網(wǎng)站通常會(huì)向認(rèn)證組織申請(qǐng)認(rèn)證證書(shū),并在訪問(wèn)過(guò)程中更多地使用安全的HTTPS 協(xié)議進(jìn)行會(huì)話通信,而惡意URL 很少能夠取得認(rèn)證組織的證書(shū),因此在會(huì)話過(guò)程中很少使用HTTPS 協(xié)議進(jìn)行通信.

此外,惡意服務(wù)器通常利用瀏覽器中存在漏洞的控件進(jìn)行攻擊,因此在會(huì)話過(guò)程中,惡意服務(wù)器會(huì)針對(duì)不同的控件響應(yīng)特殊類型的資源文件.惡意URL 經(jīng)常利用存在漏洞的控件類型包括Java 和Adobe Fla sh Player 等.表4 為經(jīng)常被惡意URL 利用的5 種資源類型文件類型與Content-Type 字段的對(duì)應(yīng)表.我們?cè)趷阂釻RL 會(huì)話的HTTP 響應(yīng)頭中發(fā)現(xiàn)較多響應(yīng)的特殊資源文件,雖然在正常網(wǎng)站的訪問(wèn)過(guò)程中也會(huì)響應(yīng)這些類型的資源文件,但是與正常網(wǎng)站相比,惡意URL 在整個(gè)會(huì)話過(guò)程中響應(yīng)特殊資源文件的數(shù)量更多,而且這些特殊資源文件的大小更大.

Table 4 Mapping of resource type and Content-Type表4 資源類型與Content-Type 字段對(duì)應(yīng)表

惡意URL 在接收到用戶的請(qǐng)求后,通常會(huì)對(duì)用戶的客戶端環(huán)境進(jìn)行判斷,只有符合攻擊條件的用戶才會(huì)被導(dǎo)向漏洞利用服務(wù)器.在這個(gè)過(guò)程中,還會(huì)進(jìn)行多次的重定向跳轉(zhuǎn),導(dǎo)致整個(gè)會(huì)話過(guò)程中重定向鏈的長(zhǎng)度變得較長(zhǎng);而在正常網(wǎng)站的會(huì)話過(guò)程中,較少發(fā)生多次的重定向跳轉(zhuǎn).因此我們認(rèn)為,使用會(huì)話重定向鏈的最大長(zhǎng)度能夠體現(xiàn)出惡意URL 這方面的差異.

我們發(fā)現(xiàn),在惡意URL 的會(huì)話過(guò)程中請(qǐng)求的URL 平均長(zhǎng)度相比正常網(wǎng)站會(huì)話過(guò)程中請(qǐng)求URL 的平均長(zhǎng)度更長(zhǎng).為了逃避安全廠商的黑名單檢測(cè),惡意URL 的URL 地址通常存活時(shí)間較短,而且經(jīng)常更改和變換,攻擊者通常注冊(cè)較長(zhǎng)的臨時(shí)域名地址來(lái)逃避黑名單的匹配檢測(cè).

(2)Web 會(huì)話流程特征

根據(jù)以上對(duì)正常網(wǎng)站和惡意URL 會(huì)話過(guò)程的統(tǒng)計(jì)與分析,針對(duì)正常網(wǎng)站和惡意URL 在會(huì)話過(guò)程中的重定向、會(huì)話協(xié)議、響應(yīng)碼和響應(yīng)資源類型等方面存在的差異,共選取相應(yīng)的7 個(gè)Web 會(huì)話流程特征,見(jiàn)表5.

Table 5 Extracted Web session flow features表5 Web 會(huì)話流程特征

4 HADMW 檢測(cè)方法

4.1 檢測(cè)方法流程

根據(jù)上述提出的12 個(gè)頁(yè)面特征、6 個(gè)JavaScript 函數(shù)參數(shù)特征和7 個(gè)Web 會(huì)話特征,結(jié)合機(jī)器學(xué)習(xí),我們提出了融合多種特征的惡意URL檢測(cè)方法.惡意URL檢測(cè)方法的整體示意圖如圖9所示:首先,通過(guò)數(shù)據(jù)采集器模擬客戶端環(huán)境,自動(dòng)化地對(duì)存活的待檢測(cè)網(wǎng)站發(fā)起會(huì)話通信,記錄整個(gè)會(huì)話過(guò)程中關(guān)鍵函數(shù)代碼的執(zhí)行和頁(yè)面重定向跳轉(zhuǎn)過(guò)程等信息,將其保存在本地會(huì)話日志記錄中;根據(jù)待檢測(cè)網(wǎng)站的頁(yè)面源代碼和會(huì)話日志記錄,分別提取頁(yè)面特征、JavaScript 函數(shù)參數(shù)特征和Web 會(huì)話流程特征,并對(duì)待檢測(cè)網(wǎng)站的特征進(jìn)行標(biāo)準(zhǔn)化處理,得到待檢測(cè)網(wǎng)站的特征組合序列;然后將其輸入到已經(jīng)經(jīng)過(guò)訓(xùn)練的分類器模型中進(jìn)行檢測(cè),得到待檢測(cè)網(wǎng)站的分類結(jié)果.

Fig.9 Diagram of detection approach圖9 整體檢測(cè)方法示意圖

為了盡最大化地觸發(fā)惡意URL的攻擊,誘導(dǎo)惡意URL 發(fā)送包含惡意代碼的頁(yè)面,我們配置客戶端請(qǐng)求的用戶代理字段,模擬了10 種經(jīng)常被攻擊的客戶端環(huán)境,包括Windows XP 、Windows7 操作系統(tǒng)搭配Internet Explorer 6.0,7.0,8.0 版本瀏覽器、Chrome 45.0.2623.87 版本瀏覽器、MacOSX 10_6_8 操作系統(tǒng)搭配Safari 5.1.1版本瀏覽器和Linux 系統(tǒng)搭配Chrome 45.0.2623.87 版本瀏覽器.這些模擬客戶端環(huán)境覆蓋了大多數(shù)正常用戶的常用客戶端環(huán)境.相比于使用真實(shí)客戶端環(huán)境進(jìn)行動(dòng)態(tài)檢測(cè),我們使用模擬的瀏覽器環(huán)境解析和執(zhí)行頁(yè)面代碼.我們將提取的頁(yè)面特征、JavaScript 函數(shù)參數(shù)特征和Web 會(huì)話特征組成待檢測(cè)網(wǎng)站的特征組合序列.如果惡意URL 針對(duì)不同類型的客戶端環(huán)境響應(yīng)不同的代碼,則在不同環(huán)境下會(huì)得到不同的特征組合序列.因此,每個(gè)待檢測(cè)網(wǎng)站在10 種模擬客戶端環(huán)境下共生成10 條特征組合序列.我們認(rèn)為:有任一種客戶端環(huán)境的特征組合序列被分類器判斷為惡意URL,就將待檢測(cè)網(wǎng)站分類到惡意URL 集合.

4.2 特征提取方法

為了準(zhǔn)確地提取到本方法提出的頁(yè)面特征、JavaScript 函數(shù)參數(shù)特征和Web 會(huì)話流程特征,我們使用了開(kāi)源客戶端框架Thug[19].Thug 是一款低交互式客戶端采集器,旨在模擬瀏覽器的行為以檢測(cè)惡意內(nèi)容,可以對(duì)頁(yè)面重定向跳轉(zhuǎn)行為進(jìn)行跟蹤,同時(shí)對(duì)會(huì)話過(guò)程中的服務(wù)器響應(yīng)頭等內(nèi)容進(jìn)行記錄.

(1)改寫(xiě)擴(kuò)展Thug

我們關(guān)注在代碼動(dòng)態(tài)執(zhí)行過(guò)程中JavaScript 關(guān)鍵函數(shù)的參數(shù)值,因此我們?cè)赥hug 提供的開(kāi)放接口的基礎(chǔ)上,分別對(duì)動(dòng)態(tài)執(zhí)行函數(shù)、動(dòng)態(tài)生成函數(shù)、escape 和unescape 函數(shù)進(jìn)行定制化改寫(xiě),實(shí)現(xiàn)在動(dòng)態(tài)調(diào)用JavaScript函數(shù)的過(guò)程中記錄和匹配函數(shù)的參數(shù).如圖10所示是改寫(xiě)動(dòng)態(tài)執(zhí)行函數(shù)eval 的代碼:首先,根據(jù)規(guī)則重新定義eval 函數(shù),獲取傳入eval 函數(shù)的參數(shù)值,并將參數(shù)值賦給一個(gè)臨時(shí)變量;然后獲取變量的的字符串長(zhǎng)度,通過(guò)多個(gè)條件語(yǔ)句匹配參數(shù)中是否包含敏感字符串,統(tǒng)計(jì)包含敏感字符串的總數(shù)量.

Fig.10 Rewrited dynamic execution function of eval圖10 改寫(xiě)動(dòng)態(tài)執(zhí)行函數(shù)eval

(2)特征提取

同時(shí),我們從獲取的頁(yè)面源代碼和日志記錄中分別提取頁(yè)面特征和Web 會(huì)話特征.改寫(xiě)后的Thug 模擬客戶端瀏覽器向待檢測(cè)網(wǎng)站發(fā)起會(huì)話請(qǐng)求,并將所有響應(yīng)的頁(yè)面源代碼保存到本地.我們使用正則表達(dá)式匹配頁(yè)面源代碼,提取12 個(gè)頁(yè)面特征.在與待檢測(cè)網(wǎng)站的會(huì)話過(guò)程中,Thug 記錄網(wǎng)站服務(wù)器發(fā)送給客戶端的響應(yīng)頭信息和響應(yīng)體內(nèi)容.我們根據(jù)定義的規(guī)則,從日志中分別提取會(huì)話協(xié)議、響應(yīng)碼和響應(yīng)資源類型等內(nèi)容,統(tǒng)計(jì)Web 會(huì)話流程特征.如圖11所示的代碼是從日志記錄中提取會(huì)話過(guò)程中,服務(wù)器響應(yīng)特殊資源文件數(shù)量與會(huì)話請(qǐng)求錯(cuò)誤數(shù)量的特征.我們根據(jù)資源文件類型與Content-Type 字段的對(duì)應(yīng)表,匹配服務(wù)器返回的文件類型是否為關(guān)注的5 種特殊資源文件.同時(shí)根據(jù)服務(wù)器返回的響應(yīng)狀態(tài)碼,匹配客戶端請(qǐng)求錯(cuò)誤和服務(wù)器端錯(cuò)誤響應(yīng)碼的數(shù)量.

Fig.11 Extraction features of response resources and request error圖11 提取響應(yīng)資源與請(qǐng)求錯(cuò)誤特征

4.3 特征歸一化

在使用多種特征進(jìn)行分類的過(guò)程中,由于不同類型的特征性質(zhì)不同,這些特征通常具有不同的數(shù)量級(jí)和量綱.為了盡可能地減少特征在數(shù)值分布上所造成的影響,需要對(duì)原始的特征數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理.數(shù)據(jù)標(biāo)準(zhǔn)化是通過(guò)對(duì)數(shù)據(jù)進(jìn)行按比例縮放,落入一個(gè)較小的特定區(qū)間中,消除數(shù)據(jù)的單位限制,轉(zhuǎn)化為無(wú)量綱的純數(shù)值,使得不同量級(jí)的特征可以進(jìn)行加權(quán).其中最典型的數(shù)據(jù)標(biāo)準(zhǔn)化方法是Min-Max 標(biāo)準(zhǔn)化[20],即對(duì)原始數(shù)據(jù)進(jìn)行線性區(qū)間變換,計(jì)算方式如公式(1)所示:

其中,x表示原始值,max 表示樣本最大值,min 表示樣本的最小值,x*表示經(jīng)過(guò)標(biāo)準(zhǔn)化處理后的值.

我們使用Min-Max 標(biāo)準(zhǔn)化方法將特征值轉(zhuǎn)換為無(wú)量綱數(shù)據(jù),每個(gè)樣本的特征組合序列由25 個(gè)經(jīng)標(biāo)準(zhǔn)化處理后的特征值和分類值組成.我們將經(jīng)過(guò)標(biāo)準(zhǔn)化處理后的特征組合序列輸入到分類器中進(jìn)行訓(xùn)練,得到相應(yīng)的分類器模型.對(duì)于分類器算法的選擇,分別選取了常用的5 種機(jī)器學(xué)習(xí)算法,在實(shí)驗(yàn)部分通過(guò)對(duì)比不同分類器的檢測(cè)效果,最終確定選取的分類器.

5 實(shí) 驗(yàn)

5.1 數(shù)據(jù)集

我們的方法在動(dòng)態(tài)執(zhí)行的過(guò)程中提取JavaScript 參數(shù)特征和Web 會(huì)話特征,需要網(wǎng)站保持可訪問(wèn)狀態(tài).因此我們從多個(gè)來(lái)源重新建立了正常網(wǎng)站和惡意URL 數(shù)據(jù)集,分別包括:

①正常網(wǎng)站數(shù)據(jù)集:正常網(wǎng)站來(lái)源于Alexa(https://www.alexa.com/topsites),將Alexa 公布的受歡迎的網(wǎng)站的主頁(yè)作為初始URL,使用爬蟲(chóng)請(qǐng)求網(wǎng)頁(yè)來(lái)獲取頁(yè)面中的鏈接.為了確保正常網(wǎng)站數(shù)據(jù)集的可信性,從正常網(wǎng)站的主頁(yè)和主頁(yè)中鏈接隨機(jī)選擇組成正常網(wǎng)站數(shù)據(jù)集,共收集了8 69 7 個(gè)有效存活的正常網(wǎng)站的URL;

②惡意URL 數(shù)據(jù)集1:為了盡可能的增加惡意URL 的樣本數(shù)量,分別從著名的惡意URL發(fā)布網(wǎng)站HpHosts(https://hosts-file.net/)和ZeusTracker(https://www.abuse.ch)收集了自2016年1月~2019年2月期間內(nèi)公布的仍存活的惡意URL,共收集了6 928 個(gè)有效存活惡意URL 的URL;

③惡意URL 數(shù)據(jù)集2:從安全研究網(wǎng)站Malwaredomainlist(https://www.malwaredomainlist.com/mdl.php),UrlQuery(https://urlquery.net/)和Malc0de(http://malc0de.com/bl/)網(wǎng)站獲取自2016年1月~2019年2月期間內(nèi)公布的存活的惡意URL,并與惡意URL 數(shù)據(jù)集1 中的惡意URL 匹配,剔除已有的惡意URL,共收集了2000 個(gè)有效存活惡意URL 的URL.

融合多種特征的檢測(cè)方法采用機(jī)器學(xué)習(xí)進(jìn)行分類檢測(cè),因此,我們將收集的正常網(wǎng)站和惡意URL 數(shù)據(jù)集劃分?jǐn)?shù)據(jù)集1 和數(shù)據(jù)集2,見(jiàn)表6.

Table 6 The Dataset表6 數(shù)據(jù)集

5.2 測(cè)試指標(biāo)

評(píng)價(jià)分類器模型的效果通常會(huì)使用不同的指標(biāo)來(lái)進(jìn)行綜合評(píng)估,其中,True Positive(TP),True Negative(TN),False Positive(FP)和False Negative(FN)是進(jìn)行評(píng)估的基準(zhǔn)數(shù)據(jù).基于基準(zhǔn)評(píng)價(jià)數(shù)據(jù),通常用于評(píng)估分類結(jié)果的的指標(biāo)包括精確率(precision)、召回率(recall)、F值(F-measure)、誤判率和漏判率,具體是:

①精確率:指測(cè)試集中被正確判為惡意頁(yè)面的數(shù)量占所有被判為惡意頁(yè)面數(shù)量的百分比;

②召回率:指測(cè)試集中惡意頁(yè)面被正確判為惡意頁(yè)面的數(shù)量所占全部惡意頁(yè)面數(shù)量的比值;

③F值:需要綜合全面地考慮精確率和召回率,而F值是對(duì)精確率和召回率的加權(quán)調(diào)和平均,因此,當(dāng)F值比較高時(shí),可以說(shuō)明檢測(cè)方法更有效;

④誤判率:指測(cè)試集中正常頁(yè)面被誤判為惡意網(wǎng)頁(yè)的數(shù)量占全部真正正常頁(yè)面數(shù)量的百分比;

⑤漏判率是指測(cè)試集中惡意頁(yè)面被漏判為正常頁(yè)面的數(shù)量占全部真正惡意頁(yè)面數(shù)量的百分比.

5.3 十折交叉驗(yàn)證

對(duì)于分類器的選擇,我們?cè)跀?shù)據(jù)集1 上分別采用5 種不同的機(jī)器學(xué)習(xí)算法訓(xùn)練分類器,并進(jìn)行十折交叉驗(yàn)證,評(píng)估不同機(jī)器學(xué)習(xí)算法的分類效果,計(jì)算10 輪的惡意URL 的平均精確率、平均召回率和F值,結(jié)果見(jiàn)表7.

Table 7 Ten-fold cross-validation results of different algorithms表7 不同算法十折交叉驗(yàn)證結(jié)果

從測(cè)試結(jié)果中可以看出,融合多種特征的檢測(cè)方法在5 種不同的機(jī)器學(xué)習(xí)算法上都取得較好的分類結(jié)果.相比于其他4 種機(jī)器學(xué)習(xí)算法,隨機(jī)森林算法使用多個(gè)子決策樹(shù)預(yù)測(cè)類別的眾數(shù)作為最終的輸出分類結(jié)果,其中,使用隨機(jī)森林算法的效果最好,平均精確率達(dá)到了98.6%,平均召回率達(dá)到97.5%,F值達(dá)到了0.98.經(jīng)過(guò)綜合比較,最終我們選擇隨機(jī)森林算法作為分類器的算法.

同時(shí),為了評(píng)估融合多種特征方法的泛化能力,我們使用隨機(jī)森林算法作為分類器,用數(shù)據(jù)集1 作為訓(xùn)練集,對(duì)數(shù)據(jù)集2 進(jìn)行測(cè)試,測(cè)試結(jié)果見(jiàn)表8.從測(cè)試結(jié)果可以看出:融合多種特征的檢測(cè)方法的精確率達(dá)到了96.2%,召回率達(dá)到了94.6%,誤判率為3.8%,漏判率為5.4%,F值達(dá)到0.95.

Table 8 Test result ofon dataset 2表8 數(shù)據(jù)集2 測(cè)試結(jié)果

為了找到惡意URL 被漏判的原因,我們上述檢測(cè)中漏判的108 個(gè)惡意URL 進(jìn)行人工分析,發(fā)現(xiàn)其中有72個(gè)惡意URL 采用誘導(dǎo)用戶點(diǎn)擊跳轉(zhuǎn)的攻擊方式,即:頁(yè)面本身不含有惡意代碼,當(dāng)用戶手動(dòng)點(diǎn)擊頁(yè)面中的鏈接后,才會(huì)重定向到最終的惡意URL,這類頁(yè)面屬于惡意URL 的引導(dǎo)頁(yè)面.而我們?cè)谔卣鞑杉^(guò)程采用了自動(dòng)化訪問(wèn)的方式,只檢測(cè)當(dāng)前頁(yè)面,對(duì)頁(yè)面中的鏈接不會(huì)進(jìn)行自動(dòng)觸發(fā),我們進(jìn)而對(duì)這些人工觸發(fā)的惡意URL 進(jìn)行再次檢測(cè),發(fā)現(xiàn)可以檢測(cè)出這些惡意頁(yè)面.

漏判結(jié)果中還有24 個(gè)惡意URL對(duì)模擬的客戶端未返回包含惡意代碼的頁(yè)面.在人工分析的過(guò)程中,我們更換了客戶端環(huán)境和IP 地址再次訪問(wèn),發(fā)現(xiàn)惡意URL 返回了包含惡意代碼的頁(yè)面.我們分析,主要原因是模擬的客戶端環(huán)境和發(fā)起請(qǐng)求的IP 地址不滿足惡意URL 的攻擊條件,沒(méi)有觸發(fā)惡意行為.根據(jù)上述分析,如果檢測(cè)環(huán)境增加自動(dòng)觸發(fā)鏈接以及部署足夠多樣的采集環(huán)境,將有助于進(jìn)一步減少漏判.

5.4 不同特征組合測(cè)試對(duì)比

為了評(píng)估不同方面特征對(duì)于檢測(cè)效果的影響大小,我們分別使用全部25 個(gè)特征組合、單獨(dú)使用12 個(gè)頁(yè)面特征、6 個(gè)JavaScript 函數(shù)參數(shù)特征、7 個(gè)Web 會(huì)話流程特征以及頁(yè)面特征與Web 會(huì)話流程一起的5 種特征組合,使用隨機(jī)森林算法在數(shù)據(jù)集1 上進(jìn)行訓(xùn)練,并對(duì)數(shù)據(jù)集2 進(jìn)行測(cè)試.測(cè)試結(jié)果見(jiàn)表9.

Table 9 Test results comparison of different feature combination methods表9 不同特征組合的測(cè)試結(jié)果

使用全部特征組合的檢測(cè)效果最好,精確率達(dá)到96.2%,召回率達(dá)到94.6%;而僅使用JavaScript 函數(shù)參數(shù)特征時(shí),檢測(cè)效果最差.我們對(duì)僅使用JavaScript 函數(shù)參數(shù)特征漏判而全部特征組合成功檢測(cè)出的惡意網(wǎng)站進(jìn)行人工分析,發(fā)現(xiàn)這些惡意網(wǎng)站在會(huì)話過(guò)程中進(jìn)行了多次重定向跳轉(zhuǎn),在重定向的初始頁(yè)面中未包含惡意代碼,可以看出,采用全部特征組合可以有效地檢測(cè)出使用逃避手段的惡意網(wǎng)站.同時(shí),從表中測(cè)試結(jié)果可以看出:將頁(yè)面特征與Web 會(huì)話流程特征相結(jié)合一起時(shí),分類器的檢測(cè)效果得到了提高.

如圖12所示為不同特征組合的ROC 曲線,從圖中可以看出:相對(duì)于其他4 個(gè)特征組合,使用全部特征的組合曲線更靠近坐標(biāo)軸的左上方,意味著它能夠在保證較低假陽(yáng)率的情況下,有更高的真陽(yáng)率.這在AUC 值上更加明顯,使用全部特征的組合模型的AUC 值達(dá)到0.98.同時(shí),從圖中可以看出:頁(yè)面特征與Web 會(huì)話流程特征相結(jié)合時(shí),提高了分類器的檢測(cè)效果.

Fig.12 ROC curve of different feature combination methods圖12 不同特征組合的ROC 曲線

在使用隨機(jī)森林算法的進(jìn)行學(xué)習(xí)過(guò)程中,信息增益通常被用作選擇特征的重要指標(biāo).信息增益是指特征為分類器提供信息的多少,即:在確定某一條件下,信息的不確定性減少的程度.當(dāng)特征為分類器模型提供的信息量越多,則表示該特征在分類器中更加重要,相應(yīng)地,它的信息增益越大.我們計(jì)算特征在隨機(jī)森林算法的學(xué)習(xí)過(guò)程中的信息增益,表10 顯示了排在前10 位的最高信息增益的特征列表.從表中可以看出:前10 位最高信息增益的特征中,包含了提出的3 大類特征,其中,我們提出的新的頁(yè)面特征和Web 會(huì)話流程特征的信息增益較大,對(duì)準(zhǔn)確分類的貢獻(xiàn)度更大.

Table 10 Top 10 features with the highest information gain表10 前10 位最高信息增益的特征

5.5 測(cè)試結(jié)果對(duì)比

(1)與開(kāi)源項(xiàng)目比較

我們將提出的檢測(cè)方法命名為HADMW.HADMW 在檢測(cè)過(guò)程中動(dòng)態(tài)執(zhí)行頁(yè)面源代碼,因此將HADMW 與相似功能的動(dòng)態(tài)檢測(cè)工具進(jìn)行比較,選擇了開(kāi)源項(xiàng)目Capture-HPC[21]和PhoneyC[22].我們?cè)?019年2月獲取和搭建了Capture-HPC 和PhoneyC,并將數(shù)據(jù)集2 分別使用這兩個(gè)開(kāi)源項(xiàng)目進(jìn)行測(cè)試,并將檢測(cè)結(jié)果與HADMW的結(jié)果進(jìn)行對(duì)比,如表11所示:Capture-HPC 的F值為0.79,PhoneyC 的F值為0.87.可以看到,HADMW 比Capture-HPC 和PhoneyC 擁有更好的檢測(cè)效果.在時(shí)間開(kāi)銷方面,HADMW 檢測(cè)每個(gè)惡意網(wǎng)站的平均時(shí)間為8.9s,而Capture-HPC 和PhoneyC 的平均時(shí)間為14.7s 和17.2s.實(shí)驗(yàn)結(jié)果表明:HADMW 可以檢測(cè)出更多的惡意URL,檢測(cè)效率也優(yōu)于Capture-HPC 和PhoneyC.

同時(shí),由于HADMW 使用了動(dòng)態(tài)特征獲取,我們也對(duì)比了其特征獲取時(shí)間與靜態(tài)方法的對(duì)比.HADMW 特征獲取的時(shí)間包括獲取頁(yè)面源代碼和動(dòng)態(tài)執(zhí)行源代碼,與靜態(tài)方法相比,多了動(dòng)態(tài)執(zhí)行源代碼的過(guò)程.我們使用改寫(xiě)擴(kuò)展Thug,對(duì)1 000 條URL 上進(jìn)行了測(cè)試和觀察,動(dòng)態(tài)方法檢測(cè)每個(gè)惡意URL 的平均時(shí)間為8.9s,其中,獲取頁(yè)面源代碼平均需要3.84s,動(dòng)態(tài)執(zhí)行頁(yè)面源代碼平均需要5.06s.相比于獲取頁(yè)面源代碼所需要的時(shí)間,動(dòng)態(tài)方法增加了執(zhí)行頁(yè)面源代碼的時(shí)間開(kāi)銷,增加了約1.3 倍的特征獲取時(shí)間.

Table 11 Comparison with open source tools表11 與兩款開(kāi)源工具對(duì)比

(2)與安全軟件比較

根據(jù)AV-TEST 組織發(fā)布的在2018年用戶最受歡迎的安全軟件的測(cè)試報(bào)告[23],我們選擇了兩款得分最高的安全軟件Bitdefender 和ESET,使用最新發(fā)布的版本對(duì)數(shù)據(jù)集2 進(jìn)行測(cè)試,結(jié)果見(jiàn)表12.Bitdefender 的F值為0.92,ESET 的F值為0.93.可以看到,HADMW 比這兩款安全軟件檢測(cè)效果更好.我們分析認(rèn)為,原因是:HADMW在特征的選取方面針對(duì)惡意URL 的逃避檢測(cè)手段,從頁(yè)面源代碼、JavaScript 關(guān)鍵函數(shù)參數(shù)以及整體攻擊會(huì)話流程方面選取特征對(duì)惡意URL 進(jìn)行檢測(cè);相比之下,安全軟件的掃描檢測(cè)通常是基于頁(yè)面中惡意代碼進(jìn)行檢測(cè).綜合比較表明,HADMW 的檢測(cè)效果優(yōu)于現(xiàn)有安全軟件.

Table 12 Comparison with other security software表12 與其他安全軟件對(duì)比

(3)與近期研究比較

文獻(xiàn)[15,17]結(jié)合了動(dòng)靜態(tài)兩方面的特征,都對(duì)惡意網(wǎng)頁(yè)檢測(cè)做了不錯(cuò)的嘗試,但我們?cè)诠_(kāi)資料中均未找到其方法對(duì)應(yīng)的實(shí)現(xiàn)或源代碼,也沒(méi)有找到其公開(kāi)的數(shù)據(jù)集.為了能夠較清晰地對(duì)比結(jié)果,我們將文獻(xiàn)[15,17]中提取的特征、測(cè)試數(shù)據(jù)集以及文獻(xiàn)自身公布的測(cè)試結(jié)果展示在表13 中.可以看出:HADMW 測(cè)試數(shù)據(jù)集中的樣本來(lái)源和數(shù)量更多,在準(zhǔn)確率、召回率方面都有不錯(cuò)的表現(xiàn).

Table 13 Comparison with other existing approaches表13 與現(xiàn)有檢測(cè)方法對(duì)比

Table 13 Comparison with other existing approaches(Continued)表13 與現(xiàn)有檢測(cè)方法對(duì)比(續(xù))

5.6 測(cè)試結(jié)果觀察

我們將數(shù)據(jù)集2 中的惡意網(wǎng)站在10 種模擬客戶端環(huán)境下特征值序列進(jìn)行了分析,統(tǒng)計(jì)了這些特征值序列被分類器模型判斷為惡意網(wǎng)站的分布,得到每個(gè)惡意網(wǎng)站對(duì)10 種客戶端環(huán)境進(jìn)行攻擊的數(shù)量,統(tǒng)計(jì)結(jié)果如圖13(a)所示,其中,對(duì)3 種客戶端環(huán)境進(jìn)行攻擊的惡意網(wǎng)站數(shù)量最多.我們發(fā)現(xiàn):惡意網(wǎng)站通常會(huì)對(duì)多種不同的客戶端環(huán)境實(shí)施攻擊,從而使得攻擊效益盡可能的最大化.

除此之外,我們統(tǒng)計(jì)了不同類型的客戶端環(huán)境被惡意網(wǎng)站攻擊的數(shù)量,結(jié)果如圖14(b)所示.其中,針對(duì)Windows XP 操作系統(tǒng)搭配IE6.0 版本瀏覽器的環(huán)境被惡意網(wǎng)站攻擊的數(shù)量最多,而且我們發(fā)現(xiàn):操作系統(tǒng)和瀏覽器版本越低,被攻擊的數(shù)量越多.我們分析認(rèn)為,是因?yàn)榘姹据^低的瀏覽器和操作系統(tǒng)通常存在較多公開(kāi)的可被利用的漏洞.

Fig.13 The number and type distribution of client environments attacked by malicious websites圖13 惡意網(wǎng)站攻擊的客戶端環(huán)境數(shù)目和類型分布

6 總結(jié)

如今,互聯(lián)網(wǎng)中充斥著大量的惡意URL,攻擊者利用這些惡意URL 傳播惡意軟件和竊取隱私數(shù)據(jù).本文基于真實(shí)存活的惡意URL 的統(tǒng)計(jì),詳細(xì)分析了惡意URL 逃避手段的特點(diǎn),從頁(yè)面內(nèi)容、JavaScript 函數(shù)參數(shù)和Web 會(huì)話流程這3 個(gè)方面設(shè)計(jì)了25 個(gè)具有區(qū)分度的特征,提出了一種基于多種特征檢測(cè)惡意URL 的方法HADMW.測(cè)試結(jié)果表明:HADMW 取得了96.2%的精確率和94.6%的召回率;同時(shí),與單純頁(yè)面特征的方法和現(xiàn)有檢測(cè)工具相比,HADMW 取得了更好的檢測(cè)效果.

在實(shí)驗(yàn)過(guò)程中,我們發(fā)現(xiàn)部分惡意URL 采用誘導(dǎo)用戶點(diǎn)擊跳轉(zhuǎn)的攻擊方式,這些URL 只有在用戶手動(dòng)點(diǎn)擊后,才會(huì)重定向到最終的惡意URL.這種惡意URL 在攻擊過(guò)程中誘導(dǎo)用戶點(diǎn)擊頁(yè)面,而本文提出的方法采用自動(dòng)化訪問(wèn)的方式進(jìn)行檢測(cè).在接下來(lái)的工作中,我們準(zhǔn)備增加模擬用戶點(diǎn)擊操作的功能,以及擴(kuò)充更多的客戶端環(huán)境.