基于網(wǎng)絡(luò)爬蟲和Fuzzing的漏洞挖掘檢測工具

(1)提取整個(gè)表單內(nèi)容；

String exp =

"(\s*?form(|([^>]*?)>))(.*?)<\s*?/\s*?form\s*?>";

Regex regex = new

Regex(exp,Regex.Options.IgnoreCase|RegexOptions.Compiled);

MatchCollection col = regex.Matches(response);

(2)分析獲取form中的屬性值

String action =

"action\s*?=\s*?([’”］？）（［^\1]*?)(\1)([\s>])";

String method =

"method\s*?=\s*?([’”］？）（［^\1]*?)(\1)([\s>])";

(3)獲取表單中的參數(shù)名稱,保存獲得的數(shù)據(jù)

String input =

"\s*?input\s.*?type\s*?=\s*?([’"]?)([^\1]*?)\1(|\s.*?>)";

String name =

"name\s*?=\s*?([’"]?)([^\1]*?)(\1)([\s>])";

String value =

"value\s*?=\s*?([’"]?)([^\1]*?)(\1)([\s>])";

2.3效率優(yōu)化

MJ Crawler針對(duì)漏洞挖掘系統(tǒng)的需求進(jìn)行了優(yōu)化，省去了很多不必要的頁面的爬取。所以節(jié)省了不少的時(shí)間和系統(tǒng)資源，從而使運(yùn)行時(shí)間更短。更重要的是，爬取的結(jié)果更符合漏洞挖掘系統(tǒng)的需求。從而從爬取的結(jié)果中成功發(fā)現(xiàn)了一些漏洞。而在原來的BlueLeech爬蟲中，爬取的靜態(tài)頁面比較多（html,jpg,png等等網(wǎng)頁資源文件）而漏洞挖掘需要的URL（包含http鏈接的，包含網(wǎng)頁參數(shù)，和包含post請(qǐng)求的）則比較少，所以從中也沒有能夠發(fā)現(xiàn)XSS漏洞。

3　反射型XSS漏洞挖掘Fuzz子系統(tǒng)

反射型XSS漏洞，主要是指一些基于反射，或者是不能長久保存的漏洞。當(dāng)服務(wù)器端通過腳本代碼生成了頁面，并且為Web客戶端所使用，向用戶提供數(shù)據(jù)時(shí)，這一類的漏洞就會(huì)出現(xiàn)[3]。如果用戶數(shù)據(jù)作為參數(shù)被傳遞到服務(wù)器中，但服務(wù)器端既沒有對(duì)這些數(shù)據(jù)進(jìn)行有效性驗(yàn)證，又沒有進(jìn)行HTML實(shí)體編碼，那么一些污染的數(shù)據(jù)就可以作為代碼被解釋執(zhí)行[4]。

在現(xiàn)實(shí)世界的Web應(yīng)用程序中存在的XSS漏洞，有75%左右的漏洞屬于這種情形。這種漏洞的利用，需要包含一段腳本代碼（JavaScript），然后服務(wù)器將這些代碼反射到請(qǐng)求的客戶端運(yùn)行，所以它被稱作反射型XSS。通過一個(gè)單獨(dú)的請(qǐng)求響應(yīng)執(zhí)行和傳送攻擊有效載荷[5]。這種XSS漏洞的利用方式有很多種。最簡單的一種攻擊，攻擊者可以通過腳本，獲得合法用戶的會(huì)話令牌。當(dāng)獲得用戶令牌后，攻擊者就可以偽裝成用戶使用該令牌登錄，使用該用戶的服務(wù)，訪問該用戶的數(shù)據(jù)等等[6]。

3.1工作流程

如圖3所示：

圖3　反射型XSS漏洞挖掘流程圖

對(duì)于一條URL，先針對(duì)每個(gè)不同的參數(shù)，生成相應(yīng)的隨機(jī)字符串。然后發(fā)送一個(gè)HTTP請(qǐng)求，在response中搜索是否存在隨機(jī)字符串。如果存在，則進(jìn)一步驗(yàn)證特殊字符有沒有被過濾。如果類似于引號(hào)，大于小于號(hào)的符號(hào)沒有被過濾，那么已經(jīng)可以初步認(rèn)為該站點(diǎn)存在反射型的XSS漏洞了。接下來會(huì)進(jìn)一步用一組定義好的通用payload進(jìn)行替換，如果在response能檢出payload，那么可以確定存在XSS漏洞。如果沒有檢測出，那么交由人工判斷。

在這里，如果單純靠人工判斷，那么需要花費(fèi)比較多的人力，這樣程序執(zhí)行的效率會(huì)受到影響。而如果單純使用通用的payload進(jìn)行自動(dòng)替換，那么雖然可以實(shí)現(xiàn)漏洞挖掘的全自動(dòng)化，節(jié)省人力，提高效率，但是在調(diào)試的過程中，發(fā)現(xiàn)各個(gè)網(wǎng)站，甚至是一個(gè)網(wǎng)站的不同頁面，對(duì)特殊字符的過濾方法都不盡相同，這樣的話，就很難找到一份通用的payload，對(duì)于每一類的過濾方法都能精確的檢測。這樣就有可能產(chǎn)生大量的漏報(bào)。所以，最佳的方法是自動(dòng)與人工判斷相結(jié)合，亦即Fuzzing技術(shù)，可以取得效率和準(zhǔn)確性的平衡[7][8]。

在實(shí)際執(zhí)行過程中，將執(zhí)行如下步驟：

1）選取探測字符串，輸入Fuzz子系統(tǒng)并對(duì)比輸出

2）對(duì)探測字符串進(jìn)行注入點(diǎn)分析及變換，如表1所示：

表1　注入點(diǎn)及說明

模擬XSS攻擊者對(duì)于不同的注入點(diǎn)進(jìn)行探測，輸入Fuzz子系統(tǒng)并對(duì)比輸出

3）對(duì)Payload進(jìn)行變形，模擬XSS攻擊者試圖繞過網(wǎng)站的字符過濾系統(tǒng)，輸入Fuzz子系統(tǒng)并對(duì)比輸出

4）對(duì)Payload進(jìn)行編碼轉(zhuǎn)換（上述Payload變形的第二部分），模擬XSS攻擊者的行為，輸入Fuzz子系統(tǒng)并對(duì)比輸出

3.2注入點(diǎn)分析

3.3Payload模式

在檢測到注入點(diǎn)未進(jìn)行某些特殊字符的過濾后，可以進(jìn)行Payload的替換嘗試[9]。在本工具中，預(yù)置了以下payload模式如表2所示：

表2　Payload變形及說明

4　測試

本章主要給出MJ Vulnerability Mining Tool的實(shí)際測試結(jié)果，并且與其他知名漏洞挖掘工具做橫向?qū)Ρ取７謩e用本工具，Acunetix Web Vulnerability Scanner和Paros對(duì)2個(gè)大型門戶網(wǎng)站進(jìn)行了掃描，并且分析了結(jié)果。

4.1測試環(huán)境

CPU: Intel Pentium E5800 3.20GHz

內(nèi)存：4GB

操作系統(tǒng)：Windows XP SP3

Java版本：JDK 1.7

網(wǎng)絡(luò)環(huán)境：SJTU校園網(wǎng)

4.2網(wǎng)絡(luò)爬蟲測試

對(duì)比開源爬蟲工具BlueLeech和自行編寫的爬蟲MJ Crawler，如表3所示：

表3　BlueLeech和MJ Crawler對(duì)比

使用BlueLeech爬蟲系統(tǒng)，速度較慢。爬到的結(jié)果中重復(fù)的URL比較多，靜態(tài)的頁面較多，相對(duì)來說有利用價(jià)值的比較少。使用BlueLeech爬取網(wǎng)站時(shí)，速度較慢。爬取新浪網(wǎng)站（www.sina.com.cn）時(shí)耗費(fèi)時(shí)間1天10小時(shí)，爬取的URL結(jié)果大小多達(dá)136.5MB，但是當(dāng)使用自己編寫的URL篩選器過濾后，有效的URL（可能含有XSS漏洞的網(wǎng)頁）僅為38.6MB。有效的結(jié)果比例僅為28.3%，效率比較低。而在上述有效的URL中，最終真正發(fā)現(xiàn)的漏洞數(shù)為零。

根據(jù)漏洞挖掘系統(tǒng)的需求編寫了爬蟲MJ Crawler精簡了整個(gè)漏洞挖掘系統(tǒng)中不需要的部分（比如下載頁面，存入磁盤等操作）。爬取新浪網(wǎng)站的時(shí)間縮短為11小時(shí)。爬取的URL結(jié)果為1,082KB，有效的URL為839KB。有效結(jié)果比例高達(dá)76.8%。最終發(fā)現(xiàn)的漏洞數(shù)為11個(gè)。

4.3漏洞挖掘工具測試

本節(jié)給出了MJ Vulnerability Mining Tool的實(shí)際測試結(jié)果，并且與其他知名漏洞挖掘工具做橫向?qū)Ρ?。分別用本工具，Acunetix Web Vulnerability Scanner和Paros對(duì)2個(gè)大型門戶網(wǎng)站進(jìn)行了掃描，并且分析了結(jié)果。

和訊網(wǎng)

使用MJ Vulnerability Mining Tool，對(duì)cn.yahoo.com進(jìn)行了漏洞挖掘。耗時(shí)3小時(shí)18分鐘，測試了5993個(gè)有效URL。最終發(fā)現(xiàn)漏洞5個(gè)，其中3個(gè)為URL重定向漏洞，2個(gè)為反射型XSS漏洞。經(jīng)人工驗(yàn)證后，有效URL漏洞為2個(gè)，有效反射型XSS漏洞為1個(gè)。

作為比較，使用Acunetix Web Vulnerability Scanner 8 同樣對(duì)www.hexun.com做了測試。測試模式設(shè)定為XSS，測試的站點(diǎn)勾選了www.hexun.com的所有子站點(diǎn)。經(jīng)過測試后，WVS并未能找出漏洞。使用Paros進(jìn)行掃描，最后并未發(fā)現(xiàn)XSS漏洞和URL重定向漏洞，如表4所示：

表4　對(duì)于和訊網(wǎng)網(wǎng)站的漏洞挖掘結(jié)果對(duì)比

新浪

使用MJ Vulnerability Mining Tool，對(duì)www.sina.com.cn進(jìn)行了漏洞挖掘。耗時(shí)15小時(shí)7分鐘，測試了20513個(gè)有效URL。最終發(fā)現(xiàn)漏洞11個(gè)，其中6個(gè)為URL重定向漏洞，5個(gè)為反射型XSS漏洞。經(jīng)人工驗(yàn)證后，有效URL漏洞為4個(gè)，有效反射型XSS漏洞為3個(gè)。

作為比較，使用Acunetix Web Vulnerability Scanner 8 同樣對(duì)cn.yahoo.com做了測試。www.sina.com.cn進(jìn)行測試時(shí)，測試開始約5分鐘后，程序處于假死狀態(tài)，等待2天后掃描仍未完成，因此認(rèn)為對(duì)此網(wǎng)站的掃描無法完成。使用Paros進(jìn)行掃描，發(fā)現(xiàn)了3個(gè)XSS反射性漏洞，經(jīng)過驗(yàn)證，有效的漏洞數(shù)為2個(gè)，如表5所示：

表5　對(duì)于新浪網(wǎng)站的漏洞挖掘結(jié)果對(duì)比

以上給出了MJ Vulnerability Mining Tool的實(shí)際測試結(jié)果。通過上述測試與對(duì)比，可以發(fā)現(xiàn)在相同的硬件條件下，MJ Vulnerability Mining Tool在挖掘的漏洞數(shù)量上占有一定的優(yōu)勢，不過在測試過程中，WVS在掃描新浪網(wǎng)站時(shí)出現(xiàn)了卡死的狀況，重復(fù)數(shù)次均未解決。而使用本工具掃描時(shí)，資源占用（包括內(nèi)存占用率和CPU占用率）都比較小，而使用WVS時(shí)，資源占用較大，這也是MJ Vulnerability Mining Tool的優(yōu)點(diǎn)之一。

5　總結(jié)

本文對(duì)漏洞挖掘工具M(jìn)J Vulnerability Mining Tool的核心內(nèi)容做了詳細(xì)介紹。包括爬蟲模塊、反射型XSS漏洞挖掘模塊。之后給出了MJ Vulnerability Mining Tool的實(shí)際測試結(jié)果。可以發(fā)現(xiàn)在相同的硬件條件下，MJ Vulnerability Mining Tool在挖掘的漏洞數(shù)量上占有一定的優(yōu)勢，使用本工具掃描時(shí)，資源占用（包括內(nèi)存占用率和CPU占用率）都比較小。

在爬蟲部分，針對(duì)漏洞挖掘系統(tǒng)的需求進(jìn)行了優(yōu)化，省去了很多不必要的頁面的爬取。所以節(jié)省了不少的時(shí)間和系統(tǒng)資源，從而使運(yùn)行時(shí)間更短。更重要的是，爬取的結(jié)果更符合漏洞挖掘系統(tǒng)的需求。從而從爬取的結(jié)果中成功發(fā)現(xiàn)了一些漏洞。而在漏洞挖掘部分，使用了自動(dòng)與人工判斷相結(jié)合，亦即Fuzzing技術(shù)。特別是在挖掘時(shí)先使用探測特殊字符的方式，這樣可以快速判斷出是否存在漏洞以及對(duì)于哪些特殊字符可能存在漏洞，以便進(jìn)一步的使用相應(yīng)的payload進(jìn)行嘗試，可以取得效率和準(zhǔn)確性的平衡。

[1] Bisht,Prithvi,and. Venkatakrishnan V. N. "XSS-GUARD: precise dynamic prevention of cross-site scripting attacks." Detection of Intrusions and Malware,and Vulnerability Assessment[M]. Springer Berlin Heidelberg,2008. 23-43.

[2] Grossman,Jeremiah. XSS Attacks: Cross-site scripting exploits and defense. [M]Syngress,2007.

[3] 吳翰清,白帽子講Web安全[M]. 北京電子工業(yè)出版社,2012: 40-43.

[4] Fogie S,Grossman J,Hansen R,et al. XSS Attacks: Cross Site Scripting Exploits and Defense[M]. Syngress,2011.

[5] Wassermann G,Su Z. Static detection of cross-site scripting vulnerabilities[C]//Software Engineering,2008. ICSE'08. ACM/IEEE 30th International Conference on. IEEE,2008: 171-180.

[6] Weinberger,Joel,et al. "A systematic analysis of XSS sanitization in web application frameworks."[J] Computer Security-ESORICS 2011. Springer Berlin Heidelberg,2011. 150-171.

[7] Fogie,Seth,et al. XSS Attacks: Cross Site Scripting Exploits and Defense.[M] Syngress,2011.

[8] Di Lucca G A,Fasolino A R,Mastoianni M,et al. Identifying cross site scripting vulnerabilities in web applications[C]//Telecommunications Energy Conference,2004. INTELEC 2004. 26th Annual International. IEEE,2004: 71-80.

[9] 潘發(fā)益,郭穎,and 崔寶江. "基于動(dòng)態(tài)數(shù)據(jù)生成缺陷的XSS 漏洞挖掘技術(shù)." [J]信息網(wǎng)絡(luò)安全 11 (2013): 44-47.

Vulnerability Mining Tool Base On Crawler and Fuzzing

Qiu Zhiqing1,Huan Fei2
(1.School of Information Security Engineering,Shanghai Jiaotong University,Shanghai 200240 China; 2.School of Information Security Engineering,Shanghai Jiaotong University,Shanghai 200240 China)

With the growth of Internet popularity and the rapid evolution of Web technologies,challenges to online security become more and more serious. Existing XSS vulnerability detection technology is not perfect. For example,there is a need to open source code,the slow speed of detection and high rate of missing report. Therefore,it is necessary to do further research. XSS vulnerability detection principle,Technology and Research conducted in-depth study and research. The main work of this paper contains research and design of Vulnerability Mining Tool Base On Crawler and Fuzzing. Including efficiency optimization of crawler and testing and comparing the tool with current popular vulnerability mining tools to improve the tool can do vulnerability mining efficiently.

Web Front-end Security; Vulnerability Mining; XSS(Cross-site Scripting); Fuzzing Technology

TP311

A

1007-757X(2016)03-0073-04

裘志慶（1991-），男，上海交通大學(xué)，信息安全工程學(xué)院，碩士，研究方向：漏洞挖掘，上海，200030，

（2015.10.15）