1999–2018年安全漏洞數(shù)據(jù)集

李瑞科，劉元，廖雷，吳晨思，張玉清,1*

1. 西安電子科技大學(xué)網(wǎng)絡(luò)與信息安全學(xué)院，西安 710071

2. 中國科學(xué)院大學(xué)國家計(jì)算機(jī)網(wǎng)絡(luò)入侵防范中心，北京 101408

數(shù)據(jù)庫（集）基本信息簡(jiǎn)介

引 言

安全漏洞（Vulnerability）是信息系統(tǒng)在設(shè)計(jì)、實(shí)現(xiàn)或部署等過程中產(chǎn)生的缺陷。這些缺陷以不同形式存在于信息系統(tǒng)的各個(gè)層次和環(huán)節(jié)之中，一旦被惡意主體所利用和進(jìn)行攻擊，就會(huì)對(duì)信息系統(tǒng)的安全造成損害，從而影響構(gòu)建于信息系統(tǒng)之上的正常服務(wù)的運(yùn)行，危害信息系統(tǒng)的安全，導(dǎo)致用戶隱私信息被泄露，進(jìn)而對(duì)用戶、社會(huì)以及國家等造成重大損失[1]。

近年來，隨著網(wǎng)絡(luò)系統(tǒng)大規(guī)?；蛷?fù)雜性的增加，安全漏洞數(shù)量大幅增加，增多了惡意網(wǎng)絡(luò)用戶攻擊網(wǎng)絡(luò)設(shè)備的機(jī)會(huì)，同時(shí)也增大了用戶使用網(wǎng)絡(luò)時(shí)的安全風(fēng)險(xiǎn)。在減輕安全漏洞帶來的危害的措施中，安全漏洞數(shù)據(jù)源已成為了重要的信息基礎(chǔ)設(shè)施和保護(hù)網(wǎng)絡(luò)安全的重要手段[2]。安全漏洞數(shù)據(jù)源包括漏洞庫、安全論壇以及博客等，這些數(shù)據(jù)源一般會(huì)以網(wǎng)站的形式展示，便于用戶瀏覽。通過在漏洞數(shù)據(jù)源上發(fā)布漏洞信息，能夠及時(shí)、準(zhǔn)確地將安全預(yù)警信息提供給存在漏洞的軟件開發(fā)企業(yè)、廣大用戶、國家各部門及研究組織，從而可以有效降低安全事件發(fā)生的可能性。

由于各類漏洞數(shù)據(jù)源隸屬不同組織或機(jī)構(gòu)，使得不同漏洞平臺(tái)的漏洞描述存在許多差異，不同的漏洞平臺(tái)漏洞數(shù)據(jù)來源不同、關(guān)注的漏洞信息字段不同以及漏洞發(fā)布機(jī)制不同等，導(dǎo)致其漏洞描述格式不統(tǒng)一，漏洞數(shù)據(jù)也不能做到完備。本數(shù)據(jù)集通過采集整合多個(gè)國內(nèi)外知名漏洞平臺(tái)的漏洞數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行交叉對(duì)比整合，盡可能得到更加完備的數(shù)據(jù)集，并統(tǒng)一漏洞描述信息。統(tǒng)計(jì)各個(gè)數(shù)據(jù)集中的漏洞總條目數(shù)、含有通用漏洞紕漏（Common Vulnerability and Exposures，CVE[3]）標(biāo)識(shí)的漏洞條目數(shù)以及不同漏洞類型對(duì)應(yīng)的漏洞條目數(shù)，繪制漏洞數(shù)據(jù)近20年趨勢(shì)圖，得到更詳細(xì)的數(shù)據(jù)集，對(duì)漏洞數(shù)據(jù)質(zhì)量進(jìn)行提升，以提高漏洞數(shù)據(jù)的利用價(jià)值，減少因漏洞造成的損失。

1 數(shù)據(jù)采集和處理方法

1.1 數(shù)據(jù)源

安全漏洞數(shù)據(jù)源包括不同的漏洞庫、安全論壇以及博客。這些數(shù)據(jù)源保存了各類安全漏洞的基本信息、特征和解決方案等屬性，是信息安全基礎(chǔ)設(shè)施中重要的一環(huán)。漏洞數(shù)據(jù)一般會(huì)以網(wǎng)站的形式展示，便于用戶瀏覽、及時(shí)發(fā)現(xiàn)問題并做出相應(yīng)的防范措施。為保證數(shù)據(jù)的高可靠性和高質(zhì)量，本次研究的數(shù)據(jù)源主要有國內(nèi)外知名漏洞庫網(wǎng)站和漏洞論壇兩部分，包括美國國家漏洞NVD[4]、丹麥漏洞庫Secunia[5]、賽門鐵克的漏洞庫SecurityFocus[6]、國家信息安全漏洞共享平臺(tái)CNVD[7]、國家信息安全漏洞庫CNNVD[8]以及綠盟科技中文安全漏洞庫NSFocus[9]6個(gè)安全漏洞平臺(tái)（表1）。其中NVD、Secunia、SecurityFocus為英文漏洞平臺(tái)，漏洞描述為英文形式；CNVD、CNNVD、NSFocus為中文漏洞平臺(tái)，漏洞描述為中文形式。

表1 安全漏洞平臺(tái)

所屬組織 漏洞庫名稱 漏洞庫簡(jiǎn)稱國家信息技術(shù)安全研究中心和國家互聯(lián)網(wǎng)應(yīng)急中心 國家信息安全漏洞共享平臺(tái) CNVD中國信息安全測(cè)評(píng)中心 中國國家漏洞庫 CNNVD綠盟科技 綠盟科技中文安全漏洞庫 NSFocus

美國國家漏洞庫 NVD由美國國家標(biāo)準(zhǔn)與技術(shù)委員會(huì)中的計(jì)算機(jī)安全資源中心創(chuàng)建，由美國國土安全部的國家網(wǎng)絡(luò)安全司提供贊助。NVD是漏洞庫領(lǐng)域的集大成者，擁有高質(zhì)量的漏洞數(shù)據(jù)資源，數(shù)據(jù)資源豐富、漏洞描述全面詳細(xì)，是漏洞發(fā)布和安全預(yù)警的重要平臺(tái)。本數(shù)據(jù)集中含CVE編號(hào)的漏洞信息均可從NVD平臺(tái)獲取，但從NVD漏洞平臺(tái)采集到的漏洞數(shù)據(jù)并不完備，對(duì)于沒有CVE編號(hào)的漏洞或者中文描述類型的漏洞數(shù)據(jù)會(huì)遺漏，因此還需要從其他知名漏洞平臺(tái)采集漏洞信息作為補(bǔ)充和完善。

1.2 數(shù)據(jù)采集與處理

1.2.1 數(shù)據(jù)采集處理整體框架

數(shù)據(jù)采集處理整體框架如圖1所示，分為4個(gè)模塊：漏洞數(shù)據(jù)源模塊、漏洞數(shù)據(jù)采集模塊、漏洞數(shù)據(jù)處理模塊和漏洞數(shù)據(jù)存儲(chǔ)模塊。

圖1 數(shù)據(jù)采集處理整體框架

框架的整體流程為：由6個(gè)漏洞平臺(tái)提供1999–2018年的安全漏洞原始數(shù)據(jù)，通過數(shù)據(jù)采集引擎獲取到安全漏洞的原始信息，經(jīng)過漏洞處理模塊，完成漏洞字段提取和格式化等操作，最終將采集到的單條漏洞數(shù)據(jù)保存在MySql數(shù)據(jù)庫中形成安全漏洞數(shù)據(jù)集。

1.2.2 數(shù)據(jù)采集方法

安全漏洞數(shù)據(jù)采集部分，主要基于 Scrapy框架[10]，整體架構(gòu)如圖 2所示。Scrapy是一個(gè)基于Python的快速、高層次的提取網(wǎng)站結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。可以應(yīng)用在包括數(shù)據(jù)挖掘、信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中，也可以應(yīng)用在獲取接口所返回的數(shù)據(jù)。Scrapy框架在安全漏洞數(shù)據(jù)采集方面優(yōu)勢(shì)明顯，可以很快捷地針對(duì)不同的漏洞平臺(tái)定制不同的漏洞匹配規(guī)則，即定制選擇器進(jìn)行漏洞信息的多通道異步請(qǐng)求、分布式采集。

圖2 Scrapy整體架構(gòu)[10]

1.2.3 數(shù)據(jù)處理方法

漏洞平臺(tái)的漏洞數(shù)據(jù)大都為非結(jié)構(gòu)化的數(shù)據(jù)格式，來源多樣，不同數(shù)據(jù)平臺(tái)的數(shù)據(jù)表現(xiàn)形式各異，導(dǎo)致直接下載的數(shù)據(jù)難以理解和復(fù)用。安全漏洞數(shù)據(jù)處理部分完成數(shù)據(jù)字段的切片和格式化等操作。其中切片操作主要是在采集漏洞平臺(tái)數(shù)據(jù)時(shí)，將整個(gè)頁面信息根據(jù)頁面分布以及表單結(jié)構(gòu)進(jìn)行切片，得到關(guān)鍵的信息片段，以便對(duì)信息片段進(jìn)行數(shù)據(jù)字段提取。由于原始頁面數(shù)據(jù)字段描述形式不統(tǒng)一或部分頁面信息片段存在缺失，格式化操作完成數(shù)據(jù)字段標(biāo)準(zhǔn)化，并按照統(tǒng)一格式輸出。

根據(jù)Scrapy框架采集的數(shù)據(jù)處理后得到的數(shù)據(jù)字段有漏洞名稱、CVE編號(hào)、發(fā)布時(shí)間、更新時(shí)間、危害等級(jí)、分類、受影響廠商、參考鏈接等[11-13]。如圖3所示，顯示了6個(gè)漏洞平臺(tái)的字段數(shù)量，其中CNVD漏洞平臺(tái)所含字段最多為15個(gè)、所含字段最少的為只含有9個(gè)字段的CNNVD數(shù)據(jù)平臺(tái)。

圖3 漏洞字段數(shù)量

1.2.4 數(shù)據(jù)存儲(chǔ)方法

漏洞數(shù)據(jù)存儲(chǔ)部分，保存數(shù)據(jù)集有同步操作和異步操作兩種方法。數(shù)據(jù)量少的時(shí)候采用同步操作；數(shù)據(jù)量大時(shí)采用異步操作。采集數(shù)據(jù)的速度大于數(shù)據(jù)庫插入的速度，當(dāng)數(shù)據(jù)量大時(shí)就會(huì)出現(xiàn)堵塞，就需要采用異步保存。安全漏洞數(shù)據(jù)集采用異步存儲(chǔ)模式將格式化后的漏洞信息字段插入MySql數(shù)據(jù)庫中保存，整合，可視化。

2 數(shù)據(jù)樣本描述

圖4為1999–2018年安全漏洞數(shù)據(jù)的統(tǒng)計(jì)圖，針對(duì)每個(gè)漏洞平臺(tái)分別采集了其近20年的漏洞報(bào)告，統(tǒng)計(jì)漏洞數(shù)據(jù)條目，構(gòu)建安全漏洞數(shù)據(jù)集。

圖4 1999–2018安全漏洞數(shù)量

圖5展示了所采集的NVD安全漏洞數(shù)據(jù)集的歷年漏洞記錄數(shù)量，漏洞的數(shù)量總體上呈現(xiàn)逐年增加的趨勢(shì)，而且近兩年來，漏洞數(shù)量劇增。2017年的漏洞記錄數(shù)超過了2016年全年漏洞記錄數(shù)的2倍，2018年發(fā)現(xiàn)的漏洞數(shù)量在 2017年的基礎(chǔ)上又有所增加。

圖5 NVD歷年安全漏洞數(shù)量統(tǒng)計(jì)

表2展示了NVD數(shù)據(jù)集中漏洞數(shù)據(jù)按照不同漏洞類型劃分的情況，將漏洞類型劃分為28個(gè)詳細(xì)類別和綜合類別Others。漏洞條目總數(shù)據(jù)量為166072條，漏洞數(shù)量最多的三種漏洞類型為：緩沖區(qū)錯(cuò)誤（Buffer Errors）類型，17956條，比例為10.81%；跨站點(diǎn)腳本（Cross-Site Scripting XSS）類型，15488條，比例為9.33%和權(quán)限和訪問控制（Permissions, Privileges, and Access Control）類型，10144條，比例為6.11%。

表2 不同漏洞類型漏洞數(shù)量

圖6為NVD漏洞數(shù)據(jù)集根據(jù)類型劃分取條目數(shù)量值排名前15的類型構(gòu)成的餅狀分布圖。其中漏洞總數(shù)量為15種類型漏洞的數(shù)量和。通過統(tǒng)計(jì)圖可以很直觀地看出前5種漏洞類型漏洞數(shù)量之和占據(jù)了整個(gè)漏洞總數(shù)量一半以上。

圖6 漏洞類型分布圖

3 數(shù)據(jù)質(zhì)量控制和評(píng)估

本數(shù)據(jù)從數(shù)據(jù)來源、數(shù)據(jù)采集和數(shù)據(jù)處理3個(gè)方面對(duì)數(shù)據(jù)質(zhì)量進(jìn)行控制和評(píng)價(jià)。

為保證安全漏洞數(shù)據(jù)集的質(zhì)量和可信度，采集的原始數(shù)據(jù)均來自于國內(nèi)外知名漏洞網(wǎng)站或論壇，由于其對(duì)數(shù)據(jù)進(jìn)行嚴(yán)格檢查、篩選、處理和發(fā)布，從而保證了原始數(shù)據(jù)的高質(zhì)量和高可信度。

在數(shù)據(jù)采集階段，為提高效率和避免手工采集錯(cuò)誤，均采用程序自動(dòng)采集加人工抽樣驗(yàn)證的方法對(duì)數(shù)據(jù)進(jìn)行完整性和正確性驗(yàn)證。采集過程中如果由于網(wǎng)絡(luò)或服務(wù)器擁堵等原因?qū)е律倭柯┒磾?shù)據(jù)條目未能一次性采集完成，則設(shè)置程序進(jìn)行遍歷采集，將未能采集到的漏洞鏈接暫存，以待后續(xù)再次遍歷采集；若遍歷完畢后仍未能采集到，則采用人工方法，手動(dòng)采集。

數(shù)據(jù)處理階段，由于不同漏洞庫格式不統(tǒng)一，漏洞條目各異，很多存在特殊字符，導(dǎo)致格式化字段時(shí)，有些匹配代碼并不能一次性完成所有格式化操作，產(chǎn)生數(shù)據(jù)差異，因此處理后再次采用人工對(duì)比檢查，對(duì)數(shù)據(jù)的檢查包括網(wǎng)絡(luò)異常、程序錯(cuò)誤導(dǎo)致數(shù)據(jù)段缺失等明顯的問題以及數(shù)據(jù)格式、字段標(biāo)準(zhǔn)化命名、字段量綱、數(shù)據(jù)完整性等。單個(gè)數(shù)據(jù)條目的檢查中，主要針對(duì)異常數(shù)據(jù)進(jìn)行修正、剔除和重新采集。

4 數(shù)據(jù)價(jià)值

目前，由于各類漏洞數(shù)據(jù)源隸屬不同組織和機(jī)構(gòu)，其運(yùn)營宗旨和運(yùn)營方式均有所不同，使得不同漏洞平臺(tái)存在許多差異。不同的漏洞平臺(tái)漏洞數(shù)據(jù)來源不同、關(guān)注的漏洞信息字段不同以及漏洞發(fā)布機(jī)制不同等，導(dǎo)致其漏洞描述格式不統(tǒng)一，漏洞數(shù)據(jù)也不能做到完備。

漏洞數(shù)據(jù)保存了各類漏洞的基本信息、特征、解決方案等屬性。本數(shù)據(jù)集通過采集整合上述國內(nèi)外知名漏洞平臺(tái)的漏洞數(shù)據(jù)，盡可能得到更加完備的數(shù)據(jù)集，并且統(tǒng)一漏洞描述格式。根據(jù)漏洞數(shù)據(jù)的各個(gè)屬性，對(duì)數(shù)據(jù)集進(jìn)行詳細(xì)劃分和數(shù)量統(tǒng)計(jì)，給出了描述更加清晰的漏洞條目。安全研究人員可以使用本數(shù)據(jù)集對(duì)不同漏洞平臺(tái)的的漏洞信息進(jìn)行差異性檢測(cè)，判斷不同漏洞平臺(tái)對(duì)同一條安全漏洞的描述是否有誤以及安全平臺(tái)的漏洞描述是否全面。安全漏洞數(shù)據(jù)集在安全預(yù)警、應(yīng)急響應(yīng)和安全事件處理方面同樣發(fā)揮著重要的作用。通過查看漏洞數(shù)據(jù)集中的漏洞信息，能夠及時(shí)、準(zhǔn)確地將安全預(yù)警信息提供給存在漏洞的軟件開發(fā)企業(yè)、廣大用戶、國家各部門及研究組織，從而可以有效降低安全事件發(fā)生的可能性。