• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    惡意PDF 檢測(cè)中的特征工程研究與改進(jìn)

    2022-10-29 01:57:36何涇沙吳亞飈
    關(guān)鍵詞:結(jié)構(gòu)特征文檔數(shù)量

    黃 娜,何涇沙,吳亞飈

    (1. 北京天融信科技有限公司 北京 海淀區(qū) 100085;2. 北京工業(yè)大學(xué)信息學(xué)部 北京 朝陽(yáng)區(qū) 100124)

    基于文件格式漏洞的攻擊行為是網(wǎng)絡(luò)安全的主要威脅之一。文件格式往往具有跨平臺(tái)的特點(diǎn),一旦漏洞被利用,各類目標(biāo)主機(jī)都可被輕易攻破。文檔類的文件格式,如doc、docx、xls、pdf,在日常工作與生活中傳播廣泛,是藏匿和傳播惡意行為的重要媒介,由此引起的安全事件不勝枚舉。據(jù)Cisco 發(fā)布的《2018 年度網(wǎng)絡(luò)安全報(bào)告》統(tǒng)計(jì),在2017 年間,惡意郵件附件中最普遍的3 種文件格式為Office 文檔(38%)、壓縮文件(37%)以及PDF文件(14%)。

    PDF 文件格式是由Adobe 公司于1993 年制定的一種電子文檔分發(fā)開(kāi)放式標(biāo)準(zhǔn),具有以下優(yōu)點(diǎn):1) 靈活的層次結(jié)構(gòu),可以封裝文字、圖像、字體格式、超鏈接、聲音、影像等眾多信息;2) 跨平臺(tái)的特性,在各類操作系統(tǒng)中通用。正是由于這些突出的特點(diǎn),使得PDF 文件在為我們帶來(lái)便利的同時(shí),也為黑客提供了可乘之機(jī)。從攻擊角度來(lái)看,惡意PDF 文件可分為兩種類型:1) 利用PDF文檔規(guī)范本身存在的漏洞,如字典中相同key 值對(duì)應(yīng)不同value、對(duì)象號(hào)錯(cuò)誤引起誤識(shí)別,以及利用ASCII 編碼隱藏關(guān)鍵節(jié)點(diǎn)等;2) PDF 文件中攜帶惡意內(nèi)容分為4 種具體情況,即嵌入惡意JavaScript代碼、嵌入惡意文檔、嵌入惡意遠(yuǎn)程鏈接以及嵌入惡意軟件。

    PDF 文件數(shù)量十分龐大,且具有統(tǒng)一的文件格式規(guī)范,便于提取出結(jié)構(gòu)化特征,因此機(jī)器學(xué)習(xí)技術(shù)在惡意PDF 檢測(cè)中有良好的應(yīng)用條件及效果。本文首先回顧惡意PDF 檢測(cè)研究現(xiàn)狀,對(duì)其中存在的混淆和逃逸問(wèn)題進(jìn)行闡述;然后針對(duì)混淆和逃逸設(shè)計(jì)完善的特征組合,包括內(nèi)容特征、結(jié)構(gòu)特征以及邏輯樹(shù)的間接結(jié)構(gòu)特征,提高檢測(cè)模型的性能。

    1 研究背景

    1.1 PDF 規(guī)范介紹

    從物理意義上看,PDF 文件由文件頭、對(duì)象集合、交叉引用表以及文件尾組成。文件頭中儲(chǔ)存該P(yáng)DF 遵循的規(guī)范版本。對(duì)象集合包括文檔包含的所有對(duì)象,每個(gè)對(duì)象都以obj 作為開(kāi)頭標(biāo)志,endobj 作為結(jié)尾標(biāo)志,中間為對(duì)象所包含的字段、子對(duì)象、流內(nèi)容等。交叉引用表是PDF 文件內(nèi)部的重要組織方式,用戶可以直接訪問(wèn)某對(duì)象,以xref 作為開(kāi)頭標(biāo)志。文件尾以trailer 為開(kāi)頭標(biāo)志,包含一些鍵值對(duì)形式的文檔描述信息,如所有對(duì)象的數(shù)量、文檔的作者、創(chuàng)建時(shí)間、ID 等。

    從邏輯意義上看,PDF 文件為樹(shù)形結(jié)構(gòu),如圖1 所示,Catalog 為字典類型的根節(jié)點(diǎn),包含Outlines、Pages 等子對(duì)象節(jié)點(diǎn)。其中,Pages 本身為字典型數(shù)據(jù)結(jié)構(gòu),是所有頁(yè)面的集合入口,包括Count、Kids、Parent、Type 等字段,Kids 包含描述頁(yè)面信息的Page 對(duì)象或PagesTree 對(duì)象。除Pages 之 外,Catalog 字 典 中 還 有Type、Version、PageLabels、PageLayout、AA 等對(duì)象節(jié)點(diǎn),表1 描述了部分關(guān)鍵對(duì)象及其意義。

    圖1 邏輯結(jié)構(gòu)示例

    表1 Catalog 字典中常見(jiàn)的對(duì)象

    1.2 相關(guān)研究

    文獻(xiàn)[1]結(jié)合使用動(dòng)態(tài)特征與靜態(tài)特征進(jìn)行惡意PDF 檢測(cè),提取動(dòng)態(tài)API 調(diào)用特征,在選擇靜態(tài)特征時(shí),對(duì)文檔結(jié)構(gòu)中的關(guān)鍵字出現(xiàn)頻次使用KMeans 聚類,選出正常樣本的關(guān)鍵字集合以及惡意樣本的關(guān)鍵字集合[1]。在基于機(jī)器學(xué)習(xí)的檢測(cè)方法中,所用的靜態(tài)特征可分為邏輯結(jié)構(gòu)特征和物理內(nèi)容特征兩類。物理內(nèi)容特征包括元數(shù)據(jù)特征和具體內(nèi)容特征等;邏輯結(jié)構(gòu)特征包括節(jié)點(diǎn)路徑特征、節(jié)點(diǎn)數(shù)量特征等。各類方法的歸納分類如圖2 所示。

    圖2 現(xiàn)有方法分類

    元數(shù)據(jù)包括版本、作者、創(chuàng)建時(shí)間、編碼方式等直接信息,以及文件大小、頁(yè)面數(shù)目等間接信息。文件具體內(nèi)容特征是指根據(jù)PDF 文件中具體內(nèi)容提取的特征,如流內(nèi)容的序列特征、熵、JavaScript 代碼的特征等。PDF 中的JavaScript 代碼容易成為惡意行為的載體,是一種比較廣泛的攻擊方式。文獻(xiàn)[2]通過(guò)分析PDF 文檔中的JavaScript對(duì)象來(lái)檢測(cè)惡意PDF。這種方法雖具有可靠的準(zhǔn)確性,但對(duì)于非嵌入JavaScript 類型的惡意PDF 檢測(cè)無(wú)效。

    目前常用的邏輯結(jié)構(gòu)特征主要包括節(jié)點(diǎn)的路徑特征和數(shù)量。文獻(xiàn)[3-4]提出了Bag-of-Path 方法,即使用節(jié)點(diǎn)路徑作為特征,路徑葉子節(jié)點(diǎn)的值經(jīng)過(guò)數(shù)值化等處理作為相應(yīng)的特征值。該方法直接利用對(duì)象路徑反映PDF 文檔包含的對(duì)象特性及內(nèi)容,不容易受混淆影響,但提取過(guò)程較為復(fù)雜,使得檢測(cè)效率較低,難以適用于實(shí)時(shí)檢測(cè)環(huán)境。文獻(xiàn)[2]提出的PDFMS(PDF malware slayer),將PDF 中存在的對(duì)象節(jié)點(diǎn)的數(shù)量作為特征,提取過(guò)程簡(jiǎn)便,但沒(méi)有將正常PDF 文檔中一些常見(jiàn)的對(duì)象數(shù)量作為判別特征。

    物理內(nèi)容特征和邏輯結(jié)構(gòu)特征能從不同的方面反映惡意PDF 和正常PDF 的區(qū)別,文獻(xiàn)[5-7]將兩者結(jié)合,常用的機(jī)器學(xué)習(xí)算法,如支持向量機(jī)(support vector machine, SVM)、決策樹(shù)(decision tree,DT)以及隨機(jī)森林(random forest, RF)等,都有相應(yīng)的研究及應(yīng)用。文獻(xiàn)[8]從VirusTotal 收集了2008 年?2019 年間的正常及惡意PDF 樣本,直接將原始的PDF 文件輸入卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)進(jìn)行分類檢測(cè),取得了94%的檢測(cè)準(zhǔn)確率。

    隨著機(jī)器學(xué)習(xí)安全問(wèn)題逐漸引起重視,惡意PDF 檢測(cè)領(lǐng)域也出現(xiàn)了關(guān)于防御對(duì)抗的研究[9],旨在增強(qiáng)檢測(cè)模型的魯棒性。文獻(xiàn)[10]為了防御惡意樣本逃逸SVM 模型的檢測(cè),分別提取正常和惡意PDF 樣本集合中的高頻節(jié)點(diǎn)作為特征,通過(guò)增加正常節(jié)點(diǎn)對(duì)惡意PDF 進(jìn)行偽裝,將生成的逃逸樣本加入SVM 分類器的訓(xùn)練,經(jīng)過(guò)3 次迭代后,分類器能夠完全檢測(cè)出這類逃逸樣本。文獻(xiàn)[11]提出了防御特征加法攻擊的集成決策樹(shù)方法,但沒(méi)有給出特征加法攻擊中的具體特征。

    2 方法研究及改進(jìn)

    2.1 惡意PDF 中的混淆和逃逸

    除了增加正常節(jié)點(diǎn)的逃逸方式外,在對(duì)大量惡意PDF 進(jìn)行分析之后,發(fā)現(xiàn)還存在利用PDF 規(guī)范漏洞的混淆和逃逸手段。利用這幾種方式,惡意PDF 文檔中的關(guān)鍵對(duì)象能逃逸現(xiàn)有檢測(cè)方法,但依然能夠在目前計(jì)算機(jī)中正常執(zhí)行。

    1) 對(duì)象號(hào)重寫(xiě)。對(duì)于對(duì)象號(hào)重復(fù)的情況,大部分解析器只讀取對(duì)象號(hào)相同的最后一個(gè)對(duì)象。

    2) 對(duì)象隱藏。對(duì)象隱藏在文件尾(trailer)中,能逃避目前大部分的解析方法,但隱藏在trailer 中的對(duì)象依然能正常執(zhí)行。另外,在PDF 文檔body 內(nèi),ObjStm可以將對(duì)象壓縮或加密為流(stream),若不對(duì)ObjStm進(jìn)行解析,則不能讀取壓縮對(duì)象的內(nèi)容。

    3) 關(guān)鍵節(jié)點(diǎn)混淆?,F(xiàn)有的一種主流靜態(tài)檢測(cè)方法,是以關(guān)鍵節(jié)點(diǎn)數(shù)量作為特征,但關(guān)鍵節(jié)點(diǎn)可以通過(guò)Ascii 編碼混淆,使檢測(cè)器提取出錯(cuò)誤的關(guān)鍵節(jié)點(diǎn)數(shù)量。另外,PDF 嵌入文件有兩種方式:“/Type/EmbeddedFile”與“/EmbeddedFiles”,但現(xiàn)有的相關(guān)方法通常只提取后者的數(shù)量作為關(guān)鍵節(jié)點(diǎn)數(shù)量特征。

    4) 對(duì)象無(wú)結(jié)束標(biāo)志。正常來(lái)說(shuō),PDF 中每一個(gè)對(duì)象都是以“obj”作為開(kāi)始標(biāo)志,以“endobj”作為結(jié)束標(biāo)志。但有些惡意PDF 在關(guān)鍵對(duì)象中刪除結(jié)束標(biāo)志,使得靜態(tài)檢測(cè)方法不能正常讀取該對(duì)象,也就無(wú)法提取該對(duì)象的特征。

    2.2 改進(jìn)的靜態(tài)解析方法

    本文提出了一種改進(jìn)的PDF 靜態(tài)解析方法,能夠更加準(zhǔn)確地提取出靜態(tài)特征,包括預(yù)處理和具體特征提取,對(duì)抗逃逸手段。先對(duì)PDF 文檔預(yù)處理:1) 讀取整個(gè)PDF 文檔的字節(jié)流,搜索ObjStm對(duì)象,其中/filter 節(jié)點(diǎn)中儲(chǔ)存了所采用的編碼算法,如“FlateDecode”,根據(jù)相應(yīng)的算法將對(duì)象解碼并替換原有內(nèi)容;2) 搜索標(biāo)識(shí)對(duì)象類型的節(jié)點(diǎn),檢查是否有Ascii 編碼,若有,對(duì)照Ascii 編碼將其還原;3) 匹配每一個(gè)對(duì)象的開(kāi)始和結(jié)束標(biāo)志,若沒(méi)有結(jié)束標(biāo)志,則將“endobj”添加到該對(duì)象的結(jié)尾處。然后,分別提取PDF 文檔的內(nèi)容特征、結(jié)構(gòu)特征以及邏輯樹(shù)間接結(jié)構(gòu)特征。

    2.2.1 內(nèi)容特征

    本文設(shè)計(jì)及采用的內(nèi)容特征具體見(jiàn)表2。PDF規(guī)范版本號(hào)、文件尾標(biāo)志(“EOF”)數(shù)量、尾部所包含字節(jié)數(shù)是否經(jīng)過(guò)修改,根據(jù)這些特征能夠初步判斷一個(gè)PDF 文檔是否符合規(guī)范、是否為偽造PDF。其中,尾部所包含字節(jié)數(shù)能體現(xiàn)出是否有對(duì)象隱藏在尾部。

    字節(jié)熵E的計(jì)算方法為:

    式中,bi表 示一個(gè)字節(jié), num(bi)表 示字節(jié)bi的數(shù)量;T表示計(jì)算內(nèi)容的字節(jié)總數(shù)。

    采用字節(jié)熵值、字節(jié)比例以及對(duì)象數(shù)與文件大小的比例作為特征,能夠分辨攻擊者向惡意PDF中添加的字節(jié)流、對(duì)象節(jié)點(diǎn)及其他無(wú)意義內(nèi)容,防止對(duì)檢測(cè)器產(chǎn)生誤導(dǎo)。與正常PDF 相比,惡意PDF 的字節(jié)熵值、流與非流字節(jié)比例、對(duì)象數(shù)與文件大小比例往往較低,因此將其作為判別正常PDF 和惡意PDF 的特征。經(jīng)過(guò)實(shí)驗(yàn)證明,關(guān)鍵節(jié)點(diǎn)(如OpenAction、URI 等)數(shù)量在節(jié)點(diǎn)總數(shù)中所占的比例,也是一個(gè)重要的判別特征。

    2.2.2 結(jié)構(gòu)特征

    惡意PDF 的主要攻擊方式是嵌入JavaScript 惡意代碼、嵌入惡意文件、嵌入惡意鏈接或交互式表單,因此,這4 類相關(guān)對(duì)象的數(shù)量能夠反映文檔是否具有潛在的惡意行為?,F(xiàn)有相關(guān)方法通常以JavaScript、OpenAction、URI 等能夠反映出文檔具有潛在惡意屬性的對(duì)象為檢測(cè)重點(diǎn)。正常的PDF文檔通常儲(chǔ)存較多的文字、圖像等,因此包含較多的Encoding、Font、Resources 以及MediaBox 等正常屬性對(duì)象。

    Bag-of-Path 方法是將邏輯結(jié)構(gòu)中所存在的葉子節(jié)點(diǎn)的路徑作為特征,能夠表征更加具體的節(jié)點(diǎn)信息以及節(jié)點(diǎn)嵌套關(guān)系,但是該方法的實(shí)現(xiàn)效率較低,且提取的特征維度高。本文基于該方法,將具有相同葉子節(jié)點(diǎn)的路徑合并,提取高頻次節(jié)點(diǎn)的數(shù)量作為結(jié)構(gòu)特征,實(shí)現(xiàn)更加簡(jiǎn)便,且能夠降低特征維度。

    為了找出對(duì)惡意檢測(cè)意義較大的關(guān)鍵節(jié)點(diǎn),利用Bag-of-Path 方法提取了數(shù)據(jù)集中所有樣本的路徑,將其中的高頻節(jié)點(diǎn)作為候選特征,節(jié)點(diǎn)數(shù)量作為特征值。根據(jù)本文提出的靜態(tài)解析方法提取結(jié)構(gòu)特征,遇到具有重復(fù)對(duì)象號(hào)的對(duì)象、隱藏在trailer中的對(duì)象,它們所包含的節(jié)點(diǎn)數(shù)量也會(huì)被提取,避免逃逸;將“EmbeddedFile”與“EmbeddedFiles”兩類節(jié)點(diǎn)的數(shù)量合并,作為“EmbeddedFile”特征值。

    2.2.3 邏輯樹(shù)間接結(jié)構(gòu)特征

    完成以上預(yù)處理后,再解析PDF 文件的邏輯結(jié)構(gòu),如圖3 示例,通過(guò)解析一個(gè)PDF 文件的邏輯結(jié)構(gòu),生成邏輯結(jié)構(gòu)樹(shù)。從尾部入手,采用遞歸的方法遍歷,生成XML 格式的DOM 樹(shù),算法詳細(xì)描述如下。

    圖3 PDF 邏輯結(jié)構(gòu)示例

    從生成的DOM 樹(shù)提取間接的結(jié)構(gòu)特征,具體包括樹(shù)的深度和廣度、特殊子樹(shù)的深度和廣度、子樹(shù)平均廣度、所有節(jié)點(diǎn)的類型數(shù)以及各類節(jié)點(diǎn)的熵。深度是從根節(jié)點(diǎn)到所有子節(jié)點(diǎn)的路徑中,最長(zhǎng)路徑的節(jié)點(diǎn)數(shù);廣度是在樹(shù)的所有層中,節(jié)點(diǎn)最多的一層所包含的節(jié)點(diǎn)數(shù)。經(jīng)過(guò)對(duì)大量樣本的分析,發(fā)現(xiàn)較多惡意PDF 會(huì)將關(guān)鍵節(jié)點(diǎn)藏匿在一個(gè)較深的分支中,如圖3 所示,因此DOM 樹(shù)的深度和廣度是區(qū)分PDF 文檔是否為惡意的一個(gè)有效特征。特殊子樹(shù)是根據(jù)正常PDF 和惡意PDF 所包含的節(jié)點(diǎn)對(duì)象的區(qū)別,或者節(jié)點(diǎn)對(duì)象梳理的區(qū)別,確定一個(gè)特殊節(jié)點(diǎn),取出DOM 樹(shù)中以該特殊節(jié)點(diǎn)為根節(jié)

    2.3 特征選擇

    使用決策樹(shù)算法中的信息增益率評(píng)價(jià)某個(gè)特征在分類任務(wù)中的重要性。將信息增益率表示為:

    式中,D表示數(shù)據(jù)集;A表示某個(gè)特征;H(D)為數(shù)據(jù)集中樣本類別的信息熵;H(D|A)為加入特征A作為分類依據(jù)后類別的信息熵; InI(D,A)為特征A內(nèi)部的信息熵,其計(jì)算分別為:

    式中,n為數(shù)據(jù)集中的樣本類別數(shù);m為特征A 的取值個(gè)數(shù);pi表 示隨機(jī)取出一個(gè)樣本屬于類別i的概率;p(i|A=a j)則 表示在特征A取值為aj的條件下,隨機(jī)取出一個(gè)樣本屬于類別i的概率。

    2.4 LightGBM 分類器

    集成學(xué)習(xí)是目前常用的一種防御對(duì)抗方法,通過(guò)融合多個(gè)弱學(xué)習(xí)器來(lái)降低攻擊風(fēng)險(xiǎn)。文獻(xiàn)[11]提出使用Adaboost 算法訓(xùn)練集成決策樹(shù),提高惡意PDF 檢測(cè)魯棒性的方法。LightGBM 也是一種采用Boosting 方式的集成學(xué)習(xí)算法,以梯度提升決策樹(shù)(gradient boosting decision tree, GBDT)為核心,通過(guò)改進(jìn)的生長(zhǎng)策略、分割算法以及并行策略,提高GBDT 的訓(xùn)練效率,降低內(nèi)存占用率。與深度學(xué)習(xí)以及其他集成學(xué)習(xí)算法相比,LightGBM 在并行拓展與運(yùn)行效率上具有明顯的優(yōu)勢(shì),成為工業(yè)界主要應(yīng)用的機(jī)器學(xué)習(xí)算法之一[12]。本文使用LightGBM框架訓(xùn)練GBDT 模型,根據(jù)前面所提取的特征區(qū)分正常和惡意的PDF 文檔。

    3 實(shí)驗(yàn)與分析

    3.1 方法驗(yàn)證

    收集了網(wǎng)絡(luò)環(huán)境中近兩年的正常和惡意PDF樣本各6 000 個(gè),作為實(shí)驗(yàn)數(shù)據(jù)集,如表3 所示。在數(shù)據(jù)集上首先使用Bag-of-Path 方法提取至少出現(xiàn)于1 000 個(gè)樣本中的路徑,找出這些路徑的葉子節(jié)點(diǎn)對(duì)象;然后提取對(duì)象數(shù)量作為結(jié)構(gòu)特征。提取本文設(shè)計(jì)的其他特征,形成71 維特征。圖4 給出了正負(fù)樣本其中4 種特征的分布,可看出明顯差異:特征Ratio 表現(xiàn)為黑樣本的特征值較高,白樣本的特征值較低;特征Root_depth 表現(xiàn)為白樣本特征值較高,黑樣本的特征值較低;特征ObjCount_by_size 表現(xiàn)為黑樣本的特征值高于白樣本特征值;特征Stream_by_nonstream 表現(xiàn)為白樣本特征值高于黑樣本特征值。

    圖4 黑白樣本的特征對(duì)比

    表3 實(shí)驗(yàn)數(shù)據(jù)集

    圖5 展示出所提取的71 維具體特征及它們各自的重要性。可以看出,本文提出的內(nèi)容特征以及DOM 樹(shù)結(jié)構(gòu)的間接特征,如關(guān)鍵節(jié)點(diǎn)數(shù)量、節(jié)點(diǎn)總數(shù)比例、根節(jié)點(diǎn)深度、字節(jié)熵、流內(nèi)容字節(jié)數(shù)、字節(jié)比例等的重要性較高;在結(jié)構(gòu)特征中,Resources、ToUnicode、BaseEncoding 等正常屬性的對(duì)象數(shù)量特征,與OpenAction、AA、EmbeddedFile、JavaScript 等具有惡意屬性的對(duì)象數(shù)量特征都具有較高重要性。結(jié)尾標(biāo)志“%EOF”、JBIG2Decode、colors 等13 維特征不具有重要性,因此,在后續(xù)的模型訓(xùn)練中刪除這13 維特征。

    圖5 特征重要性

    3.2 與其他特征的性能對(duì)比

    為了對(duì)比改進(jìn)的特征工程方法,按照文獻(xiàn)[4]和文獻(xiàn)[13]使用的特征工程分別提取實(shí)驗(yàn)數(shù)據(jù)集的特征,同樣使用LightGBM 算法訓(xùn)練模型。測(cè)試性能的對(duì)比如表4 所示,可以看出本方法比PDFMS具有更高的AUC 值,與Bag-of-Path 處于同一水平。對(duì)比表5,本方法仍然顯示出更高的準(zhǔn)確性,而且特征維度較低,有利于簡(jiǎn)化模型,在效率上得到提高。

    表4 不同方法的AUC 值對(duì)比

    表5 不同特征的性能對(duì)比

    3.3 魯棒性驗(yàn)證

    黑客在制造對(duì)抗機(jī)器學(xué)習(xí)檢測(cè)的惡意PDF時(shí),既要保留PDF 中所嵌入的惡意對(duì)象,又要誤導(dǎo)檢測(cè)模型,因此大多數(shù)的做法是向惡意PDF 中插入一些正常的節(jié)點(diǎn)對(duì)象、內(nèi)容流等,試圖使模型將其誤認(rèn)為正常PDF。如惡意PDF 中obj 數(shù)量少于正常PDF,于是黑客通過(guò)增加obj 對(duì)象的方式生成對(duì)抗樣本。在現(xiàn)有惡意樣本的基礎(chǔ)上,統(tǒng)計(jì)惡意PDF 和正常PDF 中各個(gè)對(duì)象的數(shù)量差異,通過(guò)增加正常對(duì)象的數(shù)量,生成對(duì)抗樣本測(cè)試集,用于測(cè)試、評(píng)估模型的魯棒性。表6 對(duì)比了模型檢測(cè)無(wú)對(duì)抗樣本和有對(duì)抗樣本的性能,精確率降低了0.1%,召回率提高了0.1%,整體準(zhǔn)確率無(wú)差別,可以證明該模型防御對(duì)抗手段的魯棒性較為可靠。

    表6 對(duì)抗魯棒性測(cè)試結(jié)果

    4 結(jié) 束 語(yǔ)

    本文改進(jìn)并實(shí)現(xiàn)了PDF 靜態(tài)特征提取方法,能夠提取出更加準(zhǔn)確的靜態(tài)特征,防止混淆和逃逸。實(shí)驗(yàn)驗(yàn)證表明,與現(xiàn)有的其他特征工程相比,本文結(jié)合使用的結(jié)構(gòu)特征、內(nèi)容特征以及邏輯樹(shù)間接結(jié)構(gòu)特征,能夠使機(jī)器學(xué)習(xí)檢測(cè)模型實(shí)現(xiàn)較高的準(zhǔn)確性和魯棒性。

    猜你喜歡
    結(jié)構(gòu)特征文檔數(shù)量
    有人一聲不吭向你扔了個(gè)文檔
    統(tǒng)一數(shù)量再比較
    基于RI碼計(jì)算的Word復(fù)制文檔鑒別
    特殊環(huán)境下雙駝峰的肺組織結(jié)構(gòu)特征
    頭發(fā)的數(shù)量
    Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
    2012年冬季南海西北部營(yíng)養(yǎng)鹽分布及結(jié)構(gòu)特征
    我國(guó)博物館數(shù)量達(dá)4510家
    不讓他人隨意下載Google文檔
    電腦迷(2012年4期)2012-04-29 06:12:13
    C-PRrpp半群的結(jié)構(gòu)特征
    国产亚洲一区二区精品| 亚洲国产精品成人久久小说| 超碰成人久久| 国产精品一区二区精品视频观看| 色老头精品视频在线观看| 又紧又爽又黄一区二区| 又黄又粗又硬又大视频| 欧美乱码精品一区二区三区| av在线播放精品| 亚洲av片天天在线观看| 午夜免费鲁丝| 黄色毛片三级朝国网站| 国产免费视频播放在线视频| 王馨瑶露胸无遮挡在线观看| 亚洲专区字幕在线| 欧美人与性动交α欧美软件| 国产精品免费视频内射| 久久久久久久大尺度免费视频| 国产一区有黄有色的免费视频| 精品人妻熟女毛片av久久网站| 亚洲国产欧美一区二区综合| 老司机午夜福利在线观看视频 | 免费久久久久久久精品成人欧美视频| 欧美日韩精品网址| 午夜福利乱码中文字幕| 免费高清在线观看视频在线观看| 黄色a级毛片大全视频| 亚洲欧美日韩另类电影网站| 国产一卡二卡三卡精品| 欧美成狂野欧美在线观看| 一级毛片电影观看| 五月天丁香电影| 少妇精品久久久久久久| 交换朋友夫妻互换小说| 男女国产视频网站| 97人妻天天添夜夜摸| 少妇精品久久久久久久| 电影成人av| 欧美一级毛片孕妇| 狂野欧美激情性bbbbbb| 亚洲男人天堂网一区| 色精品久久人妻99蜜桃| 夫妻午夜视频| 丰满饥渴人妻一区二区三| 国产精品国产av在线观看| 天天操日日干夜夜撸| av又黄又爽大尺度在线免费看| 亚洲精品国产av成人精品| 女人高潮潮喷娇喘18禁视频| 成年av动漫网址| 男女床上黄色一级片免费看| 99久久国产精品久久久| 欧美 亚洲 国产 日韩一| videos熟女内射| 黄色视频,在线免费观看| 黄色片一级片一级黄色片| 免费一级毛片在线播放高清视频 | 一本一本久久a久久精品综合妖精| 亚洲激情五月婷婷啪啪| 国产一区二区 视频在线| 国产精品国产三级国产专区5o| 亚洲视频免费观看视频| 国产一区二区三区av在线| 91老司机精品| 日韩制服丝袜自拍偷拍| 日韩熟女老妇一区二区性免费视频| 日韩有码中文字幕| 女人爽到高潮嗷嗷叫在线视频| 亚洲伊人色综图| 亚洲av电影在线进入| 日韩一卡2卡3卡4卡2021年| 午夜日韩欧美国产| 精品亚洲成a人片在线观看| 99国产综合亚洲精品| 99热网站在线观看| 中文字幕精品免费在线观看视频| 久久精品熟女亚洲av麻豆精品| 国产精品久久久久久人妻精品电影 | 大陆偷拍与自拍| 老司机午夜十八禁免费视频| 免费日韩欧美在线观看| 他把我摸到了高潮在线观看 | 制服人妻中文乱码| 欧美 日韩 精品 国产| 日韩三级视频一区二区三区| 女人精品久久久久毛片| 亚洲欧美清纯卡通| 欧美黑人精品巨大| 免费观看a级毛片全部| 啦啦啦中文免费视频观看日本| 欧美 日韩 精品 国产| 性高湖久久久久久久久免费观看| 国产成人欧美在线观看 | 色播在线永久视频| 精品一区二区三卡| 欧美亚洲 丝袜 人妻 在线| 淫妇啪啪啪对白视频 | 久久天躁狠狠躁夜夜2o2o| 高清在线国产一区| 午夜两性在线视频| 国产三级黄色录像| 精品久久蜜臀av无| 国产精品一二三区在线看| 高清视频免费观看一区二区| 国产精品秋霞免费鲁丝片| 久久国产亚洲av麻豆专区| 精品人妻1区二区| 黄频高清免费视频| 久久久精品94久久精品| 久热爱精品视频在线9| 亚洲视频免费观看视频| 别揉我奶头~嗯~啊~动态视频 | 99国产精品一区二区蜜桃av | 91麻豆av在线| 亚洲精品第二区| 国产精品二区激情视频| 国产成人av教育| 久久精品国产综合久久久| 国产一区有黄有色的免费视频| 国产精品久久久久久人妻精品电影 | 黄色a级毛片大全视频| 老熟妇仑乱视频hdxx| 一个人免费在线观看的高清视频 | 成年av动漫网址| 丝袜美腿诱惑在线| 菩萨蛮人人尽说江南好唐韦庄| 91老司机精品| 老司机亚洲免费影院| 丝袜在线中文字幕| 亚洲精品久久成人aⅴ小说| 亚洲中文av在线| 亚洲一区二区三区欧美精品| 18禁黄网站禁片午夜丰满| 欧美精品av麻豆av| 日韩免费高清中文字幕av| 不卡一级毛片| 国产淫语在线视频| 老司机影院毛片| 嫁个100分男人电影在线观看| 91麻豆av在线| 亚洲精品国产av成人精品| 在线观看免费视频网站a站| a在线观看视频网站| 一级毛片电影观看| 老司机亚洲免费影院| 欧美亚洲日本最大视频资源| 久久国产精品男人的天堂亚洲| 19禁男女啪啪无遮挡网站| 亚洲精品自拍成人| 人妻久久中文字幕网| 精品高清国产在线一区| 啦啦啦啦在线视频资源| 巨乳人妻的诱惑在线观看| 视频区欧美日本亚洲| 中文欧美无线码| 夫妻午夜视频| 曰老女人黄片| 久久精品国产a三级三级三级| 久久天堂一区二区三区四区| 久久精品国产亚洲av高清一级| 久久久精品国产亚洲av高清涩受| 亚洲欧美日韩高清在线视频 | 成人影院久久| 亚洲精品国产色婷婷电影| 人人妻人人添人人爽欧美一区卜| 午夜激情av网站| 日本91视频免费播放| 99re6热这里在线精品视频| 一级片免费观看大全| 午夜免费鲁丝| 亚洲精品第二区| 午夜福利乱码中文字幕| 亚洲国产精品一区二区三区在线| 9色porny在线观看| 男人添女人高潮全过程视频| 操出白浆在线播放| 亚洲精品第二区| 国产亚洲欧美在线一区二区| 欧美另类亚洲清纯唯美| 亚洲专区中文字幕在线| 色精品久久人妻99蜜桃| 美国免费a级毛片| 日韩 欧美 亚洲 中文字幕| 免费观看人在逋| 久久这里只有精品19| 亚洲欧美日韩高清在线视频 | 欧美亚洲日本最大视频资源| 两个人免费观看高清视频| 久久精品国产亚洲av高清一级| 日本wwww免费看| 热re99久久国产66热| 老司机靠b影院| 欧美激情 高清一区二区三区| 国产福利在线免费观看视频| 久久这里只有精品19| 亚洲精品av麻豆狂野| 色94色欧美一区二区| 免费观看a级毛片全部| 9色porny在线观看| 另类精品久久| 俄罗斯特黄特色一大片| 91大片在线观看| 日韩欧美国产一区二区入口| 亚洲一区二区三区欧美精品| av不卡在线播放| 中文字幕人妻丝袜一区二区| 国产成人啪精品午夜网站| 亚洲精品国产av蜜桃| 伊人亚洲综合成人网| 亚洲精品av麻豆狂野| 精品视频人人做人人爽| 亚洲免费av在线视频| 建设人人有责人人尽责人人享有的| 午夜福利免费观看在线| 9色porny在线观看| 欧美黑人精品巨大| 爱豆传媒免费全集在线观看| 久久久久久人人人人人| 桃红色精品国产亚洲av| 曰老女人黄片| 中文字幕人妻丝袜制服| 亚洲中文日韩欧美视频| 国产av一区二区精品久久| 一进一出抽搐动态| 久久久精品区二区三区| 满18在线观看网站| 一级毛片精品| 99精品欧美一区二区三区四区| 少妇的丰满在线观看| 不卡一级毛片| 在线看a的网站| 久久久国产一区二区| 国产在视频线精品| 新久久久久国产一级毛片| 精品国产乱码久久久久久男人| 夜夜夜夜夜久久久久| 国产精品久久久久成人av| 女人高潮潮喷娇喘18禁视频| 亚洲九九香蕉| 久久久久视频综合| 夜夜骑夜夜射夜夜干| tube8黄色片| 肉色欧美久久久久久久蜜桃| 成人国产av品久久久| 少妇人妻久久综合中文| 国产免费一区二区三区四区乱码| 乱人伦中国视频| 国产免费现黄频在线看| 十分钟在线观看高清视频www| 亚洲av成人一区二区三| 极品少妇高潮喷水抽搐| 国产免费福利视频在线观看| 亚洲国产中文字幕在线视频| 欧美日韩精品网址| 19禁男女啪啪无遮挡网站| 一级毛片电影观看| 日韩精品免费视频一区二区三区| 国产成人免费观看mmmm| 亚洲精品国产av蜜桃| 久久免费观看电影| 在线十欧美十亚洲十日本专区| 成年人免费黄色播放视频| 国产亚洲欧美精品永久| av在线老鸭窝| 日韩一卡2卡3卡4卡2021年| 啦啦啦啦在线视频资源| 母亲3免费完整高清在线观看| 热re99久久国产66热| 久久中文看片网| 精品欧美一区二区三区在线| 在线观看人妻少妇| 欧美人与性动交α欧美精品济南到| 在线 av 中文字幕| 日韩欧美免费精品| 午夜日韩欧美国产| 美女高潮到喷水免费观看| 国产人伦9x9x在线观看| 欧美黑人精品巨大| 亚洲avbb在线观看| 国产日韩欧美亚洲二区| 国产成人一区二区三区免费视频网站| 欧美 日韩 精品 国产| 午夜福利在线观看吧| 欧美日韩国产mv在线观看视频| 十八禁网站免费在线| 亚洲avbb在线观看| 精品亚洲成a人片在线观看| 午夜精品久久久久久毛片777| 一级a爱视频在线免费观看| 美女脱内裤让男人舔精品视频| 脱女人内裤的视频| 99re6热这里在线精品视频| 国产精品 欧美亚洲| 女人高潮潮喷娇喘18禁视频| 国产精品秋霞免费鲁丝片| 婷婷成人精品国产| 一区二区三区精品91| 女性被躁到高潮视频| 性高湖久久久久久久久免费观看| 亚洲色图综合在线观看| 十八禁网站网址无遮挡| 夫妻午夜视频| h视频一区二区三区| 亚洲精品乱久久久久久| 亚洲少妇的诱惑av| 免费不卡黄色视频| 国产在线一区二区三区精| 青草久久国产| 九色亚洲精品在线播放| 交换朋友夫妻互换小说| 9热在线视频观看99| 久久国产精品大桥未久av| 久久久久久久精品精品| 久久久久精品人妻al黑| 人人妻人人添人人爽欧美一区卜| 99re6热这里在线精品视频| 伦理电影免费视频| 另类亚洲欧美激情| 成人影院久久| 1024香蕉在线观看| 成人18禁高潮啪啪吃奶动态图| 精品一品国产午夜福利视频| 自拍欧美九色日韩亚洲蝌蚪91| 日本五十路高清| av福利片在线| 久久久精品区二区三区| 一级片免费观看大全| 免费日韩欧美在线观看| 国产免费福利视频在线观看| 成年人午夜在线观看视频| 国产av精品麻豆| 啦啦啦视频在线资源免费观看| 午夜福利,免费看| 国产男女内射视频| 国产主播在线观看一区二区| 国产激情久久老熟女| 少妇精品久久久久久久| 91麻豆av在线| 亚洲国产看品久久| 中文精品一卡2卡3卡4更新| 日本五十路高清| 午夜老司机福利片| 国产精品影院久久| 老司机午夜十八禁免费视频| 亚洲少妇的诱惑av| 日韩大片免费观看网站| 亚洲伊人色综图| 99热国产这里只有精品6| 久久国产精品影院| 永久免费av网站大全| 又黄又粗又硬又大视频| 国产精品av久久久久免费| 一区二区三区四区激情视频| 国产一区二区激情短视频 | 久久精品人人爽人人爽视色| 亚洲av片天天在线观看| 俄罗斯特黄特色一大片| 搡老熟女国产l中国老女人| 欧美激情极品国产一区二区三区| 精品高清国产在线一区| 90打野战视频偷拍视频| 男男h啪啪无遮挡| 欧美日本中文国产一区发布| 午夜福利视频精品| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲免费av在线视频| 久久精品国产a三级三级三级| 国产成人av教育| 欧美+亚洲+日韩+国产| av福利片在线| 91字幕亚洲| 女警被强在线播放| 日韩制服丝袜自拍偷拍| 亚洲国产av影院在线观看| 亚洲专区中文字幕在线| 菩萨蛮人人尽说江南好唐韦庄| 久久精品国产a三级三级三级| 女警被强在线播放| 久久精品国产a三级三级三级| 热99re8久久精品国产| 久久人人97超碰香蕉20202| 在线观看免费午夜福利视频| 三上悠亚av全集在线观看| 国产国语露脸激情在线看| 久久久久久人人人人人| 视频区图区小说| 欧美+亚洲+日韩+国产| 午夜老司机福利片| 精品人妻一区二区三区麻豆| 欧美黄色淫秽网站| 日韩电影二区| 法律面前人人平等表现在哪些方面 | 波多野结衣一区麻豆| 超碰97精品在线观看| 欧美精品一区二区免费开放| 欧美日韩亚洲高清精品| 三级毛片av免费| 嫩草影视91久久| 女警被强在线播放| 日本91视频免费播放| 十分钟在线观看高清视频www| 国产野战对白在线观看| 日韩中文字幕视频在线看片| 午夜福利乱码中文字幕| 成人影院久久| 久久久水蜜桃国产精品网| 日本av手机在线免费观看| 亚洲男人天堂网一区| 人人妻人人添人人爽欧美一区卜| 女性生殖器流出的白浆| 亚洲自偷自拍图片 自拍| 在线看a的网站| 老司机在亚洲福利影院| 丝袜人妻中文字幕| 欧美日韩黄片免| 麻豆国产av国片精品| 久久久久久久大尺度免费视频| 操出白浆在线播放| 丝袜喷水一区| 美女扒开内裤让男人捅视频| 另类亚洲欧美激情| 国产99久久九九免费精品| 女性生殖器流出的白浆| av电影中文网址| 性色av乱码一区二区三区2| 热99国产精品久久久久久7| 国产免费福利视频在线观看| 亚洲专区国产一区二区| 亚洲天堂av无毛| 好男人电影高清在线观看| 日韩制服骚丝袜av| 男女无遮挡免费网站观看| 欧美另类一区| 男女床上黄色一级片免费看| 中文字幕高清在线视频| 国产免费福利视频在线观看| 午夜激情av网站| 这个男人来自地球电影免费观看| 国精品久久久久久国模美| 久久精品熟女亚洲av麻豆精品| 国产精品欧美亚洲77777| 欧美午夜高清在线| 一区二区三区四区激情视频| 免费高清在线观看日韩| www日本在线高清视频| 伊人亚洲综合成人网| 午夜两性在线视频| 国产精品成人在线| 日韩制服丝袜自拍偷拍| 老司机福利观看| 国产av一区二区精品久久| 爱豆传媒免费全集在线观看| www.自偷自拍.com| 久9热在线精品视频| 侵犯人妻中文字幕一二三四区| 91av网站免费观看| 国产精品一区二区在线不卡| 国产精品久久久av美女十八| 日本vs欧美在线观看视频| 三上悠亚av全集在线观看| 久久精品亚洲av国产电影网| 侵犯人妻中文字幕一二三四区| 亚洲国产精品一区二区三区在线| 色播在线永久视频| 深夜精品福利| 亚洲欧洲日产国产| 无遮挡黄片免费观看| bbb黄色大片| 啦啦啦啦在线视频资源| 中亚洲国语对白在线视频| 亚洲自偷自拍图片 自拍| 精品久久久久久久毛片微露脸 | 女人被躁到高潮嗷嗷叫费观| 国产成人影院久久av| a级毛片黄视频| 欧美xxⅹ黑人| 在线观看舔阴道视频| 国产一区二区三区综合在线观看| 我的亚洲天堂| 精品乱码久久久久久99久播| 免费av中文字幕在线| 国产淫语在线视频| 亚洲国产中文字幕在线视频| 在线精品无人区一区二区三| 女人爽到高潮嗷嗷叫在线视频| 欧美在线一区亚洲| 999精品在线视频| 桃花免费在线播放| 日韩欧美一区二区三区在线观看 | 国产成人一区二区三区免费视频网站| 男人添女人高潮全过程视频| 青青草视频在线视频观看| 久久女婷五月综合色啪小说| 水蜜桃什么品种好| 99精品久久久久人妻精品| 亚洲国产毛片av蜜桃av| 国产精品一区二区在线不卡| 91成年电影在线观看| 国产精品久久久久久精品电影小说| 啦啦啦视频在线资源免费观看| 久久人妻熟女aⅴ| 一级a爱视频在线免费观看| 最黄视频免费看| 91成人精品电影| 国产片内射在线| 久久久国产精品麻豆| 超碰成人久久| 成人手机av| 人人妻,人人澡人人爽秒播| 成人三级做爰电影| 亚洲久久久国产精品| 国产成+人综合+亚洲专区| 男女边摸边吃奶| 每晚都被弄得嗷嗷叫到高潮| 777米奇影视久久| 免费在线观看完整版高清| 王馨瑶露胸无遮挡在线观看| 久久精品成人免费网站| 亚洲 国产 在线| 亚洲avbb在线观看| 国产一区二区激情短视频 | 日韩熟女老妇一区二区性免费视频| 丁香六月欧美| 国产免费现黄频在线看| 99久久综合免费| 国产亚洲欧美在线一区二区| 看免费av毛片| 亚洲精品美女久久av网站| 亚洲欧洲精品一区二区精品久久久| 国产av一区二区精品久久| 男女高潮啪啪啪动态图| 久久毛片免费看一区二区三区| 国产精品 欧美亚洲| 在线永久观看黄色视频| 欧美少妇被猛烈插入视频| 国产免费av片在线观看野外av| www.熟女人妻精品国产| 他把我摸到了高潮在线观看 | 黄色怎么调成土黄色| 十八禁网站网址无遮挡| 脱女人内裤的视频| 亚洲精品美女久久av网站| 日日夜夜操网爽| 成人亚洲精品一区在线观看| 亚洲成人手机| 一个人免费在线观看的高清视频 | 天天躁狠狠躁夜夜躁狠狠躁| 日韩制服骚丝袜av| 一区福利在线观看| 日日摸夜夜添夜夜添小说| 电影成人av| 自线自在国产av| 色婷婷av一区二区三区视频| 久久久国产欧美日韩av| 狂野欧美激情性xxxx| 亚洲欧美色中文字幕在线| 爱豆传媒免费全集在线观看| 免费黄频网站在线观看国产| e午夜精品久久久久久久| 国产野战对白在线观看| 首页视频小说图片口味搜索| 亚洲欧美色中文字幕在线| 久久久国产一区二区| 国产av一区二区精品久久| 久久ye,这里只有精品| a级片在线免费高清观看视频| 黑人欧美特级aaaaaa片| 捣出白浆h1v1| 国产1区2区3区精品| 日韩熟女老妇一区二区性免费视频| 99久久99久久久精品蜜桃| 叶爱在线成人免费视频播放| 亚洲欧美一区二区三区久久| 欧美日韩亚洲综合一区二区三区_| 日韩免费高清中文字幕av| 亚洲国产精品一区二区三区在线| 亚洲国产精品成人久久小说| 亚洲黑人精品在线| 久久国产精品影院| 久久精品亚洲av国产电影网| 精品亚洲成国产av| 50天的宝宝边吃奶边哭怎么回事| 精品免费久久久久久久清纯 | 免费久久久久久久精品成人欧美视频| kizo精华| 一级毛片女人18水好多| 国产在线免费精品| 亚洲av成人一区二区三| 国产有黄有色有爽视频| www日本在线高清视频| 视频在线观看一区二区三区| 天堂俺去俺来也www色官网| 欧美日韩成人在线一区二区| 欧美国产精品va在线观看不卡| 国产一区二区三区在线臀色熟女 | 国精品久久久久久国模美| 91成年电影在线观看| 夜夜骑夜夜射夜夜干| 人成视频在线观看免费观看| 一边摸一边做爽爽视频免费| 亚洲熟女精品中文字幕| 成年av动漫网址| 18禁裸乳无遮挡动漫免费视频| 国产精品香港三级国产av潘金莲| 正在播放国产对白刺激| 国产精品二区激情视频| 精品国产国语对白av| 欧美精品一区二区免费开放| 日韩视频在线欧美| 国产免费视频播放在线视频| 免费人妻精品一区二区三区视频| 欧美av亚洲av综合av国产av| 啦啦啦视频在线资源免费观看| a在线观看视频网站| 午夜影院在线不卡|