面向云環(huán)境的對抗樣本攻防仿真驗(yàn)證平臺

郎大鵬，李子豫，陳德運(yùn)，陳慶鈺

(哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150001)

0 引言

云計(jì)算技術(shù)是計(jì)算機(jī)領(lǐng)域廣泛關(guān)注的技術(shù)熱點(diǎn)之一，其發(fā)展應(yīng)用給社會生活的各個(gè)方面帶來了顯著的影響和變化。借助于云計(jì)算平臺，用戶可以實(shí)現(xiàn)在線數(shù)據(jù)的存儲和計(jì)算，并進(jìn)行迅速的分享和分布式部署。隨著大數(shù)據(jù)的發(fā)展和云計(jì)算的快速普及，大量基于人工智能和深度學(xué)習(xí)的應(yīng)用軟件不斷云化，如智能礦山、智能監(jiān)控和智能安防等典型的云應(yīng)用都迅速地實(shí)現(xiàn)云平臺部署。這些應(yīng)用中大量集成了基于深度學(xué)習(xí)的人工智能模塊，如文本處理、安防監(jiān)控、圖像分割、動作識別和語音識別等典型應(yīng)用。這些深度模型促進(jìn)了云應(yīng)用的智能化程度不斷提升，但是也引入了許多更隱蔽、更難以防范的安全隱患。

Szegedy等[1]首先發(fā)現(xiàn)并提出對抗樣本的概念，通過在數(shù)據(jù)中添加肉眼難以察覺的擾動形成對抗樣本，使模型以高置信度給出一個(gè)錯(cuò)誤的分類結(jié)果[2]。研究發(fā)現(xiàn)，包括卷積神經(jīng)網(wǎng)絡(luò)在內(nèi)的深度學(xué)習(xí)模型對于對抗樣本具有極高的脆弱性，并且針對某一模型生成的對抗樣本能夠?qū)Σ煌?xùn)練集上訓(xùn)練的不同結(jié)構(gòu)的模型產(chǎn)生影響。目前大量的理論和實(shí)踐證明，傳統(tǒng)的邏輯回歸模型等線性模型面對對抗樣本的攻擊是無法抵御的。對對抗樣本進(jìn)行研究的同時(shí)也大大促進(jìn)了對深度模型魯棒性的研究。

與傳統(tǒng)攻擊方法不同，圍繞對抗樣本而產(chǎn)生的對抗攻擊并不是由程序漏洞、代碼Bug造成的，而是由深度模型自身脆弱性造成的。攻擊者不需要物理接觸云平臺或云化應(yīng)用，只通過對輸入數(shù)據(jù)進(jìn)行修改和試探，如圖片、圖像、視頻甚至音頻等信息，就能展開對云平臺和應(yīng)用程序的攻擊，使正常運(yùn)行的系統(tǒng)產(chǎn)生錯(cuò)誤的結(jié)果。這種攻擊手段更加隱蔽更加難以防御，增加了用戶對云平臺計(jì)算應(yīng)用的數(shù)據(jù)安全、應(yīng)用安全潛在風(fēng)險(xiǎn)的顧慮，限制了深度學(xué)習(xí)模型的推廣和應(yīng)用。

1 本文工作

近年來，學(xué)者們圍繞對抗樣本的原理、網(wǎng)絡(luò)模型和應(yīng)用場景等方面展開了深入研究。由于對抗樣本的生成邏輯、防守策略和主干網(wǎng)絡(luò)，甚至驗(yàn)證數(shù)據(jù)集的選擇往往會對攻擊效果有較大影響。而在對攻擊和防御手段進(jìn)行評測的過程中，往往無法建立統(tǒng)一的標(biāo)準(zhǔn)。

對抗樣本仿真測試平臺架構(gòu)如圖1所示。

圖1 對抗樣本仿真測試平臺架構(gòu)Fig.1 Structure of the adversarial example simulation and test platform

測試平臺提供了多種對抗樣本生成算法，并圍繞這些攻擊方法實(shí)現(xiàn)了有效的防御策略；為了保證云環(huán)境的安全，本系統(tǒng)基于微隔離技術(shù)對每一個(gè)接入的攻防測試模塊都進(jìn)行了縱向隔離，有效地避免了攻擊溢出以及惡意代碼在平臺內(nèi)的跨域流動等安全隱患；平臺基于Token等多重認(rèn)證方式提供了對自定義攻擊和防御方法的接口調(diào)用功能，安全人員可以對自定義的攻擊方法和防御手段進(jìn)行測試。最后，通過集成標(biāo)準(zhǔn)的公共數(shù)據(jù)集，為基于對抗樣本的攻防測試提供基準(zhǔn)數(shù)據(jù)，供研究者進(jìn)行測試和改進(jìn)。

2 對抗樣本生成與防御關(guān)鍵技術(shù)

2.1 對抗樣本生成技術(shù)

深度學(xué)習(xí)技術(shù)以強(qiáng)大的適配特性可以對各種復(fù)雜的模型、網(wǎng)絡(luò)和數(shù)據(jù)分布進(jìn)行擬合，在傳統(tǒng)的機(jī)器學(xué)習(xí)領(lǐng)域(如計(jì)算機(jī)視覺、動態(tài)規(guī)劃和自然語言等)帶來了新的突破。另一方面，深度模型自身也帶來了新的安全威脅，本文從對抗攻擊和對抗防御2個(gè)方面來闡述相關(guān)進(jìn)展。對抗樣本攻擊如圖2所示。

圖2(a)是一張航空母艦圖片，分類器將其以高概率識別為Carrier；圖2(b)為加入的對抗噪聲；圖2(c)為將對抗噪聲疊加到純凈圖片中形成的對抗樣本，分類器將其識別為Totem pole。

(a) Carrier:99.98

(a) 亮度

(a) AlexNet

深度學(xué)習(xí)在傳統(tǒng)人工智能的基礎(chǔ)上疊加多層隱含網(wǎng)絡(luò)并包含大量超參數(shù)，使得由于可解釋性問題造成的安全隱患始終是一個(gè)待研究問題。研究發(fā)現(xiàn)，深度模型框架中存在固有的安全隱患。Szegedy等[1]于2013年提出卷積神經(jīng)網(wǎng)絡(luò)的分類結(jié)果可以通過在其輸入樣本上添加難以被人類發(fā)現(xiàn)的小擾動來操縱輸出結(jié)果；同時(shí)，提出了L-BFGS算法利用迭代優(yōu)化擾動，成功地以高成功率對深度模型進(jìn)行了攻擊。但是，該算法由于需要通過多次迭代獲得最優(yōu)攻擊擾動，因此計(jì)算速度較慢。隨后，Goodfellow等[3]提出了快速梯度符號攻擊方法(Fast Gradient Sign Method，F(xiàn)GSM)。算法計(jì)算反向傳播梯度來計(jì)算最大化損失，即調(diào)整輸入數(shù)據(jù)最大化損失。由于只需要一次參數(shù)更新，因此計(jì)算速度很快，此后基于梯度的攻擊都利用了類似的原理。Kurakin等[4]在此基礎(chǔ)上，提出了迭代的FGSM，即基礎(chǔ)迭代法(Basic Iterative Method，BIM)，由于FGSM追求計(jì)算速度，僅在梯度方向上進(jìn)行一步擾動，因此攻擊的效果常常不穩(wěn)定。而BIM通過迭代FGSM，在每一步攻擊后再次計(jì)算梯度，從而獲得更加精準(zhǔn)的攻擊效果。文獻(xiàn)[5]證明了對抗樣本具有遷移特性，能夠跨模型攻擊。對于某一模型的攻擊往往對其他模型也有效，并提出黑盒攻擊的概念。生成攻擊的模型也可以是多個(gè)模型，生成的擾動能夠產(chǎn)生通用性更強(qiáng)的攻擊擾動。

2.2 對抗樣本防御技術(shù)

Dong等[6]將對抗樣本的防御歸類為魯棒訓(xùn)練、輸入變換、隨機(jī)化、模型集成和認(rèn)證防御。魯棒訓(xùn)練的基本原理是使分類器適應(yīng)對抗樣本產(chǎn)生的噪聲，主要分為2類。第1類防御訓(xùn)練是基于梯度掩蔽效應(yīng)[7]，通過正則化或平滑標(biāo)簽使模型更加穩(wěn)定，減少對抗擾動在梯度上的影響。第2類基于對抗訓(xùn)練的防御方法研究最為深入，防御效果相較其他方法效果更好。研究發(fā)現(xiàn)，對抗訓(xùn)練帶來的魯棒性同樣具有可遷移性。對抗訓(xùn)練需要在模型訓(xùn)練階段加入對抗樣本，提高深度模型在對抗樣本上的分類精度[3]。各種對抗訓(xùn)練方法在同攻擊方法下的不同擾動以及不同迭代次數(shù)影響下的表現(xiàn)不同，因此很難評價(jià)各種防御方法的優(yōu)劣。其缺點(diǎn)是對抗訓(xùn)練相比常規(guī)訓(xùn)練更加耗時(shí)，尤其對于ImageNet這種大圖像、多分類的網(wǎng)絡(luò)，訓(xùn)練過程中網(wǎng)絡(luò)需要更多次迭代來擬合對抗樣本[8]，分類準(zhǔn)確率會顯著下降。

基于輸入變換的防御主要是在樣本輸入模型之前進(jìn)行一個(gè)預(yù)處理操作，先去除對抗噪聲，再將其輸入模型。Gu等[9]首先提出使用去噪自動編碼器作為防御手段，可以有效降低對抗樣本的影響。Osadchy等[10]應(yīng)用一組過濾器以刪除對抗性噪聲，如中值濾波、平均濾波和高斯低通濾波。Das等[11]使用JPEG壓縮對圖像進(jìn)行預(yù)處理，以減少對抗性噪聲的影響?；谳斎胱儞Q的防御能夠顯著提高對白盒攻擊的魯棒性，且對于基于分?jǐn)?shù)和決策的黑盒攻擊同樣有較高的準(zhǔn)確性。鑒于輸入變換的實(shí)現(xiàn)相對簡單，且成本較低，可以與其他方法結(jié)合構(gòu)成更加強(qiáng)大的防御網(wǎng)絡(luò)。

3 對抗樣本生成算法

為了有效分類評估對抗樣本生成方法，本平臺引用Tsauro等[12]提出的7個(gè)特征對對抗樣本生成方法進(jìn)行分類，分別是對抗性偽造(分為假正例以及假反例攻擊)、對手的知識(分為白盒和黑盒攻擊)、對抗特異性(分為有目標(biāo)攻擊和無目標(biāo)攻擊)、擾動范圍(分為個(gè)體、全體攻擊)、擾動極限(分為優(yōu)化擾動和普遍攻擊)、攻擊頻率(分為單步及迭代攻擊)和微擾測量(分為p范數(shù)以及心理測量感知對抗相似度評分(PASS))。本文使用的對抗樣本生成方法及分類如表1所示。

表1 平臺內(nèi)置主要攻擊方法及分類Tab.1 Major attack methods and classification in the platform

3.1 L-BFGS算法

(1)

3.2 FGSM算法

FGSM是典型的無目標(biāo)攻擊對抗樣本生成算法,它基于圖像的梯度計(jì)算對抗樣本，能夠?qū)θ珗D中各個(gè)像素沿著梯度編號方向進(jìn)行梯度更新，通過最大化損失函數(shù)來誤導(dǎo)判別模型。攻擊成功的標(biāo)志是對抗樣本經(jīng)過判別模型判斷后，與真實(shí)預(yù)測結(jié)果發(fā)生變化。Goodfellow等[3]通過對一個(gè)大熊貓照片加入一定的擾動(即噪音點(diǎn))，誤導(dǎo)判別模型使結(jié)果為長臂猿。該算法對抗樣本生成的公式如下：

X′=X+×sign(xL(f(x),y))，

(2)

3.3 BIM

BIM作為FGSM的升級型，能夠通過設(shè)定步長來迭代運(yùn)行FGSM，從而生成更加精細(xì)的優(yōu)化效果，因此也稱作iter-FGSM。算法在不是重復(fù)調(diào)用FGSM，而是在每次迭代過程中通過裁剪算法對像素值進(jìn)行修正，以確保它們與原始圖像處于一個(gè)鄰域內(nèi)：

(3)

式中，ClipX,∈{}限制了每次迭代中生成的敵對圖像的更改；權(quán)重α取1，即每次改變每個(gè)像素1點(diǎn)；迭代次數(shù)N取min(+4,1.25)，這樣的迭代次數(shù)能夠在保證效果的同時(shí)減少迭代次數(shù)。迭代攻擊將噪聲分配到每一次迭代中進(jìn)行分配，由于模型的梯度分布不會是均勻的，因此FGSM所產(chǎn)生的對抗樣本不會一直向著梯度變化最大的方向，而BIM法通過迭代多次計(jì)算梯度，能夠在保證擾動幅度較小的情況下最大化擾動效果。

3.4 迭代最小概率類別法

迭代最小概率類別(Iterative Least-Likely Class，ILLC)算法是BIM的升級，可以實(shí)現(xiàn)對圖像的有目標(biāo)攻擊。FGSM以及BIM的優(yōu)化目標(biāo)是降低正確分類的概率，而ILLC算法的優(yōu)化方向則是引導(dǎo)分類器將目標(biāo)誤判為一個(gè)特定的分類，如式(4)所示：

(4)

(5)

由式(5)可以看出，ILLC算法同樣是在FGSM的基礎(chǔ)上，通過迭代算法實(shí)現(xiàn)對圖像的有目標(biāo)攻擊。

4 對抗樣本防御方法

對抗樣本的出現(xiàn)暴露了深度模型的安全隱患，引起了產(chǎn)業(yè)界和科研界的極大關(guān)注，促進(jìn)了對深度模型魯棒性的更進(jìn)一步研究。實(shí)踐證明，提升深度模型的安全性主要分為2種思路：第一是通過提升訓(xùn)練數(shù)據(jù)的多樣性來提升模型的健壯性，在模型訓(xùn)練階段就輸入多樣化的訓(xùn)練樣本，能夠有效地提升模型對對抗樣本的識別和防御能力；第二是在初始深度模型的基礎(chǔ)上增加更深的或更復(fù)雜的附加網(wǎng)絡(luò)，使網(wǎng)絡(luò)特征提取能力更強(qiáng)，采用多樣化的損失函數(shù)獲得更有效的防御效果。

本文根據(jù)實(shí)際場景需求，在攻防驗(yàn)證平臺中集成了基于輸入變換、對抗訓(xùn)練等抵御對抗攻擊的防御接口，為研究者提供提升深度模型魯棒性的防御方法。主要包括魯棒訓(xùn)練、輸入變換、隨機(jī)化、模型集成和認(rèn)證防御。研究者可以直接調(diào)用數(shù)據(jù)變換算法實(shí)現(xiàn)對自定義數(shù)據(jù)集的增強(qiáng)。針對深度模型的魯棒性，本系統(tǒng)提供了基于魯棒訓(xùn)練、基于輸入變換的預(yù)訓(xùn)練方法及自定義訓(xùn)練方法接口。

4.1 基于輸入變換的數(shù)據(jù)增強(qiáng)

對抗樣本通過混淆識別模型在分類過程中的決策邊界，使深度模型在未被更改的情況下生成錯(cuò)誤的輸出。因此，為了提高深度模型自身的魯棒性，優(yōu)化的一個(gè)方向是將圖像中的決策邊界進(jìn)行拓展。攻擊者對拓展后的圖像實(shí)施攻擊時(shí)，無法輕易找到目標(biāo)的決策邊界從而難以實(shí)現(xiàn)對模型的攻擊。

對圖像進(jìn)行模糊處理可以有效地消除對抗噪聲。通過采用平滑濾波函數(shù)計(jì)算卷積核對應(yīng)的權(quán)重，然后進(jìn)行卷積操作。高斯模糊是一種常用的數(shù)據(jù)平滑技術(shù)，采用高斯分布作為濾波函數(shù)，對輸入圖像中的每個(gè)像素值鄰域進(jìn)行加權(quán)平均，使處理后的像素趨近于其鄰域。處理函數(shù)如下：

(6)

式中，高斯核μ表示像素點(diǎn)受鄰域影響范圍；標(biāo)準(zhǔn)差σ表示當(dāng)前點(diǎn)受影響的大小。在一維高斯函數(shù)的基礎(chǔ)上，為了處理圖像，需要將其擴(kuò)展為二維的高斯函數(shù)，公式如下：

(7)

式中，dx，dy表示當(dāng)前像素橫坐標(biāo)和縱坐標(biāo)到卷積核中心的距離。在此基礎(chǔ)上，Kurakin等[4]在實(shí)驗(yàn)中將在打印、拍攝和裁剪圖像的過程對圖像進(jìn)行多種組合變換，也能獲得顯著的魯棒性提升。

在本平臺的實(shí)現(xiàn)技術(shù)中，對圖像進(jìn)行多種變換操作，包括亮度、模糊、JPEG編碼以及飽和度的變化等，幫助安全人員測試不同的防御手段，效果如圖3所示。

圖3 使用高斯模糊、飽和度、亮度處理圖像Fig.3 Processing images with Gaussian blur,saturation and brightness

4.2 對抗訓(xùn)練

針對對抗樣本帶來的安全性問題，Goodfellow 等[3]提出了對抗訓(xùn)練的概念，其核心思想是通過數(shù)據(jù)增強(qiáng)的方式，將對抗樣本作為訓(xùn)練集的一部分，使深度模型在訓(xùn)練過程中改變決策邊界，這種方法不但提高了深度模型對對抗樣本攻擊的防御能力，也提升了對其他原始數(shù)據(jù)的泛化能力。

2014年Goodfellow等提出在訓(xùn)練模型的過程中加入FGSM生成的樣本，用以增強(qiáng)模型的魯棒性，但是單次構(gòu)造過程無法生成最優(yōu)的對抗樣本。Madry等[13]提出Min-Max最優(yōu)化對抗訓(xùn)練模型，將之簡化理解為式(8)，也就是使模型對于對抗樣本的損失函數(shù)最小化：

minself.loss(self.attack(x))。

(8)

能夠符合式(8)的解決方案是魯棒的分類器或較弱的攻擊，因此理論上只要攻擊手段越強(qiáng)，得到的分類器對對抗樣本的防御作用越強(qiáng)。

Tramèr等[14]認(rèn)為Madry等[13]的操作會導(dǎo)致對抗訓(xùn)練模型對于某種攻擊過擬合，產(chǎn)生了梯度遮掩[15]效果。即當(dāng)模型F對于某種攻擊A過擬合后，模型F對于A攻擊產(chǎn)生的loss只會增大得更緩，而使用其他攻擊或迭代攻擊B時(shí)，模型F對于B攻擊產(chǎn)生的loss方向與攻擊A不同，模型的魯棒性只對攻擊A有效。對于這種問題，Tramèr等提出集成對抗訓(xùn)練(Ens-AT)方法，通過分離模型F與攻擊者A來防止F對于A過擬合。訓(xùn)練使用的對抗樣本使用當(dāng)前模型以及多個(gè)預(yù)訓(xùn)練的模型生成。

M-PGD：

(9)

ALP：

(10)

本平臺提供面向防御的對抗訓(xùn)練模型接口，與平臺集成的對抗攻擊方法或自定義攻擊方法進(jìn)行測試。通過平臺的標(biāo)準(zhǔn)測試環(huán)境，衡量深度模型在通過加入對抗樣本數(shù)據(jù)集來限制梯度，加強(qiáng)對模型梯度的可解釋性研究，提高了模型的魯棒性。

5 實(shí)驗(yàn)與結(jié)果分析

5.1 實(shí)驗(yàn)設(shè)置

本文實(shí)現(xiàn)的平臺圍繞對抗樣本的生成與防御，提供了標(biāo)準(zhǔn)驗(yàn)證測試環(huán)境。平臺集成了公共數(shù)據(jù)集供攻防雙方調(diào)用；提供經(jīng)典對抗樣本生成算法，測試目標(biāo)深度模型的魯棒性；提供了標(biāo)準(zhǔn)防御模型測試安全人員自定義攻擊方法的攻擊效率。下面將從這3個(gè)方面介紹本平臺的功能和性能。

實(shí)驗(yàn)數(shù)據(jù)集：本平臺中運(yùn)行的對抗樣本生成算法和防御模型采用公共的標(biāo)準(zhǔn)數(shù)據(jù)集。MNIST，CIFAR10以及ImageNet[17]是計(jì)算機(jī)視覺中常用的數(shù)據(jù)集，包含的分類和多樣性可以滿足大多數(shù)攻擊算法的強(qiáng)度驗(yàn)證。本平臺中的算法從ImageNet數(shù)據(jù)集包含的1 000個(gè)分類中隨機(jī)抽選100個(gè)分類，從中再隨機(jī)選擇1 000張圖片，用于基線檢測數(shù)據(jù)生成和對抗樣本生成。

目標(biāo)深度模型：本平臺集成了AlexNet，GoogLeNet，MobileNet_v2以及ResNet18作為主干網(wǎng)絡(luò)模型，用戶可以基于這些模型實(shí)現(xiàn)特征提取等基本功能。AlexNet最早展示了深度學(xué)習(xí)模型在分類上相對于傳統(tǒng)機(jī)器學(xué)習(xí)的優(yōu)勢。該模型雖然簡單，但是在CNN中應(yīng)用了ReLU，Dropout層，采用了歸一化等技術(shù)，并采用GPU進(jìn)行了加速。AlexNet具有易用、易配置的特性，測試人員可以迅速進(jìn)行調(diào)用和部署。之后的VGG，GoogLeNet和ResNet被用作深度學(xué)習(xí)模型的基線，廣泛使用于對抗樣本的生成與測試。

實(shí)驗(yàn)設(shè)置：本攻防對抗平臺中可以選擇不同的超參數(shù)來配置對抗樣本生成算法。如擾動強(qiáng)度ε，迭代次數(shù)T以及優(yōu)化步長α。對于集成動量等自定義攻擊方法，通過集成SDK或API接口的方式供用戶調(diào)用。

5.2 模型驗(yàn)證及攻擊驗(yàn)證

本平臺基于數(shù)據(jù)集ImageNet分別對AlexNet，ResNet18，GoogLeNet，MobileNet_v2四個(gè)網(wǎng)絡(luò)模型進(jìn)行了預(yù)訓(xùn)練，供用戶調(diào)用測試自定義對抗樣本。本節(jié)抽取ImageNet驗(yàn)證集中的1 000個(gè)驗(yàn)證樣本，在4種經(jīng)典的對抗樣本生成算法測試了樣本攻擊的準(zhǔn)確率，計(jì)算如下：

(11)

表2中分別針對不同的骨干網(wǎng)絡(luò)測試4種主流攻擊方法，并按照式(11)計(jì)算其準(zhǔn)確率，可以作為評價(jià)攻擊成功率的標(biāo)準(zhǔn)評價(jià)指標(biāo)。為了對比多種模型的魯棒性，本平臺還提供對超參數(shù)的設(shè)置驗(yàn)證功能。如設(shè)置擾動幅度(epsilon)超參功能，該參數(shù)用于測試攻擊強(qiáng)度對對抗樣本攻擊成功率的影響。

通過平臺測試了4種模型在ImageNet數(shù)據(jù)集下的4種攻擊方法，如圖4所示。

擾動幅度代表一次更新的攻擊強(qiáng)度，隨著擾動幅度的增加，對抗樣本的攻擊成功率不斷升高。為降低云環(huán)境性能差異和其他因素影響，圖中藍(lán)色虛線表示模型檢測純凈圖像的成功率，曲線下降的越陡說明攻擊越有效。在測試的4種攻擊方法中，迭代攻擊BIM以及ILLC能夠在較低擾動幅度下取得較好的攻擊效果，符合預(yù)期。

5.3 攻擊遷移性驗(yàn)證

針對白盒攻擊的對抗樣本的成功率經(jīng)過優(yōu)化和迭代，往往能到達(dá)100%的水平。但是黑盒條件下，攻擊者往往無法直接訪問網(wǎng)絡(luò)結(jié)構(gòu)，而是利用攻擊類似的模型訓(xùn)練得到的對抗樣本對目標(biāo)模型進(jìn)行攻擊。黑盒攻擊依賴了對抗樣本的可遷移性[18]，是未來針對深度模型攻擊的一個(gè)熱點(diǎn)。

本平臺提供對于不同模型的對抗樣本的遷移性測試功能。對抗樣本遷移性驗(yàn)證如表3所示。通過單步FGSM對4種模型分別生成對抗樣本，并分別用4組對抗樣本放進(jìn)4個(gè)模型中測試攻擊的遷移性，并按照式(11)計(jì)算其準(zhǔn)確率。系統(tǒng)能夠自動生成表3中的攻擊結(jié)果統(tǒng)計(jì)，其中深色數(shù)據(jù)為對抗樣本生成模型與被測試模型相同的組作為對照基線。

表3 對抗樣本遷移性驗(yàn)證Tab.3 Verification of mobility of adversarial examples 單位：%

FGSM對某一模型的攻擊對其他模型也有效果，一定程度地降低了模型對目標(biāo)的檢測成功率，因此可以得出對ImageNet數(shù)據(jù)集的模型現(xiàn)有方法具有一定的遷移性，但是效果十分有限。用戶可以基于現(xiàn)有模型和數(shù)據(jù)集，測試對抗樣本遷移攻擊在多個(gè)模型下的攻擊效果。本平臺提供標(biāo)準(zhǔn)的攻擊方法和防御方法，同時(shí)也可以基于平臺提供的API接口調(diào)用自定義方法，對具有未知參數(shù)和數(shù)據(jù)集的黑盒攻擊進(jìn)行測試和評價(jià)。

5.4 防御方法驗(yàn)證

5.4.1 基于輸入變換的防御方法

對抗樣本通過計(jì)算輸入的梯度對原始圖像進(jìn)行修改。根據(jù)算法不同，所計(jì)算出的梯度和修正不一定是最優(yōu)的結(jié)果，因此Kurakin等[4]研究發(fā)現(xiàn)，對原始樣本進(jìn)行初等變換或者進(jìn)行模糊化處理，會導(dǎo)致無法生成有效的對抗樣本。本系統(tǒng)支持對圖像進(jìn)行多種變換方式，如高斯模糊、飽和度和亮度調(diào)整等，并進(jìn)一步測試這些變換在面向?qū)箻颖竟魰r(shí)的表現(xiàn)。

本文基于5.3實(shí)驗(yàn)中的1 000個(gè)基于FGSM生成的對抗樣本，對每種內(nèi)置防御方法進(jìn)行了測試。測試結(jié)果如圖5和圖6所示，其中橫坐標(biāo)為采用的變換使用方法的參數(shù)，縱坐標(biāo)為正確分類類別的置信率均值。

如圖5所示，隨著高斯模糊的增大，準(zhǔn)確率在持續(xù)下降，模糊本身造成檢測器無法正確分類圖片。卷積核為2時(shí)，實(shí)驗(yàn)顯示網(wǎng)絡(luò)模型的準(zhǔn)確率都存在小幅波動，采用GoogLeNet和ResNet18模型時(shí)準(zhǔn)確率還有提高。當(dāng)模糊程度繼續(xù)加深，過大的卷積核也同時(shí)影響了人眼對圖像的識別，這對對抗樣本的隱蔽性和可用性是一個(gè)減分項(xiàng)。一般情況下，攻擊者希望進(jìn)行各類變換后的圖像對人眼來說是不可見的，或者不影響人眼的識別。

圖5 高斯模糊對攻擊的準(zhǔn)確率影響Fig.5 Influence of Gaussian blur on attack accuracy

本系統(tǒng)針對對抗樣本的安全性指標(biāo)還提供了針對圖像的亮度和飽和度等指標(biāo)的變換操作。通過調(diào)整內(nèi)置參數(shù)(自定義參數(shù))測試對抗樣本的置信度變化。

如圖6所示，特定的亮度以及飽和度在特定條件下可以完全忽視對抗樣本造成的影響，模型對對抗樣本分類的正確率超過80%。本文利用系統(tǒng)內(nèi)置方法對數(shù)據(jù)集中的1 000張圖片進(jìn)行測試，對于不同類別的圖像具備一定的防御效果，但是從平臺的測試數(shù)據(jù)上看，需要對特定的圖片進(jìn)行有針對性的優(yōu)化和調(diào)整。

5.4.2 基于對抗訓(xùn)練的防御方法

由于對抗訓(xùn)練對測試環(huán)境的軟硬件條件要求較高，并且不同的應(yīng)用數(shù)據(jù)集有較大差異，本平臺僅提供已經(jīng)完成對抗訓(xùn)練的預(yù)訓(xùn)練模型的接口。根據(jù)文獻(xiàn)[7]的研究，主流的防御方法中采用混淆梯度技術(shù)的防御方法很容易通過梯度重建的方法攻破；而基于對抗訓(xùn)練的防御方法則具有較高的安全性和泛化效果。

為驗(yàn)證Tramèr等對Madry等的PGD-AT對抗訓(xùn)練模型對于單一攻擊會產(chǎn)生過擬合效果的推測，本系統(tǒng)使用同樣的方法測試了該攻擊。不同攻擊方法對防御效果的影響如表4所示。

表4 不同攻擊方法對防御效果的影響Tab.4 Influence of different attack methods on defense effect

由表4可以看出，對訓(xùn)練模型的FGSM進(jìn)行優(yōu)化后的Random-FGSM對模型的攻擊成功率大幅提升，模型準(zhǔn)確率由之前的55%降低到了24%，驗(yàn)證了Tramèr算法的有效性。

本系統(tǒng)提供Ens-AT[14]，M-PGD以及ALP[16]三種防御方法，采用FGSM，BIM，ILLC混合的白盒攻擊算法對這3種防御模型進(jìn)行了攻擊。各方法在ImageNet的防御效果如表5所示。

表5 對抗訓(xùn)練防御測試Tab.5 Defense test of adversarial training

由表5可以看出，未經(jīng)對抗訓(xùn)練的原模型在混合攻擊下僅有2.12%的準(zhǔn)確率，而經(jīng)過單步攻擊訓(xùn)練的集成對抗訓(xùn)練的Ens-AT方法在混合攻擊下防御效果提升非常有限，Kannan等提出更強(qiáng)的M-PGD攻擊的對抗訓(xùn)練效果相較Tramèr等有小幅提升，幾種方法的準(zhǔn)確率都遠(yuǎn)低于10%。實(shí)驗(yàn)證明，Kannan等提出的Logit配對損失(ALP)在ImageNet上對抗單步多步混合的白盒攻擊達(dá)到了較好的防御效果，檢測準(zhǔn)確率較先前方法有顯著提升。安全人員在進(jìn)行測試過程中，可以選擇其中的方法作為基線標(biāo)準(zhǔn)。

6 結(jié)束語

云環(huán)境自身的安全問題由來已久，大量智能應(yīng)用的部署使得由于模型自身的脆弱性帶來一系列新的安全威脅，這已經(jīng)成為限制云應(yīng)用升級的一大瓶頸。本文提出建立一套可用于對抗樣本的攻擊和防御檢測的攻防驗(yàn)證體系。用戶可以采用系統(tǒng)內(nèi)置的多種對抗樣本生成算法測試自己的深度學(xué)習(xí)應(yīng)用；也可以通過平臺的接口調(diào)用自定義攻擊方法，攻擊平臺提供的防御模型；通過平臺的評估模塊，用戶可以對自定義的攻擊方法進(jìn)行評估和迭代驗(yàn)證。本文對內(nèi)置的攻擊方法、防御手段以及模型參數(shù)設(shè)置進(jìn)行了驗(yàn)證測試，均獲得與原始測試準(zhǔn)確度接近的穩(wěn)定的測試性能。安全測試人員基于本系統(tǒng)可以實(shí)現(xiàn)對自研攻擊方法、防御方法以及神經(jīng)網(wǎng)絡(luò)的攻防驗(yàn)證測試，評估對抗樣本攻擊的有效性以及網(wǎng)絡(luò)安全性。