基于深度學(xué)習(xí)的對(duì)抗攻擊技術(shù)綜述*

蔣玲玲，羅娟娟，朱玉鵬，周東青

（1.北京郵電大學(xué)計(jì)算機(jī)學(xué)院，北京 100089； 2.軍事科學(xué)院系統(tǒng)工程研究院，北京 100089）

0 引言

在大數(shù)據(jù)時(shí)代下，人工智能飛速發(fā)展，在計(jì)算機(jī)視覺［1］、自然語言處理［2］、語音［3］等領(lǐng)域都取得了很大的成就。2012年Krizhevsky 等人［1］提出AlexNet，并且在ImageNet［4］數(shù)據(jù)集上取得非常突出的表現(xiàn)，此后卷積神經(jīng)網(wǎng)絡(luò)（CNN）成為圖像識(shí)別領(lǐng)域的標(biāo)準(zhǔn)結(jié)構(gòu)。隨著硬件設(shè)備的發(fā)展、對(duì)海量數(shù)據(jù)算力的提升，計(jì)算機(jī)視覺領(lǐng)域涌現(xiàn)了更多更好的深度神經(jīng)網(wǎng)絡(luò)（DNN），如VGG［5］、GoogleNet［6］、ResNet［7］等，然而一旦面對(duì)蓄意攻擊，深度學(xué)習(xí)系統(tǒng)往往會(huì)崩潰。比如，在路標(biāo)上張貼攻擊者精心制作的貼紙即可誤導(dǎo)自動(dòng)駕駛系統(tǒng)將停止路標(biāo)識(shí)別為限速路標(biāo)［8］，帶上對(duì)抗眼鏡框即可欺騙人臉識(shí)別系統(tǒng)［9］。這嚴(yán)重危脅了社會(huì)公共秩序和財(cái)產(chǎn)安全。深度學(xué)習(xí)模型給人類的生活帶來巨大便利的同時(shí)，也帶來了不容忽視的安全隱患問題。

為了構(gòu)建安全可靠的深度學(xué)習(xí)系統(tǒng)，減少其在實(shí)際部署應(yīng)用時(shí)潛在問題的出現(xiàn)，保證深度學(xué)習(xí)模型的安全性、魯棒性、可靠性，許多學(xué)者研究深度學(xué)習(xí)模型的安全與隱私問題，并提出了一系列對(duì)抗攻擊方法。本文對(duì)現(xiàn)有的對(duì)抗攻擊方法進(jìn)行歸納和總結(jié)，第1 節(jié)介紹對(duì)抗攻擊的定義、分類標(biāo)準(zhǔn)和發(fā)展；第2、3 節(jié)分別介紹白盒和黑盒攻擊方法；第4 節(jié)通過實(shí)驗(yàn)驗(yàn)證對(duì)比分析經(jīng)典的攻擊算法；最后總結(jié)并展望。

1 相關(guān)概念簡介

1.1 對(duì)抗攻擊的定義

對(duì)抗攻擊是指在干凈樣本上添加精心設(shè)計(jì)的人眼不可見、或人眼可見的不影響整體的擾動(dòng)以欺騙人工智能技術(shù)（AI），使得原樣本不能被正確分類的過程。對(duì)抗樣本是指以很高置信度使AI 誤分類，然而人類依舊能夠正確分類的樣本［10］。

1.2 對(duì)抗攻擊的分類

攻擊者會(huì)根據(jù)不同的攻擊場景提出不同的攻擊方法，通過歸納、總結(jié)現(xiàn)有的攻擊方法，對(duì)抗攻擊可以按照攻擊環(huán)境、有無目標(biāo)、迭代次數(shù)、擾動(dòng)來源等標(biāo)準(zhǔn)分類，分類情況如表1 所示。

表1 對(duì)抗攻擊的分類

1.3 對(duì)抗攻擊的發(fā)展

自2014年Goodfellow 提出：一種快速產(chǎn)生對(duì)抗樣本方法——FGSM 后，對(duì)抗樣本生成算法不斷涌現(xiàn)，白盒攻擊和黑盒攻擊的發(fā)展歷程如圖1—2 所示。在黑盒場景下，攻擊者因其對(duì)模型了解的信息比白盒場景少，攻擊難度更大，初始階段發(fā)展緩慢，但黑盒攻擊方法更貼近現(xiàn)實(shí)、挑戰(zhàn)難度更大，后續(xù)研究較多。

圖1 白盒攻擊的發(fā)展

2 白盒攻擊

白盒攻擊可以分為基于梯度的攻擊、基于優(yōu)化的攻擊、基于決策邊界的攻擊、基于生成式模型的攻擊、基于雅可比顯著圖的攻擊。常見的白盒攻擊方法的對(duì)比如表2 所示。下文具體分析經(jīng)典的白盒攻擊方法。

表2 白盒攻擊方法對(duì)比

2.1 基于梯度的攻擊

Goodfellow 等人［11］提出FGSM 攻擊方法，該方法使得目標(biāo)模型的損失函數(shù)增大，即模型預(yù)測中真實(shí)標(biāo)簽對(duì)應(yīng)的概率減小，因此沿著梯度生成方向攻擊最合適?；谔荻鹊墓粢訤GSM 為基礎(chǔ)，演變出其他攻擊方法，F(xiàn)GSM 及其變體之間的關(guān)系如圖3 所示。圖中，I-FGSM［13］引入步長，提出迭代的攻擊方法；MIFGSM［15］在梯度下降的過程中引入動(dòng)量；PI-FGSM［18］使用放大因子來計(jì)算每步的步長，一方面可以避免在迭代過程中陷入目標(biāo)模型的局部最優(yōu)點(diǎn)，另一方面也為塊級(jí)別擾動(dòng)的產(chǎn)生提供了基礎(chǔ)；NI-FGSM［27］在IFGSM 基礎(chǔ)上使用Nesterov 加速梯度；VMI-FGSM［28］在I-FGSM 基礎(chǔ)上進(jìn)一步考慮上一次迭代的梯度方差來調(diào)整當(dāng)前梯度，以穩(wěn)定梯度更新方向，避免陷入局部最優(yōu)；DI2-FGSM［16］受到數(shù)據(jù)增強(qiáng)的啟發(fā)，對(duì)輸入的圖片以固定的概率應(yīng)用隨機(jī)翻轉(zhuǎn)、縮放；TI-FGSM［17］利用卷積神經(jīng)網(wǎng)絡(luò)平移不變性的思想。

圖2 黑盒攻擊的發(fā)展

圖3 FGSM 及其變體之間的關(guān)系

2.2 基于優(yōu)化的攻擊

尋找對(duì)抗樣本是一個(gè)逐步優(yōu)化的過程。一方面要確保添加的對(duì)抗擾動(dòng)足夠小，人眼無法察覺；另一方面，要確保模型要能夠誤分類對(duì)抗樣本。因此，基于優(yōu)化的攻擊方法目標(biāo)函數(shù)如下：

式中，DNN 定義為f( · )，輸入干凈圖片x，對(duì)應(yīng)DNN的預(yù)測結(jié)果為f(x)，δ為添加的全局?jǐn)_動(dòng)，ytar為目標(biāo)標(biāo)簽。常見的基于優(yōu)化的攻擊方法有2 種：

1） L-BFGS

Szegedy 等人［12］提出的L-BFGS 攻擊方法是對(duì)抗樣本領(lǐng)域的開山之作。在公式（1）中滿足條件的δ值不唯一，用D(x，ytar)來表示一個(gè)最小的δ。因?yàn)檎业綌_動(dòng)D是十分困難的，所以可轉(zhuǎn)換為求解以下問題得到對(duì)抗樣本。

式中，L 為損失函數(shù)。通過線性搜索找到滿足c＞0 的參數(shù)c，轉(zhuǎn)化為求解盒約束的L-BFGS 從而找到D(x，ytar)的近似值，后續(xù)基于優(yōu)化的攻擊都是基于公式（2）改進(jìn)的，但是對(duì)抗樣本的質(zhì)量依賴于參數(shù)c的選擇，尋找滿足條件的c需要消耗大量時(shí)間。

2） C&W

Carlini 和Wagner 等人［20］提 出基于最 優(yōu)化目 標(biāo)的攻擊方法C&W 與L-BFGS 相似，優(yōu)化目標(biāo)為公式（2）。C&W 中對(duì)抗擾動(dòng)定義如下：

則x+δ=(tanh (θ)+1)/2 ∈[0，1]，可以確保對(duì)抗樣本始終在圖片有效范圍內(nèi)。對(duì)于目標(biāo)攻擊而言，目標(biāo)類別為ytar，損失函數(shù)L(xadv)可以定義為：

式中，Z(x)是神經(jīng)網(wǎng)絡(luò)未經(jīng)過Softmax 層之前的值。

C&W 與L-BFGS、FGSM 等攻擊方法相比攻擊效果、視覺效果更好，同時(shí)能以很高置信度攻擊防御性的蒸餾模型。但是C&W 是基于優(yōu)化的攻擊，大量的時(shí)間消耗在常數(shù)c的搜索上，攻擊效率低。

2.3 基于邊界的攻擊

基于決策邊界的攻擊方法是基于分類模型中高維超平面分類的思想，即為了改變某個(gè)樣本x的分類，可以將x迭代式地朝著模型決策邊界移動(dòng)，直到越過模型決策邊界，從而被模型誤分類?；跊Q策邊界的攻擊方法有2 種：

1） DeepFool

基于解析幾何原理，Moosavi-Dezfooli 等人［21］提出了DeepFool 攻擊方法。在多分類問題中，分類邊界和樣本的距離即為改變樣本分類標(biāo)簽的最小擾動(dòng)；在二分類問題中，計(jì)算對(duì)抗擾動(dòng)相當(dāng)于計(jì)算樣本到分類邊界的距離。DeepFool 在每次迭代中修改擾動(dòng)將原始樣本推向決策邊界直到跨越邊界。DeepFool 使用的距離衡量標(biāo)準(zhǔn)是L2范數(shù)，在相同攻擊成功率下，與FGSM 相比，圖像需要改變的擾動(dòng)量更小。

2） UAP

Moosavi-Dezfooli 等人［22］在DeepFool 基礎(chǔ)上進(jìn)一步改進(jìn)提出通用對(duì)抗擾動(dòng)計(jì)算方法UAP，與Deep-Fool 方法相比，該方法生成的擾動(dòng)遷移能力強(qiáng)，不僅是針對(duì)一張圖片有效，而是針對(duì)某個(gè)數(shù)據(jù)集有效。通用對(duì)抗擾動(dòng)的存在揭示了DNN 在高維決策邊界之間的幾何相似性。

2.4 基于生成式模型的攻擊

Xiao 等人［23］提出基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的攻擊框架AdvGAN，如圖4 所示，該框架包括生成器G、鑒別器D和目標(biāo)模型f。G的輸入是原始樣本x，輸出為對(duì)抗擾動(dòng)G(x)。將對(duì)抗樣本x+G(x)送到D中判斷是否真實(shí)。作者使用對(duì)抗損失使對(duì)抗樣本更接近原始樣本和訓(xùn)練生成式模型，此外還引入使對(duì)抗樣本被誤識(shí)別為目標(biāo)類別的攻擊損失和限制擾動(dòng)大小合頁損失訓(xùn)練GAN。

2.5 小結(jié)

白盒攻擊方法的優(yōu)缺點(diǎn)總結(jié)如表2 所示。

表2 白盒攻擊方法優(yōu)缺點(diǎn)總結(jié)

3 黑盒攻擊

黑盒攻擊可以分為基于遷移的攻擊和基于查詢的攻擊，詳細(xì)分類如圖5 所示?；谶w移的攻擊訓(xùn)練替代模型代替目標(biāo)黑盒，在替代模型上使用白盒攻擊方法生成對(duì)抗樣本，利用對(duì)抗樣本的遷移性攻擊目標(biāo)模型。基于遷移的攻擊無需目標(biāo)模型的反饋，但需要數(shù)據(jù)集訓(xùn)練替代模型。基于查詢的攻擊通過輸入樣本到目標(biāo)模型得到反饋信息（如硬標(biāo)簽或者分?jǐn)?shù)），然后利用目標(biāo)模型的反饋信息進(jìn)行攻擊。

圖5 黑盒攻擊分類

3.1 基于遷移的攻擊

在黑盒環(huán)境下，模型內(nèi)部參數(shù)不可知，因此無法獲取目標(biāo)模型的梯度，無法利用基于梯度的方法來生成對(duì)抗樣本。Goodfellow 等人［11］研究表明，對(duì)抗樣本具有遷移性，即白盒上生成的對(duì)抗樣本在未知結(jié)構(gòu)的黑盒模型上也可以攻擊成功。

基于遷移的攻擊具體流程可分為3 個(gè)步驟：攻擊者獲取訓(xùn)練數(shù)據(jù)集；攻擊者設(shè)計(jì)替代模型的結(jié)構(gòu)，使用訓(xùn)練集訓(xùn)練替代模型； 攻擊者在替代模型上使用白盒攻擊方法攻擊黑盒模型。

基于遷移的攻擊方法可分為2 類：

一是面向所有黑盒。通過提高對(duì)抗樣本的遷移性，使得對(duì)抗樣本在任意黑盒上的攻擊成功率提高。

二是面向特定黑盒。訓(xùn)練替代模型盡可能復(fù)制目標(biāo)黑盒的功能或者決策邊界，在替代模型上使用白盒攻擊方法生成對(duì)抗樣本。

3.1.1 面向所有黑盒

面向所有黑盒提高對(duì)抗樣本遷移性的方法有基于梯度、基于注意力的黑盒攻擊方法等。

1） 基于梯度的黑盒攻擊

許多研究者不斷改進(jìn)基于梯度的攻擊方法，主要通過優(yōu)化梯度計(jì)算和輸入變換提高對(duì)抗樣本的遷移性，在2.1 小節(jié)中已經(jīng)做具體介紹。

2） 基于注意力的黑盒攻擊

Selvaraju 等 人［29］提出梯度加權(quán)類激活映射圖（Grad-CAM）將模型感興趣的區(qū)域以熱力圖的方式可視化。圖6 為用于貓預(yù)測的三種代表性的模型的熱力圖。紅色區(qū)域在模型做出決策的時(shí)候貢獻(xiàn)較大?；谧⒁饬Φ墓舴椒ǖ幕舅枷胧寝D(zhuǎn)移模型的關(guān)注區(qū)域，當(dāng)模型的注意力不再關(guān)注重要區(qū)域的時(shí)候，模型誤判。

圖6 用于貓預(yù)測的3 種代表性模型的熱力圖

除上述方法外，許多學(xué)者研究了其他方法提高對(duì)抗樣本的遷移性，如表3 所示。

表3 提高遷移性的其他方法

3.1.2 面向特定黑盒

面向特定黑盒提高對(duì)抗樣本遷移性主要采取模型竊取（MS）的方法。MS 允許攻擊者擁有黑盒訪問目標(biāo)模型的權(quán)力，通過獲取不同輸入在目標(biāo)模型中的預(yù)測結(jié)果訓(xùn)練替代（克?。┠Ｐ?，從而復(fù)制目標(biāo)模型功能［33］。

模型竊取的過程是首先通過查詢目標(biāo)模型構(gòu)造數(shù)據(jù)集，若目標(biāo)模型的訓(xùn)練數(shù)據(jù)集未知，則訓(xùn)練克隆模型的難度更大。然后根據(jù)不同的任務(wù)選擇克隆模型的結(jié)構(gòu)，使用構(gòu)造的訓(xùn)練集訓(xùn)練克隆模型。最后在克隆模型的基礎(chǔ)上生成對(duì)抗樣本，過程如圖7 所示。

圖7 模型竊取生成對(duì)抗樣本

Papernot 等人［34］將攻擊過程分為2 個(gè)階段，第一階段僅使用訓(xùn)練數(shù)據(jù)集的部分?jǐn)?shù)據(jù)或者與目標(biāo)模型的訓(xùn)練數(shù)據(jù)集不一定具有相同分布的真實(shí)數(shù)據(jù)，使用Jacobian-based Dataset Augmentation 方法生成數(shù)據(jù)集訓(xùn)練替代模型，以擬合目標(biāo)模型的決策邊界。第二階段在替代模型上生成對(duì)抗樣本。

Zhou［35］等人首次提出無需任何真實(shí)數(shù)據(jù)訓(xùn)練替代模型的攻擊方法DAST，對(duì)傳統(tǒng)的GAN 進(jìn)行了改進(jìn)，為生成模型設(shè)計(jì)了多分支架構(gòu)和標(biāo)簽控制損失以解決合成樣本不均勻分布的問題，利用合成的樣本來訓(xùn)練替代模型。該方法中替代模型輸出與目標(biāo)模型相同的預(yù)測結(jié)果而不是擬合目標(biāo)模型的決策邊界，而且沒有恢復(fù)訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)分布。Wang 等人［36］提出多樣數(shù)據(jù)生成模塊和對(duì)抗替代訓(xùn)練策略，保證合成的數(shù)據(jù)訓(xùn)練的替代模型的邊界和目標(biāo)模型的邊界更相似，提高了攻擊的成功率。Kariyappa 等人［37］提出MAZE 攻擊方法，將無數(shù)據(jù)的知識(shí)蒸餾方法和零階優(yōu)化（ZOO）相結(jié)合，訓(xùn)練合成數(shù)據(jù)的生成器，使得目標(biāo)模型的邊界和克隆模型的邊界對(duì)齊，獲得高精度的克隆模型。

3.2 基于查詢的攻擊

查詢目標(biāo)黑盒可以得到反饋信息，攻擊者可以利用反饋信息攻擊.基于查詢的黑盒攻擊可以描述為：

式中，Q為單個(gè)圖像的最大查詢次數(shù)，ytrue是干凈圖像x的真實(shí)標(biāo)簽，Mtar為要攻擊的目標(biāo)模型，Mtar(xadv)是輸入xadv到目標(biāo)模型中輸出的概率，L 為損失函數(shù)。

根據(jù)從目標(biāo)模型得到的反饋信息不同，基于查詢的攻擊可以分為基于分?jǐn)?shù)的攻擊和基于邊界的攻擊。基于分?jǐn)?shù)的攻擊從目標(biāo)模型得到的反饋信息是分?jǐn)?shù)或者概率，基于邊界的攻擊則是硬標(biāo)簽。

3.2.1 基于分?jǐn)?shù)的攻擊

1） 基于梯度估計(jì)的黑盒攻擊

基于梯度估計(jì)主要通過查詢目標(biāo)模型得到的反饋信息估計(jì)目標(biāo)模型的梯度，Chen 等人［38］提出零階梯度估計(jì)攻擊方法。在黑盒環(huán)境下，網(wǎng)絡(luò)的參數(shù)、結(jié)構(gòu)未知，因此無法通過反向傳播知道梯度更新對(duì)抗樣本，該方法使用對(duì)稱商差來估計(jì)一階梯度和二階梯度。獲得梯度后，使用隨機(jī)坐標(biāo)下降方法即ZOO-Adam 和ZOO-Netwon 更新對(duì)抗樣本。該方法需要查詢目標(biāo)模型2p次，其中p為一張圖片的總像素?cái)?shù)目，對(duì)于高分辨率的圖片必然導(dǎo)致查詢次數(shù)過多，因此提出使用雙線性插值的方法減少攻擊空間的維度。此外還采取了坐標(biāo)采樣，即根據(jù)坐標(biāo)的重要性選取重要坐標(biāo)更新梯度。該方法的缺點(diǎn)是所需查詢次數(shù)較多，容易引起目標(biāo)模型的注意。在梯度估計(jì)方法的基礎(chǔ)上，研究者提出如表4 所示的改進(jìn)方法。

表4 基于梯度估計(jì)的方法的改進(jìn)

2） 基于模型竊取的黑盒攻擊

Du 等人［42］將元學(xué)習(xí)和對(duì)抗攻擊結(jié)合起來提出Meta Attack，Aθ是模擬黑盒的梯度輕量級(jí)的自編碼器，利用元學(xué)習(xí)的方法訓(xùn)練攻擊器Aθ。該方法僅在Aθ的微調(diào)時(shí)使用到需要查詢密集的梯度估計(jì)方法，因此保證了梯度生成質(zhì)量的同時(shí)大幅減少了查詢次數(shù)。但如果圖片分辨率高，Aθ無法準(zhǔn)確預(yù)測梯度矩陣。因此，Meta Attack 方法從梯度矩陣中選擇最大梯度值的125 個(gè)元素進(jìn)行回歸，但攻擊高分辨率圖片時(shí)仍效果不佳。

Ma 等人［43］提出Simulator Attack，利用元 學(xué)習(xí)的方法訓(xùn)練模擬器M，與Aθ不同的是，M 模擬目標(biāo)黑盒的輸出。M 只需要查詢少量的數(shù)據(jù)微調(diào)即可精確地模擬任何未知黑盒的輸出，生成對(duì)抗樣本時(shí)將大量的查詢轉(zhuǎn)移到M 上，有效減少查詢次數(shù)。

3） 基于進(jìn)化算法的黑盒攻擊

Su 等人［44］提出One-Pixel 攻擊方法，該方法只改變一個(gè)像素點(diǎn)的值，不限制其改變大小，對(duì)擾動(dòng)像素的位置信息和擾動(dòng)強(qiáng)度進(jìn)行優(yōu)化生成對(duì)抗樣本。該方法針對(duì)分辨率較低的數(shù)據(jù)集如MNIST、CIFAR10效果較好，但是圖片分辨率較高時(shí)，一個(gè)像素點(diǎn)的改變很難影響分類結(jié)果。此外，基于進(jìn)化的算法依賴于種群規(guī)模和迭代次數(shù)，為了獲得全局最優(yōu)解，種群規(guī)模和迭代次數(shù)設(shè)置很大。因此，One-Pixel 攻擊需要消耗的時(shí)間長，攻擊效率低。

Jia 等人［45］提出了結(jié)合了圖像水印技術(shù)的對(duì)抗水印生成算法Adv-watermark，提出基于種群的全局搜索策略BHE（Basin Hopping Evolution）來搜索水印的位置和透明度生成對(duì)抗樣本。

3.2.2 基于邊界的攻擊

基于邊界的攻擊在一個(gè)更加嚴(yán)格的黑盒環(huán)境下，將樣本輸入到目標(biāo)模型中，僅能獲取到模型預(yù)測類別即硬標(biāo)簽，而不能獲取概率或者置信度，獲取的信息更少，攻擊難度更高。

Brendel 等人［46］提出僅能獲取目標(biāo)模型輸出的硬標(biāo)簽的Boundary Attack 攻擊方法。對(duì)于非定向攻擊，在圖片有效范圍［0，255］內(nèi)通過最大熵分布采樣得到初始對(duì)抗樣本。對(duì)于定向攻擊，選擇目標(biāo)類別的圖片作為初始對(duì)抗樣本。每次迭代產(chǎn)生一個(gè)擾動(dòng)，產(chǎn)生的擾動(dòng)滿足：1） 對(duì)抗樣本在圖片有效范圍內(nèi)；2） 擾動(dòng)和對(duì)抗樣本與原始樣本之間的距離成正比，且盡量減少對(duì)抗樣本和原始樣本之間的差異，在不斷迭代靠近原始樣本的基礎(chǔ)上生成對(duì)抗樣本。Boundary Attack 是基于邊界的攻擊方法的開山之作，可以攻破防御性蒸餾，缺點(diǎn)是需要大量的查詢，且無法保證一定能收斂。

3.2.3 小結(jié)

面向特定黑盒的攻擊主要是采用模型竊取的攻擊方法，其缺點(diǎn)是當(dāng)目標(biāo)模型的結(jié)構(gòu)發(fā)生改變后，在替代模型基礎(chǔ)上生成的對(duì)抗樣本攻擊成功率會(huì)明顯下降。如果目標(biāo)模型結(jié)構(gòu)發(fā)生很大變化，則會(huì)導(dǎo)致基于替代模型產(chǎn)生的對(duì)抗樣本無法攻擊成功。面向特定黑盒需要根據(jù)攻擊場景選擇替代模型結(jié)構(gòu)，如攻擊場景為分類場景，選擇替代模型一般為VGG 系列或者ResNet 系列等。面向所有黑盒的攻擊利用對(duì)抗樣本的遷移性，針對(duì)任意未知結(jié)構(gòu)的黑盒遷移性都略有提高。與基于分?jǐn)?shù)和遷移的攻擊相比，基于邊界的攻擊更貼近真實(shí)場景，不需要依賴替代模型，但也帶來了挑戰(zhàn)：首先分類標(biāo)簽對(duì)基于梯度的小擾動(dòng)不是很敏感；其次輸入樣本到目標(biāo)模型中，只能獲取到硬標(biāo)簽，所以攻擊目標(biāo)函數(shù)是不連續(xù)的，因此難以優(yōu)化?；谶w移的攻擊方法雖然無需查詢目標(biāo)模型但是有2 個(gè)缺點(diǎn)：1） 一般都需要訓(xùn)練數(shù)據(jù)集訓(xùn)練替代模型；2） 攻擊成功率特別是定向攻擊的成功率不高?；诓樵兊墓舴椒ㄈ秉c(diǎn)在于查詢次數(shù)多，容易被目標(biāo)黑盒防御和檢測，且攻擊效率低。因此，基于查詢的攻擊方法的改進(jìn)目標(biāo)在于如何減少查詢次數(shù)。

4 實(shí)驗(yàn)對(duì)比和分析

4.1 常見的攻擊方法對(duì)比

實(shí)驗(yàn)利用MNIST 數(shù)據(jù)集對(duì)分類器LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，epoch 設(shè)為10，經(jīng)歷過10 次epoch 訓(xùn)練和測試后，分類器準(zhǔn)確率可達(dá)98.14%?；谔荻鹊姆椒óa(chǎn)生的對(duì)抗樣本識(shí)別準(zhǔn)確率如表5 所示，其他攻擊方法對(duì)抗樣本識(shí)別準(zhǔn)確率如表6 所示。

表5 FGSM 系列對(duì)抗樣本識(shí)別準(zhǔn)確率%

表6 其他攻擊方法對(duì)抗樣本識(shí)別準(zhǔn)確率

由表5—6 分析可知：

1） I-FGSM 和FGSM 相比，對(duì)抗樣本識(shí)別準(zhǔn)確率降低，說明迭代攻擊的效果比單步攻擊效果好；

2）?越大，攻擊強(qiáng)度越大，肉眼可見的噪聲越多，對(duì)抗樣本識(shí)別準(zhǔn)確率越低，攻擊成功率越高；

3） C&W 攻擊識(shí)別準(zhǔn)確率最低，是最強(qiáng)的白盒攻擊方法之一，但是比FGSM 系列的算法攻擊時(shí)間長；

4） 黑盒攻擊方法One-Pixel 僅僅修改一個(gè)像素，攻擊成功率低，生成對(duì)抗樣本時(shí)間長。

4.2 黑盒遷移性對(duì)比

實(shí)驗(yàn)利用CIFAR10 數(shù)據(jù)集對(duì)白盒模型VGG19 和黑盒模型ResNet18 進(jìn)行訓(xùn)練和測試，經(jīng)歷過250 次epoch 訓(xùn)練和測試后，VGG19 的分類準(zhǔn)確率可達(dá)93.53%，ResNet18 的分類準(zhǔn)確率可達(dá)95.01%。

通過實(shí)驗(yàn)，常見的幾種攻擊方法黑盒遷移性對(duì)比如表7 所示。由表7 分析可知：

表7 常見的幾種攻擊方法黑盒遷移性對(duì)比

1） 黑盒模型識(shí)別干凈樣本的準(zhǔn)確率為95.010%，在黑盒模型上對(duì)抗樣本的識(shí)別率均小于95%，說明對(duì)抗樣本存在遷移性。

2） 基于梯度的攻擊方法生成的對(duì)抗樣本在黑盒模型上的識(shí)別準(zhǔn)確率明顯低于非梯度的方法，與其他白盒攻擊方法相比，基于梯度的攻擊方法生成的對(duì)抗樣本的遷移性高。

3） 對(duì)抗樣本識(shí)別準(zhǔn)確率：MI-DI-FGSM＜MIFGSM＜BIM，說明利用輸入多樣性、動(dòng)量等方法可以與其他方法相結(jié)合，提高對(duì)抗樣本的遷移性。

5 研究展望

深度學(xué)習(xí)領(lǐng)域?qū)构艏夹g(shù)的發(fā)展歷程主要分為：1） 攻擊方法由剛開始簡單的白盒攻擊到黑盒攻擊、攻擊模型由分類模型到目標(biāo)檢測模型和圖像檢索模型等；2） 由數(shù)字世界的攻擊轉(zhuǎn)變?yōu)槲锢硎澜绲墓簦?） 攻擊的領(lǐng)域由圖像領(lǐng)域逐漸應(yīng)用到自然語言處理、語音識(shí)別、隱私保護(hù)等各個(gè)領(lǐng)域。

總的來說，目前深度學(xué)習(xí)對(duì)抗攻擊領(lǐng)域仍處于研究探索階段，提出以下展望：

1） 提高對(duì)抗樣本泛化性能

對(duì)抗樣本的泛化性能，指對(duì)抗擾動(dòng)的通用性，即對(duì)抗擾動(dòng)對(duì)整個(gè)數(shù)據(jù)集或者其他未知結(jié)構(gòu)模型都有效。在現(xiàn)實(shí)世界中，大部分是黑盒環(huán)境，面對(duì)模型結(jié)構(gòu)未知、參數(shù)未知的黑盒模型，提高對(duì)抗擾動(dòng)泛化性意味著對(duì)抗樣本對(duì)多種結(jié)構(gòu)不同的黑盒模型都依然保持攻擊成功率。在攻擊時(shí)，直接添加通用擾動(dòng)，無需大量訪問被攻擊網(wǎng)絡(luò)，不容易暴露攻擊，攻擊過程變得簡單高效。

2） 拓展對(duì)抗攻擊技術(shù)應(yīng)用領(lǐng)域

目前對(duì)抗攻擊技術(shù)已經(jīng)拓展到文本、語音等領(lǐng)域，未來可探索發(fā)揮對(duì)抗攻擊積極的作用。諸如，對(duì)抗攻擊可應(yīng)用在隱私保護(hù)領(lǐng)域，將隱私數(shù)據(jù)添加對(duì)抗擾動(dòng)相當(dāng)于進(jìn)行加密操作，即使上傳到網(wǎng)絡(luò)后蓄意收集隱私者也無法利用數(shù)據(jù)訓(xùn)練；將對(duì)抗攻擊應(yīng)用到軍事作戰(zhàn)領(lǐng)域中，可以欺騙敵方的無人車或者無人機(jī)目標(biāo)檢測系統(tǒng)，從而達(dá)到隱藏裝備的目的。

3） 關(guān)注模型魯棒性

對(duì)抗樣本的存在使研究者意識(shí)到模型的高識(shí)別準(zhǔn)確率并不等于魯棒性。當(dāng)模型僅追求更高的分類準(zhǔn)確度時(shí)，往往會(huì)犧牲在對(duì)抗攻擊下的魯棒性。當(dāng)分類器具有非常低的分類錯(cuò)誤率的時(shí)候，在對(duì)抗攻擊下它將變得非常脆弱。因此，模型的設(shè)計(jì)要重視模型的對(duì)抗魯棒性。未來模型的結(jié)構(gòu)設(shè)計(jì)可以多關(guān)注于圖片的整體形狀，減少對(duì)紋理的依賴。

6 結(jié)束語

本文首先介紹對(duì)抗攻擊的定義、分類標(biāo)準(zhǔn)和發(fā)展歷程，對(duì)比分析白盒攻擊方法和黑盒攻擊方法，然后使用MNIST、CIFAR-10 數(shù)據(jù)集對(duì)經(jīng)典的攻擊方法進(jìn)行實(shí)驗(yàn)驗(yàn)證，最后總結(jié)對(duì)抗攻擊技術(shù)，分析其發(fā)展前景。未來不僅要圍繞對(duì)抗攻擊的技術(shù)深度展開研究，還要拓寬對(duì)抗攻擊技術(shù)的應(yīng)用領(lǐng)域，提高深度學(xué)習(xí)系統(tǒng)的安全性和魯棒性?！?/p>