對抗樣本生成及防御方法綜述

劉海燕 呂涵

摘? 要：隨著人工智能的不斷發(fā)展，機器學習在多個領域中取得了很好的應用效果。然而對抗樣本的出現(xiàn)對機器學習模型的安全性造成了不容忽視的威脅，導致了機器學習模型的分類準確性降低。文章簡述了對抗樣本的起源、概念以及不同的對抗攻擊方式，研究了典型的對抗樣本生成方法以及防御方法，并在此基礎上，展望了關于對抗攻擊和對抗攻擊防御的未來發(fā)展趨勢。

關鍵詞：機器學習;對抗樣本;神經網絡;對抗攻擊

中圖分類號：TP18? ? ? 文獻標識碼：A文章編號：2096-4706（2021）22-0082-04

Abstract： With the continuous development of artificial intelligence， machine learning has achieved good application effects in many fields. However， the emergence of adversarial samples poses a serious threat to the security of machine learning models and reduces the accuracy of machine learning model classification. This paper briefly describes the origin， concept and different adversarial attack methods of adversarial samples， studies typical adversarial sample generation methods and defense methods， and on this basis， puts forward the future development trend of adversarial attack and adversarial attack defense.

Keywords： machine learning; adversarial sample; neural network; adversarial attack

0? 引? 言

人工智能技術促進了新興技術的快速發(fā)展，它的重要驅動力之一就是機器學習算法，機器學習算法已廣泛應用于各種領域，如自動駕駛，醫(yī)療和惡意軟件檢測等。但是研究表明，機器學習算法面臨著一系列對抗性威脅，影響其安全性問題的關鍵就是對抗樣本。對抗樣本的產生使得機器學習模型的分類準確率大大降低，因此，研究對抗樣本的生成及防御方法變得尤為重要。而且，由于多數(shù)機器學習算法是黑盒模型，其構造的分類模型具有不可解釋性，進一步研究對抗樣本對于解釋機器學習尤其是深度學習算法有所幫助。

2013年，Szegedy等人[1]第一次提出了對抗樣本的概念，Goodfellow等人[2]解釋了對抗樣本的基本原理，證明了高維線性是導致攻擊效果顯著的根本原因。此后，關于機器學習算法的安全性問題的研究越來越多，包括如何提高對抗攻擊的成功率和分類模型的魯棒性。本文總結了近年來對抗樣本生成以及防御方法取得的進展，并簡述了其存在的問題以及未來的發(fā)展趨勢。

1? 對抗樣本及對抗攻擊

1.1? 對抗樣本的起源和概念

假設決策邊界決定樣本的分類，如圖1所示，A類和B類分別代表不同的樣本空間，由于機器學習模型并不能做到覆蓋全樣本特征，模型決策邊界與真實決策邊界之間還存在一定差異，這兩者之間的差別體現(xiàn)在其相交的區(qū)域，即對抗樣本空間。

對抗樣本是指在原始樣本中加入細微擾動并使模型錯誤分類的一種合成樣本。對抗攻擊是指用對抗樣本攻擊分類模型，使其分類的準確性下降。對抗攻擊也可以說是對抗樣本生成的過程。對抗攻擊具有可遷移性，即用針對某分類模型生成的對抗樣本攻擊其他分類模型。

1.2? 對抗攻擊的分類

對抗攻擊按照不同的分類標準可分為不同的類型：

（1）按照攻擊目標的不同，對抗攻擊可分為無目標攻擊（non-targeted attack）和目標攻擊（targeted attack）。無目標攻擊是指攻擊者使輸入樣本被分類到任意錯誤類別;目標攻擊是指攻擊者使輸入樣本被分類到指定錯誤類別。

（2）按照攻擊者對模型信息的獲取程度，對抗攻擊可分為白盒攻擊（White-box Attack）和黑盒攻擊（Black-box Attack）。白盒攻擊是指攻擊者掌握目標模型的結構、參數(shù)和訓練數(shù)據(jù)等詳細信息。黑盒攻擊是指攻擊者不了解目標模型的關鍵信息，僅能通過對模型輸入樣本得到輸出信息來推理模型特性。

（3）按照算法的迭代過程，對抗攻擊可分為單次迭代攻擊和多次迭代攻擊。單次迭代算法可以快速生成對抗樣本;多次迭代算法攻擊效果好但效率較低。

（4）按照攻擊的過程不同，對抗攻擊可分為投毒攻擊、逃避攻擊、模仿攻擊和逆向攻擊。投毒攻擊是將生成的對抗樣本加入訓練數(shù)據(jù)中，使機器學習模型的分類準確性下降;逃避攻擊是指生成能夠逃避檢測的對抗樣本;模仿攻擊是指生成與原始樣本類似的對抗樣本，使模型將其分類為正常樣本;逆向攻擊是指通過模型預測接口接收信息從而竊取模型信息。

2? 對抗樣本生成

生成對抗樣本的具體方法就是在原樣本上添加允許范圍內的擾動量，使得修改后的樣本在模型上的損失函數(shù)最大化（非定向攻擊）或最小化（定向攻擊），即對抗樣本生成算法可以轉換成空間搜索的優(yōu)化問題。在對抗攻擊過程中，為了使得對抗擾動無法被察覺，需要計算原始樣本與對抗樣本之間的距離，來量化樣本之間的相似性，通常用L-范數(shù)來度量。擾動量的度量計算公式為：

其中，L0，L2和L∞是最常用的樣本距離衡量指標。在對抗樣本生成方法中，L0是指添加擾動的數(shù)量，L2是指原始樣本與對抗樣本之間的歐幾里得距離，L∞是指擾動的最大改變強度。

基于不同的生成特征，常見的對抗樣本生成算法可分為：基于梯度信息的攻擊如FGSM、JSMA，基于決策邊界的攻擊如Deepfool，基于優(yōu)化的攻擊如 L-BFGS算法和C&W，基于生成模型的攻擊如生成對抗網絡。本文介紹的對抗樣本生成方法主要是為經典的計算機視覺任務開發(fā)的，并且多用于實驗研究而非真實場景中，根據(jù)典型的數(shù)據(jù)集如Imagenet、MNIST和CIFAR10來驗證各種算法的性能。

2.1? L-BFGS算法

Szegedy等人提出L-BFGS對抗樣本生成方法，通過對圖像添加少量擾動，使神經網絡模型錯誤輸出。該方法通過尋找最小的損失函數(shù)添加項來替代復雜的擾動方程求解，將求解最小擾動方程問題簡化為凸優(yōu)化求解問題。L-BFGS算法生成效率較低，可遷移性較差。

2.2? 快速梯度符號法

快速梯度符號法（Fast Gradient Sign Method，F(xiàn)GSM）通過在神經網絡模型梯度變化最大的方向加入微小擾動使模型錯誤分類。公式為：

其中，ε是調節(jié)系數(shù)，sign是符號函數(shù)，xL（x，y）是損失函數(shù)對x的一階導數(shù)。實驗證明，在一張以55.7%置信度被認為是熊貓的圖片中加入用FGSM算法生成的擾動后，該圖片以99.3%的置信度被認為是長臂猿。FGSM算法僅需一次梯度更新即得到對抗擾動，簡單有效，但擾動強度較大且只適用于線性。Kurakin等人[3]提出了基于迭代的快速梯度攻擊法BIM（Basic Iterative Method），通過多次小步梯度更新生成對抗樣本，可用于非線性目標函數(shù)并優(yōu)化擾動強度。

2.3? Jacobin映射攻擊算法

Jacobin映射攻擊算法（Jacobin-based Saliency Map Attack， JSMA）通過對原始樣本添加有限個特征數(shù)量的擾動來構造對抗樣本。JSMA算法[4]包括計算分類模型對輸入樣本的雅可比矩陣、構建對抗顯著映射和選擇擾動因素三個步驟。其中，雅可比矩陣用來計算輸入到輸出的特征，通過雅可比矩陣構建對抗顯著映射，用來量化特征值對分類器的影響。每次只改變影響最大的一個特征的值來生成對抗樣本，就可以在給出盡可能小擾動值的條件下實現(xiàn)對抗攻擊。原始樣本與對抗樣本的距離由0-范數(shù)來計算，修改特征數(shù)量最少的即為期望擾動向量。擾動向量公式為：

其中，Δδ為期望擾動向量，δ為任意擾動向量，f為分類器，x為原始樣本。此公式表示在攻擊成功的條件下，找到0-范數(shù)最小的擾動向量δ。實驗證明，在改變原始樣本4%的特征時，JSMA算法的對抗成功率可以達到97%。JSMA算法攻擊成功率較高，但由于計算復雜使生成效率較低。

2.4? 深度欺騙攻擊

深度欺騙攻擊（Deepfool）通過計算原始樣本與對抗樣本的決策邊界的最小距離得到擾動大小。它根據(jù)損失函數(shù)迭代生成滿足條件的擾動向量，迭代一次增加一個指向最近決策邊界的擾動向量，直到對抗樣本跨越決策邊界。原始樣本與對抗樣本的距離用2-范數(shù)來衡量，歐式距離最短的即為期望擾動向量。在線性二分類模型f（x）中，添加的最小擾動為原始樣本x到分割超平面F={x：ωT · x+b=0}的正交投影。擾動向量公式為：

其中，Δδ為期望擾動向量，δ為任意擾動向量，f為分類器，x為原始樣本。此公式表示攻擊成功的條件下，找到2-范數(shù)最小的擾動向量δ。與FGSM相比，DeepFool能夠計算出更小的擾動，同時具有類似的對抗性，但它無法將分類器誤導至指定類別。

2.5? C&W

Carlini和Wagner等人[5]提出了針對防御性蒸餾的C&W攻擊（Carlini and Wagner attacks），它包括L0，L2和L∞三種范數(shù)形式的約束。通過實驗對比，L2范式下的C&W攻擊能力最強。C&W攻擊對現(xiàn)有的多數(shù)深度學習模型能達到很好的攻擊效果，對比 L-BFGS、FGSM、JSMA 和 DeepFool攻擊，C&W的攻擊效果更強，但為了找到約束擾動的合適的參數(shù)導致效率較低。

2.6? 邊界攻擊

Brendel等人[6]提出一種黑盒攻擊方法——邊界攻擊（Boundary Attack），其針對目標分類器的分類結果進行攻擊。該方法首先找到一個初始對抗樣本，然后通過特定的搜索迭代方法逐漸找到決策邊界上與原始樣本最近的對抗樣本，并保證擾動小于閾值且對抗樣本依然具有對抗性。該方法只依賴模型最終決策信息的攻擊方法較為簡單，但由于其對模型訪問次數(shù)巨大造成效率較低?；诖?，Boundary Attack++對該算法進行優(yōu)化，大大提高了該算法的效率。

2.7? 生成對抗網絡

基于生成模型的對抗樣本生成方法，通過抽取原始樣本學習其概率分布，從而生成與原始樣本分布相同而又不完全相同的樣本。Goodfellow在2014年提出生成對抗網絡（GANs），它由生成模型G和判別模型D兩部分組成。生成模型學習真實數(shù)據(jù)分布生成偽數(shù)據(jù)，判別模型區(qū)分真實數(shù)據(jù)和生成數(shù)據(jù)。生成對抗網絡通過生成模型和判別模型的不斷對抗和優(yōu)化，最終達到納什均衡。實驗證明，利用生成對抗網絡構造的對抗樣本，在有防御的情況下具有較高的攻擊成功率。

表1列舉了不同的對抗攻擊方式，按照攻擊類型、攻擊目標、攻擊頻次、擾動范圍、攻擊強度、特點以及應用場景這幾個方面進行了對比。

3? 對抗樣本防御

對抗攻擊防御就是針對不同對抗攻擊設計不同防御方法，使分類模型將對抗樣本正確輸出，或使生成的對抗樣本的成功率顯著降低?，F(xiàn)有的對抗樣本防御方法主要分為兩大類，修改數(shù)據(jù)和修改網絡結構。

3.1? 基于數(shù)據(jù)修改的防御方法

這類方法主要通過對輸入數(shù)據(jù)進行預處理來檢測出對抗樣本并剔除，或將對抗樣本加入訓練集加強訓練來提高模型魯棒性。

3.1.1? 對抗訓練

在迭代訓練中，將生成的對抗樣本加入到訓練集中進行訓練，加強深度神經網絡模型在對抗環(huán)境下的魯棒性。但單步對抗訓練可能會導致模型過擬合。使用集成對抗訓練，將不同模型生成的對抗樣本進行再訓練，可以增強模型面對黑盒攻擊時的魯棒性。

3.1.2? 特征壓縮

特征壓縮通過去除不必要的輸入特征來進行壓縮，當模型對壓縮數(shù)據(jù)的預測與對原始數(shù)據(jù)的預測結果的1-范數(shù)差大于設定值，即認為它是對抗樣本。實驗證明，特征壓縮能防御FGSM、Deepfool、JSMA和C&W攻擊。特征壓縮是一種對抗攻擊檢測方法，可與其他防御方法相結合。

3.1.3? 數(shù)據(jù)隨機化處理

隨機調整對抗樣本的大小或添加一些高斯隨機化處理?；陔S機調整大小和填充的對抗防御機制，通過輸入變換消除擾動，同時可以在預測階段修改輸入數(shù)據(jù)，使得損失梯度難以計算。這種防御機制能與其他防御方法結合使用。

3.2? 基于網絡模型修改的防御方法

面對人眼無法察覺的小型擾動，深度學習模型更容易受到其影響而錯誤輸出。通過改變或隱藏模型的結構，能夠提高神經網絡模型面對小擾動的魯棒性。

3.2.1? 梯度正則化或梯度隱藏

針對可微分模型進行輸入梯度正則化，通過懲罰輸出相對輸入變化的變化幅度，從而達到隱藏梯度的目的，來提高神經網絡模型的魯棒性。這表明小型擾動不能夠大幅改變訓練模型的輸出。實驗證明，梯度正則化與對抗訓練相結合，可以很好的防御FGSM和JSMA攻擊。

3.2.2? 防御性蒸餾

防御性蒸餾是針對神經網絡模型產生的對抗樣本而提出的防御方法，它的基本思想是將在復雜模型中學習的“知識”作為先驗傳遞到簡單模型中去，從而降低神經網絡的梯度，有效防御基于梯度的小型擾動攻擊。這種方法面對FGSM和JSMA攻擊時具有很好的魯棒性，但不適用于C&W等較強攻擊方式。

3.2.3? 生成對抗網絡

生成對抗網絡利用生成器和判別器兩個網絡交替訓練，既可以檢測對抗樣本，又可以提高模型的魯棒性。實驗證明，該方法可以提高目標網絡模型對原始圖像以及添加擾動的圖像的識別準確率。

4? 結? 論

機器學習的發(fā)展促進了各個領域向智能化的轉變，但對抗樣本的存在對機器學習技術尤其是深度學習帶來了極大的安全挑戰(zhàn)，研究對抗攻擊是為了幫助網絡模型更好的抵御惡意攻擊，訓練出更加穩(wěn)健的模型。當前對于對抗樣本的研究仍有許多問題亟待解決，進一步研究對抗樣本，對于深度學習原理性解釋以及人工智能安全具有重大意義。

對抗攻擊的提出源于研究深度學習在計算機視覺中的應用，后經過大量研究與發(fā)展，對抗攻擊的應用已擴展到惡意軟件檢測、語音識別和自然語言處理等領域。

本文簡述了對抗樣本的概念及原理，介紹了經典的對抗攻擊方法及防御方法。現(xiàn)有的對抗攻擊的研究從梯度攻擊發(fā)展到決策攻擊，所需的信息量越來越少，滿足了攻擊者很難獲取到模型具體信息的現(xiàn)實情況。盡管對抗樣本算法已取得較大進展，但在計算成本和攻擊穩(wěn)定性方面仍有不足。未來對于攻擊性更強更穩(wěn)定的黑盒攻擊將是研究的重點。

對抗攻擊的防御方法，理論上修改網絡結構能達到更好的防御效果，然而這種方法針對性較強且成本較高。在實際應用中，多使用修改數(shù)據(jù)和添加網絡工具的防御方法，可以應用在不同模型中，更具有泛化性。未來可能會采取不同防御方法相結合的方式來防御對抗樣本攻擊?，F(xiàn)有的對抗攻擊防御方法多是針對特定的已知攻擊算法有效，泛化性較差。此外，對抗樣本防御方法缺乏系統(tǒng)的評估機制，很多防御方法僅通過小型數(shù)據(jù)集進行實驗，測試效果不夠嚴謹。未來這方面的研究重點是建立一個有效防御對抗攻擊的系統(tǒng)化防御機制。

參考文獻：

[1] SZEGEDY C，ZAREMBA W，SUTSKEVER I. Intriguing properties of neural networks [J/OL].arXiv：1312.6199 [cs.CV].（2013-12-21）.https：//arxiv.org/abs/1312.6199.

[2] GOODFELLOW I J，SHLENS J，SZEGEDY C. Explaining and Harnessing Adversarial Examples [J/OL].arXiv：1412.6572 [stat.ML].（2014-12-20）.https：//arxiv.org/abs/1412.6572v3.

[3] KURAKIN A，GOODFELLOW I，BENGIO S. Adversarial examples in the physical world [J/OL].arXiv：1607.02533 [cs.CV].（2016-07-08）.https：//arxiv.org/abs/1607.02533v1.

[4] 劉會， 趙波， 郭嘉寶， 等. 針對深度學習的對抗攻擊綜述 [J].密碼學報， 2021， 8（2）： 202-214.

[5] CARLINI N，WAGNER D. Towards Evaluating the Robustness of Neural Networks [J/OL].arXiv：1608.04644 [cs.CR].（2016-08-16）.https：//arxiv.org/abs/1608.04644.

[6] BRENDEL W，RAUBER J，BETHGE M. Decision-Based Adversarial Attacks： Reliable Attacks Against Black-Box Machine Learning Models [J/OL].arXiv：1712.04248 [stat.ML].（2017-12-12）.https：//arxiv.org/abs/1712.04248.

作者簡介：劉海燕（1970—），女，漢族，北京人，教授，博士，研究方向：信息安全與對抗技術;呂涵（1993—），女，漢族，江蘇連云港人，碩士研究生，研究方向：信息安全與對抗技術。