面向圖像識別的對抗樣本與攻擊研究*

羅 鑫 夏學(xué)知

（武漢數(shù)字工程研究所 武漢 430205）

1 引言

近年來，人工智能的研究越來越廣泛，其應(yīng)用也已融入了許多領(lǐng)域并成為其中的重要組成部分。如今，人工智能將數(shù)學(xué)、計算機等多種學(xué)科知識結(jié)合起來，并且在各個方向上都表現(xiàn)不俗。人工智能在各行各業(yè)的研究已呈現(xiàn)星星之火、燎原之勢。但越來越多的實驗表明，人工智能就像一柄雙刃劍，既為普羅大眾提供方便，也提出了諸多挑戰(zhàn)。

人工智能是一項使機器表現(xiàn)得像人類一樣智能的技術(shù)。人工智能的概念剛提出時，研究人員主要是定義了智能的標(biāo)準(zhǔn)和研究目標(biāo)，沒有對智能的具體含義做出回應(yīng)。此后，許多著名的研究人員提出了自己理解的人工智能概念，包括基本思想和基本內(nèi)容，歷經(jīng)數(shù)年總結(jié)為：探討利用計算機模擬人類智能行為的理論和技術(shù)。

由于深度學(xué)習(xí)理論的不斷發(fā)展，特別是深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）算法取得的巨大成功，在科技、產(chǎn)業(yè)和社會變革方面，人工智能都顯示出了巨大的潛力，引起了全世界的關(guān)注。以深度學(xué)習(xí)為代表的人工智能技術(shù)正逐步應(yīng)用于各個領(lǐng)域，包括圖像分類［1～2］、目標(biāo)檢測［3］、語音識別［4～5］、自動駕駛［6～7］以及人臉識別［8～9］等。其中，最廣泛最深入的用途是在圖像領(lǐng)域。目前，在圖像識別工作中，深度神經(jīng)網(wǎng)絡(luò)技術(shù)已超越了人類的視覺能力上線。例如，用于自動駕駛應(yīng)用的交通標(biāo)志圖像識別、用于人臉識別應(yīng)用的面部圖像檢測以及用于場景識別的不同場景圖片分類等等。

現(xiàn)階段人工智能的發(fā)展中，如數(shù)據(jù)投毒［10］、模型竊?。?1］、后門攻擊［12］、對抗樣本［13］等給人們帶來安全隱患的方法已廣為人知并處于一個較為成熟的階段，其中，又以對抗樣本為熱門的方向。2014年，Christian Szegedy 等［13］提出了對抗樣本。他們發(fā)現(xiàn)，原始樣本添加了細(xì)微干擾后，肉眼很難分辨二者。將擾動后的樣本輸入分類網(wǎng)絡(luò)，使其給出錯誤的分類結(jié)果，從而達(dá)到攻擊模型的目的。在當(dāng)時最尖端的圖像分類模型上，這個實驗也取得了成功。通過構(gòu)造對抗樣本來攻擊深度神經(jīng)網(wǎng)絡(luò)的方法被稱為對抗攻擊。由于圖像對抗樣本在圖像領(lǐng)域中被廣泛使用，它已經(jīng)吸引了許多研究人員的注意。圖像對抗樣本的存在不僅對圖像識別分類的應(yīng)用效果有很大的影響，而且對人身財產(chǎn)的安全也會構(gòu)成嚴(yán)重威脅。近年來，關(guān)于圖像對抗樣本的研究成果不斷涌現(xiàn)，也是從側(cè)面反映了圖像對抗樣本研究的重要性。

2 對抗技術(shù)相關(guān)知識

本節(jié)將從對抗樣本的定義、成因、相關(guān)術(shù)語、分類幾個方面對其進行簡要介紹。

2.1 對抗樣本的定義

對抗樣本是通過在輸入圖像中添加精心構(gòu)建的擾動來創(chuàng)建的樣本，這些干擾是人眼所看不到的，而且可以使深度神經(jīng)網(wǎng)絡(luò)產(chǎn)生具有高置信度的錯誤分類結(jié)果。生成圖像對抗樣本的關(guān)鍵步驟是通過最大化預(yù)測和實際結(jié)果之間的差異來實現(xiàn)損失函數(shù)的最大化。這一步正好與DNN 訓(xùn)練的反向傳播目標(biāo)相反。如圖1 所示，一開始，DNN 能以57.7%的置信度將正常樣本分類為大熊貓，但對正常樣本添加擾動噪聲生成對抗樣本后，分類器卻以99.3%的置信度將對抗樣本錯誤分類為長臂猿。而從人眼的識別能力來看，兩張圖片顯示的都是大熊貓。

圖1 對抗樣本的生成示例

2.2 對抗樣本的成因

關(guān)于對抗樣本成因的探究一直是對抗技術(shù)研究工作中的難點，學(xué)者們對于對抗樣本的成因目前尚未達(dá)成統(tǒng)一認(rèn)識，存在著盲區(qū)假說、線性假說、邊界傾斜假說、決策面假說、流形假說等幾種解釋［14］。

Szegedy 等［13］認(rèn)為，在數(shù)據(jù)流中，存在著不常訪問的區(qū)域，當(dāng)采集到的數(shù)據(jù)不夠全面時，分類器就無法對處于這些盲區(qū)的數(shù)據(jù)進行有效的處理，從而導(dǎo)致分類器的泛化性能不佳，繼而產(chǎn)生誤分類。Gu 等［15］對這些不常訪問的盲區(qū)進行了分析，分析結(jié)果表明，此類盲區(qū)廣泛分布在輸入空間中，且具有一定的連續(xù)性?；谶@個發(fā)現(xiàn)，Gu 等提出，對抗樣本的出現(xiàn)與訓(xùn)練相關(guān)。

Goodfellow 等［16］不認(rèn)可盲區(qū)假說，他們認(rèn)為對抗樣本的出現(xiàn)應(yīng)該用線性假說來解釋。深度學(xué)習(xí)模型中，大量的非線性轉(zhuǎn)換與大量的線性行為并存，在多維數(shù)據(jù)中加入少量的干擾會造成模型的分類錯誤。以往的文獻(xiàn)［17～19］都認(rèn)為，對抗樣本是一種跨多維連續(xù)的子空間的存在，各種子空間都有一部分是重疊的，因此，對抗樣本具有一定的遷移性。Luo 等［20］在線性假說原有的基礎(chǔ)上進行了補充說明，他們認(rèn)為在特定的輸入流形區(qū)內(nèi)，深度神經(jīng)網(wǎng)絡(luò)是線性的，而在其他區(qū)域則是非線性的。

Tanay 等［21］提出了邊界傾斜假說，他們認(rèn)為僅從線性角度來解釋對抗樣本有一定的狹隘性。如果數(shù)據(jù)的子流形邊界上存在對抗樣本，當(dāng)這個邊界與真實的數(shù)據(jù)流形的邊界有差異，那么這些對抗樣本就會造成錯誤的輸出。

Moosavi-Dezfooli 等［22～23］發(fā)現(xiàn)了一種通用性干擾并且給出了決策平面假說。假定有一個含有決策邊界上大部分法向量的低維空間，Moosavi-Dezfooli 等利用該空間驗證了［24］決策邊界曲率與對抗樣本之間的相關(guān)性，并給出了理論分析［25］。

流形假說有兩種類型。一些研究結(jié)果表明［26～29］，與一般的實驗數(shù)據(jù)相比，對抗樣本在數(shù)據(jù)流形上存在著很大的差異。Gilmer 等［30～31］不贊成數(shù)據(jù)流形的差異這種解釋，他們認(rèn)為，對抗樣本是在高維度的數(shù)據(jù)流形中生成的。他們自主構(gòu)建了數(shù)據(jù)集，通過實驗分析了對抗樣本與數(shù)據(jù)流形高維幾何結(jié)構(gòu)之間的聯(lián)系。

深度學(xué)習(xí)模型的非解釋性和數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性，使得不同學(xué)者對對抗樣本生成的研究存在著不同的側(cè)重。所以，對于對抗樣本的成因，界內(nèi)尚未達(dá)成共識。

2.3 對抗樣本相關(guān)術(shù)語

下面將介紹對抗技術(shù)研究中常用的一些術(shù)語。

1）受攻擊模型：一般是基于深度學(xué)習(xí)的圖像分類模型，對抗樣本會使模型對輸入做出誤判。

2）對抗擾動：指添加在圖像上的噪音，如果圖像中加入了噪音，可能會被模型誤認(rèn)為是其它類別。

3）通用性：通用性一般是用來描述對抗擾動的。如果一個對抗擾動針對大部分模型都能生成對抗樣本，則我們稱該擾動具有通用性。

4）遷移性：與通用性不同，遷移性一般用來描述對抗樣本。假設(shè)某個對抗樣本能使A 模型發(fā)生誤判，當(dāng)該樣本作用于B 模型時也能使其產(chǎn)生誤判，則稱該樣本具有良好的遷移性。

5）置信度

我們將模型把某個輸入歸為某個類別的可能性稱為置信度。如果目標(biāo)模型輸出一個具有高置信度的錯誤分類，那么導(dǎo)致模型產(chǎn)生這樣輸出的樣本就是一個性能良好的對抗樣本。

6）類別標(biāo)簽

模型輸出的類別被稱為類別標(biāo)簽。

7）攻擊成功率

攻擊者生成對抗樣本并將其輸入目標(biāo)模型后，模型判斷的錯誤率等于誤判次數(shù)占總輸入數(shù)的百分比，它是對抗樣本攻擊成功的數(shù)據(jù)化表達(dá)。模型判斷的正確率則表示模型成功防御了對抗樣本的效率，越低表明攻擊者的成功率越高。

2.4 對抗的分類

按照不同的劃分標(biāo)準(zhǔn)，我們可以將對抗攻擊分為以下幾種類型。

1）白盒攻擊&黑盒攻擊

對抗樣本用于攻擊目標(biāo)模型的情況分為兩種。根據(jù)攻擊者對目標(biāo)模型的知悉程度，劃分為白盒攻擊（white-box attack）和黑盒攻擊（black-box attack）。白盒攻擊中，攻擊者可以獲得關(guān)于目標(biāo)模型的模型結(jié)構(gòu)、參數(shù)和訓(xùn)練數(shù)據(jù)等信息。而黑盒攻擊中，攻擊者無法獲取這些信息。因此，黑盒攻擊比白盒攻擊更難成功實施，其攻擊場景與真實的情況更一致。

2）非針對性攻擊&針對性攻擊

對抗攻擊依據(jù)攻擊者的目標(biāo)分為兩類：非針對性攻擊（non-targeted attack）和針對性攻擊（targeted attack）。非針對性是指對抗樣本的目標(biāo)只會使模型產(chǎn)生錯誤結(jié)果；而針對性則要求對抗樣本不僅導(dǎo)致模型產(chǎn)生誤判，還要求結(jié)果是指定類型。

3）單步攻擊&迭代攻擊

對抗攻擊根據(jù)生成樣本的步驟的復(fù)雜性分為單步攻擊（one-step attack）和迭代攻擊（iterative attack）。在單步攻擊中，執(zhí)行一次基本操作后，攻擊者就可獲得樣本；而在迭代攻擊中，執(zhí)行數(shù)次迭代操作，攻擊者才可獲得樣本。通常，迭代情況相比單步情況更容易產(chǎn)生效用更好的樣本，同時也需要更多的執(zhí)行時間。

3 數(shù)據(jù)集

為了評價和比較各對抗算法的效果，實驗人員一般會使用同一數(shù)據(jù)集進行實驗。ImageNet、MNIST 和CIFAR-10 是三個目前主流研究使用較多的圖像數(shù)據(jù)集。

ImageNet 是為了解決機器學(xué)習(xí)中的過擬合和泛化問題而創(chuàng)建的。ImageNet 是在2007年至2009年期間建立的，當(dāng)時它作為論文在CVPR 2009會議上被發(fā)表，就數(shù)量和類別的豐富程度而言，它是最好的圖像數(shù)據(jù)集。ILSVRC 挑戰(zhàn)賽就是基于ImageNet進行攻擊和防御的。

MNIST 數(shù)據(jù)集是美國國家標(biāo)準(zhǔn)和技術(shù)研究學(xué)會（NIST）的一個項目，它包含了250 名公民的手寫數(shù)字圖像，用于測試手寫數(shù)字識別算法。該數(shù)據(jù)集包含訓(xùn)練樣本六萬個、測試樣本一萬個，圖像被規(guī)范化為28×28。1998年，Yan LeCun 等首次提出了LeNet-5 網(wǎng)絡(luò)［32］，它可以使用MNIST 識別手寫數(shù)字類型。

CIFAR-10 是一個小型數(shù)據(jù)集，常用在普通的識別任務(wù)中，由Alex Krizhevsky 和Vinod Nair 創(chuàng)建。它共有尺寸為32×32 的樣本共六萬個，包括訓(xùn)練樣本五萬個、測試樣本一萬個。該數(shù)據(jù)集分為十類：汽車、鳥、飛機、鹿、貓、馬、狗、卡車、蛙和船。

MNIST 和CIFAR-10 經(jīng)常被用作對抗性能評估的圖像數(shù)據(jù)集，因為它們的圖像畫面簡單、尺寸很小，這樣能簡化實施步驟。

4 對抗樣本生成技術(shù)

本節(jié)將總結(jié)和梳理主流的對抗樣本生成技術(shù)。

4.1 基于梯度優(yōu)化的算法

基于梯度優(yōu)化的策略是當(dāng)前對抗研究工作中研究者們最常用的一種攻擊手段。這種策略的實行本質(zhì)上就是依據(jù)模型的損失函數(shù)變化以達(dá)到干擾原始純凈輸入樣本的目的，進而使得模型對修改過后輸入的樣本進行錯誤的分類，或者將模型的分類輸入到特定的錯誤目標(biāo)類。這種方式實現(xiàn)簡單，而且攻擊成功率一般較高。最早提出的具有代表性的該類算法是FGSM（Fast Gradient Sign Method）算法。

快速梯度下降（FGSM）算法是Goodfellow 等［16］在2015年為ICLR 上提出的一種基于梯度的攻擊方法。FGSM 方法在梯度上增加相反方向的擾動，使損失函數(shù)快速增長，最終導(dǎo)致模型錯誤分類。雖然這種方法可以快速生成對手樣本，但由于攻擊是一步到位的，所以計算出的擾動并不準(zhǔn)確，導(dǎo)致成功率較低。為了解決這個問題，Kurakin 等［33］改進了FGSM 方法，提出了一個基礎(chǔ)迭代方法（Basic Iterative Method，BIM），也 稱 為I-FGSM（Iterative Fast Gradient Sign Method）方法。I-FGSM將單步的干擾計算過程分成幾個步驟，并利用修剪操作將圖像中的像素限制在一個有效的區(qū)域，從而提高攻擊的成功率。

但是I-FGSM 生成的樣本往往遷移性不夠，因為它會過于擬合至局部的極值點。對于該問題，Dong 等［34］在I-FGSM 的基礎(chǔ)上引入了動量的思想，提出MI-FGSM（Momentum Iterative Fast Gradient Sign Method）。該方法不僅穩(wěn)定了梯度更新的方向，還克服了局部極值點這個問題。Xie 等［35］解決了I-FGSM 過度擬合的問題，他們使用圖像變換手段，并將新方法稱為多樣性攻擊方法（Diverse Inputs Iterative Fast Gradient Sign Method，DI2-FGSM）。由于MI-FGSM 與DI2-FGSM 都可獲得具有較優(yōu)遷移性的對抗樣本，實際應(yīng)用中可以將這兩種方法用到黑盒情況中。

研究人員們一致認(rèn)為現(xiàn)階段最有效的基于梯度的辦法是投影梯度下降方法（Project Gradient Descent，PGD）［36］。PGD 本質(zhì)上也是I-FGSM 的增強版，它增加了迭代次數(shù)，增加了一定程度的隨機性，顯著提高了攻擊效果。然而，PGD 方法還可以改進。例如，Sriramanan 等［37］通過增加損失函數(shù)松弛項來尋找更合適的梯度方向，提高了攻擊效率。

4.2 基于直接優(yōu)化的算法

基于直接優(yōu)化的策略是目前對抗研究工作中另外一種主流思想。對抗樣本生成算法實質(zhì)上就是在干擾中尋求所需的樣本，從而產(chǎn)生有效的算法。成為對抗樣本，不僅要能欺騙模型，還要能欺騙人眼，所以對抗樣本中的干擾越小越好?；谶@種解釋，研究者們將對抗樣本的構(gòu)造過程看作是一個最優(yōu)問題的解決，通過尋優(yōu)達(dá)到目的。

在2014年的ICLR會議上，Szegedy等首先提出了基于Box-constrained L-BFGS 算法［13］，這也是對抗研究工作的歷史上第一次提出通過直接優(yōu)化求解來達(dá)到對抗攻擊目的的算法。該方法的思想中，研究者將對抗樣本的產(chǎn)生看作凸優(yōu)化問題來處理。Box-constrained L-BFGS 算法中，攻擊者在現(xiàn)有的參數(shù)條件下確定超參數(shù)，然后用線性搜索方法尋找出最優(yōu)的干擾，從而獲得樣本。

此外，最具代表性的基于直接優(yōu)化的方法是Carlini 等所提出的C&W 算法［38］。該方法中，攻擊者預(yù)先定義了眾多不同的自定義目標(biāo)函數(shù)，實際操作中算法會根據(jù)實驗得到的反饋，從預(yù)定義的目標(biāo)函數(shù)當(dāng)中選擇最佳的一個，從而實現(xiàn)對抗攻擊。相對于前文提到的Box-constrained L-BFGS 算法來說，C&W 算法可以通過對目標(biāo)函數(shù)中的變量進行調(diào)節(jié)來增加優(yōu)化結(jié)果的空間，提高攻擊的成功率。C&W 本質(zhì)上還是基于Box-constrained L-BFGS 算法的改進，它可以產(chǎn)生效果更佳的針對蒸餾防御網(wǎng)絡(luò)［39］的攻擊。防御性蒸餾是把從復(fù)雜模型中學(xué)習(xí)到的“知識”進行轉(zhuǎn)化，并將其化為具有簡單結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，從而防止攻擊者與神經(jīng)網(wǎng)絡(luò)直接接觸，實現(xiàn)對抗防御。C&W 方法通過對目標(biāo)函數(shù)直接優(yōu)化，生成了相對較小的干擾，但它同時也存在優(yōu)化時間長、尋找合適超參數(shù)會耗費大量時間的問題。實驗證明，C&W 方法的性能比L-BFGS、FGSM 更好。但是，由于C&W 存在尋找合適超參數(shù)會耗費大量時間的問題，它的攻擊效率相對較低。

4.3 基于決策邊界的算法

考慮從決策邊界入手以解決對抗樣本的生成問題是近幾年較新穎的一種策略?；谶@類思想的方法可以通過逐漸縮小樣本與模型決策的邊界之間的距離，從而實現(xiàn)對樣本的錯誤分類［40］。

Moosavi-Dezfooli 等首先提出了一種用于產(chǎn)生單一輸入圖像對抗干擾的DeepFool 攻擊算法［41］，它也是基于決策邊界的策略中最為經(jīng)典的一個對抗算法。在這個算法中，研究者們提供了樣本魯棒性、模型魯棒性的首個定義，并允許精確計算分類任務(wù)中大型數(shù)據(jù)集上的擾動，繼而可靠地量化分類器的魯棒性。DeepFool 用一張干凈的圖像進行初始化，它被定義為在決策邊界內(nèi)。每次迭代時，用一個小的矢量擾動圖像，計算出的小矢量使生成的圖像更接近于邊界。一旦圖像的標(biāo)簽因受到干擾影響而根據(jù)網(wǎng)絡(luò)的初始決策邊界進行了修改，就對歷次擾動求和，計算最終擾動。

以往的對抗樣本生成算法大多都是針對單一的輸入樣本，Moosavi-Dezfooli 等在研究中發(fā)現(xiàn)，在深度學(xué)習(xí)模型中，存在著不依賴于輸入的通用對抗干擾，該干擾依賴于目標(biāo)模型的結(jié)構(gòu)和數(shù)據(jù)集的特征。將具有通用性的對抗干擾添加到輸入樣本上后，我們就可以得到對抗樣本?；谏鲜鼋忉專琈oosavi-Dezfooli等提出了UAPs（Universarial Adversarial Perturbations）攻擊算法［22］。在該算法中，攻擊者先隨機采樣一小部分?jǐn)?shù)據(jù)，再在這些數(shù)據(jù)上進行迭代計算，多次迭代后采樣數(shù)據(jù)的類別標(biāo)簽會變?yōu)闆Q策邊界另一側(cè)的類別，對抗的目的由此達(dá)成。至此，具有通用性的對抗干擾就產(chǎn)生了。

4.4 基于遷移的算法

當(dāng)適用于A 模型的對抗樣本也能高效地作用于B 模型時，我們稱該樣本具有良好的遷移性。若反過來考量，我們從遷移性出發(fā)，設(shè)想某個對抗樣本具有遷移性，那它是否能在類似原受攻擊模型的其他模型上表現(xiàn)良好呢。根據(jù)這一思想［42］，研究者們開始探索基于遷移的對抗算法。

基于遷移的這一類算法，其過程就是，攻擊者將使用現(xiàn)有的對抗算法對某個網(wǎng)絡(luò)模型的替身發(fā)起攻擊。替身與原模型在網(wǎng)絡(luò)結(jié)構(gòu)等方面一般具有一定的相似度，針對替身生成的樣本具有遷移性，它們可以欺騙原模型。所以，在遷移攻擊中，如何獲得可替換的模型以及如何增強對抗樣本的可遷移性是研究工作的兩個重要的問題。

通過對目標(biāo)模型的查詢，得到類似的訓(xùn)練數(shù)據(jù)，再通過訓(xùn)練來產(chǎn)生替代模型，是獲得替代模型的重要途徑。在獲得替代模型時，如何減少查詢所產(chǎn)生的代價，減少因訓(xùn)練數(shù)據(jù)集合過少而導(dǎo)致的替代模型過擬合問題，是解決這一問題的兩大關(guān)鍵。Papernot 等［43］利用reservior sampling 算法［44］確保了以同樣的概率增加每一采樣數(shù)據(jù)。試驗數(shù)據(jù)證明，reservior sampling能夠有效地減少查詢檢索過程中的開銷。Li等［45］采用自主學(xué)習(xí)的辦法，對具有最大信息量的樣本進行查詢，從而進一步減少了查詢費用，改善了模型的訓(xùn)練效果。Xie 等［35］在數(shù)據(jù)強化思想的影響下，利用裁剪、旋轉(zhuǎn)等方法對數(shù)據(jù)進行處理，使數(shù)據(jù)集得到迅速、高效的擴展，克服了替代模型容易出現(xiàn)過擬合現(xiàn)象這一問題。Dong 等［46］提出了轉(zhuǎn)移不變攻擊方法（translation-in-variant attack），該方法只需采用平移運算，訓(xùn)練數(shù)據(jù)由原圖像和平移轉(zhuǎn)換得到的樣本組合而成。Wu等［47］提出了一種基于注意力權(quán)重的特征映射的正則化方法，改進了替代模型的過擬合問題。對抗樣本遷移性的好壞取決于它能適用于多少模型。Li等［48］發(fā)現(xiàn)，在整合的多個替身模型中，沒有必要存在很大的差異。僅通過使用現(xiàn)有的可替換模型，就可以產(chǎn)生多種不同的結(jié)果，將他們整合到一起就可以得到一個表現(xiàn)不錯的模型，這一舉措大大提高了模擬的遷移能力，同時還減少了模型的訓(xùn)練消耗。Che 等［49］研究了一種新的辦法SMBEA（Serial-Mini-Batch-Ensemble-Attack），該方法將現(xiàn)有的可替換模型劃分為若干組，采用3 種整合策略，減少了在某一類模型上的過分?jǐn)M合，從而改善遷移能力。

4.5 其他攻擊方法

因顯著圖（saliency maps）概念［50］的提出，不少學(xué)者專注于此并提出了新的對抗樣本生成方法。Papernot 等［51］就是其中之一，他們提出了基于雅可比矩陣的顯著圖攻擊方法（Jacobian-based Saliency Map Attack，JSMA）。利用梯度信息，他們首先找到出了對分類結(jié)果影響最大的像素位置，然后在這個位置上加入干擾，得到樣本。

與FGSM 利用模型輸出的損失函數(shù)梯度信息不同，JSMA主要利用模型的輸出類別概率信息，來反向傳播求得對應(yīng)梯度信息。作者將其稱為前向梯度。通過前向梯度，我們可以知道每個像素點對模型分類的結(jié)果的影響程度，進而利用前向梯度信息來更新干凈樣本，生成的對抗樣本就能被分類成為指定的類別。引入了顯著圖的概念后，該方法就能細(xì)化分類結(jié)果受到不同輸入特征的影響程度。實驗過程中發(fā)現(xiàn)，很難找到一個滿足要求的單一特征，所以另一種替代方案被提出：利用顯著圖來尋找對分類器輸出影響最大的一對輸入特征，也即每次計算都會得到兩個特征。我們也可以理解為，在構(gòu)建的顯著圖里，找兩個絕對值最大的點的像素位置，一次迭代只更新這兩個像素。

對抗攻擊在特定場景下也存在一些極端情況，其中一種就是僅更改單個像素來欺騙分類器。One Pixel Attack 方法由Su 等［52］提出，并聲稱以平均70.97%的欺騙率在三個常見深度神經(jīng)網(wǎng)絡(luò)模型上成功實現(xiàn)無目標(biāo)攻擊，其中，每幅圖像僅改變一個像素。這也是從高維空間以一個全新的角度對圖像幾何特征和深度神經(jīng)網(wǎng)絡(luò)模型進行觀察。

該算法的主要出發(fā)點有兩點：

1）分析自然圖像鄰域。在以前的一些工作中，大多是通過限制攝動矢量的長度以此對自然圖像鄰域進行幾何分析。例如，在一般擾動的情況下，對每個像素添加較小的值，以此在自然圖像周圍的球形區(qū)域內(nèi)搜索它與圖像的關(guān)系。另外，研究DNN 輸入空間的高維特征的另一種方法就是將幾個像素的擾動看作是使用非常低維的切片來減小輸入空間。

2）將評估指標(biāo)可視化。我們無法夠保證過往的算法造成的干擾一定不會被發(fā)現(xiàn)，最直接的方法就是限制我們要改變的像素數(shù)量，越少，被發(fā)現(xiàn)的可能性就越低。實際生活中，這樣的辦法確實行之有效。

實驗開始時，創(chuàng)建一個矢量集，里面包含每張圖像的橫、縱坐標(biāo)以及每個候選像素的RGB 值，然后通過隨機變換各元素來生成子代。下輪迭代中，子代與父代進行競爭。這個過程中，將使用網(wǎng)絡(luò)的概率標(biāo)簽作為評價標(biāo)準(zhǔn)。數(shù)輪競爭操作結(jié)束后，剩下的子代被用來修改初始圖像中的像素。整個過程采用的就是差分進化，這樣產(chǎn)生的對抗樣本，在沒有任何關(guān)于深度神經(jīng)網(wǎng)絡(luò)模型參數(shù)值或其梯度信息的情況下都能成功地欺騙深度神經(jīng)網(wǎng)絡(luò)模型。

相較其他算法，單像素攻擊（One Pixel Attack）具有以下優(yōu)點：

1）有效性。該算法成功地對三種常見的深度神經(jīng)網(wǎng)絡(luò)模型進行了非針對性攻擊，成功率分別為68.71%、72.85%和63.53%。相比之下，ImageNet 數(shù)據(jù)集上BVLCAlexNet模型只有41.22%的效果。

2）半黑盒攻擊。該算法只需要返回黑盒類標(biāo)簽的概率，而不需要知道深度神經(jīng)網(wǎng)絡(luò)的內(nèi)部參數(shù)。

3）靈活性。單像素攻擊（One Pixel Attack）可以攻擊那些不可微或梯度難以計算的模型。

5 對抗技術(shù)的應(yīng)用

大量的研究顯示，對抗技術(shù)已經(jīng)對深度學(xué)習(xí)系統(tǒng)的安全性構(gòu)成了極大的威脅，這些應(yīng)用系統(tǒng)可能會被對抗技術(shù)所誤導(dǎo)進而產(chǎn)生安全問題。

5.1 人臉識別應(yīng)用

現(xiàn)實世界中人臉識別應(yīng)用越來越常見，各種身份驗證的場合都能看到它的身影。對于人臉識別來說，對抗攻擊就是在物理世界真實人臉上添加對抗擾動。常見的方法有：給人臉貼上貼紙（stickers），戴一副對抗眼鏡（adversarial glasses），戴一頂帽子等。此外，還需要考慮到各種物理環(huán)境條件，例如：貼紙顏色差異（the chromatic aberration of sticker）、人臉面部形態(tài)變化（face variations）、環(huán)境條件變化（environmental condition variations）例如光照條件、相機角度等［53］。

Sharif 等［54］基于Kurakin 等［33］的研究成果提出了給人臉貼上貼紙的方式，對實際應(yīng)用中的人臉識別系統(tǒng)進行了對抗攻擊。由于針對人臉識別的攻擊存在著不能直接改變輸入樣本的像素這一局限性，他們先利用攻擊算法產(chǎn)生對抗干擾，然后在貼紙上打印出干擾圖像，再貼在眼鏡上，從而有效地實現(xiàn)攻擊。

5.2 無人駕駛應(yīng)用

基于深度學(xué)習(xí)技術(shù)的無人駕駛技術(shù)近幾年越來越常見，但隨著對抗研究的不斷發(fā)展，無人駕駛的安全問題也日益突出。Lu［55］等將交通警告牌“STOP”作為研究對象，實現(xiàn)了基于圖像分類的對抗樣本生成算法并成功誤導(dǎo)目標(biāo)檢測器。Eykholt等［56］設(shè)計實驗，提出RP2（Robust Physical Perturbations）算法，并實現(xiàn)了針對無人駕駛系統(tǒng)中的交通標(biāo)志識別能力的攻擊，顯示了對抗技術(shù)對其安全性的影響。

對抗研究中，大多數(shù)算法產(chǎn)生的干擾會因為打?。?7］、相機等的二次傳輸產(chǎn)生誤差，繼而不能精準(zhǔn)地攻擊部署在現(xiàn)實應(yīng)用場景中的系統(tǒng)。研究者們需充分考慮了現(xiàn)實情況下復(fù)雜的物理環(huán)境中的各種影響因素，比如自然環(huán)境的光照、系統(tǒng)的視角、識別的距離等條件。

6 對抗的防御

抵御對抗樣本的干擾分為檢測與防御兩個類別，檢測技術(shù)包括特征學(xué)習(xí)、分布統(tǒng)計、輸入解離，防御技術(shù)則包括對抗訓(xùn)練、知識遷移、噪聲抑制［58］。

早期的檢測技術(shù)大多是研究分析對抗樣本與初始輸入樣本之間的差異，后來研究者們意識到，檢測必須與防御結(jié)合，只檢不防無法抵御攻擊，于是研究者們嘗試把一個特定的或部分特征輸入到檢測器中來檢測對抗樣本。防御技術(shù)發(fā)展歷程中，最早提出的辦法是對抗訓(xùn)練，但對抗訓(xùn)練會因為過于依賴訓(xùn)練集而出現(xiàn)過擬合問題。近年來，噪聲抑制技術(shù)成為了眾多研究者探索的方向，但是噪聲的衰減主要依靠梯度掩蓋，該難題目前還沒有得到有效的解決。

7 結(jié)語

隨著人工智能的發(fā)展，深度學(xué)習(xí)的探索也會不斷深入。未來將會出現(xiàn)大量更有效更快速的生成對抗樣本的方法。對抗技術(shù)的深入研究不但能夠促進深度學(xué)習(xí)模型的可解釋性發(fā)展，還能夠促進相關(guān)領(lǐng)域的人工智能安全性研究。當(dāng)前，面向圖像識別的對抗技術(shù)已經(jīng)發(fā)展到了一個較為成熟的階段。本文基于圖像識別領(lǐng)域，從對抗技術(shù)的相關(guān)知識、主流的對抗算法、對抗技術(shù)現(xiàn)實應(yīng)用以及對抗防御現(xiàn)狀幾個方面，整理總結(jié)并分析了對抗技術(shù)研究當(dāng)前的狀況，闡述了對抗樣本的存在給深度學(xué)習(xí)模型帶來的安全性挑戰(zhàn)和威脅。

未來的面向深度學(xué)習(xí)的圖像對抗研究工作重點主要在以下兩個方面。一方面是研究更適用于現(xiàn)實場景的對抗技術(shù)，以達(dá)到更精確的攻擊?，F(xiàn)實環(huán)境的影響因素往往復(fù)雜繁多，如何使生成的對抗圖像受到的影響最小、對抗干擾的畸變幅度最小值得研究者們提高關(guān)注。另一方面，探索一個具備較強泛化能力的通用對抗樣本算法仍然很有必要。隨著圖像研究的不斷深入和對深度神經(jīng)網(wǎng)絡(luò)原理的進一步探索，我們相信未來生成對抗樣本的方法會有更好的發(fā)展。