基于模型間遷移性的黑盒對抗攻擊起點提升方法

陳曉楠，胡建敏，張本俊，陳愛玲

（1.國防大學 聯(lián)合勤務(wù)學院，北京 100089；2.南京航空航天大學 電子信息工程學院，南京 211100；3.山東省煙臺市實驗中學，山東 煙臺 265500）

0 概述

深度學習是目前應(yīng)用最廣泛的技術(shù)之一，在數(shù)據(jù)挖掘、自然語言處理、計算機視覺、信息檢索等領(lǐng)域中占有很重要的地位。但是很多研究表明，神經(jīng)網(wǎng)絡(luò)容易被精心設(shè)計的微小擾動所影響，通過在正常樣本上疊加微小惡意噪聲而形成的對抗樣本進行對抗攻擊導致模型輸入錯誤的結(jié)果，進而影響到實際應(yīng)用系統(tǒng)的安全性。對抗攻擊和對抗樣本的發(fā)現(xiàn)使人工智能領(lǐng)域面臨著巨大的安全威脅。

隨著對深度學習的深入研究，大量的對抗攻擊方法相繼被提出，對抗攻擊主要可以分為白盒攻擊和黑盒攻擊2 類。白盒攻擊是攻擊者完全掌握目標模型的內(nèi)部結(jié)構(gòu)和訓練參數(shù)值，甚至還包括其特征集合、訓練方法和訓練數(shù)據(jù)等來進行的對抗攻擊。黑盒攻擊是攻擊者在不知道目標模型的內(nèi)部結(jié)構(gòu)、訓練參數(shù)和相應(yīng)算法的情況下，通過數(shù)據(jù)的輸入與輸出結(jié)果來進行分析，設(shè)計和構(gòu)造對抗樣本，實施對抗攻擊。在實際的運用場景中，黑盒攻擊的安全威脅更為嚴峻。

深度學習模型能夠以達到甚至高于人眼的識別度來識別圖像，但是對抗攻擊和對抗樣本的發(fā)現(xiàn)，將導致模型識別錯誤。這些漏洞如果被別有用心的人所掌握，將可能產(chǎn)生嚴重的安全問題，例如，自動駕駛汽車的識別錯誤將可能導致嚴重的交通事故［1］，某些犯罪分子可能利用生成的對抗樣本逃過人臉識別的檢測等［2-3］。

文獻［4］證明了將圖片進行適當修改后能夠使深度學習模型識別錯誤；文獻［5］提出了產(chǎn)生對抗攻擊根本原因的猜測——深度神經(jīng)網(wǎng)絡(luò)在高緯空間中的線性特性已經(jīng)足以產(chǎn)生這種攻擊行為，并提出了快速梯度符號方法（FGSM），作為經(jīng)典的攻擊手段；文獻［6］提出了SIGN-OPT 算法，使得黑盒攻擊對目標模型的查詢次數(shù)大幅降低；文獻［7］提出了HopSkipJumpAttack2 算法，具有很高的查詢效率；文獻［8］在FGSM 算法的基礎(chǔ)上，提出基于動量的迭代算法T-MI-FGSM，提高對抗樣本的可遷移性和黑盒攻擊的成功率；文獻［9］提出了UPSET 和ANGRI 算法，分別使用殘差梯度網(wǎng)絡(luò)構(gòu)造對抗樣本和生成圖像特定的擾動，具有很高的欺騙率；文獻［10］對計算機視覺中的對抗攻擊進行了較為詳盡的研究，提出了12 種對抗攻擊的方法和15 種防御的措施；文獻［11］分析并匯總了近年來關(guān)于深度學習對抗攻擊的部分算法并進行了比較與分析。關(guān)于生成對抗樣本進行對抗攻擊的研究很多，這些研究的成果促進了深度學習的進一步發(fā)展。

文獻［12］提出了基于決策的邊界攻擊方法，且該方法適合絕大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型，具有很好的通用性和普適性，文獻［7］在在決策基礎(chǔ)上對決策邊界處的梯度方向進行估計，并提出了控制偏離邊界誤差的方法，有效提高了基于決策的攻擊效率，文獻［13］提出了一種新的基于決策的攻擊算法，它可以使用少量的查詢生成對抗性示例。文獻［7，12-13］都是逐步朝著更優(yōu)解靠攏，本質(zhì)上是一樣的，但靠攏的方式不同。本文基于決策算法實現(xiàn)無目標攻擊和有目標攻擊，與上述研究不同，本文提出可以利用模型的遷移性來循環(huán)疊加干擾圖像，找到新的初始樣本，提高基于決策算法的運算起點，降低查詢次數(shù)。

1 基于決策的黑盒攻擊思路

對抗攻擊可以分為基于梯度的攻擊、基于分數(shù)的攻擊、基于遷移的攻擊和基于決策的攻擊。在前2 種攻擊中，基于梯度的攻擊多用于白盒攻擊，基于分數(shù)的攻擊多用于黑盒攻擊，在很多黑盒攻擊中，攻擊者可以通過對目標模型的輸入來觀察分類結(jié)果，并可以獲得每個類別的分數(shù)，攻擊者可以根據(jù)這個分數(shù)來設(shè)計對抗樣本的生成算法。

文獻［14-15］指出對抗樣本具有遷移性：相同的對抗樣本，可以被不同的分類器錯誤分類，即基于遷移的攻擊。基于遷移的攻擊是利用訓練數(shù)據(jù)訓練一個可以替代的模型，即對抗樣本在不同的模型之間可以進行遷移。

與其他3 種攻擊相比，基于決策的攻擊與實際應(yīng)用更為相關(guān)。與此同時，基于決策的攻擊比其他攻擊類型更高效、更穩(wěn)健、更難以被察覺。文獻［12］引入一個普適性的對抗攻擊算法——邊界攻擊。邊界攻擊是屬于基于決策攻擊的一種，適合對復雜自然數(shù)據(jù)集的有效攻擊，其原理是沿著對抗樣本和正常樣本之間的決策邊界，采用比較簡單的拒絕抽樣算法，結(jié)合簡單的建議分布和信賴域方法啟發(fā)的動態(tài)步長調(diào)整。邊界攻擊的核心是從一個較大的干擾出發(fā)，逐步降低干擾的程度，這種思路基本上推翻了以往所有的對抗攻擊的思路。

基于決策的攻擊只需要模型的輸入輸出類別，并且應(yīng)用起來要簡單得多。本文基于決策攻擊來設(shè)計算法，僅知道分類的結(jié)果，不能得到每個類別的分數(shù)，以此來設(shè)計黑盒算法生成對抗樣本，進行對抗攻擊。

在這種情況下，黑盒攻擊的一般思路是先使用現(xiàn)成的模型去標記訓練數(shù)據(jù)，選擇一幅圖片輸入到模型中，通過模型反饋的標簽來當作監(jiān)督信號，不斷地變換圖片，形成一個新的數(shù)據(jù)集，圖片的選擇可以用真實的圖片，也可以用合成的圖片，將這個數(shù)據(jù)集作為訓練集，訓練出一個新的模型，新的模型是透明的，在該模型上采用白盒攻擊的手段生成對抗樣本，有極高的概率能夠騙過原先的模型。

選擇一幅圖像，然后給這個圖像加一些噪聲，通過不斷地變換噪聲，使得模型輸出的分類結(jié)果發(fā)生改變，實際上此時圖片已經(jīng)碰到了模型的分類邊界。接下來就是不斷地嘗試，找到一個能讓分類結(jié)果錯誤的最小的噪聲

上述2 種情況都有一個共同的問題，就是需要大量地向目標模型進行查詢，查詢到可以構(gòu)建自己的訓練集的程度，為能夠盡可能地減少查詢，本文對傳統(tǒng)的邊界攻擊加以改進與完善，提出一種通過模型之間的遷移性來循環(huán)疊加干擾圖像確定初始樣本，然后采用邊界攻擊生成對抗樣本的算法，目的是為了提高傳統(tǒng)邊界算法的運算起點，盡可能地減少查詢數(shù)量，更好地欺騙原模型的分類能力。

已知一個神經(jīng)網(wǎng)絡(luò)模型，對其內(nèi)部結(jié)構(gòu)和參數(shù)一無所知，唯一知道模型的作用是進行圖片分類的，并且不知這個模型的分類精度。不知道這個模型是一個最簡單的神經(jīng)網(wǎng)絡(luò)，只能夠進行簡單的分類任務(wù)，還是一個復雜的DNN、CNN 或者RNN 神經(jīng)網(wǎng)絡(luò)，可以完成非常復雜的分類任務(wù)。

本文提出的改進黑盒算法中最重要的是初始樣本的確定。文獻［7，12-13］都是逐步朝著更優(yōu)解靠攏，本質(zhì)上是一樣的，關(guān)鍵在于靠攏的方式不同，無目標攻擊的初始樣本是一個隨機擾動圖片，目標攻擊的初始樣本是一個指定的目標分類的圖片，如圖1和圖2 所示。圖的上方是對目標神經(jīng)網(wǎng)絡(luò)的查詢次數(shù)，下方是與原圖像之間的均方誤差?？梢钥闯?，在完全黑盒狀態(tài)下，如果要完善地構(gòu)造出有效的對抗樣本，則需要查詢數(shù)千次甚至上萬次才能逐步找到一張足夠清晰的圖片來騙過神經(jīng)網(wǎng)絡(luò)。文獻［7，12-13］還有類似的大多數(shù)文獻都是針對這個逐步查詢的過程來進行優(yōu)化的，從而更快地靠近目標樣本，使得整體的查詢次數(shù)降低。如果可以找到一個更高無目標攻擊和有目標攻擊的運算起點，不從隨機干擾圖像和指定類別的額圖像出發(fā)，將大幅降低對目標神經(jīng)網(wǎng)絡(luò)的查詢次數(shù)。接下來就是確定新的初始樣本來提升整體攻擊的起點，進而降低整體的查詢次數(shù)。

圖1 無目標攻擊過程Fig.1 No target attack process

圖2 有目標攻擊過程Fig.2 Target attack process

2 基于決策的黑盒攻擊原理與流程

2.1 算法基礎(chǔ)

基于決策的黑盒攻擊具體分為2 步：第1 步是通過模型之間的遷移性來多次疊加干擾圖像的方法確定初始樣本；第2 步在初始樣本的基礎(chǔ)上運用邊界攻擊的手段來確定合適的對抗樣本。這里的通過模型之間的遷移性來進行的攻擊并不能算是真正的遷移攻擊，遷移攻擊利用的是訓練數(shù)據(jù)的信息，而這里采用的是根據(jù)部分查詢結(jié)果來自己收集、擴充和構(gòu)造數(shù)據(jù)集，進行對應(yīng)的二分類訓練，分類項為目標圖片類和非目標圖片類，然后采用FGSM、I-FGSM、MI-FGSM、DI2-FGSM、M-DI2-FGSM 等算法來生成對抗樣本進行疊加嘗試，進而確定合適的初始樣本。

快速梯度符號方法（FGSM）是非常經(jīng)典的一種攻擊方法［5］，通過計算交叉熵損失的梯度J(x，yT)來找出噪聲的方向：

I-FGSM 將噪聲ε的上限分成幾個小的步長α，并逐步增加噪聲［16］：

I-FGSM 在白盒場景中的所有當前迭代攻擊中具有最高的攻擊效果，其主要缺點是迭代步驟的邊際效應(yīng)遞減。具體是隨著迭代次數(shù)t的增加和步長α的減小，保持加入迭代步驟對攻擊效果的改善很小。

DI2-FGSM 在I-FGSM 基礎(chǔ)上，將動量集成到攻擊過程中，穩(wěn)定更新方向，在一定程度上避免了局部極值：

MI-FGSM 引入了一個動量項，使噪聲添加方向的調(diào)整更加平滑，但邊際效應(yīng)遞減對迭代次數(shù)的影響仍然存在［8］：

M-DI2-FGSM 在MI-FGSM 基礎(chǔ)上，將動量集成到攻擊過程中，穩(wěn)定更新方向，在一定程度上避免了局部極值［17］：

以上的FGSM系列算法屬于白盒攻擊算法，需要掌握模型的內(nèi)部結(jié)構(gòu)和訓練參數(shù)值，針對的是自己搭建的二分類神經(jīng)網(wǎng)絡(luò)，目的是為了獲得一個可以接納的初始樣本，提升黑盒攻擊的攻擊起點，具體算法流程如下：

得到初始樣本后，采用文獻［7，12-13］的邊界攻擊算法，這3 種邊界攻擊算法本質(zhì)上是一致的，都是基于決策的黑盒攻擊手段，可以通過改變初始樣本來減少查詢次數(shù)，這里以文獻［12］的邊界攻擊算法為例，具體算法流程如下：

2.2 無目標攻擊流程

根據(jù)上述設(shè)計的算法，進行無目標攻擊的相關(guān)實驗，具體步驟如下：

步驟1實驗樣本的準備。選用一個神經(jīng)網(wǎng)絡(luò)作為攻擊目標（攻擊者并不知道神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)、訓練參數(shù)和相應(yīng)算法，也不知道是采用何種數(shù)據(jù)集進行訓練的，唯一知道的是此模型是完成圖片分類任務(wù)的）。這里選擇一張目標圖片，將其輸入到目標神經(jīng)網(wǎng)絡(luò)中，別被識別為o類，然后，攻擊者從百度隨機爬取若干o類的圖片和非o類的圖片，其中下載n張o類圖片輸入目標神經(jīng)網(wǎng)絡(luò)模型，得到n-k個分類結(jié)果為o類的樣本，k個分類結(jié)果為非o類的樣本，然后隨機下載n張其他類型的圖片，這n+k個圖片作為非o類的圖片樣本，所有圖片匯總一起得到n-k+1 個標簽為o的圖片樣本（包括1張目標圖片）、n+k個標簽為非o類的圖片樣本，通過圖像旋轉(zhuǎn)、鏡像、移位、縮放比例等方法擴充這2 類樣本，通過這2 類樣本訓練一個新的神經(jīng)網(wǎng)絡(luò)完成二分類任務(wù)。

步驟2獲得初始對抗樣本。在構(gòu)建的二分類神經(jīng)網(wǎng)絡(luò)中，采用M-DI2-FGSM 算法計算交叉熵損失的梯度來找出噪聲的方向，生成干擾圖像η，然后將干擾圖像加到目標圖片樣本o上生成對抗樣本，此時對于新神經(jīng)網(wǎng)絡(luò)而言，對抗樣本的生成屬于白盒攻擊，然后將這個樣本輸入到目標神經(jīng)網(wǎng)絡(luò)中進行分類識別，若識別為非o類，則達成了無目標識別任務(wù)；若仍識別為o類，則說明目標神經(jīng)網(wǎng)絡(luò)的精度很高，新的神經(jīng)網(wǎng)絡(luò)二分類后的對抗樣本生成也騙不過目標神經(jīng)網(wǎng)絡(luò)。此時，對剛剛生成的對抗樣本采取圖像旋轉(zhuǎn)、鏡像、移位、縮放比例等數(shù)據(jù)增強技術(shù)進行擴充，然后投入訓練集中，對二分類神經(jīng)網(wǎng)絡(luò)增量訓練，生成新的干擾圖像η′，以此反復，直到目標神經(jīng)網(wǎng)絡(luò)得出非o的結(jié)論，此時，對抗樣本為即疊加了n′次干擾圖像。新的對抗樣本即初始對抗樣本很大概率將和原圖片樣本o差別較大，不符合對抗樣本的要求，這里將采用新的邊界攻擊算法進行處理。

步驟3對抗樣本生成。采用文獻［12］中的邊界攻擊算法，將文獻［12］中隨機生成的初始樣本變更為步驟2 得到的簡易對抗樣本，以此來進行無目標攻擊，最終得到清晰度符合要求的對抗樣本圖片。

綜上所述，可以得到整個無目標黑盒攻擊流程，如圖3 所示。

圖3 無目標黑盒攻擊整體流程Fig.3 Whole procedure of non-target black box attack

2.3 有目標攻擊流程

根據(jù)上述設(shè)計的算法，進行有目標攻擊的相關(guān)實驗，具體方法如下：

對于有目標攻擊，若按照上述無目標攻擊的流程來進行，理論構(gòu)建的二分類神經(jīng)網(wǎng)絡(luò)應(yīng)變?yōu)槿诸惿窠?jīng)網(wǎng)絡(luò)，分別為目標圖片o類、指定錯誤類o′類、其他類共3 類，再利用如文獻［18-20］等白盒有目標攻擊算法來生成初始樣本，然后將這個樣本輸入到目標神經(jīng)網(wǎng)絡(luò)中進行分類識別，若識別為o′類，則達成了有目標識別任務(wù)；若仍識別為o類或其他類，則說明需要繼續(xù)生成對抗樣本。此時，對剛生成的對抗樣本采取圖像旋轉(zhuǎn)、鏡像、移位、縮放比例等數(shù)據(jù)增強技術(shù)進行擴充，最后投到入訓練集中，對三分類神經(jīng)網(wǎng)絡(luò)進行增量訓練，生成新的干擾圖像η′，以此反復，直到目標神經(jīng)網(wǎng)絡(luò)得出o′類的結(jié)論，此時，對抗樣本為，即疊加了n′次干擾圖像。

但在實際操作中發(fā)現(xiàn)，無目標攻擊只需要將對抗樣本分為非o類即可，而有目標攻擊己方搭建的分類模型無論怎樣進行增量訓練，都和目標神經(jīng)網(wǎng)絡(luò)差距太大，準確程度低，無法準確地將對抗樣本分到o′類。因此，根據(jù)文獻［7，12-13］的邊界攻擊算法原理，對目標圖片o和指定錯誤分類o′的一張圖片進行加權(quán)疊加，目標圖片o的權(quán)重范圍為0.05～0.95，指定分類的一張圖片權(quán)重范圍為0.95～0.05，步長0.05，如圖4 所示。

圖4 2 個類別的加權(quán)圖Fig.4 Weighted graphs of two categories

從圖4 可以看出，前7 幅加權(quán)圖片被目標神經(jīng)網(wǎng)絡(luò)識別為瓢蟲（ladybug），其他圖片被目標神經(jīng)網(wǎng)絡(luò)識別為金毛獵犬（golden_retriever），選取合適的加權(quán)樣本后整體流程和無目標攻擊一致，只是將隨機擾動的初始樣本換為加權(quán)樣本，通過加權(quán)樣本來獲得合適的初始樣本。

理論上第1 幅到第7 幅圖片之間的golden_retriever 的權(quán)值越大，則越容易通過算法1 來找到合適的初始樣本，使得golden_retriever 錯誤的識別為ladybug，但是golden_retriever 的權(quán)值越大，初始樣本越接近于原始算法直接采用golden_retriever 作為初始樣本，且對查詢次數(shù)的降低基本沒有任何改善；Ladybug 的權(quán)值越大，則出現(xiàn)前文提到的準確程度就越低，無法準確地將對抗樣本粗略地分到o′類。

因此，這里選取第1 幅～第7 幅圖片作為加權(quán)樣本m。加權(quán)圖片越靠近第7 幅圖片則越接近2 個類別的邊界，此時仍然通過算法1 來進行處理，通過設(shè)定每一幅圖片的最大嘗試查詢次數(shù)p，就容易得到所需要的初始樣本。這里的p值不需要太大，否則會導致圖片嚴重失真，且不能保證攻擊的方向性，p的取值一般不超過10。最好的情況是選取第1 幅圖片時就能通過算法1 得到合適的初始樣本，最差的情況就是到第7 幅圖片也沒有得到合適的初始樣本，此時只有使用第8 幅圖片作為初始樣本。

最后再通過算法2 來進行無目標攻擊，最終得到清晰度符合要求的對抗樣本圖片。

綜上所述，可以得到整個有目標黑盒攻擊流程，如圖5 所示。

圖5 有目標黑盒攻擊整體流程Fig.5 Overall procedure of targeted black box attack

3 實例分析

3.1 無目標攻擊實例分析

本文選擇目標神經(jīng)網(wǎng)絡(luò)為ImageNet 數(shù)據(jù)集對應(yīng)的ResNet-50 網(wǎng)絡(luò)結(jié)構(gòu)，選擇目標圖片o為瓢蟲（ladybug）圖片，n取100，根據(jù)2.3 節(jié)中的步驟，從百度隨機爬取100 張瓢蟲的圖片和100 張其他圖片，將100 張瓢蟲的圖片導入到目標神經(jīng)網(wǎng)絡(luò)中，有92 張被分類為瓢蟲標簽，8 張被分類為其他標簽，此時，加上目標圖片，共有93 張瓢蟲的圖片，108 張其他的圖片，經(jīng)過旋轉(zhuǎn)、移位、縮放、鏡像等方法，將數(shù)量擴充至5 倍，搭建二分類神經(jīng)網(wǎng)絡(luò)來訓練數(shù)據(jù)。

采用M-DI2-FGSM 算法計算交叉熵損失的梯度來找出目標圖片在新的神經(jīng)網(wǎng)絡(luò)噪聲的方向，生成干擾圖像η，合成為對抗樣本后輸入到目標神經(jīng)網(wǎng)絡(luò)中，發(fā)現(xiàn)仍識別為瓢蟲，然后將剛合成的對抗樣本經(jīng)過旋轉(zhuǎn)、移位、縮放、鏡像等方法進行擴充，隨后作為數(shù)據(jù)集來增量訓練二分類神經(jīng)網(wǎng)絡(luò)，再次利用M-DI2-FGSM 算法合成為對抗樣本，經(jīng)過反復疊加，7 次疊加后目標神經(jīng)網(wǎng)絡(luò)識別為鯉魚（crayfish），如圖6 所示。將新的對抗樣本輸入到邊界攻擊程序中，作為起始樣本來進行下一步處理，具體攻擊過程如圖7 所示。

圖6 反復疊加后的對抗樣本Fig.6 Counter sample after repeated superposition

圖7 更改初始樣本后的無目標攻擊過程Fig.7 Non-target attack process after changing initial sample

從圖7 可以看出，當對抗樣本與目標圖片之間的均方誤差約為2.99e+3 時，共對目標神經(jīng)網(wǎng)絡(luò)查詢了（9 109+100+7）次，肉眼已難以區(qū)分對抗樣本和目標圖片之間的差異，此時目標神經(jīng)網(wǎng)絡(luò)仍識別為鯉魚（crayfish）。對比初始樣本為隨機干擾圖片的無目標攻擊過程，當對抗樣本與目標圖片之間的均方誤差約為2.99e+3 時，共查詢了12 006 次。

顯然，更改初始樣本后無目標黑盒攻擊過程中對目標神經(jīng)網(wǎng)絡(luò)的查詢次數(shù)顯著降低，大約降低了2 790 次，節(jié)省了23%的查詢次數(shù)，同時，經(jīng)過簡單測算，獲得初始樣本的過程耗時（包括爬取圖片、查詢圖片、擴充數(shù)據(jù)集、訓練和增量訓練網(wǎng)絡(luò)、調(diào)用MDI2-FGSM 算法疊加對抗樣本）不超過原來的黑盒攻擊查詢2 790 次所耗費的時間。因此，無目標黑盒攻擊算法計算所需時間也在可控范圍內(nèi)。

3.2 有目標攻擊實例分析

對于有目標攻擊，同樣選擇目標神經(jīng)網(wǎng)絡(luò)為ImageNet 數(shù)據(jù)集對應(yīng)的ResNet-50 網(wǎng)絡(luò)結(jié)構(gòu)，選擇目標圖片o為瓢蟲（ladybug）圖片，n取100，根據(jù)2.3 節(jié)中的步驟，從百度隨機爬取100 張瓢蟲的圖片和100 張其他的圖片，將100 張瓢蟲的圖片導入到目標神經(jīng)網(wǎng)絡(luò)中，有90 張被分類為瓢蟲標簽，10 張被分類為其他標簽，此時，加上目標圖片，共有91 張瓢蟲的圖片和110 張其他圖片，經(jīng)過旋轉(zhuǎn)、移位、縮放、鏡像等方法，將數(shù)量擴充至5 倍，搭建二分類神經(jīng)網(wǎng)絡(luò)來訓練數(shù)據(jù)。

選擇指定分類圖片o′為金毛獵犬（golden retriever）圖片，通過2.3 節(jié)中的方法進行加權(quán)并按照從第1 幅到第7 幅的順序調(diào)用M-DI2-FGSM 算法計算交叉熵損失的梯度來多次疊加對抗樣本，設(shè)定p值為10，同時將每一步的對抗樣本經(jīng)過旋轉(zhuǎn)、移位、縮放、鏡像擴充后作為數(shù)據(jù)集增量訓練二分類神經(jīng)網(wǎng)絡(luò)。經(jīng)過計算，在第5 個加權(quán)圖片中的第2 次疊加后，找到了合適的初始樣本，此時對抗樣本被識別為金毛獵犬，此時已經(jīng)對目標神經(jīng)網(wǎng)絡(luò)查詢了（100+40+2）次。

將新的對抗樣本輸入到邊界攻擊程序中，作為起始樣本來進行下一步處理，具體攻擊過程如圖8所示。從圖8 可以看出，當對抗樣本與目標圖片之間的均方誤差約為1.08e+3 時，共對目標神經(jīng)網(wǎng)絡(luò)查詢了（20 537+100+19+40+2）次，此時肉眼已難以區(qū)分對抗樣本和目標圖片之間的差異。對比初始樣本為隨機干擾圖片的有目標攻擊過程，當對抗樣本與目標圖片之間的均方誤差約為1.08e+3 時，共查詢了25 058 次。

圖8 更改初始樣本后的有目標攻擊過程Fig.8 Target attack process after changing initial sample

顯然，更改初始樣本后有目標黑盒攻擊過程中對目標神經(jīng)網(wǎng)絡(luò)的查詢次數(shù)顯著降低，大約降低了4 360 次，節(jié)省了17%的查詢次數(shù)，同時，經(jīng)過簡單測算，獲得初始樣本的過程耗時（包括爬取圖片、查詢圖片、擴充數(shù)據(jù)集、訓練和增量訓練網(wǎng)絡(luò)、加權(quán)圖像、調(diào)用M-DI2-FGSM 算法疊加對抗樣本）不超過原來的黑盒攻擊查詢4 360 次所耗費的時間，因此，有目標黑盒攻擊算法計算所需時間也在可控范圍內(nèi)。

4 結(jié)束語

本文在基于決策的黑盒攻擊算法的基礎(chǔ)上，提出一種基于模型間遷移性的黑盒對抗攻擊起點提升方法。利用模型的遷移性來循環(huán)疊加干擾圖像，確定新的初始樣本，提高基于決策攻擊的起點，降低查詢次數(shù)。實驗結(jié)果表明，改進后的算法時間復雜度低，生成對抗樣本耗時短，使得對抗攻擊更有效、更穩(wěn)健、更難以被察覺。本文設(shè)計的對抗樣本可以作為神經(jīng)網(wǎng)絡(luò)魯棒性的評估標準，進一步擴展神經(jīng)網(wǎng)絡(luò)對抗防御的思路，提高神經(jīng)網(wǎng)絡(luò)模型的穩(wěn)健性。下一步將針對邊界攻擊的過程算法進行優(yōu)化，采用新的方法估計梯度方向，對分類邊界進行優(yōu)化搜索，盡可能減少整體的查詢時間，提高攻擊效率。