基于差分進(jìn)化的神經(jīng)網(wǎng)絡(luò)通用擾動(dòng)生成方法

高乾順，范純龍，李炎達(dá)，滕一平

基于差分進(jìn)化的神經(jīng)網(wǎng)絡(luò)通用擾動(dòng)生成方法

高乾順，范純龍*，李炎達(dá)，滕一平

（沈陽(yáng)航空航天大學(xué) 計(jì)算機(jī)學(xué)院，沈陽(yáng) 110136）（ ? 通信作者電子郵箱FanCHL@sau.edu.cn）

針對(duì)超球面通用攻擊（HGAA）算法中通用擾動(dòng)搜索始終限定在空間球面上，不具有球內(nèi)空間搜索能力的問(wèn)題，提出一種基于超球面的差分進(jìn)化算法。該算法將搜索空間擴(kuò)大到球面內(nèi)部，并通過(guò)差分進(jìn)化（DE）算法搜索最優(yōu)球面，從而生成愚弄率更高、模長(zhǎng)更低的通用擾動(dòng)。此外，分析了種群數(shù)量等關(guān)鍵參數(shù)對(duì)該算法的影響，并且測(cè)試了該算法生成的通用擾動(dòng)在不同神經(jīng)網(wǎng)絡(luò)模型上的性能。在CIFAR10和SVHN圖像分類(lèi)數(shù)據(jù)集上進(jìn)行驗(yàn)證，該算法與HGAA算法相比愚弄率最多提高了11.8個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，該算法擴(kuò)展了HGAA算法的通用擾動(dòng)搜索空間，降低了通用擾動(dòng)的模長(zhǎng)，提高了通用擾動(dòng)的愚弄率。

對(duì)抗攻擊；通用擾動(dòng)；神經(jīng)網(wǎng)絡(luò)；超球面攻擊；差分進(jìn)化算法

0 引言

深度神經(jīng)網(wǎng)絡(luò)［1-2］在諸多領(lǐng)域已經(jīng)廣泛應(yīng)用，但隨著深度學(xué)習(xí)技術(shù)研究和應(yīng)用的深入，一些安全問(wèn)題也逐漸凸顯，對(duì)大量智能技術(shù)應(yīng)用場(chǎng)景造成重大安全威脅。研究表明，深度神經(jīng)網(wǎng)絡(luò)對(duì)于一些人眼不可見(jiàn)的微小擾動(dòng)很敏感，這種擾動(dòng)通常被稱(chēng)為對(duì)抗擾動(dòng)，生成并在神經(jīng)網(wǎng)絡(luò)輸入上施加對(duì)抗擾動(dòng)的行為被稱(chēng)作對(duì)抗攻擊［3］。神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊打開(kāi)了神經(jīng)網(wǎng)絡(luò)安全性研究的大門(mén)，并得到來(lái)自工業(yè)界和學(xué)術(shù)界眾多專(zhuān)家和學(xué)者的重視。目前，面向神經(jīng)網(wǎng)絡(luò)的對(duì)抗樣本攻防、數(shù)據(jù)投毒攻防、模型投毒攻防、數(shù)據(jù)隱私防護(hù)、模型隱私防護(hù)等諸多安全性研究都快速發(fā)展，研究場(chǎng)景也從圖像分類(lèi)擴(kuò)展到圖像識(shí)別、目標(biāo)檢測(cè)、語(yǔ)音偽裝、強(qiáng)化學(xué)習(xí)、智能安防、自動(dòng)駕駛等領(lǐng)域。這些研究工作對(duì)提高神經(jīng)網(wǎng)絡(luò)安全性、理解神經(jīng)網(wǎng)絡(luò)的內(nèi)在機(jī)制起到了重要作用，同時(shí)也助推了神經(jīng)網(wǎng)絡(luò)的魯棒性、可解釋等方面的研究開(kāi)展，對(duì)發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)缺陷或者評(píng)測(cè)神經(jīng)網(wǎng)絡(luò)等均有重要意義。

如果一個(gè)對(duì)抗擾動(dòng)能使樣本集內(nèi)盡可能多的樣本輸出結(jié)果錯(cuò)誤，則該對(duì)抗擾動(dòng)稱(chēng)為通用擾動(dòng)。本文對(duì)現(xiàn)有通用擾動(dòng)求解算法進(jìn)行了總結(jié)，并針對(duì)超球面通用攻擊（Hyperspherical General Adversarial Attacks， HGAA）算法中通用擾動(dòng)搜索只能在空間球面上進(jìn)行，對(duì)球面內(nèi)擾動(dòng)不具有搜索能力這一問(wèn)題，提出基于超球面的差分進(jìn)化算法，通過(guò)差分進(jìn)化（Differential Evolution， DE）算法搜索球內(nèi)凹陷的優(yōu)化點(diǎn)，從而將搜索空間擴(kuò)大到球面內(nèi)部，并進(jìn)一步提高通用擾動(dòng)的愚弄率。本文在兩個(gè)數(shù)據(jù)集（CIFAR10和SVHN）和三個(gè)神經(jīng)網(wǎng)絡(luò)模型（NiN、VGG11和ResNet18）上評(píng)估了所提出的算法。實(shí)驗(yàn)結(jié)果表明，該算法擴(kuò)展了HGAA算法的通用擾動(dòng)搜索空間，降低了通用擾動(dòng)的模長(zhǎng)，提高了通用擾動(dòng)的愚弄率。此外，對(duì)算法的配置參數(shù)進(jìn)行實(shí)驗(yàn)分析，給出了參數(shù)設(shè)置的參考值，同時(shí)對(duì)算法生成的通用擾動(dòng)在不同神經(jīng)網(wǎng)絡(luò)模型間的攻擊遷移能力進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1 相關(guān)工作

神經(jīng)網(wǎng)絡(luò)模型容易受到添加了對(duì)抗擾動(dòng)的對(duì)抗樣本的攻擊［4-6］，導(dǎo)致模型作出錯(cuò)誤的預(yù)測(cè)?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的分類(lèi)器［7-11］也顯示出被人類(lèi)幾乎察覺(jué)不到的敵對(duì)干擾欺騙的現(xiàn)象。這種神經(jīng)網(wǎng)絡(luò)的對(duì)抗樣本可以通過(guò)多種方法得到，如利用模型的線性［7］、有限訓(xùn)練數(shù)據(jù)［8］等。更重要的是，對(duì)抗樣本可以從一個(gè)模型轉(zhuǎn)移到另一個(gè)模型（廣義），即使第二個(gè)模型具有不同的體系結(jié)構(gòu)，并在不同的訓(xùn)練數(shù)據(jù)集上進(jìn)行訓(xùn)練［7，11-13］。

從對(duì)抗攻擊在計(jì)算機(jī)視覺(jué)領(lǐng)域被發(fā)現(xiàn)開(kāi)始，研究者們針對(duì)對(duì)抗攻擊問(wèn)題進(jìn)行了大量研究。研究者提出的對(duì)抗攻擊算法根據(jù)攻擊場(chǎng)景可劃分為：僅訪問(wèn)模型輸出結(jié)果標(biāo)簽或置信度的黑盒攻擊［14-20］，攻擊時(shí)可以對(duì)模型內(nèi)部信息進(jìn)行訪問(wèn)的白盒攻擊［4，21-24］；也可以根據(jù)攻擊者的攻擊目的分為有目標(biāo)攻擊［25］和無(wú)目標(biāo)攻擊［22，26-27］；還可以根據(jù)攻擊樣本的數(shù)量劃分為單樣本攻擊和通用樣本攻擊，其中，單樣本攻擊［17，23-24］針對(duì)每個(gè)樣本生成不同的擾動(dòng)，通用樣本攻擊［25-31］針對(duì)整個(gè)樣本集產(chǎn)生一個(gè)通用擾動(dòng)。

文獻(xiàn)［15］中利用殘差網(wǎng)絡(luò)生成與圖像無(wú)關(guān)的通用擾動(dòng)，可以實(shí)現(xiàn)有目標(biāo)攻擊；文獻(xiàn)［26］的方法在沒(méi)有任何樣本數(shù)據(jù)的情況下，通過(guò)計(jì)算CNN各層輸出張量的平均激活值生成通用擾動(dòng)，并且擾動(dòng)可以在多個(gè)網(wǎng)絡(luò)體系結(jié)構(gòu)上傳遞；文獻(xiàn)［27］的方法在不了解數(shù)據(jù)分布的情況下，通過(guò)破壞圖像的特征空間生成通用擾動(dòng)；文獻(xiàn)［28］中不使用樣本數(shù)據(jù)，而是通過(guò)“類(lèi)印象”的遷移策略來(lái)模擬真實(shí)樣本數(shù)據(jù)制作通用擾動(dòng)；文獻(xiàn)［29］中通過(guò)攻擊分層關(guān)聯(lián)傳播（Layer-wise Relevance Propagation， LRP）生成的熱力圖產(chǎn)生通用擾動(dòng)；文獻(xiàn)［30］的方法可以在無(wú)法訪問(wèn)目標(biāo)模型和樣本數(shù)據(jù)的情況下，通過(guò)微調(diào)預(yù)訓(xùn)練模型得到目標(biāo)模型，在預(yù)訓(xùn)練模型上生成通用擾動(dòng)進(jìn)而使目標(biāo)模型失效。由于攻擊者獲得樣本數(shù)據(jù)是不合理的，因此無(wú)法分析每張樣本數(shù)據(jù)的決策邊界，導(dǎo)致生成的通用擾動(dòng)對(duì)神經(jīng)網(wǎng)絡(luò)模型的愚弄效果往往并不理想。

超球面通用攻擊（HGAA）算法［33］限定了擾動(dòng)搜索時(shí)的擾動(dòng)模長(zhǎng)，使擾動(dòng)搜索在特定模長(zhǎng)的球面上進(jìn)行，實(shí)現(xiàn)擾動(dòng)搜索的降維，從而提高通用擾動(dòng)生成的愚弄率和可控性。但該算法對(duì)擾動(dòng)模長(zhǎng)的限定條件較嚴(yán)格，導(dǎo)致搜索空間始終在球面上，無(wú)法搜索到球內(nèi)凹陷的更好的擾動(dòng)點(diǎn)，即對(duì)于球面內(nèi)擾動(dòng)不具有搜索能力。針對(duì)此問(wèn)題，本文提出利用DE算法［34］擴(kuò)展HGAA算法的擾動(dòng)搜索空間，搜索擾動(dòng)模長(zhǎng)更小的通用擾動(dòng)。

本文針對(duì)圖像分類(lèi)神經(jīng)網(wǎng)絡(luò)的通用擾動(dòng)生成場(chǎng)景，優(yōu)化HGAA算法，提出基于超球面的差分進(jìn)化算法。主要工作如下：

1）提出基于超球面的差分進(jìn)化算法，通過(guò)DE算法搜索球內(nèi)凹陷優(yōu)化點(diǎn)，進(jìn)一步降低通用擾動(dòng)模長(zhǎng)，提高通用擾動(dòng)性能。

2）分析種群數(shù)量等參數(shù)對(duì)DE算法的影響及其與擾動(dòng)性能的關(guān)系，合理設(shè)置參數(shù)大小，提高通用擾動(dòng)的愚弄率。

3）將優(yōu)化算法在不同神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行測(cè)試，驗(yàn)證了算法生成的通用擾動(dòng)具有較好的性能，并對(duì)多種模型同時(shí)生效。

2 通用擾動(dòng)生成方法

2.1　HGAA算法

2.2　DE算法

DE算法是一種通過(guò)模擬自然進(jìn)化過(guò)程搜索最優(yōu)解的方法。與遺傳算法不同，DE算法在變異操作方面使用差分策略，即利用種群中個(gè)體間的差分向量對(duì)個(gè)體進(jìn)行擾動(dòng)，實(shí)現(xiàn)個(gè)體變異。DE算法獨(dú)特的變異方式可以有效利用群體分布特性，提高算法的搜索能力，從而避免遺傳算法中變異方式不足的問(wèn)題。差分進(jìn)化通過(guò)反復(fù)迭代，使那些適應(yīng)環(huán)境的個(gè)體被保存下來(lái)。一般包含四個(gè)步驟：初始化、變異、交叉和選擇。具體算法流程如下：

在變異操作中需要防止越界，即對(duì)每個(gè)個(gè)體判斷是否在指定的范圍內(nèi)，如果不滿(mǎn)足邊界條件，可用初始化種群的隨機(jī)方法重新生成。

2.3　問(wèn)題描述

由于HGAA算法對(duì)通用擾動(dòng)模長(zhǎng)的限定條件過(guò)于嚴(yán)格，導(dǎo)致搜索空間始終在球面上，無(wú)法搜索到球內(nèi)凹陷的更好的通用擾動(dòng)點(diǎn)，即對(duì)于球面內(nèi)擾動(dòng)不具有搜索能力。針對(duì)此問(wèn)題，本文提出基于超球面的差分進(jìn)化算法，擴(kuò)展HGAA算法的擾動(dòng)搜索空間，搜索擾動(dòng)模長(zhǎng)更小的通用擾動(dòng)，問(wèn)題描述如式（3）、（4）所示：

2.4　基于超球面的差分進(jìn)化算法

經(jīng)過(guò)一定數(shù)量的迭代，就能夠找到最優(yōu)的通用擾動(dòng)及其對(duì)應(yīng)的模長(zhǎng)和愚弄率，根據(jù)前文基于超球面的差分進(jìn)化算法思想描述，明確了基于超球面的差分進(jìn)化算法的過(guò)程，下面算法1給出了該算法的具體描述：

算法1 基于超球面的差分進(jìn)化算法。

b） FOR=1 toDO

FOR=1 toDO

END

ELSE

END

END

3 實(shí)驗(yàn)與結(jié)果分析

3.1　實(shí)驗(yàn)設(shè)置

選用CIFAR10、SVHN作為實(shí)驗(yàn)數(shù)據(jù)集，采用NiN、VGG11、ResNet18神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)抗攻擊實(shí)驗(yàn)，對(duì)本文算法性能和關(guān)鍵參數(shù)影響進(jìn)行實(shí)驗(yàn)分析，實(shí)驗(yàn)全部在一臺(tái)搭載有NVIDIA GeForce RTX 2080Ti GPU顯卡的工作站完成，采用Python 3.8編程開(kāi)發(fā)環(huán)境和Pytorch1.8.0框架。

3.2　評(píng)價(jià)指標(biāo)

3.3　實(shí)驗(yàn)結(jié)果

表1　對(duì)比算法在不同數(shù)據(jù)集、不同模長(zhǎng)、不同網(wǎng)絡(luò)模型下的和

表2　各算法在不同數(shù)據(jù)集與網(wǎng)絡(luò)模型下的查詢(xún)次數(shù)與FR對(duì)比

圖1　不同網(wǎng)絡(luò)模型生成的通用擾動(dòng)

在CIFAR10數(shù)據(jù)集上，選擇ResNet18網(wǎng)絡(luò)模型，將本文算法生成的通用擾動(dòng)加入到原始樣本中，生成的對(duì)抗樣本如圖2所示，圖像下方為原始樣本的預(yù)測(cè)標(biāo)簽和對(duì)抗樣本的預(yù)測(cè)標(biāo)簽。

圖2　CIFAR10數(shù)據(jù)集的原始樣本和加入擾動(dòng)后的對(duì)抗樣本及其預(yù)測(cè)標(biāo)簽

在同一網(wǎng)絡(luò)模型下不同算法生成的通用擾動(dòng)是不同的，圖3是本文算法與對(duì)比算法在CIFAR10數(shù)據(jù)集上的攻擊示例。

圖3　CIFAR10數(shù)據(jù)集上不同算法生成的對(duì)抗樣本

3.4　擾動(dòng)跨模型

表3　本文算法通用擾動(dòng)的跨模型攻擊得到的

通用擾動(dòng)可以很好地推廣到其他網(wǎng)絡(luò)體系結(jié)構(gòu)。這種普遍性可以用這樣一個(gè)事實(shí)來(lái)解釋?zhuān)喝绻疃壬窠?jīng)網(wǎng)絡(luò)獨(dú)立于它的架構(gòu)細(xì)節(jié)，確實(shí)學(xué)會(huì)了檢測(cè)低層次的模式，如邊緣，那么添加一個(gè)邊緣類(lèi)噪聲很有可能破壞預(yù)測(cè)。

3.5　關(guān)鍵參數(shù)影響

本文算法涉及多個(gè)手工配置參數(shù)，這些參數(shù)的取值會(huì)對(duì)算法的攻擊效果產(chǎn)生一定的影響，因此，對(duì)算法涉及的配置參數(shù)進(jìn)行了實(shí)驗(yàn)分析，實(shí)驗(yàn)中隨機(jī)選擇CIFAR10測(cè)試集中1 000個(gè)樣本作為待攻擊數(shù)據(jù)集，選擇ResNet18作為對(duì)抗攻擊的目標(biāo)模型，以驗(yàn)證關(guān)鍵參數(shù)取值對(duì)算法性能的影響。

表4　參數(shù)M對(duì)算法的影響

表5　參數(shù)lb對(duì)算法的影響

表6　參數(shù)T對(duì)算法的影響

3.5.4訓(xùn)練樣本數(shù)量對(duì)算法的影響

圖4　訓(xùn)練樣本數(shù)對(duì)的影響

4 結(jié)語(yǔ)

針對(duì)HGAA算法中通用擾動(dòng)搜索只能在球面上進(jìn)行，對(duì)球面內(nèi)擾動(dòng)不具有搜索能力這一問(wèn)題，提出基于超球面的差分進(jìn)化算法，通過(guò)DE算法搜索球內(nèi)凹陷的優(yōu)化點(diǎn)，從而進(jìn)一步降低通用擾動(dòng)模長(zhǎng)，提高通用擾動(dòng)的攻擊性能。實(shí)驗(yàn)結(jié)果表明，該算法擴(kuò)展了HGAA算法的通用擾動(dòng)搜索空間，降低了通用擾動(dòng)的模長(zhǎng)，提高了通用擾動(dòng)的愚弄率。另外，對(duì)算法的配置參數(shù)進(jìn)行實(shí)驗(yàn)分析，給出了參數(shù)設(shè)置的參考值，同時(shí)對(duì)算法生成的通用擾動(dòng)在不同神經(jīng)網(wǎng)絡(luò)模型間的攻擊遷移能力進(jìn)行實(shí)驗(yàn)驗(yàn)證。DE算法在效率和精度上優(yōu)于遺傳算法，并且與粒子群算法相比不容易陷入局部最優(yōu)，對(duì)于其他啟發(fā)式算法，也許可以搜索到相同性能的通用擾動(dòng)，甚至效果要優(yōu)于DE算法，但目前還沒(méi)有進(jìn)行相關(guān)的研究分析，因此這也是今后需要開(kāi)展的一項(xiàng)工作。通用擾動(dòng)是對(duì)抗攻擊研究的重要方面，目前的研究還主要集中在分類(lèi)等典型神經(jīng)網(wǎng)絡(luò)應(yīng)用場(chǎng)景，對(duì)不同應(yīng)用場(chǎng)景的研究依然不足，另外，對(duì)抗攻擊在物理世界中的應(yīng)用效果還有待深入研究。

[1] LeCUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444.

[2] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.

[3] SZEGEDY C， ZAREMBA W， SUTSKEVER I， et al. Intriguing properties of neural networks［EB/OL］. ［2022-09-10］.https：//arxiv.org/pdf/1312.6199.pdf.

[4] BIGGIO B， CORONA I， MAIORCA D， et al. Evasion attacks against machine learning at test time［C］// Proceedings of the 2013 Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 8190. Berlin： Springer， 2013： 387-402.

[5] BIGGIO B， FUMERA G， ROLI F. Pattern recognition systems under attack： design issues and research challenges［J］. International Journal of Pattern Recognition and Artificial Intelligence， 2014， 28（7）： No.1460002.

[6] HUANG L， JOSEPH A D， NELSON B， et al. Adversarial machine learning［C］// Proceedings of the 4th ACM Workshop on Security and Artificial Intelligence. New York： ACM， 2011： 43-58.

[7] GOODFELLOW I J， SHLENS J， SZEGEDY C. Explaining and harnessing adversarial examples［EB/OL］. ［2022-09-10］.https：//arxiv.org/pdf/1412.6572.pdf.

[8] BENGIO Y. Learning deep architectures for AI［J］. Foundations and Trends in Machine Learning， 2009， 2（1）： 1-127.

[9] KURAKIN A， GOODFELLOW I J， BENGIO S. Adversarial machine learning at scale［EB/OL］. ［2022-09-10］.https：//arxiv.org/pdf/1611.01236.pdf.

[10] MOOSAVI-DEZFOOLI S M， FAWZI A， FROSSARD P. DeepFool： a simple and accurate method to fool deep neural networks［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2574-2582.

[11] SZEGEDY C， ZAREMBA W， SUTSKEVER I， et al. Intriguing properties of neural networks［EB/OL］. ［2022-09-10］.https：//arxiv.org/pdf/1312.6199.pdf.

[12] DONG Y， LIAO F， PANG T， et al. Boosting adversarial attacks with momentum［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9185-9193.

[13] HUANG Q， KATSMAN I， GU Z， et al. Enhancing adversarial example transferability with an intermediate level attack［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 4732-4741.

[14] PAPERNOT N， McDANIEL P， GOODFELLOW I， et al. Practical black-box attacks against machine learning［C］// Proceedings of the 2017 ACM Asia Conference on Computer and Communications Security. New York： ACM， 2017： 506-519.

[15] SARKAR S， BANSAL A， MAHBUB U， et al. UPSET and ANGRI： breaking high performance image classifiers［EB/OL］. ［2022-09-10］. https：//arxiv.org/pdf/1707.01159.pdf.

[16] CISSE M， ADI Y， NEVEROVA N， et al. Houdini： fooling deep structured prediction models［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6980-6990.

[17] CHEN P Y， ZHANG H， SHARMA Y， et al. ZOO： zeroth order optimization based black-box attacks to deep neural networks without training substitute models［C］// Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security. New York： ACM， 2017： 15-26.

[18] SU J， VARGAS D V， SAKURAI K. One pixel attack for fooling deep neural networks［J］. IEEE Transactions on Evolutionary Computation， 2019， 23（5）： 828-841.

[19] ILYAS A， ENGSTROM L， ATHALYE A， et al. Black-box adversarial attacks with limited queries and information［C］// Proceedings of the 35th International Conference on Machine Learning. New York： JMLR.org， 2018： 2137-2146.

[20] LI P， YI J， ZHANG L. Query-efficient black-box attack by active learning［C］// Proceedings of the 2018 IEEE International Conference on Data Mining. Piscataway： IEEE， 2018： 1200-1205.

[21] DONG Y， LIAO F， PANG T， et al. Discovering adversarial examples with momentum［EB/OL］. ［2022-09-10］.https：//arxiv.org/pdf/1710.06081v1.pdf.

[22] MOOSAVI-DEZFOOLI S M， FAWZI A， FAWZI O， et al. Universal adversarial perturbations［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 86-94.

[23] CARLINI N， WAGNER D. Towards evaluating the robustness of neural networks［C］// Proceedings of the 2017 IEEE Symposium on Security and Privacy. Piscataway： IEEE， 2017： 39-57.

[24] SHI Y， HAN Y， ZHANG Q， et al. Adaptive iterative attack towards explainable adversarial robustness［J］. Pattern Recognition， 2020， 105： No.107309.

[25] ZHANG C， BENZ P， IMTIAZ T， et al. CD-UAP： class discriminative universal adversarial perturbation［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 6754-6761.

[26] MOPURI K R， GARG U， BABU R V. Fast feature fool： a data independent approach to universal adversarial perturbations［C］// Proceedings of the 2017 British Machine Vision Conference. Durham： BMVA Press， 2017： No.30.

[27] MOPURI K R， GANESHAN A， BABU R V. Generalizable data-free objective for crafting universal adversarial perturbations［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 41（10）： 2452-2465.

[28] MOPURI K R， UPPALA P K， BABU R V. Ask， acquire， and attack： data-free UAP generation using class impressions［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11213. Cham： Springer， 2018： 20-35.

[29] WANG Z， HUANG X， YANG J， et al. Universal adversarial perturbation generated by attacking layer-wise relevance propagation［C］// Proceedings of the IEEE 10th International Conference on Intelligent Systems. Piscataway： IEEE， 2020： 431-436.

[30] HUAN Z， WANG Y， ZHANG X， et al. Data-free adversarial perturbations for practical black-box attack［C］// Proceedings of the 2020 Pacific-Asia Conference on Knowledge Discovery and Data Mining， LNCS 12085. Cham： Springer， 2020： 127-138.

[31] OSELEDETS I， KHRULKOV V. Art of singular vectors and universal adversarial perturbations［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8562-8570.

[32] WU J， ZHOU M， LIU S， et al. Decision-based universal adversarial attack［EB/OL］. ［2022-09-10］.https：//arxiv.org/pdf/2009.07024.pdf.

[33] 范純龍，李彥達(dá)，夏秀峰，等.基于隨機(jī)梯度上升和球面投影的通用對(duì)抗攻擊方法［J］.東北大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，43（2）： 168-175. （FAN C L， LI Y D， XIA X F， et al. A general adversarial attack method based on random gradient ascent and spherical projection［J］. Journal of Northeast University （Natural Science）， 2022， 43（2）： 168-175.）

[34] STORN R， PRICE K. Differential evolution — a simple and efficient heuristic for global optimization over continuous spaces［J］. Journal of Global Optimization， 1997， 11（4）：341-359.

Universal perturbation generation method of neural network based on differential evolution

GAO Qianshun， FAN Chunlong*， LI Yanda， TENG Yiping

（，，110136，）

Aiming at the problem that the universal perturbation search in HGAA （Hyperspherical General Adversarial Attacks） algorithm is always limited to the spatial spherical surface， and it does not have the ability to search the space inside the sphere， a differential evolution algorithm based on hypersphere was proposed. In the algorithm， the search space was expanded to the interior of the sphere， and Differential Evolution （DE） algorithm was used to search the optimal sphere， so as to generate universal perturbations with higher fooling rate and lower modulus length on this sphere. Besides， the influence of key parameters such as the number of populations on the algorithm was analyzed， and the performance of the universal perturbations generated by the algorithm on different neural network models was tested. The algorithm was verified on CIFAR10 and SVHN image classification datasets， and the fooling rate of the algorithm was increased by up to 11.8 percentage points compared with that of HGAA algorithm. Experimental results show that this algorithm extends the universal perturbation search space of the HGAA algorithm， reduces the modulus length of universal perturbation， and improves the fooling rate of universal perturbations.

adversarial attack; universal perturbation; neural network; hypersphere attack; Differential Evolution (DE)algorithm

1001-9081（2023）11-3436-07

10.11772/j.issn.1001-9081.2022111733

2022?11?22；

2023?03?17；

國(guó)家自然科學(xué)基金資助項(xiàng)目（61902260）； 遼寧省教育廳科學(xué)研究項(xiàng)目（JYT2020026）。

高乾順（1997—），男，山東臨沂人，碩士研究生，主要研究方向：深度學(xué)習(xí)、對(duì)抗攻擊； 范純龍（1973—），男，遼寧沈陽(yáng)人，教授，博士，CCF會(huì)員，主要研究方向：神經(jīng)網(wǎng)絡(luò)可解釋性、復(fù)雜網(wǎng)絡(luò)分析、智能系統(tǒng)驗(yàn)證； 李炎達(dá)（1999—），男，遼寧沈陽(yáng)人，碩士研究生，主要研究方向：深度學(xué)習(xí)、對(duì)抗攻擊； 滕一平（1989—），男，遼寧沈陽(yáng)人，副教授，博士，CCF會(huì)員，主要研究方向：隱私保護(hù)、深度學(xué)習(xí)。

TP391

A

2023?03?31。

This work is partially supported by National Natural Science Foundation of China （61902260）， Scientific Research Project of Educational Department of Liaoning Province （JYT2020026）.

GAO Qianshun， born in 1997， M. S. candidate. His research interests include deep learning， adversarial attack.

FAN Chunlong， born in 1973， Ph. D.， professor. His research interests include neural network interpretability， complex network analysis， intelligent system verification.

LI Yanda， born in 1999， M. S. candidate. His research interests include deep learning， adversarial attack.

TENG Yiping， born in 1989， Ph. D.， associate professor. His research interests include privacy protection， deep learning.