面向圖像分類的對(duì)抗魯棒性評(píng)估綜述

李自拓 孫建彬 楊克巍 熊德輝

(國(guó)防科技大學(xué)系統(tǒng)工程學(xué)院 長(zhǎng)沙 410073)

2019年瑞萊智慧RealAI團(tuán)隊(duì)對(duì)人臉照片進(jìn)行算法處理，將照片打印并粘貼到鏡框上，通過佩戴眼鏡成功攻破19款商用手機(jī)的人臉解鎖[1]；2020年美國(guó)東北大學(xué)團(tuán)隊(duì)[2]設(shè)計(jì)了一款印有特殊圖案的T恤，可使穿戴者躲避智能攝像頭的監(jiān)測(cè)；2021年騰訊科恩實(shí)驗(yàn)室[3]通過在路面部署干擾信息，導(dǎo)致特斯拉Model S車輛經(jīng)過時(shí)對(duì)車道線做出錯(cuò)判，致使車輛駛?cè)敕聪蜍嚨馈?/p>

由此可見，盡管深度學(xué)習(xí)在執(zhí)行各種復(fù)雜任務(wù)時(shí)取得了出乎意料的優(yōu)異表現(xiàn)，但在安全應(yīng)用領(lǐng)域仍有很大的局限性.Szegedy等人[4]發(fā)現(xiàn)，深度學(xué)習(xí)對(duì)于精心設(shè)計(jì)的輸入樣本是很脆弱的.這些樣本可以輕易用人類察覺不到的微小擾動(dòng)，欺騙一個(gè)訓(xùn)練好的深度學(xué)習(xí)模型，使模型做出錯(cuò)誤的決策.現(xiàn)在，深度學(xué)習(xí)中的對(duì)抗攻擊技術(shù)受到了大量關(guān)注，以面向圖像分類為主的對(duì)抗攻擊算法[5-10]不斷涌現(xiàn).

在此背景下，越來越多的研究者開始關(guān)注如何提升模型抵御對(duì)抗攻擊的能力，即增強(qiáng)模型的對(duì)抗魯棒性，并探索出了一系列的對(duì)抗防御手段，如梯度遮蔽[11-12]、對(duì)抗訓(xùn)練[6,13]、數(shù)據(jù)處理[14-15]和特征壓縮[16]等.盡管這些方法對(duì)于改善模型的對(duì)抗魯棒性是有效的，但是目前針對(duì)模型對(duì)抗魯棒性的評(píng)估框架尚未完善，主要是通過不斷改進(jìn)攻防算法，反復(fù)進(jìn)行對(duì)抗，定性給出模型魯棒性好壞的基準(zhǔn)，或者使用分類準(zhǔn)確率等指標(biāo)單一地衡量模型的對(duì)抗魯棒性.此外，許多攻擊算法或多或少會(huì)受到實(shí)驗(yàn)條件的限制，難以適用于所有的深度學(xué)習(xí)模型，這些問題為模型的對(duì)抗魯棒性評(píng)估(adversarial robustness evaluation)帶來了挑戰(zhàn).

目前，面向圖像分類的對(duì)抗魯棒性評(píng)估領(lǐng)域還有很大的發(fā)展空間，如何正確、科學(xué)、定量且全面地評(píng)估模型的對(duì)抗魯棒性，正在吸引業(yè)界和學(xué)術(shù)界的關(guān)注.為了更好地探究對(duì)抗魯棒性評(píng)估問題，本文系統(tǒng)梳理并分析總結(jié)了面向圖像分類的對(duì)抗魯棒性評(píng)估方法，以促進(jìn)該領(lǐng)域的研究.

1 對(duì)抗樣本相關(guān)介紹

生成對(duì)抗樣本是開展對(duì)抗魯棒性評(píng)估工作的基礎(chǔ).為了更好地理解對(duì)抗魯棒性評(píng)估，本節(jié)首先簡(jiǎn)要介紹對(duì)抗樣本的概念和相關(guān)專業(yè)術(shù)語(yǔ)，并探討對(duì)抗樣本存在的原因.為行文方便，對(duì)本文使用的符號(hào)進(jìn)行說明，如表1所示:

Table 1 Notations Used in this Paper

1.1 對(duì)抗樣本及相關(guān)術(shù)語(yǔ)

概念1.對(duì)抗樣本.最早提出這一概念的是Szegedy等人[4]，他們?cè)谠紭颖旧咸砑尤庋垭y以察覺的微小擾動(dòng)，愚弄了當(dāng)時(shí)最先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNNs)，誘導(dǎo)模型分類錯(cuò)誤.如圖1所示，通過在原始樣本上添加圖中的擾動(dòng)，就能讓模型將卡車錯(cuò)誤地識(shí)別成鴕鳥.

Fig.1 Illustration for the generation of adversarial example[4]

(1)

概念3.對(duì)抗攻擊知識(shí).它指的是攻擊者所掌握的相關(guān)信息，包括訓(xùn)練樣本、模型結(jié)構(gòu)和模型輸出等.針對(duì)攻擊者對(duì)智能系統(tǒng)了解情況的多少，可以將攻擊劃分為白盒攻擊、灰盒攻擊和黑盒攻擊，攻擊難度依次增大.由于灰盒攻擊的邊界難以界定，目前研究大多以白盒攻擊和黑盒攻擊為主，本文不對(duì)灰盒攻擊進(jìn)行相關(guān)介紹.

概念4.對(duì)抗攻擊能力[20-21].指攻擊者修改訓(xùn)練數(shù)據(jù)或測(cè)試數(shù)據(jù)的能力.在針對(duì)圖像分類任務(wù)開展對(duì)抗攻擊時(shí)，攻擊者的能力往往僅限于對(duì)測(cè)試集數(shù)據(jù)進(jìn)行修改，不考慮通過數(shù)據(jù)投毒等手段，影響模型的訓(xùn)練過程，這種攻擊被稱為探索性攻擊.與之對(duì)應(yīng)的誘導(dǎo)性攻擊，指的是通過修改訓(xùn)練集，破壞原有訓(xùn)練數(shù)據(jù)的概率分布，使模型無(wú)法達(dá)到理想的分類效果.由此可見，誘導(dǎo)性攻擊從根本上實(shí)現(xiàn)了對(duì)模型的攻擊，比探索性攻擊的攻擊性更強(qiáng).

通過分析圖像分類全過程各環(huán)節(jié)[22]的特點(diǎn)，從上述提到的攻擊目標(biāo)、知識(shí)以及能力3個(gè)維度對(duì)對(duì)抗攻擊方法進(jìn)行分類，形成如圖2所示的對(duì)抗攻擊分類框架.誘導(dǎo)性攻擊主要對(duì)原始數(shù)據(jù)輸入以及數(shù)據(jù)處理階段進(jìn)行攻擊，探索性攻擊是在模型訓(xùn)練完成后，針對(duì)分類階段進(jìn)行攻擊；倘若攻擊者無(wú)法獲取模型訓(xùn)練及訓(xùn)練前各階段的信息，則開展的攻擊為黑盒攻擊，否則為白盒攻擊；在最終的分類階段，針對(duì)攻擊者能否精確控制分類器對(duì)測(cè)試樣本的分類結(jié)果，可以將對(duì)抗攻擊劃分為目標(biāo)攻擊和非目標(biāo)攻擊2類.

Fig.2 Classification framework of adversarial attack

1.2 對(duì)抗樣本存在的解釋

對(duì)抗魯棒性評(píng)估與對(duì)抗樣本密切相關(guān)，深入理解對(duì)抗樣本產(chǎn)生的機(jī)理有助于從根本上提出科學(xué)的評(píng)估方法與指標(biāo).然而關(guān)于對(duì)抗樣本存在的解釋仍有許多爭(zhēng)議，目前還沒有得出一個(gè)準(zhǔn)確統(tǒng)一的結(jié)論.

Szegedy等人[4]認(rèn)為網(wǎng)絡(luò)模型的非線性特性是導(dǎo)致對(duì)抗樣本存在的原因.具體而言，他們從正負(fù)實(shí)數(shù)分類問題中發(fā)現(xiàn)，由于無(wú)理數(shù)的個(gè)數(shù)要遠(yuǎn)多于有理數(shù)，訓(xùn)練集中無(wú)理數(shù)和有理數(shù)的比例難免失去平衡，基于此數(shù)據(jù)集訓(xùn)練的模型可能無(wú)法對(duì)有理數(shù)進(jìn)行正確的分類.但不可否認(rèn)的是，有理數(shù)是的確存在且稠密的.對(duì)抗樣本好比有理數(shù)，模型的非線性特性使得模型訓(xùn)練時(shí)對(duì)高維特征的提取不充分，僅僅學(xué)習(xí)到局部子空間的特征，可能導(dǎo)致一直存在但被發(fā)現(xiàn)的概率很低的對(duì)抗樣本難以被觀察到，進(jìn)而影響了模型的決策.遺憾的是，文獻(xiàn)[4]并沒有給出相關(guān)的數(shù)學(xué)說明.

相反，Goodfellow等人[23]恰恰認(rèn)為對(duì)抗樣本存在的原因與高維空間的線性模型相關(guān)，并以此提出快速梯度符號(hào)(fast gradient sign method, FGSM)攻擊算法.假設(shè)模型的權(quán)重向量為w，則有

(2)

當(dāng)w的維數(shù)n非常大時(shí)，即使擾動(dòng)ε很小，wT·ε可能會(huì)是一個(gè)比較大的數(shù)值.因此，得出結(jié)論：在高維空間的線性模型中，微小擾動(dòng)也能使輸出產(chǎn)生較大的變化，以致模型進(jìn)行錯(cuò)誤分類.不過，該觀點(diǎn)也存在一些局限性，張思思等人[24]指出線性不是生成對(duì)抗樣本的充分條件.還有研究表明[25]高維空間的線性模型并沒有更容易發(fā)現(xiàn)對(duì)抗樣本，不是所有的線性模型都會(huì)存在對(duì)抗樣本.

此外，Moosavi-Dezfooli等人[8]證明了全局通用的對(duì)抗擾動(dòng)的存在，并提出對(duì)抗樣本的存在是由于分類器決策邊界的幾何相關(guān)性.之后，Moosavi-Dezfooli等人[26]又進(jìn)一步證明了存在共享子空間，決策邊界沿該空間正彎曲，添加擾動(dòng)的樣本可以越過邊界，成功愚弄模型.Tanay等人[25]也從模型決策邊界角度提出了分類決策邊界超出樣本的子流形導(dǎo)致產(chǎn)生對(duì)抗樣本的觀點(diǎn).

2 對(duì)抗魯棒性評(píng)估

科學(xué)、有效地評(píng)估模型的對(duì)抗魯棒性對(duì)于構(gòu)建對(duì)抗魯棒模型、提高智能系統(tǒng)安全性具有重要意義.然而，至今尚未形成一個(gè)公正、統(tǒng)一的對(duì)抗魯棒性評(píng)估指標(biāo)或方法.現(xiàn)階段面向圖像分類的對(duì)抗魯棒性評(píng)估主要分為基準(zhǔn)評(píng)估和指標(biāo)評(píng)估2類.前者通過提出并改進(jìn)各種攻防算法[27-31]，反復(fù)進(jìn)行對(duì)抗，以排名基準(zhǔn)[32]的形式反映對(duì)抗魯棒性的強(qiáng)弱；后者從對(duì)抗樣本的角度出發(fā)提出一系列評(píng)估指標(biāo)，旨在通過全面、合理的指標(biāo)對(duì)模型的對(duì)抗魯棒性進(jìn)行評(píng)估.相比前者，后者的優(yōu)勢(shì)在于能夠以客觀可量化的方式衡量模型的對(duì)抗魯棒性，為增強(qiáng)模型的對(duì)抗魯棒性提供可解釋的科學(xué)依據(jù).

2.1 基本概念

在深度學(xué)習(xí)領(lǐng)域，魯棒性(robustness)指的是智能系統(tǒng)在受到內(nèi)外環(huán)境中多種不確定因素干擾時(shí)，依舊可以保持功能穩(wěn)定的能力.而對(duì)抗魯棒性(adversarial robustness)[12,33]專指對(duì)抗環(huán)境下模型抵御對(duì)抗攻擊的能力，即模型能否對(duì)添加微小擾動(dòng)的對(duì)抗樣本做出正確分類的能力.以任意攻擊方法在原始樣本上添加擾動(dòng)，模型正確識(shí)別該樣本的概率越高，說明模型的對(duì)抗魯棒性越強(qiáng).從數(shù)據(jù)空間的角度來看，添加的擾動(dòng)可以被描述為對(duì)抗擾動(dòng)距離[7](即原始樣本和對(duì)抗樣本之間的距離)，距離范圍內(nèi)的樣本都能夠被正確分類.因此也可以說，最小對(duì)抗擾動(dòng)距離(minimal adversarial perturbation)越大，則允許添加的擾動(dòng)范圍越大，模型的對(duì)抗魯棒性越強(qiáng).

可以看出，對(duì)抗魯棒性評(píng)估的關(guān)鍵是計(jì)算最小對(duì)抗擾動(dòng)距離.如果可以計(jì)算出最小對(duì)抗擾動(dòng)距離的精確值，那么最小對(duì)抗擾動(dòng)距離的值將可以作為模型對(duì)抗魯棒性評(píng)估的指標(biāo).然而，由于神經(jīng)網(wǎng)絡(luò)模型是大型、非線性且非凸的，對(duì)抗魯棒性等模型屬性的驗(yàn)證問題已被證明是一個(gè)NP完全(non-deterministic polynomial-complete, NP-C)問題[33-35].作為與對(duì)抗魯棒性相關(guān)的指標(biāo)，最小對(duì)抗擾動(dòng)距離難以被精確求解.因此，許多研究轉(zhuǎn)向使用最小對(duì)抗擾動(dòng)的上界或下界去近似精確值[36].當(dāng)擾動(dòng)距離大于上邊界距離時(shí)，說明至少有1個(gè)添加了該擾動(dòng)的樣本被模型誤分類；當(dāng)擾動(dòng)距離小于下邊界距離時(shí)，則任意添加了該擾動(dòng)的樣本都能被模型正確分類，如圖3所示.通過最大下邊界距離或最小上邊界距離逼近最小對(duì)抗擾動(dòng)距離，從而實(shí)現(xiàn)對(duì)模型對(duì)抗魯棒性的評(píng)估.

Fig.3 Schematic diagram of upper and lower boundary of adversarial disturbance

2.2 評(píng)估準(zhǔn)則

對(duì)抗魯棒性評(píng)估是一個(gè)比較困難的問題，執(zhí)行不合理的實(shí)驗(yàn)會(huì)導(dǎo)致評(píng)估無(wú)效.比如向原始樣本添加的擾動(dòng)過大，人眼即可判別生成樣本與原始樣本，在此基礎(chǔ)上得到的評(píng)估結(jié)果是無(wú)意義的[37].諸如此類的錯(cuò)誤常常被研究人員忽略.本文梳理了進(jìn)行對(duì)抗魯棒性評(píng)估時(shí)需要遵守的3個(gè)評(píng)估準(zhǔn)則[37]，以便指導(dǎo)研究人員開展正確的評(píng)估.

1)合理使用攻擊算法進(jìn)行評(píng)估.部分攻擊算法是針對(duì)某種特定模型而設(shè)計(jì)的，若將其應(yīng)用于其他模型，很難體現(xiàn)出模型是否具有抵御這種攻擊的能力，也無(wú)法說明模型具有對(duì)抗魯棒性.另外，在進(jìn)行對(duì)抗魯棒性評(píng)估時(shí)，需要保證評(píng)估的普適性，這就意味著不能僅僅使用帶有默認(rèn)超參數(shù)的對(duì)抗攻擊進(jìn)行評(píng)估，應(yīng)該排列組合所有參數(shù)，達(dá)到不同程度的攻擊效果，從而評(píng)估模型的對(duì)抗魯棒性.

2)保證模型在正常環(huán)境下的良好性能.實(shí)驗(yàn)表明，對(duì)抗訓(xùn)練會(huì)導(dǎo)致智能系統(tǒng)中神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率下降[38].顯然，以犧牲模型對(duì)原始樣本的準(zhǔn)確率來增強(qiáng)模型對(duì)抗魯棒性的做法是不可取的.因此，開展對(duì)抗魯棒性評(píng)估，應(yīng)說明模型對(duì)原始樣本的分類準(zhǔn)確率.被攻擊模型保持正常環(huán)境下的分類準(zhǔn)確率是正確評(píng)估對(duì)抗魯棒性的前提.在滿足該前提的條件下，如果被攻擊模型能夠正確識(shí)別對(duì)抗樣本，才能說明模型具有較好的對(duì)抗魯棒性.

3)結(jié)合實(shí)際需求選擇評(píng)估結(jié)果分析方法.理論上，評(píng)價(jià)智能系統(tǒng)的對(duì)抗魯棒性應(yīng)分析模型受到攻擊威脅時(shí)的最壞結(jié)果.在現(xiàn)實(shí)情況中，往往從統(tǒng)計(jì)學(xué)角度以平均效果衡量魯棒性的好壞.針對(duì)不同需求，應(yīng)適當(dāng)調(diào)整評(píng)估思維，給出符合實(shí)際的評(píng)估結(jié)果.進(jìn)行統(tǒng)計(jì)學(xué)分析時(shí)，還需對(duì)分類準(zhǔn)確率等結(jié)果進(jìn)行方差計(jì)算，避免出現(xiàn)較高的偏差，使評(píng)估結(jié)果失去穩(wěn)定性.

2.3 評(píng)估指標(biāo)體系

當(dāng)前大多數(shù)研究通過分類準(zhǔn)確率、攻擊次數(shù)或擾動(dòng)強(qiáng)度這3種指標(biāo)進(jìn)行對(duì)抗魯棒性評(píng)估.這些指標(biāo)能夠直觀上反映模型對(duì)抗魯棒性的強(qiáng)弱，但未能全面地考慮到影響對(duì)抗魯棒性的因素.針對(duì)該問題，本節(jié)梳理了現(xiàn)有研究中所涉及的30余種對(duì)抗魯棒性評(píng)估指標(biāo)，并從被攻擊模型和測(cè)試數(shù)據(jù)2個(gè)角度對(duì)指標(biāo)進(jìn)行分類.

2.3.1 面向模型的指標(biāo)

在圖像分類全過程中，被攻擊模型的訓(xùn)練與決策是影響最終魯棒性評(píng)估效果的關(guān)鍵環(huán)節(jié).進(jìn)行對(duì)抗魯棒性評(píng)估時(shí)，可以從訓(xùn)練、決策階段關(guān)注模型的結(jié)構(gòu)、行為特征，通過挖掘模型結(jié)構(gòu)相關(guān)指標(biāo)，深入理解模型在對(duì)抗環(huán)境下的反應(yīng)，總結(jié)與模型決策相關(guān)的評(píng)價(jià)指標(biāo)，幫助研究人員實(shí)現(xiàn)模型對(duì)抗魯棒性的評(píng)估.因此，本節(jié)將面向模型的指標(biāo)進(jìn)一步劃分為基于模型行為的指標(biāo)和基于模型結(jié)構(gòu)的指標(biāo).

1)基于模型行為的指標(biāo)

模型行為可以理解為模型對(duì)測(cè)試樣本做出的反應(yīng).基于模型行為的指標(biāo)主要是依據(jù)對(duì)抗環(huán)境下模型的輸出結(jié)果進(jìn)行對(duì)抗魯棒性度量.

① 原始樣本分類準(zhǔn)確率(OA)

盡管我們的目的是解決對(duì)抗環(huán)境下的模型魯棒性評(píng)估問題，但是為了保證模型的基本性能，也需要對(duì)正常環(huán)境下模型的行為表現(xiàn)進(jìn)行測(cè)試，避免出現(xiàn)模型的對(duì)抗魯棒性表現(xiàn)優(yōu)異而在原始樣本上的分類效果很差的情況，以致無(wú)法應(yīng)用于現(xiàn)實(shí)場(chǎng)景中.

原始樣本分類準(zhǔn)確率(original accuracy,OA)經(jīng)常被用來衡量正常環(huán)境下模型的分類性能，其含義是被分類正確的原始樣本數(shù)量占總體樣本數(shù)量的百分比.

(3)

其中，count(·)表示括號(hào)內(nèi)等式為真則為1，否則為0.OA值越大，說明模型在正常環(huán)境下的分類性能越好.

② 對(duì)抗樣本分類準(zhǔn)確率(ACA)

除描述正常環(huán)境下模型分類性能的指標(biāo)外，還有一些公認(rèn)的、被廣泛接受和使用的、用以描述對(duì)抗環(huán)境下模型分類性能的指標(biāo)，如對(duì)抗樣本分類準(zhǔn)確率(adversarial classification accuracy,ACA).它指的是被正確分類的對(duì)抗樣本的數(shù)量占總體樣本數(shù)量的百分比，數(shù)學(xué)表達(dá)式為

(4)

由式(4)可見，ACA值越大，說明模型在對(duì)抗環(huán)境下的分類性能越好，在一定程度上可以說明模型的對(duì)抗魯棒性越好.

③ 對(duì)抗樣本攻擊準(zhǔn)確率(AA)

與對(duì)抗樣本分類準(zhǔn)確率相對(duì)應(yīng)的是對(duì)抗樣本攻擊準(zhǔn)確率(adversarial accuracy,AA).它指的是被錯(cuò)誤分類的對(duì)抗樣本的數(shù)量占總體樣本數(shù)量的百分比，數(shù)學(xué)表達(dá)式為

(5)

由式(5)可見，AA值越大，說明模型在對(duì)抗環(huán)境下的分類性能越差，在一定程度上可以說明模型的對(duì)抗魯棒性越差.

針對(duì)白盒攻擊與黑盒攻擊2種不同的攻擊，還可以將攻擊準(zhǔn)確率進(jìn)一步劃分為白盒攻擊準(zhǔn)確率(adversarial accuracy on white-box attacks,AAW)和黑盒攻擊準(zhǔn)確率(adversarial accuracy on black-box attacks,AAB)[39].

④ 白盒攻擊準(zhǔn)確率(AAW)

(6)

由式(6)可見，AAW值越大，說明模型越容易將由白盒攻擊方法生成的對(duì)抗樣本錯(cuò)分成其他類別，在一定程度上可以說明模型的對(duì)抗魯棒性越差.

⑤ 黑盒攻擊準(zhǔn)確率(AAB)

黑盒攻擊準(zhǔn)確率(AAB)[39]與白盒攻擊準(zhǔn)確率(AAW)類似，不同之處在于對(duì)抗樣本是由黑盒攻擊算法生成.

(7)

由式(7)可見，AAB值越大，說明模型越容易將由黑盒攻擊方法生成的對(duì)抗樣本錯(cuò)分成其他類別，在一定程度上可以說明模型的對(duì)抗魯棒性越差.

⑥ 正確類別平均置信度(ACTC)

(8)

其中，n表示對(duì)抗樣本攻擊失敗的數(shù)量，P(·)表示模型分類的置信度.ACTC值越高，說明模型正確識(shí)別對(duì)抗樣本類別的能力越強(qiáng)，對(duì)抗魯棒性越強(qiáng).

⑦ 對(duì)抗類別平均置信度(ACAC)

(9)

其中，m表示對(duì)抗樣本攻擊成功的數(shù)量，P(·)表示模型分類的置信度.ACAC值越高，說明模型識(shí)別對(duì)抗樣本類別的能力越差，對(duì)抗魯棒性越差.

⑧ 噪聲容忍估計(jì)(NTE)

主流攻擊算法以最大化模型錯(cuò)分為除正確類別外的某一類別的概率為目標(biāo)，很少關(guān)注除正確類別和錯(cuò)分類別外的其他類別的情況.降低模型將樣本分類成其他類別的概率是提高對(duì)抗樣本穩(wěn)健性的有效手段.Luo等人[41]致力于最大化目標(biāo)類的概率與所有其他類的最大概率之間的差距，提出噪聲容忍估計(jì)(noise tolerance estimation,NTE)衡量對(duì)抗攻擊的魯棒性：

NTE(F,T)=

(10)

其中，Pyj(·)表示模型將樣本錯(cuò)分成類別j的置信度，Pyk≠j(·)表示模型將樣本錯(cuò)分成除類別j外的其他類別的置信度.NTE值越大，說明對(duì)抗樣本的魯棒性越強(qiáng).將NTE值取平均，平均NTE值越小，模型容易混淆除正確類別外的多種類別，在一定程度上可以說明模型的對(duì)抗魯棒性越差.

⑨ 互補(bǔ)魯棒性曲線(CRC)

除以上指標(biāo)外，許多研究通過繪制曲線圖，表達(dá)了多種指標(biāo)在一定范圍內(nèi)變化時(shí)模型分類器的不同響應(yīng)，更加直觀地展示了對(duì)抗魯棒性評(píng)估的結(jié)果.如Dong等人[42]采用2條互補(bǔ)魯棒性曲線(comple-mentary robustness curves,CRC)，展示了受到對(duì)抗攻擊的深度學(xué)習(xí)模型的魯棒性.互補(bǔ)魯棒性曲線如圖4所示.

圖4(a)是“擾動(dòng)-準(zhǔn)確率”曲線，Dong等人[42]通過計(jì)算所有擾動(dòng)下的分類準(zhǔn)確率繪制而成，橫坐標(biāo)是擾動(dòng)大小，縱坐標(biāo)是分類準(zhǔn)確率.他們選取基于自然進(jìn)化策略(natural evolution strategy, NES)的梯度估計(jì)算法作為攻擊算法，Res-56(Resnet-56)模型等作為被攻擊的模型.通過圖4(a)，我們可從全局視角對(duì)比8種模型抵御NES攻擊的魯棒性.如使用NES算法攻擊TRADES和Convex模型，相同擾動(dòng)下TRADES模型的準(zhǔn)確率始終比Convex模型高，在一定程度上說明TRADES模型抵御NES攻擊的魯棒性更好.圖4(b)是“查詢次數(shù)-準(zhǔn)確率”曲線，橫坐標(biāo)是模型查詢次數(shù)，縱坐標(biāo)是分類準(zhǔn)確率.其中，模型查詢次數(shù)亦可替換成不同攻擊方法的迭代次數(shù).該曲線能夠顯示攻擊的效率，例如盡管查詢次數(shù)為20 000時(shí)，Res-56與DeepDefense模型的分類準(zhǔn)確率都下降到0，但是Res-56模型受攻擊后分類準(zhǔn)確率下降得更慢、曲線更靠右，說明Res-56模型抵御NES攻擊的能力更強(qiáng).

Fig.4 Complementary robustness curves[42]

Fig.5 Accuracy-perturbation curves[43]

⑩ 精確擾動(dòng)曲線(APC)

相比于互補(bǔ)魯棒性曲線(CRC)，ircelj等人[43]提出的精確擾動(dòng)曲線(accuracy-perturbation curves,APC)優(yōu)勢(shì)在于展示了被攻擊模型受不同擾動(dòng)影響的最差性能.首先組合各種超參數(shù)，生成添加了不同大小擾動(dòng)的對(duì)抗樣本，并計(jì)算不同模型對(duì)它們的分類精度；其次根據(jù)式(11)計(jì)算這些對(duì)抗樣本的子集(它們的原始圖像已被模型正確分類)添加的擾動(dòng)大??；最后將每組擾動(dòng)幅度和分類精度繪制為“擾動(dòng)-準(zhǔn)確率”曲線，如圖5所示:

(11)

圖5(a)橫坐標(biāo)為擾動(dòng)大小，縱坐標(biāo)為分類準(zhǔn)確率.顯然，曲線B對(duì)應(yīng)模型的對(duì)抗魯棒性更強(qiáng).然而，在使用多參數(shù)組合的方法時(shí)通常得到分散的“擾動(dòng)-準(zhǔn)確率”點(diǎn)，這為評(píng)估對(duì)抗魯棒性的強(qiáng)弱帶來了困難.為此，ircelj等人[43]進(jìn)一步設(shè)計(jì)了一種最小包絡(luò)法(minimum wrap)，將每個(gè)擾動(dòng)對(duì)應(yīng)的最小準(zhǔn)確率的點(diǎn)連接成線，如圖5(b)中的曲線C和曲線D，這2條曲線體現(xiàn)了對(duì)抗樣本在2種模型上分類的最壞情況估計(jì).通過對(duì)比發(fā)現(xiàn)，相比于模型C，模型D的對(duì)抗魯棒性更強(qiáng).

上述CRC和APC這2種評(píng)估指標(biāo)通過繪制“擾動(dòng)-準(zhǔn)確率”曲線，定性給出模型的評(píng)估結(jié)果.Wu等人[44]提出了一種分段采樣曲線(piece-wise sampling curves,PSC)框架，如圖6所示.該框架通過曲線下面積(area under curve,AUC)[45]實(shí)現(xiàn)了測(cè)量結(jié)果的可量化，避免了人為比較帶來的主觀偏差，同時(shí)盡可能多地適用于不同攻擊方法.

Fig.6 Piece-wise sampling curves[44]

PSC框架包括3個(gè)步驟，分別是選擇擾動(dòng)范數(shù)lp、劃分?jǐn)_動(dòng)范圍與繪制分段采樣曲線.以圖6為例，Wu等人首先確定擾動(dòng)范圍ε=[0,3]，將分辨率r分別設(shè)為10和20(將擾動(dòng)范圍劃分成r段)；而后對(duì)范圍內(nèi)r個(gè)分段采樣擾動(dòng)點(diǎn)上的對(duì)抗樣本進(jìn)行測(cè)試，獲得該擾動(dòng)下的攻擊準(zhǔn)確率，通過調(diào)整參數(shù)多次實(shí)驗(yàn)，獲得r個(gè)擾動(dòng)點(diǎn)上的最佳攻擊準(zhǔn)確率；最后根據(jù)選擇的擬合函數(shù)階數(shù)d=5，將采樣點(diǎn)進(jìn)行擬合，得到最終的5階分段采樣曲線.圖6(a)使用4種非目標(biāo)攻擊算法攻擊一個(gè)4層卷積神經(jīng)網(wǎng)絡(luò)在MNIST數(shù)據(jù)集上訓(xùn)練的模型，F(xiàn)GSM算法對(duì)應(yīng)的AUC最小，說明隨著擾動(dòng)的增大，F(xiàn)GSM攻擊準(zhǔn)確率提升的速率最慢，模型抵御FGSM攻擊的能力最好.圖6(b)對(duì)擾動(dòng)范圍進(jìn)行了更細(xì)致的劃分，更加準(zhǔn)確地描述了模型在不同攻擊下的性能，但同時(shí)也會(huì)花費(fèi)更多的計(jì)算資源.

此外，Wu等人[44]構(gòu)建了PSC工具包，用戶只需在特定設(shè)置下上傳添加不同擾動(dòng)時(shí)模型的分類準(zhǔn)確率結(jié)果，就能生成對(duì)應(yīng)的分段采樣曲線.與使用單個(gè)或多個(gè)擾動(dòng)點(diǎn)進(jìn)行評(píng)估的方式相比，該方法可以量化對(duì)抗魯棒性的強(qiáng)弱.

2)基于模型結(jié)構(gòu)的指標(biāo)

與基于模型行為的指標(biāo)不同的是，這一類指標(biāo)關(guān)注模型內(nèi)部神經(jīng)元、損失函數(shù)等與模型結(jié)構(gòu)相關(guān)的信息，觀察模型內(nèi)部對(duì)于對(duì)抗樣本的反應(yīng)，進(jìn)而衡量模型的對(duì)抗魯棒性.

① 神經(jīng)元敏感度(NS)

對(duì)抗魯棒性意味著模型對(duì)對(duì)抗樣本保持一定的鈍感，盡管受到擾動(dòng)的影響，原始樣本和對(duì)抗樣本在模型的隱藏層中仍具有相似的表示，從而輸出正確的分類結(jié)果.因此，一些研究人員嘗試通過計(jì)算原始樣本與對(duì)抗樣本在隱藏層中特征表示的偏差，衡量模型的對(duì)抗魯棒性.

(12)

② 神經(jīng)元不確定性(NU)

在關(guān)鍵安全應(yīng)用領(lǐng)域，模型預(yù)測(cè)的不確定性被廣泛研究.陳思宏等人[47]研究發(fā)現(xiàn)預(yù)測(cè)不確定性越大，模型對(duì)抗魯棒性越強(qiáng)，通過增加模型預(yù)測(cè)的不確定性，以達(dá)到提高對(duì)抗魯棒性的目的.預(yù)測(cè)結(jié)果的方差是衡量不確定性最直觀的方法.

(13)

其中，variance(·)是方差計(jì)算函數(shù).NU值越大，模型的對(duì)抗魯棒性越強(qiáng).

③ 沖突上下限(ΔK)

Dempster-Shafer證據(jù)理論常被用來處理不確定信息，輔助完成智能決策任務(wù).蘇記柱[48]對(duì)CNN模型進(jìn)行重構(gòu)，結(jié)合證據(jù)推理方法，分析信息沖突值隨擾動(dòng)強(qiáng)度的變化關(guān)系，提出了2個(gè)對(duì)抗魯棒性評(píng)估指標(biāo)：沖突上限Δkmax和沖突下限Δkmin，計(jì)算公式分別為

(14)

(15)

其中，k0={k01,k02,…,k0N}為每個(gè)樣本特征之間的沖突值，kmax={kN1,kN2,…,kNN}表示在FGSM攻擊下，當(dāng)樣本逐漸添加擾動(dòng)至被模型誤分類時(shí)，每個(gè)樣本特征之間的沖突值，Δkmax為模型可接受的樣本特征之間沖突的最大變化范圍.Δkmax越大，表示模型的魯棒性越強(qiáng)，反之，模型的魯棒性越差.kmin={kmin1,kmin2,…,kminN}為每個(gè)樣本所產(chǎn)生的對(duì)抗樣本中最小的沖突值.Δkmin越大表明模型越魯棒.

不難發(fā)現(xiàn)，沖突上限是沖突下限的特殊情況.沖突上限限制了攻擊方法和擾動(dòng)強(qiáng)度大小，沖突下限適應(yīng)的場(chǎng)景更加寬泛.

④ 經(jīng)驗(yàn)邊界距離(EBD)

Liu等人[49]以模型的決策邊界為切入點(diǎn)，對(duì)輸入樣本周圍鄰域進(jìn)行全面分析，提出經(jīng)驗(yàn)邊界距離(empirical boundary distance,EBD)指標(biāo).該指標(biāo)為所有樣本決策邊界距離的平均值，計(jì)算公式如下：

(16)

εvik=minRMS(vik),

(17)

該指標(biāo)計(jì)算了模型對(duì)不同方向輸入擾動(dòng)的樣本的分類置信度，并以此作為估計(jì)樣本到?jīng)Q策邊界距離的標(biāo)準(zhǔn)，從模型結(jié)構(gòu)的角度挖掘了模型決策區(qū)域的信息，為魯棒性評(píng)估提供了一種新的思路.

⑤ 經(jīng)驗(yàn)邊界距離(EBD-2)

在EBD的基礎(chǔ)上，Liu等人[39]又進(jìn)一步提出了EBD-2評(píng)估指標(biāo)，該指標(biāo)的優(yōu)勢(shì)在于可以計(jì)算所有類別的決策邊界的最小距離：

(18)

⑥ CLEVER score

Weng等人[50]發(fā)現(xiàn)，使用最小對(duì)抗擾動(dòng)距離的上界或下界去估計(jì)模型的對(duì)抗魯棒性時(shí)，距離下界與局部梯度的最大范數(shù)相關(guān)，故將魯棒性評(píng)估問題轉(zhuǎn)化為局部Lipschitz常數(shù)估計(jì)問題.

為了有效、可靠地估計(jì)局部Lipschitz常數(shù)，Weng等人提出了一種稱為CLEVER的魯棒性度量指標(biāo)，利用極值理論[51]去估計(jì)最小對(duì)抗擾動(dòng)距離下邊界，并給出了相應(yīng)的數(shù)學(xué)證明.該指標(biāo)的優(yōu)勢(shì)在于獨(dú)立于攻擊進(jìn)行魯棒性度量，適用于任何模型.CLEVER數(shù)值越大，模型的對(duì)抗魯棒性越強(qiáng).

⑦ 二階CLEVER score

在CLEVER的基礎(chǔ)上，Weng等人[52]進(jìn)一步提出二階CLEVER，將CLEVER擴(kuò)展為能夠評(píng)估具有不可微分輸入轉(zhuǎn)換的網(wǎng)絡(luò)的魯棒性，使其可評(píng)估部署了多種基于梯度掩蔽的模型.

⑧ CROWN框架

通過尋找最小對(duì)抗擾動(dòng)距離下界去估計(jì)模型的對(duì)抗魯棒性，存在計(jì)算耗時(shí)、估計(jì)誤差大等問題.為此，Weng等人[53]利用ReLU網(wǎng)絡(luò)進(jìn)一步提出Fast-Lin和Fast-Lip算法，計(jì)算出較高精度的距離下界，用以評(píng)估模型的對(duì)抗魯棒性.同時(shí)，相比于基于線性規(guī)劃的方法和Reluplex[33]方法，F(xiàn)ast-Lin和Fast-Lip計(jì)算速度要快2～4個(gè)數(shù)量級(jí).盡管Fast-Lin和Fast-Lip能夠以高精度估計(jì)對(duì)抗邊界，但是仍有一些模型需要ReLU以外的函數(shù)激活，例如RNN和LSTM等.

為解決激活函數(shù)受限的問題，Zhang等人[54]提出了適用于具有一般激活函數(shù)的模型的魯棒性評(píng)估框架CROWN，該框架允許靈活地選擇激活函數(shù)的上界或下界，從而減小評(píng)估對(duì)抗魯棒性時(shí)難以避免的近似誤差.實(shí)驗(yàn)表明，與文獻(xiàn)[53]相比，CROWN的認(rèn)證下界提高了26%，并且可以將CROWN擴(kuò)展到具有各種激活函數(shù)的大型神經(jīng)網(wǎng)絡(luò)中.此外，對(duì)于具有超過10 000個(gè)神經(jīng)元的模型，可以在大約1 min內(nèi)利用1個(gè)CPU內(nèi)核求出魯棒性下界.

⑨ 經(jīng)驗(yàn)噪聲不敏感度(ENI)

Xu等人[55]率先提出算法魯棒性的概念，這一概念的提出受益于2個(gè)相似樣本的測(cè)試誤差往往非常接近的思想.受此啟發(fā)，Liu等人[49]從Lipschitz常數(shù)的角度，提出了ε經(jīng)驗(yàn)噪聲不敏感度(ε-empirical noise insensitivity,ENI).具體而言，將原始樣本和對(duì)抗樣本輸入模型，計(jì)算模型損失函數(shù)之間的差異，以損失值大小來衡量模型對(duì)約束ε的廣義噪聲的不敏感性和穩(wěn)定性：

ENIf(ε)=

(19)

其中，M′是使用各種攻擊算法依次生成對(duì)抗樣本的數(shù)量，lf(·|·)表示模型f的損失函數(shù).ENI能夠衡量模型對(duì)包括對(duì)抗擾動(dòng)在內(nèi)的廣義噪聲的魯棒性.ENI值越小，說明模型的對(duì)抗魯棒性越強(qiáng).

與基于模型行為的指標(biāo)相比，以上9種指標(biāo)的優(yōu)勢(shì)在于能夠刻畫圖像分類過程中模型的內(nèi)部特性，挖掘更多關(guān)于模型結(jié)構(gòu)的隱性知識(shí)，從模型本身而非直接的模型結(jié)果的角度評(píng)估對(duì)抗魯棒性.

2.3.2 面向數(shù)據(jù)的指標(biāo)

在進(jìn)行對(duì)抗魯棒性評(píng)估時(shí)，應(yīng)從圖像分類全過程出發(fā)，分析各階段影響評(píng)估結(jié)果的因素，進(jìn)而實(shí)現(xiàn)全面、科學(xué)且準(zhǔn)確的評(píng)估.然而，由于習(xí)慣上過度關(guān)注于智能系統(tǒng)的高精度性能結(jié)果，研究者常常忽略了測(cè)試過程是否充分以及測(cè)試數(shù)據(jù)質(zhì)量的好壞帶來的影響.因此，在進(jìn)行對(duì)抗魯棒性評(píng)估時(shí)，同樣需要關(guān)注模型測(cè)試的充分性以及測(cè)試數(shù)據(jù)的質(zhì)量.考慮到對(duì)抗樣本的特點(diǎn)，即測(cè)試數(shù)據(jù)的質(zhì)量與圖像的不可感知性相關(guān)，本文將面向數(shù)據(jù)的指標(biāo)進(jìn)一步劃分為基于測(cè)試充分性的指標(biāo)和基于視覺不可感知性的指標(biāo).

1)基于測(cè)試充分性的指標(biāo)

測(cè)試充分性[56]這一概念最早是在軟件工程領(lǐng)域提出的，它是指使用一組有代表性的數(shù)據(jù)對(duì)軟件進(jìn)行全面測(cè)試的程度.Pei等人[57]將其類比到模型測(cè)試中，提出了一種神經(jīng)元覆蓋率(neuron coverage,NCov)指標(biāo)來量化神經(jīng)元被激活的比例.

(20)

其中，T′為測(cè)試集，x為測(cè)試樣本，N總為神經(jīng)元總數(shù)，out(ne,x)指的是給定一測(cè)試樣本返回模型中神經(jīng)元ne的輸出值，t為設(shè)定的閾值，當(dāng)輸出值大于閾值時(shí)神經(jīng)元被激活.然而，Ma等人[58]經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，NCov無(wú)法體現(xiàn)測(cè)試集中原始樣本和對(duì)抗樣本之間的差異.為此，他們提出了多層次多粒度覆蓋的一系列測(cè)試標(biāo)準(zhǔn)DeepGauge，使用k節(jié)神經(jīng)元覆蓋率(k-multisection neuron coverage,kMNCov)、神經(jīng)元邊界覆蓋率(neuron boundary coverage,NBCov)、強(qiáng)神經(jīng)元激活覆蓋率(strong neuron activation cov-erage,SNACov)這3種指標(biāo)來衡量對(duì)抗環(huán)境下模型測(cè)試的充分程度.

①k節(jié)神經(jīng)元覆蓋率(kMNCov)

為體現(xiàn)原始樣本和對(duì)抗樣本的差異，Ma等人將進(jìn)行測(cè)試時(shí)神經(jīng)元輸出范圍劃分為主要功能區(qū)和極端案例區(qū).當(dāng)測(cè)試樣本與原始樣本分布相近時(shí)，神經(jīng)元輸出值落入主要功能區(qū)[lown,highn]，否則落入極端案例區(qū)(-∞,lown)∪(highn,-∞)，也就是對(duì)應(yīng)對(duì)抗樣本所在的區(qū)域.將區(qū)域[lown,highn]劃分成k個(gè)長(zhǎng)度相等的節(jié)段，kMNCov為測(cè)試集T覆蓋的節(jié)數(shù)與總節(jié)數(shù)之比，用以衡量覆蓋主要功能區(qū)程度，數(shù)學(xué)公式描述為

(21)

② 神經(jīng)元邊界覆蓋率(NBCov)

神經(jīng)元邊界覆蓋率NBCov是測(cè)量給定測(cè)試集T′覆蓋極端案例區(qū)面積大小的指標(biāo)，定義為極端案例區(qū)被覆蓋的神經(jīng)元數(shù)量與神經(jīng)元總數(shù)的比率：

NBCov=

(22)

其中，UpperCornerNeuron是極端案例區(qū)上邊界神經(jīng)元被覆蓋的數(shù)量，LowerCornerNeuron是極端案例區(qū)下邊界神經(jīng)元被覆蓋的數(shù)量，N′表示上、下邊界神經(jīng)元數(shù).NBCov值越大，說明極端案例區(qū)被覆蓋的部分越多，對(duì)抗樣本在模型中的測(cè)試效果越充分.

③ 強(qiáng)神經(jīng)元激活覆蓋率(SNACov)

在研究DNN可解釋性問題時(shí)，過度活躍的神經(jīng)元可能有助于DNN模型的學(xué)習(xí).因此，Ma等人[58]又提出了側(cè)重于活躍神經(jīng)元的測(cè)試指標(biāo)，即描述極端案例區(qū)上邊界情況的指標(biāo)SNACov.它被用來測(cè)量測(cè)試集T′在極端案例區(qū)中上邊界被覆蓋的情況，描述為覆蓋的極端案例上邊界神經(jīng)元數(shù)與總神經(jīng)元數(shù)之比：

(23)

值得注意的是，提高測(cè)試充分性并不能有效改善模型的對(duì)抗魯棒性[59-60]，但是測(cè)試越充分說明評(píng)估結(jié)果的可信度越高.因此，在進(jìn)行對(duì)抗魯棒性評(píng)估時(shí)，可以考慮通過①～③指標(biāo)來檢驗(yàn)結(jié)果的可信度或準(zhǔn)確性.

2)基于視覺不可感知性的指標(biāo)

相比于原始樣本，對(duì)抗樣本最鮮明的特點(diǎn)是添加了肉眼難以感知的擾動(dòng).如果添加的擾動(dòng)太大導(dǎo)致樣本過于模糊不清，肉眼即可判別出樣本為對(duì)抗樣本，便失去了評(píng)估對(duì)抗魯棒性的意義.本節(jié)總結(jié)了多種指標(biāo)來刻畫擾動(dòng)的不可感知性.

① 平均lp失真度(ALDp)

目前大多數(shù)研究采用lp范數(shù)(p=0,1,…,∞)來衡量原始樣本與對(duì)抗樣本之間的擾動(dòng)距離，Liu等人[39]提出將ALDp作為擾動(dòng)不可感知性的度量指標(biāo).從數(shù)學(xué)含義上講，該指標(biāo)是lp失真度的平均歸一化：

(24)

其中，N表示樣本的數(shù)量.ALDp越小，失真越小，對(duì)抗擾動(dòng)越小，肉眼區(qū)分原始樣本和對(duì)抗樣本的難度越大.

② 平均結(jié)構(gòu)相似度(ASS)

在實(shí)踐中，通常需要對(duì)整個(gè)圖像進(jìn)行單一的整體質(zhì)量測(cè)量，Wang等人[61]提出的結(jié)構(gòu)相似度(structural similarity,SSIM)就是評(píng)估圖像整體質(zhì)量的指標(biāo).針對(duì)對(duì)抗環(huán)境下的評(píng)估問題，平均結(jié)構(gòu)相似度(average structural similarity,ASS)[39]是在SSIM的基礎(chǔ)上進(jìn)行改進(jìn)，被用來描述原始樣本與對(duì)抗樣本之間的結(jié)構(gòu)相似度.

(25)

③ 擾動(dòng)敏感度(PSD)

基于對(duì)比掩蔽理論[62-64]，Liu等人[39]提出了擾動(dòng)敏感度(perturbation sensitivity distance,PSD)指標(biāo)來評(píng)估人類對(duì)擾動(dòng)的感知.因此，PSD定義為

(26)

Sen(xij)=1/SD(xij)，

(27)

(28)

其中，M是像素總數(shù)，δij是第i個(gè)樣本的第j個(gè)像素，xij表示周圍正方形區(qū)域，Si是由n×n區(qū)域中的像素組成的集合，μ是區(qū)域內(nèi)像素的平均值.當(dāng)像素具有低方差時(shí)，擾動(dòng)靈敏度高.PSD越大，添加于對(duì)抗樣本中的擾動(dòng)越容易被察覺.

還有學(xué)者從特征數(shù)據(jù)的角度挖掘樣本特征差異與魯棒性的相關(guān)性.董一帆[65]認(rèn)為模型對(duì)原始樣本和對(duì)抗樣本進(jìn)行特征提取后，兩者的特征子集差距越小，說明模型的對(duì)抗魯棒性越強(qiáng).因此，引入特征子集一致性[66]指標(biāo)來衡量模型的對(duì)抗魯棒性，計(jì)算公式為

(29)

其中，A和B分別為2個(gè)子集，X為特征總空間，w為特征總數(shù)，令|A|=|B|=k，00時(shí),表示2個(gè)子集是相似的；當(dāng)C=0時(shí),表示2個(gè)子集是不相關(guān)的；當(dāng)C<0時(shí),表示2個(gè)子集是不相似的.

除以上指標(biāo)外，還有許多與常規(guī)圖像處理相關(guān)的評(píng)估指標(biāo)，如高斯模糊魯棒性(robustness to Gaussian blur,RGB)[40]、圖像壓縮魯棒性(robustness to image compression,RIC)[40]，以及與腐蝕擾動(dòng)相關(guān)的評(píng)估指標(biāo)，如自然噪聲平均差值(mCE)、自然噪聲相對(duì)差值(RmCE)和連續(xù)噪聲分類差別(mFR)[49,67]等.從某種意義上來說，以上這些指標(biāo)的確可以衡量模型的對(duì)抗魯棒性.例如，Corrupt算法[39]中添加的擾動(dòng)是自然噪聲，可以根據(jù)(RmCE)的大小來衡量對(duì)抗擾動(dòng)的距離.但是對(duì)于大多數(shù)對(duì)抗攻擊算法，這些指標(biāo)更多地是衡量其他特定環(huán)境下的魯棒性，并非嚴(yán)格的對(duì)抗魯棒性.因此，在進(jìn)行指標(biāo)評(píng)估時(shí)，應(yīng)針對(duì)特定的需求選取合適的指標(biāo).

本文按照指標(biāo)類別、攻擊方式和擾動(dòng)類別等維度，對(duì)以上30余種評(píng)估指標(biāo)進(jìn)行詳細(xì)的描述，如表2所示.考慮到實(shí)際應(yīng)用過程中往往僅選取部分指標(biāo)進(jìn)行評(píng)估，根據(jù)指標(biāo)的含義，給出了每一種指標(biāo)和對(duì)抗特性的相關(guān)度，并將相關(guān)度劃分為4個(gè)等級(jí)，使用不同數(shù)量的“★”進(jìn)行表示.“★”的數(shù)量越多，說明指標(biāo)與對(duì)抗特性越相關(guān).其中，“★”表示雖然指標(biāo)無(wú)法評(píng)估對(duì)抗魯棒性，但在進(jìn)行評(píng)估時(shí)需要通過這些指標(biāo)進(jìn)行測(cè)試，以保證評(píng)估結(jié)果的有效性；“★★”表示指標(biāo)和對(duì)抗樣本相關(guān)，常被用于評(píng)估對(duì)抗樣本或衡量對(duì)抗擾動(dòng)以外的其他擾動(dòng)(自然噪聲、墮化擾動(dòng)等)，能夠反映模型的魯棒性，而并非嚴(yán)格意義上的對(duì)抗魯棒性；“★★★”表示指標(biāo)與對(duì)抗特性較為相關(guān)，但由于評(píng)估視角單一、片面，往往需要結(jié)合多種指標(biāo)綜合給出評(píng)估結(jié)果；“★★★★”表示能夠從全局角度或基于模型內(nèi)部機(jī)理評(píng)估模型的對(duì)抗魯棒性，指標(biāo)的大小在一定程度上反映了對(duì)抗魯棒性的強(qiáng)弱.

Table 2 Evaluation Indexes of Adversarial Robustness

顯然，3種基本指標(biāo)以及面向模型的指標(biāo)與對(duì)抗魯棒性評(píng)估的相關(guān)程度較高，而面向數(shù)據(jù)的指標(biāo)的相關(guān)程度普遍較低，這與對(duì)抗魯棒性評(píng)估的本質(zhì)有關(guān).深度學(xué)習(xí)模型的黑盒特性與不可解釋性[68]為對(duì)抗魯棒性的評(píng)估帶來了困難，挖掘更多模型內(nèi)在的信息有助于了解對(duì)抗環(huán)境下模型面對(duì)不確定干擾因素的反應(yīng).因此，進(jìn)行對(duì)抗魯棒性評(píng)估可以采用OA，ACTC，PSC，EBD等面向模型的指標(biāo)，同時(shí)也要結(jié)合實(shí)際需求，考慮是否將面向數(shù)據(jù)的指標(biāo)納入評(píng)估范圍內(nèi).

3 對(duì)抗攻防工具與數(shù)據(jù)集

近年來，對(duì)抗攻防研究發(fā)展迅速，相應(yīng)算法層出不窮.自2016年始，許多研究單位推出了集成眾多主流算法的對(duì)抗攻防工具，以提高研究者與開發(fā)人員的測(cè)評(píng)效率，助力推動(dòng)智能系統(tǒng)安全領(lǐng)域的發(fā)展.此外，在使用對(duì)抗攻防工具進(jìn)行實(shí)驗(yàn)的過程中，各學(xué)者還應(yīng)用了多種不同的數(shù)據(jù)集.本節(jié)將介紹主流的數(shù)據(jù)集與對(duì)抗攻防集成平臺(tái)，方便后續(xù)開展對(duì)抗魯棒性評(píng)估研究.

3.1 常用數(shù)據(jù)集

目前，針對(duì)不同領(lǐng)域、不同應(yīng)用場(chǎng)景的圖像數(shù)據(jù)集層出不窮，本文選取圖像分類領(lǐng)域較為經(jīng)典的、被廣泛使用的6種數(shù)據(jù)集進(jìn)行介紹，具體信息如表3所示：

Table 3 Common Image Classification Data Sets

1)MNIST

MNIST數(shù)據(jù)集[69]是圖像分類領(lǐng)域常用的數(shù)據(jù)集之一.該數(shù)據(jù)集由美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所(National Institute of Standards and Technology)組織整理，收集了來自250個(gè)人的0～9手寫數(shù)字圖片.該數(shù)據(jù)集總計(jì)70 000組圖片數(shù)據(jù)，具體包括訓(xùn)練集圖片60 000張及對(duì)應(yīng)標(biāo)簽60 000個(gè)、測(cè)試集圖片10 000張及對(duì)應(yīng)標(biāo)簽10 000個(gè)，每張圖片像素大小為28×28.共有16種指標(biāo)在該數(shù)據(jù)集上開展對(duì)抗魯棒性評(píng)估.

2)ImageNet

ImageNet數(shù)據(jù)集[70]于2007年開始收集，直到2009年以論文形式發(fā)布，后續(xù)被Kaggle公司繼續(xù)維護(hù)，是世界上圖像分類、識(shí)別、定位領(lǐng)域最大的數(shù)據(jù)庫(kù).截至目前，ImageNet數(shù)據(jù)集總共有14 197 122張圖像，涵蓋21 841個(gè)類別.使用率最高的子集是ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽(ILSVRC)2012—2017圖像分類和定位數(shù)據(jù)集.該數(shù)據(jù)集跨越1 000個(gè)對(duì)象類，包含1 281 167個(gè)訓(xùn)練圖像、50 000個(gè)驗(yàn)證圖像和100 000個(gè)測(cè)試圖像，每張圖片像素大小約為500×400.共有10種指標(biāo)在該數(shù)據(jù)集上開展對(duì)抗魯棒性評(píng)估.

3)Caltech101/256

Caltech101數(shù)據(jù)集[71]是加利福尼亞理工學(xué)院收集整理的數(shù)據(jù)集，由9 146張圖像組成.每張圖像都標(biāo)有1個(gè)對(duì)象，包含101個(gè)類別對(duì)象以及1個(gè)額外的背景雜波類別.每個(gè)類約40～800張圖像，大多數(shù)類別有大約50張圖像，每張圖片像素大小約為300×200.Caltech256數(shù)據(jù)集[72]在2006年被發(fā)布，包括256類目標(biāo)圖像和1類背景圖像，共257類.與Caltech101相比主要變化表現(xiàn)在：圖像總數(shù)達(dá)到30 608張，且每類最少含有80幅圖像，最多含有827幅圖像，目前暫無(wú)相關(guān)研究基于此數(shù)據(jù)集開展對(duì)抗魯棒性評(píng)估.

4)CIFAR10/100

CIFAR10數(shù)據(jù)集[73]是由Hinton的學(xué)生Alex Krizhevsky和Ilya Sutskever整理的一個(gè)用于識(shí)別普適物體的小型數(shù)據(jù)集.該數(shù)據(jù)集由10個(gè)類別的60 000個(gè)像素為32×32彩色圖像組成，每個(gè)類別包含6 000個(gè)圖像，其中有50 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本.CIFAR100數(shù)據(jù)集與CIFAR10數(shù)據(jù)集類似，不同的是CIFAR100數(shù)據(jù)集具有100個(gè)類別，每類包含600張圖像，其中訓(xùn)練樣本500個(gè)，測(cè)試樣本100個(gè).CIFAR100數(shù)據(jù)集[73]中的100個(gè)類分為20個(gè)超類，每張圖像都帶有一個(gè)“精細(xì)”標(biāo)簽(它所屬的類)和一個(gè)“粗略”標(biāo)簽(它所屬的超類)，共有22種指標(biāo)在CIFAR10上開展評(píng)估.

綜上所述，在面向圖像分類的對(duì)抗魯棒性評(píng)估研究中，使用最多的數(shù)據(jù)集有CIFAR10，MNIST和ImageNet.為便于進(jìn)行評(píng)估結(jié)果的對(duì)比，研究人員可使用以上3種數(shù)據(jù)集開展對(duì)抗魯棒性評(píng)估實(shí)驗(yàn).

3.2 對(duì)抗攻防集成工具

對(duì)抗攻防集成工具實(shí)現(xiàn)了將攻防算法模塊化，為攻防對(duì)抗實(shí)驗(yàn)提供了可組合、可操作、可更新的框架.為方便研究者快速了解各種工具并使用，現(xiàn)總結(jié)國(guó)內(nèi)外主流的對(duì)抗攻防工具內(nèi)嵌的攻防算法以及適用框架等信息，如表4所示.考慮到篇幅長(zhǎng)度，我們將每一種工具的具體細(xì)節(jié)整理到附錄表A2～A10.

Table 4 Mainstream Adversarial Attack and Defense Integration Tools

1)CleverHans(1)https://github.com/cleverhans-lab/cleverhans

CleverHans[74-75]是最早被提出的機(jī)器學(xué)習(xí)模型攻防庫(kù)，它集成了16種攻擊算法和1種防御算法.基于該庫(kù)，研究人員可以快速研發(fā)更強(qiáng)的對(duì)抗攻擊與防御算法，實(shí)現(xiàn)模型的對(duì)抗訓(xùn)練以及魯棒性基準(zhǔn)測(cè)試.在最初版本v0.1中CleverHans僅支持Tensor-Flow1[82]，部分模型可支持Keras[83]，從v4.0.0開始，CleverHans支持的框架分別有JAX,TensorFlow2和PyTorch[84].

2)Foolbox(2)https://github.com/bethgelab/foolbox

Foolbox[76]是一種Python工具箱，用于生成對(duì)抗擾動(dòng)并量化和比較機(jī)器學(xué)習(xí)模型的魯棒性.Foolbox v0.8.0提供了48種對(duì)抗攻擊算法，所有攻擊算法都能夠通過調(diào)整內(nèi)部超參數(shù)生成最小的對(duì)抗擾動(dòng).此外，針對(duì)大多數(shù)攻擊算法適用于特定的深度學(xué)習(xí)框架，F(xiàn)oolbox v0.8.0允許在諸多機(jī)器學(xué)習(xí)框架上運(yùn)行，如PyTorch,Keras,TensorFlow,Theano[85],Lasagne和MXNet[86]，引入原始樣本誤分類準(zhǔn)確率、正確類別分類置信度、對(duì)抗類別分類置信度等對(duì)抗魯棒性評(píng)估指標(biāo)，同時(shí)支持自定義評(píng)估指標(biāo).目前，F(xiàn)oolbox更新到3.0版本，它現(xiàn)在建立在EagerPy之上，并對(duì)PyTorch,TensorFlow,JAX框架提供支持.

3)ART(3)https://github.com/Trusted-AI/adversarial-robustness-toolbox

對(duì)抗性魯棒性工具集(adversarial robustness toolbox, ART)[77]是用于機(jī)器學(xué)習(xí)安全性的Python庫(kù).ART提供的工具使開發(fā)人員和研究人員能夠防御和評(píng)估機(jī)器學(xué)習(xí)模型和應(yīng)用程序，以抵御逃避、中毒、提取和推理等對(duì)抗性威脅.ART支持許多流行的機(jī)器學(xué)習(xí)框架(TensorFlow,Keras,PyTorch,Scikit-learn[87],MXNet,XGBoost[88],LightGBM[89],CatBoost[90]，GPy等9種框架)、多種數(shù)據(jù)類型(圖像、表格、音頻、視頻等)和機(jī)器學(xué)習(xí)任務(wù)(分類物體檢測(cè)、語(yǔ)音識(shí)別、生成模型、認(rèn)證等).截止目前，ART集成了近40種攻擊算法、30多種防御算法以及包括CLEVER score在內(nèi)的6種對(duì)抗魯棒性評(píng)估指標(biāo).

4)DEEPSEC(4)https://github.com/ryderling/DEEPSEC

DEEPSEC[40]是同時(shí)具有對(duì)攻擊和防御算法進(jìn)行比較研究、驗(yàn)證各種攻擊和防御有效性以及評(píng)估機(jī)器學(xué)習(xí)模型魯棒性等功能的平臺(tái).它全面、系統(tǒng)地集成了各種對(duì)抗攻擊、防御算法和相關(guān)評(píng)估指標(biāo)，其中攻擊算法有16種，防御算法有13種以及評(píng)估指標(biāo)有15種.用戶可在平臺(tái)上使用MNIST和CIFAR10數(shù)據(jù)集訓(xùn)練DenseNet[91],AlexNet[86],ResNet56[92]等模型，但是該平臺(tái)僅支持PyTorch.

5)AdverTorch(5)https://github.com/BorealisAI/advertorch

AdverTorch[78]是用于對(duì)抗性魯棒性研究的Python工具箱，包含21種攻擊算法和7種防御算法模塊，以及用于對(duì)抗性訓(xùn)練的腳本.AdverTorch構(gòu)建在PyTorch上，可利用動(dòng)態(tài)計(jì)算圖的優(yōu)勢(shì)實(shí)現(xiàn)簡(jiǎn)潔有效的攻防測(cè)試.

6)Ares(6)https://github.com/thu-ml/ares

Ares[42]是一個(gè)專注于對(duì)對(duì)抗魯棒性進(jìn)行基準(zhǔn)測(cè)試的Python庫(kù).基于Ares算法平臺(tái)，RealAI等后繼推出基于深度學(xué)習(xí)模型的對(duì)抗攻防基準(zhǔn)平臺(tái)adversarial robustness benchmark，此基準(zhǔn)平臺(tái)可以更加公平、全面地衡量不同攻防算法的效果，提供簡(jiǎn)單高效的魯棒性測(cè)試工具.同樣，該平臺(tái)對(duì)主流的攻防算法實(shí)現(xiàn)了模塊化的設(shè)計(jì)，支持?jǐn)?shù)十種主流攻防算法的實(shí)現(xiàn).

7)AdvBox(7)https://github.com/advboxes/AdvBox

AdvBox[79]是由百度開源的一系列AI模型安全工具集，可以在PaddlePaddle[93],PyTorch,Caffe2[94],MXNet,Keras,TensorFlow中生成欺騙神經(jīng)網(wǎng)絡(luò)的對(duì)抗樣本，也可以對(duì)機(jī)器學(xué)習(xí)模型的魯棒性進(jìn)行基準(zhǔn)測(cè)試.與之前的工作相比，該平臺(tái)不僅支持對(duì)抗樣本的生成、檢測(cè)和保護(hù)，還適用于許多攻擊場(chǎng)景，例如人臉識(shí)別攻擊、真假人臉檢測(cè)和“隱形T 恤”.

8)DeepRobust(8)https://github.com/DSE-MSU/DeepRobust

DeepRobust[80]與以上平臺(tái)工具不同，它是適用于圖像領(lǐng)域和圖領(lǐng)域的對(duì)抗性學(xué)習(xí)庫(kù).目前Deep-Robust包含圖像領(lǐng)域的10種攻擊算法和8種防御算法以及圖域的9種攻擊算法和6種防御算法，具體實(shí)驗(yàn)在Pytorch上實(shí)現(xiàn).

9)AISafety(9)https://git.openi.org.cn/OpenI/AISafety

AISafety[39]是一個(gè)用于對(duì)抗攻擊全流程評(píng)測(cè)算法學(xué)習(xí)研究的Python庫(kù)，其主要研究?jī)?nèi)容為集成對(duì)抗攻擊和噪聲攻擊相關(guān)的攻擊算法、評(píng)測(cè)算法和加固防御算法.該平臺(tái)可靈活測(cè)試數(shù)據(jù)集質(zhì)量、算法訓(xùn)練、評(píng)估和部署等算法各項(xiàng)指標(biāo).目前AISafety已集成的數(shù)據(jù)集有CIFAR10,ImageNet數(shù)據(jù)集，針對(duì)CIFAR10數(shù)據(jù)集集成了ResNet20[95]，F(xiàn)P_ResNet[96]，VGG16[97]測(cè)試模型，針對(duì)ImageNet數(shù)據(jù)集有VGG19模型.此外，用戶可按照模型擴(kuò)展要求，實(shí)現(xiàn)并上傳自定義模型.

10)RobustBench(10)https://github.com/RobustBench/robustbench

RobustBench[81]是一個(gè)圖像分類領(lǐng)域評(píng)估攻防算法魯棒性的基準(zhǔn)平臺(tái)，由圖賓根大學(xué)的團(tuán)隊(duì)發(fā)布.除了標(biāo)準(zhǔn)化的測(cè)試基準(zhǔn)之外，RobustBench還提供了最龐大模型的存儲(chǔ)庫(kù)，其中包含120多個(gè)模型.

通過統(tǒng)計(jì)谷歌學(xué)術(shù)中以上10種工具所對(duì)應(yīng)文獻(xiàn)的引用次數(shù)及占比發(fā)現(xiàn)(11)本文將對(duì)抗攻防工具所對(duì)應(yīng)文獻(xiàn)的引用次數(shù)作為該領(lǐng)域研究人員或?qū)W習(xí)者使用這10種對(duì)抗攻防工具開展評(píng)估的次數(shù)，進(jìn)而分析出最受業(yè)界歡迎與認(rèn)可的3種對(duì)抗攻防工具.，目前最常用的3種對(duì)抗攻防集成工具是Foolbox,CleverHans和ART，如圖7所示.研究人員可參考上述結(jié)論，結(jié)合實(shí)際需求，選擇合適的對(duì)抗魯棒性評(píng)估工具.

Fig.7 Proportion of citation times of 10 tools

4 未來研究方向

對(duì)抗攻擊技術(shù)近年來獲得了業(yè)界內(nèi)的廣泛關(guān)注，取得了許多突破性進(jìn)展，但關(guān)于對(duì)抗魯棒性評(píng)估的研究仍處于起步階段，依然面臨許多的挑戰(zhàn).基于本文對(duì)對(duì)抗魯棒性評(píng)估研究現(xiàn)狀的深入分析，未來該領(lǐng)域的研究需要重點(diǎn)關(guān)注4個(gè)方向：

1)深入開展對(duì)抗樣本存在機(jī)理、深度學(xué)習(xí)模型脆弱性和可解釋性等理論研究.目前國(guó)內(nèi)外學(xué)術(shù)界關(guān)于對(duì)抗樣本的存在原因尚未達(dá)成共識(shí)，缺乏完備的數(shù)學(xué)理論支撐，對(duì)于如何正確解釋深度學(xué)習(xí)模型的內(nèi)在邏輯與擾動(dòng)下的決策行為尚在探索當(dāng)中.這些難題與對(duì)抗魯棒性的評(píng)估有著緊密關(guān)聯(lián)，開展相關(guān)理論研究有助于理解對(duì)抗魯棒性評(píng)估問題的本質(zhì)，把握影響模型對(duì)抗魯棒性的關(guān)鍵因素，能從根本上解決對(duì)抗環(huán)境下模型魯棒性的評(píng)估問題，是未來對(duì)抗魯棒性評(píng)估問題在理論層面上值得研究的方向之一.

2)提出一種或一組通用的、可量化的、綜合的對(duì)抗魯棒性評(píng)估指標(biāo).無(wú)論是面向數(shù)據(jù)的指標(biāo)還是面向模型的指標(biāo)，分析視角單一，給出的評(píng)估結(jié)果很難被直接采納.此外，影響模型對(duì)抗魯棒性的因素眾多，采用一種或幾種指標(biāo)難以準(zhǔn)確、完整地評(píng)估對(duì)抗魯棒性的強(qiáng)弱.參考其他研究領(lǐng)域指標(biāo)評(píng)估的方法，梳理影響對(duì)抗魯棒性的全部因素，抓住關(guān)鍵要素，提出一種或一組通用的、可量化的、綜合的指標(biāo)，全面評(píng)估模型的對(duì)抗魯棒性，是未來對(duì)抗魯棒性評(píng)估問題在方法層面上值得研究的方向之一.

3)構(gòu)建科學(xué)、統(tǒng)一、規(guī)范、完備的對(duì)抗魯棒性評(píng)估框架.面向圖像分類的數(shù)據(jù)集種類繁多，攻擊方法不斷被創(chuàng)新，評(píng)估指標(biāo)與評(píng)估方法不盡相同，盡管對(duì)抗攻防集成工具涵蓋多種攻防算法，但也無(wú)法保證進(jìn)行對(duì)抗魯棒性評(píng)估的實(shí)驗(yàn)條件和度量標(biāo)準(zhǔn)是一致的，這為模型與模型之間、模型防御前后對(duì)抗魯棒性的比較帶來了困難.搭建對(duì)抗魯棒性評(píng)估框架，全面綜合各種攻防算法、數(shù)據(jù)集與評(píng)估指標(biāo)，在標(biāo)準(zhǔn)對(duì)抗環(huán)境下從多層次、細(xì)粒度分析圖像分類全過程模型抵御對(duì)抗攻擊的能力，是未來對(duì)抗魯棒性評(píng)估問題在流程層面上值得研究的方向之一.

4)重點(diǎn)研究黑盒、非目標(biāo)的融合攻擊環(huán)境下的對(duì)抗魯棒性評(píng)估方法.物理場(chǎng)景中難以獲取模型的全部信息，針對(duì)白盒、目標(biāo)攻擊的評(píng)估方法難以應(yīng)用于實(shí)際智能系統(tǒng)模型的對(duì)抗魯棒性評(píng)估任務(wù)，且由于目前黑盒、非目標(biāo)攻擊的性能遠(yuǎn)低于人們的預(yù)期，無(wú)法保證使用該攻擊進(jìn)行評(píng)估的效果.更重要的是，現(xiàn)實(shí)環(huán)境中攻擊者可能融合對(duì)抗擾動(dòng)、自然噪聲等多種類型干擾或多種攻擊方法開展對(duì)抗攻擊，亦或利用智能系統(tǒng)在動(dòng)態(tài)環(huán)境下依據(jù)時(shí)間、空間等信息進(jìn)行決策的漏洞，設(shè)計(jì)融合多元信息干擾的對(duì)抗攻擊方法，這給對(duì)抗魯棒性評(píng)估帶來了新的契機(jī)與挑戰(zhàn).如何評(píng)估模型在黑盒、非目標(biāo)的融合攻擊環(huán)境下的對(duì)抗魯棒性，是未來對(duì)抗魯棒性評(píng)估問題在實(shí)際應(yīng)用層面上值得研究的方向之一.

5 總 結(jié)

面對(duì)對(duì)抗攻擊等各種威脅，增強(qiáng)模型的對(duì)抗魯棒性是保障智能系統(tǒng)安全的重要方式和手段.評(píng)估對(duì)抗魯棒性是指導(dǎo)提升模型對(duì)抗魯棒性的基礎(chǔ).然而，關(guān)于對(duì)抗魯棒性評(píng)估的研究還停留在初級(jí)階段，僅僅依靠排名基準(zhǔn)或簡(jiǎn)單指標(biāo)無(wú)法準(zhǔn)確衡量模型抵御對(duì)抗攻擊的能力.因此，本文在調(diào)研和分析國(guó)內(nèi)外對(duì)抗魯棒性評(píng)估研究的基礎(chǔ)上，針對(duì)圖像分類這一基礎(chǔ)視覺任務(wù)，從對(duì)抗樣本存在原因、對(duì)抗魯棒性評(píng)估準(zhǔn)則、對(duì)抗魯棒性評(píng)估指標(biāo)等方面對(duì)現(xiàn)有研究成果進(jìn)行了歸類、總結(jié)和分析.同時(shí)，梳理了現(xiàn)階段主流的圖像分類數(shù)據(jù)集和對(duì)抗攻防集成工具.最后，指出了對(duì)抗魯棒性評(píng)估未來可能的研究方向，旨在為該領(lǐng)域研究的進(jìn)一步發(fā)展和應(yīng)用提供一定借鑒與幫助.

作者貢獻(xiàn)聲明：李自拓負(fù)責(zé)文獻(xiàn)調(diào)研、內(nèi)容設(shè)計(jì)、論文撰寫和最后版本修訂；孫建彬負(fù)責(zé)提出指導(dǎo)意見、框架設(shè)計(jì)和全文修訂；楊克巍負(fù)責(zé)論文審核與修訂；熊德輝負(fù)責(zé)提出指導(dǎo)意見以及論文修訂.