深度卷積神經(jīng)網(wǎng)絡(luò)圖像識別模型對抗魯棒性技術(shù)綜述

孫 浩 陳 進(jìn) 雷 琳 計(jì)科峰 匡綱要

①(國防科技大學(xué)電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)國家重點(diǎn)實(shí)驗(yàn)室 長沙 410073)

②(北京市遙感信息研究所 北京 100192)

1 引言

近年來以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的聯(lián)結(jié)主義智能化[1]圖像識別方法取得巨大進(jìn)展，不斷刷新光學(xué)和SAR圖像場景分類、目標(biāo)檢測與識別、語義分割、變化檢測等多任務(wù)性能水平[2–5]。智能化的一個重要特征就是能夠跨任務(wù)、跨領(lǐng)域、跨類別進(jìn)行知識泛化。然而，現(xiàn)有深度卷積神經(jīng)網(wǎng)絡(luò)識別模型依賴統(tǒng)計(jì)學(xué)習(xí)，只有在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)服從獨(dú)立同分布的假設(shè)前提下泛化性能才能得到有效保證[6]。深度卷積神經(jīng)網(wǎng)絡(luò)圖像識別模型在面對多種不同類型的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)間分布漂移時(shí)，預(yù)測性能水平會大大下降，缺乏對輸入擾動的魯棒性。研究表明[7,8]：在輸入圖像數(shù)據(jù)中添加細(xì)微對抗擾動，對于人類視覺感知信息變化過于微小不可分辨，但是卻會導(dǎo)致深度卷積神經(jīng)網(wǎng)絡(luò)識別結(jié)果產(chǎn)生大范圍的波動變化，甚至是嚴(yán)重的錯誤輸出。深度卷積神經(jīng)網(wǎng)絡(luò)圖像識別模型的對抗脆弱性給其在安全敏感領(lǐng)域的廣泛部署帶來巨大安全隱患[1,9–11]。

圖1給出了深度卷積神經(jīng)網(wǎng)絡(luò)SAR圖像識別模型不同輸入擾動對比示例。對于來自MSTAR數(shù)據(jù)集[12]的SAR圖像目標(biāo)切片，以俯仰角17°切片作為訓(xùn)練集學(xué)習(xí)VGG-16網(wǎng)絡(luò)[13]深度識別模型。如圖1所示，測試圖像目標(biāo)真實(shí)類別為BMP2，當(dāng)無噪聲干擾時(shí)，識別模型預(yù)測輸出為真實(shí)類別；當(dāng)在測試圖像中添加不同形式的噪聲擾動后導(dǎo)致模型預(yù)測輸出為錯誤類別。對抗擾動或墮化噪聲并沒有改變輸入圖像的語義內(nèi)容，因此深度卷積神經(jīng)網(wǎng)絡(luò)識別模型不應(yīng)該因其存在而改變決策行為。但事實(shí)上深度卷積神經(jīng)網(wǎng)絡(luò)識別模型很容易被很小的局部變化所迷惑，改變決策行為，以高置信度給出錯誤判斷[7,8]。與墮化噪聲相比較，由于對抗擾動產(chǎn)生機(jī)理更加復(fù)雜、擾動幅度小，人類視覺通常不可分辨、機(jī)器統(tǒng)計(jì)量很難可靠檢測，在安全敏感領(lǐng)域危害性更強(qiáng)。與光學(xué)圖像相比，SAR圖像視覺解譯變化量更多、解譯難度更大，因此對抗擾動潛在攻擊面更廣。特別是在數(shù)字域?qū)箶_動的視覺不可感知范圍更大，在物理域擾動實(shí)現(xiàn)手段更加多樣化。

圖1 SAR圖像深度神經(jīng)網(wǎng)絡(luò)識別模型典型擾動對比示例Fig.1 Different perturbations for deep neural networks based SAR image recognition models

針對深度神經(jīng)網(wǎng)絡(luò)的對抗脆弱性，文獻(xiàn)[9]從模型防御角度綜述了圖像分類對抗機(jī)器學(xué)習(xí)攻防技術(shù)，重點(diǎn)強(qiáng)調(diào)設(shè)計(jì)和評估對抗防御手段應(yīng)該遵循的基本原則。文獻(xiàn)[10]對目標(biāo)識別應(yīng)用中的對抗樣本技術(shù)進(jìn)行了總結(jié)與分析，討論了對抗樣本對于神經(jīng)網(wǎng)絡(luò)安全性和魯棒性的影響，并重點(diǎn)分析了對抗樣本的存在性假說及其在多個機(jī)器學(xué)習(xí)模型之間的遷移特性。文獻(xiàn)[11]從網(wǎng)絡(luò)安全角度回顧了針對智能化應(yīng)用場景的對抗攻擊技術(shù)，重點(diǎn)關(guān)注增強(qiáng)學(xué)習(xí)和聯(lián)邦學(xué)習(xí)場景中智能化模型存在的對抗脆弱性。與現(xiàn)有的相關(guān)綜述相比，本文聚焦深度卷積神經(jīng)網(wǎng)絡(luò)圖像識別模型對抗魯棒性技術(shù)研究進(jìn)展，本文的特色和創(chuàng)新之處在于：(1)從智能化圖像識別系統(tǒng)部署和應(yīng)用流程出發(fā)，以信息安全視角全面分析系統(tǒng)存在的安全威脅和潛在攻擊面，重點(diǎn)討論了投毒攻擊和逃避攻擊特性及對抗脆弱性成因；(2)以對抗動態(tài)博弈視角分別建立對抗攻擊與防御的威脅模型，按照攻防模型要素梳理現(xiàn)有研究方法，并以SAR圖像深度識別模型對抗攻擊為例分析典型方法特性；(3)系統(tǒng)介紹了對抗魯棒性基本定義、對抗攻擊、對抗防御、對抗魯棒性評估的一般思路和指導(dǎo)原則，并結(jié)合團(tuán)隊(duì)研究工作進(jìn)展，討論未來研究趨勢。

本文的組織形式如下：第2節(jié)從信息安全的角度分析深度卷積神經(jīng)網(wǎng)絡(luò)圖像識別系統(tǒng)面臨的多樣化安全風(fēng)險(xiǎn)和脆弱性成因；第3節(jié)給出對抗魯棒性的基本定義，系統(tǒng)總結(jié)深度神經(jīng)網(wǎng)絡(luò)對抗攻擊與防御技術(shù)研究進(jìn)展，分析對抗魯棒性評估的基本準(zhǔn)則和指標(biāo)體系；第4節(jié)歸納現(xiàn)有研究存在的不足，指出一些開放性問題，為下一步研究提供參考。

2 深度卷積神經(jīng)網(wǎng)絡(luò)識別系統(tǒng)安全風(fēng)險(xiǎn)

2.1 深度學(xué)習(xí)圖像識別系統(tǒng)安全威脅

以衛(wèi)星、無人機(jī)等為代表的多源空天圖像偵察近年來發(fā)展迅猛，不斷持續(xù)獲取海量高分辨率圖像數(shù)據(jù)，僅依賴專家判讀的數(shù)據(jù)分析模式已無法滿足情報(bào)生成的時(shí)效性要求。一方面，基于人工智能和深度學(xué)習(xí)算法的大規(guī)模圖像內(nèi)容自動分析已逐步被引入離線情報(bào)生產(chǎn)過程中。另一方面，考慮到通信帶寬、數(shù)據(jù)傳輸效率、情報(bào)生成實(shí)時(shí)性和區(qū)域拒止電磁對抗等多因素的影響，未來大量基于深度神經(jīng)網(wǎng)絡(luò)模型的多源圖像目標(biāo)檢測與識別算法將被部署在邊緣計(jì)算平臺，進(jìn)行在線目標(biāo)識別和感興趣數(shù)據(jù)篩選。

與傳統(tǒng)的基于專家系統(tǒng)的符號主義智能化識別系統(tǒng)不同，基于深度卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)主義智能化圖像識別系統(tǒng)涉及全鏈路的數(shù)據(jù)復(fù)雜處理操作、預(yù)訓(xùn)練系統(tǒng)、機(jī)器學(xué)習(xí)框架多個方面，這些方面在軍事對抗場景中都可能涉及安全問題[1]。深度神經(jīng)網(wǎng)絡(luò)識別系統(tǒng)開發(fā)部署過程可以分為任務(wù)規(guī)劃、數(shù)據(jù)采集、模型訓(xùn)練、模型推理和系統(tǒng)部署5個階段，如圖2所示。

圖2 深度學(xué)習(xí)圖像識別系統(tǒng)潛在安全風(fēng)險(xiǎn)Fig.2 Security risks for deep learning based image recognition system

在現(xiàn)實(shí)應(yīng)用中，各個環(huán)節(jié)間并不一定是序貫的，多個環(huán)節(jié)間通常會涉及反饋和循環(huán)。

(1) 任務(wù)規(guī)劃階段：開發(fā)智能化識別系統(tǒng)的首要問題是明確解決任務(wù)的邊界條件，明確系統(tǒng)的期望圖像輸入數(shù)據(jù)及其分布，估計(jì)系統(tǒng)的準(zhǔn)確性、魯棒性、計(jì)算資源和運(yùn)行時(shí)效性等指標(biāo)。然后，對任務(wù)進(jìn)行模塊化分解，選擇機(jī)器學(xué)習(xí)模型和框架。任務(wù)規(guī)劃階段面臨的主要安全風(fēng)險(xiǎn)形式有學(xué)習(xí)框架后門和漏洞攻擊、預(yù)訓(xùn)練模型投毒攻擊等[14]。

(2) 數(shù)據(jù)采集階段：在確定好問題的邊界條件后，需要采集和整理用于深度識別模型的大規(guī)模標(biāo)注訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。為了提升模型的準(zhǔn)確性指標(biāo)和收斂速度，通常會采用圖像幾何變換和光度變換、物理仿真、對抗圖像生成等方式進(jìn)行訓(xùn)練數(shù)據(jù)擴(kuò)充。數(shù)據(jù)采集與預(yù)處理階段面臨的主要安全風(fēng)險(xiǎn)形式有數(shù)據(jù)投毒攻擊[15]、標(biāo)注投毒攻擊、圖像尺度變換攻擊[16]、數(shù)據(jù)集偏差攻擊等。

(3) 模型訓(xùn)練階段：對訓(xùn)練數(shù)據(jù)集合進(jìn)行合理劃分，在固定邊界條件下進(jìn)行模型架構(gòu)或參數(shù)學(xué)習(xí)，確定迭代輪次、停止準(zhǔn)則、學(xué)習(xí)率等超參數(shù)。資源受限應(yīng)用場景中還需要考慮模型的剪枝和壓縮問題。模型訓(xùn)練階段面臨的主要安全風(fēng)險(xiǎn)形式有云端攻擊、木馬攻擊和超參數(shù)攻擊等[17]。

(4) 模型推理階段：對訓(xùn)練完成后的深度模型進(jìn)行準(zhǔn)確性和魯棒性測試，以期滿足預(yù)設(shè)指標(biāo)。模型推理階段面臨的安全風(fēng)險(xiǎn)最大，常見的攻擊形式有逃避攻擊、模仿攻擊和逆向攻擊[18]。推理階段的許多攻擊方法不需要獲取數(shù)據(jù)和模型的先驗(yàn)信息，采用黑盒方法，基于遷移性進(jìn)行攻擊，安全危害極大。逃避攻擊的代表形式是深度識別模型的對抗樣本。通過在目標(biāo)外部添加特定設(shè)計(jì)的圖案可以有效地逃避自動化算法的探測識別，與傳統(tǒng)的電磁隱身偽裝不同，基于對抗樣本的智能擾動逃避攻擊成本更低、部署和應(yīng)用更加靈活。

(5) 系統(tǒng)部署階段：將測試完成后的模型部署到相應(yīng)的軟硬件平臺中，并完成真實(shí)物理環(huán)境中用戶交互驗(yàn)證。系統(tǒng)部署階段面臨的主要安全風(fēng)險(xiǎn)有軟件系統(tǒng)攻擊、硬件系統(tǒng)漏洞、操作系統(tǒng)后門等[19]。

所有潛在攻擊樣式中，針對深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練階段的數(shù)據(jù)投毒攻擊和針對模型推理階段的逃避攻擊在圖像處理領(lǐng)域研究受到廣泛關(guān)注，其攻擊時(shí)機(jī)與攻擊能力如圖3所示。隨著攻擊知識的減少，投毒攻擊的攻擊能力按照邏輯破壞、數(shù)據(jù)修改、數(shù)據(jù)注入和數(shù)據(jù)讀取等幾個層次依次遞減；逃避攻擊的攻擊能力按照網(wǎng)絡(luò)架構(gòu)、模型參數(shù)、模型逼近、查詢攻擊等幾個層次依次遞減。投毒攻擊的實(shí)施可以是離線數(shù)據(jù)采集與模型學(xué)習(xí)階段，也可以是在模型在線微調(diào)階段；逃避攻擊的實(shí)施可以是在物理域中構(gòu)建光電或射頻擾動，也可以在數(shù)字域中添加對抗噪聲。

圖3 深度學(xué)習(xí)訓(xùn)練階段和測試階段攻擊對比Fig.3 Comparison of training stage attacks and testing stage attacks for deep learning

數(shù)據(jù)投毒攻擊通過在訓(xùn)練數(shù)據(jù)集合中注入虛假數(shù)據(jù)或混淆性標(biāo)記信息，影響深度模型的歸納偏差，造成模型推理性能下降。如圖4所示，通過在訓(xùn)練集中添加污染后的有毒數(shù)據(jù)，造成正確模型的決策邊界出現(xiàn)偏離，從而造成測試樣本的類別識別出現(xiàn)錯誤。逃避攻擊不干擾訓(xùn)練數(shù)據(jù)，僅在推理階段調(diào)整測試樣本。逃避攻擊的典型實(shí)現(xiàn)方式是生成對抗樣本，通過在測試樣本中添加微小非隨機(jī)性擾動造成模型錯誤輸出。對抗擾動通過面向識別模型的對抗攻擊優(yōu)化算法生成，通過細(xì)微擾動跨越模型的決策邊界。

圖4 投毒攻擊與逃避攻擊基本原理Fig.4 Illustration of poisoning attack and evasion attack

2.2 投毒攻擊和逃避攻擊脆弱性成因

深度圖像識別系統(tǒng)可能在多個階段和層次被攻擊，其中許多潛在安全風(fēng)險(xiǎn)是信息安全領(lǐng)域的普遍問題，本節(jié)重點(diǎn)分析與深度學(xué)習(xí)過程緊密相關(guān)的投毒攻擊和逃避攻擊脆弱性成因。

2.2.1 訓(xùn)練數(shù)據(jù)依賴性

深度神經(jīng)網(wǎng)絡(luò)圖像識別模型的準(zhǔn)確率和魯棒性高度依賴訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量。只有在訓(xùn)練數(shù)據(jù)是無偏的情形下，深度識別模型才能達(dá)到理想的性能。深度識別模型僅僅從數(shù)據(jù)中學(xué)習(xí)得到了相關(guān)關(guān)系，而相關(guān)關(guān)系往往會隨著數(shù)據(jù)分布的變化而變化，模型本身無法將虛假的相關(guān)與真實(shí)的因果區(qū)分開來。在許多安全敏感領(lǐng)域，大規(guī)模高質(zhì)量訓(xùn)練數(shù)據(jù)嚴(yán)重稀缺，僅有的少量訓(xùn)練數(shù)據(jù)中還存在類別不平衡性和標(biāo)注不確定性等問題，這些因素都嚴(yán)重加劇了模型的泛化風(fēng)險(xiǎn)和對抗脆弱性。與標(biāo)準(zhǔn)深度識別模型相比，魯棒深度識別模型的樣本采樣復(fù)雜度更高，對標(biāo)注數(shù)據(jù)的依賴性更強(qiáng)。采用預(yù)訓(xùn)練模型進(jìn)行參數(shù)初始化可以加速模型收斂、提升模型性能，但同時(shí)會將預(yù)訓(xùn)練模型所采用數(shù)據(jù)集中的偏差、虛假相關(guān)、投毒數(shù)據(jù)等引入后續(xù)模型。在線微調(diào)階段，物理域或數(shù)字域所產(chǎn)生的對抗樣本都可以應(yīng)用于投毒過程。

2.2.2 輸入與狀態(tài)空間高維特性

復(fù)雜的深度識別模型包含數(shù)百萬量級參數(shù)，為了逼近決策函數(shù)這些參數(shù)需要在訓(xùn)練過程中進(jìn)行迭代更新。參數(shù)的組合空間巨大，模型對輸入數(shù)據(jù)的決策邊界只能逼近求解。由于模型的高度非線性，因此輸入數(shù)據(jù)的微小擾動可能會產(chǎn)生巨大的輸出差異。訓(xùn)練數(shù)據(jù)一般情況下位于完備輸入空間的低維流形，該現(xiàn)象通常也稱為“維度災(zāi)難”。以VGG-16模型為例，16層深度的模型參數(shù)約135 M，采用二進(jìn)制比特表示時(shí)輸入空間維度為2224×224×3×8=21204224(模型輸入圖像空間大小為224像素×224像素，波段通道為3個，數(shù)字值量化為8比特位)，因此訓(xùn)練數(shù)據(jù)集合僅僅覆蓋了輸入空間中非常小的一部分，大量可能的輸入數(shù)據(jù)，在訓(xùn)練過程中并沒有利用。一方面，如果給模型輸入訓(xùn)練過程中未觀測到的良性數(shù)據(jù)，并且該數(shù)據(jù)與訓(xùn)練數(shù)據(jù)差別較大，那么模型可能無法泛化到這些輸入數(shù)據(jù)，造成模型的安全風(fēng)險(xiǎn)。另一方面，當(dāng)故意設(shè)計(jì)的對抗樣本輸入模型時(shí)會造成系統(tǒng)錯誤輸出。文獻(xiàn)[20]認(rèn)為對抗樣本存在于數(shù)據(jù)流形的低概率空間，很難通過隨機(jī)采樣輸入數(shù)據(jù)的近鄰空間得到，對抗樣本所在區(qū)域是模型預(yù)測不確定性的盲點(diǎn)。盡管主流的深度卷積網(wǎng)絡(luò)模型為了提升魯棒性，在訓(xùn)練過程中都進(jìn)行了數(shù)據(jù)增廣，但變換后的數(shù)據(jù)與原始輸入數(shù)據(jù)高度相關(guān)，且來自同樣的數(shù)據(jù)分布，然而對抗樣本通常呈現(xiàn)非相關(guān)和非同分布特性。此外，對抗樣本生成過程中，向正常干凈樣本添加非隨機(jī)噪聲違背了模型訓(xùn)練過程中關(guān)于統(tǒng)計(jì)噪聲的隱性假設(shè)。

由于理論上理想的任務(wù)決策邊界通常在實(shí)際中只能通過模型決策邊界近似，因此圖像解譯過程中無論是人類判讀還是深度識別模型都是會出現(xiàn)錯誤的。模型通過數(shù)據(jù)和進(jìn)化過程進(jìn)行訓(xùn)練。在訓(xùn)練得到的模型中，傳感器輸入或其他邊界條件的微小變化都有可能會導(dǎo)致狀態(tài)改變，在狀態(tài)空間中跨越?jīng)Q策邊界。例如輸入中出現(xiàn)的傳感器微小噪聲可能導(dǎo)致輸出的巨大改變。任務(wù)決策邊界與模型決策邊界之間并不一定總是能夠重合，在兩者不同的區(qū)域，輸入空間中常常存在對抗樣本。圖5表示輸入空間二維投影中存在的對抗樣本。輸入空間中，存在4個類別的數(shù)據(jù)樣本，類別A的深度識別模型決策邊界由3個決策邊界共同構(gòu)成。類別A的任務(wù)決策邊界與模型決策邊界存在差異，在跨越或不跨越任務(wù)決策邊界前提下，位于模型決策邊界周圍的樣本都很容易受到微小擾動的影響造成模型輸出錯誤。在高維空間中，搜索非重合區(qū)域內(nèi)的樣本很容易構(gòu)造對抗樣本。

圖6為MSTAR圖像目標(biāo)識別性能評估策略的對比示意圖[5,21]，這些評估準(zhǔn)則確定了標(biāo)準(zhǔn)操作條件和擴(kuò)展操作條件。標(biāo)準(zhǔn)操作條件是由現(xiàn)有數(shù)據(jù)集合構(gòu)成的訓(xùn)練條件和測試條件，擴(kuò)展操作條件是由建模條件定義?？梢?，不同條件下的輸入空間存在部分不重疊區(qū)域和未覆蓋區(qū)域，這些區(qū)域內(nèi)的數(shù)據(jù)點(diǎn)都很容易被用于生成攻擊樣本。

圖6 MSTAR性能評估策略[21]Fig.6 Performance evaluation strategy for MSTAR[21]

2.2.3 黑盒特性與難解釋性

基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像識別模型結(jié)構(gòu)設(shè)計(jì)和參數(shù)優(yōu)化過程復(fù)雜，缺乏可解釋性。用于解決圖像處理任務(wù)的傳統(tǒng)計(jì)算機(jī)程序是很容易理解的，對于具有充分知識背景的編程人員來說，系統(tǒng)是透明的。然而由于深度神經(jīng)網(wǎng)絡(luò)巨大的參數(shù)空間，復(fù)雜的深度識別模型不具備這一特性。編程人員仍然可以理解任務(wù)邊界條件和解決任務(wù)的方法，但無法直接將神經(jīng)網(wǎng)絡(luò)的內(nèi)部表示轉(zhuǎn)換為理解其行為特性的工具。從信息安全的角度來看，這意味著只能通過模型的錯誤行為(而不是模型本身)來檢測攻擊，而模型的錯誤行為描述仍然是一個困難的問題。因此訓(xùn)練過程結(jié)束后，由于模型缺乏透明性，很難檢測訓(xùn)練數(shù)據(jù)中存在的投毒攻擊。

在安全敏感領(lǐng)域中需要提升深度識別模型的透明性和可解釋性，特別是在軍事應(yīng)用領(lǐng)域，需要建立用戶與智能識別模型之間的信任關(guān)系，輔助用戶進(jìn)行決策?？山忉屝陨疃茸R別模型的研究有兩類典型思路[22–24]：一類是分析模型的動態(tài)特性，通過在輸入變量中添加擾動或調(diào)整模型參數(shù)，對系統(tǒng)的輸出進(jìn)行統(tǒng)計(jì)分析，推測模型的決策依據(jù)。另一類是直接構(gòu)建結(jié)構(gòu)化和可解釋性更強(qiáng)的深度網(wǎng)絡(luò)模型。

3 深度卷積神經(jīng)網(wǎng)絡(luò)對抗魯棒性研究進(jìn)展

3.1 對抗魯棒性定義

深度卷積神經(jīng)網(wǎng)絡(luò)識別模型可以描述為一個函數(shù)：fθ:X →Y，將輸入圖像空間中的一個向量x ∈X映射到標(biāo)記空間中y ∈Y，其中θ ∈W是函數(shù)的參數(shù)變量，W,X和Y分別表示深度卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重空間、輸入空間和輸出空間。深度識別模型將整個輸入空間劃分為一組區(qū)域，每個區(qū)域具有唯一性的類別標(biāo)記，識別模型的決策邊界可以利用兩組不同標(biāo)記區(qū)域的交匯點(diǎn)集來定義。在有監(jiān)督學(xué)習(xí)條件下，給定數(shù)據(jù)對(x,y)的分布D，學(xué)習(xí)算法的目標(biāo)是尋找一個分類器將任意的輸入x映射到標(biāo)記y，使得在分布D上的期望風(fēng)險(xiǎn)最小化，即

其中，L(x,y;θ)表示特定形式的損失函數(shù)。實(shí)際應(yīng)用中我們無法獲取所有的數(shù)據(jù)分布D，僅僅利用一組訓(xùn)練樣本集合因此無法通過最小化期望風(fēng)險(xiǎn)獲得fθ。通常求解經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題，即

深度卷積神經(jīng)網(wǎng)絡(luò)識別模型通常由多個前饋神經(jīng)網(wǎng)絡(luò)復(fù)合構(gòu)成，其中第t層的輸出zt ∈RDk依賴前一層輸出：

神經(jīng)網(wǎng)絡(luò)識別模型輸出結(jié)果是最高概率密度的標(biāo)記索引：

深度識別模型對隨機(jī)噪聲擾動具有一定的魯棒性；但對于對抗擾動，神經(jīng)網(wǎng)絡(luò)表現(xiàn)出極差的對抗脆弱性[7–11]。對抗擾動是輸入x的最壞情形微小擾動，經(jīng)過精心設(shè)計(jì)用于欺騙神經(jīng)網(wǎng)絡(luò)。而且現(xiàn)有研究表明：對于任意的x和 識別模型fθ總是可以找到對抗擾動，表明神經(jīng)網(wǎng)絡(luò)的決策邊界在某些方向上靠近給定的數(shù)據(jù)樣本，因此在這些方向上添加很小的擾動就可以改變分類器的輸出結(jié)果。

定義對抗擾動δ(x)∈RD是下述優(yōu)化問題的解[25]：

其中，Q(δ)表示目標(biāo)函數(shù)的一般形式，Δ表示刻畫擾動特性的一組約束集合。不同類型對抗擾動主要差別在于Q(δ)和Δ，例如最小?p范數(shù)對抗擾動定義為

式(7)表示在?p范數(shù)度量下，跨越識別模型決策邊界的最小加性擾動。

ε約束對抗擾動定義為

式(8)表示在給定數(shù)據(jù)樣本x的ε鄰域內(nèi)最大化損失函數(shù)的最壞情形擾動，ε的取值使得最終的擾動盡可能小，視覺不可感知。文獻(xiàn)中還有其他形式的距離度量來定義對抗樣本，例如數(shù)據(jù)流形測地線距離、感知度量和Wasserstein距離等。在現(xiàn)有的對抗擾動研究中，?p擾動研究得最為廣泛和深入。

對抗樣本很容易計(jì)算且大量存在，暴露出深度神經(jīng)網(wǎng)絡(luò)識別模型的脆弱性。為了解決這個問題，需要定義客觀的度量來量化神經(jīng)網(wǎng)絡(luò)對于對抗擾動輸入的魯棒性。根據(jù)應(yīng)用場景和任務(wù)的不同，fθ對抗魯棒性的定義可以有多種形式，一種常用的定義是基于對抗場景中分類器的泛化能力，即對抗擾動輸入時(shí)神經(jīng)網(wǎng)絡(luò)的最壞情形準(zhǔn)確率。

考慮神經(jīng)網(wǎng)絡(luò)決策函數(shù)的幾何特性，可以通過計(jì)算任意樣本到神經(jīng)網(wǎng)絡(luò)的決策邊界的平均距離定義對抗魯棒性：

幾何視角描述對抗魯棒性的優(yōu)勢是魯棒性的計(jì)算與對抗擾動產(chǎn)生算法無關(guān)，對抗魯棒性是分類器的特性。采用幾何測度，提升分類器的對抗魯棒性意味著將決策邊界與數(shù)據(jù)樣本遠(yuǎn)離。采用式(9)測量分類器的魯棒性還存在很多挑戰(zhàn)，例如現(xiàn)有對抗攻擊方法在計(jì)算擾動δ(x)時(shí)并非最優(yōu)。然而，我們可以通過計(jì)算所有樣本和神經(jīng)網(wǎng)絡(luò)決策邊界的安全距離來驗(yàn)證分類器的魯棒性。分類器如果是?p范數(shù)下ε認(rèn)證魯棒的，那么分類器在任意樣本的半徑為ε的?p超球鄰域內(nèi)輸出穩(wěn)定的標(biāo)記信息。在高維空間中進(jìn)行魯棒性認(rèn)證，需要大量的計(jì)算代價(jià)，因此目前一般都是針對特定形式的分類器。

3.2 對抗攻擊研究進(jìn)展

3.2.1 對抗攻擊模型

聚焦深度模型推理階段的安全風(fēng)險(xiǎn)，建立對抗攻擊威脅模型如圖7所示，主要包括對抗攻擊目標(biāo)、對抗攻擊知識、對抗攻擊能力和對抗攻擊策略4個方面[26,27]。對抗攻擊的目標(biāo)可采用安全破壞程度和攻擊專一性進(jìn)行描述。安全破壞程度主要是指對抗攻擊者期望破壞深度識別系統(tǒng)的完整性、可用性或隱私性；攻擊專一性主要包括定向攻擊和非定向攻擊兩類。例如對抗攻擊的目標(biāo)可以是產(chǎn)生一個特定類別的識別錯誤攻擊或非定向性的系統(tǒng)識別功能破壞攻擊。對抗攻擊的知識根據(jù)攻擊者獲取的先驗(yàn)信息來進(jìn)行考慮，通常可以分為白盒攻擊和黑盒攻擊。白盒攻擊場景下，攻擊者已知識別模型的架構(gòu)與參數(shù)、訓(xùn)練數(shù)據(jù)、預(yù)訓(xùn)練模型等信息，攻擊效果最強(qiáng)。黑盒攻擊場景下，攻擊者僅通過有限的查詢訪問或?qū)箻颖镜倪w移特性實(shí)現(xiàn)攻擊。攻擊能力采用攻擊時(shí)效和攻擊層級兩個維度描述。對抗攻擊時(shí)效可分為迭代型攻擊和單次性攻擊，雖然迭代型攻擊效果較好，但軍事應(yīng)用場景中單次性攻擊的危害性也需要重點(diǎn)關(guān)注。對抗攻擊策略是指攻擊者為了達(dá)到攻擊目的而采取的圖像內(nèi)容或特征修改措施，典型策略有對抗擾動生成和變換攻擊。基于對抗擾動生成的逃避攻擊，通常稱為對抗攻擊。在許多安全敏感領(lǐng)域，攻擊者很難獲取訓(xùn)練階段數(shù)據(jù)或相關(guān)信息，基于對抗樣本的深度識別模型推理階段對抗攻擊威脅性更高，因此受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

圖7 對抗攻擊威脅模型Fig.7 Threat model for adversarial attacks

3.2.2 對抗樣本生成

圖8描述了對抗樣本生成的一般流程[18]。在白盒攻擊場景中，攻擊者通過求解梯度優(yōu)化或約束優(yōu)化問題、敏感性分析、生成模型采樣等方式構(gòu)造對抗樣本[7–11,18,19,26,27]；在黑盒攻擊場景中，攻擊者通過多次查詢被攻擊模型獲取相關(guān)信息，然后訓(xùn)練替代模型進(jìn)行白盒攻擊，或者估計(jì)梯度和近似決策邊界來尋找對抗樣本[7–11,18,19]。

圖8 對抗樣本生成流程Fig.8 Flowchart for adversarial example generation

表1歸納總結(jié)了典型對抗樣本生成方法的攻擊知識、攻擊目標(biāo)、攻擊策略、擾動度量和擾動范圍。對抗樣本主要包括個體擾動對抗樣本和通用擾動對抗樣本兩類。個體擾動對抗樣本是指對于給定的測試圖像，根據(jù)優(yōu)化算法生成特定的擾動，不同圖像擾動模式不同；通用擾動對抗樣本是指在特定數(shù)據(jù)集上或針對特定識別模型產(chǎn)生的擾動模式，對于數(shù)據(jù)集中的所有圖像該擾動模式保持不變。對抗攻擊策略主要包括圖像空間擾動、特征空間擾動和決策空間擾動3類，在圖像空間和特征空間進(jìn)行擾動通常采用生成模型、梯度優(yōu)化和敏感性分析算法實(shí)現(xiàn)，在決策空間進(jìn)行擾動常采用約束優(yōu)化算法實(shí)現(xiàn)。

為了說明典型攻擊方法對雷達(dá)圖像深度目標(biāo)識別模型的影響，在MSTAR數(shù)據(jù)集上，以俯仰角17°目標(biāo)切片圖像作為訓(xùn)練集學(xué)習(xí)VGG-16深度識別模型，攻擊目標(biāo)設(shè)定為定向攻擊，采用PGD (Projected Gradient Descent)[36],DeepFool[30],C&W[34]3種方法的定向攻擊版本生成對抗擾動。PGD攻擊噪聲范數(shù)選用L∞，攻擊強(qiáng)度設(shè)定為0.3；Deep-Fool攻擊步長設(shè)定為10–6，最大迭代次數(shù)設(shè)定為100次；C&W攻擊方法學(xué)習(xí)率設(shè)定為0.01，最大迭代次數(shù)設(shè)定為100。采用Grad-CAM方法[57]對3種方法生成的定向攻擊樣本、無擾動干凈樣本(原始類別和定向攻擊目標(biāo)類別)在VGG-16識別模型的激活響應(yīng)進(jìn)行可視化，第2,4,7,10,13卷積層特征激活結(jié)果如圖9所示。其中第1行圖像分別為真實(shí)類別(BTR70)的測試圖像、采用3種攻擊方法生成的定向攻擊個體擾動對抗樣本(BTR70定向攻擊為ZIL131)、真實(shí)類別為ZIL131的測試圖像(作為參考對照)，由于對抗擾動的幅度微小，因此3種方法生成的定向攻擊樣本與原始圖像人眼無法分辨其中差別。觀察特征層的激活情況容易發(fā)現(xiàn)：基于梯度優(yōu)化的PGD攻擊對抗樣本從低層(第2層)卷積特征開始就與定向攻擊類別的激活響應(yīng)具有較高的相似性，攻擊目標(biāo)實(shí)現(xiàn)依賴多隱層特征空間擾動；基于約束優(yōu)化的DeepFool攻擊方法和C&W攻擊方法產(chǎn)生的對抗樣本僅在高層(第13層)卷積特征激活與真實(shí)類別具有較高的特征激活相似度，攻擊目標(biāo)實(shí)現(xiàn)更多依賴決策空間擾動。

圖9 SAR圖像目標(biāo)識別定向?qū)构襞e例Fig.9 Targeted adversarial attacks for SAR image target recognition

圖10展示了來自FUSAR-Ship數(shù)據(jù)集[58]的4幅SAR艦船目標(biāo)圖像切片及典型攻擊方法產(chǎn)生的對抗擾動(實(shí)驗(yàn)細(xì)節(jié)見文獻(xiàn)[59])，4幅圖像的類別從上至下依次為集裝箱船、貨船、漁船和油輪。為了顯示效果，所有的對抗擾動都進(jìn)行了放大?；谔荻葍?yōu)化的對抗擾動(FGSM,PGD)、稀疏對抗擾動(JSMA，單像素)和基于約束優(yōu)化的對抗擾動(DeepFool,C&W)在擾動模式上呈現(xiàn)明顯的差異。FGSM和PGD擾動模式更加聚焦原始圖像中的圖像灰度變化劇烈區(qū)域，與圖像梯度緊密相關(guān)。JSMA和單像素?cái)_動僅僅改變了少量像素，但對抗擾動幅值較大。DeepFool擾動和C&W擾動改變了大量像素，但對抗擾動幅值較小。

圖10 FUSAR-Ship數(shù)據(jù)子集對抗擾動舉例[59]Fig. 10 Adversarial perturbations on images from FUSAR-Ship dataset[59]

3.3 對抗防御研究進(jìn)展

3.3.1 對抗防御模型

大量對抗樣本生成方法的不斷提出，催生深度神經(jīng)網(wǎng)絡(luò)識別模型防御技術(shù)迭代演進(jìn)，兩者之間形成對抗攻防競賽。根據(jù)防御目標(biāo)的不同，對抗防御技術(shù)可以分為主動性防御和被動性防御兩類[60,61]，兩者之間的區(qū)別如圖11所示。主動性防御技術(shù)是深度識別模型的開發(fā)者主動進(jìn)行仿真攻擊發(fā)現(xiàn)模型缺陷，并對模型進(jìn)行魯棒性提升。模型開發(fā)者首先通過分析敵手對抗攻擊過程，建立對抗攻擊威脅模型；然后仿真不同攻擊目標(biāo)、攻擊知識、攻擊策略和攻擊能力情形下的攻擊樣式，對識別模型進(jìn)行對抗攻擊魯棒性評估；最后設(shè)計(jì)并開發(fā)相關(guān)手段對模型進(jìn)行加固，消除潛在的對抗風(fēng)險(xiǎn)。主動性防御技術(shù)的實(shí)現(xiàn)過程中不涉及真實(shí)的攻擊敵手，是模型開發(fā)者自我模擬博弈對抗過程。被動性防御技術(shù)涉及真實(shí)對抗場景中模型攻擊方與模型開發(fā)者之間的動態(tài)博弈進(jìn)化。一方面，深度識別模型的攻擊方通過分析模型的對抗脆弱性，設(shè)計(jì)并執(zhí)行對抗攻擊。為了達(dá)到更好的攻擊效果，對抗攻擊機(jī)理和樣式不斷演變，例如復(fù)合攻擊和自動化攻擊。另一方面，模型開發(fā)者通過分析對抗攻擊給識別模型帶來的多樣化影響，研究提出新的對抗防御方法，并及時(shí)更新識別系統(tǒng)安全措施。

圖11 對抗攻擊防御模型[60]Fig.11 Defense model for adversarial attacks[60]

3.3.2 對抗攻擊防御與檢測

根據(jù)防御策略的不同，對抗攻擊防御方法可以分為修改數(shù)據(jù)、修改模型和增加輔助模型等[26]，如圖12所示。修改數(shù)據(jù)類方法基本思想是通過在訓(xùn)練階段或測試階段修改數(shù)據(jù)及特征實(shí)現(xiàn)防御，典型方法包括通過圖像樣本重建消除對抗擾動、壓縮特征空間減小被攻擊概率、引入對抗樣本到訓(xùn)練集合中進(jìn)行模型重訓(xùn)練、易干擾特征添加掩模、利用數(shù)據(jù)的不同屬性關(guān)聯(lián)提取魯棒性特征、輸入圖像投影到訓(xùn)練數(shù)據(jù)流形等。修改模型類方法基本思想是修改從數(shù)據(jù)學(xué)習(xí)得到的模型結(jié)構(gòu)或參數(shù)信息實(shí)現(xiàn)防御，典型方法包括網(wǎng)絡(luò)蒸餾、網(wǎng)絡(luò)驗(yàn)證、梯度正則化、魯棒分類模型、可解釋性機(jī)器學(xué)習(xí)模型和模型安全性掩模等。增加輔助模型方法通過引入額外的網(wǎng)絡(luò)模型增強(qiáng)魯棒性，典型策略包括對抗樣本檢測網(wǎng)絡(luò)、多防御策略集成網(wǎng)絡(luò)、生成模型網(wǎng)絡(luò)等。

圖12 對抗攻擊典型防御方法分類[26]Fig.12 Taxonomy of defense methods for adversarial attack[26]

按照防御目標(biāo)和防御策略的不同，表2對典型對抗攻擊防御方法進(jìn)行了總結(jié)分析。如表2所示，所有的防御方法都是在假設(shè)特定對抗攻擊下進(jìn)行評估的，PGD通常被認(rèn)為是白盒攻擊場景下評估防御方法的一種有效基準(zhǔn)攻擊?；赑GD攻擊樣本的對抗訓(xùn)練防御策略目前是對大多數(shù)攻擊方法防御效果最好的一類防御方法。但是對抗訓(xùn)練會導(dǎo)致模型在干凈數(shù)據(jù)集上泛化性能的下降，此外對抗訓(xùn)練過程涉及最大最小優(yōu)化問題，訓(xùn)練過程十分耗時(shí)，在大規(guī)模數(shù)據(jù)集上的應(yīng)用受限。

表2 對抗攻擊防御方法Tab.2 Defense methods for adversarial attack

對抗樣本檢測方法可以看成是一類被動防御方法，對推理階段的所有測試樣本首先進(jìn)行診斷，判斷是否可能為惡意對抗樣本。對抗樣本檢測與深度模型預(yù)測不確定性、分布外檢測等領(lǐng)域緊密相關(guān)，核心思想是利用集成策略、度量方法、不一致性準(zhǔn)則和生成性方法在推理階段檢測可靠泛化區(qū)域外的異常樣本[122]。對抗樣本檢測4類典型方法的基本原理如圖13所示。集成檢測方法同時(shí)利用多個經(jīng)過不同訓(xùn)練過程的深度神經(jīng)網(wǎng)絡(luò)識別模型。在推理階段，多個識別模型分別獨(dú)立產(chǎn)生輸入數(shù)據(jù)的預(yù)測結(jié)果。多個網(wǎng)絡(luò)的預(yù)測輸出差別越大，那么該輸入樣本的決策錯誤可能性就越大。由于多個網(wǎng)絡(luò)的決策邊界之間存在差別，所以當(dāng)對抗樣本在分布內(nèi)并且靠近決策邊界時(shí)，該檢測策略效果較好。但是分布外對抗樣本或者特定類型的對抗樣本有可能在特征空間中遠(yuǎn)離決策邊界，對于這些對抗樣本需要采用其他的檢測方法。如果測試樣本的動態(tài)激活特性與訓(xùn)練數(shù)據(jù)集合中泛化區(qū)域內(nèi)的樣本動態(tài)激活特性相似，則度量檢測方法判斷該樣本為正常樣本；動態(tài)激活特性的大差異性表明對抗樣本在可靠泛化區(qū)域外。生成檢測方法是利用采用數(shù)據(jù)生成策略，判斷測試樣本是否在訓(xùn)練數(shù)據(jù)的生成流形上，通過計(jì)算偏移程度檢測對抗攻擊。度量檢測方法通常涉及輸入數(shù)據(jù)、多個隱含層、輸入輸出組合損失函數(shù)梯度等多個環(huán)節(jié)的變換比較。不一致性方法是采用圖像變換方法將一個測試樣本變換成多個不同版本，然后比較多版本增強(qiáng)圖像是否存在輸出不一致的問題，從而判斷測試樣本是否為對抗樣本。

圖13 對抗樣本檢測方法[122]Fig.13 Adversarial example detection methods[122]

3.4 對抗魯棒性評估進(jìn)展

為了嚴(yán)格評估深度神經(jīng)網(wǎng)絡(luò)的對抗魯棒性，文獻(xiàn)中已經(jīng)提出了大量評估準(zhǔn)則或基準(zhǔn)數(shù)據(jù)集[34,123–132]。防御評估的準(zhǔn)則主要有：針對敵手進(jìn)行防御、測試最壞情形下的魯棒性、以人類識別能力衡量深度模型的進(jìn)步等。防御評估的建議主要有：同時(shí)采用定向攻擊和非定向攻擊、進(jìn)行消融實(shí)驗(yàn)、多樣化測試設(shè)置、在多領(lǐng)域進(jìn)行防御評估、采用隨機(jī)性集成策略、利用遷移攻擊、提供魯棒性上限等?，F(xiàn)有的對抗攻防評價(jià)測度通常采用簡單的攻擊成功率或分類正確率指標(biāo)，導(dǎo)致模型輸出評估不充分。例如在特定擾動幅度下攻擊分類正確率不能衡量模型在對抗場景中的內(nèi)在行為特性。針對圖像分類任務(wù)中面向Lp范數(shù)約束對抗擾動和常見墮化擾動的深度模型魯棒性評估，文獻(xiàn)[127]提出了一組評估指標(biāo)，如表3所示。表3的評估指標(biāo)主要可以分為面向數(shù)據(jù)的評估測度和面向模型的評估測度，按照行為特性、架構(gòu)、對抗擾動、墮化擾動、攻擊知識和攻擊模型等維度對評估指標(biāo)進(jìn)行細(xì)化分解。由于模型魯棒性評估是采用一組擾動測試樣本進(jìn)行，因此首先采用神經(jīng)元覆蓋和數(shù)據(jù)不可感知度等面向數(shù)據(jù)的測度衡量測試樣本的完整性。其次，采用決策邊界距離變化、模型神經(jīng)元敏感性和不確定性、墮化性能等指標(biāo)評估模型在對抗場景中的動態(tài)特性。

在FUSAR-Ship數(shù)據(jù)集中我們通過人工選擇4類數(shù)據(jù)樣例數(shù)目較多、圖像質(zhì)量較好的SAR艦船目標(biāo)圖像420幅[59]，其中集裝箱船122幅、貨船158幅、漁船94幅和油輪46幅。每個類別選取80%樣本作為訓(xùn)練樣本，20%樣本作為測試樣本，選擇在該數(shù)據(jù)子集上對抗魯棒性較好[59]的ResNet101對4類白盒攻擊方法(FGSM,PGD,DeepFool,C&W)和2類黑盒攻擊(HSJA、單像素)方法進(jìn)行評估，其中FGSM,PGD攻擊無窮范數(shù)閾值設(shè)置為16，其他攻擊方法為最小擾動。從深度模型誤識別和擾動不可感知兩個方面，從表3中選取代表性指標(biāo)進(jìn)行評估，其量化評估見表4，其中，分類正確率指標(biāo)有：平均分類正確率、對抗類別平均置信度

表3 對抗魯棒性評估指標(biāo)體系[127]Tab.3 Adversarial evaluation for deep models[127]

表4 SAR艦船目標(biāo)識別深度模型對抗魯棒性評估實(shí)例[59]Tab.4 Adversarial robustness evaluation of deep models for SAR ship recognition[59]

(Average Confidence for Adversarial Class,ACAC)、正確類別平均置信度(Average Confidence for True Class,ACTC)；平均Lp失真度(Average Lp Distortion,ALDp)衡量對抗樣本與原始圖像間的p范數(shù)距離，值越小失真越小，代表攻擊效果更好；平均結(jié)構(gòu)相似度(Average Structural Similarity,ASS)衡量攻擊成功的對抗樣本與原始圖像間的自相似性，值越大代表對抗樣本越難以用人眼進(jìn)行識別；擾動敏感距離(Perturbation Sensitivity Distance,PSD)衡量人類感知擾動的指標(biāo)，值越小代表越難以被人類視覺察覺；誤分類與最大概率差(Noise Tolerance Estimation,NTE)衡量對抗樣本在保持錯誤分類不變的情況下所能忍受的噪聲，值越大代表攻擊方法更加穩(wěn)健。

4 開放性問題

深度卷積神經(jīng)網(wǎng)絡(luò)圖像識別模型的對抗魯棒性與其泛化性、安全性、隱私性和可解釋性等特性緊密相關(guān)，近年來在學(xué)術(shù)界和工業(yè)界都進(jìn)行了廣泛而深入的研究，大量研究成果不斷涌現(xiàn)，然而仍有許多開放性問題值得重點(diǎn)關(guān)注。

(1) 深度卷積神經(jīng)網(wǎng)絡(luò)識別模型的對抗脆弱性成因在理論上還需要進(jìn)一步深入研究[133–139]。目前關(guān)于對抗樣本在理論上為何存在及其特性描述等基礎(chǔ)性問題學(xué)術(shù)界研究還沒有形成統(tǒng)一的認(rèn)識。深度卷積神經(jīng)網(wǎng)絡(luò)圖像識別模型對抗魯棒性與模型泛化性、模型墮化噪聲魯棒性之間的關(guān)系在理論上和實(shí)踐中仍需進(jìn)一步研究。

(2) 利用無監(jiān)督數(shù)據(jù)提升深度識別模型的對抗魯棒性是未來重要研究方向[140–144]。目前對抗魯棒性最有效的提升方法是采用最大化模型損失的對抗樣本重訓(xùn)練深度網(wǎng)絡(luò)模型，對抗訓(xùn)練過程十分耗時(shí)。此外，魯棒深度識別模型的樣本采樣復(fù)雜度要比標(biāo)準(zhǔn)模型更高，因此需要更大規(guī)模的高質(zhì)量標(biāo)記數(shù)據(jù)集。在許多應(yīng)用領(lǐng)域中，大規(guī)模高質(zhì)量標(biāo)記數(shù)據(jù)集獲取不僅十分耗時(shí)，而且代價(jià)昂貴。充分挖掘無標(biāo)記數(shù)據(jù)中的潛在語義關(guān)系和因果關(guān)系將大大降低魯棒識別模型學(xué)習(xí)算法對標(biāo)記數(shù)據(jù)的嚴(yán)重依賴。圖14為本研究團(tuán)隊(duì)開展的基于無監(jiān)督對抗擾動的深度識別模型對抗魯棒性提升結(jié)果。在NWPU-RESISC45數(shù)據(jù)集上[145]，采用ResNet18網(wǎng)絡(luò)結(jié)構(gòu)[146]，利用 BYOL對比學(xué)習(xí)過程的梯度下降產(chǎn)生無監(jiān)督對抗擾動[147,148]，并最大化每個實(shí)例圖像與其無監(jiān)督對抗擾動版本間的相似性，構(gòu)造更加穩(wěn)健的預(yù)訓(xùn)練特征編碼網(wǎng)絡(luò)。特征編碼器的訓(xùn)練過程無需任何標(biāo)記數(shù)據(jù)，每個類別選取400幅圖像，訓(xùn)練過程不使用標(biāo)記信息。在經(jīng)過微調(diào)(每個類別選取200幅圖像進(jìn)行有監(jiān)督學(xué)習(xí))后，可以獲得魯棒性更強(qiáng)的識別模型。對比標(biāo)準(zhǔn)模型(每個類別選取600幅有監(jiān)督圖像進(jìn)行訓(xùn)練)和無監(jiān)督魯棒提升模型(每個類別選取400幅圖像進(jìn)行無監(jiān)督對抗對比預(yù)訓(xùn)練，200幅圖像進(jìn)行有監(jiān)督微調(diào))在正常樣本及PGD攻擊樣本的激活情況，可以看到：通過無監(jiān)督數(shù)據(jù)可以將深度模型的特征編碼更加聚焦在顯著目標(biāo)區(qū)域，減小非魯棒性特征對識別結(jié)果的影響。

圖14 無監(jiān)督數(shù)據(jù)提升對抗魯棒性Fig.14 Unlabeled data for improving adversarial robustness

(3) 多傳感器耦合對抗攻擊與防御將更具實(shí)際應(yīng)用價(jià)值[149–153]。在自動駕駛和軍事偵察等多種應(yīng)用場景同時(shí)存在光電和微波等多類圖像傳感器，現(xiàn)有的攻擊算法重點(diǎn)關(guān)注光電對抗智能擾動技術(shù)，很容易在其他波段暴露。深度學(xué)習(xí)在多源圖像處理任務(wù)結(jié)構(gòu)上的相似性會導(dǎo)致耦合攻擊風(fēng)險(xiǎn)。在So2Sat LCZ42標(biāo)準(zhǔn)數(shù)據(jù)集上[154]選擇居民區(qū)(訓(xùn)練樣本256幅，測試樣本266幅)、工業(yè)區(qū)(訓(xùn)練樣本860幅，測試樣本905幅)、林區(qū)(訓(xùn)練樣本2287幅，測試樣本2365幅)、沙地(訓(xùn)練樣本672幅，測試樣本570幅)和水體(訓(xùn)練樣本2609幅，測試樣本2530幅) 5類數(shù)據(jù)子集，數(shù)據(jù)子集中的示例圖像如圖15所示，第1行為地物空間分布示意，第2行為SAR樣例圖像，第3行為SAR樣例圖像對應(yīng)的光學(xué)圖像(已完成空間幾何配準(zhǔn))。

圖15 So2Sat LCZ42數(shù)據(jù)子集示例[154]Fig. 15 Examples images from the So2Sat LCZ42 dataset[154]

實(shí)驗(yàn)中選擇光學(xué)圖像(RGB波段)和SAR圖像(垂直極化)數(shù)據(jù)分別訓(xùn)練ResNet18模型，優(yōu)化器選用Adam優(yōu)化器，學(xué)習(xí)率設(shè)為10–3，batch_size大小設(shè)為256，得到光學(xué)識別模型和SAR識別模型。采用修改后的單像素對抗樣本生成方法[52]攻擊兩個識別模型，首先對初代種子的參數(shù)進(jìn)行初始化，其中噪聲點(diǎn)位置初始化為32×32圖像中均勻隨機(jī)分布，噪聲強(qiáng)度信息初始化服從高斯分布，初代投放100個種子，經(jīng)100次種群選擇，最終挑選出攻擊效果最佳的對抗樣本。如圖16所示，僅僅擾動同一個像素位置的數(shù)字值，光學(xué)圖像和SAR圖像添加的擾動幅度不同，便可以同時(shí)欺騙光學(xué)和SAR圖像識別模型。統(tǒng)計(jì)結(jié)果表明：在協(xié)同攻擊同一位置像素的情況下，可以將光學(xué)識別模型的正確率由92.36%降低到30.98%，同時(shí)將SAR識別模型的正確率由81.24%降低到42.07%。

圖16 多傳感器耦合對抗攻擊實(shí)例Fig.16 Adversarial attacks for multiple sensors

5 結(jié)語

基于深度卷積神經(jīng)網(wǎng)絡(luò)模型的新一代智能化圖像識別系統(tǒng)已逐步在醫(yī)療、安防、自動駕駛和軍事等安全敏感領(lǐng)域廣泛部署。然而現(xiàn)有深度識別模型依賴大規(guī)模高質(zhì)量的訓(xùn)練數(shù)據(jù)，只能提供有限的可靠性能保證，并且缺乏可解釋性，給模型在復(fù)雜電磁環(huán)境下強(qiáng)對抗場景中的實(shí)際應(yīng)用帶來嚴(yán)重安全隱患。本文從信息安全、對抗攻防威脅模型兩個方面系統(tǒng)總結(jié)了深度神經(jīng)網(wǎng)絡(luò)圖像識別模型對抗脆弱性成因與對抗魯棒性研究進(jìn)展，重點(diǎn)梳理了對抗樣本生成、主被動對抗防御、對抗魯棒性評估等方面的技術(shù)思路與典型方法，為下一步建立魯棒可信的高性能智能化圖像識別系統(tǒng)提供參考。