基于對抗訓(xùn)練增強(qiáng)模型魯棒性的新方法 ①

葉從玲

(安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，安徽 淮南 232001)

0 引 言

研究表明，防御性能對抗訓(xùn)練方法表現(xiàn)良好且應(yīng)用廣泛。近年來研究人員們提出許多對抗防御技術(shù)，如Goodfellow等人[1]提出基于梯度的攻擊算法FGSM(Fast Gradient Sign Method)，并最先使用對抗訓(xùn)練的概念，經(jīng)過FGSM對抗訓(xùn)練的模型可以使FGSM對抗樣本的攻擊成功率大大下降，但是其模型泛化性能差，只能防御FGSM對抗樣本。Madry等人[2]提出基于迭代的PGD(Project Gradient Descent)方法進(jìn)行對抗訓(xùn)練，經(jīng)過PGD對抗訓(xùn)練的模型能抵御一階L∞攻擊，但是由于迭代次數(shù)太多導(dǎo)致訓(xùn)練代價(jià)太高。針對這一問題Shafahi等人[3]進(jìn)一步對PGD方法進(jìn)行了改進(jìn)，其核心思想是高效利用一次計(jì)算過程產(chǎn)生的兩種梯度，但是該方法未能有效解決迭代次數(shù)過多的問題。Tramèr等人[4]提出集成對抗訓(xùn)練算法(Ensemble Adversarial Training)，該方法的提出緩解對抗訓(xùn)練模型易受黑盒攻擊的問題。Zhang等人[5]提出利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)降低梯度計(jì)算量的YOPO(You Only Propagate Once)方法，該方法通過傳播第一層來估計(jì)輸入的梯度。通過對樣本添加人類難以察覺的擾動(dòng)，會使深度學(xué)習(xí)模型以高置信度給出錯(cuò)誤的預(yù)測。這一現(xiàn)象給深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域帶來了極大安全威脅[10]。為了更好地防御對抗樣本的攻擊，需要構(gòu)建更加完善的對抗防御體系。

上述研究中提出的方法都未能在維持模型魯棒性的情況下降低計(jì)算成本，反而通過一系列的操作(如增加迭代次數(shù)，計(jì)算多次梯度等)增加了計(jì)算成本，我們采用基于FGSM隨機(jī)擾動(dòng)的對抗訓(xùn)練方法，通過引入周期學(xué)習(xí)率機(jī)制，在提高模型訓(xùn)練的效率和魯棒性的同時(shí)降低訓(xùn)練成本。

1 基本概念

1.1 對抗樣本

對抗樣本(Adversarial Examples)是攻擊者有意向原始樣本添加難以察覺的擾動(dòng)，使得深度學(xué)習(xí)模型出現(xiàn)顯著的準(zhǔn)確率降低現(xiàn)象。輸入樣本通常包含原始圖片--類別標(biāo)簽對，由于對抗樣本是在原始圖片的基礎(chǔ)上添加擾動(dòng)變換得到且這種變換只針對的圖片，與類別標(biāo)簽無關(guān)。因此我們提出的方法主要強(qiáng)調(diào)不含類別標(biāo)簽的對抗樣本特性。簡單來說，如果有一個(gè)目標(biāo)分類器模型C和一個(gè)原始樣本S(未添加噪聲)，假設(shè)S被C正確分類，即C(S)=ytrue。此時(shí)對輸入樣本添加一定程度的擾動(dòng)，得到S'。S'與S幾乎相同，但是C(S')≠ytrue，這樣的樣本S'稱之為對抗樣本。

1.2 對抗訓(xùn)練

對抗訓(xùn)練(Adversarial Training)是最為直觀的對抗樣本防御方法，主要思想是將原始樣本和對抗樣本一起作為訓(xùn)練數(shù)據(jù)對模型進(jìn)行訓(xùn)練，以此提高模型對對抗樣本的魯棒性。以下介紹幾種目前較為主流的對抗訓(xùn)練方法。

1.2.1 FGSM對抗訓(xùn)練

2015年，Goodfellow等人[1]首次提出了基于對抗訓(xùn)練的防御方法--FGSM，他們采用FGSM方法來構(gòu)造對抗樣本，通過對原始樣本和對抗樣本共同的損失函數(shù)優(yōu)化來對模型的參數(shù)進(jìn)行更新，其對抗訓(xùn)練定義如式(1)所示：

(1-γ)J(θ,x+αsign(?xJ(θ,x,y))

(1)

其中γ為超參數(shù)，用來調(diào)節(jié)兩個(gè)損失函數(shù)的比重。該方法訓(xùn)練得到的模型僅僅針對基于FGSM方法構(gòu)造的對抗樣本具有較好的防御性能，無法防御其他攻擊算法構(gòu)造的對抗樣本，模型的防御能力非常有限。因此在使用對抗訓(xùn)練方法時(shí)，需強(qiáng)調(diào)對抗樣本的多樣性，以滿足訓(xùn)練模型具備對多種攻擊算法有較好的泛化性能。

1.2.2 PGD對抗訓(xùn)練

為解決基于迭代方法生成的對抗樣本攻擊，Madry等人[2]提出PGD對抗訓(xùn)練方法，并從魯棒優(yōu)化的角度研究模型的對抗魯棒性以及給出對抗魯棒性的統(tǒng)一觀點(diǎn)。對抗樣本的攻擊防御問題總結(jié)如式(2)所示：

minρ(θ),whereρ(θ)=Ε(x,y)～D[maxδ∈SJ(θ,x+δ,y)]

(2)

其中x為原始樣本，δ為擾動(dòng)信息，S為擾動(dòng)信息的集合，y為原始樣本x的正確標(biāo)簽，D是數(shù)據(jù)(x,y)滿足的分布，θ是模型參數(shù)。對式(2)的優(yōu)化可分別從攻擊者和防御者的角度展開。攻擊者希望內(nèi)部的損失函數(shù)最大化，目的是找出有效的對抗樣本。防御者希望外部的優(yōu)化問題最小化，目的是減小對抗樣本造成的損失函數(shù)升高?；赑GD對抗訓(xùn)練方法所得到的模型能夠有效防御多種類型攻擊，然而該方法存在嚴(yán)重的缺陷，即生成PGD對抗樣本的成本太高。

2 算法實(shí)現(xiàn)

2.1 算法描述

雖然PGD方法有利于實(shí)現(xiàn)內(nèi)部損失函數(shù)最大化，但是由于其模型在訓(xùn)練過程一般要經(jīng)歷三重循環(huán)，總的循環(huán)次數(shù)為T*M*N(PGD迭代次數(shù)為N)，從而造成訓(xùn)練成本的增加。實(shí)現(xiàn)高效穩(wěn)定的對抗訓(xùn)練機(jī)制關(guān)鍵在于減少內(nèi)部尋找最優(yōu)擾動(dòng)的迭代次數(shù)，PGD本質(zhì)上是多次FGSM擾動(dòng)的結(jié)果，如果使用FGSM擾動(dòng)算法代替PGD擾動(dòng)算法可以將多次迭代次數(shù)降低到只有一次。但是基于FGSM的對抗訓(xùn)練方法同樣存在缺陷，它只能防御通過FGSM方式構(gòu)造的對抗樣本。研究表明基于FGSM對抗訓(xùn)練方法泛化性能不佳的主要原因是其樣本多樣性不足，在進(jìn)行訓(xùn)練時(shí)，其擾動(dòng)幅度和范圍有統(tǒng)一的規(guī)范和限制。

我們引入基于隨機(jī)擾動(dòng)的對抗訓(xùn)練方法可以緩解樣本的多樣性問題。首先隨機(jī)初始化擾動(dòng)使其服從均勻分布；其次利用初始化擾動(dòng)和擾動(dòng)所得的梯度值，按照不同權(quán)重組合得到最終的梯度值；再次更新擾動(dòng)并將其限制在一定范圍內(nèi)；最后更新模型的參數(shù)。利用這種方法，可以一定程度上豐富對抗樣本的多樣性。由算法1可知，基于隨機(jī)擾動(dòng)的對抗訓(xùn)練方法可以很大程度減少迭代次數(shù)，降低訓(xùn)練成本。

算法1 基于隨機(jī)擾動(dòng)的對抗訓(xùn)練 輸入:訓(xùn)練次數(shù)T,擾動(dòng)幅度α,批量大小M,閾值∈,目標(biāo)模型fθ,超參數(shù)γ(通常設(shè)為0.3)輸出:θ初始化:初始化參數(shù)θ for t=1 … T do for i=1 … M doδ=Uniform(-∈,∈) // 隨機(jī)初始化擾動(dòng)δ=γδ+(1-γ)αsign(‰δJ(fθ(xi+δ),yi)) // 更新擾動(dòng)δ=max(min(δ,∈),-∈) // 將擾動(dòng)限制在一定范圍內(nèi)θ=θ-‰θJ(fθ(xi+δ),yi) // 更新模型參數(shù) end for end for return θ // 返回模型參數(shù)

2.2 周期性學(xué)習(xí)率

學(xué)習(xí)率是訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)最重要的超參數(shù)，合適的學(xué)習(xí)率對訓(xùn)練模型的精度和效率具有決定作用。學(xué)習(xí)率較大可加快梯度更新模型的速度，但是模型難以收斂；較小則會減緩模型收斂速度，因?yàn)榇藭r(shí)模型可能收斂到一個(gè)局部最優(yōu)點(diǎn)或者鞍點(diǎn)。目前學(xué)習(xí)率更新方法可分為三類：逐漸衰減策略、自適應(yīng)調(diào)整策略[6, 7]以及周期性重啟學(xué)習(xí)率調(diào)整策略[8, 9]。

為更大程度優(yōu)化基于隨機(jī)擾動(dòng)的對抗訓(xùn)練方法的訓(xùn)練過程，引入周期性學(xué)習(xí)率機(jī)制，該機(jī)制由Leslie 等人提出[8]，具體步驟是先設(shè)置學(xué)習(xí)率的區(qū)間，然后在訓(xùn)練過程中學(xué)習(xí)率按照此區(qū)間進(jìn)行周期性變化，而不是固定的值。發(fā)生周期變化的學(xué)習(xí)率有助于模型在訓(xùn)練過程中跳出局部最低點(diǎn)和鞍點(diǎn)。鞍點(diǎn)相比于局部最低點(diǎn)更加阻礙模型的收斂。

通常情況下周期性學(xué)習(xí)率機(jī)制會涉及到3個(gè)主要參數(shù)：最大學(xué)習(xí)率、最小學(xué)習(xí)率以及步長，具體的取值需要根據(jù)模型的結(jié)構(gòu)和數(shù)據(jù)集的類型進(jìn)行設(shè)定。實(shí)驗(yàn)部分采用周期性學(xué)習(xí)率機(jī)制與Adam機(jī)制相結(jié)合的方法，設(shè)定迭代次數(shù)為20，最大學(xué)習(xí)率為0.05，最小學(xué)習(xí)率為0.005，每個(gè)周期初始學(xué)習(xí)率的設(shè)置如圖1所示。

圖1 周期學(xué)習(xí)率變化情況

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)準(zhǔn)備

本節(jié)驗(yàn)證基于隨機(jī)擾動(dòng)的對抗訓(xùn)練方法性能，下面將對實(shí)驗(yàn)的具體設(shè)置和操作進(jìn)行說明：實(shí)驗(yàn)環(huán)境為Google Colab云平臺，編程語言為Python3.8,深度學(xué)習(xí)框架為PyTorch。實(shí)驗(yàn)采用的數(shù)據(jù)集為FashionMNIST。FashionMNIST數(shù)據(jù)集包含10類共7萬個(gè)不同商品的正面圖像。將數(shù)據(jù)集分為10000個(gè)測試樣本和60000個(gè)訓(xùn)練樣本，每個(gè)樣本包括一張28*28的灰度圖像。

3.2 周期性學(xué)習(xí)率機(jī)制

通過實(shí)驗(yàn)驗(yàn)證引入周期性學(xué)習(xí)率機(jī)制對模型訓(xùn)練過程的有效性，該實(shí)驗(yàn)比較兩種不同情況下的模型擬合效果：(1)僅使用Adam機(jī)制，學(xué)習(xí)率為0.03；(2)使用周期性學(xué)習(xí)率與Adam機(jī)制相結(jié)合的方式，最大學(xué)習(xí)率為0.05，最小學(xué)習(xí)率為0.005，初始學(xué)習(xí)率變化情況參照圖1。

在FashionMNIST數(shù)據(jù)集上進(jìn)行測試，其中參數(shù)α設(shè)置為0.15，∈設(shè)置為0.1。實(shí)驗(yàn)結(jié)果表明(如圖2，圖3所示)，基于Adam機(jī)制在迭代到第8輪之后趨于穩(wěn)定狀態(tài)；采用Adam+CLR訓(xùn)練的模型收斂速度還是較慢，但是在迭代次數(shù)接近14次時(shí)，Adam+CLR訓(xùn)練的模型的擬合效果逐漸超過Adam訓(xùn)練模型。同樣在FashionMNIST測試集上預(yù)測精確度時(shí)(如圖4所示)，基于Adam+CLR機(jī)制的訓(xùn)練過程較為穩(wěn)定，且最終的擬合效果要優(yōu)于Adam機(jī)制。

圖2 FashionMNIST訓(xùn)練集損失

圖3 FashionMNIST訓(xùn)練集預(yù)測精確度

圖4 FashionMNIST測試集預(yù)測精確度

綜上所述，通過引入周期性學(xué)習(xí)率機(jī)制，能夠有效的提高對抗訓(xùn)練過程的穩(wěn)定性和擬合效果，在給定的區(qū)間間隔內(nèi)使用周期性變化的學(xué)習(xí)率有助于模型在訓(xùn)練過程中跳出局部最低點(diǎn)和鞍點(diǎn)，進(jìn)而解決較小的學(xué)習(xí)率通常不能產(chǎn)生足夠的梯度變化來跳出該點(diǎn)或需要消耗較大時(shí)間代價(jià)的問題。

3.3 對抗訓(xùn)練方法對比

需要解決的核心問題是降低對抗訓(xùn)練的成本，同時(shí)保證訓(xùn)練所得的模型性能不受影響。下面的實(shí)驗(yàn)分別從訓(xùn)練成本和模型性能兩個(gè)方面來對我們提出的方法進(jìn)行比較和評估?；赑GD對抗訓(xùn)練方法作為參考對象。對于FashionMNIST數(shù)據(jù)集，PGD對抗訓(xùn)練的參數(shù)設(shè)置：α=0.15，∈=0.1，N=7，優(yōu)化算法為Adam，學(xué)習(xí)率為0.3?；陔S機(jī)擾動(dòng)的對抗訓(xùn)練機(jī)制的實(shí)驗(yàn)參數(shù)設(shè)置與實(shí)驗(yàn)3.2相同。實(shí)驗(yàn)過程中，使用對抗樣本來對模型泛化性能進(jìn)行測試，對抗樣本由PGD算法產(chǎn)生。

對于訓(xùn)練成本，主要關(guān)注模型訓(xùn)練的時(shí)間。基于隨機(jī)擾動(dòng)的對抗樣本訓(xùn)練機(jī)制內(nèi)部采用隨機(jī)初始化和FGSM，不需要進(jìn)行迭代，從而大幅度降低訓(xùn)練時(shí)間。具體的實(shí)驗(yàn)結(jié)果如表1所示，這里比較每一輪迭代所需要的平均時(shí)間(時(shí)間越低意味訓(xùn)練成本越低)，當(dāng)PGD迭代次數(shù)N=7時(shí)，PGD對抗訓(xùn)練所需要的時(shí)間是隨機(jī)擾動(dòng)對抗訓(xùn)練的4倍左右。PGD迭代次數(shù)為N，而FGSM僅為一次迭代，理論上來講，基于隨機(jī)擾動(dòng)的對抗訓(xùn)練方法所需要的時(shí)間約為PGD對抗訓(xùn)練的1/N。

表1 訓(xùn)練時(shí)間

表2 對抗魯棒性

在模型性能方面，主要關(guān)注經(jīng)過對抗訓(xùn)練所得的模型對于對抗樣本的魯棒性。在FashionMNIST數(shù)據(jù)集上(如圖5所示)，雖然兩種對抗訓(xùn)練方法都有一定程度的震蕩，但是基于隨機(jī)擾動(dòng)對抗訓(xùn)練方法稍微平緩一些，且整體趨勢是不斷上升的。表2展示了各個(gè)模型最終的預(yù)測精確度。

總的來說，所提出的基于隨機(jī)擾動(dòng)的對抗訓(xùn)練方法在減少訓(xùn)練成本、提高模型泛化性能等方面均優(yōu)于PGD對抗訓(xùn)練方法。

圖5 FashionMNIST數(shù)據(jù)集的模型性能

4 結(jié) 語

對抗樣本的防御采用對抗訓(xùn)練方法能提高模型的魯棒性，但隨之而來的問題是訓(xùn)練成本大大增加，并且模型的泛化性能也會降低。針對以上問題，提出基于隨機(jī)擾動(dòng)的對抗訓(xùn)練方法：采用基于FGSM的隨機(jī)擾動(dòng)方法生成對抗樣本，接著將隨機(jī)擾動(dòng)生成的對抗樣本與原始樣本用作訓(xùn)練集一起訓(xùn)練模型，并在訓(xùn)練過程中引入周期學(xué)習(xí)率機(jī)制。實(shí)驗(yàn)結(jié)果表明，我們提出的方法在訓(xùn)練過程中擬合效果以及穩(wěn)定性比Adam機(jī)制更好，訓(xùn)練時(shí)間僅需PGD對抗訓(xùn)練的1/4，理論上訓(xùn)練時(shí)間約為PGD對抗訓(xùn)練的1/N(N為迭代次數(shù))，同時(shí)基于隨機(jī)擾動(dòng)的對抗訓(xùn)練方法訓(xùn)練所得的模型對于對抗樣本的魯棒性優(yōu)于PGD對抗訓(xùn)練，證明我們提出的方法訓(xùn)練成本低且模型性能好。由于平臺資源有限，無法在更復(fù)雜的數(shù)據(jù)集中進(jìn)行測試，在今后的工作中，將會對更復(fù)雜的數(shù)據(jù)集進(jìn)行深入研究。