一種半監(jiān)督對(duì)抗魯棒模型無(wú)關(guān)元學(xué)習(xí)方法

胡彬，王曉軍，張雷

（1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，南京 210023；2.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，南京 210023）

0 概述

近年來(lái)，深度學(xué)習(xí)技術(shù)利用大數(shù)據(jù)在圖像分類、語(yǔ)音識(shí)別等領(lǐng)域取得顯著成果，這些技術(shù)需要大量帶標(biāo)注的高質(zhì)量數(shù)據(jù)，但在某些現(xiàn)實(shí)場(chǎng)景中，有些類別只有少量數(shù)據(jù)或少量標(biāo)注樣本數(shù)據(jù)。少樣本學(xué)習(xí)（Few-Shot Learning，F(xiàn)SL）［1］的目標(biāo)是設(shè)計(jì)一個(gè)只需少量樣例就可以快速認(rèn)知新任務(wù)的模型，但是，基于梯度下降的優(yōu)化算法在被應(yīng)用于少樣本學(xué)習(xí)時(shí)會(huì)失效，可能的原因有［2］：少樣本學(xué)習(xí)問(wèn)題的訓(xùn)練數(shù)據(jù)量較小，在模型訓(xùn)練中參數(shù)更新次數(shù)受到限制，傳統(tǒng)基于梯度優(yōu)化的算法（如ADAM［3］、Adagrad［4］等）無(wú)法在這種情況下尋找到最優(yōu)參數(shù)；對(duì)于每個(gè)數(shù)據(jù)集，網(wǎng)絡(luò)參數(shù)必須從隨機(jī)初始化開(kāi)始，這嚴(yán)重影響了網(wǎng)絡(luò)優(yōu)化速度。為緩解上述問(wèn)題，文獻(xiàn)［5］總結(jié)了基于模型微調(diào)［6］、基于數(shù)據(jù)增強(qiáng)［7-9］和基于遷移學(xué)習(xí)［10-12］的三類方法。其中，遷移學(xué)習(xí)的主要思想是利用舊知識(shí)來(lái)學(xué)習(xí)新知識(shí)，并將已經(jīng)學(xué)會(huì)的知識(shí)很快地遷移到一個(gè)新的領(lǐng)域中。遷移學(xué)習(xí)由于只需源領(lǐng)域和目標(biāo)領(lǐng)域存在一定關(guān)聯(lián)，就能實(shí)現(xiàn)知識(shí)在不同領(lǐng)域之間的遷移，因此成為目前主流的應(yīng)用選擇之一。

元學(xué)習(xí)（Meta-Learning）是基于遷移學(xué)習(xí)的一種解決方案，其目的是“學(xué)會(huì)學(xué)習(xí)”（Learning to Learn）［13］。元學(xué)習(xí)希望從大量相似的小任務(wù)中學(xué)習(xí)一些元知識(shí)，并使用這些元知識(shí)來(lái)指導(dǎo)模型快速適應(yīng)新任務(wù)。一些元學(xué)習(xí)算法在少樣本學(xué)習(xí)中取得了較好的效果，如FINN等［14］在2017 年提出的模型無(wú)關(guān)元學(xué)習(xí)（Model-Agnostic Meta-Learning，MAML）算 法。MAML 算法以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)模型，在大量相似任務(wù)中進(jìn)行元學(xué)習(xí)，以找到對(duì)各任務(wù)都較為通用的初始化參數(shù)，MAML 訓(xùn)練出的模型也被稱為元模型。當(dāng)新任務(wù)來(lái)臨時(shí)，僅用少量標(biāo)注訓(xùn)練樣本微調(diào)元模型，便可讓損失函數(shù)快速收斂，以使模型適應(yīng)新的學(xué)習(xí)任務(wù)。MAML 不僅可以用來(lái)解決少樣本分類問(wèn)題，還可用于強(qiáng)化學(xué)習(xí)、回歸等問(wèn)題。但是，GOLDBLUM等［15］發(fā)現(xiàn)MAML 等元學(xué)習(xí)器的對(duì)抗魯棒性較弱，很容易受到對(duì)抗樣本的影響，尤其是一些惡意設(shè)計(jì)的對(duì)抗擾動(dòng)，能夠讓自動(dòng)駕駛失效［16］，讓目標(biāo)檢測(cè)或人臉識(shí)別系統(tǒng)失靈等［17］，如果系統(tǒng)無(wú)法應(yīng)對(duì)，會(huì)造成極大危害。

YIN等［18］發(fā)現(xiàn)將干凈樣本與對(duì)抗樣本簡(jiǎn)單混合后，采用MAML 訓(xùn)練元模型時(shí)該模型并不能有效工作，于是提出對(duì)抗元學(xué)習(xí)（Adversarial Meta-Learner，ADML）算法。ADML 的關(guān)鍵思想是利用干凈樣本與對(duì)抗樣本之間的相關(guān)性，使任務(wù)訓(xùn)練和元更新相互對(duì)抗，以改善模型魯棒性，但是，這種交替訓(xùn)練網(wǎng)絡(luò)的方式，使得ADML 的訓(xùn)練代價(jià)昂貴。在另一項(xiàng)工作中，GOLDBLUM等［15］將對(duì)抗訓(xùn)練與MAML 相結(jié)合，提出對(duì)抗性查詢（Adversarial Querying，AQ）算法，在訓(xùn)練時(shí)使用快速梯度符號(hào)方法（Fast Gradient Sign Method，F(xiàn)GSM）［19］生成對(duì)抗樣本，測(cè)試時(shí)使用投影梯度下降（Projected Gradient Descent Attack，PGD）算法［20］生成對(duì)抗樣本。然而，AQ 僅在有監(jiān)督下工作，對(duì)于如何利用未標(biāo)注樣本則沒(méi)有進(jìn)一步研究。

WANG等［21］提出魯棒增強(qiáng)模型無(wú)關(guān)元學(xué)習(xí)（Robustness-promoting MAML，R-MAML）算法，將AQ 考慮為R-MAML 的一種特殊情況，其半監(jiān)督版本R-MAML-TRADES 將額外的未標(biāo)注數(shù)據(jù)引入元學(xué)習(xí)以提升元模型的對(duì)抗魯棒性。但是，REN等［22］認(rèn)為將未標(biāo)注數(shù)據(jù)引入元學(xué)習(xí)中，應(yīng)當(dāng)考慮兩種場(chǎng)景：一是每個(gè)任務(wù)中的未標(biāo)注樣本與同一任務(wù)的已標(biāo)注樣本具有相同的類分布；二是該任務(wù)中的部分未標(biāo)注樣本不屬于訓(xùn)練集中任何一類，未標(biāo)注數(shù)據(jù)包含了在標(biāo)注訓(xùn)練集中未見(jiàn)過(guò)的類。

R-MAML-TRADES 在引入未標(biāo)注樣本時(shí)，隱式地假設(shè)每個(gè)未標(biāo)注樣本與當(dāng)前任務(wù)中的已標(biāo)注樣本屬于同一組類，即場(chǎng)景A，這種假設(shè)在現(xiàn)實(shí)場(chǎng)景中難以成立。REN等［22］針對(duì)上述兩種場(chǎng)景，擴(kuò)展原型網(wǎng)絡(luò)（Prototypical Networks）算法［23］，提出掩碼軟聚類（Masked soft K-Means）算法，將未見(jiàn)過(guò)類未標(biāo)注樣本作為干擾項(xiàng)剔除，但其沒(méi)有考慮元學(xué)習(xí)器的對(duì)抗魯棒問(wèn)題。

本文針對(duì)模型無(wú)關(guān)元學(xué)習(xí)算法與半監(jiān)督對(duì)抗元學(xué)習(xí)存在的不足，提出一種半監(jiān)督對(duì)抗魯棒模型無(wú)關(guān)元學(xué)習(xí)（semi-supervised Adversarially Robust Model-Agnostic Meta-Learning，semi-ARMAML）算法進(jìn)行模型訓(xùn)練，該模型僅使用少量標(biāo)注數(shù)據(jù)訓(xùn)練迭代即可快速適應(yīng)新任務(wù)。具體地，本文提出一種有效的對(duì)抗魯棒正則化元學(xué)習(xí)方法，在微調(diào)過(guò)程與元更新過(guò)程的目標(biāo)函數(shù)中均引入對(duì)抗魯棒正則項(xiàng)，以提高元學(xué)習(xí)器的對(duì)抗魯棒性能。在元更新過(guò)程的目標(biāo)函數(shù)中引入基于信息熵的任務(wù)無(wú)偏正則項(xiàng)，從而緩解元模型在訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合的問(wèn)題。在元更新過(guò)程的目標(biāo)函數(shù)中還使用未標(biāo)記的集合來(lái)計(jì)算對(duì)抗魯棒正則化項(xiàng)，并允許未標(biāo)注數(shù)據(jù)包含標(biāo)注訓(xùn)練集中未見(jiàn)過(guò)的類，以獲得更為通用且對(duì)抗魯棒的元模型。

1 semi-ARMAML 算法

本文semi-ARMAML 算法的目標(biāo)是采用半監(jiān)督學(xué)習(xí)與對(duì)抗訓(xùn)練的方式來(lái)訓(xùn)練一個(gè)模型，該模型僅使用少量標(biāo)注數(shù)據(jù)訓(xùn)練迭代即可快速適應(yīng)新任務(wù)，并且還擁有較高的對(duì)抗魯棒性能，在半監(jiān)督場(chǎng)景B下同樣適用。

1.1 問(wèn)題定義

假設(shè)任務(wù)Ti是一個(gè)從任務(wù)分布p(T)中取樣的NwayK-shot 分類任務(wù)，每個(gè)任務(wù)數(shù)據(jù)集中共有N個(gè)類別，每個(gè)類別只有K個(gè)標(biāo)注樣本。任務(wù)Ti被劃分為支撐集（support set）和查詢集（query set）。為簡(jiǎn)單起見(jiàn)，將元模型表示為由θ參數(shù)化的函數(shù)fθ(x)，其將輸入樣本x映射到離散標(biāo)簽y∈{1，2，…，N}上。

數(shù)據(jù)集D來(lái)自一個(gè)任務(wù)分布p(T)，其類別被劃分為3 個(gè)類別集合，分別為訓(xùn)練集類集合Ctrain、未見(jiàn)過(guò)類集合Cunseen與測(cè)試集類集合Ctest，3 個(gè)類集合不相交。將數(shù)據(jù)集D也劃分為3 個(gè)集合，分別為訓(xùn)練集Dtrain={(x，y)|x∈D，y∈Ctrain}、未見(jiàn)過(guò)類訓(xùn)練集Dunseen={(x，y)|x∈D，y∈Cunseen} 與測(cè)試集Dtest={(x，y)|x∈D，y∈Ctest}。為構(gòu)建任務(wù)Ti的訓(xùn)練集，首先從Ctrain中抽取包含N類的子集，然后再?gòu)臄?shù)據(jù)集Dtrain中抽取支撐集與查詢集包含來(lái)自中每個(gè)類別的K個(gè)樣本包含來(lái)自相同N類且不屬于的樣本。

semi-ARMAML 的元訓(xùn)練過(guò)程與MAML 相似，也采用雙層學(xué)習(xí)過(guò)程，即任務(wù)微調(diào)過(guò)程（內(nèi)循環(huán)）與元更新過(guò)程（外循環(huán)）。內(nèi)循環(huán)得到任務(wù)的最優(yōu)參數(shù)，外循環(huán)將內(nèi)循環(huán)期間得到的模型組合起來(lái)，形成一個(gè)更通用的元模型。

1.2 對(duì)抗魯棒正則項(xiàng)

對(duì)抗魯棒性本質(zhì)上是要求模型對(duì)于輸入的微小擾動(dòng)應(yīng)有一個(gè)穩(wěn)定的輸出，這表現(xiàn)為最小化擾動(dòng)樣本和干凈樣本的預(yù)測(cè)概率分布之間的差異，因此，semi-ARMAML 在任務(wù)微調(diào)過(guò)程和元更新過(guò)程中同時(shí)引入對(duì)抗性魯棒正則化方法。

其中：={(x，xadv)|x∈D}是數(shù)據(jù)集D對(duì)應(yīng)的對(duì)抗樣本集；E為g(x，xadv；θ)的期望；θ為模型參數(shù)；g(x，xadv；θ)根據(jù)樣本是否帶標(biāo)注進(jìn)行處理，對(duì)于標(biāo)注樣本，g(x，xadv；θ)測(cè)量xadv的預(yù)測(cè)概率分布和真實(shí)概率分布之間的差異，即fθ對(duì)xadv的預(yù)測(cè)值和x的真實(shí)標(biāo)簽y之間的交叉熵，對(duì)于未標(biāo)注樣本，借鑒虛擬對(duì)抗訓(xùn)練（Virtual Adversarial Training，VAT）［24］，g(x，xadv；θ)測(cè)量fθ對(duì)xadv的預(yù)測(cè)值和x的虛擬標(biāo)簽fθ(x)之間的均方誤差。該損失函數(shù)的目的是希望參數(shù)模型fθ(xadv)逼近真實(shí)分布，使得元模型對(duì)輸入足夠平滑，降低模型對(duì)輸入擾動(dòng)的敏感性，平滑決策邊界，提升模型在對(duì)抗樣本上的識(shí)別率。

1.3 任務(wù)無(wú)偏熵正則項(xiàng)

為了防止元模型fθ在某些訓(xùn)練任務(wù)中過(guò)擬合，本文采用基于信息熵實(shí)現(xiàn)的任務(wù)無(wú)偏正則項(xiàng)entmax-min［25］，計(jì)算如下：

1.4 算法描述

1.4.1 任務(wù)微調(diào)過(guò)程

在任務(wù)微調(diào)期間，根據(jù)梯度及步長(zhǎng)α微調(diào)每個(gè)任務(wù){(diào)Ti}0≤i≤m，更新特定于該任務(wù)的最優(yōu)參數(shù)

1.4.2 元更新過(guò)程

由于與Ti中已標(biāo)注樣本類別不一致，因此本文使用“通用”的初始化參數(shù)θ進(jìn)行預(yù)測(cè)，而不使用依賴特定于當(dāng)前任務(wù)Ti的最優(yōu)參數(shù)。R()和R(，θ)的作用與內(nèi)循環(huán)中對(duì)抗魯棒正則項(xiàng)類似，不僅將樣本映射到其目標(biāo)分類，而且使元模型在對(duì)抗樣本集上具有相似的表現(xiàn)。

semi-ARMAML 期望模型fθ以相等的概率預(yù)測(cè)新任務(wù)中的樣本標(biāo)簽，采用式（3）計(jì)算上的entmax-min，以緩解模型在訓(xùn)練數(shù)據(jù)上的過(guò)擬合問(wèn)題，找到更通用的初始化參數(shù)。semi-ARMAML 的偽代碼如算法1 所示。

算法1semi-ARMAML 算法

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)選用MiniImageNet 和CIFAR-FS 數(shù)據(jù)集測(cè)試算法性能，MiniImageNet 是ImageNet 的一個(gè)精縮版本，2 個(gè)圖像數(shù)據(jù)集的概況如表1 所示。

表1 數(shù)據(jù)集信息Table 1 Datasets information

本文分別為2 個(gè)數(shù)據(jù)集從100 個(gè)類中預(yù)留16 個(gè)類數(shù)據(jù)作為未見(jiàn)過(guò)類數(shù)據(jù)。在MiniImageNet 數(shù)據(jù)集實(shí)驗(yàn)中，從ImageNet 數(shù)據(jù)集中為每個(gè)訓(xùn)練類挑選600 個(gè)未標(biāo)注數(shù)據(jù)，并將圖片調(diào)整為84×84×3 大小；在CIFAR-FS 數(shù)據(jù)集實(shí)驗(yàn)中，從STL-10 數(shù)據(jù)集中為每個(gè)訓(xùn)練類挑選600 個(gè)未標(biāo)注數(shù)據(jù)，將圖片調(diào)整為32×32×3 大小。在任務(wù)微調(diào)過(guò)程中，設(shè)置梯度更新次數(shù)S=5，α=0.02；在元更新過(guò)程中，查詢集中設(shè)置每類15 個(gè)樣本，梯度步長(zhǎng)設(shè)置為β=0.001。在元訓(xùn)練過(guò)程中使用FGSM 生成對(duì)抗樣本集，元測(cè)試過(guò)程中使用10 步PGD 生成對(duì)抗樣本集。

如不特別說(shuō)明，λe取值為1，semi-ARMAML 實(shí)驗(yàn)均在半監(jiān)督場(chǎng)景B 下進(jìn)行，訓(xùn)練運(yùn)行紀(jì)元數(shù)epoch=60 000。在MiniImageNet 數(shù)據(jù)集實(shí)驗(yàn)中，訓(xùn)練時(shí)?=2，元測(cè)試時(shí)?=2，λout1=8，λout2=8，λin=1；在CIFAR-FS 數(shù)據(jù)集實(shí)驗(yàn)中，訓(xùn)練時(shí)?=2，元測(cè)試時(shí)?=8，λout1=10，λout2=10，λin=1。

2.2 評(píng)價(jià)指標(biāo)

本文測(cè)試semi-ARMAML 的以下特性：

1）可以同時(shí)有效識(shí)別對(duì)抗樣本和干凈樣本。

2）在半監(jiān)督場(chǎng)景下，能夠進(jìn)一步提升模型的對(duì)抗魯棒性，而在未標(biāo)注樣本中混入未見(jiàn)過(guò)類數(shù)據(jù)時(shí)，分類性能不會(huì)受到較大影響。

為評(píng)價(jià)模型性能，分別測(cè)試標(biāo)準(zhǔn)正確率（Standard Accuracy，SA）和魯棒正確率（Robustness Accuracy，RA）。SA 表示在干凈樣本數(shù)據(jù)集上的模型性能，RA 表示在對(duì)抗樣本數(shù)據(jù)集上的模型對(duì)抗魯棒性能。

2.3 對(duì)抗魯棒正則項(xiàng)對(duì)算法性能的影響

首先分析魯棒正則項(xiàng)對(duì)算法性能是否產(chǎn)生正面影響。在表2 中：out 表示僅在元更新時(shí)加入正則項(xiàng)，訓(xùn)練任務(wù)的微調(diào)過(guò)程與新任務(wù)適應(yīng)過(guò)程都不加入正則項(xiàng)，即λin=0；in+out 表示在新任務(wù)適應(yīng)與訓(xùn)練任務(wù)的微調(diào)過(guò)程都加入正則項(xiàng)，即λin=1。λout1、λout2均設(shè)置為1，最優(yōu)結(jié)果加粗標(biāo)注。

表2 對(duì)抗魯棒正則項(xiàng)對(duì)算法性能的影響Table 2 Influence of adversarial robust regularization term on algorithm performance %

從表2 可以看出，盡管在微調(diào)階段加入正則項(xiàng)會(huì)增加一定的計(jì)算代價(jià)，但是除了5-way 1-shot 的RA 性能沒(méi)有提高外，其余實(shí)驗(yàn)的SA 與RA 均有一定程度的提高，因?yàn)樵谌蝿?wù)適應(yīng)階段加入對(duì)抗正則項(xiàng)有助于找到更為魯棒的模型參數(shù)θ′i，使得元模型更新時(shí)也能兼顧對(duì)抗魯棒性。在后續(xù)實(shí)驗(yàn)中，均采用in+out 方式。

2.4 算法性能比較

為了進(jìn)行算法性能比較，將MAML、ADML 和RMAML-TRADES 作為對(duì)比算法。MAML、ADML 只能采用已標(biāo)注樣本進(jìn)行有監(jiān)督訓(xùn)練，為了便于比較，semi-ARMAML 中設(shè)置λout2為0（記 為semi-ARMAML（supervised）），從而支持有監(jiān)督方法。R-MAMLTRADES 僅支持半監(jiān)督場(chǎng)景A，為保證公平，semi-ARMAML 與R-MAML-TRADES 實(shí)驗(yàn)數(shù)據(jù)設(shè)置相同，未標(biāo)注樣本數(shù)為38 400，均為見(jiàn)過(guò)的類。所有算法的標(biāo)注樣本集設(shè)置相同。

不同元學(xué)習(xí)算法的實(shí)驗(yàn)結(jié)果如表3、表4 所示，實(shí)驗(yàn)超參數(shù)設(shè)置如表5所示。表3、表4顯示MAML在2個(gè)數(shù)據(jù)集上幾乎沒(méi)有對(duì)抗魯棒性，但是在干凈樣本下正確率最高，其他算法的SA 均有所下降，對(duì)抗魯棒性相比MAML 有明顯提升。對(duì)比對(duì)抗元學(xué)習(xí)的幾種算法，semi-ARMAML 在RA 上的性能均為最高，而SA 由于對(duì)抗訓(xùn)練而不可避免地有所降低。在所有的有監(jiān)督方法中，semi-ARMAML（supervised）的RA 均優(yōu)于其他有監(jiān)督算法，這主要是由于引入了任務(wù)無(wú)偏的熵正則項(xiàng)，使得新任務(wù)與訓(xùn)練任務(wù)之間的關(guān)聯(lián)度降低，提高了模型對(duì)新任務(wù)的泛化性。在半監(jiān)督場(chǎng)景下，由于未標(biāo)注樣本的引入，尤其在CIFAR-FS 數(shù)據(jù)集上，本文算法有效提高了模型的對(duì)抗魯棒性能。盡管R-MAMLTRADES 的SA 相比其他對(duì)抗元學(xué)習(xí)算法有一定優(yōu)勢(shì)，但是RA 并不占優(yōu)。semi-ARMAML 支持未標(biāo)注樣本與當(dāng)前任務(wù)標(biāo)注樣本不一致的情況，適應(yīng)性更廣，其RA均優(yōu)于其他算法，這說(shuō)明對(duì)未標(biāo)注樣本信息的利用可增強(qiáng)模型的對(duì)抗魯棒性。

表3 MiniImageNet 數(shù)據(jù)集上SA/RA 性能對(duì)比分析Table 3 Comparative analysis of SA/RA performance on MiniImageNet dataset %

表4 CIFAR-FS 數(shù)據(jù)集上SA/RA 性能對(duì)比分析Table 4 Comparative analysis of SA/RA performance on CIFAR-FS dataset %

表5 不同數(shù)據(jù)集下semi-ARMAML 的超參數(shù)設(shè)置Table 5 Hyper parameter setting of semi-ARMAML under different datasets

綜上，使用semi-ARMAML 訓(xùn)練得到的初始化參數(shù)θ一方面對(duì)各任務(wù)的變化敏感，另一方面對(duì)任務(wù)中的樣本擾動(dòng)噪聲有更高的容忍度，使得元模型的對(duì)抗魯棒性大幅提高。

2.5 正則項(xiàng)系數(shù)對(duì)算法性能的影響

表6所示為系數(shù)λout1和λe在CIFAR-FS 數(shù)據(jù)集上對(duì)semi-ARMAML 算法性能的影響。為了分析任務(wù)無(wú)偏正則項(xiàng)entmax-min對(duì)模型性能的影響，本文設(shè)置λout1=20、λe=0和λout1=20、λe=1 兩組對(duì)比實(shí)驗(yàn)，兩組實(shí)驗(yàn)中的其他參數(shù)設(shè)置相同。結(jié)果表明，盡管entmax-min正則項(xiàng)的引入使模型損失一定的SA，但會(huì)明顯提升RA 性能，這是因?yàn)閑ntmax-min降低了元模型與訓(xùn)練任務(wù)之間的相關(guān)性，緩解了過(guò)擬合問(wèn)題，能在新任務(wù)中更好地適應(yīng)對(duì)抗樣本。表6 結(jié)果還顯示，當(dāng)引入正則項(xiàng)時(shí)（λout1>0），算法的SA與RA性能明顯優(yōu)于λout1=0時(shí)的算法性能，且隨著λout1逐漸增大，RA 性能提高，SA 性能略微降低，這表明對(duì)抗魯棒正則項(xiàng)系數(shù)λout1對(duì)模型的對(duì)抗魯棒性能起主導(dǎo)作用，通過(guò)調(diào)整目標(biāo)損失函數(shù)中的λout1系數(shù)，可使模型同時(shí)兼顧干凈樣本準(zhǔn)確度和對(duì)抗魯棒性。

表6 正則項(xiàng)系數(shù)對(duì)算法性能的影響分析Table 6 Analysis of the influence of regularization coefficients on algorithm performance

2.6 未見(jiàn)過(guò)類的未標(biāo)注樣本對(duì)算法性能的影響

在2.4 節(jié)的實(shí)驗(yàn)中，為保證公平，實(shí)驗(yàn)數(shù)據(jù)集均使用見(jiàn)過(guò)類的未標(biāo)注數(shù)據(jù)集，本節(jié)進(jìn)一步研究未見(jiàn)過(guò)類對(duì)算法性能的影響。

表7展示了未見(jiàn)過(guò)類樣本數(shù)量對(duì)模型性能的影響。未標(biāo)注樣本Dul中已見(jiàn)過(guò)類樣本數(shù)與上文中設(shè)置相同，為32 000，其余為額外追加的與訓(xùn)練集類別不相交的9 600 個(gè)未見(jiàn)過(guò)類樣本。從表7 可以看出，當(dāng)引入干擾項(xiàng)，即Dunseen≠?時(shí)，semi-ARMAML 的RA 性能有所損失，但是，RA 即使在最壞情況下相比表3、表4 中其他算法的RA 也仍然具有優(yōu)勢(shì)，而且由于訓(xùn)練樣本增加，semi-ARMAML 的SA 在大部分情況下會(huì)比未增加未見(jiàn)過(guò)類樣本時(shí)有所提升。

表7 未見(jiàn)過(guò)類樣本數(shù)量對(duì)算法性能的影響分析Table 7 Analysis of the influence of number of unseen class samples on algorithm performance

2.7 算法時(shí)間代價(jià)對(duì)比

表8 基于CIFAR-FS 數(shù)據(jù)集對(duì)比不同算法的時(shí)間代價(jià)，ADML、R-MAML-TRADES 和本文semi-ARMAML 這3 種算法是雙層優(yōu)化過(guò)程，且為保證公平，使用相同的對(duì)抗樣本生成算法。

表8 CIFAR-FS 數(shù)據(jù)集上的時(shí)間代價(jià)Table 8 Time cost on CIFAR-FS dataset

在表8 中：Time 表示500 輪的訓(xùn)練時(shí)間，ADML使用干凈樣本與對(duì)抗樣本交替訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練時(shí)間代價(jià)最高，R-MAML-TRADES 和semi-ARMAML 算法整體時(shí)間代價(jià)相差不大，本文算法略優(yōu)；Fin steps表示在元測(cè)試時(shí)使模型達(dá)到穩(wěn)定性能所需的微調(diào)步數(shù)，由于semi-ARMAML 在新任務(wù)的任務(wù)微調(diào)過(guò)程中也加入了對(duì)抗魯棒正則項(xiàng)，使其能夠更好地微調(diào)模型參數(shù)，更快地適應(yīng)新任務(wù)，因此僅需2 步梯度下降就能達(dá)到穩(wěn)定性能。

3 結(jié)束語(yǔ)

本文針對(duì)半監(jiān)督對(duì)抗元學(xué)習(xí)問(wèn)題，提出一種對(duì)抗魯棒模型無(wú)關(guān)元學(xué)習(xí)方法。該方法在元訓(xùn)練過(guò)程中同時(shí)使用標(biāo)注樣本與未標(biāo)注樣本進(jìn)行訓(xùn)練，即使不知道未標(biāo)注樣本的類別信息，也能在大量相似任務(wù)中訓(xùn)練元模型，使其能夠快速適應(yīng)新任務(wù)。同時(shí)，在損失函數(shù)中加入對(duì)抗魯棒正則項(xiàng)與任務(wù)無(wú)偏熵正則項(xiàng)，提升模型的對(duì)抗魯棒性，緩解元模型在訓(xùn)練任務(wù)時(shí)的過(guò)擬合問(wèn)題。在2 個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相較其他對(duì)抗元學(xué)習(xí)方法，該方法在干凈樣本上的正確率僅有微小降低，但獲得了更高的對(duì)抗魯棒性能，且對(duì)含未標(biāo)注樣本的真實(shí)場(chǎng)景適應(yīng)性更好。下一步將在學(xué)習(xí)過(guò)程中探究如何利用未標(biāo)注樣本中占比更大的未見(jiàn)過(guò)類樣本，進(jìn)一步提高模型的泛化性與對(duì)抗魯棒性。