基于不確定性加權(quán)混合訓(xùn)練的無源域自適應(yīng)

關(guān)新宇,孫 涵

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院/人工智能學(xué)院,江蘇 南京 211106)

0 引 言

近年來,隨著深度學(xué)習(xí)的快速發(fā)展,計(jì)算機(jī)視覺領(lǐng)域中的域自適應(yīng)問題在目標(biāo)檢測[1]、圖像分類[2]、語義分割[3]等實(shí)際應(yīng)用中取得了巨大成就。域自適應(yīng)是在有標(biāo)注的源域數(shù)據(jù)集的幫助下,將訓(xùn)練好的模型遷移到新的領(lǐng)域,從而在未標(biāo)注的目標(biāo)域上達(dá)到不錯(cuò)的效果。然而,原始數(shù)據(jù)在很多情況下并不總是可訪問的。一方面,數(shù)據(jù)往往包含了用戶的個(gè)人信息,共享這些數(shù)據(jù)將危及用戶的個(gè)人隱私,特別是在社交媒體和醫(yī)學(xué)領(lǐng)域。另一方面,共享傳輸源域數(shù)據(jù)是非常昂貴的,如視頻數(shù)據(jù)或高分辨率圖像。因此,在不能訪問源域數(shù)據(jù)的情況下,只利用一個(gè)已經(jīng)訓(xùn)練好的源模型和沒有標(biāo)注的目標(biāo)域數(shù)據(jù)進(jìn)行無源域數(shù)據(jù)的域自適應(yīng)是非常必要的。

針對無源域數(shù)據(jù)的域自適應(yīng)問題,Liang等人[4]提出凍結(jié)源分類器,并通過最大化互信息和偽標(biāo)記來聚類目標(biāo)特征,以獲得額外的監(jiān)督。Yang等人[5-6]提出了鄰域聚類,通過挖掘隱藏的鄰居特征等結(jié)構(gòu)信息得到偽標(biāo)簽,從而加強(qiáng)了局部鄰域之間的預(yù)測一致性。但由于源域和目標(biāo)域之間存在域差距,生成的偽標(biāo)簽會帶有噪聲,使用這些錯(cuò)誤的偽標(biāo)簽進(jìn)行訓(xùn)練會導(dǎo)致最終模型分類不正確。為避免這個(gè)問題,Li等人[7]提出利用條件對抗生成網(wǎng)絡(luò)直接生成帶有目標(biāo)風(fēng)格的訓(xùn)練樣本。CPGA[8]提出在對比學(xué)習(xí)框架中將樣本與類別原型對齊。它們把源模型作為輔助監(jiān)督,以此控制生成數(shù)據(jù)的標(biāo)簽。但對抗生成網(wǎng)絡(luò)的訓(xùn)練不太穩(wěn)定,可能會出現(xiàn)模式崩潰的問題,從而導(dǎo)致低質(zhì)量的圖像或特征,對域自適應(yīng)產(chǎn)生負(fù)面影響。

受文獻(xiàn)[9]啟發(fā),該文從源知識遷移的角度出發(fā),通過量化源知識在不同特征通道的可遷移性的不確定性來充分利用有效的源知識,減少噪聲偽標(biāo)簽的生成。并同時(shí)考慮了目標(biāo)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)信息,通過高斯概率模型對目標(biāo)數(shù)據(jù)進(jìn)行聚類,將源知識和目標(biāo)數(shù)據(jù)聯(lián)合起來計(jì)算偽標(biāo)簽的置信度,進(jìn)一步降低噪聲偽標(biāo)簽的影響。最后對目標(biāo)樣本進(jìn)行插值訓(xùn)練,根據(jù)置信度得分對樣本進(jìn)行加權(quán),提升目標(biāo)模型的魯棒性。

該文的貢獻(xiàn)如下:

(1)提出了一種基于不確定性指導(dǎo)加權(quán)混合訓(xùn)練的無源域數(shù)據(jù)的域自適應(yīng)算法(Uncertainty-guided Weighted Hybrid Traing,UWHT),從可遷移源知識的不確定性和目標(biāo)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)2個(gè)方面生成高置信度的偽標(biāo)簽,并對目標(biāo)樣本進(jìn)行加權(quán)混合訓(xùn)練,提高目標(biāo)模型的泛化能力。

(2)提出在通道級計(jì)算目標(biāo)特征和源模型的不確定性距離,以保留有效的源知識。并在偽標(biāo)簽生成過程中,聯(lián)合考慮源模型和目標(biāo)數(shù)據(jù)的內(nèi)部結(jié)構(gòu),減少錯(cuò)誤偽標(biāo)簽。并對目標(biāo)樣本進(jìn)行加權(quán)混合訓(xùn)練,充分挖掘目標(biāo)知識,提高目標(biāo)模型的魯棒性。

(3)通過在3個(gè)域自適應(yīng)基準(zhǔn)數(shù)據(jù)集上與其他方法進(jìn)行對比分析,證明了該方法的有效性。

1 相關(guān)工作

1.1 無源域數(shù)據(jù)的域自適應(yīng)

無源域數(shù)據(jù)的域自適應(yīng)方法是指在有標(biāo)注的源域數(shù)據(jù)缺失的情況下,僅通過在源域上訓(xùn)練好的源模型以及未被標(biāo)注的目標(biāo)域數(shù)據(jù)來實(shí)現(xiàn)域自適應(yīng)。源域數(shù)據(jù)的缺失使得跨域的特征級分布對齊具有挑戰(zhàn)性。近年來,開創(chuàng)性的工作[4,7]發(fā)現(xiàn),訓(xùn)練有素的源模型為接下來的目標(biāo)適應(yīng)階段隱藏了足夠的源知識,通過把這些源知識遷移到目標(biāo)域上可以達(dá)到良好的效果?，F(xiàn)有的無源域數(shù)據(jù)的域自適應(yīng)方法大致可分為基于自監(jiān)督訓(xùn)練的方法和基于生成的方法。

前者主要是利用目標(biāo)樣本來改進(jìn)模型。SHOT[4]提出凍結(jié)源分類器,利用自監(jiān)督偽標(biāo)記訓(xùn)練和信息最大化隱式地對齊目標(biāo)域數(shù)據(jù)和源域數(shù)據(jù)。Tang等人[10]提出基于幾何約束的語義一致性最近鄰方法,通過鼓勵局部幾何結(jié)構(gòu)上的最近鄰正確地移動進(jìn)行聚類,獲得更為精準(zhǔn)的偽標(biāo)簽。Huang等人[11]則提出從整個(gè)模型的角度來進(jìn)行無源域數(shù)據(jù)的域自適應(yīng),設(shè)計(jì)了一種新穎的歷史對比學(xué)習(xí)技術(shù),利用歷史源模型來彌補(bǔ)源域數(shù)據(jù)的缺失為目標(biāo)數(shù)據(jù)生成偽標(biāo)簽。而基于生成的方法則是生成虛擬源域數(shù)據(jù)以進(jìn)行知識遷移?？紤]到源域中可能會存在類別不平衡或某一類數(shù)據(jù)不充足時(shí)源分類器的泛化能力較低,Xia等人[12]從模型優(yōu)化的角度探索一種新的目標(biāo)分類器實(shí)現(xiàn)無源域數(shù)據(jù)的域自適應(yīng)。這些方法主要針對偽標(biāo)簽的精確度的提升,而源模型中的知識未被充分挖掘。因此,文中方法從源模型知識的不確定性的角度出發(fā),實(shí)現(xiàn)無源域數(shù)據(jù)的域自適應(yīng)。

1.2 不確定性

不確定性是衡量一個(gè)深度模型是否穩(wěn)健的一條重要準(zhǔn)則[13]。給定一個(gè)有標(biāo)注的樣本(x,y)和一個(gè)在域(D)上訓(xùn)練參數(shù)為θ的模型,其不確定性可以分解為:

P(y|x,D)=

(1)

其中,μ=θ(x)為預(yù)測的標(biāo)簽分布,3個(gè)概率密度函數(shù)分別代表了數(shù)據(jù)的不確定性、模型的不確定性和分布的不確定性[14-15]。由于數(shù)據(jù)的自然復(fù)雜性,它的不確定性幾乎是不能簡化的。模型的不確定性則是衡量了模型與訓(xùn)練分布的擬合程度。分布不確定性度量了從模型“不熟悉”的區(qū)域采樣的輸入樣例的概率。

2 文中方法

2.1 問題定義

2.2 總體框架

在訓(xùn)練階段,目標(biāo)模型(ft)同源模型(fs)結(jié)構(gòu)一樣,由特征提取器(gt)和分類器(ht)組成。其中,gt是由gs初始化而來,ht=hs。網(wǎng)絡(luò)框架包含3個(gè)模塊,分別是:可遷移源知識的不確定性度量模塊(TUM)、模型和目標(biāo)數(shù)據(jù)結(jié)構(gòu)置信度聯(lián)合模塊(MaD)和權(quán)重混合訓(xùn)練模塊(WHT),具體流程如圖1所示。

圖1 UWHT框架

首先,將目標(biāo)樣本分別送入到gs和gt中,利用不確定性距離估計(jì)每個(gè)特征通道的源知識的可遷移性,通過Lkd將可遷移的源知識蒸餾到目標(biāo)特征提取器中?；诖?可以充分利用有效的源知識,并丟棄無用的源知識。然后,為了同時(shí)利用源知識和目標(biāo)數(shù)據(jù)的內(nèi)部結(jié)構(gòu)對目標(biāo)樣本安排偽標(biāo)簽,MaD將提取的目標(biāo)特征分別輸入到源分類器,及利用高斯混合建模目標(biāo)特征的分布,根據(jù)兩者得到的置信度得分對樣本進(jìn)行加權(quán),為目標(biāo)樣本分配魯棒的偽標(biāo)簽,但對于低置信度的目標(biāo)樣本并未參與訓(xùn)練。為了充分利用這些目標(biāo)樣本的特征分布知識,額外進(jìn)行了權(quán)重混合訓(xùn)練,以此增強(qiáng)訓(xùn)練的目標(biāo)模型的有效性和魯棒性。

2.3 可遷移源知識的不確定性度量模塊

為了充分利用源模型中的源知識,該文提出通過不確定性在通道級來衡量源知識的可遷移性。

2.3.1 不確定性度量

不確定性度量的是目標(biāo)樣本(xt)和源域(DS)之間的隱式距離。該距離越小,即xt越接近參數(shù)為θS的源域(DS),表明θS對于減少源域和目標(biāo)域之間的差異是有效的。θS能擬合的區(qū)域和源域(DS)訓(xùn)練分布的重合度即反映了模型的不確定性,而分布的不確定性則是指目標(biāo)樣本(xt)與θS能擬合的區(qū)域的距離。目標(biāo)樣本(xt)和源域(DS)之間的隱式距離由這兩個(gè)不確定性聯(lián)合表示。

(2)

其中,第1項(xiàng)是分布不確定性,第2項(xiàng)為模型不確定性。MD(·)代表不確定性度量函數(shù)。如蒙特卡羅Dropout[16]、深度集成[17]等。由于源域(DS)可以很好地由θS表示,故可將模型不確定性忽略不計(jì),如圖2所示。

圖2 目標(biāo)樣本與源域的不確定性度量

則目標(biāo)樣本與源域之間的不確定性可近似為xt與源參數(shù)(θS)的分布不確定性:

UD(xt,θS)=MD(P(θS(xt)|xt,θS))

(3)

2.3.2 通道級可遷移知識的不確定性

因?yàn)樵从蚝湍繕?biāo)域之間存在域差距,并不是所有的源知識對于目標(biāo)域都有用。因此,該文提出以細(xì)粒度的方式度量源知識的可遷移性,以確定學(xué)習(xí)到的源參數(shù)(θS)中哪部分是可以遷移到目標(biāo)域的。具體如圖3所示,gs可以提取源域特征,不同特征通道級的可遷移性就代表該通道特征的部分源知識的可遷移性。所有特征通道整合起來組成了源參數(shù)(θS)。

圖3 通道級不確定性度量

因此,可以度量源知識的可遷移性為:

(4)

(5)

其中,gs;times表示對特征提取器(gs)進(jìn)行times次隨機(jī)擾動。針對通道級源知識的可遷移性,通過對gs的所有d維特征通道上的UTS(xt,gs)進(jìn)行積分來計(jì)算。

(6)

當(dāng)UM的值越小,通道源知識的可遷移性就越強(qiáng),對目標(biāo)模型也就越有效。然后,目標(biāo)模型根據(jù)所得到的有效可遷移性源知識進(jìn)行學(xué)習(xí),目標(biāo)函數(shù)通過一種可轉(zhuǎn)移性控制的知識蒸餾損失進(jìn)行計(jì)算。

Lkd=Ext～XT[‖σ(UM(gs))⊙[gs(xt)-

gt(xt)]‖2]

(7)

其中,σ(a)=sigmoid(-a),⊙表示Hadamard積。σ(UM(gs))用于對均方誤差項(xiàng)(‖gs(xt)-gt(xt)‖2)進(jìn)行加權(quán),以提取gs到gt的可遷移知識,旨在對UM較低的特征分配大的權(quán)值,反之分配小的權(quán)值。引導(dǎo)目標(biāo)模型學(xué)習(xí)更多有效的可遷移源知識。

2.4 聯(lián)合置信度得分模塊

現(xiàn)有無源域數(shù)據(jù)的域自適應(yīng)方法大多是基于偽標(biāo)簽進(jìn)行聚類,但有噪聲的偽標(biāo)簽會使目標(biāo)模型性能下降。因此,為了保證目標(biāo)模型的穩(wěn)健性,應(yīng)該抑制偽標(biāo)簽中置信度較低的目標(biāo)樣本[19]。除此之外,考慮到目標(biāo)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)信息,該文提出將基于模型的置信度得分與基于目標(biāo)數(shù)據(jù)內(nèi)部結(jié)構(gòu)的置信度得分結(jié)合起來,以提升偽標(biāo)簽的置信度,提升目標(biāo)模型的性能。

(8)

其中,p(0≤p≤1)代表了偽標(biāo)簽被分類正確的概率。

2.4.1 基于內(nèi)在結(jié)構(gòu)的置信度得分

從目標(biāo)數(shù)據(jù)中獲得的目標(biāo)特征分布具有目標(biāo)域的特定知識,因此提出結(jié)合目標(biāo)域的內(nèi)在結(jié)構(gòu)對目標(biāo)特征進(jìn)行聚類,以獲得每個(gè)樣本的偽標(biāo)簽。對于聚類方法的選擇,結(jié)合目標(biāo)數(shù)據(jù)的內(nèi)在結(jié)構(gòu),該文使用高斯混合模型(GMM)對目標(biāo)特征進(jìn)行聚類,以提取目標(biāo)數(shù)據(jù)結(jié)構(gòu)的知識,且能夠獲得每個(gè)樣本的對數(shù)似然性和偽標(biāo)簽。然后度量與目標(biāo)樣本距離第一近的類和距離第二近的類之間的距離,并將其最小化。

(9)

(10)

其中,i,j∈{1,2,…,nt}。scdis的值越大,即置信度得分越高,說明該目標(biāo)樣本距離決策邊界越遠(yuǎn)。反之,該目標(biāo)樣本分布在決策邊界附近或邊界線上。

2.4.2 基于模型的置信度得分

上述僅考慮了目標(biāo)域的知識,但由于其缺失真實(shí)標(biāo)簽,僅通過它訓(xùn)練目標(biāo)模型是不夠的。該文進(jìn)而提出將目標(biāo)數(shù)據(jù)通過由源模型初始化的目標(biāo)模型的概率得分也納入置信度得分當(dāng)中?；谀Ｐ偷闹眯哦鹊梅旨礊槟Ｐ皖A(yù)測的偽標(biāo)簽的概率。

(11)

雖然源域和目標(biāo)域存在一定的域差距,但是兩者之間具有一定的相似性。因此,對于那些域不變特征,scm的值越大,而對于目標(biāo)域特有特征,scm的值就越小。

2.4.3 聯(lián)合置信度得分

將基于目標(biāo)數(shù)據(jù)內(nèi)在結(jié)構(gòu)的置信度得分和基于模型的置信度得分結(jié)合起來,就可以得到一個(gè)更具有置信度的偽標(biāo)簽,聯(lián)合置信度得分計(jì)算為:

(12)

它不僅包含了目標(biāo)域的結(jié)構(gòu)知識,同時(shí)結(jié)合了源域中的域不變知識。使用該置信度得分對目標(biāo)樣本進(jìn)行加權(quán)以訓(xùn)練目標(biāo)模型,其損失函數(shù)為:

(13)

2.5 權(quán)重混合訓(xùn)練模塊

通過上述2個(gè)模塊對目標(biāo)數(shù)據(jù)進(jìn)行訓(xùn)練,可糾正錯(cuò)誤的偽標(biāo)簽,提升分類的精確性。但置信度得分接近于0的目標(biāo)樣本并沒有參與到訓(xùn)練過程,這使得它們的特征分布所提供的目標(biāo)知識沒有得到利用。

針對該問題,該文基于Mixup[21]提出一種權(quán)重混合訓(xùn)練模塊,對于使用低置信度樣本進(jìn)行混合后的圖像,在訓(xùn)練時(shí)應(yīng)該具有較低的權(quán)重,以保證目標(biāo)模型的魯棒性。具體來說,將目標(biāo)樣本和其對應(yīng)的偽標(biāo)簽進(jìn)行混合得到新的混合樣本,同時(shí)將其置信度得分也以相同的混合系數(shù)進(jìn)行計(jì)算,即為混合樣本對應(yīng)的置信度。

(14)

(15)

顯然,高置信度的樣本之間混合生成的樣本也具有高置信度,低置信度的樣本之間混合生成的樣本的置信度則較低,其權(quán)重也會較小。而一個(gè)高置信度樣本和一個(gè)低置信度樣本的混合則會生成一個(gè)中等置信度的樣本,能幫助目標(biāo)模型進(jìn)行有效地訓(xùn)練,同時(shí)目標(biāo)知識得到充分利用。

2.6 總損失

綜上所述,文中方法的總損失包括TUM、MaD和WHT。

Ltotal=λLkd+LMaD+LWHT

(16)

其中,λ是控制可遷移性源知識度量的權(quán)衡系數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與評估指標(biāo)

文中方法分別在3個(gè)通用的域自適應(yīng)基準(zhǔn)數(shù)據(jù)集(Office-31[22]、Office-Home[23]、VisDA-C[24])上進(jìn)行實(shí)驗(yàn)以驗(yàn)證其性能,對于Office-31和Office-Home,計(jì)算每個(gè)適應(yīng)任務(wù)的結(jié)果以及在所有任務(wù)上分類的平均精確度(Avg.),而對于VisDA-C,則是計(jì)算每個(gè)類別的分類精確度(Per-class)來評估最終目標(biāo)模型的性能。

3.2 實(shí)驗(yàn)細(xì)節(jié)

為了與對比方法進(jìn)行公平比較,文中方法采用的主干網(wǎng)絡(luò)架構(gòu)與對比算法的架構(gòu)保持一致,即針對Office-31和Office-Home,采用ResNet50作為主干網(wǎng)絡(luò),對于更復(fù)雜的VisDA-C,則采用ResNet101作為主干網(wǎng)絡(luò)。源模型采用同SHOT一樣的策略進(jìn)行訓(xùn)練。在訓(xùn)練過程中,使用動量為0.9的SGD優(yōu)化器進(jìn)行50個(gè)階段的迭代訓(xùn)練。在所有數(shù)據(jù)集上的批次大小設(shè)為32,對于Office-31和Office-Home的學(xué)習(xí)率置為0.01,對于VisDA-C的學(xué)習(xí)率設(shè)為0.001?？蛇w移性源知識度量的損失權(quán)重λ在初始時(shí)設(shè)為10,因?yàn)閯傞_始需要遷移的源知識較多,隨著迭代訓(xùn)練,目標(biāo)模型漸漸學(xué)習(xí)足夠多的源知識,因此,在迭代10個(gè)階段后,將λ置為0。

3.3 實(shí)驗(yàn)結(jié)果對比

表1～表3分別顯示了在Office-31、Office-Home和VisDA-C 3個(gè)數(shù)據(jù)集上的結(jié)果。

其中,SF表示無源域數(shù)據(jù)。且在無源域數(shù)據(jù)的域自適應(yīng)方法中,最佳結(jié)果以粗體字體顯示,次優(yōu)結(jié)果以下劃線顯示。

表1 與其他對比算法基于ResNet50在Office-31上的結(jié)果

在表1中,文中方法在Office-31上獲得了最先進(jìn)的性能,由SHOT的88.6%提升到了90.5%,且超出了第二佳的3C-GAN性能0.9百分點(diǎn)。這是因?yàn)镺ffice-31的域遷移任務(wù)較容易,文中方法對源模型中的可轉(zhuǎn)移性源知識進(jìn)行了度量,抑制了源特有知識的影響,并將有效的源知識集成到目標(biāo)模型中,以對目標(biāo)數(shù)據(jù)實(shí)現(xiàn)更好的適應(yīng)。同時(shí),使用聯(lián)合置信度得分可以綜合考慮源知識和目標(biāo)知識,為適應(yīng)性能帶來極大提升。

如表2所示,文中方法在Office-Home上達(dá)到了極佳的分類性能,特別是針對兩個(gè)困難的域遷移任務(wù)(Ar→Cl)和Re→Cl),分別比第二佳的方法高出1.2和2.4百分點(diǎn)。由此可得,對可遷移性源知識的度量發(fā)揮了很大的作用。且由于綜合考慮了源知識和目標(biāo)知識,及對目標(biāo)數(shù)據(jù)結(jié)構(gòu)進(jìn)行挖掘,文中方法取得了非常好的性能,且超過了表中可以接觸源域數(shù)據(jù)的域自適應(yīng)方法的性能。

為進(jìn)一步證明文中方法的有效性,在具有挑戰(zhàn)性的VisDA-C上也進(jìn)行了評估實(shí)驗(yàn),對比結(jié)果如表3所示。直接使用ResNet101進(jìn)行無源域數(shù)據(jù)的域遷移時(shí),平均分類精度僅有48.0%,且在個(gè)別類上出現(xiàn)了嚴(yán)重的負(fù)遷移問題。文中方法明顯改善了嚴(yán)重負(fù)遷移的問題,且優(yōu)于SHOT方法3百分點(diǎn)。特別是對于具有挑戰(zhàn)性的sktbrd類和person類,文中方法分別達(dá)到了94.7%和86.4%的分類效果,比SHOT高出5.6和6.1百分點(diǎn)。可以發(fā)現(xiàn),它有效地將可以利用的源知識遷移到目標(biāo)模型中,并抑制了源特有知識的影響。且文中方法綜合考慮了源知識和目標(biāo)知識,并對高置信度樣本進(jìn)行加權(quán),整體取得了最佳的性能,證明了文中方法的有效性。

表3 與其他對比算法基于ResNet101在VisDA-C上的結(jié)果

3.4 實(shí)驗(yàn)分析

3.4.1 不同模塊消融實(shí)驗(yàn)

表4展示了文中方法在Office-Home上不同模塊的消融實(shí)驗(yàn),驗(yàn)證各模塊的有效性。

表4 在Office-Home上不同模塊設(shè)置的 平均分類精確度(Avg.)

從表中可以看出,僅使用源模型進(jìn)行域自適應(yīng)時(shí),平均分類精度僅有59.6%。當(dāng)增加可遷移源知識的不確定性度量模塊(TUM)后,使得模型分類精度提升到71.9%。新增聯(lián)合置信度得分模塊(MaD)將源知識和目標(biāo)知識聯(lián)合起來分配更精確的偽標(biāo)簽,使得模型的分類精度達(dá)到72.5%。最后,為充分利用目標(biāo)結(jié)構(gòu)信息,額外對目標(biāo)數(shù)據(jù)進(jìn)行權(quán)重混合訓(xùn)練(WHT),使得最后的目標(biāo)模型分類性能達(dá)到最佳為72.8%,證明了每個(gè)模塊的有效性。

3.4.2 可視化分析

為更加直觀地展示文中方法在無源域數(shù)據(jù)的域適應(yīng)的效果,采用可視化方法(t-SNE)對目標(biāo)數(shù)據(jù)在嵌入空間中的特征進(jìn)行可視化。如圖4所示,展示了在Office-31數(shù)據(jù)集上A→W的域遷移任務(wù)的特征可視化結(jié)果,并對Source-only、SHOT和UWHT 3種方法進(jìn)行了比較。其中,上邊的(a)、(b)和(c)3張圖片按照域整體進(jìn)行比較,下邊的(d)、(e)和(f)3張圖片則是代表目標(biāo)域數(shù)據(jù)在適應(yīng)前后的類別變化。

圖4 Source-only、SHOT和UWHT的t-SNE可視化特征表示圖

可以看到,域適應(yīng)之后目標(biāo)特征呈現(xiàn)出明顯的簇狀,且和同類的源域特征距離較近,實(shí)現(xiàn)很好的域?qū)R。這一結(jié)果證明了文中方法針對無源域數(shù)據(jù)的域自適應(yīng)問題的有效性和優(yōu)越性。

4 結(jié)束語

該文提出了基于不確定性加權(quán)混合訓(xùn)練的無源域數(shù)據(jù)的域自適應(yīng)方法。該方法從源知識利用的角度出發(fā),解決了源知識利用不充分以及訓(xùn)練過程中偽標(biāo)簽具有噪聲的問題。同時(shí),所提出的權(quán)重混和訓(xùn)練充分挖掘了目標(biāo)數(shù)據(jù)內(nèi)在結(jié)構(gòu)知識,并對具有高置信度得分和中等置信度得分的混合樣本增加權(quán)重,增強(qiáng)了目標(biāo)模型的有效性和魯棒性。廣泛的實(shí)驗(yàn)證明了文中方法在多個(gè)域自適應(yīng)基準(zhǔn)數(shù)據(jù)集上都取得了很好的性能,一些甚至比起有源域數(shù)據(jù)的域自適應(yīng)方法的性能更好,證明了該方法的有效性。