結(jié)合對抗網(wǎng)絡(luò)與條件均值的多源適應(yīng)分類方法

夏 青，郭 濤，譚茜成，鄒俊穎

(四川師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，四川 成都 610101)

0 引 言

深度神經(jīng)網(wǎng)絡(luò)在各種機(jī)器學(xué)習(xí)問題和應(yīng)用方面取得了重大進(jìn)展。然而這一重大進(jìn)展歸功于大規(guī)模標(biāo)記數(shù)據(jù)的可用性[1]。但人工標(biāo)注數(shù)據(jù)耗時費(fèi)力、代價昂貴。相比于傳統(tǒng)的監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)[2]利用沒有標(biāo)注的數(shù)據(jù)進(jìn)行模型訓(xùn)練，以解決機(jī)器學(xué)習(xí)中標(biāo)注數(shù)據(jù)缺乏的問題。此外，傳統(tǒng)機(jī)器學(xué)習(xí)通常假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)來自于同一概率分布[3]。而在實(shí)際中，由于訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)往往來源于不同的數(shù)據(jù)分布，這就導(dǎo)致了在很多實(shí)用場景中不能正常使用傳統(tǒng)機(jī)器學(xué)習(xí)算法下訓(xùn)練出來的模型，學(xué)習(xí)到的模型在新領(lǐng)域使用時性能會大幅度衰減[4]。與機(jī)器學(xué)習(xí)不同，遷移學(xué)習(xí)[5,6](transfer learning，TL)借助于源域數(shù)據(jù)訓(xùn)練過程中學(xué)到的知識，完成對目標(biāo)域的識別[7]。但是不同域之間存在的間隙使得源域訓(xùn)練的模型在目標(biāo)域進(jìn)行識別的時候?qū)W習(xí)效果會受到影響，域適應(yīng)[8]學(xué)習(xí)作為遷移學(xué)習(xí)中的一種代表性方法，通過建立從有標(biāo)簽源域到無標(biāo)簽?zāi)繕?biāo)域的知識遷移，學(xué)習(xí)域間共享信息，實(shí)現(xiàn)模型在目標(biāo)域上的正確分類[9]。針對域適應(yīng)的研究，SankaraNara-yanan等[10]提出的生成適應(yīng)網(wǎng)絡(luò)(generate-to-adapt，GTA)，通過學(xué)習(xí)單個源和單個目標(biāo)之間的共享特征嵌入和生成對抗網(wǎng)絡(luò)[11](generative adversarial network，GAN)之間的共生關(guān)系來減小域差異，進(jìn)一步利用源域中學(xué)習(xí)到的知識對目標(biāo)域進(jìn)行預(yù)測，但僅使用單源域?qū)W習(xí)提取到的數(shù)據(jù)特征有限，且對抗機(jī)制不足以減少域差異，當(dāng)樣本來自于多個不同概率分布的時候，模型會出現(xiàn)負(fù)遷移，使得模型的分類性能受到影響。目前大多數(shù)域適應(yīng)算法和理論假設(shè)源樣本僅從單個源域進(jìn)行采樣。而在實(shí)際應(yīng)用中，會在多個不同設(shè)備上采集到源樣本數(shù)據(jù)用于訓(xùn)練，但是這些數(shù)據(jù)不但和目標(biāo)域概率分布不同，而且互相之間概率分布也不同[12]?；诖?，楊強(qiáng)等提出了多源遷移學(xué)習(xí)[13]，將一個源域擴(kuò)展為多個源域，利用多個源域中豐富的監(jiān)督信息能夠更有效輔助目標(biāo)域的學(xué)習(xí)[14]。近來，朱勇椿等研究學(xué)者提出了多特征空間適應(yīng)網(wǎng)絡(luò)[15](multiple feature spaces adaptation network，MFSAN)，通過提取多個源域和目標(biāo)域之間的共享特征，使用最大均值差異[16]優(yōu)化每一對源和目標(biāo)的距離。受MFSAN思想啟發(fā)，并針對GTA模型的不足，本文提出一種結(jié)合對抗網(wǎng)絡(luò)與條件均值的多源適應(yīng)分類方法，該方法通過對特征提取網(wǎng)絡(luò)的訓(xùn)練，提取多個源域和目標(biāo)域之間的域不變信息。將學(xué)習(xí)到的源域和目標(biāo)域特征信息送入特定域的生成對抗網(wǎng)絡(luò)，同時使用條件最大均值差異[17]最小化域間距離，利用無監(jiān)督對抗訓(xùn)練輔助分類網(wǎng)絡(luò)對目標(biāo)域特征進(jìn)行識別。由于不同源訓(xùn)練的分類器具有差異性，因此使用差異度量準(zhǔn)則對每一個分類器的輸出進(jìn)行約束，并回傳各個類別的梯度信號，以提高網(wǎng)絡(luò)的分類性能。在具有4個源域和一個目標(biāo)域的實(shí)驗(yàn)環(huán)境中的實(shí)驗(yàn)結(jié)果表明了MSDACG模型利用多源域的監(jiān)督信息來提高目標(biāo)域?qū)W習(xí)的有效性，且分類精度有明顯提升。

1 理論基礎(chǔ)

1.1 單源無監(jiān)督域適應(yīng)

域適應(yīng)由著名學(xué)者楊強(qiáng)提出，能夠有效地解決訓(xùn)練樣本和測試樣本概率分布不一致的學(xué)習(xí)問題[18]，是當(dāng)前機(jī)器學(xué)習(xí)的熱點(diǎn)研究領(lǐng)域。以下給出相關(guān)的定義：

定義3 單源無監(jiān)督域適應(yīng)[19]：首先給定一個有標(biāo)記的源域數(shù)據(jù)DS=(XS,YS) 和一個無標(biāo)記的目標(biāo)域數(shù)據(jù)集DT=(XT)， 定義源域輸出函數(shù)FS:XS→YS， 即兩者構(gòu)成源域(DS,FS)，目標(biāo)域即為(DT,FT)，單源域適應(yīng)的目標(biāo)則是通過解決單個源域和單個目標(biāo)域之間分布不同的問題，將在源域中學(xué)習(xí)到的知識對目標(biāo)域的輸出函數(shù)FT進(jìn)行學(xué)習(xí)[20]。圖1顯示了單個源和目標(biāo)域之間的學(xué)習(xí)過程。

圖1 單源->目標(biāo)域

1.2 多源無監(jiān)督域適應(yīng)

單源無監(jiān)督域適應(yīng)關(guān)注的是一個域的場景，而多源無監(jiān)督域適應(yīng)[21]作為單源無監(jiān)督域適應(yīng)的一種擴(kuò)展，首先給定DS={DS1,DS2,…,DSN}， 即多源無監(jiān)督域適應(yīng)方法假定樣本是從N個不同的源域 {DS1,DS2,…,DSN} 中進(jìn)行收集的，給定XS1,XS2,…,XSN是分別來自N個源域DS1,DS2,…,DSN的樣本，目標(biāo)域數(shù)據(jù)記為DT。多源域適應(yīng)的目標(biāo)旨在解決多個源域和目標(biāo)域之間分布差異的問題。利用在多個源域中學(xué)習(xí)到的知識對目標(biāo)域進(jìn)行預(yù)測。圖2顯示了多個源域和目標(biāo)域之間的學(xué)習(xí)過程。

圖2 多源->目標(biāo)域

1.3 GTA模型

GTA模型的學(xué)習(xí)過程分為兩個階段：①第一個階段：學(xué)習(xí)一個特征提取網(wǎng)絡(luò)并提取單個源和目標(biāo)之間的共享特征嵌入作為生成器的輸入，以生成類似源域的數(shù)據(jù)，而判別器作為二分類器通過分辨真實(shí)的數(shù)據(jù)和生成數(shù)據(jù)之間的真假信息，并將學(xué)到的信息進(jìn)行回傳；同時判別器作為多分類器僅使用源域的標(biāo)簽信息進(jìn)行監(jiān)督學(xué)習(xí)。②第二個階段：學(xué)習(xí)一個分類器，利用源域的共享特征嵌入作為分類器的輸入并且實(shí)現(xiàn)在目標(biāo)域上的預(yù)測。圖3是GTA模型的結(jié)構(gòu)。

圖3 GTA模型結(jié)構(gòu)

2 MSDACG模型

2.1 問題描述

通過對GTA模型的結(jié)構(gòu)進(jìn)行深入研究發(fā)現(xiàn)存在以下問題：一是特征提取器作為學(xué)習(xí)源和目標(biāo)的共享特征嵌入，其僅使用對抗訓(xùn)練的方式不足以拉近域間距離，缺少距離度量準(zhǔn)則來約束域間距離，使得域適應(yīng)效果受到影響。二是使用單源學(xué)習(xí)到的知識有限，導(dǎo)致難以識別來自分布不同的判別特征。三是如果特征提取器學(xué)習(xí)來自多個不同概率分布的源集合和目標(biāo)域的共享嵌入特征，會使得模型產(chǎn)生負(fù)面影響，從而影響模型的分類效果。

2.2 結(jié)構(gòu)描述

受GTA模型框架的啟發(fā)，并針對其存在的不足，本文提出結(jié)合條件均值與對抗機(jī)制的多源適應(yīng)分類方法。其流程如圖4所示。模型首先利用特征提取器(F)提取所有域的共享嵌入表示，進(jìn)而通過特定域的生成器分支(G)和特定域的判別器分支(D)學(xué)習(xí)不同源域和目標(biāo)域間的特征，使用CMMD減小不同域間的條件分布差異，以輔助利用多個源域的監(jiān)督信息對無標(biāo)記的目標(biāo)域數(shù)據(jù)進(jìn)行識別。由于特定域的分類器(C)之間可能會出現(xiàn)差異，因此采用差異損失來約束不同分類器的輸出，以使得分類器的預(yù)測盡可能一致。下面分別對MSDACG模型的4個網(wǎng)絡(luò)結(jié)構(gòu)流程及特點(diǎn)分別進(jìn)行詳細(xì)介紹：

首先設(shè)定size為多個源域和目標(biāo)域輸入數(shù)據(jù)的尺寸大小，N為源域的個數(shù)。

(1)共享特征提取網(wǎng)絡(luò)(F)：

3)嵌入空間E服從于標(biāo)準(zhǔn)的高斯分布，并隨機(jī)產(chǎn)生一定維度的噪聲數(shù)據(jù)Z[size]。

(2)特定域的生成器網(wǎng)絡(luò)(G)：

1)G使用反卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并且G是由 {G1,G2,…,GN}N個特定域的生成器組成。

(3)特定域的判別器網(wǎng)絡(luò)(D)：

(4)特定域的分類器網(wǎng)絡(luò)(C)：

1)C使用全連接層結(jié)構(gòu)，并且C是由 {C1,C2,…,CN}N個特定域的分類器組成。

圖4 MSDACG模型總體結(jié)構(gòu)

2.3 評估方法

本實(shí)驗(yàn)采用CMMD距離度量、交叉熵?fù)p失函數(shù)，對抗性損失函數(shù)以及差異損失函數(shù)作為評估MSDACG模型的方法。

CMMD距離度量：CMMD是MMD的延伸概念。MMD是被用于計(jì)算不同數(shù)據(jù)的邊緣概率分布之間的差異，而CMMD是用于計(jì)算不同數(shù)據(jù)的條件概率分布P(XS|YS=C) 和Q(XT|YT=C) 之間的差異，其中C表示樣本的類別數(shù)量。由于在無監(jiān)督學(xué)習(xí)中，目標(biāo)域數(shù)據(jù)是沒有標(biāo)簽的。因此，需要使用深度神經(jīng)網(wǎng)絡(luò)的輸出y′=f(XT) 作為目標(biāo)域上的偽標(biāo)簽。則CMMD的計(jì)算公式可以表示為

(1)

依據(jù)式(1)，可得知CMMD在D上的損失函數(shù)Lcmmd的表達(dá)式見式(2)，其中μ為動態(tài)平衡因子，用于對CMMD減小條件分布距離的程度作出衡量

(2)

通過最小化等式(2)可以有效拉近源域和目標(biāo)域之間的條件概率分布。

(3)

(4)

(5)

(6)

(7)

D輸出兩個分布，來辨別輸入圖像的真?zhèn)涡浴８鶕?jù)GAN算法原理，對抗性損失函數(shù)的目的在于G利用D回傳的對抗性特征信息，在不斷地迭代優(yōu)化過程中，G能夠生產(chǎn)出越來越類似源域類別空間的圖像，從而使得D難以分辯圖像的真假，最后達(dá)到一個納什均衡狀態(tài)。

差異損失函數(shù)：差異損失函數(shù)Ldisc的作用是為了解決引入多源時產(chǎn)生的各分類器差異的問題。在訓(xùn)練過程中，分類器是由不同的源域監(jiān)督信息進(jìn)行訓(xùn)練的，因此導(dǎo)致在對目標(biāo)域預(yù)測的時候會出現(xiàn)分歧，特別是類邊界附近的目標(biāo)樣本。正確的方式是不同分類器預(yù)測相同的目標(biāo)樣本應(yīng)該得到相同的預(yù)測。因此通過最小化所有分類器之間的距離以解決樣本觀測不平衡的問題。本文利用目標(biāo)域數(shù)據(jù)的所有分類器的概率輸出之間差異的絕對值作為差異損失，計(jì)算表達(dá)式如式(8)所示

(8)

通過最小化方程(8)，所有分類器的概率輸出是相似的。最后，預(yù)測目標(biāo)樣本的標(biāo)簽為計(jì)算所有分類器輸出的平均值。

2.4 算法流程

MSDACG模型的整體算法流程如算法1所示。

算法1： MSDACG模型訓(xùn)練

Input：N個源域數(shù)據(jù)集DS={DS1=(XS1,YS1),DS2=(XS2,YS2),…,DSN=(XSN,YSN)}， 目標(biāo)域數(shù)據(jù)集DT=(XT,YT)， 訓(xùn)練迭代次數(shù)T， 批量大小size， 權(quán)衡系數(shù)λ。

Output： MSDACG模型∑

(1) 隨機(jī)初始化模型∑中所有的網(wǎng)絡(luò)層參數(shù)。

(2)fortin 1:Tdo

(5) 隨機(jī)產(chǎn)生size個噪聲數(shù)據(jù)， 記為z[size];

(7) 根據(jù)式(3)、 式(4)及式(8)計(jì)算分類器上的損失函數(shù)

LC=Lcls+Lcls,d+λLdisc;

(8) 根據(jù)式(2)和式(4)～式(7)計(jì)算判別器上的損失函數(shù)

LD=Lsrc+Lcls,d+Ladv,src+Ladv,tgt+Lcmmd;

(9) 根據(jù)式(2)、 式(4)、 式(6)計(jì)算生成器上的損失函數(shù)

LG=Lcls,d+Ladv,src+Lcmmd;

(10) 根據(jù)式(3)、 式(4)、 式(7)、 式(8)計(jì)算共享特征提取網(wǎng)絡(luò)的損失函數(shù)

LF=Lcls+Lcls,d+Ladv,tgt+λLdisc;

(11) 使用梯度下降法進(jìn)行反向傳播各個網(wǎng)絡(luò)的梯度信號;

(12)endfor

(13)輸出模型∑， 算法終止。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

實(shí)驗(yàn)中使用的5個數(shù)據(jù)集分別是從以下的公開數(shù)據(jù)集中進(jìn)行采樣，即：mt(MNIST)、mm(MNIST-M)[22]、sv(SVHN)、up(USPS)和sy(Synthetic Digits)。使用與文獻(xiàn)[23]相同設(shè)置，實(shí)驗(yàn)從訓(xùn)練集中采樣25 000幅圖像用于訓(xùn)練，從MNIST、MINST-M、SVHN和Synthetic Digits中的測試集中采樣9000幅圖像用于測試。而對于USPS數(shù)據(jù)集總共僅包含9298幅圖像，所以選擇整個數(shù)據(jù)集作為一個域。實(shí)驗(yàn)中輪流選擇一個域作為目標(biāo)域，記為DT，其余的分別作為源域D1,D2,D3,D4。

3.2 實(shí)驗(yàn)配置

實(shí)驗(yàn)環(huán)境配置為:NVIDIA TESLA SXM2 V100 32 GB GPU服務(wù)器，Ubuntu16.04操作系統(tǒng)，Intel至強(qiáng)E5-2698v4處理器20核心，40線程。32 GB DDR4 LRDIMM 2133 MHz內(nèi)存，480G Intel S3610 6 Gb/s SATA 3.0 SSD系統(tǒng)硬盤，平臺為pytorch。模型采用小批量Adam優(yōu)化器進(jìn)行訓(xùn)練，學(xué)習(xí)率統(tǒng)一設(shè)置為0.0005，學(xué)習(xí)率衰減參數(shù)為0.0001，指數(shù)參數(shù)設(shè)置為β1為0.8，β2為0.999，批量大小統(tǒng)一設(shè)置為100。

3.3 分類精度對比實(shí)驗(yàn)

實(shí)驗(yàn)過程：

(1)根據(jù)3.1節(jié)描述選取一個數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)作為目標(biāo)域數(shù)據(jù)集DT，其余數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)分別作為源域數(shù)據(jù)集 {D1,D2,D3,D4}。

(2)參照算法1對多個源域與目標(biāo)域進(jìn)行訓(xùn)練，獲得相應(yīng)的4個模型Φ1，Φ2，Φ3，Φ4。

(3)凍結(jié)Φ1模型中的F網(wǎng)絡(luò)和C1網(wǎng)絡(luò)，并且記為測試模型Ω1，對Φ2，Φ3，Φ4采用一致的步驟處理，獲得相應(yīng)的測試模型Ω2，Ω3，Ω4。

(4)采用Ω1，Ω2，Ω3，Ω4分別對DT進(jìn)行預(yù)測，計(jì)算出在每個測試模型下的分類準(zhǔn)確率。

(5)最后取這4個分類精度的平均值作為最終分類精度。在5種不同的域適應(yīng)情況下進(jìn)行驗(yàn)證，并重復(fù)以上過程，計(jì)算出每種域適應(yīng)情況下的分類精度。

結(jié)果分析：如表1所示，在5種多源域適應(yīng)任務(wù)下，將MSDACG方法與當(dāng)前多源域適應(yīng)方法進(jìn)行分類精度的比較。其中，粗體表示分類精度最高的值?？梢钥闯鯩SDACG方法平均值達(dá)到了90.56%，相較于M3SDA的平均分類精度提高了2.91%。在目標(biāo)域數(shù)據(jù)集為MNIST-M的遷移任務(wù)上，其精度可以達(dá)到80.86%，與M3SDA相比，其分類精度提高了8.04%；相較于DCTN提高了10.33%。而在其它多源域適應(yīng)任務(wù)下，其分類精度也提高了0.35%～3.16%左右。圖5展示了在MSDACG模型下， mm,mt,sv,sy→up這一組遷移任務(wù)的分類損失比較，橫軸代表模型訓(xùn)練的迭代次數(shù)，而豎軸代表訓(xùn)練過程中產(chǎn)生的分類損失函數(shù)值?？梢钥闯鲭S著迭代次數(shù)的增加其分類損失呈現(xiàn)不斷遞減的趨勢，且越來越接近于x坐標(biāo)軸，驗(yàn)證了學(xué)習(xí)來自不同域的信息對分類器效果有一定的提升。

表1 MSDACG與當(dāng)前主流的多源域適應(yīng)方法的分類精度比較

圖5 mm,mt,sv,sy→up分類損失折線

3.4 圖像生成對比實(shí)驗(yàn)

實(shí)驗(yàn)過程：

(1)對4個源域 {D1,D2,D3,D4} 分別隨機(jī)選取100幅圖像作為測試數(shù)據(jù)集D1*,D2*,D3*,D4*。

(2)按照算法1的步驟，固定F網(wǎng)絡(luò)以及G1,G2,G3,G4。 產(chǎn)生對應(yīng)的模型Ψ1，Ψ2，Ψ3，Ψ4分別作為測試模型。

(3)使用測試數(shù)據(jù)D1*,D2*,D3*,D4*經(jīng)過對應(yīng)的模型Ψ1，Ψ2，Ψ3，Ψ4分別生成對應(yīng)的生成數(shù)據(jù)。

結(jié)果分析：圖6展示了在MSDACG模型下， mm,mt,sv,sy→up遷移任務(wù)的圖像效果。將每一組生成圖像和真實(shí)圖像進(jìn)行可視化對比分析，模型根據(jù)來自不同概率分布的源域樣本生成了類似源域效果的圖像，對于像MNIST-M、SVHN、Synthetic Digits這樣具有彩色數(shù)字的圖像，模型也能夠根據(jù)其特點(diǎn)生成紋理以及邊緣構(gòu)造清晰的數(shù)字。而對于Synthetic Digits生成圖像的效果相較于MNIST-M、SVHN不是特別好的原因可能是與原先真實(shí)圖像的清晰度有關(guān)。而對于具有黑白手寫數(shù)字樣式的MNIST數(shù)據(jù)集來說，生成的數(shù)字圖像邊緣以及輪廓也具有良好的可視化效果。因此能夠驗(yàn)證生成器是可以學(xué)習(xí)到來自不同源域的數(shù)據(jù)特征進(jìn)而生成類似源域分布的生成圖像，并且對于學(xué)習(xí)彩色圖像也具有相對優(yōu)秀的能力。圖7展示了MSDACG模型在訓(xùn)練過程中CMMD值隨迭代次數(shù)變化的趨勢圖，這里縱軸代表CMMD的值，表示源域特征與目標(biāo)域特征的像素矩陣經(jīng)過RKHS空間中使用具有衡量條件概率分布的CMMD進(jìn)行計(jì)算所得出的值。即隨著迭代次數(shù)的增加CMMD值在不斷減小，該結(jié)果驗(yàn)證了隨著模型的不斷迭代，每一組源域和目標(biāo)域之間的條件概率差異在不斷地減小。

圖6 mm,mt,sv,sy→up生成圖像可視化

圖7 mm,mt,sv,sy→up CMMD值折線

3.5 t-SNE特征嵌入可視化分析實(shí)驗(yàn)

實(shí)驗(yàn)過程：

(1)分別從3.1節(jié)中D1,D2,D3,D4,DT的每個類別里隨機(jī)選取50個數(shù)據(jù)及相應(yīng)的標(biāo)簽，分別組成總大小為500的測試數(shù)據(jù)D1**,D2**,D3**,D4**,DT**。

(2)將D1**和DT**進(jìn)行數(shù)據(jù)歸一化操作，且計(jì)算出對應(yīng)tsne值tsneS1和tsneT。

(3)使用tsneS1和tsneT以及D1**和DT**和對應(yīng)的標(biāo)簽繪制適應(yīng)前的tsne可視化特征。其次通過固定3.3節(jié)中模型Φ1的F網(wǎng)絡(luò)、G1網(wǎng)絡(luò)和D1網(wǎng)絡(luò)作為特征可視化的測試模型Γ1，在模型上使用D1**和DT**產(chǎn)生適應(yīng)后的源域特征數(shù)據(jù)featureS1和目標(biāo)域特征數(shù)據(jù)featureT。

(4)同理，D2**,D3**,D4**重復(fù)以上過程，即可得到適應(yīng)后的tsne嵌入判別器最后一層卷積且經(jīng)過CMMD度量方法適應(yīng)后的特征可視化效果。

結(jié)果分析：圖8中(a)～(d)分別展示了MSDACG模型在mm,mt,sv,sy→up這一組遷移任務(wù)情況下多個源域和目標(biāo)域之間的適應(yīng)前后的效果。在MNIST-M→USPS這一組遷移任務(wù)的tsne圖中，左邊表示的未適應(yīng)前的可視化分布圖，可以看出未適應(yīng)前的特征分布散亂，且隨機(jī)分布在空間中，域間隙較大，分類信息難以識別。而在使用MSDACG模型進(jìn)行域適應(yīng)之后，域間距離開始聚攏，且分類信息更加明顯。在其它3組任務(wù)中，源域?yàn)镾VHN的這一組任務(wù)中，適應(yīng)相對較弱，通過對左圖SVHN的真實(shí)數(shù)據(jù)分布進(jìn)行分析，初步推斷是由于真實(shí)數(shù)據(jù)分布過于散亂，且類別難以區(qū)分使得聚攏效果相比其它3組較弱。源域?yàn)镸NIST和Synthetic Digits的這兩組任務(wù)中，可以看出未適應(yīng)前同一種顏色的數(shù)據(jù)中，域間距離較大，且存在多數(shù)類別錯分的情況，在適應(yīng)后之后，同一種顏色和數(shù)字標(biāo)簽從不同的位置開始朝著與自己具有相同的特征方向靠近。從而驗(yàn)證了條件概率度量準(zhǔn)則以及對抗訓(xùn)練的加入對模型的域適應(yīng)能力以及分類性能都有一定的提升。

圖8 mm,mt,sv,sy→up下適應(yīng)前后tsne可視化對比

4 結(jié)束語

為解決當(dāng)前大多數(shù)域適應(yīng)方法僅假設(shè)樣本來自單個域的情況而未考慮到多源任務(wù)的遷移，并且針對GTA模型僅使用單源學(xué)習(xí)到的特征有限以及使用對抗訓(xùn)練拉近域間隙能力較弱的問題,本文提出一種結(jié)合對抗網(wǎng)絡(luò)與條件均值的多源適應(yīng)分類方法MSDACG，該方法學(xué)習(xí)多個源域和目標(biāo)域之間的共享特征嵌入，并且考慮到每個源域之間不同的決策邊界，使用特定域的生成器和判別器之間的對抗訓(xùn)練聯(lián)合條件最大均值差異來減小每一組源域和目標(biāo)域之間的間隙，加強(qiáng)類與類間的約束。同時，該模型還利用特定域的分類器網(wǎng)絡(luò)訓(xùn)練來自不同源域的數(shù)據(jù)，并且對不同分類器的預(yù)測輸出進(jìn)行約束，從而以更優(yōu)的預(yù)測能力來識別目標(biāo)域中的數(shù)據(jù)。在4種源域下的實(shí)驗(yàn)結(jié)果表明MSDACG模型在多源域適應(yīng)分類中具有良好的效果。