具有類間差異約束的多對抗深度域適應(yīng)模型

馬娜，溫廷新，賈旭

1.遼寧工程技術(shù)大學(xué) 工商管理學(xué)院，遼寧 葫蘆島125105

2.遼寧工業(yè)大學(xué) 電子與信息工程學(xué)院，遼寧 錦州121001

在許多計算機視覺任務(wù)中，模型訓(xùn)練通常需要大量的標(biāo)注樣本，而標(biāo)注大規(guī)模樣本的工作是十分耗費時間和人力的，因此，如何利用有限的標(biāo)注樣本即可獲得較好的識別結(jié)果已成為研究熱點。遷移學(xué)習(xí)可以通過降低不同域中同一類別樣本之間的差異，將知識很好地從源域中應(yīng)用到目標(biāo)域中。可以說，提出一種有效的域適應(yīng)方法，使得描述某一類目標(biāo)的特征能夠在不同域中同時適用，將具有重要的理論研究與實際應(yīng)用價值。

目前，深度學(xué)習(xí)已經(jīng)被驗證在目標(biāo)識別問題中可以取得良好的效果，因而深度域適應(yīng)方法在遷移學(xué)習(xí)中逐漸被更多人采用。已有的深度域適應(yīng)方法大致分為三類：（1）基于域間分布差異的域適應(yīng)方法，該類方法思想是通過減小域之間分布差異，來提高特征在不同域之間的通用性[1]。其中，具有代表性的衡量分布差異的測量準(zhǔn)則有最大均值差異（maximum mean discrepancy，MMD）[2-3]，即通過降低映射后特征均值的差異，實現(xiàn)特征的共享。而后，基于MMD 思想衍生出了多種改進測度函數(shù)，如多核最大均值差異（multiple kernel variant of MMD，MK-MMD）[4]、聯(lián)合最大均值差異（joint MMD，JMMD）[5]、加權(quán)最大均值差異（weighted MMD，WMMD）[6]、Wasserstein 距離[7]、正交距離（orthogonal discrepancy）[8]、關(guān)聯(lián)對齊距離（correlation alignment discrepancy）[9-11]、中心矩距離[12-13]等。這些方法或者引入了特征核映射思想，或者選擇深度網(wǎng)絡(luò)的不同層特征，對特征相似性進行約束，進一步提升了特征的普適性。而后，針對源域與目標(biāo)域樣本分布結(jié)構(gòu)特征，基于網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)性[14-16]、流形距離[17]、圖相似性[18-19]、集群距離[20]、Fisher 距離[21]、矩距離[22]等測度函數(shù)陸續(xù)被提出，同樣在不同程度上取得了一定的效果。（2）基于對抗的域適應(yīng)方法，該類方法的思想是通過欺騙域鑒別器學(xué)習(xí)獲得域間通用的特征[23]。其中，領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)（domain adversarial neural network，DANN）[24]通過域鑒別器混淆源域與目標(biāo)域特征，獲得域間通用的特征。而后，多對抗神經(jīng)網(wǎng)絡(luò)（multi-adversarial domain adaptation，MADA）[25]被提出，它采用多個域鑒別器結(jié)構(gòu)，目的是進一步提高域間不同類別對齊的準(zhǔn)確性；而對抗判別適應(yīng)網(wǎng)絡(luò)（adversarial discriminative domain adaptation，ADDA）與生成適應(yīng)網(wǎng)絡(luò)（generate to adapt，GTA）[26-27]通過引入生成器，對生成器產(chǎn)生的數(shù)據(jù)同樣進行域分類約束；條件領(lǐng)域?qū)咕W(wǎng)絡(luò)（conditional domain adversarial networks，CDAN）[28]的創(chuàng)新之處在于在訓(xùn)練過程中能夠依據(jù)樣本重要程度差異對每一樣本賦予不同的權(quán)重。此外，提出的帶有注意力機制的對抗網(wǎng)絡(luò)[29]、主動對抗網(wǎng)絡(luò)[30]等模型也在不同程度取得了一定的效果。（3）基于重構(gòu)的域適應(yīng)方法，該類方法通過編碼與解碼來抑制信息的損失。包括傳統(tǒng)的自編碼器訓(xùn)練[31]、深度自編碼[32-33]、基于對抗的編碼[34-36]等。

以上方法取得效果的同時，仍存在一些關(guān)鍵問題需要解決，例如，大多域適應(yīng)方法僅僅對源域與目標(biāo)域的總體特征分布進行了相似性約束，事實上將源域與目標(biāo)域中每一類目標(biāo)特征分別對齊對于域適應(yīng)來說更為重要，而對齊源域與目標(biāo)域中的不同類別是沒有意義的，反而有可能導(dǎo)致負(fù)遷移；此外，即使一些方法采用了多對抗網(wǎng)絡(luò)來實現(xiàn)源域與目標(biāo)域每一類目標(biāo)的分別對齊，但對于無標(biāo)簽的樣本，如何在訓(xùn)練過程中對其指定合適的域鑒別器，即如何融合不同域鑒別器的損失并未給出較為合理的解釋，從而使類別對齊的準(zhǔn)確性難以保證；最后，除考慮識別準(zhǔn)確率以外，還應(yīng)盡可能增大相似類別特征之間的差異，目的是當(dāng)面對更大規(guī)模的樣本時，這些相似類特征之間仍然能夠具有足夠大的差異。

針對以上問題，這里提出了一種帶有類間差異約束的域適應(yīng)模型。該模型采用了基于有監(jiān)督學(xué)習(xí)的目標(biāo)分類與基于對抗的域鑒別相結(jié)合的模型結(jié)構(gòu)，其創(chuàng)新之處主要體現(xiàn)在以下兩方面：（1）訓(xùn)練過程中，對提取的特征加以類間差異性約束，從而獲得具有足夠可區(qū)分性的目標(biāo)特征。（2）提出了一種目標(biāo)域樣本偽標(biāo)簽向量計算方法，并依據(jù)偽標(biāo)簽向量中的元素對相應(yīng)域鑒別器的損失進行加權(quán)處理。

1 提出模型

1.1 參數(shù)定義

1.2 模型設(shè)計分析

提出算法的目標(biāo)在于實現(xiàn)源域與目標(biāo)域所有類別樣本能夠被準(zhǔn)確識別，即獲得對源域與目標(biāo)域都有效的特征提取器f=Gf(x)與特征分類器y=Gy(f)。而實現(xiàn)這個目標(biāo)的主要思路如下：首先，需要對源域中的樣本進行有監(jiān)督學(xué)習(xí)，保證源域中樣本能夠被準(zhǔn)確識別；而后，實現(xiàn)源域與目標(biāo)域所有類別樣本分別準(zhǔn)確對齊，從而可以將源域中的特征提取器與特征分類器較好地遷移到目標(biāo)域中。

要解決域適應(yīng)以上兩個關(guān)鍵問題，提出的模型需先后對這兩方面進行分析及優(yōu)化。首先，傳統(tǒng)的用于有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)通常將交叉熵作為模型訓(xùn)練的唯一損失函數(shù)，即僅僅考慮了分類的準(zhǔn)確性，并未考慮距離較近類別的邊界樣本是否可能彼此混淆，進而被錯誤分類，而良好的特征需要既能保證分類的準(zhǔn)確性，還可以具有較好的類別獨特性，因此，提出的模型需要增加類間差異約束，盡可能提升不同類別樣本特征之間的可區(qū)分性；其次，由于目標(biāo)域樣本在訓(xùn)練時是不包含標(biāo)簽信息的，無法一次性確定每一個目標(biāo)域樣本應(yīng)該與源域中哪一類樣本進行對齊，因此，提出的模型需要針對每一類樣本設(shè)置相應(yīng)的域鑒別器網(wǎng)絡(luò)，并給出合理的偽標(biāo)簽估計方法，最終實現(xiàn)源域和目標(biāo)域每一類樣本的分別對齊。1.3節(jié)與1.4節(jié)將基于以上分析對模型進行改進與優(yōu)化。

1.3 最大類間差異約束

由于數(shù)據(jù)集中樣本數(shù)量有限，即使類間差異較小，通過訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的特征提取器與分類器仍然可以較好地保證目標(biāo)識別的準(zhǔn)確性，如圖1（a）所示；而隨著數(shù)據(jù)集中樣本數(shù)量的增大，兩類目標(biāo)分布邊緣的樣本的差異有可能較小，那么有可能會使得具有相似類別的樣本特征難以被區(qū)分，如圖1（b）所示。

圖1 不同數(shù)據(jù)集規(guī)模條件下的特征分布Fig.1 Feature distribution under different dataset sizes

基于以上分析，當(dāng)對源域中有標(biāo)簽樣本進行有監(jiān)督學(xué)習(xí)時，不僅要保證分類的準(zhǔn)確性，還要讓不同類特征的差異性盡可能增大，從而在樣本規(guī)模增大時提高特征的有效性與算法的泛化能力。因此，這里提出了一種衡量類間差異的測量函數(shù)，如式（1）所示：

1.4 加權(quán)多對抗域鑒別器

目前大多基于對抗的域適應(yīng)模型仍采用減小源域樣本與目標(biāo)域樣本之間總體分布的思想，然而，對于源域與目標(biāo)域中不同類別的兩類樣本，降低它們之間的特征分布差異是沒有必要的，而且有可能會引起負(fù)遷移。因此，減小源域與目標(biāo)域中同一類目標(biāo)樣本的特征分布差異才是更有意義的?；谝陨戏治?，提出的模型針對每一類目標(biāo)，都采用網(wǎng)絡(luò)結(jié)構(gòu)相同的域鑒別器，即K個域鑒別器，目的是對齊源域與目標(biāo)域之間每一類目標(biāo)的樣本特征分布，而不關(guān)注不同類別目標(biāo)樣本之間的關(guān)系。

隨著訓(xùn)練期數(shù)的增加，目標(biāo)域樣本預(yù)測標(biāo)簽也逐步趨于準(zhǔn)確和穩(wěn)定，對于域鑒別器的訓(xùn)練也具有更好的指導(dǎo)意義。綜上，在訓(xùn)練初期，目標(biāo)域樣本的偽標(biāo)簽更依賴于標(biāo)簽相似度向量，而隨著迭代次數(shù)的增加，目標(biāo)域樣本的預(yù)測標(biāo)簽將對獲取偽標(biāo)簽起到更加重要的作用。這里，目標(biāo)域樣本的偽標(biāo)簽計算如式（7）所示：

式中，nepoch為模型訓(xùn)練需要的期數(shù)，即Epoch 數(shù)目，而r為當(dāng)前迭代的期數(shù)。

在模型訓(xùn)練過程中，如果訓(xùn)練樣本為源域樣本，則其偽標(biāo)簽等同于其真實標(biāo)簽，即，并將其作為域鑒別器的權(quán)重；如果訓(xùn)練樣本為目標(biāo)域樣本，則采用其偽標(biāo)簽作為域鑒別器的權(quán)重，如式（7），從而形成新的域鑒別器損失函數(shù)，如式（8）所示。

1.5 模型結(jié)構(gòu)

基于1.2～1.4 節(jié)的分析，提出的多對抗深度域適應(yīng)模型如圖2所示。

圖2 提出的域適應(yīng)模型Fig.2 Proposed domain adaptation model

圖2中，Gf、Gy與分別表示特征提取器、特征分類器和域鑒別器，k=1,2,…,K，它們的參數(shù)分別由θf、θy與來表示，GRL（gradient reversal layer）為梯度翻轉(zhuǎn)層。

為獲得較好的模型參數(shù)，需要設(shè)計一種合理的模型損失函數(shù)與訓(xùn)練方法。根據(jù)以上對域適應(yīng)問題的分析，該損失函數(shù)與訓(xùn)練方法應(yīng)滿足以下要求：

（1）為提高源域樣本分類的準(zhǔn)確率，應(yīng)通過調(diào)整參數(shù)θf與θy，盡可能減小分類損失Ly；

（2）為提高源域與目標(biāo)域樣本域鑒別準(zhǔn)確率，應(yīng)通過調(diào)整參數(shù)θf，盡可能減小域分類損失Ld；

（3）為提高不同類別樣本特征的可區(qū)分性，應(yīng)通過調(diào)整參數(shù)θf，盡可能減小類間差異損失Lf；

（4）為降低源域與目標(biāo)域同類樣本間的特征差異，應(yīng)通過調(diào)整參數(shù)，k=1,2,…,K，盡可能增大域分類損失Ld。

基于以上分析，提出的模型的損失函數(shù)可由式（9）表示：

式中，Le為交叉熵函數(shù)。

1.6 模型參數(shù)優(yōu)化求解

由以上分析，可以得出模型參數(shù)優(yōu)化的每一次迭代過程可分為兩個步驟：

（1）利用源域與目標(biāo)域中所有樣本對特征提取器參數(shù)θf與特征分類器參數(shù)θy進行優(yōu)化，降低特征分類器Gy與域鑒別器的錯誤率，k=1,2,…,K，以及減小類間差異損失，如式（11）所示：

2 實驗結(jié)果及分析

2.1 實驗數(shù)據(jù)集

本實驗將采用以下四種數(shù)據(jù)集：“Office-31”數(shù)據(jù)集[37]、“ImageCLEF-DA”數(shù)據(jù)集[38]、“Office-Caltech-10”數(shù)據(jù)集[39]、“USPS-MNIST-SVHN”數(shù)據(jù)集[40-42]。每個數(shù)據(jù)集的具體屬性如下：

（1）“Office-31”數(shù)據(jù)集。該數(shù)據(jù)集包含3 個域，分別是“Amazon”（A31）、“Webcam”（W31）、“DSLR”（D31），每個域包含31個類別的目標(biāo)，部分“自行車”樣本如圖3所示。

圖3 “Office-31”數(shù)據(jù)集中的部分樣本Fig.3 Some samples in dataset“Office-31”

（2）“ImageCLEF-DA”數(shù)據(jù)集。該數(shù)據(jù)集包含3個域，分別是“Caltech-256”（C）、“ImageNet ILSVRC 2012”（I）、“Pascal VOC 2012”（P），每個域包含12 個類別目標(biāo)，部分“馬”樣本如圖4所示。

圖4 “ImageCLEF-DA”數(shù)據(jù)集中的部分樣本Fig.4 Some samples in dataset“ImageCLEF-DA”

（3）“Office-Caltech-10”數(shù)據(jù)集。該數(shù)據(jù)集包含4個域，分別是“Amazon”（A）、“Webcam”（W）、“DSLR”（D）、“Caltech”（C），每個域包含10個類別目標(biāo)，部分“杯子”樣本如圖5所示。

圖5 “Office-Caltech-10”數(shù)據(jù)集中的部分樣本Fig.5 Some samples in dataset“Office-Caltech-10”

（4）“USPS-MNIST-SVHN”數(shù)據(jù)集。該數(shù)據(jù)集包含3個子數(shù)據(jù)集，分別被認(rèn)為是3個域，分別是“USPS”（U）、“MNIST”（M）、“SVHN”（S），每個域包含10 個類別的數(shù)字圖像，部分樣本如圖6所示。

圖6 數(shù)字?jǐn)?shù)據(jù)集中的部分樣本Fig.6 Some samples in digital dataset

2.2 參數(shù)設(shè)定

在提出的模型中，對于“Office-31”“ImageCLEFDA”“Office-Caltech-10”數(shù)據(jù)集，有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)采用ResNet50 網(wǎng)絡(luò)；對于“USPS-MNIST-SVHN”數(shù)據(jù)集，有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)采用Alexnet 網(wǎng)絡(luò)。每個域鑒別器均選擇結(jié)構(gòu)相同的3 層全連接層(f→512 →512 →2)，由于訓(xùn)練數(shù)據(jù)集的樣本數(shù)量有限，如果隨機初始化模型參數(shù)進行訓(xùn)練，那么很容易陷入局部最優(yōu)，這里將采用預(yù)訓(xùn)練好的模型參數(shù)作為初始化參數(shù)[39]。

基于小批量梯度下降的訓(xùn)練過程中，學(xué)習(xí)率η由式（13）獲得[25]：

式中，r為訓(xùn)練期數(shù)，α=10，β=0.75。而模型訓(xùn)練時的其他參數(shù)設(shè)置如表1所示。

表1 模型訓(xùn)練參數(shù)設(shè)置Table 1 Parameter setting during training model

此外，平衡因子λ1與λ2將依據(jù)實驗結(jié)果獲得，選擇的依據(jù)為在4 個數(shù)據(jù)集上目標(biāo)域獲得識別最大平均準(zhǔn)確率的參數(shù)與為最優(yōu)參數(shù)，這里，λ1與λ2的取值范圍分別為λ1,λ2∈{0.05,0.10,0.50,1.00,10.00}，而不同參數(shù)組合條件下獲得識別的平均準(zhǔn)確率如表2所示。

表2 不同參數(shù)下的識別結(jié)果Table 2 Recognition results under different parameters

由表2可以看出，當(dāng)λ1=0.50，λ2=1.00時，可獲得最大的平均識別準(zhǔn)確率。

2.3 模型有效性提升分析

提出模型的創(chuàng)新之處主要體現(xiàn)在兩方面：一是提出了加權(quán)多對抗域鑒別器進行同類樣本對齊；二是提出了特征類間差異約束，從而增大不同類樣本間的差異。為驗證創(chuàng)新點的有效性，除提出的模型外，這里重新構(gòu)造兩個對比模型：

（1）模型1。將提出模型損失函數(shù)中的特征類間差異約束項刪除，并采用單個域分類器，如式（14）所示：

（2）模型2。保留特征類間差異約束項，將提出模型的多個域鑒別器改為單個域鑒別器，損失函數(shù)如式（15）所示：

2.3.1 同類樣本特征對齊分析

由表3 可以看出，經(jīng)過域適應(yīng)后，基于3 種模型獲得的源域與目標(biāo)域所有類別樣本特征分布中心距離都較小，提出的模型要略好于其他兩個模型；然而，提出的模型在目標(biāo)域不同類別樣本識別準(zhǔn)確率上要明顯優(yōu)于對比的兩個模型，從而說明提出的模型更好地降低了源域與目標(biāo)域之間同類樣本的特征分布的差異。

表3 使用“ImageCLEF-DA”數(shù)據(jù)集時不同模型的與值Table 3 Obtained and values of different models when using dataset“ImageCLEF-DA”

表3 使用“ImageCLEF-DA”數(shù)據(jù)集時不同模型的與值Table 3 Obtained and values of different models when using dataset“ImageCLEF-DA”

2.3.2 類間差異約束有效性分析

為驗證提出的類間差異約束函數(shù)的有效性，將對域適應(yīng)后不同類樣本的可區(qū)分性做進一步的分析，這里，采用域適應(yīng)后目標(biāo)域中不同類樣本中心距離dcen(class1,class2)來對類間可區(qū)分性進行衡量，結(jié)果如表4、表5所示，而dcen(class1,class2)計算如式（19）所示：

表4 C →I 條件下目標(biāo)域中5個最小類間中心距離Table 4 Five smallest center distances between different classes in target domain under C →I

由表4可以看出，通過在模型中增加類間差異約束，訓(xùn)練后目標(biāo)域中不同類別特征分布差異更加明顯，從而有效降低了相似類別被錯誤分類的可能性；而由表5 可以看出，當(dāng)選擇不同的源域與目標(biāo)域時，提出的模型都會有效增大類間特征的分布差異，從而提高了不同類別特征的可區(qū)分性。

表5 使用“ImageCLEF-DA”數(shù)據(jù)集時目標(biāo)域中5個最小類間中心距離的平均值Table 5 Average values of five smallest center distances between different classes in target domain when using dataset“ImageCLEF-DA”

同樣以ImageCLEF-DA 數(shù)據(jù)集C→I為例，3 種模型的對比結(jié)果還可以通過t-SNE圖來進行觀察，如圖7所示。

圖7 “ImageCLEF-DA”數(shù)據(jù)集特征t-SNE可視化Fig.7 t-SNE visualization of deep features on dataset“ImageCLEF-DA”

首先，由圖7（a）、圖7（b）可以看出，當(dāng)將損失函數(shù)中的類間差異約束項刪除后，不同類目標(biāo)特征的可區(qū)分度較小，雖然對源域進行有監(jiān)督學(xué)習(xí)后，可以較好地保證分類準(zhǔn)確率，但目標(biāo)域中樣本的分類準(zhǔn)確率難以保證，尤其是特征相似度較高的目標(biāo)很容易被錯誤分類。例如，對于“人”與“飛機”等與其他目標(biāo)具有較大差異的類別，不含類間差異約束的模型1 與提出的模型對于目標(biāo)域樣本都具有較好的識別效果；而對于“摩托車”與“自行車”具有較高相似性的類別，模型1訓(xùn)練后得到的兩類特征分布差異性較小，導(dǎo)致目標(biāo)域中“自行車”樣本被誤分類為“摩托車”，如圖8（a）所示；但提出的模型在訓(xùn)練時考慮了類間差異損失，可以將“自行車”樣本正確識別，如圖8（b）所示。

圖8 使用不同模型時部分樣本識別結(jié)果Fig.8 Recognition results of some samples when using different models

2.3.3 偽標(biāo)簽函數(shù)有效性分析

為驗證提出的偽標(biāo)簽函數(shù)的有效性和必要性，這里將對基于不同偽標(biāo)簽函數(shù)的實驗結(jié)果進行分析，除提出的偽標(biāo)簽函數(shù)式（7）外，增加了兩種對比的偽標(biāo)簽獲取方式：一是直接采用樣本分類后預(yù)測的標(biāo)簽作為其偽標(biāo)簽，記為pseudo label 1；二是始終采用標(biāo)簽相似度向量作為其偽標(biāo)簽，記為pseudo label 2。在對比實驗中，采用同一個模型結(jié)構(gòu)，如圖2，其他參數(shù)設(shè)定見2.2節(jié)，通過對比訓(xùn)練過程中目標(biāo)域樣本準(zhǔn)確率變化曲線，來驗證提出的偽標(biāo)簽函數(shù)的有效性，如圖9所示。

圖9 C →I 訓(xùn)練過程中基于不同偽標(biāo)簽函數(shù)的準(zhǔn)確率變化曲線Fig.9 Accuracy variation curves based on different pseudo label functions during C →I training

由于目標(biāo)域樣本在訓(xùn)練初期的分類準(zhǔn)確率較低，如果采用分類后預(yù)測標(biāo)簽作為偽標(biāo)簽，可能會造成目標(biāo)域樣本被指定到錯誤類別的域鑒別器，進而導(dǎo)致知識的負(fù)遷移。由圖9 可以看出，基于偽標(biāo)簽1的準(zhǔn)確率曲線收斂慢，并且訓(xùn)練結(jié)束后目標(biāo)域樣本分類的準(zhǔn)確率相對較低；當(dāng)采用標(biāo)簽相似度向量作為偽標(biāo)簽時，訓(xùn)練初期目標(biāo)域樣本可以被更好地指定到正確類別的域鑒別器。由圖9可以看出，基于偽標(biāo)簽2的準(zhǔn)確率曲線收斂速度得到較好的提高；在訓(xùn)練的中后期，目標(biāo)域中樣本分類后預(yù)測標(biāo)簽的準(zhǔn)確率會得到大幅度提升，依據(jù)該特點，可以得到樣本偽標(biāo)簽在訓(xùn)練初期更依賴于標(biāo)簽相似度向量，而隨著訓(xùn)練次數(shù)的增加，樣本分類后預(yù)測的標(biāo)簽將對構(gòu)造偽標(biāo)簽發(fā)揮更大的作用。由圖9可以看出，無論是從收斂快速性，還是從最終目標(biāo)域樣本分類準(zhǔn)確率來看，基于提出的偽標(biāo)簽函數(shù)的模型具有更好的效果。

表6 選用“Office-31”數(shù)據(jù)集時識別準(zhǔn)確率比較Table 6 Comparison of recognition accuracy when using dataset“Office-31” 單位：%

表7 選用“ImageCLEF-DA”數(shù)據(jù)集時識別準(zhǔn)確率比較Table 7 Comparison of recognition accuracy when using dataset“ImageCLEF-DA” 單位：%

表8 選用“Office-Caltech-10”數(shù)據(jù)集時識別準(zhǔn)確率比較Table 8 Comparison of recognition accuracy when using dataset“Office-Caltech-10” 單位：%

2.4 不同模型實驗結(jié)果比較與分析

分別基于“Office-31”“ImageCLEF-DA”“Office-Caltech-10”“USPS-MNIST-SVHN”4 個數(shù)據(jù)集，將提出的模型與部分已有的域適應(yīng)模型的實驗結(jié)果進行對比，對于不同的源域與目標(biāo)域，對比結(jié)果如表6～表9所示。

表9 選用“USPS-MNIST-SVHN”數(shù)據(jù)集時識別準(zhǔn)確率比較Table 9 Comparison of recognition accuracy when using“USPS-MNIST-SVHN”dataset 單位：%

由表6～表9 可以看出，針對使用的4 種數(shù)據(jù)集，提出域適應(yīng)方法相對于部分已有的模型具有更好的特征遷移性能。尤其是對于同樣具有多對抗域鑒別器結(jié)構(gòu)的模型，提出的模型在訓(xùn)練過程中對不同的域鑒別器賦予了更為合理的權(quán)重，使得識別準(zhǔn)確率得到了提高，進一步驗證了提出的偽標(biāo)簽向量獲取方法的重要性。

3 結(jié)束語

源域與目標(biāo)域每一類樣本都能夠準(zhǔn)確對齊是實現(xiàn)特征遷移的關(guān)鍵，針對該問題，提出了一種加權(quán)多對抗域適應(yīng)模型。該模型的貢獻在于：（1）提出了一種偽標(biāo)簽計算方法，能夠在訓(xùn)練過程中讓目標(biāo)域中的樣本獲得更為合理的偽標(biāo)簽，從而讓域間同一類樣本實現(xiàn)準(zhǔn)確對齊；（2）提出了一種類間差異測量函數(shù)，在模型訓(xùn)練過程中，不僅要保證樣本的分類準(zhǔn)確率，而且盡可能增大相似類別樣本之間的特征分布差異，從而在更換數(shù)據(jù)集或增大數(shù)據(jù)集規(guī)模時，兩類樣本仍能較好地被區(qū)分。此外，設(shè)計更為合理及有效的類間差異函數(shù)，進一步提升模型的性能將是未來需要研究的重要內(nèi)容。