領(lǐng)域自適應(yīng)研究綜述

李晶晶，孟利超，張 可，2，魯 珂，申恒濤

（1.電子科技大學(xué) 計算機(jī)科學(xué)與工程學(xué)院，成都 611731；2.電子信息控制重點(diǎn)實(shí)驗(yàn)室，成都 610000）

0 概述

在海量數(shù)據(jù)的支撐下，機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)算法在計算機(jī)視覺、自然語言處理等領(lǐng)域得到廣泛應(yīng)用并取得了較大成功。機(jī)器學(xué)習(xí)的理想應(yīng)用場景是有大量帶標(biāo)記的訓(xùn)練實(shí)例，并且訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)具有相同的分布。然而，在許多現(xiàn)實(shí)應(yīng)用中，收集足夠的帶標(biāo)記訓(xùn)練數(shù)據(jù)通常耗時、代價昂貴甚至無法實(shí)現(xiàn)。同時，在機(jī)器學(xué)習(xí)被使用的諸多領(lǐng)域中，數(shù)據(jù)獨(dú)立同分布的假設(shè)往往并不成立。數(shù)據(jù)分布存在差異導(dǎo)致傳統(tǒng)的機(jī)器學(xué)習(xí)算法訓(xùn)練得到的模型往往不能在相似的新領(lǐng)域中取得預(yù)期結(jié)果，這限制了機(jī)器學(xué)習(xí)模型的泛化能力和知識復(fù)用能力。

遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)技術(shù)可以改善機(jī)器學(xué)習(xí)模型在跨領(lǐng)域任務(wù)中的性能。當(dāng)目標(biāo)領(lǐng)域中無法獲得大量帶標(biāo)簽數(shù)據(jù)用于訓(xùn)練具有良好性能的機(jī)器學(xué)習(xí)模型時，可以考慮在不同但相關(guān)的有大量帶標(biāo)簽數(shù)據(jù)可以被獲取的輔助領(lǐng)域進(jìn)行模型預(yù)訓(xùn)練，然后對訓(xùn)練好的模型進(jìn)行調(diào)整并應(yīng)用于目標(biāo)領(lǐng)域，這克服了實(shí)際應(yīng)用中目標(biāo)域難以獲取帶標(biāo)簽數(shù)據(jù)的困境。然而，跨域的數(shù)據(jù)分布差異成為了模型遷移的障礙。領(lǐng)域自適應(yīng)旨在學(xué)習(xí)一個模型使得在輔助領(lǐng)域獲取的知識能夠在目標(biāo)領(lǐng)域較好地得到泛化，引入領(lǐng)域自適應(yīng)技術(shù)可以減小輔助領(lǐng)域與目標(biāo)領(lǐng)域的數(shù)據(jù)分布差異，從而實(shí)現(xiàn)領(lǐng)域不變知識的跨域遷移和復(fù)用。領(lǐng)域自適應(yīng)是機(jī)器學(xué)習(xí)與計算機(jī)視覺范疇內(nèi)的前沿研究方向之一，在生物信息學(xué)等方面有極大的應(yīng)用前景。遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)技術(shù)有望處理目標(biāo)領(lǐng)域標(biāo)注數(shù)據(jù)稀缺的問題，避免從頭進(jìn)行模型訓(xùn)練的高額成本，從而提高機(jī)器學(xué)習(xí)模型的普適性和知識遷移復(fù)用的能力，因此，遷移學(xué)習(xí)與領(lǐng)域自適應(yīng)具備較大的理論研究價值和廣闊的應(yīng)用前景。

本文總結(jié)國內(nèi)外學(xué)者對領(lǐng)域自適應(yīng)技術(shù)的研究現(xiàn)狀，介紹領(lǐng)域自適應(yīng)的相關(guān)概念、算法分類、代表性方法、典型應(yīng)用以及目前存在的挑戰(zhàn)，在此基礎(chǔ)上，對領(lǐng)域自適應(yīng)技術(shù)的發(fā)展趨勢及未來研究方向進(jìn)行展望。

1 研究現(xiàn)狀

遷移學(xué)習(xí)試圖讓機(jī)器學(xué)習(xí)人類的類比學(xué)習(xí)和“舉一反三”的能力，遷移學(xué)習(xí)受到人類可以智能地應(yīng)用以前學(xué)習(xí)到的知識來更快更好地解決新問題這一事實(shí)的啟發(fā)。1995 年，NIPS 關(guān)于“學(xué)會學(xué)習(xí)”的研討會討論了機(jī)器學(xué)習(xí)領(lǐng)域的遷移學(xué)習(xí)基本動機(jī)，自1995 年之后，遷移學(xué)習(xí)以“學(xué)會學(xué)習(xí)”“知識遷移”“終生學(xué)習(xí)”“多任務(wù)學(xué)習(xí)”“歸納遷移”“增量學(xué)習(xí)”等不同的名稱出現(xiàn)，逐漸引起人們的關(guān)注。2005 年，美國國防部高級研究計劃局（DARPA）的信息處理技術(shù)辦公室（IPTO）對遷移學(xué)習(xí)進(jìn)行新的定義：一個系統(tǒng)對先前學(xué)習(xí)到的知識或技能進(jìn)行識別并將其運(yùn)用于新任務(wù)的能力。2010 年發(fā)表于TKDE（IEEE Transactions on Knowledge and Data Engineering）的綜述論文A Survey on Transfer Learning 系統(tǒng)闡述了遷移學(xué)習(xí)的研究歷程，提出遷移學(xué)習(xí)的形式化定義及分類，并將領(lǐng)域自適應(yīng)對應(yīng)于遷移學(xué)習(xí)的子領(lǐng)域之一。

在隨后的理論研究中，淺層域適應(yīng)的常用算法主要分為基于實(shí)例的DA 和基于特征的DA［1］。文獻(xiàn)［1］將深度DA 分為基于差異、基于對抗和基于重建三大類。文獻(xiàn)［2］將其分為基于實(shí)例、基于映射、基于網(wǎng)絡(luò)和基于對抗四大類。文獻(xiàn)［3-4］從數(shù)據(jù)和模型的角度對遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)的多種代表性方法進(jìn)行概述。文獻(xiàn)［5］關(guān)注單源無監(jiān)督的域適應(yīng)場景，特別是該設(shè)定下的深度域適應(yīng)方法，根據(jù)域偏移損失和生成/判別設(shè)定的不同，將深度域適應(yīng)方法歸類為基于差異的方法、基于對抗生成的方法、基于對抗判別的方法和基于自監(jiān)督的方法四類。文獻(xiàn)［6-7］側(cè)重于從特征選擇、特征空間對齊的角度對域適應(yīng)算法進(jìn)行研究，文獻(xiàn)［8-9］基于對抗學(xué)習(xí)的思想進(jìn)行算法的拓展和改進(jìn)。文獻(xiàn)［10］結(jié)合元學(xué)習(xí)、對抗學(xué)習(xí)、正則化的思想，提出基于元學(xué)習(xí)的權(quán)重時序正則化域?qū)咕W(wǎng)絡(luò)。文獻(xiàn)［11］從領(lǐng)域分布差異、對抗、重構(gòu)和樣本生成4 個角度對深度域適應(yīng)方法進(jìn)行綜述，并對跨域標(biāo)簽空間不同的復(fù)雜場景進(jìn)行概述。

在域適應(yīng)的應(yīng)用方面，文獻(xiàn)［12］總結(jié)域適應(yīng)在諸如圖像分類、目標(biāo)檢測、語義分割、姿態(tài)估計、視頻動作檢測等計算機(jī)視覺領(lǐng)域中的應(yīng)用，文獻(xiàn)［3］總結(jié)域適應(yīng)方法在醫(yī)學(xué)影像與計算機(jī)輔助診斷、生物序列分析、交通場景識別、推薦系統(tǒng)等領(lǐng)域的應(yīng)用。此外，域適應(yīng)在文本分類、情感分析、相關(guān)性提取、機(jī)器翻譯等自然語言處理領(lǐng)域也得到了廣泛應(yīng)用［13］。

本文在上述研究的基礎(chǔ)上，圍繞域適應(yīng)的概念、分類、代表方法、典型應(yīng)用、現(xiàn)存挑戰(zhàn)等方面進(jìn)行研究和分析。

2 領(lǐng)域自適應(yīng)

2.1 問題定義與基礎(chǔ)理論

參考文獻(xiàn)［14］，本文先給出域、任務(wù)、遷移學(xué)習(xí)這3 個相關(guān)概念的定義，隨后給出領(lǐng)域自適應(yīng)的形式化定義。

定義1（領(lǐng)域D）一個領(lǐng)域D 由d 維的特征空間X 和邊緣概率分布P(X)兩個部分組成，其中，X 是n 個樣本的集合，每個樣本對應(yīng)d 維特征空間X 中的一個特征向量，即X={x1,x2,…,xn}?X，因此，可用D={X,P(X)}來表示一個領(lǐng)域［14］。

定義2（任務(wù)T）給定一個特定的領(lǐng)域D={X,P(X)}，一個任務(wù)T 由標(biāo)簽空間Y 和類別預(yù)測函數(shù)f(˙)兩個部分組成，給定一個實(shí)例的特征向量表示，類別預(yù)測函數(shù)f(˙)可以預(yù)測其對應(yīng)的類別標(biāo)簽f(x)，從概率的角度，可表示為邊緣概率分布P(y|x)，因此，可用T={Y,P(Y|X)}來表示給定領(lǐng)域后的一個任務(wù)［14］。

進(jìn)一步定義源域DS和目標(biāo)域DT，源域數(shù)據(jù)定義為，其 中，表示源域的數(shù)據(jù)實(shí)例，為對應(yīng)的類別標(biāo)簽。同樣地，目標(biāo)域數(shù)據(jù)定義為，其 中，表示目標(biāo)域的輸入數(shù) 據(jù)，為對應(yīng)類別預(yù)測函數(shù)的輸出。在通常情況下，源域中數(shù)據(jù)量豐富且類別標(biāo)簽可獲取，而目標(biāo)域中數(shù)據(jù)量較少，且往往無法獲取其真實(shí)的類別標(biāo)簽，即通常存在0 ≤nT?nS。

定義3（遷移學(xué)習(xí)）給定一個源域DS和源學(xué)習(xí)任務(wù)TS，目標(biāo)域DT和目標(biāo)學(xué)習(xí)任務(wù)TT，在DS≠DT或者TS≠TT，即源域和目標(biāo)域不相同的設(shè)定下，遷移學(xué)習(xí)旨在利用源域DS和源學(xué)習(xí)任務(wù)TS的知識來幫助提高目標(biāo)域DT中目標(biāo)預(yù)測函數(shù)fT(˙)的學(xué)習(xí)性能［14］。

定義4（領(lǐng)域自適應(yīng)）在遷移學(xué)習(xí)的設(shè)定中，假定2 個域待解決的任務(wù)相同，即TS=TT，通常這一任務(wù)為分類任務(wù)，假定標(biāo)簽空間在2 個域中共享，即Y=YS=YT，本文研究這一設(shè)定下知識的跨域遷移復(fù)用［12］問題，領(lǐng)域自適應(yīng)作為遷移學(xué)習(xí)的子領(lǐng)域之一而出現(xiàn)。

2.2 算法分類

領(lǐng)域自適應(yīng)的研究場景可按照不同維度進(jìn)行劃分，本文將從數(shù)據(jù)標(biāo)簽是否可獲取、參與域的數(shù)量、跨域數(shù)據(jù)特征空間的構(gòu)成3 個維度對域適應(yīng)算法進(jìn)行分類，并簡要介紹與域適應(yīng)相關(guān)的其他領(lǐng)域。圖1所示為算法分類的整體框架。

圖1 領(lǐng)域自適應(yīng)算法分類整體框架Fig.1 Overall framework of domain adaptation algorithms classification

2.2.1 有無監(jiān)督分類

根據(jù)源域和目標(biāo)域數(shù)據(jù)標(biāo)簽是否可獲取及其質(zhì)量，可將域適應(yīng)分為無監(jiān)督域適應(yīng)（Unsupervised Domain Adaptation，UDA）、半監(jiān)督域適應(yīng)（Semi-Supervised Domain Adaptation，SSDA）和弱監(jiān)督域適應(yīng)（Weakly-Supervised Domain Adaptation，WSDA）3類，具體如下：

1）無監(jiān)督領(lǐng)域自適應(yīng)目前得到廣泛研究，其主要研究源域有大量帶標(biāo)簽的干凈數(shù)據(jù)、目標(biāo)域僅有標(biāo)簽不可獲取的少量數(shù)據(jù)的情景，即。

2）半監(jiān)督領(lǐng)域自適應(yīng)研究源域有豐富的帶標(biāo)簽數(shù)據(jù)、目標(biāo)域有標(biāo)簽不可獲取的數(shù)據(jù)和少量帶標(biāo)簽數(shù)據(jù)的情況，即，其中，DT和DU分別代表目標(biāo)域帶標(biāo)簽樣本和無標(biāo)簽樣本的集合［15-16］。半監(jiān)督領(lǐng)域自適應(yīng)與無監(jiān)督領(lǐng)域自適應(yīng)的區(qū)別在于，進(jìn)行跨域適配時利用目標(biāo)域少量帶標(biāo)簽的樣本信息。當(dāng)目標(biāo)域帶標(biāo)簽數(shù)據(jù)樣本很少時，半監(jiān)督域適應(yīng)也被稱為少樣本域適應(yīng)［17］。

3）弱監(jiān)督領(lǐng)域自適應(yīng)考慮源域數(shù)據(jù)不純凈、存在噪聲的情況，其基本設(shè)定仍為，即源域數(shù)據(jù)標(biāo)簽可獲取，目標(biāo)域數(shù)據(jù)標(biāo)簽不可獲取，但放寬了源域數(shù)據(jù)是清潔的這一假設(shè)，源域的數(shù)據(jù)樣本可能在特征和標(biāo)簽中包含噪聲，其目標(biāo)是訓(xùn)練模型以降低源域噪聲對遷移的負(fù)影響，實(shí)現(xiàn)無噪聲源域樣本的正向轉(zhuǎn)移［18］。

2.2.2 參與域數(shù)量分類

按照源域和目標(biāo)域的數(shù)量，可以將域適應(yīng)分為單源域適應(yīng)、多源域適應(yīng)和多目標(biāo)域適應(yīng)3 類，如圖2 所示。

圖2 域適應(yīng)分類示意圖Fig.2 Schematic diagram of domain adaptation classification

單源域適應(yīng)只關(guān)注將單一源域的知識遷移到單一目標(biāo)域的情景。傳統(tǒng)的無監(jiān)督、半監(jiān)督領(lǐng)域自適應(yīng)大多屬于這一類別。

多源域適應(yīng)指帶標(biāo)簽的數(shù)據(jù)來源于多個不同的源域，不僅存在源域和目標(biāo)域數(shù)據(jù)分布的差異，同時多個源域之間的數(shù)據(jù)分布也可能不同。文獻(xiàn)［19］提出一種分布加權(quán)組合的規(guī)則，用多個源域分布的加權(quán)組合來構(gòu)建目標(biāo)分布。DCTN（Deep Cocktail Network）將這一規(guī)則用于對抗設(shè)置［20］。文獻(xiàn)［21］使用多源域自適應(yīng)的矩匹配網(wǎng)絡(luò)（M3SDA）來對齊多個源域和目標(biāo)域之間的分布差異等。

多目標(biāo)域適應(yīng)研究將源域的知識遷移到多個無標(biāo)簽?zāi)繕?biāo)域的情況，且設(shè)定源域和目標(biāo)域之間、不同的目標(biāo)域之間均存在數(shù)據(jù)分布的差異。針對這一設(shè)定，文獻(xiàn)［22］提出模型參數(shù)自適應(yīng)的方法，文獻(xiàn)［23］使用信息論的方法找到所有域的特征共享子空間，以實(shí)現(xiàn)源域知識在多個目標(biāo)域上的遷移。

2.2.3 同構(gòu)異構(gòu)分類

根據(jù)源域和目標(biāo)域數(shù)據(jù)的特征空間是否相同，可將域適應(yīng)分為同構(gòu)領(lǐng)域自適應(yīng)和異構(gòu)領(lǐng)域自適應(yīng)兩類。

同構(gòu)領(lǐng)域自適應(yīng)指源域和目標(biāo)域樣本具有相同的特征空間和標(biāo)簽空間，即XS=XT且YS=YT，并且具有相同的維度，即dS=dT。此類方法主要關(guān)注不同領(lǐng)域下的單一相同任務(wù)，減少跨域數(shù)據(jù)分布偏移帶來的性能下降問題，從而實(shí)現(xiàn)模型或知識的跨域遷移復(fù)用。

異構(gòu)領(lǐng)域自適應(yīng)指源域和目標(biāo)域具有不同的特征空間，通常也不重疊，源域和目標(biāo)域不共享特征/標(biāo)簽，其維度也可能不同，即XS≠XT和/或YS≠YT，且dS≠dT。異構(gòu)領(lǐng)域自適應(yīng)更具挑戰(zhàn)性，因?yàn)樵趹?yīng)對跨域數(shù)據(jù)分布差異的同時，還需要進(jìn)行特征空間和標(biāo)簽空間的轉(zhuǎn)換，從而適應(yīng)知識跨域遷移的需求［24］。

2.2.4 領(lǐng)域泛化與小樣本學(xué)習(xí)

本節(jié)介紹領(lǐng)域泛化和小樣本學(xué)習(xí)2 個與領(lǐng)域自適應(yīng)相關(guān)的概念。

領(lǐng)域泛化的目標(biāo)是在目標(biāo)域不可見的情況下，利用多個源域的帶有類別標(biāo)簽和域標(biāo)簽的數(shù)據(jù)訓(xùn)練得到一個領(lǐng)域泛化的模型［25］，其與領(lǐng)域自適應(yīng)的區(qū)別在于，領(lǐng)域泛化在訓(xùn)練階段不可獲取目標(biāo)域的樣本，而領(lǐng)域自適應(yīng)在訓(xùn)練階段可以獲取無標(biāo)簽的目標(biāo)域樣本。

小樣本學(xué)習(xí)旨在根據(jù)給定的少量帶標(biāo)簽樣本和帶標(biāo)簽的基類學(xué)習(xí)新的類別［15］。小樣本學(xué)習(xí)和半監(jiān)督領(lǐng)域自適應(yīng)問題具有不同的假設(shè)：小樣本學(xué)習(xí)不使用無標(biāo)簽的數(shù)據(jù)，其目標(biāo)是獲取關(guān)于新類別的知識；半監(jiān)督領(lǐng)域自適應(yīng)問題使用目標(biāo)域無標(biāo)簽的樣本用于訓(xùn)練，并且其目標(biāo)是對新的領(lǐng)域中具有相同類別的樣本進(jìn)行適配。

2.3 基于距離度量的方法

為了減少源域和目標(biāo)域的數(shù)據(jù)分布差異，可以基于某種差異度量指標(biāo)將源域和目標(biāo)域特征映射到一個公共的再生核希爾伯特空間（RKHS）中，通過最小化域間分布差異的度量指標(biāo)學(xué)習(xí)特征變換，實(shí)現(xiàn)源域和目標(biāo)域的分布對齊，這便是基于距離度量的方法的基本思想。度量域間分布差異的指標(biāo)包括KL 散度、最大均值差異（MMD）、Wasserstein 距離等。基于距離度量的典型方法及其特征總結(jié)如表1 所示。

表1 基于距離度量的方法Table 1 Methods based on distance measurement

2.3.1 KL 散度

KL 散度是兩個概率分布間差異的非對稱性度量。給定兩個概率分布P?Rk×1、Q?Rk×1，Q與P的KL 散度表示用Q近似P時所丟失的信息，定義［26］為：

文獻(xiàn)［27］將KL 散度與原型網(wǎng)絡(luò)的思想相結(jié)合，提出可遷移原型網(wǎng)絡(luò)（Transferrable Prototypical Networks，TPN），用于解決無監(jiān)督領(lǐng)域自適應(yīng)問題，其基本思想是：首先將目標(biāo)域中的每個樣本與源域中最近的原型進(jìn)行匹配，并為其分配“偽標(biāo)簽”；隨后在僅基于源域數(shù)據(jù)、僅基于目標(biāo)域數(shù)據(jù)、基于源域和目標(biāo)域數(shù)據(jù)3 種情況下分別計算得到各個類的原型；接著進(jìn)行端到端的訓(xùn)練，同時最小化不同設(shè)定下類原型的差異以及每個樣本在三種類原型下分類的類別概率分布差異。在TPN 中，可以使用MMD 度量類原型的差異，通過KL 散度度量樣本在不同類原型下分類的概率分布差異。

2.3.2 最大均值差異

最大均值差異（MMD）是度量跨域分布差異時被廣泛使用的度量指標(biāo)。給定源域和目標(biāo)域的數(shù)據(jù)分布XS、XT，MMD 定義為［1］：

其中，?表示將原始數(shù)據(jù)映射到一個再生核希爾伯特空間中的核函數(shù)。MMD 通過計算在再生核希爾伯特空間中域間實(shí)例均值之間的差異來代表數(shù)據(jù)分布的差異。

在淺層域適應(yīng)方法中，文獻(xiàn)［28］提出遷移成分分析方法（TCA）［28］。TCA 以MMD 來度量邊緣分布的差異，以散點(diǎn)矩陣作為約束條件來學(xué)習(xí)一個從經(jīng)驗(yàn)核特征空間到低維特征空間的線性映射。此外，文獻(xiàn)［29］在TCA 的基礎(chǔ)上引入MMD 和流形學(xué)習(xí)的思想，提出局部保留聯(lián)合分布適配的方法LPJT。LPJT 期望訓(xùn)練得到一個特征變換矩陣，將兩個域的樣本映射到一個低維特征空間，并在這個特征空間中同時實(shí)現(xiàn)邊緣概率分布和條件概率分布的最小化。

在深度域適應(yīng)中，文獻(xiàn)［30］提出深度適應(yīng)網(wǎng)絡(luò)（DAN），在假設(shè)條件概率分布保持不變的前提下，在AlexNet 網(wǎng)絡(luò)的后3 層全連接層上添加對域間分布差異的度量，將最大均值差異（MMD）度量延展為多核最大均值差異（MK-MMD）度量，其網(wǎng)絡(luò)架構(gòu)如圖3 所示。

圖3 深度適應(yīng)網(wǎng)絡(luò)架構(gòu)Fig.3 Architecture of deep adaptation network

進(jìn)一步考慮條件分布的偏移，聯(lián)合適配網(wǎng)絡(luò)（JAN）［31］根據(jù)聯(lián)合最大平均差異（JMMD）度量，對輸入特征和輸出標(biāo)簽的聯(lián)合分布差異在多個領(lǐng)域特定層中進(jìn)行適配。JAN 網(wǎng)絡(luò)架構(gòu)如圖4 所示。

圖4 JAN 網(wǎng)絡(luò)架構(gòu)Fig.4 Architecture of JAN network

文獻(xiàn)［32］提出基于MMD 對邊緣分布和條件分布進(jìn)行適配的DTN。除了使用MMD 進(jìn)行特征的適配外，殘差遷移網(wǎng)絡(luò)（RTN）［33］還添加了殘差模塊用于分類器的自適應(yīng)。RTN 網(wǎng)絡(luò)架構(gòu)如圖5 所示。

圖5 RTN 網(wǎng)絡(luò)架構(gòu)Fig.5 Architecture of RTN network

2.3.3 Wasserstein 距離

相比于KL 散度、JS 散度等分布差異度量指標(biāo)，Wasserstein 距離考慮概率空間的基本幾何性質(zhì)，并且能夠比較無重疊的分布之間的差異。兩種分布PS和PT之間的Wasserstein 距離或推土機(jī)距離定義［34］為：

其中，Iinf表示最大下界，π(PS,PT)表示PS、PT中所有可能的聯(lián)合分布。Wasserstein 距離可以理解為將概率分布PS轉(zhuǎn)換為PT的最小傳輸質(zhì)量，該極小值（最大下界）難以處理，因此，可以使用Wasserstein 距離的Kantorovich-Rubinstein 對偶性，其定義［34］為：

其中，Ssup是所有1-Lipschitz函數(shù)f：X→R 的最小上限。

文獻(xiàn)［35］提出一種基于Wasserstein 距離減小跨域特征分布差異的領(lǐng)域不變特征學(xué)習(xí)方法，命名為Wasserstein 距離引導(dǎo)下的表示學(xué)習(xí)（WDGRL）。WDGRL 訓(xùn)練一個領(lǐng)域評價網(wǎng)絡(luò)，以估計源特征表示與目標(biāo)特征表示之間的經(jīng)驗(yàn)Wasserstein 距離，同時以對抗的方式訓(xùn)練特征提取網(wǎng)絡(luò)以最小化經(jīng)驗(yàn)Wasserstein距離。通過迭代對抗訓(xùn)練，最終學(xué)習(xí)到跨域的領(lǐng)域不變特征表示。文獻(xiàn)［36］提出分層Wasserstein 差異（SWD），旨在捕獲特定于某一任務(wù)的分類器的輸出之間自然的差異性概念，其基于幾何理論，提出檢測遠(yuǎn)離源域支持的目標(biāo)樣本的方法，并能夠以端到端的可訓(xùn)練方式進(jìn)行有效的分布對齊。

2.3.4 最大密度差異

給定源域DS和目標(biāo)域DT，源域和目標(biāo)域數(shù)據(jù)樣本為XS和XT，源域和目標(biāo)域的數(shù)據(jù)分布為P和Q，最大密度差異（MDD）定義為：

其中，和分別是XS和XT獨(dú)立同分布的拷貝，表示歐幾里得范式距離的平方。式（5）右側(cè)第一項(xiàng)最小化P和Q之間的域間差異，后兩項(xiàng)分別最大化P和Q中的類內(nèi)密度。如圖6 所示，MDD 在最小化域間差異的同時，能夠最大化域內(nèi)的密度，并且與廣泛使用的MMD 不同，MDD 的實(shí)用變體可以被平穩(wěn)有效地整合到深度域自適應(yīng)體系結(jié)構(gòu)中，并通過隨機(jī)梯度下降進(jìn)行優(yōu)化。

圖6 最大密度差異示意圖Fig.6 Schematic diagram of maximum density difference

文獻(xiàn)［37］提出最大密度差異（MDD）的概念，并將其簡化后加入到對抗性領(lǐng)域自適應(yīng)的框架中，提出一種既具有對抗性訓(xùn)練又具有度量學(xué)習(xí)能力的對抗性緊密匹配（ATM）領(lǐng)域自適應(yīng)方法。

2.3.5 其他差異度量方法

文獻(xiàn)［38］提出利用階矩差來匹配概率分布的高階中心矩，利用矩序列對概率分布的等效表示定義一個新的距離函數(shù)，稱為中心矩差異（CMD）。文獻(xiàn)［39］使用高階統(tǒng)計量（主要是三階和四階統(tǒng)計量）進(jìn)行域匹配，提出一種高階矩匹配方法（HoMM），并將其進(jìn)一步擴(kuò)展到再生核希爾伯特空間中。

2.4 基于對抗學(xué)習(xí)的方法

借鑒生成式對抗網(wǎng)絡(luò)的思想，可以在深度方法中引入對抗的思路來進(jìn)行領(lǐng)域自適應(yīng)。基于對抗的方法可分為對抗性判別和對抗性生成兩類。文獻(xiàn)［40］從所使用損失函數(shù)的類型、是否進(jìn)行權(quán)值共享以及所基于的模型為生成式模型還是判別式模型3 個角度，對基于對抗學(xué)習(xí)的域適應(yīng)方法進(jìn)行歸類，并提出一個通用的框架，如圖7 所示?；趯箤W(xué)習(xí)的典型方法及其特征總結(jié)如表2所示。

圖7 基于對抗學(xué)習(xí)的域適應(yīng)方法通用框架Fig.7 General framework of domain adaptation methods based on confrontation learning

表2 基于對抗學(xué)習(xí)的方法分類Table 2 Classification of methods based on confrontation learning

2.4.1 基于對抗性判別的方法

基于對抗性判別的域適應(yīng)方法雖然使用了不同的對抗策略，但其基本思想都是在域鑒別器上施加一個對抗性目標(biāo)將域間分布差異的度量轉(zhuǎn)化為在潛在特征空間中進(jìn)行領(lǐng)域混淆，以此對特征提取器進(jìn)行訓(xùn)練從而實(shí)現(xiàn)特征級的領(lǐng)域自適應(yīng)。

用C表示利用帶標(biāo)簽數(shù)據(jù)訓(xùn)練得到的樣本分類器，用D表示領(lǐng)域鑒別器，用F表示特征提取與表示，θC、θD、θF為分別與之相對應(yīng)的參數(shù)。生成對抗域適應(yīng)方法的目標(biāo)是通過對參數(shù)θF進(jìn)行學(xué)習(xí)來最小化樣本分類器的分類損失LC，同時最大化領(lǐng)域鑒別器的判別損失LD，使得特征表示F更具判別性和域不變性。此外，對抗訓(xùn)練的目標(biāo)是最小化領(lǐng)域鑒別器D的判別損失LD。上述原理可概括為如下的目標(biāo)函數(shù)：

域?qū)咕W(wǎng)絡(luò)（DANN）［41］基于上述的通用框架而提出，其架構(gòu)由一個特征提取器、一個分類器和一個領(lǐng)域鑒別器構(gòu)成，如圖8 所示。DANN 中融入了GAN 的生成對抗思想，其訓(xùn)練可以通過插入特定的梯度反轉(zhuǎn)層（GRL）來實(shí)現(xiàn)。

圖8 DANN 網(wǎng)絡(luò)架構(gòu)Fig.8 Architecture of DANN network

文獻(xiàn)［40］提出對抗判別域適應(yīng)（Adversarial Discriminative Domain Adaptation，ADDA）方法，使用一個標(biāo)簽翻轉(zhuǎn)的GAN 損失將優(yōu)化過程分為生成器和判別器兩個獨(dú)立的目標(biāo)，其目標(biāo)函數(shù)設(shè)置為：

其中，MS表示源特征提取器，Mt表示目標(biāo)特征提取器。式（7）第一項(xiàng)計算源域樣本類別標(biāo)簽預(yù)測的損失，第二項(xiàng)計算域鑒別器的損失，第三項(xiàng)計算經(jīng)過域適應(yīng)后目標(biāo)域樣本的分類損失。

除了對齊邊緣分布外，文獻(xiàn)［42］提出條件對抗域適應(yīng)方法（CDAN），考慮對齊條件概率分布來促進(jìn)兩個域間的域適應(yīng)。在DANN 的基礎(chǔ)上，將分類器的預(yù)測g作為特征表示f所依賴的條件，通過聯(lián)合變量h=（f，g）引入分類預(yù)測g來對域判別器D附加條件，同時對特征表示f和分類器預(yù)測g的跨域協(xié)方差進(jìn)行建模，隱式地解決多模態(tài)結(jié)構(gòu)識別問題，提升跨域分布適配的性能。

2.4.2 基于對抗性生成的方法

基于GAN 的生成式方法屬于像素級的領(lǐng)域自適應(yīng)，生成從源域到目標(biāo)域的圖像，并通過訓(xùn)練使得生成的圖像與從目標(biāo)域分布中采樣得到的圖像相同，從而實(shí)現(xiàn)領(lǐng)域的混淆。此外，基于CycleGAN 的損失，學(xué)者們提出了一些有效的域適應(yīng)方法。

HOFFMAN 等［43］提出循環(huán)一致對抗域適應(yīng)方法（CyCADA），在保證語義一致性的同時，在像素級和特征級都進(jìn)行跨域適配。在適應(yīng)過程中使用循環(huán)一致性損失匹配結(jié)構(gòu)和語義一致性，并基于特定的視覺識別任務(wù)來實(shí)現(xiàn)語義損失。語義損失既指導(dǎo)總體表示具有判別性，又在映射前后保證了跨域的語義一致性。類似地，TZENG 等［44］使用像素級對齊和特征級對齊對目標(biāo)檢測任務(wù)執(zhí)行領(lǐng)域自適應(yīng)。

LI 等［45］擴(kuò)展了先前基于CycleGAN 的研究，將條件對抗域適應(yīng)方法與循環(huán)一致性損失相結(jié)合，提出循環(huán)一致條件對抗遷移網(wǎng)絡(luò)（3CATN）方法來對齊兩個域。利用特征與對應(yīng)的類別預(yù)測的協(xié)方差來部署條件域判別器，以捕獲嵌入在數(shù)據(jù)中的復(fù)雜多峰結(jié)構(gòu)，同時考慮到域不變特征變換由兩個域共享，可以相互表示的特性，訓(xùn)練兩個特征轉(zhuǎn)換器，一個將特征從源域轉(zhuǎn)換到目標(biāo)域，另一個將特征從目標(biāo)域轉(zhuǎn)換到源域，并基于兩個特征轉(zhuǎn)換器來計算循環(huán)一致性損失，由此在捕獲數(shù)據(jù)復(fù)雜多峰結(jié)構(gòu)的同時，避免由于條件不正確而造成的負(fù)面影響。

2.5 其他代表性方法

2.5.1 基于重構(gòu)的方法

文獻(xiàn)［46］設(shè)計基于重構(gòu)的思想解決領(lǐng)域自適應(yīng)問題的代表性方法，其提出了深度重構(gòu)分類網(wǎng)絡(luò)（DRCN），這是一種聯(lián)合學(xué)習(xí)有監(jiān)督地預(yù)測源域標(biāo)簽和無監(jiān)督地對目標(biāo)域數(shù)據(jù)進(jìn)行重構(gòu)的卷積網(wǎng)絡(luò)。DRCN 的編碼參數(shù)在兩個任務(wù)之間共享，而解碼參數(shù)彼此分離，目的是使所學(xué)的標(biāo)簽預(yù)測函數(shù)能夠很好地對目標(biāo)區(qū)域內(nèi)的樣本進(jìn)行分類，從而將數(shù)據(jù)重構(gòu)視為支持標(biāo)簽預(yù)測自適應(yīng)的輔助任務(wù)。

2.5.2 基于樣本選擇的方法

在早期的淺層域適應(yīng)方法中，對實(shí)例進(jìn)行重加權(quán)來克服兩個域間數(shù)據(jù)邊緣概率分布的偏差從而實(shí)現(xiàn)領(lǐng)域自適應(yīng)，這是最常見的方法之一，其核心思想是計算一個樣本實(shí)例歸屬于源域?qū)嵗蚰繕?biāo)域?qū)嵗乃迫槐?，用這一比例來對樣本進(jìn)行賦權(quán)。

通過計算兩個域間數(shù)據(jù)分布的最大均值差異（MMD）來對數(shù)據(jù)樣本加權(quán)是常用的方法。此外，基于AdaBoost 的遷移自適應(yīng)增強(qiáng)方法（TrAdaBoost）［47］也是實(shí)例權(quán)重法的典型代表，其訓(xùn)練過程如圖9 所示，在訓(xùn)練目標(biāo)分類器的過程中，與傳統(tǒng)的AdaBoost方法相同，提高目標(biāo)域中錯誤分類實(shí)例的權(quán)重，同時降低源域中錯誤分類實(shí)例的權(quán)重，從而緩解其對訓(xùn)練過程的影響，然后在權(quán)重更新后的實(shí)例上繼續(xù)進(jìn)行目標(biāo)分類器的訓(xùn)練，如此迭代地更新源域和目標(biāo)域的實(shí)例權(quán)重。

圖9 TrAdaBoost 方法原理說明Fig.9 Principle explanation of TrAdaBoost method

考慮部分域適應(yīng)的設(shè)定，即目標(biāo)域的類別少于源域的類別（YT?YS）的情景，在這種情況下，具有不同標(biāo)簽的源域?qū)嵗龑τ谟蜻m應(yīng)可能具有不同的重要性，往往需要對源域樣本加權(quán)以實(shí)現(xiàn)遷移樣本選擇。文獻(xiàn)［48］提出一種部分域適應(yīng)的方法，稱為基于重要加權(quán)對抗網(wǎng)絡(luò)的領(lǐng)域自適應(yīng)（IWANDA）。IWANDA由兩個特征提取器、兩個領(lǐng)域鑒別器和一個標(biāo)簽預(yù)測器組成。首先，對源域特征提取器和標(biāo)簽預(yù)測器進(jìn)行預(yù)訓(xùn)練；然后，在訓(xùn)練過程中將這兩個組件固定；其次，根據(jù)第一個領(lǐng)域鑒別器的結(jié)果對源域樣本加權(quán)，如果預(yù)測源域?qū)嵗芸赡軐儆谀繕?biāo)域，則該實(shí)例極有可能與目標(biāo)域關(guān)聯(lián)，將被分配較大的權(quán)重；最后，對目標(biāo)域特征提取器與第二個領(lǐng)域鑒別器進(jìn)行類似于GAN 的對抗訓(xùn)練，以進(jìn)行參數(shù)更新。此外，文獻(xiàn)［49］也構(gòu)建了類似的用于部分遷移學(xué)習(xí)的選擇性對抗網(wǎng)絡(luò)。

2.6 數(shù)據(jù)集與實(shí)驗(yàn)結(jié)果

本節(jié)介紹被廣泛用于度量不同方法在跨域自適應(yīng)任務(wù)中性能表現(xiàn)的標(biāo)準(zhǔn)數(shù)據(jù)集，并對代表性方法在典型任務(wù)中的實(shí)驗(yàn)結(jié)果進(jìn)行總結(jié)。

2.6.1 數(shù)據(jù)集

Digits數(shù)字?jǐn)?shù)據(jù)集包含MNIST［50］、USPS、SVHN［51］3個數(shù)據(jù)集，MNIST、USPS 為包含0～9 共10 個數(shù)字的具有不同分布的手寫數(shù)字?jǐn)?shù)據(jù)集，MNIST 包含共70 000 張28×28 的灰度圖像，其中，60 000 張作為訓(xùn)練數(shù)據(jù)，10 000張用于測試。USPS包含尺寸為16×16的7 291張和2 007 張灰度圖像分別用于訓(xùn)練和測試。SVHN 為街景數(shù)字圖像數(shù)據(jù)集，其中的數(shù)字圖像包含更為復(fù)雜的街景背景，該數(shù)據(jù)集共包含73 257張尺寸為32×32的彩色圖像用于訓(xùn)練，以及26 032 張圖像用于測試。上述3 個數(shù)據(jù)集圖片樣例如圖10 所示。

圖10 Digits 數(shù)據(jù)集圖片樣例Fig.10 Image examples of Digits dataset

Office-31 數(shù)據(jù)集［52］是經(jīng)典的視覺域適應(yīng)基準(zhǔn)數(shù)據(jù)集，包含來自Amazon（A）、DSLR（D）和Webcam（W）三個不同的域、涵蓋31 個類別的4 110 張圖片，其中，Amazon（A）為電商網(wǎng)站中的展示圖片，DSLR（D）為數(shù)碼單反相機(jī)拍攝的圖片，Webcam（W）為圖像處理軟件處理后的圖片。A、D、W 數(shù)據(jù)集的樣本數(shù)量分別為2 817、498 和795，數(shù)據(jù)集圖片示例如圖11 所示。

圖11 Office-31 數(shù)據(jù)集圖片示例Fig.11 Image examples of Office-31 dataset

Office-Home 數(shù)據(jù)集是一個相對較新的基準(zhǔn)，包含來自4 個領(lǐng)域65 個類別的15 585 張圖片。4 個領(lǐng)域具體如下：

1）藝術(shù)（Ar）：以素描、繪畫、裝飾等形式對物體進(jìn)行的藝術(shù)描繪。

2）剪貼畫（Cl）：剪貼畫圖像的收集。

3）產(chǎn)品（Pr）：沒有背景的對象圖像，類似于Office 數(shù)據(jù)集中Amazon 類別的圖像。

4）真實(shí)世界（RW）：用普通相機(jī)捕捉到的對象圖像。

Ar、Cl、Pr 和RW 域中分別包含2 421、4 379、4 428 和4 357 張圖像［53］。

2.6.2 實(shí)驗(yàn)結(jié)果

在結(jié)果評測中，均采用目標(biāo)域數(shù)據(jù)樣本分類正確率作為算法性能的度量指標(biāo)。表3 所示為Digits 數(shù)據(jù)集上幾種代表性方法在MNIST→USPS（M→U）、USPS→MNIST（U→M）、SVHN→MNIST（S→M）3 個域適應(yīng)任務(wù)中的測試結(jié)果，其中最優(yōu)結(jié)果加粗表示。

表3 不同方法在Digits 數(shù)字?jǐn)?shù)據(jù)集上的性能對比Table 3 Performance comparison of different methods on Digits digital dataset

表4 所示為在Office-31 數(shù)據(jù)集上構(gòu)建的A→D、A→W、D→A、D→W、W→A、W→D 6 個域適應(yīng)任務(wù)中各代表性方法的性能表現(xiàn)。表5所示為Office-Home數(shù)據(jù)集上12 個跨域適配任務(wù)中各方法的性能表現(xiàn)。

表4 不同方法在Office-31 數(shù)據(jù)集上的性能對比Table 4 Performance comparison of different methods on Office-31 dataset

表5 不同方法在Office-Home 數(shù)據(jù)集上的性能對比Table 5 Performance comparison of different methods on Office-Home dataset

2.7 典型應(yīng)用

2.7.1 圖像分類

圖像分類是計算機(jī)視覺應(yīng)用的基本任務(wù)，上述大多數(shù)領(lǐng)域自適應(yīng)算法［32-33］在最初提出時都是用來解決圖像分類問題的，并在諸如Digits、Office-31、Office-Home、VisDA-2017 等標(biāo)準(zhǔn)數(shù)據(jù)集的跨域圖像分類任務(wù)中測試算法性能。

2.7.2 目標(biāo)檢測

近年來，基于候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（R-CNNs、Fast R-CNNs 和Faster R-CNNs）在目標(biāo)檢測方面取得了重要進(jìn)展，然而，訓(xùn)練每個類別檢測窗口需要大量帶標(biāo)簽的數(shù)據(jù)，考慮到窗口選擇機(jī)制與領(lǐng)域無關(guān)，深度域適應(yīng)的方法可用于分類器的跨域適應(yīng)。大規(guī)模自適應(yīng)檢測（LSDA）［54］對目標(biāo)域的分類層進(jìn)行訓(xùn)練，然后使用預(yù)先訓(xùn)練好的源模型和輸出層自適應(yīng)技術(shù)直接更新目標(biāo)分類參數(shù)。文獻(xiàn)［55］基于Faster R-CNNs 方法，從特征圖和區(qū)域自適應(yīng)兩個角度切入，提出改進(jìn)的域適應(yīng)多場景目標(biāo)檢測模型，并將其應(yīng)用于多場景道路車輛檢測中。此外，文獻(xiàn)［56-58］也致力于研究領(lǐng)域自適應(yīng)在目標(biāo)檢測領(lǐng)域的應(yīng)用。

2.7.3 自然語言處理

領(lǐng)域自適應(yīng)技術(shù)已經(jīng)在自然語言處理領(lǐng)域得到了廣泛應(yīng)用，包括情感分析［59］、文本分類［60］、關(guān)系提取［61］、問答系統(tǒng)［62］和機(jī)器翻譯［63］等方面。

2.7.4 推薦系統(tǒng)

傳統(tǒng)的推薦系統(tǒng)通常依賴于用戶與項(xiàng)目交互矩陣來進(jìn)行推薦和預(yù)測，這些方法通常需要大量的訓(xùn)練數(shù)據(jù)才能得出準(zhǔn)確的建議。然而，諸如用戶的歷史交互數(shù)據(jù)在現(xiàn)實(shí)場景中往往稀少。領(lǐng)域自適應(yīng)技術(shù)可以利用來自其他推薦系統(tǒng)（即源域）的數(shù)據(jù)來幫助在目標(biāo)域中構(gòu)建推薦系統(tǒng)。在基于實(shí)例的方法中，文獻(xiàn)［64］利用源域不確定評級作為約束條件，幫助完成目標(biāo)域上的評級矩陣分解任務(wù)。在基于特征的方法中，文獻(xiàn)［65］提出一種稱為“坐標(biāo)系統(tǒng)遷移（CST）”的方法，同時利用用戶側(cè)和物品側(cè)的潛在特征。文獻(xiàn)［66］基于矩陣分解技術(shù)生成用戶和物品的特征表示，然后使用深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)跨域的特征映射。此外，文獻(xiàn)［67-68］也研究了域適應(yīng)方法在跨域推薦系統(tǒng)中的應(yīng)用。

3 現(xiàn)存挑戰(zhàn)及未來研究方向

目前已有的領(lǐng)域自適應(yīng)方法主要分為基于距離度量的方法和基于對抗學(xué)習(xí)的方法?；诰嚯x度量的方法多使用已有的幾種距離度量指標(biāo)，如MMD等，通過變換形式不斷重復(fù)使用，但是對度量指標(biāo)本身的研究非常有限。已有的研究結(jié)果表明，僅使用現(xiàn)有的距離度量指標(biāo)，很難取得令人滿意的遷移學(xué)習(xí)效果?；趯箤W(xué)習(xí)的方法雖然在近年來得到廣泛應(yīng)用與關(guān)注，但是對抗網(wǎng)絡(luò)中存在泛化和均衡等固有挑戰(zhàn)，使得基于對抗學(xué)習(xí)的方法難以保證模型的泛化能力。

3.1 流式數(shù)據(jù)與在線持續(xù)遷移學(xué)習(xí)

在已有算法研究中，通常認(rèn)為可在同一時刻獲取大量的源域帶標(biāo)簽數(shù)據(jù)，并且這些數(shù)據(jù)具有相似的分布，但是在現(xiàn)實(shí)應(yīng)用中，源域的數(shù)據(jù)往往以流式形態(tài)而不斷產(chǎn)生，并不能在某一時刻獲得大量的數(shù)據(jù)，同時不同時間產(chǎn)生的源域數(shù)據(jù)也可能具有不同的數(shù)據(jù)分布。如何識別源域數(shù)據(jù)中的概念漂移以及進(jìn)行增量域適應(yīng)和在線域適應(yīng)是有待研究的問題。同時，當(dāng)數(shù)據(jù)以不斷進(jìn)化的方式產(chǎn)生時，如何處理不同時期的模型災(zāi)難性遺忘問題也成為遷移學(xué)習(xí)中的難點(diǎn)。當(dāng)前已有一些學(xué)者針對持續(xù)學(xué)習(xí)展開研究，今后可將持續(xù)學(xué)習(xí)和遷移學(xué)習(xí)相結(jié)合，以應(yīng)對流式數(shù)據(jù)中存在的挑戰(zhàn)。

3.2 語義分歧與開放集遷移學(xué)習(xí)

目前大多領(lǐng)域自適應(yīng)算法研究封閉集中的跨域知識遷移，即通常假設(shè)源域和目標(biāo)域共享類別標(biāo)簽，但是在現(xiàn)實(shí)場景中，源域和目標(biāo)域具有相同的類別標(biāo)簽空間這一假設(shè)往往并不成立，存在源域數(shù)據(jù)類別多于目標(biāo)域、目標(biāo)域數(shù)據(jù)類別多于源域等情況。針對前者，文獻(xiàn)［48-49］嘗試對源域?qū)嵗訖?quán)來增強(qiáng)跨域共享標(biāo)簽實(shí)例的重要性；針對后者，可以通過零樣本學(xué)習(xí)、小樣本學(xué)習(xí)的技術(shù)學(xué)習(xí)關(guān)于新類別的知識［69-71］。目前，針對開放集的跨域遷移仍有待進(jìn)一步研究。

3.3 數(shù)據(jù)隱私與數(shù)據(jù)訪問受限的遷移學(xué)習(xí)

目前的領(lǐng)域自適應(yīng)方法大多假設(shè)帶標(biāo)簽的源域數(shù)據(jù)可以不受限制地獲取，在現(xiàn)實(shí)場景中，與目標(biāo)域相關(guān)的源域或輔助領(lǐng)域數(shù)據(jù)可能來自于另外的機(jī)構(gòu)和個人，可能無法訪問數(shù)據(jù)的全部信息。在此類情況下，如何在進(jìn)行跨域知識遷移的同時保護(hù)數(shù)據(jù)的隱私是一個重要問題。開發(fā)基于模型參數(shù)而非數(shù)據(jù)特征的域適應(yīng)技術(shù)以及開發(fā)基于加密數(shù)據(jù)的域適應(yīng)技術(shù)是可供選擇的研究方向。此外，領(lǐng)域泛化為目標(biāo)域數(shù)據(jù)訪問受限的遷移學(xué)習(xí)提供了一些思路。

3.4 負(fù)遷移

負(fù)遷移是領(lǐng)域自適應(yīng)中被廣泛討論的挑戰(zhàn)之一。領(lǐng)域自適應(yīng)的目標(biāo)是使用源域的知識來提升目標(biāo)任務(wù)的性能，但是在有些情況下存在引入源域的知識會帶來目標(biāo)模型性能下降的問題，即產(chǎn)生負(fù)遷移現(xiàn)象，其原因是源域和目標(biāo)域具有較低的相關(guān)性，相關(guān)性越小，則可供遷移的領(lǐng)域不變知識越少，學(xué)習(xí)到的跨領(lǐng)域噪聲越多。如何衡量跨域的可遷移性以及避免負(fù)遷移仍是該領(lǐng)域的一個重要問題，未來可設(shè)計對應(yīng)的相關(guān)性量化指標(biāo)。

4 結(jié)束語

模型的遷移能力和泛化能力是通用人工智能所面臨的兩大挑戰(zhàn)。領(lǐng)域自適應(yīng)技術(shù)為當(dāng)前人工智能邁向通用人工智能提供了可行方案，也是在有限標(biāo)記數(shù)據(jù)的情況下最大化數(shù)據(jù)利用率的有效方法。本文針對基于度量學(xué)習(xí)的方法和基于對抗學(xué)習(xí)的方法，對領(lǐng)域自適應(yīng)進(jìn)行總結(jié)，闡述領(lǐng)域自適應(yīng)的產(chǎn)生背景及國內(nèi)外研究現(xiàn)狀，給出相關(guān)概念和領(lǐng)域自適應(yīng)的形式化定義，并從不同的視角對相關(guān)研究領(lǐng)域和方法進(jìn)行分類。在此基礎(chǔ)上，圍繞基于距離度量學(xué)習(xí)的方法和基于對抗學(xué)習(xí)的方法介紹該領(lǐng)域代表性算法的技術(shù)細(xì)節(jié)，并分析域適應(yīng)在學(xué)界和業(yè)界不同領(lǐng)域中的應(yīng)用情況以及現(xiàn)存的挑戰(zhàn)。今后將對領(lǐng)域自適應(yīng)研究中的現(xiàn)實(shí)鴻溝、語義鴻溝、數(shù)據(jù)隱私和負(fù)遷移問題進(jìn)行分析。