深度域適應(yīng)綜述:一般情況與復(fù)雜情況

范蒼寧 劉 鵬 肖 婷 趙 巍 唐降龍

機(jī)器學(xué)習(xí)已經(jīng)在許多領(lǐng)域中成功應(yīng)用，但是收集并標(biāo)注與測試集具有相同分布的樣本的代價(jià)是高昂的.當(dāng)訓(xùn)練集和測試集的分布存在差異時(shí)，由訓(xùn)練集得到的模型不能在測試集上取得良好的預(yù)測結(jié)果.遷移學(xué)習(xí)就是解決訓(xùn)練集(源域)與測試集(目標(biāo)域)之間存在分布差異的機(jī)器學(xué)習(xí)方法，其核心是找到源域和目標(biāo)域之間的相似性，并利用相似性將在源域中獲得的知識(shí)應(yīng)用于目標(biāo)域.遷移學(xué)習(xí)按照問題的背景設(shè)置可以劃分為兩類，第1 類是源域目標(biāo)域標(biāo)簽空間和特征空間都相同的域適應(yīng)，即一般情況下的域適應(yīng);第2 類是復(fù)雜情況下的域適應(yīng)，其包含多個(gè)子方向，如標(biāo)簽空間不一致的域適應(yīng)，復(fù)雜目標(biāo)域情況下的域適應(yīng)等.一般情況下的域適應(yīng)問題是背景條件約束更嚴(yán)格的遷移學(xué)習(xí)問題.復(fù)雜情況下的域適應(yīng)問題可以通過對一般情況下的域適應(yīng)方法改進(jìn)加以解決，例如，文獻(xiàn)[1]對多對抗領(lǐng)域適配網(wǎng)絡(luò)[2]進(jìn)行改進(jìn)來解決部分域適應(yīng)問題，文獻(xiàn)[3-4]對領(lǐng)域分離網(wǎng)絡(luò)[5]進(jìn)行改進(jìn)來解決多目標(biāo)域的域適應(yīng)問題.域適應(yīng)問題是遷移學(xué)習(xí)領(lǐng)域中的研究重點(diǎn)，是遷移學(xué)習(xí)的基本問題.

深度學(xué)習(xí)是近年來機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn).深度學(xué)習(xí)算法從大規(guī)模數(shù)據(jù)中提取知識(shí)，其性能顯著超越傳統(tǒng)機(jī)器學(xué)習(xí)方法.深度學(xué)習(xí)取得優(yōu)異性能的原因在于深度神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的特征提取能力.多層的網(wǎng)絡(luò)結(jié)構(gòu)意味著可以獲得關(guān)于樣本的更高層次的語義信息，這種信息可以幫助網(wǎng)絡(luò)更好地完成任務(wù).應(yīng)用在域適應(yīng)問題中的深度學(xué)習(xí)方法稱為深度域適應(yīng)，其中心思想是用深度神經(jīng)網(wǎng)絡(luò)對齊源域與目標(biāo)域的數(shù)據(jù)分布.與傳統(tǒng)方法相比，深度域適應(yīng)方法獲得的特征不僅有更強(qiáng)的泛化能力還有更好的可遷移性.深度域適應(yīng)方法正是在這個(gè)背景下興起的.

近10 年來，一些文獻(xiàn)[6—18]對包括域適應(yīng)問題在內(nèi)的遷移學(xué)習(xí)的研究進(jìn)展進(jìn)行了綜述.文獻(xiàn)[6]綜述了傳統(tǒng)遷移學(xué)習(xí)方法，將傳統(tǒng)遷移學(xué)習(xí)方法劃分為直推式遷移學(xué)習(xí)、歸納式遷移學(xué)習(xí)和無監(jiān)督遷移學(xué)習(xí).文獻(xiàn)[7]按照遷移層次的不同從特征層面和分類器層面綜述了遷移學(xué)習(xí)方法.文獻(xiàn)[11]按源域和目標(biāo)域特征是否同構(gòu)將遷移學(xué)習(xí)分為同構(gòu)遷移學(xué)習(xí)和異構(gòu)遷移學(xué)習(xí)，并且對于源域和目標(biāo)域特征空間維數(shù)不同情況下的異構(gòu)遷移學(xué)習(xí)方法進(jìn)行了綜述.文獻(xiàn)[12]對視覺應(yīng)用中的域適應(yīng)方法進(jìn)行了綜述.文獻(xiàn)[13]對同構(gòu)遷移學(xué)習(xí)和異構(gòu)遷移學(xué)習(xí)方法進(jìn)行了對比，并從樣本、特征、參數(shù)和關(guān)系四個(gè)方面綜述了同構(gòu)遷移學(xué)習(xí).文獻(xiàn)[14]對域適應(yīng)方法進(jìn)行了綜述，從分類損失、分布差異損失和對抗損失三個(gè)方面介紹了深度域適應(yīng)方法.文獻(xiàn)[15]將域適應(yīng)劃分為單步域適應(yīng)和多步域適應(yīng)，將深度域適應(yīng)方法歸納為基于分布差異的方法、基于對抗的方法和基于重構(gòu)的方法.文獻(xiàn)[16]對深度域適應(yīng)方法進(jìn)行了綜述，將深度域適應(yīng)方法歸納為基于樣本的方法、基于映射的方法、基于網(wǎng)絡(luò)的方法和基于對抗的方法.文獻(xiàn)[17]對單源域單目標(biāo)域的同構(gòu)域適應(yīng)方法進(jìn)行了總結(jié)，并將域適應(yīng)方法歸納為領(lǐng)域不變性特征學(xué)習(xí)、領(lǐng)域映射、歸一化、集成方法和目標(biāo)判別方法.文獻(xiàn)[18]對傳統(tǒng)域適應(yīng)方法和深度域適應(yīng)方法進(jìn)行了整體總結(jié)，從數(shù)據(jù)和模型兩個(gè)層面對域適應(yīng)方法進(jìn)行了綜述.文獻(xiàn)[8]對遷移學(xué)習(xí)領(lǐng)域中近些年產(chǎn)生的新方向進(jìn)行了綜述，新方向包括傳遞式遷移學(xué)習(xí)、終生遷移學(xué)習(xí)、遷移強(qiáng)化學(xué)習(xí)和對抗遷移學(xué)習(xí).文獻(xiàn)[9-10]則對自然語言處理領(lǐng)域中的遷移學(xué)習(xí)方法進(jìn)行了綜述，其中，文獻(xiàn)[9]專注于機(jī)器翻譯領(lǐng)域.

本文從深度域適應(yīng)開始進(jìn)行綜述，逐步擴(kuò)展到更加通用的場景，即復(fù)雜情況下的域適應(yīng)問題.復(fù)雜情況下的域適應(yīng)問題包括標(biāo)簽空間不一致和復(fù)雜目標(biāo)域情況下的域適應(yīng).文獻(xiàn)[6-7，11-12]專注于對傳統(tǒng)域適應(yīng)方法的總結(jié)，而本文專注于對深度域適應(yīng)方法的總結(jié).深度域適應(yīng)是當(dāng)前域適應(yīng)領(lǐng)域研究的主流方向，與文獻(xiàn)[6-7，11-12]相比，本文總結(jié)的域適應(yīng)方法是近幾年出現(xiàn)的新方法，對讀者有著更大的借鑒意義.雖然文獻(xiàn)[8—10，13，15，18]的內(nèi)容都包含了深度域適應(yīng)，但它們的側(cè)重點(diǎn)各有不同.文獻(xiàn)[13]側(cè)重于異構(gòu)遷移學(xué)習(xí)，文獻(xiàn)[15]側(cè)重于多步域適應(yīng)方法，文獻(xiàn)[18]側(cè)重于對域適應(yīng)方法的整體總結(jié)，文獻(xiàn)[8]側(cè)重于傳遞式遷移學(xué)習(xí)、終生遷移學(xué)習(xí)、遷移強(qiáng)化學(xué)習(xí)和對抗遷移學(xué)習(xí)，文獻(xiàn)[9-10]側(cè)重于自然語言處理領(lǐng)域中的域適應(yīng)方法.而本文的側(cè)重點(diǎn)在于標(biāo)簽空間不一致和復(fù)雜目標(biāo)域情況下的域適應(yīng)方法，這是更復(fù)雜、更接近于實(shí)際情況的域適應(yīng)問題解決方法.此外，雖然本文與文獻(xiàn)[13-14，16—18]都對一般情況下的深度域適應(yīng)方法進(jìn)行了綜述，但是本文與文獻(xiàn)[13-14，16—18]對一般情況下的深度域適應(yīng)方法的分類方式不同.不同的分類方式不存在優(yōu)劣之分，只是分類的出發(fā)點(diǎn)不同，本文根據(jù)遷移方法的不同對一般情況下的深度域適應(yīng)方法進(jìn)行分類.文獻(xiàn)[15]在對一般情況下的深度域適應(yīng)方法的分類上與本文最為相似，其將深度域適應(yīng)方法分為基于領(lǐng)域分布差異的方法、基于對抗學(xué)習(xí)的方法和基于重構(gòu)的方法.本文除了這三種分類以外，還額外地分出了基于樣本生成的方法.在前三種分類中，本文與文獻(xiàn)[15]的區(qū)別表現(xiàn)為:1)在基于領(lǐng)域差異的方法中，本文歸納總結(jié)了基于圖準(zhǔn)則的方法，這是文獻(xiàn)[15]所沒有的;2)文獻(xiàn)[15]將基于對抗學(xué)習(xí)的方法分為生成方法和非生成方法，而本文按照對抗方式的不同將其分成單對抗方法、多對抗方法以及基于注意力機(jī)制的對抗方法;3)本文按照重構(gòu)的不同作用，將基于重構(gòu)的方法分為三類，這也是與文獻(xiàn)[15]不同的.文獻(xiàn)[8]與本文同樣展望了遷移學(xué)習(xí)領(lǐng)域中新的研究熱點(diǎn)，但本文總結(jié)的標(biāo)簽空間不一致和復(fù)雜目標(biāo)域情況下的域適應(yīng)是文獻(xiàn)[8]中沒有的.文獻(xiàn)[9-10]是對自然語言處理領(lǐng)域中的遷移學(xué)習(xí)方法進(jìn)行的總結(jié)，而本文所涉及的方法都是計(jì)算機(jī)視覺領(lǐng)域中的.一般情況下的域適應(yīng)是復(fù)雜情況下的域適應(yīng)問題的基礎(chǔ)，本文對一般情況下的深度域適應(yīng)方法進(jìn)行歸納總結(jié)，并使用其引出復(fù)雜情況下的域適應(yīng)問題.該問題是將域適應(yīng)技術(shù)應(yīng)用在生產(chǎn)和生活中所需要解決的難點(diǎn).對復(fù)雜情況下的域適應(yīng)問題的研究對于域適應(yīng)技術(shù)的應(yīng)用起著至關(guān)重要的作用.對復(fù)雜情況下的域適應(yīng)方法進(jìn)行歸納總結(jié)，探究其局限性，并對其未來發(fā)展趨勢進(jìn)行展望，是本文的貢獻(xiàn)之一.

域適應(yīng)問題根據(jù)目標(biāo)域有無標(biāo)簽可以分為有監(jiān)督域適應(yīng)和無監(jiān)督域適應(yīng).無監(jiān)督域適應(yīng)方法可以很容易地被擴(kuò)展應(yīng)用到有監(jiān)督域適應(yīng)中，因此在域適應(yīng)領(lǐng)域，無監(jiān)督域適應(yīng)方法是研究的重點(diǎn).本文所綜述的工作以無監(jiān)督域適應(yīng)方法為主.下文中提到的域適應(yīng)問題均默認(rèn)為無監(jiān)督域適應(yīng).本文從域適應(yīng)問題開始，逐步擴(kuò)展到更加通用的場景，即復(fù)雜情況下的域適應(yīng)，其包括標(biāo)簽空間不一致和復(fù)雜目標(biāo)域情況下的域適應(yīng)問題.該問題是域適應(yīng)領(lǐng)域中新興的方向但缺少相關(guān)的綜述工作.所以本文對其進(jìn)行歸納總結(jié).本文的主要內(nèi)容有:1)介紹了影響目標(biāo)域泛化誤差的因素對域適應(yīng)算法設(shè)計(jì)的指導(dǎo)作用和抑制負(fù)遷移的方法.2)對深度域適應(yīng)方法進(jìn)行了綜述，從領(lǐng)域分布差異、對抗學(xué)習(xí)、信息重構(gòu)和樣本生成四個(gè)方面對深度域適應(yīng)方法的最新進(jìn)展進(jìn)行了歸納總結(jié).3)源域和目標(biāo)域的標(biāo)簽空間不一致是現(xiàn)實(shí)中的常見現(xiàn)象，本文重點(diǎn)介紹了標(biāo)簽空間不一致的域適應(yīng)方法.4)目標(biāo)域包含多個(gè)子目標(biāo)域或者目標(biāo)域不可知是域適應(yīng)領(lǐng)域中兩個(gè)具有挑戰(zhàn)性的問題，本文對這一類復(fù)雜目標(biāo)域情況下的域適應(yīng)方法進(jìn)行了綜述.5)對域適應(yīng)的應(yīng)用進(jìn)行了介紹并展示了一部分域適應(yīng)方法的實(shí)驗(yàn)結(jié)果.6)對深度域適應(yīng)方法和復(fù)雜情況下的域適應(yīng)方法進(jìn)行了展望和總結(jié).總而言之，域適應(yīng)，特別是深度域適應(yīng)是機(jī)器學(xué)習(xí)研究領(lǐng)域的下一個(gè)研究熱點(diǎn)，同時(shí)，復(fù)雜情況下的域適應(yīng)問題也是將機(jī)器學(xué)習(xí)技術(shù)更廣泛地應(yīng)用于復(fù)雜環(huán)境下不可或缺的技術(shù)手段.本文的結(jié)構(gòu)框架如圖1 所示.

圖1 本文的組織結(jié)構(gòu)Fig.1 The structure of this article

1 遷移學(xué)習(xí)概述

在對深度域適應(yīng)方法進(jìn)行綜述之前，本節(jié)首先介紹遷移學(xué)習(xí)中的術(shù)語和有關(guān)概念，包括問題的形式化定義、影響目標(biāo)域泛化誤差上界的因素和負(fù)遷移.

1.1 遷移學(xué)習(xí)、域適應(yīng)以及深度域適應(yīng)的形式化定義

在很多問題中，目標(biāo)域數(shù)據(jù)的標(biāo)簽是不可得的，這種情況下只能使用無監(jiān)督遷移學(xué)習(xí)來解決問題.與有監(jiān)督遷移學(xué)習(xí)相比，無監(jiān)督遷移學(xué)習(xí)更難解決.實(shí)際上，目前遷移學(xué)習(xí)領(lǐng)域的研究工作大部分關(guān)注的是無監(jiān)督遷移學(xué)習(xí).本文所綜述的工作默認(rèn)是在無監(jiān)督的條件下進(jìn)行的，對問題的形式化描述同樣也是在無監(jiān)督的情況下進(jìn)行的.

域適應(yīng)與遷移學(xué)習(xí)都是在源域與目標(biāo)域邊緣概率分布不同條件下解決如何使用源域數(shù)據(jù)來預(yù)測目標(biāo)域數(shù)據(jù)標(biāo)簽的問題.與遷移學(xué)習(xí)相比，域適應(yīng)還需要保證源域與目標(biāo)域的標(biāo)簽空間和特征空間都相同且條件概率分布相同.域適應(yīng)是一種背景條件約束更加嚴(yán)格的遷移學(xué)習(xí)問題.域適應(yīng)問題是遷移學(xué)習(xí)問題的子集.因?yàn)橛蜻m應(yīng)的條件約束更多且域適應(yīng)方法能夠被稍加改變來適應(yīng)遷移學(xué)習(xí)中的其他問題，所以域適應(yīng)是當(dāng)前遷移學(xué)習(xí)問題的研究重點(diǎn).

1.2 影響目標(biāo)域任務(wù)性能的因素

探究影響目標(biāo)域任務(wù)性能的因素十分重要，清楚各因素與目標(biāo)域任務(wù)性能之間的關(guān)系可以指導(dǎo)域適應(yīng)算法的設(shè)計(jì).模型在目標(biāo)域上的泛化誤差可以作為衡量目標(biāo)域任務(wù)性能的標(biāo)準(zhǔn)，探究影響目標(biāo)域任務(wù)性能的因素也就是探究影響目標(biāo)域泛化誤差的因素.影響目標(biāo)域泛化誤差的因素有三個(gè)，分別是源域泛化誤差、領(lǐng)域間差異和最優(yōu)聯(lián)合泛化誤差.域適應(yīng)探索源域和目標(biāo)域之間的關(guān)系，用在源域中學(xué)習(xí)到的知識(shí)為目標(biāo)域任務(wù)提供支持.在源域中獲得的知識(shí)的質(zhì)量將影響目標(biāo)域的任務(wù)性能，知識(shí)質(zhì)量越高，目標(biāo)域任務(wù)性能越好;知識(shí)質(zhì)量越低，目標(biāo)域任務(wù)性能越差.衡量源域知識(shí)質(zhì)量的一種方式是源域泛化誤差.源域泛化誤差是影響目標(biāo)域泛化誤差的因素之一.源域和目標(biāo)域之間的相似性表現(xiàn)為源域和目標(biāo)域數(shù)據(jù)分布之間的差異.當(dāng)源域和目標(biāo)域的分布差異大時(shí)，在源域獲得的知識(shí)向目標(biāo)域遷移的效果就會(huì)降低.如果域適應(yīng)方法對齊了源域和目標(biāo)域的數(shù)據(jù)分布，那么源域的知識(shí)向目標(biāo)域遷移的效果就會(huì)增強(qiáng).領(lǐng)域間差異同樣會(huì)影響目標(biāo)域泛化誤差.文獻(xiàn)[19]給出了目標(biāo)域泛化誤差∈t(h) 的上界:

其中，∈t(h)為目標(biāo)域泛化誤差，∈s(h) 為源域泛化誤差，dHΔH為領(lǐng)域間差異，λ為最優(yōu)聯(lián)合泛化誤差，H為假設(shè)空間，h為假設(shè)空間中的某一假設(shè).∈s(h)，dHΔH和λ之和決定了目標(biāo)域泛化誤差的上界.式(1)可用于指導(dǎo)域適應(yīng)算法設(shè)計(jì)，降低式(1)右側(cè)的任何一項(xiàng)都可以提高域適應(yīng)的性能.雖然減少源域泛化誤差∈s(h) 也可以減少目標(biāo)域泛化誤差∈t(h)的上界，但這僅是源域中的學(xué)習(xí)任務(wù)，與知識(shí)遷移沒有關(guān)系.例如將特征提取器從淺層網(wǎng)絡(luò)替換為深層網(wǎng)絡(luò)雖然可以提高源域任務(wù)性能，但并沒有進(jìn)行知識(shí)遷移.當(dāng)前域適應(yīng)方法研究主要關(guān)注領(lǐng)域間差異dHΔH，通過減少dHΔH來獲得更小的目標(biāo)域泛化誤差上界.學(xué)習(xí)領(lǐng)域不變性特征[20]和生成符合目標(biāo)域分布的假樣本[21]是減少領(lǐng)域間差異dHΔH的通用做法.文獻(xiàn)[2，22-23]的研究表明除了要對齊源域和目標(biāo)域的數(shù)據(jù)分布以外，還需要考慮源域和目標(biāo)域的類別信息.按類別對齊兩個(gè)域能進(jìn)一步減少領(lǐng)域間差異dHΔH. 文獻(xiàn)[2，22-23]獲得了相當(dāng)程度的性能提升.文獻(xiàn)[24]對文獻(xiàn)[2，22-23]的思想做了總結(jié).文獻(xiàn)[25]對式(1)中最優(yōu)聯(lián)合泛化誤差λ進(jìn)行了分析，分別使用ResNet (Residual network)[26]、DANN (Domain adaptive neural network)[27]和MCD (Maximum classifier discrepancy)[28]三種方法對源域和目標(biāo)域樣本提取特征，并訓(xùn)練源域目標(biāo)域聯(lián)合分類器，用聯(lián)合分類器的錯(cuò)誤率來近似λ.文獻(xiàn)[25]的研究結(jié)論是，知識(shí)遷移會(huì)導(dǎo)致λ增大.這是因?yàn)橛蜻m應(yīng)既破壞了源域特征中的可判別性信息也破壞了目標(biāo)域特征中的可判別性信息.在域適應(yīng)過程中保持特征的可判別性不被破壞是提高域適應(yīng)方法性能的一種措施，也是域適應(yīng)問題的一個(gè)研究方向.

1.3 負(fù)遷移

域適應(yīng)方法建立在源域和目標(biāo)域具有相似性的基礎(chǔ)上，域適應(yīng)方法尋找兩個(gè)域的相似性并將其利用到目標(biāo)域任務(wù)中.如果不能找到正確的相似性，從源域遷移到目標(biāo)域的知識(shí)就會(huì)對目標(biāo)域任務(wù)起到負(fù)面作用，即在源域上學(xué)習(xí)到的知識(shí)，對目標(biāo)域的學(xué)習(xí)產(chǎn)生了負(fù)面作用[6]，這種現(xiàn)象稱為負(fù)遷移.

描述和避免負(fù)遷移是域適應(yīng)研究的關(guān)鍵問題之一.文獻(xiàn)[29]建立了樣本選擇模型，只使用與目標(biāo)域相似的源域樣本進(jìn)行知識(shí)遷移.目標(biāo)域損失的期望等于密度比與源域損失乘積的期望:

其中，Gf和Gy分別代表特征提取器和分類器.為目標(biāo)域損失期望，P(xs，ys)和P(xt，yt) 分別為源域聯(lián)合概率分布和目標(biāo)域聯(lián)合概率[分布，P(xt，yt)/P(xs，ys) ]為密度比，Ex，y～P(xs，ys)為密度比與源域損失乘積的期望.密度比可以用來描述源域樣本的可遷移性.用密度比來衡量每一個(gè)源域樣本在損失函數(shù)中的重要性，以此作為權(quán)值對源域樣本進(jìn)行選擇.Chen 等[30]提出的漸進(jìn)特征對齊網(wǎng)絡(luò)也是建立在樣本選擇的思想上，不同的是它對目標(biāo)域樣本進(jìn)行選擇.首先，對源域特征計(jì)算源域類別原型(類別原型是指屬于該類別所有特征的均值).然后，根據(jù)目標(biāo)域特征與各源域類別原型的距離對目標(biāo)域樣本賦予偽標(biāo)簽，并根據(jù)距離的大小判斷其可遷移性.最后，使用源域樣本與可遷移性較高的目標(biāo)域樣本訓(xùn)練網(wǎng)絡(luò).

如果源域和目標(biāo)域之間不具備相似性，那么就無法根據(jù)可遷移性進(jìn)行樣本選擇.在這種情況下，一些研究提出使用中間域作為橋梁連接分布差異較大的源域和目標(biāo)域.這一類方法稱為傳遞式域適應(yīng)方法[31-32].

2 深度域適應(yīng)

本節(jié)中的深度域適應(yīng)是指使用深度學(xué)習(xí)技術(shù)來解決一般情況下的域適應(yīng)問題，即單源域單目標(biāo)域的無監(jiān)督同構(gòu)域適應(yīng)問題.這一類問題是遷移學(xué)習(xí)領(lǐng)域中的研究重點(diǎn)，而且也同樣是復(fù)雜情況下的域適應(yīng)問題的特殊情況.本節(jié)將對深度域適應(yīng)方法進(jìn)行歸納總結(jié).深度學(xué)習(xí)已經(jīng)成功地應(yīng)用在了許多領(lǐng)域，并取得了驚人的效果.對深度神經(jīng)網(wǎng)絡(luò)的可解釋性研究表明網(wǎng)絡(luò)的淺層提取模式的基本組成結(jié)構(gòu)，如圖像中的點(diǎn)、線、拐角等特征;網(wǎng)絡(luò)的深層提取與任務(wù)相關(guān)的高層語義信息.一個(gè)訓(xùn)練好的網(wǎng)絡(luò)的淺層可以作為新任務(wù)的初始模型，這種訓(xùn)練方式稱為預(yù)訓(xùn)練.使用淺層網(wǎng)絡(luò)權(quán)重初始化一個(gè)新任務(wù)網(wǎng)絡(luò)的訓(xùn)練方式相當(dāng)于將已有知識(shí)遷移到新的任務(wù)中，這是深度學(xué)習(xí)在知識(shí)遷移中最樸素的應(yīng)用.Yosinski 等[33]研究了深度神經(jīng)網(wǎng)絡(luò)的可遷移性，并提出了兩種知識(shí)遷移的方式.一種是用源域網(wǎng)絡(luò)淺層權(quán)重初始化目標(biāo)域網(wǎng)絡(luò)，然后以微調(diào)方式訓(xùn)練目標(biāo)域網(wǎng)絡(luò);另一種是凍結(jié)網(wǎng)絡(luò)淺層權(quán)重，從頭訓(xùn)練目標(biāo)域網(wǎng)絡(luò)深層權(quán)重.這兩種方式都在遷移源域中與基本組成結(jié)構(gòu)相關(guān)的知識(shí).值得注意的是，微調(diào)技術(shù)使用了目標(biāo)域中帶標(biāo)簽的樣本，即微調(diào)技術(shù)只適用于有監(jiān)督遷移學(xué)習(xí)，而不能用來解決無監(jiān)督遷移學(xué)習(xí).與微調(diào)技術(shù)相比，域適應(yīng)的重點(diǎn)在于更充分地挖掘源域與目標(biāo)域的相似性，并且更靈活地在目標(biāo)域任務(wù)中應(yīng)用兩個(gè)域之間的相似性，使在源域訓(xùn)練獲得的知識(shí)在目標(biāo)域任務(wù)中發(fā)揮更大的作用.根據(jù)深度神經(jīng)網(wǎng)絡(luò)在域適應(yīng)方法中發(fā)揮的不同作用，深度域適應(yīng)方法可以分為四類:基于領(lǐng)域分布差異的方法、基于對抗的方法、基于重構(gòu)的方法和基于樣本生成的方法.這四類深度域適應(yīng)方法的基本特點(diǎn)如表1 所示.

2.1 基于領(lǐng)域分布差異的方法

由第1.2 節(jié)可知，領(lǐng)域間差異dHΔH是影響目標(biāo)域泛化誤差上界的因素之一.基于領(lǐng)域分布差異的域適應(yīng)方法通過減少兩個(gè)領(lǐng)域間的差異來減少目標(biāo)域泛化誤差.基于領(lǐng)域分布差異的方法根據(jù)對分布差異衡量準(zhǔn)則的不同又可分為基于統(tǒng)計(jì)準(zhǔn)則的方法、基于結(jié)構(gòu)準(zhǔn)則的方法、基于流形準(zhǔn)則的方法和基于圖準(zhǔn)則的方法.

2.1.1 基于統(tǒng)計(jì)準(zhǔn)則的方法

基于統(tǒng)計(jì)準(zhǔn)則的方法使用均值或者高階矩來度量領(lǐng)域間差異.常見的距離如下所示.

1) 最大均值差異(Maximum mean discrepancy，MMD)

表1 深度域適應(yīng)的四類方法Table 1 Four kinds of methods for deep domain adaptation

MMD 是最常用的對源域和目標(biāo)域分布間差異的度量，對于兩個(gè)域Ds和Dt，MMD 定義為

其中，φ為映射函數(shù)，將原數(shù)據(jù)映射到再生核希爾伯特空間(Reproducing kernel Hilbert space，RKHS)中.‖φ‖H ≤1 定義了一組在再生核希爾伯特空間中的單位球中的函數(shù).MMD 的本質(zhì)是在再生核希爾伯特空間中對齊源域與目標(biāo)域的樣本均值.在實(shí)際計(jì)算中，由于源域與目標(biāo)域的真實(shí)分布是未知的，所以通常使用經(jīng)驗(yàn)估計(jì)近似，MMD 的經(jīng)驗(yàn)估計(jì)為

其中，ns與nt分別為源域樣本數(shù)量和目標(biāo)域樣本數(shù)量.

領(lǐng)域適應(yīng)神經(jīng)網(wǎng)絡(luò)(Domain adaptive neural network，DANN)[34]、深度領(lǐng)域混淆方法(Deep domain confusion，DDC)[35]以及深度適配網(wǎng)絡(luò)(Deep adaptation network，DAN)[20]是最早的一批基于MMD 的深度域適應(yīng)方法.這些方法將MMD 引入到神經(jīng)網(wǎng)絡(luò)當(dāng)中，將源域特征與目標(biāo)域特征之間的MMD 作為領(lǐng)域分布間距離度量加入到目標(biāo)函數(shù)當(dāng)中.這些方法的優(yōu)化目標(biāo)都由兩部分組成:源域分類誤差lc和MMD 損失項(xiàng)ld.源域分類誤差lc幫助網(wǎng)絡(luò)學(xué)習(xí)分類，而MMD 損失項(xiàng)ld使網(wǎng)絡(luò)學(xué)習(xí)到分布相似的源域特征和目標(biāo)域特征.DANN的結(jié)構(gòu)簡單，共包含兩層:特征層與分類器層.由于DANN網(wǎng)絡(luò)太淺，特征表示能力有限，故遷移知識(shí)的能力也十分有限.雖然DANN 只使用了兩層的神經(jīng)網(wǎng)絡(luò)，兩層的神經(jīng)網(wǎng)絡(luò)并不能稱作深度神經(jīng)網(wǎng)絡(luò)，但是，DANN 是將MMD 與神經(jīng)網(wǎng)絡(luò)相結(jié)合的域適應(yīng)方法，它的基本思想與隨后的基于MMD的深度域適應(yīng)方法基本相同.DDC 使用預(yù)訓(xùn)練好的Alex-Net[36]作為特征提取器，因此與DANN 相比，DDC的特征提取能力有了很大的提升.但是DDC 存在許多不足之處.首先，DDC 使用線性核計(jì)算MMD，線性核等價(jià)于兩個(gè)域的均值匹配，無法實(shí)現(xiàn)對分布的完全匹配.其次，Yosinski 等[33]的工作已經(jīng)指出AlexNet 的不同層都是可以遷移的，而DDC 只適配了一層網(wǎng)絡(luò)，適配程度不夠.最后，DDC 只采用了單個(gè)核計(jì)算MMD，單一固定的核有可能不是最優(yōu)的核.DAN 基于AlexNet 搭建，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2(a)所示，由于AlexNet 的三個(gè)全連接層都偏向于領(lǐng)域?qū)?，為提高網(wǎng)絡(luò)的遷移能力，DAN 對Alex-Net 的三個(gè)全連接層都進(jìn)行了適配.此外，DAN 為了解決如何確定最優(yōu)核的問題，提出了多核MMD，多核MMD 使用多個(gè)核來構(gòu)造總核，總核定義為

其中，βu是權(quán)重，ku代表第u個(gè)核，總核本質(zhì)上是單個(gè)核的加權(quán)和.除了多層適配和多核MMD 以外，DAN 還做出了很多重要貢獻(xiàn):1)為了解決核方法二次復(fù)雜度的問題，DAN 提出了線性復(fù)雜度算法;2) DAN 進(jìn)行了泛化誤差分析，梳理了MMD 與泛化理論的關(guān)系;3) DAN 還首先形式化了域適應(yīng)領(lǐng)域中的min-max 問題，min-max 已經(jīng)成為深度域適應(yīng)領(lǐng)域中的主流方法，在基于對抗學(xué)習(xí)的域適應(yīng)方法中最為常見.

之后的一些方法通過引入類別信息改進(jìn)MMD來提高域適應(yīng)的性能.Long 等[23]在使用多核MMD的基礎(chǔ)上，將特征與標(biāo)簽的聯(lián)合概率分布考慮進(jìn)來，并將這種方法稱為聯(lián)合適配網(wǎng)絡(luò)(Joint adaptation network，JAN)，其結(jié)構(gòu)如圖2(b)所示.JAN不僅對齊了兩個(gè)域的邊緣概率分布還對齊了兩個(gè)域的條件概率分布，從而在性能上獲得了更大的提升.Zhang 等[37]提出的深度遷移網(wǎng)絡(luò)(Deep transfer network，DTN)同樣在域適應(yīng)過程中引入類別信息.DTN 使用MMD 同時(shí)對齊兩個(gè)域的邊緣概率分布和條件概率分布.DTN 使用判別器的輸出計(jì)算條件MMD，即按類別計(jì)算多個(gè)MMD，通過最小化條件MMD 來對齊條件概率分布，條件MMD 的定義為

圖2 部分使用MMD 的深度域適應(yīng)方法Fig.2 Some deep domain adaptation methods based on MMD

其中，c是類別，C是類別總數(shù).由于條件MMD 引入了類別信息，從而提升了域適應(yīng)的性能.

還有一些方法通過改進(jìn)MMD 的不足獲得了性能的提升.針對有些數(shù)據(jù)集中各類別樣本的比例差異比較懸殊的問題，Yan 等[38]提出了加權(quán)MMD.MMD 可以度量兩個(gè)領(lǐng)域之間的差異，但是源域分類器與目標(biāo)域分類器之間的差異則被忽略.Long等[39]提出了殘差遷移網(wǎng)絡(luò)(Residual transfer network，RTN)，RTN 使用殘差層的輸出來模擬源域分類器與目標(biāo)域分類器之間的差異，從而將源域分類器適配到目標(biāo)域分類器，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2(c)所示.皋軍等[40]認(rèn)為MMD 作為一種全局度量方法一定程度上反映的是區(qū)域之間全局分布和全局結(jié)構(gòu)上的差異.針對這個(gè)問題，他們將局部加權(quán)均值引入到MMD 中，形成了一種具有局部保持能力的投影最大局部加權(quán)均值差異度量.

2) 關(guān)聯(lián)對齊距離(Correlation alignment，CORAL)

以CORAL[41]作為領(lǐng)域間差異的深度域適應(yīng)方法通過減小兩個(gè)領(lǐng)域協(xié)方差矩陣的差異來遷移知識(shí).CORAL 的定義為

3) 中心矩差異(Central moment discrepancy，CMD)

文獻(xiàn)[44]證明了MMD 的本質(zhì)是兩個(gè)域的所有階統(tǒng)計(jì)矩加權(quán)和之差.Zellinger 等[45]根據(jù)文獻(xiàn)[44]中的結(jié)論提出對齊兩個(gè)域分布的高階矩來進(jìn)行知識(shí)遷移，兩個(gè)域分布的高階矩之差稱為CMD，其經(jīng)驗(yàn)估計(jì)為

4)“搬土”距離(Wasserstein distance)

除了MMD、CORAL 和CMD，Wasserstein distance 也在基于統(tǒng)計(jì)準(zhǔn)則的深度域適應(yīng)方法中運(yùn)用，Wasserstein distance 的定義為

其中，Γ是P(xs) 和P(xt) 的所有可能的聯(lián)合分布，d(xs，xt)為xs與xt之間的距離.與使用MMD 的方法類似，這一類方法通過減小領(lǐng)域間的搬土距離來對齊領(lǐng)域分布[46].文獻(xiàn)[47]提出在優(yōu)化源域聯(lián)合概率分布Ps(x，y)和目標(biāo)域聯(lián)合概率分布Pt(x，y) 之間的搬土距離的同時(shí)學(xué)習(xí)一個(gè)目標(biāo)域的預(yù)測函數(shù)f.值得注意的是，文獻(xiàn)[46-47]將搬土距離帶入到域適應(yīng)問題中，但并不屬于深度域適應(yīng)方法.文獻(xiàn)[48]以深度神經(jīng)網(wǎng)絡(luò)為架構(gòu)，在減少源域與目標(biāo)域分布之間的搬土距離的同時(shí)引入了類別信息，從而提升了模型的準(zhǔn)確率.更進(jìn)一步，Lee 等[49]提出將高維分布映射到多個(gè)方向上，分別計(jì)算搬土距離，然后再求和來計(jì)算切片搬土距離(Sliced Wasserstein distance).文獻(xiàn)[50]受到沃瑟斯坦生成對抗網(wǎng)絡(luò)(Wasserstein generative adversarial network，WGAN)[51]的啟發(fā)，利用判別器來估計(jì)源域與目標(biāo)域間的搬土距離，并以對抗學(xué)習(xí)的方式優(yōu)化特征提取器來最小化這個(gè)距離.

基于統(tǒng)計(jì)準(zhǔn)則的方法在統(tǒng)計(jì)度量最小化的約束下將數(shù)據(jù)從樣本空間變換到特征空間，從而使領(lǐng)域分布差異在特征空間中最小化.這類方法大多數(shù)情況下都可以成功，但也存在一些缺陷.舉一個(gè)極端的例子，如果將所有源域與目標(biāo)域樣本映射到特征空間中的一個(gè)點(diǎn)，源域與目標(biāo)域分布之間也不存在差異，但是這種映射是沒有意義的.因?yàn)樵谶@個(gè)特征空間中，所有樣本的特征表示都是相同的，網(wǎng)絡(luò)不能進(jìn)行分類任務(wù).針對這個(gè)問題，文獻(xiàn)[52]提出領(lǐng)域間最大統(tǒng)計(jì)量差異最小化方法，網(wǎng)絡(luò)中包括兩個(gè)特征提取器，它們在領(lǐng)域差異最小化的約束下分別將源域與目標(biāo)域數(shù)據(jù)映射到特征空間，然后混淆網(wǎng)絡(luò)將已得到的特征再映射到一個(gè)新的特征空間中去，并使領(lǐng)域差異在新的特征空間中盡可能大.在新的特征空間中，計(jì)算兩個(gè)領(lǐng)域間差異，并使用該差異與分類損失訓(xùn)練網(wǎng)絡(luò).該方法以最大化最小領(lǐng)域差異的方式避免了特征提取器將所有樣本映射到空間中同一點(diǎn)的情況的發(fā)生.

基于統(tǒng)計(jì)準(zhǔn)則的方法以源域和目標(biāo)域之間的分布距離作為損失函數(shù)，使用深度神經(jīng)網(wǎng)絡(luò)提取領(lǐng)域不變性特征.這類方法已經(jīng)取得了許多研究成果，發(fā)展空間有限.從提取領(lǐng)域不變性特征這方面來看，對抗學(xué)習(xí)是一個(gè)更有發(fā)展?jié)摿Φ姆较?原因是:一方面，與設(shè)計(jì)一個(gè)復(fù)雜的領(lǐng)域間距離相比，對抗網(wǎng)絡(luò)更加容易實(shí)現(xiàn);另一方面，對抗學(xué)習(xí)避免了人為設(shè)計(jì)距離，網(wǎng)絡(luò)在訓(xùn)練的過程中自發(fā)地學(xué)習(xí)兩個(gè)領(lǐng)域應(yīng)該對齊什么以及對齊到什么程度，通常能夠獲得更好的效果.

2.1.2 基于結(jié)構(gòu)準(zhǔn)則的方法

基于結(jié)構(gòu)準(zhǔn)則的方法通過約束網(wǎng)絡(luò)參數(shù)或者改變網(wǎng)絡(luò)結(jié)構(gòu)的方式來達(dá)到遷移知識(shí)的目的.這一類方法大體上是沿著兩個(gè)方向進(jìn)行發(fā)展的.1) 通過正則項(xiàng)保證源域與目標(biāo)域網(wǎng)絡(luò)參數(shù)之間具有相關(guān)性.這種做法是受到域適應(yīng)問題中數(shù)據(jù)集特點(diǎn)的啟發(fā)而產(chǎn)生的:源域與目標(biāo)域數(shù)據(jù)分布相關(guān)，那么源域網(wǎng)絡(luò)與目標(biāo)域網(wǎng)絡(luò)的參數(shù)也應(yīng)具有相關(guān)性.2) 通過增設(shè)領(lǐng)域?qū)俚呐鷼w一化層來減小領(lǐng)域之間的差異.這種做法與基于統(tǒng)計(jì)準(zhǔn)則的方法具有相似性.它們都希望得到具有相同分布的領(lǐng)域特征.不同的是，基于統(tǒng)計(jì)準(zhǔn)則的方法需要明確度量準(zhǔn)則，而這種方法并不需要.此外，還有一些方法通過改變網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)行知識(shí)遷移.這類方法的思路各不相同，但都可以歸類于基于結(jié)構(gòu)準(zhǔn)則的方法中.本節(jié)將對這些方法進(jìn)行詳細(xì)介紹.

基于統(tǒng)計(jì)準(zhǔn)則的方法通常使用同一個(gè)特征提取器對源域與目標(biāo)域的樣本提取特征，但實(shí)際上源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)分布雖然不同，但存在相關(guān)性，因此，兩個(gè)領(lǐng)域使用的特征提取器雖然不同，但也應(yīng)存在相關(guān)性.一些基于結(jié)構(gòu)準(zhǔn)則的方法使用兩個(gè)特征提取器分別處理源域樣本和目標(biāo)域樣本，并保證兩個(gè)特征提取器之間存在相關(guān)性.這類方法使用相同的方式搭建兩個(gè)域的特征提取器，并對網(wǎng)絡(luò)參數(shù)的相關(guān)性進(jìn)行約束，從而建立起兩個(gè)領(lǐng)域之間的關(guān)系.Rozantsev 等[53]使用權(quán)重正則項(xiàng)rw(·) 來衡量網(wǎng)絡(luò)參數(shù)之間的差異，權(quán)重正則項(xiàng)rw(·) 可以表示成指數(shù)函數(shù)的形式，即

其中，aj和bj是線性關(guān)系的參數(shù).Shu 等[54]提出弱參數(shù)共享層，弱參數(shù)共享層中的每一個(gè)領(lǐng)域都有專屬的網(wǎng)絡(luò)參數(shù)，懲罰項(xiàng) Ω 控制參數(shù)之間的關(guān)聯(lián)程度.

在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，網(wǎng)絡(luò)參數(shù)的變化會(huì)導(dǎo)致下一層輸入的分布變化.當(dāng)某一層的輸入過大或者過小時(shí)，其對應(yīng)的激活函數(shù)的導(dǎo)數(shù)就會(huì)變得很小，導(dǎo)致網(wǎng)絡(luò)的訓(xùn)練變得緩慢.這個(gè)問題稱為內(nèi)部協(xié)變量偏移(Internal covariate shift).Ioffe 等[56]提出批歸一化(Batch normalization，BN)方法來解決這個(gè)問題.批歸一化方法對網(wǎng)絡(luò)中每一個(gè)激活函數(shù)的輸入進(jìn)行歸一化.每個(gè)輸入都位于0 的附近，避免了激活函數(shù)導(dǎo)數(shù)過小的情況，提高了訓(xùn)練速度.然而，這個(gè)方法只適用于數(shù)據(jù)服從同一分布的傳統(tǒng)機(jī)器學(xué)習(xí)問題，而不適用于域適應(yīng)問題.為了解決域適應(yīng)問題中的協(xié)變量偏移，研究者們提出了一系列方法對批歸一化層進(jìn)行改進(jìn).對批歸一化層進(jìn)行改進(jìn)的方法不僅可以解決協(xié)變量偏移問題，還可以有效地減小領(lǐng)域間分布差異，其思想是借助批歸一化層將源域分布與目標(biāo)域分布映射到相似的分布上.Chang 等[57]提出了一種名為領(lǐng)域?qū)倥鷼w一化的方法，在網(wǎng)絡(luò)中使用兩個(gè)領(lǐng)域?qū)俚呐鷼w一化層代替共享的批歸一化層，使得網(wǎng)絡(luò)能夠更加適應(yīng)對應(yīng)領(lǐng)域的數(shù)據(jù).批歸一化層獨(dú)立地對特征的每一個(gè)維度進(jìn)行標(biāo)準(zhǔn)化而并不考慮特征之間的相關(guān)性.Roy等[58]認(rèn)為這種歸一化方法不足以對齊源域與目標(biāo)域分布，故而提出使用領(lǐng)域?qū)侔谆瘜觼泶婢W(wǎng)絡(luò)中的批歸一化層，白化層的定義為

式中，γk和βk是從目標(biāo)域?qū)W習(xí)到的參數(shù)，μB是均值，是B的協(xié)方差矩陣，ω=是B的一階矩和二階矩.與批歸一化層相比，特征白化層由于考慮了每一個(gè)維度特征間的關(guān)系而獲得了更好的對齊效果.Li 等[59]認(rèn)為與類別相關(guān)的信息都存儲(chǔ)在網(wǎng)絡(luò)的權(quán)重矩陣中，而與領(lǐng)域相關(guān)的信息則存儲(chǔ)在批歸一化層的統(tǒng)計(jì)量中，文獻(xiàn)[59]提出批歸一化層對每一個(gè)特征通道的均值和標(biāo)準(zhǔn)差都進(jìn)行歸一化，從而使得無論數(shù)據(jù)來源于哪一個(gè)域，每個(gè)層所接收到的數(shù)據(jù)都服從一個(gè)相似的分布.

其中，λ和β是從目標(biāo)域?qū)W習(xí)到的參數(shù)，μ(x) 和σ(x)是每一個(gè)特征通道的均值和標(biāo)準(zhǔn)差.文獻(xiàn)[60]進(jìn)一步提出使用樣本歸一化層來代替批歸一化層，樣本歸一化層對每一個(gè)通道、每一個(gè)樣本都計(jì)算一個(gè)μ(x) 和σ(x) .這種方式可以使得域適應(yīng)的效果獲得很大的提升.另外一些研究者提出賦予批歸一化層一系列的對齊參數(shù)[61]，這些參數(shù)可以自動(dòng)學(xué)習(xí)并且可以決定網(wǎng)絡(luò)不同位置的領(lǐng)域?qū)R程度.

還有一些方法不能被歸為一類但同樣屬于基于結(jié)構(gòu)準(zhǔn)則的方法.文獻(xiàn)[62]提出領(lǐng)域偏見的概念:并不是所有的神經(jīng)元在遷移的過程中都是有用的，某一些神經(jīng)元捕捉到的特征可能只適用于源域而不適用于目標(biāo)域.文獻(xiàn)[62]提出了領(lǐng)域引導(dǎo)dropout，這種方法將與當(dāng)前域無關(guān)的神經(jīng)元舍去，根據(jù)損失增益來決定是否使用這個(gè)節(jié)點(diǎn)，增益定義為

其中，L是損失函數(shù)，g(x)為特征向量，g(x)i是將第i個(gè)神經(jīng)元的輸出置為0 后的特征向量.Wu 等[63]將協(xié)同學(xué)習(xí)引入到域適應(yīng)問題中，該方法除了包含一個(gè)適配網(wǎng)絡(luò)之外還包括一個(gè)目標(biāo)域?qū)倬W(wǎng)絡(luò).適配網(wǎng)絡(luò)指導(dǎo)目標(biāo)域?qū)倬W(wǎng)絡(luò)的輸出.這樣做的好處是目標(biāo)域?qū)倬W(wǎng)絡(luò)可以學(xué)習(xí)出目標(biāo)域?qū)傩畔?Zhang 等[64]提出了領(lǐng)域?qū)ΨQ網(wǎng)絡(luò)(Domain-symmetric network，DSN).DSN 不僅共享特征提取器還共享分類器.分類器的最后一個(gè)全連接層被一分為二，一半用于源域分類器，另一半用于目標(biāo)域分類器，整個(gè)全連接層用來作為源域目標(biāo)域整體的分類器.DSN 使用源域樣本來訓(xùn)練源域分類器與目標(biāo)域分類器，并使用領(lǐng)域標(biāo)簽訓(xùn)練整體分類器.

2.1.3 基于流形準(zhǔn)則的方法

測地線是在格拉斯曼流形上連接兩個(gè)點(diǎn)的最短路徑.基于流形準(zhǔn)則的方法將源域空間與目標(biāo)域空間作為格拉斯曼流形上的兩個(gè)點(diǎn)，并在源域與目標(biāo)域之間構(gòu)建一條測地線來度量兩個(gè)領(lǐng)域之間的分布差異.基于流形準(zhǔn)則的方法或通過對齊特征或通過生成中間樣本進(jìn)行知識(shí)遷移.對齊特征的方法通過在測地線上采樣有限個(gè)[65]或無限個(gè)[66]子空間來建立源域與目標(biāo)域之間的聯(lián)系，這種方法將源域和目標(biāo)域映射到中間子空間來對齊分布;生成中間樣本的方法采用數(shù)據(jù)增廣的思想生成一系列介于源域和目標(biāo)域之間的樣本進(jìn)行知識(shí)遷移.Chopra 等[67]提出了一種域間插值的深度域適應(yīng)方法(Deep learning for domain adaptation by interpolating between domains，DLID)，DLID 產(chǎn)生一系列的中間數(shù)據(jù)集，數(shù)據(jù)集中的樣本樣式從與源域樣本相似逐漸變化到與目標(biāo)域樣本相似.每一個(gè)數(shù)據(jù)集都是測地線上的一個(gè)點(diǎn).每當(dāng)一個(gè)中間數(shù)據(jù)集產(chǎn)生之后，該方法都會(huì)使用預(yù)測稀疏分解方法來訓(xùn)練一個(gè)特征提取器.文獻(xiàn)[68]提出了領(lǐng)域流生成模型，將源域數(shù)據(jù)與領(lǐng)域變量(控制中間域與源域的相似性)作為輸入，將源域圖像翻譯成中間域圖像，通過使用中間域圖像作為額外的訓(xùn)練樣本使源域模型逐漸適用于目標(biāo)域任務(wù).

2.1.4 基于圖準(zhǔn)則的方法

基于圖準(zhǔn)則的方法將樣本與樣本間關(guān)系抽象成圖結(jié)構(gòu)，并使用圖之間的差異來度量領(lǐng)域間分布差異.如果把樣本看作點(diǎn)，樣本間的相似度看作邊，那么數(shù)據(jù)集就可以視為一個(gè)無向圖.以這個(gè)思想為基礎(chǔ)，研究者們提出減小源域圖與目標(biāo)域圖之間的差異來遷移知識(shí).如果源域數(shù)據(jù)所表示的圖與目標(biāo)域數(shù)據(jù)所表示的圖相似，則認(rèn)為源域模型可以很好地適配目標(biāo)域.基于圖準(zhǔn)則的方法在知識(shí)遷移過程中由于考慮了領(lǐng)域分布結(jié)構(gòu)從而獲得了更好的知識(shí)遷移效果.Xu 等[69]提出使用樣本間距離來描述樣本間的近鄰關(guān)系，對于每一個(gè)目標(biāo)域樣本，計(jì)算它與每個(gè)源域樣本之間的相似度，并以此來描述該目標(biāo)域樣本與源域各類別的近鄰關(guān)系，將相似度作為優(yōu)化目標(biāo)的一部分來訓(xùn)練網(wǎng)絡(luò).經(jīng)過訓(xùn)練的網(wǎng)絡(luò)最終會(huì)生成與源域樣本近似的特征表示.在對齊圖的基礎(chǔ)上，文獻(xiàn)[70]將類別信息引入到了遷移過程中，提出了一種無監(jiān)督圖對齊方法.這種方法將圖中的邊分為兩類:一種是類內(nèi)邊，類內(nèi)邊連接屬于同一類別的兩個(gè)樣本;另一種是類間邊，類間邊連接屬于不同類別的兩個(gè)樣本.訓(xùn)練的目標(biāo)是類內(nèi)邊盡可能小，而類間邊盡可能一致.這種方法不僅對齊了源域與目標(biāo)域的分布還增強(qiáng)了特征的類別可區(qū)分性.文獻(xiàn)[71]同樣將類別信息引入到了遷移過程中，它使用目標(biāo)域分類器生成目標(biāo)域樣本的偽標(biāo)簽，然后通過對齊兩個(gè)領(lǐng)域類別質(zhì)心的方式來對齊條件概率分布.還有一些方法使用神經(jīng)網(wǎng)絡(luò)以樣本為輸入直接輸出圖結(jié)構(gòu).Yang 等[72]提出了關(guān)聯(lián)圖預(yù)測網(wǎng)絡(luò).關(guān)聯(lián)圖是一個(gè)矩陣，用來描述數(shù)據(jù)單元之間的關(guān)系，其本質(zhì)是一個(gè)相似性矩陣，源域樣本以及關(guān)聯(lián)圖被用來訓(xùn)練關(guān)聯(lián)圖預(yù)測網(wǎng)絡(luò).由于源域與目標(biāo)域之間存在關(guān)聯(lián)性，源域關(guān)聯(lián)圖預(yù)測網(wǎng)絡(luò)可以直接使用在目標(biāo)域上.在遷移階段，使用關(guān)聯(lián)圖預(yù)測網(wǎng)絡(luò)對目標(biāo)域數(shù)據(jù)輸出關(guān)聯(lián)圖，并使用關(guān)聯(lián)圖與特征共同分類目標(biāo)域樣本.

圖神經(jīng)網(wǎng)絡(luò)是一類基于深度學(xué)習(xí)的處理圖信息的方法.由于其較好的性能和可解釋性，圖神經(jīng)網(wǎng)絡(luò)已成為一種廣泛應(yīng)用的圖分析方法.到目前為止，圖神經(jīng)網(wǎng)絡(luò)還沒有應(yīng)用于基于圖準(zhǔn)則的域適應(yīng)方法中，在未來的研究中，圖神經(jīng)網(wǎng)絡(luò)與域適應(yīng)問題相結(jié)合將能進(jìn)一步推動(dòng)域適應(yīng)領(lǐng)域的發(fā)展.

2.2 基于對抗學(xué)習(xí)的方法

基于對抗學(xué)習(xí)的域適應(yīng)方法將生成對抗網(wǎng)絡(luò)(Generative adversarial network，GAN)[73]的思想引入到域適應(yīng)問題當(dāng)中.對抗域適應(yīng)的訓(xùn)練過程是特征提取器與領(lǐng)域判別器之間的博弈過程:領(lǐng)域判別器通過學(xué)習(xí)來區(qū)分源域特征與目標(biāo)域特征，而特征提取器通過學(xué)習(xí)具有領(lǐng)域不變性的特征來混淆領(lǐng)域判別器.訓(xùn)練完成后的網(wǎng)絡(luò)就可以提取出既具有類別區(qū)分性又具有領(lǐng)域不變性的特征表示.基于對抗學(xué)習(xí)的方法按照對抗方式的不同可以分為單對抗域適應(yīng)和多對抗域適應(yīng).此外，還有一些方法沒有在對抗方式上進(jìn)行改進(jìn)，而是將注意力機(jī)制引入到對抗域適應(yīng)中，這一類方法同樣被歸類到基于對抗學(xué)習(xí)的方法中.

2.2.1 單對抗方法

單對抗方法是指使用單個(gè)領(lǐng)域判別器的對抗域適應(yīng)方法.Ganin 等[27]首先將對抗學(xué)習(xí)應(yīng)用到域適應(yīng)問題當(dāng)中，提出領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)(Domain adversarial neural network，DANN)，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示.在對抗域適應(yīng)中，領(lǐng)域判別器的優(yōu)化目標(biāo)是最小化領(lǐng)域判別器的分類損失，而特征提取器的優(yōu)化目標(biāo)是最大化領(lǐng)域判別器的分類損失.為了在訓(xùn)練過程中同時(shí)滿足這兩個(gè)截然相反的優(yōu)化目標(biāo)，Ganin 等[27]提出了梯度反轉(zhuǎn)層(Gradient reversal layer，GRL)，其作用是當(dāng)領(lǐng)域判別器的分類損失的梯度反向傳播經(jīng)過判別器之后，對梯度取反，然后將其繼續(xù)反向傳播到特征提取器.梯度反轉(zhuǎn)層使網(wǎng)絡(luò)能夠保證在領(lǐng)域判別器最小化領(lǐng)域混淆損失的同時(shí)特征提取器最大化領(lǐng)域混淆損失.DANN 的目標(biāo)函數(shù)可以表示為

圖3 領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The network structure of DANN

其中，θf，θy，θd分別為特征提取器、分類器與領(lǐng)域判別器的參數(shù)，Gf，Gy，Gd分別為特征提取器、分類器與領(lǐng)域判別器，ns，nt分別為源域樣本與目標(biāo)域樣本的數(shù)量，yi，di分別表示類別標(biāo)簽與領(lǐng)域標(biāo)簽，λ為權(quán)重系數(shù).值得注意的是，DANN 同時(shí)也等價(jià)于最小化源域特征和目標(biāo)域特征的詹森—香農(nóng)(Jensen-Shannon)散度.從這個(gè)觀點(diǎn)來看，DANN也可以歸為基于統(tǒng)計(jì)準(zhǔn)則的域適應(yīng)方法.Chen 等[74]發(fā)現(xiàn)對抗域適應(yīng)方法雖然能夠增強(qiáng)特征的可遷移性，但是會(huì)降低特征的類別可區(qū)分性，該研究從譜分析的角度說明了特征的可遷移性主要存在于特征矩陣特征值較大對應(yīng)的特征向量中，而特征的可區(qū)分性則依賴于特征矩陣的大部分特征向量.所以他們提出在訓(xùn)練過程中加入批譜懲罰項(xiàng)來保證特征值之間的差距不會(huì)過大，即保證特征的可區(qū)分性.在DANN 中，對特征提取器的共享導(dǎo)致了特征提取器不能提取源域和目標(biāo)域的領(lǐng)域?qū)傩畔?針對這個(gè)問題，對抗判別域適應(yīng)(Adversarial discriminative domain adaptation，ADDA)[75]采取了權(quán)重不共享的方式，源域特征和目標(biāo)域特征獨(dú)立提取.源域和目標(biāo)域的網(wǎng)絡(luò)結(jié)構(gòu)相同，目標(biāo)域模型參數(shù)使用源域預(yù)訓(xùn)練模型的參數(shù)初始化.相對于DANN 來說，由于參數(shù)不共享，特征提取器可以提取更多的領(lǐng)域?qū)偬卣?ADDA 以迭代的方式最小化以下函數(shù)來最小化源域特征與目標(biāo)域特征之間的距離.

其中，映射Ms，Mt分別從源域數(shù)據(jù)xs和目標(biāo)域數(shù)據(jù)xt中學(xué)習(xí)，Gy代表源域分類器，分類損失Lcls使用源域數(shù)據(jù)最小化，LadvD用來訓(xùn)練領(lǐng)域判別器，LadvM用來學(xué)習(xí)領(lǐng)域不變性的特征表示.Volpi 等[76]使用特征生成器在源域特征空間中進(jìn)行數(shù)據(jù)增廣，并且使用領(lǐng)域判別器區(qū)分生成特征與真實(shí)特征來對齊生成樣本與目標(biāo)域樣本的分布.Vu 等[77]提出了一種基于對抗熵最小化的語義分割域適應(yīng)方法來對齊源域與目標(biāo)域的標(biāo)簽結(jié)構(gòu)信息.該方法使用分割圖(圖中元素代表像素屬于某個(gè)語義標(biāo)簽的概率) 生成加權(quán)自信息矩陣，將分割圖的熵(加權(quán)自信息矩陣的元素之和)作為網(wǎng)絡(luò)損失項(xiàng)的一部分來優(yōu)化網(wǎng)絡(luò)，使網(wǎng)絡(luò)輸出置信度更高的語義標(biāo)簽預(yù)測.網(wǎng)絡(luò)最終使用領(lǐng)域判別器在源域與目標(biāo)域的加權(quán)自信息矩陣間進(jìn)行對抗.單對抗方法使用單個(gè)領(lǐng)域判別器，意味著單對抗方法只能對源域和目標(biāo)域的整體分布進(jìn)行對齊，這是單對抗方法的一個(gè)缺陷.

2.2.2 多對抗方法

多對抗方法是指使用多個(gè)領(lǐng)域判別器的對抗域適應(yīng)方法.單對抗方法的分布對齊能力有限，只能夠?qū)R源域與目標(biāo)域的邊緣分布，并不能夠保證條件概率分布同樣被對齊.而多對抗方法除了能夠?qū)R邊緣分布以外還在對抗學(xué)習(xí)的過程中引入類別信息來對齊條件概率分布.

Pei 等[2]提出了多對抗域適應(yīng)(Multi-adversarial domain adaptation，MADA)，使用多個(gè)類別領(lǐng)域判別器來對齊兩個(gè)域的數(shù)據(jù)分布.每一個(gè)類別領(lǐng)域判別器只負(fù)責(zé)對齊其對應(yīng)類別的概率分布.還有一些方法雖然沒有使用多個(gè)領(lǐng)域判別器，但通過引入類別信息獲得了與使用多個(gè)領(lǐng)域判別器方法同樣的效果，故也被歸類到多對抗方法中.Long 等[22]提出了條件領(lǐng)域?qū)咕W(wǎng)絡(luò)(Conditional domain adversarial networks，CDAN)，其結(jié)構(gòu)如圖4 所示.CDAN 的創(chuàng)新點(diǎn)在于將特征與分類器輸出的外積作為新的特征輸入到領(lǐng)域判別器中，新的特征能夠捕捉到隱藏在復(fù)雜數(shù)據(jù)分布下的多峰結(jié)構(gòu)，該方法取得了良好的效果.Tzeng 等[78]將源域中屬于同一類別樣本的分類器輸出均值作為類別軟標(biāo)簽.在訓(xùn)練目標(biāo)域分類器時(shí)，使用一部分帶標(biāo)簽的目標(biāo)域數(shù)據(jù)得到目標(biāo)域分類器的輸出，通過對齊輸出與對應(yīng)類別的軟標(biāo)簽達(dá)到了對齊條件概率分布的目的.

2.2.3 基于注意力機(jī)制的對抗方法

圖像的不同區(qū)域的可遷移性是不同的，可遷移性低的區(qū)域在訓(xùn)練過程中會(huì)造成負(fù)遷移.域適應(yīng)方法需要著重對圖像中與任務(wù)相關(guān)性高的區(qū)域進(jìn)行知識(shí)遷移而忽略其他不相關(guān)的背景信息.在對抗域適應(yīng)中，有一類方法將重點(diǎn)集中在尋找特征圖中可遷移性較高的區(qū)域.Kurmi 等[79]使用貝葉斯分類器和貝葉斯領(lǐng)域判別器分別輸出分類器的不確定性和領(lǐng)域判別器的不確定性，通過反向傳播算法使用不確定性來反推特征圖中每個(gè)區(qū)域的領(lǐng)域不確定性.領(lǐng)域不確定性高的區(qū)域被認(rèn)為可遷移性較高，將會(huì)被著重對齊.Wang 等[80]將注意力機(jī)制引入到對抗域適應(yīng)方法中，使網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)到在遷移的過程中需要注意哪些部分.特征圖被劃分為k個(gè)區(qū)域，每一個(gè)區(qū)域都對應(yīng)一個(gè)領(lǐng)域判別器.在訓(xùn)練結(jié)束之后，領(lǐng)域判別器難以區(qū)分的部分被認(rèn)為是可遷移性較好的部分，通過對這些部分賦予更大的權(quán)重，網(wǎng)絡(luò)實(shí)現(xiàn)了在訓(xùn)練中著重對遷移性好的區(qū)域進(jìn)行對齊.參數(shù)k通常不會(huì)設(shè)定比較大的值，劃分過多的區(qū)域會(huì)增加訓(xùn)練的復(fù)雜度，因此該方法只能獲得有限的性能提升.Luo 等[81]提出了一種基于協(xié)同學(xué)習(xí)與類別對抗的語義不變性域適應(yīng)方法，其網(wǎng)絡(luò)結(jié)構(gòu)包括特征提取器、兩個(gè)分類器以及領(lǐng)域判別器.該方法應(yīng)用在圖像語義分割中.訓(xùn)練過程約束兩個(gè)分類器的參數(shù)是不同的，從而保證分類器能夠從不同視角給出圖像中每一個(gè)像素的語義標(biāo)簽.對于源域數(shù)據(jù)來說，兩個(gè)分類器使用集成學(xué)習(xí)的方式給出預(yù)測圖用來計(jì)算分割損失以及領(lǐng)域?qū)箵p失.對于目標(biāo)域數(shù)據(jù)，網(wǎng)絡(luò)使用距離函數(shù)計(jì)算兩張預(yù)測圖中對應(yīng)像素的距離，并生成注意力圖，注意力圖被送到領(lǐng)域判別器中進(jìn)行領(lǐng)域?qū)?這樣做的目的是迫使領(lǐng)域判別器著重處理在目標(biāo)域中兩個(gè)分類器不一致的區(qū)域.已有的深度神經(jīng)網(wǎng)絡(luò)的可解釋性研究[82—84]探究的是特征圖中的不同區(qū)域?qū)W(wǎng)絡(luò)預(yù)測結(jié)果的影響.目前，深度域適應(yīng)還缺少對網(wǎng)絡(luò)可解釋性的研究.如果有研究能夠發(fā)現(xiàn)特征圖中的不同區(qū)域?qū)w移效果的影響.那么這個(gè)研究成果就可以直接應(yīng)用到基于注意力的對抗域適應(yīng)方法中.

2.3 基于重構(gòu)的方法

基于重構(gòu)的方法是指使用自編碼器提取具有可遷移性特征的方法.自編碼器[85]是實(shí)現(xiàn)重構(gòu)的基本網(wǎng)絡(luò)結(jié)構(gòu)，是一種可以用來抑制信息損失的無監(jiān)督學(xué)習(xí)方法，由一個(gè)前饋神經(jīng)網(wǎng)絡(luò)組成，包括編碼解碼兩個(gè)過程.自編碼器首先將輸入映射為編碼，然后又將編碼重構(gòu)回輸入，通過使用輸入作為標(biāo)簽來解決“沒有老師的反向傳播”問題.自編碼器通過最小化信息損失來重構(gòu)輸入，保證編碼保持?jǐn)?shù)據(jù)原有的特性.基于重構(gòu)的域適應(yīng)方法的優(yōu)點(diǎn)是能夠保證遷移過程不會(huì)破壞數(shù)據(jù)原有信息.在域適應(yīng)問題中重構(gòu)可以起到三種作用:1) 域適應(yīng)過程會(huì)破壞樣本中的可判別信息[25]，而重構(gòu)方法可以降低信息的損失;2) 重構(gòu)方法可以將特征解耦為領(lǐng)域?qū)偬卣骱皖I(lǐng)域不變性特征，領(lǐng)域不變性特征用來遷移知識(shí)，而領(lǐng)域?qū)偬卣鲃t用來輔助完成目標(biāo)域任務(wù);3) 重構(gòu)可以提取特征的高層語義，研究者們可以通過重構(gòu)將輸入分解為多個(gè)具有具體語義的部分，并重構(gòu)回輸入.下面，本文根據(jù)重構(gòu)的不同作用將基于重構(gòu)的方法分為三類依次介紹.

圖4 條件領(lǐng)域?qū)咕W(wǎng)絡(luò)Fig.4 Conditional domain adversarial network

2.3.1 使用重構(gòu)抑制信息損失

域適應(yīng)通過尋找領(lǐng)域不變性信息進(jìn)行知識(shí)遷移，將輸入映射到領(lǐng)域不變性特征的過程會(huì)丟失領(lǐng)域?qū)傩畔?丟失的信息是有可能有益于任務(wù)的，因此需要使用重構(gòu)抑制信息損失.文獻(xiàn)[86-87]使用源域和目標(biāo)域的所有樣本來訓(xùn)練自編碼器，然后在源域編碼上訓(xùn)練分類模型，并將分類模型直接應(yīng)用在目標(biāo)域上.這類方法簡單易用，但是由于自編碼器不能提取領(lǐng)域不變性的特征，故遷移能力有限.

文獻(xiàn)[86-87]之后的方法通過增加各種約束來增強(qiáng)編碼的表示能力.深度重構(gòu)分類網(wǎng)絡(luò)[88]將源域樣本標(biāo)簽信息嵌入到編碼中，在訓(xùn)練自編碼器的同時(shí)訓(xùn)練一個(gè)以編碼為輸入的分類器，增強(qiáng)了編碼的類別可區(qū)分性.基于深度自編碼器的遷移學(xué)習(xí)方法(Transfer learning with deep autoencoders，TLDA)[89]使用自編碼器對輸入進(jìn)行兩次編碼:輸入首先被映射成一次編碼，然后一次編碼被映射成二次編碼.重構(gòu)過程也分為兩個(gè)步驟:二次編碼被重構(gòu)回一次編碼，然后一次編碼被重構(gòu)回輸入.與文獻(xiàn)[88]將標(biāo)簽信息引入編碼的方式不同，TLDA 直接將二次編碼作為分類結(jié)果，將二次編碼與樣本標(biāo)簽的差異作為損失項(xiàng)來引入類別信息.另外，TLDA在訓(xùn)練過程中通過減少源域樣本與目標(biāo)域樣本一次編碼的KL (Kullback—Leibler)散度來對齊領(lǐng)域分布.除了減小兩個(gè)領(lǐng)域編碼間的距離之外，有的研究還使用其他的方式來對齊分布.例如Sun 等[90]的工作使用對抗學(xué)習(xí)來對齊分布，在領(lǐng)域判別器區(qū)分源域重構(gòu)樣本和目標(biāo)域重構(gòu)樣本的同時(shí)，自編碼器生成難以區(qū)分的重構(gòu)樣本.重構(gòu)樣本分布差異最小化使得編碼分布差異也最小化.通過這種方式，自編碼器可以提取領(lǐng)域不變性的編碼.

2.3.2 使用重構(gòu)解耦特征

使用自編碼器解決域適應(yīng)問題的初衷是在特征提取的過程中不損失可遷移性信息.但抑制信息損失也會(huì)引入新的問題:特征不僅僅包含領(lǐng)域不變性信息，同時(shí)也包含領(lǐng)域?qū)傩畔?，源域?qū)傩畔⒉粌H不能用于遷移甚至還會(huì)造成負(fù)遷移.為了減輕源域?qū)傩畔⒃斐傻呢?fù)遷移，一些重構(gòu)方法提出將領(lǐng)域?qū)傩畔⑴c領(lǐng)域不變性信息分離[5，91].在領(lǐng)域分離網(wǎng)絡(luò)(Domain separation network，DSN)[5]中，源域和目標(biāo)域樣本都使用領(lǐng)域共享編碼器和領(lǐng)域?qū)倬幋a器進(jìn)行編碼.該網(wǎng)絡(luò)使用子空間正交約束來保證領(lǐng)域?qū)傩畔⒑皖I(lǐng)域共享信息沒有交集.

2.3.3 使用重構(gòu)提取高層語義

自編碼器學(xué)習(xí)一個(gè)包含輸入所有信息的編碼，編碼中每一個(gè)值所代表的含義是不明確的，研究者們?yōu)榫W(wǎng)絡(luò)提供訓(xùn)練數(shù)據(jù)，并設(shè)定損失項(xiàng)，接下來的學(xué)習(xí)過程完全是網(wǎng)絡(luò)自發(fā)進(jìn)行的.怎樣提取特征以及提取什么樣的特征，這一整套邏輯隱含在網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)中而不為人所知.在認(rèn)知科學(xué)領(lǐng)域，科學(xué)家發(fā)現(xiàn)人們通過少量學(xué)習(xí)來進(jìn)行有意義的概括，將觀察對象解析為各個(gè)部分并從各個(gè)部分中生成新的概念.受到人類學(xué)習(xí)過程的啟發(fā)，研究者們試圖讓自編碼器能夠?qū)⑤斎虢馕鰹槎鄠€(gè)有實(shí)際意義的部分，并依據(jù)這些部分重構(gòu)回輸入.物體部件之間的遷移性總是好于兩個(gè)物體之間的遷移性，這種先分解再重構(gòu)的概念學(xué)習(xí)模式適用于域適應(yīng)問題.Zhu等[92]使用多注意力卷積神經(jīng)網(wǎng)絡(luò)(Multi-attention convolutional nerual network，MACNN)[93]尋找樣本間共有的且具有類別區(qū)分性的視覺部件原型，然后使用自編碼器將輸入分解為多個(gè)視覺部件，每個(gè)視覺部件都由已知的部件原型的高斯混合分布來描述，最后由視覺部件重構(gòu)回輸入，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.Zhao 等[94]的工作同樣使用自編碼器學(xué)習(xí)具有語義信息的編碼.與文獻(xiàn)[92]不同的是，Zhao 等[94]不利用網(wǎng)絡(luò)來獲取語義信息，而是要求數(shù)據(jù)集中每一個(gè)樣本都對應(yīng)有一個(gè)語義向量，在自編碼器訓(xùn)練過程中，將語義向量作為編碼的監(jiān)督信息，學(xué)習(xí)具有語義信息的編碼.

2.4 基于樣本生成的方法

圖5 領(lǐng)域分離網(wǎng)絡(luò)Fig.5 Domain separation network

圖6 文獻(xiàn)[92]所使用的網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 The network structure used in [92]

域適應(yīng)將從源域中學(xué)到的知識(shí)遷移到目標(biāo)域，上文中總結(jié)的域適應(yīng)方法或者尋找一個(gè)從源域特征到目標(biāo)域特征的映射或者尋找兩個(gè)域的領(lǐng)域不變性特征.盡管這些方法取得了一些效果，但是仍然不及目標(biāo)域有標(biāo)簽時(shí)的監(jiān)督學(xué)習(xí)方法取得的性能.基于樣本生成的域適應(yīng)方法是指使用源域樣本合成帶標(biāo)簽的目標(biāo)域樣本，并使用合成樣本訓(xùn)練目標(biāo)域網(wǎng)絡(luò)的方法.從理論上來說，基于樣本生成的域適應(yīng)方法在訓(xùn)練過程中可以使用無限的數(shù)據(jù).充足的數(shù)據(jù)正是獲得一個(gè)性能優(yōu)良的模型的關(guān)鍵之一.與其他的域適應(yīng)方法相比，這一類方法的可解釋性更強(qiáng)，通過觀察合成的目標(biāo)域樣本與真實(shí)目標(biāo)域樣本之間的差異就可以判斷當(dāng)前方法是否學(xué)習(xí)到了一個(gè)較好的從源域到目標(biāo)域的映射.而其他的域適應(yīng)方法就只能間接地通過目標(biāo)域任務(wù)網(wǎng)絡(luò)的性能來推測使用的方法是否有一個(gè)很好的遷移效果，這顯然不夠直觀.

最常用的生成模型就是生成對抗網(wǎng)絡(luò)(GAN).GAN 包括生成器和判別器.生成器用來合成圖像，判別器用來區(qū)分真實(shí)圖像與合成圖像.GAN 的訓(xùn)練過程就是生成器與判別器之間相互博弈的過程.當(dāng)判別器已不能將合成圖像從真實(shí)圖像中區(qū)分出來時(shí)，生成器就已經(jīng)具備了合成逼真圖像的能力.在GAN 中，生成器的輸入是噪音，而輸出則是合成圖像.由于GAN 不能生成合成樣本的標(biāo)簽，所以只使用GAN 不能夠完成目標(biāo)域中的任務(wù).基于樣本生成的域適應(yīng)算法的關(guān)鍵是建立起源域樣本與合成樣本之間的關(guān)系，并利用這個(gè)關(guān)系從源域樣本標(biāo)簽推測出合成樣本的標(biāo)簽，繼而使用合成樣本訓(xùn)練模型.共享網(wǎng)絡(luò)參數(shù)和圖像翻譯網(wǎng)絡(luò)是樣本生成的主要方式.其中，基于圖像翻譯網(wǎng)絡(luò)的方法是主流方法.

2.4.1 共享網(wǎng)絡(luò)參數(shù)

Liu 等[95]提出在生成器中，淺層網(wǎng)絡(luò)在解碼語義信息，深層網(wǎng)絡(luò)在解碼細(xì)節(jié)信息，而在判別器中，信息處理的方式恰好是相反的，即淺層網(wǎng)絡(luò)在提取細(xì)節(jié)信息，深層網(wǎng)絡(luò)在提取語義信息.他們提出使用兩個(gè)生成器，一個(gè)用于生成源域樣本而另一個(gè)生成目標(biāo)域樣本.通過共享兩個(gè)生成器的淺層網(wǎng)絡(luò)參數(shù)來生成具有相同語義信息的樣本.由于兩個(gè)域的同類別樣本共享相同的語義信息，具有相同語義信息的樣本具有相同的類別標(biāo)簽，所以目標(biāo)域合成樣本的標(biāo)簽可以通過源域樣本的標(biāo)簽得知.

2.4.2 圖像翻譯網(wǎng)絡(luò)

除了使用共享網(wǎng)絡(luò)參數(shù)的方法之外，更多的方法使用翻譯網(wǎng)絡(luò)來建立源域樣本與目標(biāo)域樣本之間的關(guān)系.翻譯網(wǎng)絡(luò)是指將源域樣本作為輸入來生成符合目標(biāo)域分布的合成圖像的網(wǎng)絡(luò).實(shí)際上，翻譯網(wǎng)絡(luò)在被引入遷移學(xué)習(xí)問題之前就已經(jīng)應(yīng)用于風(fēng)格遷移等諸多計(jì)算機(jī)視覺應(yīng)用.翻譯網(wǎng)絡(luò)是一種很常見的監(jiān)督學(xué)習(xí)方法，其使用樣本對(Sample pair)作為訓(xùn)練數(shù)據(jù).域適應(yīng)問題的數(shù)據(jù)集不包含樣本對，所以研究者們在網(wǎng)絡(luò)的訓(xùn)練過程中添加特殊約束來保證翻譯網(wǎng)絡(luò)輸入輸出的類別標(biāo)簽一致性.文獻(xiàn)[96]提出對偶學(xué)習(xí)方法，在最小化重構(gòu)損失的同時(shí)學(xué)習(xí)兩個(gè)方向相反的翻譯器.對偶學(xué)習(xí)使兩個(gè)翻譯器在訓(xùn)練過程中形成一個(gè)閉環(huán)，兩個(gè)翻譯器相互促進(jìn)學(xué)習(xí)得到了比訓(xùn)練單個(gè)翻譯器更好的模型性能.以CycleGAN 為代表的一類方法[21，97-98]引入對偶學(xué)習(xí)來達(dá)到這樣一個(gè)目的:在沒有樣本對的情況下，捕獲目標(biāo)域數(shù)據(jù)集的特征，并將該特征轉(zhuǎn)化到源域數(shù)據(jù)集上.在這類方法中，翻譯網(wǎng)絡(luò)將源域數(shù)據(jù)變換到目標(biāo)域，再從目標(biāo)域變換回源域.原數(shù)據(jù)與重構(gòu)數(shù)據(jù)之間的差異稱為循環(huán)一致性損失.CycleGAN 通過最小化循環(huán)一致性損失使網(wǎng)絡(luò)學(xué)習(xí)到如何在源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)相互轉(zhuǎn)化，對偶學(xué)習(xí)的訓(xùn)練過程如圖7 所示.由于生成模型很難訓(xùn)練，Sankaranarayanan 等[99]提出了生成適應(yīng)方法(Generate to adapt，GTA)，該方法不僅利用GAN 來合成圖像，也利用GAN 的訓(xùn)練過程來對齊源域與目標(biāo)域的特征分布.其好處在于即使合成數(shù)據(jù)失敗，也能得到領(lǐng)域不變性的特征表示用于遷移.

Yoo 等[100]在翻譯網(wǎng)絡(luò)的基礎(chǔ)上使用對抗學(xué)習(xí)來保證合成樣本和輸入樣本的標(biāo)簽一致性.Yoo 等[100]提出的網(wǎng)絡(luò)結(jié)構(gòu)包括三個(gè)模塊，即翻譯網(wǎng)絡(luò)、真/假判別器以及領(lǐng)域判別器.翻譯網(wǎng)絡(luò)將源域數(shù)據(jù)轉(zhuǎn)換為符合目標(biāo)域分布的合成數(shù)據(jù);真/假判別器用來對齊合成數(shù)據(jù)與目標(biāo)域數(shù)據(jù)的分布;領(lǐng)域判別器的輸入是合成數(shù)據(jù)和源域數(shù)據(jù)，其目的是在合成數(shù)據(jù)與源域數(shù)據(jù)之間建立聯(lián)系，使得翻譯網(wǎng)絡(luò)在將源域數(shù)據(jù)映射到目標(biāo)域之后仍能保持高層的語義信息.

還有一些方法使用任務(wù)網(wǎng)絡(luò)的輸出來保證合成樣本和輸入樣本的標(biāo)簽一致性.既然輸入樣本和合成樣本具有相同的語義，那么它們對各自領(lǐng)域?qū)偃蝿?wù)網(wǎng)絡(luò)的輸出應(yīng)該完全相同.Chen 等[101]將兩個(gè)領(lǐng)域?qū)倬W(wǎng)絡(luò)的輸出差異作為跨領(lǐng)域一致性損失，該損失可以保證合成樣本與輸入樣本的語義一致性.

除了上述關(guān)注如何建立樣本標(biāo)簽關(guān)系的方法以外，還有一些方法通過改進(jìn)網(wǎng)絡(luò)訓(xùn)練過程來增強(qiáng)合成樣本的質(zhì)量.在合成樣本的過程中，翻譯網(wǎng)絡(luò)隨機(jī)抽樣出一批源域樣本，并將源域樣本變換到目標(biāo)域，判別器對合成樣本和目標(biāo)域樣本進(jìn)行分類，分類損失反向傳播更新判別器和翻譯網(wǎng)絡(luò)的參數(shù).每一次迭代之后，翻譯網(wǎng)絡(luò)的參數(shù)都發(fā)生了變化，這意味著在每一次迭代中，翻譯網(wǎng)絡(luò)對源域數(shù)據(jù)的變換方式都是不同的.判別器在訓(xùn)練過程中只會(huì)關(guān)注最新的合成樣本，缺少對合成樣本的記憶會(huì)導(dǎo)致訓(xùn)練過程難以收斂.Shrivastava 等[102]提出在網(wǎng)絡(luò)中設(shè)置一個(gè)緩沖器來存儲(chǔ)之前迭代中的合成樣本來解決這個(gè)問題.此外，還有一些方法從不同角度出發(fā)來進(jìn)行改進(jìn)，例如，Li 等[103]針對序列學(xué)習(xí)遷移知識(shí)有限的缺點(diǎn)提出將雙向?qū)W習(xí)引入到訓(xùn)練過程中，讓翻譯網(wǎng)絡(luò)與判別器彼此推動(dòng)相互促進(jìn)來進(jìn)一步減小分布差異.Bousmalis 等[104]將樣本生成模塊與任務(wù)模塊進(jìn)行分離，來解決測試集中出現(xiàn)未知類別的情況，增強(qiáng)模型的泛化能力.

圖7 CycleGAN 的訓(xùn)練過程((a)源域圖像通過翻譯網(wǎng)絡(luò)G 變換到目標(biāo)域，目標(biāo)域圖像通過翻譯網(wǎng)絡(luò)F 變換到源域;(b)在源域中計(jì)算循環(huán)一致性損失;(c)在目標(biāo)域中計(jì)算循環(huán)一致性損失)Fig.7 The training process of CycleGAN ((a) source images are transformed to target domain through translation network G，target images are transformed to source domain through translation network F;(b) calculate the cycle-consistency loss in source domain;(c) calculate the cycle-consistency loss in target domain.)

2.5 小結(jié)

本節(jié)對一般情況下的深度域適應(yīng)方法進(jìn)行了綜述，按照實(shí)現(xiàn)域適應(yīng)方式的不同將深度域適應(yīng)方法劃分為基于領(lǐng)域分布差異的方法、基于對抗學(xué)習(xí)的方法、基于重構(gòu)的方法和基于樣本生成的方法.

基于領(lǐng)域分布差異的方法一直以來是深度域適應(yīng)的主流方法.研究者們提出了許多的距離度量來量化兩個(gè)領(lǐng)域之間的差異.當(dāng)前，衡量不同距離度量優(yōu)劣只能通過模型在目標(biāo)域上取得的性能來估計(jì).在這一領(lǐng)域，還缺乏理論研究來證明哪一個(gè)距離度量才最適合域適應(yīng)問題，以及不同的距離度量為什么會(huì)產(chǎn)生不同的遷移效果.

基于對抗的域適應(yīng)方法的發(fā)展沿著一條清晰的脈絡(luò)，從最初使用單個(gè)領(lǐng)域判別器，到使用一組類別領(lǐng)域判別器，直至到現(xiàn)在使用注意力機(jī)制選出圖像中可遷移性高的部分進(jìn)行對抗學(xué)習(xí).雖然對抗學(xué)習(xí)的思想起源于GAN，但它的思想很適合域適應(yīng)問題.從基于對抗的域適應(yīng)研究的發(fā)展路徑來看，只要模型能夠更加準(zhǔn)確地尋找到可遷移區(qū)域以及兩個(gè)領(lǐng)域之間的對應(yīng)關(guān)系，并在此基礎(chǔ)上進(jìn)一步對齊分布，那么就可以取得更加良好的遷移效果.

基于重構(gòu)的遷移學(xué)習(xí)方法的優(yōu)點(diǎn)是可以抑制特征中可遷移信息的損失，缺點(diǎn)是受限于自編碼器的特征表示能力.即使是由多個(gè)自編碼器串聯(lián)而成的堆疊自編碼器，其特征表示能力也不及當(dāng)前常用的深度神經(jīng)網(wǎng)絡(luò)(如ResNet).深度神經(jīng)網(wǎng)絡(luò)的特征提取能力對于域適應(yīng)的效果起著至關(guān)重要的作用.已知性能最好的域適應(yīng)方法都使用深度神經(jīng)網(wǎng)絡(luò)作為特征提取器.只因?yàn)樽跃幋a器可以保證信息不受損失而將特征提取器替換為自編碼器是得不償失的.在當(dāng)前的域適應(yīng)研究領(lǐng)域，基于重構(gòu)的域適應(yīng)方法只占少數(shù).可以預(yù)見，在未來的研究中，自編碼器會(huì)更多地以一種輔助遷移的方式出現(xiàn)，例如在一些需要對特征解耦的方法中，可以使用自編碼器保證解耦出的各部分包含特征的所有信息.

基于樣本生成的域適應(yīng)方法將域適應(yīng)問題轉(zhuǎn)換為有監(jiān)督學(xué)習(xí)問題，此類方法的關(guān)鍵是如何將源域樣本變換到目標(biāo)域.成功地合成符合目標(biāo)域分布的樣本是一個(gè)難點(diǎn).當(dāng)數(shù)據(jù)表示的內(nèi)容比較簡單時(shí)(例如MNIST 數(shù)據(jù)集)，合成樣本相對容易;當(dāng)數(shù)據(jù)集表示的內(nèi)容比較復(fù)雜時(shí)(例如Office 數(shù)據(jù)集)，合成樣本就相對困難.生成模型的性能是影響基于樣本生成的域適應(yīng)方法性能的主要因素.這類方法的研究潛力在于未來是否能夠出現(xiàn)性能更好的生成模型或訓(xùn)練方式.

3 標(biāo)簽空間不一致的域適應(yīng)問題

與經(jīng)典域適應(yīng)方法相比，標(biāo)簽空間不一致的域適應(yīng)方法的通用性更好，可以解決源域與目標(biāo)域標(biāo)簽空間不一致的實(shí)際問題.本節(jié)將著重對標(biāo)簽空間不一致的域適應(yīng)方法進(jìn)行綜述.第2 節(jié)綜述的深度域適應(yīng)屬于閉集域適應(yīng).閉集是指空間或集合相同，閉集域適應(yīng)是指源域和目標(biāo)域標(biāo)簽空間相同(兩個(gè)域包含相同物體類別)的域適應(yīng)問題.在實(shí)際應(yīng)用中，尋找到與目標(biāo)域具有相同標(biāo)簽空間的源域比較困難.在多數(shù)情況下，源域的標(biāo)簽空間與目標(biāo)域標(biāo)簽空間之間存在很大差別.差別可以分為很多種情況，例如源域標(biāo)簽空間是目標(biāo)域標(biāo)簽空間的子集，目標(biāo)域標(biāo)簽空間是源域標(biāo)簽空間的子集，或者無法得知兩個(gè)標(biāo)簽空間確切的集合關(guān)系.為了使域適應(yīng)算法能夠適用于上述情況，研究者們對標(biāo)簽空間不一致的域適應(yīng)問題進(jìn)行了研究，這類問題的特點(diǎn)和典型方法如表2 所示.為了下文能夠?qū)?biāo)簽空間不一致的域適應(yīng)問題進(jìn)行更準(zhǔn)確的描述，首先明確一些數(shù)學(xué)符號(hào)的意義:使用Ys表示源域標(biāo)簽空間，使用Yt表示目標(biāo)域標(biāo)簽空間，C=Ys ∩Yt代表兩個(gè)域的共享標(biāo)簽空間，Cs=YsC和Ct=YtC分別表示源域私有標(biāo)簽空間和目標(biāo)域私有標(biāo)簽空間.由于閉集域適應(yīng)問題和標(biāo)簽空間不一致的域適應(yīng)問題面臨不同的挑戰(zhàn)，閉集域適應(yīng)方法不能直接應(yīng)用在標(biāo)簽空間不一致的域適應(yīng)問題上.閉集域適應(yīng)問題面臨的主要挑戰(zhàn)是領(lǐng)域間的分布差異.而標(biāo)簽空間不一致的域適應(yīng)問題除了需要解決領(lǐng)域間的分布差異，還需要解決兩個(gè)域標(biāo)簽空間的差異.如果將整個(gè)源域分布與目標(biāo)域分布進(jìn)行對齊，那么屬于私有標(biāo)簽空間的樣本沒有對應(yīng)的類別去適配，屬于共享標(biāo)簽空間的樣本的對齊效果就會(huì)受影響，從而造成負(fù)遷移.解決標(biāo)簽空間不一致的域適應(yīng)問題的首要是抑制私有標(biāo)簽空間中的樣本所造成的負(fù)遷移，其次才是匹配共享標(biāo)簽空間中的兩個(gè)域的特征分布.標(biāo)簽空間不一致的域適應(yīng)問題由經(jīng)典域適應(yīng)問題發(fā)展而來，深度神經(jīng)網(wǎng)絡(luò)不僅廣泛應(yīng)用于經(jīng)典域適應(yīng)問題，也是解決標(biāo)簽空間不一致域適應(yīng)問題的主要方法.標(biāo)簽空間不一致的域適應(yīng)問題的形式化描述如下:

表2 標(biāo)簽空間不一致的域適應(yīng)問題Table 2 Domain adaptation with inconsistent label space

3.1 部分域適應(yīng)

在大數(shù)據(jù)時(shí)代，越來越多的具有豐富標(biāo)注信息的大型數(shù)據(jù)集變得可用，研究者們有著很強(qiáng)的動(dòng)機(jī)將深度模型從現(xiàn)有的大域遷移到未知的小域.由于大型數(shù)據(jù)集的數(shù)據(jù)量龐大，包含的物體類別豐富，假設(shè)目標(biāo)域的標(biāo)簽空間是大型數(shù)據(jù)集的標(biāo)簽空間的子集是非常合理的.在這個(gè)背景下，域適應(yīng)問題變換為目標(biāo)域標(biāo)簽空間是源域標(biāo)簽空間子集的域適應(yīng)問題.這種問題稱為部分域適應(yīng)問題.部分域適應(yīng)中存在兩個(gè)挑戰(zhàn).首先，部分域適應(yīng)需要抑制源域私有標(biāo)簽空間Cs中的樣本所造成的負(fù)遷移.其次，部分域適應(yīng)需要促進(jìn)共享標(biāo)簽空間C中兩個(gè)域的分布對齊.沒有目標(biāo)域的標(biāo)簽無法確定目標(biāo)域中包含哪些物體類別，這就導(dǎo)致了無法得知源域所包含的類別中哪些是共享類別，哪些是源域私有類別.只有先確定私有類別，才能避免它們造成的負(fù)遷移.部分域適應(yīng)的核心在于如何正確地劃分標(biāo)簽空間.部分域適應(yīng)可以分為基于分類器輸出的方法和基于領(lǐng)域判別器輸出的方法.這兩種方法的不同之處在于對標(biāo)簽空間劃分的依據(jù)不同.部分域適應(yīng)的形式化描述如下:

圖8 選擇對抗網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 The network structure of SAN

3.1.1 使用分類器輸出劃分標(biāo)簽空間

使用分類器輸出劃分私有標(biāo)簽空間和共享標(biāo)簽空間是一種常見的方法.文獻(xiàn)[107]提出將目標(biāo)域樣本在源域分類器上的輸出均值記為γ，并使用γ劃分私有標(biāo)簽空間和共享標(biāo)簽空間，其網(wǎng)絡(luò)結(jié)構(gòu)如圖8 所示.目標(biāo)域樣本只屬于共享標(biāo)簽空間，故而γ中對應(yīng)于共享類別的維度的數(shù)值比較大，而對應(yīng)于源域私有類別的維度的數(shù)值比較小.文獻(xiàn)[107]設(shè)定一個(gè)閾值t，將γ中大于t的維度所對應(yīng)的類別記為共享標(biāo)簽，將γ中小于等于t的維度所對應(yīng)的類別記為私有標(biāo)簽空間.Cao 等[1]在文獻(xiàn)[107]的標(biāo)簽空間劃分思想的基礎(chǔ)上在對齊過程中引入了類別信息，在網(wǎng)絡(luò)中設(shè)立了一組領(lǐng)域判別器，組中的每一個(gè)判別器負(fù)責(zé)判別對應(yīng)類別樣本的領(lǐng)域標(biāo)簽.分類器的輸出是源域標(biāo)簽空間上的一個(gè)概率分布.這個(gè)分布刻畫了樣本屬于每一個(gè)類別的可能性大小.由于目標(biāo)域樣本沒有類別標(biāo)簽，所以Cao 等[107]使用分類器輸出來決定每一個(gè)樣本分配到哪一個(gè)領(lǐng)域判別器上.這種做法使得每個(gè)目標(biāo)域樣本只與最相關(guān)類別的源域樣本進(jìn)行對齊，從而將源域私有類別在對齊過程中剔除出去，避免了負(fù)遷移.

3.1.2 使用領(lǐng)域判別器輸出劃分標(biāo)簽空間

領(lǐng)域判別器的輸出同樣可以作為劃分標(biāo)簽空間的依據(jù).文獻(xiàn)[108-109]提出在網(wǎng)絡(luò)結(jié)構(gòu)中設(shè)立一個(gè)不參與對抗過程的領(lǐng)域判別器，不參與對抗的領(lǐng)域判別器在誤差反向傳播過程中只計(jì)算判別器的梯度而不計(jì)算特征提取器的梯度，這類領(lǐng)域判別器只學(xué)習(xí)如何區(qū)分源域特征與目標(biāo)域特征而不會(huì)改變特征提取方式.這類領(lǐng)域判別器的輸出可用于判斷樣本的可遷移性.在部分域適應(yīng)問題中，共享標(biāo)簽空間中的樣本的可遷移性要高于源域?qū)贅?biāo)簽空間中的樣本的可遷移性.文獻(xiàn)[108-109]設(shè)置閾值t，當(dāng)領(lǐng)域判別器對一個(gè)樣本的分類置信度較低時(shí)，該樣本的可遷移性比較高，若分類置信度低于t，該樣本則屬于共享標(biāo)簽空間;當(dāng)領(lǐng)域判別器對一個(gè)樣本的分類置信度較高時(shí)，該樣本的可遷移性比較低，若分類置信度高于t，該樣本則屬于源于私有標(biāo)簽空間.對共享標(biāo)簽空間中的源域和目標(biāo)域的樣本分布進(jìn)行對齊就可以完成域適應(yīng).

3.2 開集域適應(yīng)

由于需要從大型數(shù)據(jù)集向目標(biāo)域遷移知識(shí)，研究者們提出了部分域適應(yīng).但在某些應(yīng)用中已經(jīng)存在與目標(biāo)域非常相近的數(shù)據(jù)集.根據(jù)域適應(yīng)理論，源域與目標(biāo)域越相似，遷移效果越好，所以這時(shí)就沒有必要使用大型數(shù)據(jù)集作為源域.與目標(biāo)域相近的數(shù)據(jù)集類別通常不如大型數(shù)據(jù)集豐富，目標(biāo)域中可能會(huì)出現(xiàn)私有類別，這就需要一類新的域適應(yīng)算法來解決這個(gè)問題.解決這種源域標(biāo)簽空間是目標(biāo)域標(biāo)簽空間子集的域適應(yīng)問題稱為開集域適應(yīng).開集域適應(yīng)需要解決兩個(gè)問題.首先，開集域適應(yīng)需要消除分布偏移的影響;其次，由于源域中沒有樣本與目標(biāo)域私有類別中的樣本相對應(yīng)，直接對齊兩個(gè)域的整體分布會(huì)造成負(fù)遷移，所以需要確定共享類別與目標(biāo)域?qū)兕悇e之間的界限，并降低目標(biāo)域?qū)兕悇e在對齊過程中的影響.與部分域適應(yīng)不同的是，開集域適應(yīng)不僅需要對共享標(biāo)簽空間C中的目標(biāo)域樣本進(jìn)行分類，還需要將所有的目標(biāo)域私有標(biāo)簽空間Ct中的樣本劃分為“未知”類別，從而增加了開集域適應(yīng)問題的難度.開集域適應(yīng)的核心同樣在于如何正確地劃分標(biāo)簽空間.開集域適應(yīng)可以分為基于相似性的方法和基于分類器輸出的方法.這兩種方法的不同之處在于對標(biāo)簽空間劃分的依據(jù)不同.開集域適應(yīng)的形式化描如下:

3.2.1 使用目標(biāo)域樣本與源域類別間相似性劃分標(biāo)簽空間一些方法計(jì)算目標(biāo)域樣本與源域類別間的相似性，并使用該相似性作為劃分標(biāo)簽空間的依據(jù).Liu等[105]訓(xùn)練多個(gè)二分類分類器來估計(jì)目標(biāo)域樣本與各源域類別的相似性，選用高相似性的樣本和低相似性的樣本作為共享類別樣本和目標(biāo)域私有類別樣本，再訓(xùn)練一個(gè)二分類分類器，讓該分類器可以區(qū)分目標(biāo)域中的未知類別樣本.Busto 等[110]提出使用目標(biāo)域樣本與源域類別中心的距離來劃分共享類別和目標(biāo)域私有類別，距離也可以看作是一種相似性，距離越小則樣本屬于共享類別的可能性越大;距離越大則樣本屬于目標(biāo)域私有類別的可能性越大.Busto 等[110]設(shè)定閾值t，將距離小于t的目標(biāo)域樣本歸為共享標(biāo)簽空間，將距離大于t的目標(biāo)域樣本歸為目標(biāo)域私有空間.對共享標(biāo)簽空間和目標(biāo)域私有標(biāo)簽空間進(jìn)行劃分后，使用域適應(yīng)方法對共享標(biāo)簽空間中的特征進(jìn)行分布對齊，并將屬于目標(biāo)域私有空間的樣本的類別標(biāo)記為“未知”.

3.2.2 使用分類器輸出劃分標(biāo)簽空間

還有一些方法使用分類器輸出來劃分標(biāo)簽空間.Saito 等[111]使用分類器學(xué)習(xí)如何劃分共享類別和目標(biāo)域私有類別.假設(shè)共享類別的個(gè)數(shù)為k，Saito等[111]將分類器的輸出維度設(shè)置為k+1，其中前k維表示樣本在共享標(biāo)簽空間上的概率分布，第k+1維則表示樣本屬于目標(biāo)域私有標(biāo)簽空間的概率，其網(wǎng)絡(luò)結(jié)構(gòu)如圖9 所示.針對分類器的第k+1 維輸出，設(shè)置閾值t并采用對抗學(xué)習(xí)的方式訓(xùn)練分類器，使得第k+1維的輸出遠(yuǎn)離t.第k+1 維的輸出要么接近于0，要么接近于1.當(dāng)輸出為0，則表明樣本位于共享標(biāo)簽空間，其真實(shí)類別由前k維輸出給出;當(dāng)輸出為1，則前k維輸出均為0，樣本位于目標(biāo)域私有標(biāo)簽空間，樣本被標(biāo)記為“未知”類別.

3.3 通用域適應(yīng)

域適應(yīng)方法通過克服領(lǐng)域間差異來遷移知識(shí)，并且需要事先就知道源域與目標(biāo)域的標(biāo)簽空間關(guān)系.由于域適應(yīng)問題的數(shù)據(jù)集通常沒有目標(biāo)域樣本的標(biāo)簽，所以與源域目標(biāo)域標(biāo)簽關(guān)系相關(guān)的先驗(yàn)知識(shí)也無法得知.對于標(biāo)簽空間關(guān)系這一先驗(yàn)的需求限制了域適應(yīng)方法的應(yīng)用.通用域適應(yīng)就是要解決在標(biāo)簽空間關(guān)系未知情況下的域適應(yīng)問題.通用域適應(yīng)要求對在共享標(biāo)簽空間C中的目標(biāo)域樣本進(jìn)行分類，并對其他的目標(biāo)域樣本標(biāo)記為“未知”.由于標(biāo)簽空間關(guān)系未知，無法決定用源域中哪一部分?jǐn)?shù)據(jù)去適配目標(biāo)域中哪一部分?jǐn)?shù)據(jù)，所以通用域適應(yīng)的關(guān)鍵在于尋找共享標(biāo)簽空間C.通用域適應(yīng)的形式化描述如下:

圖9 文獻(xiàn)[111]中的網(wǎng)絡(luò)結(jié)構(gòu)Fig.9 The network structure in [111]

文獻(xiàn)[106]在定義通用域適應(yīng)問題的同時(shí)也提出了一個(gè)名為通用適配網(wǎng)絡(luò)的方法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖10 所示.該方法通過整合領(lǐng)域相似性與分類置信度來量化樣本的可遷移性，可遷移性在這里是指樣本屬于共享標(biāo)簽空間的可能性.該方法通過具有高可遷移性的樣本來確定共享標(biāo)簽空間.領(lǐng)域相似性是指樣本與源域的相似程度.領(lǐng)域相似性由非對抗領(lǐng)域判別器給出.對于源域樣本來說，領(lǐng)域相似性越大，可遷移性就越差;而對于目標(biāo)域樣本來說，領(lǐng)域相似性越大，可遷移性就越好.分類置信度由分類器輸出的熵衡量.熵越小分類置信度越高.分布適配的過程會(huì)破壞特征的類別可區(qū)分性，而在標(biāo)簽空間不相同的情況下，分布對齊只在共享標(biāo)簽空間中發(fā)生.對于源域樣本來說，分類置信度低的樣本就可以被認(rèn)為位于共享標(biāo)簽空間之中.對于目標(biāo)域樣本來說，分類置信度高則說明這個(gè)樣本與源域相似，只有在共享空間中，兩個(gè)域的樣本才會(huì)有一定的相似度.故而分類置信度高的樣本可以被認(rèn)為位于共享標(biāo)簽空間之中.通過上述分析，源域樣本與目標(biāo)域樣本的可遷移性分別定義為

圖10 通用適配網(wǎng)絡(luò)的訓(xùn)練過程Fig.10 The training process of univerial adaptation network

3.4 小結(jié)

本節(jié)對標(biāo)簽空間不一致的域適應(yīng)問題進(jìn)行了綜述.根據(jù)標(biāo)簽空間關(guān)系的不同，這類域適應(yīng)問題可以分為部分域適應(yīng)、開集域適應(yīng)以及通用域適應(yīng).

標(biāo)簽空間不一致的域適應(yīng)問題的關(guān)鍵在于共享標(biāo)簽空間和私有標(biāo)簽空間的劃分.多數(shù)方法通過設(shè)定閾值來對標(biāo)簽空間進(jìn)行劃分.閾值設(shè)定的大小在很大程度上決定了確定共享標(biāo)簽空間的寬松程度.在不同任務(wù)中，源域與目標(biāo)域標(biāo)簽空間的共享程度不同，最優(yōu)的閾值也不盡相同.如何根據(jù)標(biāo)簽空間的共享程度來自動(dòng)地設(shè)定閾值是一個(gè)值得研究的問題.另外，很多方法沒有完全消除私有標(biāo)簽空間中的樣本產(chǎn)生的負(fù)遷移，這些方法不能明確地區(qū)分樣本屬于共享類別還是屬于私有類別，僅僅將樣本的可遷移性作為損失項(xiàng)權(quán)重來降低私有標(biāo)簽空間樣本在訓(xùn)練中的影響.這樣做雖然避免了閾值的設(shè)定，但對負(fù)遷移的抑制效果有限，如何在設(shè)定閾值與抑制負(fù)遷移之間取得平衡也是值得關(guān)注的問題.

通用域適應(yīng)是一個(gè)嶄新的研究方向，其問題背景更加符合現(xiàn)實(shí)情況.通用域適應(yīng)的研究將會(huì)對域適應(yīng)算法在實(shí)際應(yīng)用中的部署起到促進(jìn)作用.無論是域適應(yīng)方法還是部分/開集域適應(yīng)方法都很容易地?cái)U(kuò)展到通用域適應(yīng)問題中.可以預(yù)見在未來幾年，通用域適應(yīng)領(lǐng)域?qū)?huì)出現(xiàn)更多的的成果.

標(biāo)簽空間不一致的域適應(yīng)問題是一個(gè)比較新的研究領(lǐng)域.成果不是很多，值得探索的內(nèi)容還很豐富.這類問題將會(huì)成為域適應(yīng)領(lǐng)域中新的研究熱點(diǎn).

4 復(fù)雜目標(biāo)域情況下的域適應(yīng)問題

復(fù)雜目標(biāo)域情況下的域適應(yīng)用來解決存在多個(gè)目標(biāo)域或者目標(biāo)域不可得的域適應(yīng)問題.經(jīng)典域適應(yīng)問題默認(rèn)目標(biāo)域樣本從同一個(gè)分布中采樣，但這是對實(shí)際情況的簡化.實(shí)際應(yīng)用中更有可能遇到需要從源域同時(shí)遷移到具有不同分布的多個(gè)目標(biāo)域的情況.甚至在某些情況下，目標(biāo)域樣本是不可得的，這時(shí)只能從源域中訓(xùn)練泛化性能足夠好的模型來滿足目標(biāo)域中的任務(wù)需求.這類問題稱為復(fù)雜目標(biāo)域情況下的域適應(yīng)問題，其問題特點(diǎn)和方法歸納如表3所示.復(fù)雜目標(biāo)域情況下的域適應(yīng)問題由經(jīng)典域適應(yīng)問題發(fā)展而來，廣泛應(yīng)用于域適應(yīng)問題中的深度神經(jīng)網(wǎng)絡(luò)同樣也是解決復(fù)雜目標(biāo)域情況下的域適應(yīng)問題的主要方法.本節(jié)將復(fù)雜目標(biāo)域情況下的域適應(yīng)問題劃分為多目標(biāo)域域適應(yīng)和領(lǐng)域泛化，下文對其研究現(xiàn)狀分別進(jìn)行介紹.

4.1 多目標(biāo)域域適應(yīng)

經(jīng)典域適應(yīng)關(guān)注的是僅有一個(gè)源域和一個(gè)目標(biāo)域的遷移場景，目標(biāo)域樣本從同一個(gè)分布中采樣，然而更常見的場景是目標(biāo)域樣本來自于不同的分布.例如，由仿真平臺(tái)訓(xùn)練的機(jī)器人應(yīng)用在現(xiàn)實(shí)生活中，現(xiàn)實(shí)生活包括許多的場景并且同一場景的環(huán)境也會(huì)隨著時(shí)間的推移而變化.在這個(gè)例子中，目標(biāo)域可以按照場景和時(shí)間劃分為多個(gè)子目標(biāo)域，子目標(biāo)域之間的統(tǒng)計(jì)特征不同但卻有著相同的高層語義.多目標(biāo)域域適應(yīng)考慮了一種更加符合真實(shí)情況的遷移場景:目標(biāo)域由多個(gè)子目標(biāo)域組合而成，而且目標(biāo)域樣本沒有子目標(biāo)域的領(lǐng)域標(biāo)簽.在解決域適應(yīng)問題時(shí)，研究者們的通常做法是尋找到兩個(gè)領(lǐng)域的“交集”，并利用“交集”將源域模型遷移到目標(biāo)域中 .這個(gè)思路同樣適用于多目標(biāo)域域適應(yīng).多目標(biāo)域域適應(yīng)的形式化描述如下:

表3 復(fù)雜目標(biāo)域情況下的域適應(yīng)問題Table 3 Domain adaptation in the case of complex target domain

4.1.1 使用特征解耦獲得領(lǐng)域不變性特征

特征是領(lǐng)域不變性特征和領(lǐng)域?qū)偬卣鞯鸟詈?對特征進(jìn)行解耦可以獲得源域與各子目標(biāo)域之間的領(lǐng)域不變性特征，領(lǐng)域不變性特征作為領(lǐng)域間“交集”將源域知識(shí)遷移到目標(biāo)域.文獻(xiàn)[3]使用對抗學(xué)習(xí)和自編碼器將特征解耦為領(lǐng)域不變性特征和領(lǐng)域?qū)偬卣?使用源域中的領(lǐng)域不變性特征訓(xùn)練的模型被直接應(yīng)用到各子目標(biāo)域中.文獻(xiàn)[4]在文獻(xiàn)[3]的基礎(chǔ)上將領(lǐng)域不變性特征再次解耦為類別無關(guān)特征與類別相關(guān)特征.二次解耦將領(lǐng)域不變性特征中與判別物體無關(guān)的信息剔除，從而進(jìn)一步提升了特征的類別可區(qū)分性.文獻(xiàn)[3-4]使用領(lǐng)域不變性特征進(jìn)行知識(shí)遷移，缺點(diǎn)是忽略了領(lǐng)域?qū)偬卣髦械挠杏眯畔?，造成了信息的浪費(fèi).

4.1.2 使用聚類算法劃分子目標(biāo)域

多目標(biāo)域域適應(yīng)問題中的難點(diǎn)在于目標(biāo)域樣本沒有子目標(biāo)域領(lǐng)域標(biāo)簽.如果目標(biāo)域可以準(zhǔn)確地劃分為多個(gè)子目標(biāo)域，多目標(biāo)域域適應(yīng)問題就可以轉(zhuǎn)化為域適應(yīng)問題來解決.Chen 等[113]使用自編碼器對目標(biāo)域樣本進(jìn)行聚類，每個(gè)簇中的樣本被認(rèn)為是來自同一個(gè)子目標(biāo)域.隨后，Chen 等[113]使用對抗域適應(yīng)方法在源域和每一個(gè)子目標(biāo)域之間進(jìn)行知識(shí)遷移，網(wǎng)絡(luò)結(jié)構(gòu)如圖11 所示.該方法的優(yōu)點(diǎn)是避免了領(lǐng)域?qū)偬卣髦械男畔p失，缺點(diǎn)是遷移效果取決于聚類效果，不準(zhǔn)確的聚類結(jié)果會(huì)造成負(fù)遷移.

4.2 領(lǐng)域泛化

領(lǐng)域泛化是指目標(biāo)域樣本不可知的域適應(yīng)問題.上文中的多目標(biāo)域域適應(yīng)具有明確的目標(biāo)，即降低模型在多個(gè)目標(biāo)域上的誤差.領(lǐng)域泛化則要求模型的泛化性能足夠高，以便可以適用于任何未知目標(biāo)域.領(lǐng)域泛化是多目標(biāo)域域適應(yīng)問題的一個(gè)遞進(jìn)學(xué)習(xí)范式.由于在訓(xùn)練過程中目標(biāo)域樣本不可知，所以需要由源域訓(xùn)練的模型的泛化性能足夠好來完成目標(biāo)域上的任務(wù).提升模型泛化性能的方法有:數(shù)據(jù)增廣、增強(qiáng)特征泛化能力和集成學(xué)習(xí).這三種方法分別從數(shù)據(jù)層面、特征層面和模型層面增強(qiáng)網(wǎng)絡(luò)的泛化能力.領(lǐng)域泛化的形式化描述如下:

4.2.1 數(shù)據(jù)增廣

在機(jī)器學(xué)習(xí)問題中，訓(xùn)練樣本越豐富模型的泛化性能就越好.領(lǐng)域泛化也利用這個(gè)思想來增強(qiáng)模型的泛化能力.實(shí)現(xiàn)數(shù)據(jù)增廣的方式有兩種:擴(kuò)大數(shù)據(jù)集和生成樣本.由于擴(kuò)大數(shù)據(jù)集需要消耗大量的人力物力，所以生成樣本是領(lǐng)域泛化的首要選擇.使用生成樣本提升泛化能力的難點(diǎn)在于獲取生成樣本的類別標(biāo)簽.針對這個(gè)問題，文獻(xiàn)[114-115]提出計(jì)算損失項(xiàng)對樣本的梯度，并將梯度與樣本相加得到擾動(dòng)樣本.由于在樣本空間中，擾動(dòng)樣本的位置靠近原樣本的位置，所以擾動(dòng)樣本具有和原樣本一樣的類別標(biāo)簽.數(shù)據(jù)集規(guī)模的擴(kuò)大提升了模型的泛化性能，使之能夠應(yīng)用于領(lǐng)域泛化問題.

4.2.2 增強(qiáng)特征泛化能力

圖11 文獻(xiàn)[113]中的網(wǎng)絡(luò)結(jié)構(gòu)Fig.11 The network structure in [113]

有的方法[112，116—120]通過增強(qiáng)特征泛化能力來解決領(lǐng)域泛化問題.Li 等[112]使用元學(xué)習(xí)通過構(gòu)建特征評價(jià)網(wǎng)絡(luò)來增強(qiáng)特征泛化能力.特征評價(jià)網(wǎng)絡(luò)輸入特征并輸出評價(jià)項(xiàng).在該方法中，只使用分類損失訓(xùn)練的特征提取器稱為“舊”的特征提取器，使用分類損失和評價(jià)項(xiàng)訓(xùn)練的特征提取器稱為“新”的特征提取器.元損失定義為“新”、“舊”兩種特征提取器提取的特征的分類性能的差值.元損失參與到網(wǎng)絡(luò)的訓(xùn)練過程中.網(wǎng)絡(luò)通過元損失學(xué)習(xí)泛化性能強(qiáng)的特征表示，其結(jié)構(gòu)如圖12 所示.除了元學(xué)習(xí)以外，多任務(wù)學(xué)習(xí)也可以幫助網(wǎng)絡(luò)學(xué)習(xí)到泛化性能強(qiáng)的特征表示.受到人類學(xué)習(xí)過程的啟發(fā)，Carlucci 等[119]提出在學(xué)習(xí)任務(wù)的同時(shí)學(xué)習(xí)圖像的內(nèi)在規(guī)律有助于提升特征的泛化性能.具體的做法為將圖像均勻切分并將圖像塊打散，由排列序號(hào)給出圖像塊的真實(shí)位置.網(wǎng)絡(luò)在學(xué)習(xí)任務(wù)的同時(shí)，也學(xué)習(xí)識(shí)別出打散的圖像塊的真實(shí)位置.文獻(xiàn)[120]構(gòu)建了一種多任務(wù)自編碼器，它可以學(xué)習(xí)到對真實(shí)圖像(視角旋轉(zhuǎn)、尺度縮放、光照條件變化)變化魯棒的特征表示.該方法構(gòu)建了兩種重構(gòu)任務(wù):自領(lǐng)域重構(gòu)和領(lǐng)域間重構(gòu).自領(lǐng)域重構(gòu)任務(wù)中的輸入與輸出是同一個(gè)樣本，而領(lǐng)域間重構(gòu)任務(wù)中的輸入與輸出是不同源域中的同類別樣本.對于一個(gè)含有M個(gè)源域的數(shù)據(jù)集，該方法會(huì)構(gòu)建M個(gè)自領(lǐng)域重構(gòu)任務(wù)和M(M－1) 個(gè)領(lǐng)域間重構(gòu)任務(wù).領(lǐng)域間重構(gòu)任務(wù)使得編碼構(gòu)成了連接不同源域之間的橋梁.這種“橋梁”作用使得編碼成為一種泛化能力優(yōu)異的特征.

4.2.3 基于集成學(xué)習(xí)的方法

文獻(xiàn)[121—123]利用集成學(xué)習(xí)來提升特征的泛化性能.Xu 等[121]通過融合多個(gè)分類器的分類結(jié)果來解決領(lǐng)域泛化問題.文獻(xiàn)[122-123]在文獻(xiàn)[121]的基礎(chǔ)上對源域樣本提取多視角的特征表示，并訓(xùn)練多個(gè)分類器.目標(biāo)域樣本的分類結(jié)果由分類器投票產(chǎn)生.源域樣本的數(shù)量有限，而深度神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)的需求很大，使用有限的數(shù)據(jù)訓(xùn)練多個(gè)不同的分類器是比較困難的，這類方法的提升效果有限.

4.3 小結(jié)

本節(jié)對復(fù)雜目標(biāo)域情況下的域適應(yīng)問題進(jìn)行了綜述.復(fù)雜目標(biāo)域情況下的域適應(yīng)問題可以分為多目標(biāo)域域適應(yīng)問題和領(lǐng)域泛化.多目標(biāo)域域適應(yīng)方法通過尋找源域與子目標(biāo)域之間的“交集”來遷移知識(shí)，但這種方法不會(huì)總是有效的.可以使用集合論的概念說明這個(gè)問題:假設(shè)有k個(gè)集合，其中有一個(gè)集合與剩余的k-1 個(gè)集合的交集都為空.那么即使剩余的k-1個(gè)集合都完全相等，這k個(gè)集合的交集也為空.類似的，假如有某個(gè)子目標(biāo)域的分布與其余的子目標(biāo)域相差過大，不能夠找到一個(gè)領(lǐng)域間的“交集”來遷移知識(shí)，那么多目標(biāo)域域適應(yīng)方法就會(huì)失效.如何在子目標(biāo)域之間分布差異較大時(shí)進(jìn)行知識(shí)遷移是多目標(biāo)域域適應(yīng)未來需要解決的問題.領(lǐng)域泛化中已經(jīng)出現(xiàn)了一些優(yōu)秀的成果，是一個(gè)域適應(yīng)問題中的研究熱點(diǎn).領(lǐng)域泛化的未來趨勢是更多地與新的學(xué)習(xí)模式相結(jié)合.例如文獻(xiàn)[112]就使用元學(xué)習(xí)來解決領(lǐng)域泛化問題.

5 應(yīng)用

機(jī)器學(xué)習(xí)的成功離不開大量的標(biāo)注數(shù)據(jù).在一些領(lǐng)域，對數(shù)據(jù)進(jìn)行標(biāo)注需要大量的人力物力.例如用于語義分割的數(shù)據(jù)集需要像素級的標(biāo)注，每一幅圖像都需要數(shù)小時(shí)的時(shí)間才能完成標(biāo)注，因此嚴(yán)重阻礙了機(jī)器學(xué)習(xí)在語義分割領(lǐng)域的應(yīng)用和普及.域適應(yīng)技術(shù)的出現(xiàn)有效地緩解了這個(gè)問題.域適應(yīng)可以使一個(gè)標(biāo)注好的源域數(shù)據(jù)集應(yīng)用在多個(gè)目標(biāo)域上.域適應(yīng)問題的研究對機(jī)器學(xué)習(xí)在實(shí)際問題中的應(yīng)用有著重大意義.

圖12 文獻(xiàn)[112]使用元學(xué)習(xí)來提取泛化性能優(yōu)異的特征Fig.12 Reference [112]uses meta learning to extract features with excellent generalization performance

域適應(yīng)技術(shù)在目標(biāo)檢測領(lǐng)域發(fā)揮了重要作用.文獻(xiàn)[124]通過對抗學(xué)習(xí)來減小源域與目標(biāo)域在圖像層和目標(biāo)層的領(lǐng)域差異，提高了目標(biāo)檢測的準(zhǔn)確性.文獻(xiàn)[125]使用源域樣本生成符合目標(biāo)域分布的人工樣本，并使用人工樣本對目標(biāo)檢測器進(jìn)行微調(diào).游戲行業(yè)中視覺技術(shù)的發(fā)展提供了大量帶標(biāo)注的逼真數(shù)據(jù)，這在很大程度上解決了語義分割中標(biāo)注數(shù)據(jù)昂貴的問題.但游戲圖像與真實(shí)場景之間存在領(lǐng)域差異.域適應(yīng)成為解決該問題的主要手段.文獻(xiàn)[126]使用教師學(xué)生網(wǎng)絡(luò)通過減少兩個(gè)領(lǐng)域的預(yù)測圖差距來減少領(lǐng)域差異.文獻(xiàn)[90]基于分層區(qū)域選擇思想進(jìn)行語義分割，分別在像素層、區(qū)域?qū)?、圖像層尋找可遷移性高的區(qū)域進(jìn)行知識(shí)遷移.文獻(xiàn)[101]使用圖像翻譯網(wǎng)絡(luò)將樣本在源域目標(biāo)域之間映射，并使用結(jié)果一致性約束保證網(wǎng)絡(luò)對兩個(gè)域的樣本具有相同的分割結(jié)果.此外，在醫(yī)學(xué)圖像領(lǐng)域，文獻(xiàn)[127]提出一種協(xié)同適配技術(shù)將心臟的核磁共振圖像轉(zhuǎn)化為CT 圖像.在深度估計(jì)領(lǐng)域，文獻(xiàn)[128]使用對抗域適應(yīng)技術(shù)對ToF (Time of flight) 數(shù)據(jù)進(jìn)行去噪.域適應(yīng)技術(shù)還廣泛地應(yīng)用于自主導(dǎo)航/自動(dòng)駕駛[129-130]、行人再識(shí)別[131—134]、手勢識(shí)別[135]、人臉識(shí)別[136]、疾病診斷[137—140]、工業(yè)測量[141]等.

實(shí)際需求具有多樣性，實(shí)際應(yīng)用中目標(biāo)域數(shù)據(jù)集的構(gòu)成也千差萬別.在很多情況下，并不存在與目標(biāo)域具有相同標(biāo)簽空間的源域數(shù)據(jù).在這種情況下，標(biāo)簽空間不一致的域適應(yīng)技術(shù)就能夠派上用場.首先，當(dāng)缺乏源域數(shù)據(jù)時(shí)，最方便的做法是使用ImageNet 數(shù)據(jù)集作為源域.ImageNet 數(shù)據(jù)集共有20 000余個(gè)類別，包含了絕大多數(shù)常見物品的種類.假設(shè)目標(biāo)域標(biāo)簽空間是ImageNet 標(biāo)簽空間的子集是合理的，那么這時(shí)就可以使用部分域適應(yīng)技術(shù)[107—109]來解決實(shí)際問題.此外，在一些實(shí)際應(yīng)用中，如行人再識(shí)別，目標(biāo)域數(shù)據(jù)類別是隨著時(shí)間而增加的.當(dāng)目標(biāo)域數(shù)據(jù)出現(xiàn)新的類別時(shí)，之前訓(xùn)練好的模型會(huì)對新樣本產(chǎn)生誤分類.在確定新的任務(wù)目標(biāo)之前，模型需要能夠?qū)⑿骂悇e的樣本識(shí)別出來并標(biāo)記為“未知”.這時(shí)開集域適應(yīng)[110-111]就可以用來解決這一問題.最后，還存在一種情況，即雖然可以找到與目標(biāo)域相關(guān)的源域數(shù)據(jù)集，但無法確定源域與目標(biāo)域標(biāo)簽空間關(guān)系，這時(shí)通用域適應(yīng)[106]就能夠派上用場.標(biāo)簽空間不一致的域適應(yīng)技術(shù)是域適應(yīng)技術(shù)的通用形式.在標(biāo)簽空間不一致的情況下，可以使用通用域適應(yīng)代替域適應(yīng)技術(shù)來解決諸如目標(biāo)檢測、語義分割等一系列應(yīng)用.

實(shí)際應(yīng)用中，目標(biāo)域的情況通常會(huì)比域適應(yīng)問題定義中的情況更加復(fù)雜.首先，在源域訓(xùn)練的模型可能需要適用于多個(gè)目標(biāo)域.例如，由不同相機(jī)從不同角度在不同時(shí)間拍攝的同一批物體就可以看作不同的目標(biāo)域.一個(gè)好的域適應(yīng)方法應(yīng)該能夠通過一次訓(xùn)練就可以使分類器識(shí)別不同目標(biāo)域中的物體類別.其次，目標(biāo)域的分布可能會(huì)隨著時(shí)間的推移而逐漸變化.例如，使用仿真平臺(tái)來訓(xùn)練機(jī)器人并應(yīng)用到現(xiàn)實(shí)生活中，然而現(xiàn)實(shí)生活中可能包括多種情景，甚至在同一情景下環(huán)境也會(huì)隨著時(shí)間的推移而不斷地變化.最后，某些情況下，在訓(xùn)練階段目標(biāo)域樣本是不可得的，例如深空探測任務(wù)中，在衛(wèi)星發(fā)射之前人們無法得到未探知的深空區(qū)域圖像.目標(biāo)域樣本的缺乏將導(dǎo)致訓(xùn)練階段無法進(jìn)行領(lǐng)域?qū)R.在這些情況下，只能盡可能訓(xùn)練一個(gè)泛化性能足夠好的模型來適用于目標(biāo)域.多目標(biāo)域域適應(yīng)[3-4，113]以及領(lǐng)域泛化技術(shù)[116—123]可以在這些應(yīng)用中發(fā)揮作用.具體的應(yīng)用實(shí)例有，文獻(xiàn)[142]收集不同的人在不同環(huán)境下的睡眠數(shù)據(jù)并使用領(lǐng)域泛化來推測未知的人在不同環(huán)境下的睡眠質(zhì)量，文獻(xiàn)[120]使用去噪自編碼器來增強(qiáng)物體識(shí)別的泛化性能.

6 實(shí)驗(yàn)

本節(jié)展示了具有代表性的域適應(yīng)方法在各公開數(shù)據(jù)集上的性能.本節(jié)將首先介紹數(shù)據(jù)集，并隨后介紹深度域適應(yīng)方法、標(biāo)簽空間不一致的域適應(yīng)方法以及復(fù)雜目標(biāo)域情況下的域適應(yīng)方法的性能.

6.1 數(shù)據(jù)集

本小節(jié)使用的數(shù)據(jù)集包括Office-31[143]，Office-Home[144]，MNIST.

1) Office31 數(shù)據(jù)集[143]

Office31 數(shù)據(jù)集包含Amazon (A)，Webcam(W)，DSLR (D) 三個(gè)域，三個(gè)域分別具有2 817，498，795 個(gè)樣本，每個(gè)域都涵蓋了31 個(gè)物體類別.Amazon 中的樣本來自于線上電商網(wǎng)站;Webcam 中的樣本為網(wǎng)絡(luò)攝像機(jī)拍攝的低分辨率圖像;DSLR 為單反相機(jī)拍攝的高分辨率圖像.

2) OfficeHome 數(shù)據(jù)集[144]

OfficeHome 數(shù)據(jù)集包括Art (A)，Clipart (C)，Product (P)，RealWorld (R)四個(gè)域，四個(gè)域分別具有2 427，4 365，4 439，4 357 個(gè)樣本，每個(gè)域都涵蓋了65 個(gè)物體類別.Art 中的樣本為繪畫/素描;Clipart 中的樣本為剪貼畫;Product 中的樣本為去除背景的實(shí)物圖像;RealWorld 中的樣本為使用相機(jī)拍攝的常規(guī)圖像.

3) MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集

MNIST 數(shù)據(jù)集為手寫數(shù)字圖像數(shù)據(jù)集，包含0～9 共10 個(gè)類別.其訓(xùn)練集包括60 000 個(gè)樣本，測試集包括10 000 個(gè)樣本.

6.2 深度域適應(yīng)方法的實(shí)驗(yàn)結(jié)果

本小節(jié)在Office31 數(shù)據(jù)集和OfficeHome 數(shù)據(jù)集上對具有代表性的深度域適應(yīng)方法的性能進(jìn)行了比較.所有基于深度學(xué)習(xí)的方法均使用預(yù)訓(xùn)練過的ResNet50 作為特征提取器，同時(shí)使用ResNet50 網(wǎng)絡(luò)作為基線系統(tǒng).所有算法的參數(shù)都設(shè)置為默認(rèn)值或者原論文所提供的推薦值.表4 展示了Office31數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.表5 展示了OfficeHome 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.

首先，從表4 中可以發(fā)現(xiàn)，基于對抗學(xué)習(xí)的域適應(yīng)方法(CDAN，MADA，ADDA，DANN)取得了最好的性能，基于樣本生成的域適應(yīng)方法(GTA)也取得了很好的性能，而基于領(lǐng)域分布差異的域適應(yīng)方法(JAN，RTN，DCORAL，DAN)取得了最壞的性能.對抗學(xué)習(xí)在知識(shí)遷移方面取得了良好的效果，基于對抗學(xué)習(xí)的域適應(yīng)方法也是當(dāng)前域適應(yīng)領(lǐng)域的研究重點(diǎn).其次，同樣可以發(fā)現(xiàn)在 A→W與D→W這兩個(gè)任務(wù)上，性能最好的域適應(yīng)方法(CDAN)的準(zhǔn)確率已經(jīng)超過90%，而沒有進(jìn)行域適應(yīng)的方法(ResNet50)的準(zhǔn)確率不足70%.這意味著域適應(yīng)領(lǐng)域的研究已經(jīng)取得了非常大的進(jìn)展.最后，通過觀察較難任務(wù) D→A與 W→A 的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)當(dāng)前的域適應(yīng)方法的性能還不盡人意.在這兩個(gè)較難任務(wù)上，基于樣本生成的域適應(yīng)方法(GTA)都獲得了最優(yōu)的性能.這意味著基于樣本生成的域適應(yīng)方法更加適用于知識(shí)較難遷移的情形.

表5 展示了域適應(yīng)方法在OfficeHome 數(shù)據(jù)集上的性能.OfficeHome 數(shù)據(jù)集包含了更多的類別，因此知識(shí)遷移更加困難.從表5 中可以發(fā)現(xiàn)，在OfficeHome 數(shù)據(jù)集上基于對抗學(xué)習(xí)的域適應(yīng)方法依然獲得了最優(yōu)的遷移效果.此外，雖然Office-Home 數(shù)據(jù)集上的任務(wù)比較困難，與基線方法相比，域適應(yīng)方法依然獲得了較大的性能提升.

表4 在Office31 數(shù)據(jù)集上各深度域適應(yīng)方法的準(zhǔn)確率 (%)Table 4 Accuracy of each deep domain adaptation method on Office31 dataset (%)

表5 在OfficeHome 數(shù)據(jù)集上各深度域適應(yīng)方法的準(zhǔn)確率 (%)Table 5 Accuracy of each deep domain adaptation method on OfficeHome dataset (%)

6.3 標(biāo)簽空間不一致的域適應(yīng)方法的實(shí)驗(yàn)結(jié)果

本小節(jié)包括部分域適應(yīng)方法、開集域適應(yīng)方法以及通用域適應(yīng)方法的實(shí)驗(yàn)結(jié)果.

6.3.1 部分域適應(yīng)方法的實(shí)驗(yàn)結(jié)果

我們在Office31 數(shù)據(jù)集上對具有代表性的部分域適應(yīng)方法的性能進(jìn)行了比較.所有基于深度學(xué)習(xí)的方法均使用預(yù)訓(xùn)練過的ResNet50 作為特征提取器，同時(shí)使用ResNet50，DAN 和DANN 作為基線系統(tǒng).所有算法的參數(shù)都設(shè)置為默認(rèn)值或者原論文所提供的推薦值.我們對Office31 數(shù)據(jù)集中的31 個(gè)類別按照字母表順序進(jìn)行排列，并取前10 個(gè)類別的樣本構(gòu)建目標(biāo)域.由此，源域包含31 個(gè)類別，目標(biāo)域包含10 個(gè)類別，且目標(biāo)域類別為源域類別的子集，符合部分域適應(yīng)問題的設(shè)定.表6 展示了部分域適應(yīng)方法的實(shí)驗(yàn)結(jié)果.

觀察表6 中的實(shí)驗(yàn)結(jié)果，可以得到以下結(jié)論:首先，DANN 和DAN 在6 個(gè)任務(wù)上的平均準(zhǔn)確率不如ResNet.這是由標(biāo)簽空間不一致帶來的負(fù)遷移造成的.其次，部分域適應(yīng)方法(IWAN，SAN，PADA，ETN) 的準(zhǔn)確率要高于經(jīng)典域適應(yīng)方法(DAN，DANN)和深度神經(jīng)網(wǎng)絡(luò)(ResNet50).這是由于部分域適應(yīng)方法只對齊共享標(biāo)簽空間的分布，從而抑制了源域?qū)贅?biāo)簽空間中的樣本產(chǎn)生的負(fù)遷移.最后，ETN 在絕大部分任務(wù)上都取得了最好的性能.這意味著在域適應(yīng)領(lǐng)域，對抗學(xué)習(xí)不僅可以很好地對齊分布還很適用于劃分標(biāo)簽空間.

6.3.2 開集域適應(yīng)方法的實(shí)驗(yàn)結(jié)果

我們在Office31 數(shù)據(jù)集上對具有代表性的開集域適應(yīng)方法的性能進(jìn)行了比較.所有基于深度學(xué)習(xí)的方法均使用預(yù)訓(xùn)練過的ResNet50 作為特征提取器，同時(shí)使用ResNet50，RTN，DANN 和開集識(shí)別方法OpenMax 作為基線系統(tǒng).所有算法的參數(shù)都設(shè)置為默認(rèn)值或者原論文所提供的推薦值.我們對Office31 數(shù)據(jù)集中的31 個(gè)類別按照字母表順序進(jìn)行排列，并取前10 個(gè)類別作為共享類別，取第21～31 個(gè)類別作為目標(biāo)域?qū)兕悇e.由此，源域包含10 個(gè)類別，目標(biāo)域包含21 個(gè)類別，且源域類別為目標(biāo)域類別的子集，符合開集域適應(yīng)問題的設(shè)定(對開集域適應(yīng)的定義有兩種，第1 種定義中源域包含源域私有類別;第2 種定義中源域不包含源域私有類別而只具有共享類別，本文只考慮第2 種定義).此外，我們對兩種情形下的域適應(yīng)方法進(jìn)行了實(shí)驗(yàn).1)需要對目標(biāo)域私有類別進(jìn)行分類，并且將目標(biāo)域私有類別為“未知”的情形標(biāo)記為OS;2)不需要對目標(biāo)域私有類別進(jìn)行分類，只對共享類別進(jìn)行分類的情形標(biāo)記為OS*.表7 展示了開集域適應(yīng)方法的實(shí)驗(yàn)結(jié)果.

從表7 中可以觀察到，在一些任務(wù)中，經(jīng)典域適應(yīng)方法(RTN，DANN)的準(zhǔn)確率甚至低于深度神經(jīng)網(wǎng)絡(luò)ResNet50.這是由于目標(biāo)域私有類別與共享類別之間的錯(cuò)誤對齊產(chǎn)生了負(fù)遷移.相反，與基線系統(tǒng)相比，開集域適應(yīng)方法(ATI-λ，OSBP，STA)獲得了較高的準(zhǔn)確率.這意味著只對齊共享標(biāo)簽空間中的樣本可以有效地抑制目標(biāo)域私有類別帶來的負(fù)遷移.

6.3.3 通用域適應(yīng)方法的實(shí)驗(yàn)結(jié)果

我們在OfficeHome 數(shù)據(jù)集上對通用域適應(yīng)方法的性能進(jìn)行了測試.所有基于深度學(xué)習(xí)的方法均使用預(yù)訓(xùn)練過的ResNet50 作為特征提取器.所有算法的參數(shù)都設(shè)置為默認(rèn)值或者原論文所提供的推薦值.通用域適應(yīng)方法用來解決標(biāo)簽空間關(guān)系未知情況下的問題.為了便于實(shí)驗(yàn)，我們僅在一種情形下對方法的性能進(jìn)行測試:源域和目標(biāo)域都包含私有類別，且存在共享類別.我們對OfficeHome 數(shù)據(jù)集中的65 個(gè)類別按照字母表順序進(jìn)行排列，并取前10 個(gè)類別作為共享類別，取第11～15 個(gè)類別作為源域私有類別，取第16～65 個(gè)類別作為目標(biāo)域私有類別.我們對通用域適應(yīng)方法的性能與部分域適應(yīng)方法、開集域適應(yīng)方法和深度神經(jīng)網(wǎng)絡(luò)均進(jìn)行了對比.此外，對分類結(jié)果設(shè)置了置信度閾值，將分類置信度小于閾值的樣本標(biāo)記為“未知”來解決部分域適應(yīng)方法不能應(yīng)對目標(biāo)域中存在私有類別的問題.表8 展示了通用域適應(yīng)方法及其他方法的實(shí)驗(yàn)結(jié)果.

表6 在Office31 數(shù)據(jù)集上各部分域適應(yīng)方法的準(zhǔn)確率 (%)Table 6 Accuracy of each partial domain adaptation method on Office31 dataset (%)

在該實(shí)驗(yàn)的設(shè)置中，共享類別數(shù)量僅為10 個(gè)，源域私有類別與目標(biāo)域私有類別的數(shù)量分別為5和50.源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的交集很小，這對域適應(yīng)方法來說是一個(gè)非常大的挑戰(zhàn).從實(shí)驗(yàn)結(jié)果上看，除了UAN 方法的絕大多數(shù)方法僅取得了與ResNet 相似的性能，甚至性能不如ResNet.大量的私有類別的樣本使得域適應(yīng)方法不能夠取得很好的遷移效果.而通用域適應(yīng)方法UAN 則很適合處理這種情況.UAN 在進(jìn)行特征對齊的過程中可以很好地抑制私有類別樣本產(chǎn)生的負(fù)遷移，而且可以給出一個(gè)恰當(dāng)?shù)臉?biāo)準(zhǔn)來衡量樣本是否應(yīng)該屬于“未知”樣本.這種能力對處理標(biāo)簽空間關(guān)系未知的域適應(yīng)問題是非常重要的.

表7 在Office31 數(shù)據(jù)集上各開集域適應(yīng)方法的準(zhǔn)確率 (%)Table 7 Accuracy of each open set domain adaptation method on Office31 dataset (%)

表8 在OfficeHome 數(shù)據(jù)集上通用域適應(yīng)及其他方法的準(zhǔn)確率 (%)Table 8 Accuracy of universal domain adaptation and other methods on OfficeHome dataset (%)

6.4 復(fù)雜目標(biāo)域情況下的域適應(yīng)方法的實(shí)驗(yàn)結(jié)果

本小節(jié)包括多目標(biāo)域域適應(yīng)方法以及領(lǐng)域泛化方法的實(shí)驗(yàn)結(jié)果.

6.4.1 多目標(biāo)域域適應(yīng)方法的實(shí)驗(yàn)結(jié)果

我們在Office31 數(shù)據(jù)集上對具有代表性的多目標(biāo)域域適應(yīng)方法的性能進(jìn)行了測試.所有基于深度學(xué)習(xí)的方法均使用預(yù)訓(xùn)練過的ResNet50 作為特征提取器.所有算法的參數(shù)都設(shè)置為默認(rèn)值或者原論文所提供的推薦值.表9 和表10 展示了多目標(biāo)域域適應(yīng)方法的實(shí)驗(yàn)結(jié)果.

表9 在Office31 數(shù)據(jù)集上AMEAN 及其他方法的準(zhǔn)確率 (%)Table 9 Accuracy of AMEAN and other methods on Office31 dataset (%)

表10 在Office31 數(shù)據(jù)集上DADA 及其他方法的準(zhǔn)確率 (%)Table 10 Accuracy of DADA and other methods on Office31 dataset (%)

從表9 和表10 中可以發(fā)現(xiàn)，與基線系統(tǒng)相比，AMEAN 和DADA 都取得了一定程度上的性能提升.這種提升要?dú)w功于多目標(biāo)域域適應(yīng)方法尋找多個(gè)目標(biāo)域之間共性的能力.能夠在多目標(biāo)域之間尋找到共性可以抑制目標(biāo)域分布之間差異所產(chǎn)生的負(fù)遷移.

6.4.2 領(lǐng)域泛化方法的實(shí)驗(yàn)結(jié)果

我們在MNIST 數(shù)據(jù)集上對具有代表性的領(lǐng)域泛化方法的性能進(jìn)行了比較.使用去噪自編碼器(Denoising autodecoder，DAE)作為基線系統(tǒng).所有算法的參數(shù)都設(shè)置為默認(rèn)值或者原論文所提供的推薦值.我們在MNIST 數(shù)據(jù)集中的每個(gè)類別中隨機(jī)選取1 000 幅圖像，并將該圖像集記為M0，隨后，將M0中的圖像分別逆時(shí)針旋轉(zhuǎn)15°，30°，45°，60°和 75°，由此得到的數(shù)據(jù)集分別記為M15，M30，M45，M60和M75. 表11 展示了MNIST 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.

從表11 中可以發(fā)現(xiàn)，MMD-AAE 獲得了最好的效果.DICA 與MMD-AAE 同樣使用MMD 進(jìn)行領(lǐng)域泛化.MMD-AAE 的性能更為突出的原因在于兩個(gè)方面:1) MMD-AAE 的網(wǎng)絡(luò)結(jié)構(gòu)更深.更深的網(wǎng)絡(luò)結(jié)構(gòu)對應(yīng)著更強(qiáng)的特征提取能力.2) MMDAAE 通過對抗學(xué)習(xí)引入了對特征分布的先驗(yàn)知識(shí)，從而避免了對源域數(shù)據(jù)分布的過擬合.此外，從表11中還可以發(fā)現(xiàn)，D-MTAE 獲得了接近于MMDAAE 的性能.

7 展望

兩個(gè)領(lǐng)域之間存在的相似性，是知識(shí)遷移的必要前提.從源域中學(xué)習(xí)知識(shí)并運(yùn)用到目標(biāo)域必須保證源域與目標(biāo)域之間存在“交集”.盡管研究者已經(jīng)提出了許多衡量領(lǐng)域間差異的度量，但是針對度量的優(yōu)劣目前還沒有深入的研究成果，尋求理論上最優(yōu)的度量將是一個(gè)值得研究的問題.基于對抗的方法使用對抗學(xué)習(xí)獲得領(lǐng)域不變性特征.這類方法沒有利用到特征中領(lǐng)域?qū)傩畔?，在基于對抗的方法中引入領(lǐng)域?qū)傩畔@得更好的性能;基于重構(gòu)的方法基于自編碼器實(shí)現(xiàn)，自編碼器的特征提取能力遠(yuǎn)不如深度神經(jīng)網(wǎng)絡(luò)，如何在保持基于重構(gòu)的方法的優(yōu)點(diǎn)的基礎(chǔ)上提升特征的表示能力是一個(gè)值得研究的方向;基于樣本生成的方法通過合成符合目標(biāo)域的假樣本來訓(xùn)練目標(biāo)域模型.合成復(fù)雜的真實(shí)樣本是困難的，與建立起源域樣本標(biāo)簽和合成樣本標(biāo)簽之間的關(guān)系相比，提升翻譯網(wǎng)絡(luò)合成樣本的能力是更加值得研究的方向.

當(dāng)前域適應(yīng)研究主要集中于一般情況下的深度域適應(yīng)方法上，最近兩年的域適應(yīng)研究開始逐漸重視實(shí)際應(yīng)用中可能遇到的場景，即復(fù)雜情況下的域適應(yīng)問題，如源域與目標(biāo)域標(biāo)簽空間關(guān)系未知的域適應(yīng)問題[106]，數(shù)據(jù)中存在噪音的域適應(yīng)問題[146]等.域適應(yīng)問題雖然仍是研究熱點(diǎn)但方法已經(jīng)接近于成熟.實(shí)際場景中的域適應(yīng)問題可能更加值得研究者們關(guān)注.除了遷移場景的問題之外，在目前大數(shù)據(jù)背景下，已有的算法還不能滿足實(shí)際的應(yīng)用需求，處理的數(shù)據(jù)量還比較小，而且算法復(fù)雜度也比較高.高效算法的設(shè)計(jì)以及確實(shí)滿足實(shí)際需求仍然需要大量的研究才可以將域適應(yīng)技術(shù)落地.此外，現(xiàn)在的域適應(yīng)方法更多地是應(yīng)用在分類和識(shí)別任務(wù)上，針對一些比較困難的任務(wù)，例如目標(biāo)跟蹤、人臉識(shí)別、行人識(shí)別等，如何在域適應(yīng)問題的背景下完成這些任務(wù)將會(huì)是未來的研究趨勢之一.最后，隨著傳感器在手機(jī)、汽車、建筑物、道路和電腦上的廣泛應(yīng)用，人們正在收集更大、更多樣的信息.數(shù)據(jù)集的多樣性使對標(biāo)簽空間不一致的域適應(yīng)問題的深入研究更加迫切.

表11 在MNIST 數(shù)據(jù)集上領(lǐng)域泛化方法的準(zhǔn)確率 (%)Table 11 Accuracy of domain generalization methods on MNIST dataset (%)

8 結(jié)束語

遷移學(xué)習(xí)利用源域與目標(biāo)域之間的相似性將源域中的知識(shí)遷移到目標(biāo)域當(dāng)中.域適應(yīng)是指源域與目標(biāo)域標(biāo)簽空間相同并且條件概率相同的遷移學(xué)習(xí)問題.域適應(yīng)是遷移學(xué)習(xí)領(lǐng)域中的研究重點(diǎn)，遷移學(xué)習(xí)中的其他問題常對域適應(yīng)方法加以改進(jìn)來解決.深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征提取能力，深度域適應(yīng)方法已經(jīng)成為解決域適應(yīng)的主流方法.影響目標(biāo)域泛化誤差上界的因素包括源域泛化誤差、領(lǐng)域間距離和最優(yōu)聯(lián)合泛化誤差.探究影響目標(biāo)域泛化誤差的因素可以指導(dǎo)域適應(yīng)算法的設(shè)計(jì).當(dāng)前絕大多數(shù)域適應(yīng)算法通過減小領(lǐng)域間距離來解決域適應(yīng)問題.如果遷移的知識(shí)不是源域和目標(biāo)域共有的，那么這部分知識(shí)就會(huì)造成負(fù)遷移.抑制負(fù)遷移是遷移學(xué)習(xí)領(lǐng)域的研究重點(diǎn).避免負(fù)遷移的關(guān)鍵在于在源域和目標(biāo)域中尋找到正確的相似性.

根據(jù)深度域適應(yīng)方法使用的遷移方式的不同，可以將深度域適應(yīng)分為基于領(lǐng)域分布差異的方法、基于對抗的方法、基于重構(gòu)的方法和基于樣本生成的方法.按照對領(lǐng)域間差異衡量標(biāo)準(zhǔn)的不同，基于領(lǐng)域分布差異的方法又可以分為基于統(tǒng)計(jì)準(zhǔn)則的方法、基于結(jié)構(gòu)準(zhǔn)則的方法、基于流形準(zhǔn)則的方法和基于圖準(zhǔn)則的方法.無論基于哪一種準(zhǔn)則，這類方法都是通過最小化領(lǐng)域間分布差異來尋找領(lǐng)域不變性的特征表示.基于對抗的方法使用對抗學(xué)習(xí)來對齊領(lǐng)域分布.與單對抗方法相比，多對抗方法使用多個(gè)領(lǐng)域判別器將類別信息引入到訓(xùn)練過程中，獲得了更好的性能.近年來，基于對抗的方法的研究中心轉(zhuǎn)向了基于注意力機(jī)制的對抗方法，通過忽略圖像中可遷移性低的區(qū)域抑制負(fù)遷移的產(chǎn)生.基于重構(gòu)的方法將自編碼器引入到域適應(yīng)過程中，這類方法有兩個(gè)優(yōu)點(diǎn)，一個(gè)是可以抑制信息損失，另一個(gè)是可以將特征解耦為領(lǐng)域不變性特征和領(lǐng)域?qū)偬卣?，領(lǐng)域?qū)偬卣骺梢栽鰪?qiáng)目標(biāo)域網(wǎng)絡(luò)的性能.基于樣本生成的方法通過生成符合目標(biāo)域分布的假樣本來訓(xùn)練目標(biāo)域網(wǎng)絡(luò).這類方法通常使用翻譯網(wǎng)絡(luò)來合成樣本.基于樣本生成的方法的關(guān)鍵是建立起源域樣本標(biāo)簽和合成樣本標(biāo)簽之間的關(guān)系.

標(biāo)簽空間不一致的域適應(yīng)問題包括部分域適應(yīng)、開集域適應(yīng)以及通用域適應(yīng).部分域適應(yīng)是指目標(biāo)域標(biāo)簽空間是源域標(biāo)簽空間子集的域適應(yīng)問題.這類問題通過對源域標(biāo)簽空間進(jìn)行劃分來轉(zhuǎn)變?yōu)橛蜻m應(yīng)問題.通常依據(jù)分類器的輸出或者領(lǐng)域判別器的輸出來對標(biāo)簽空間進(jìn)行劃分.開集域適應(yīng)是指源域標(biāo)簽空間是目標(biāo)域標(biāo)簽空間子集的域適應(yīng)問題.這類問題通過對目標(biāo)域標(biāo)簽空間進(jìn)行劃分轉(zhuǎn)變?yōu)橛蜻m應(yīng)問題.與部分域適應(yīng)類似，開集域適應(yīng)也可以通過分類器輸出對標(biāo)簽空間進(jìn)行劃分.此外，這類方法還利用目標(biāo)域樣本和源域類別間相似性來尋找共享標(biāo)簽空間.通用域適應(yīng)是指源域與目標(biāo)域標(biāo)簽空間關(guān)系未知的域適應(yīng)問題.通用域適應(yīng)是域適應(yīng)問題中一個(gè)新興的研究領(lǐng)域，成果還比較少，已有的方法是使用領(lǐng)域相似性和分類置信度來尋找共享標(biāo)簽空間，從而進(jìn)行知識(shí)遷移.

復(fù)雜目標(biāo)域情況下的域適應(yīng)問題包括多目標(biāo)域域適應(yīng)和領(lǐng)域泛化.多目標(biāo)域域適應(yīng)是指目標(biāo)域樣本來自多個(gè)子目標(biāo)域的域適應(yīng)問題.解決多目標(biāo)域域適應(yīng)的方法有兩種，一種是對特征解耦得到領(lǐng)域不變性特征，通過領(lǐng)域不變性特征在源域和多個(gè)子目標(biāo)域之間遷移知識(shí);另一種是使用聚類算法將目標(biāo)域劃分成多個(gè)子目標(biāo)域，再使用域適應(yīng)算法對齊源域和每一個(gè)子目標(biāo)域的分布.領(lǐng)域泛化是指目標(biāo)域不可知的域適應(yīng)問題.解決這個(gè)問題的關(guān)鍵在于提取泛化能力足夠強(qiáng)的特征.領(lǐng)域泛化可以從樣本層面、特征層面以及分類器層面來解決.樣本層面是指通過數(shù)據(jù)增廣擴(kuò)大數(shù)據(jù)集的大小，從而提升模型泛化能力;特征層面是指使用正則項(xiàng)增強(qiáng)特征的泛化能力;分類器層面是指使用集成學(xué)習(xí)融合多個(gè)分類器的分類結(jié)果來增強(qiáng)模型的泛化能力.

域適應(yīng)技術(shù)在許多應(yīng)用領(lǐng)域都發(fā)揮了重要的作用，如語義分割、目標(biāo)檢測等.此外，域適應(yīng)還廣泛地應(yīng)用在醫(yī)學(xué)圖像、深度估計(jì)、自動(dòng)駕駛、人臉識(shí)別等領(lǐng)域.在實(shí)際應(yīng)用中，源域與目標(biāo)域標(biāo)簽空間不一致是非常常見的.例如，在應(yīng)用中，可能會(huì)出現(xiàn)沒有現(xiàn)成可用源域的情況，這時(shí)就可以選用涵蓋較多類別的數(shù)據(jù)集(如ImageNet 數(shù)據(jù)集)作為源域.在這種情況下，可以認(rèn)為目標(biāo)域標(biāo)簽空間是源域標(biāo)簽空間的子集.或者，在其他一些情況中，需要在目標(biāo)域中增添屬于新的類別的樣本.這時(shí)，源域標(biāo)簽空間是目標(biāo)域標(biāo)簽空間的子集.根據(jù)標(biāo)簽空間之間的不同關(guān)系，可以選擇使用部分域適應(yīng)、開集域適應(yīng)來解決問題.當(dāng)標(biāo)簽空間關(guān)系未知時(shí)，可以使用通用域適應(yīng)來解決問題.當(dāng)目標(biāo)域數(shù)據(jù)分布會(huì)隨著時(shí)間變化時(shí)，目標(biāo)域可以被認(rèn)為是包含了多個(gè)子目標(biāo)域.多目標(biāo)域域適應(yīng)方法適合解決存在多個(gè)目標(biāo)域的域適應(yīng)問題.此外，在一些情況下，如深空/深海探測，目標(biāo)域數(shù)據(jù)在訓(xùn)練過程中是不可得的，這就要求域適應(yīng)方法必須從源域中學(xué)會(huì)泛化性能較好的模型.領(lǐng)域泛化技術(shù)此時(shí)就可以派上用場.

本文展示了一般情況和復(fù)雜情況下的域適應(yīng)中具有代表性的方法在Office31、OfficeHome 和MNIST 三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，并對實(shí)驗(yàn)結(jié)果進(jìn)行了分析解釋.通過分析對比，讀者可以對各域適應(yīng)方法的性能有一個(gè)大致的了解.

最后，本文對深度域適應(yīng)的未來發(fā)展進(jìn)行了展望，對一般情況下的域適應(yīng)中的基于領(lǐng)域分布差異的方法、基于對抗的方法、基于重構(gòu)的方法和基于樣本生成的方法的未來發(fā)展趨勢進(jìn)行了預(yù)測，對這四種方法當(dāng)前面臨的缺陷和可能的解決方案進(jìn)行了描述，同時(shí)還對域適應(yīng)算法部署在實(shí)際應(yīng)用中面臨的問題，即復(fù)雜情況下的域適應(yīng)問題進(jìn)行了描述.