遷移學(xué)習(xí)研究綜述

王惠

摘要：遷移學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的研究方向近年來受到越來越多的關(guān)注和研究。傳統(tǒng)的機(jī)器學(xué)習(xí)方法要求源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)同分布，而遷移學(xué)習(xí)放松了這一限制要求，能夠把已經(jīng)獲得的知識應(yīng)用到不同但相似的領(lǐng)域中，解決了目標(biāo)領(lǐng)域中可用訓(xùn)練樣本不足的學(xué)習(xí)問題。該文對遷移學(xué)習(xí)的相關(guān)研究進(jìn)展進(jìn)行了綜述，從方法、技術(shù)、應(yīng)用三個(gè)方面介紹了在該領(lǐng)域所做的研究工作，并指出了遷移學(xué)習(xí)未來可能的研究方向。

關(guān)鍵詞：遷移學(xué)習(xí)；同分布；跨領(lǐng)域；負(fù)遷移

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）32-0203-03

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，機(jī)器學(xué)習(xí)在理論研究和實(shí)踐應(yīng)用兩個(gè)方面都取得了巨大進(jìn)步。為了保證訓(xùn)練得到的分類模型具有可信的分類效果，傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常假設(shè)數(shù)據(jù)的生成機(jī)制不隨環(huán)境改變 [1]，即要求源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)具有相同的分布。然而在機(jī)器學(xué)習(xí)的實(shí)際應(yīng)用領(lǐng)域中，如自然語言處理、大數(shù)據(jù)分析、生物信息技術(shù)、自動(dòng)控制等，這一假設(shè)通常因?yàn)檫^于嚴(yán)格而不能成立。遷移學(xué)習(xí)（Transfer Learning，TL）的出現(xiàn)打破了這一限制要求，只要源領(lǐng)域和目標(biāo)領(lǐng)域之間具有一定的關(guān)聯(lián)關(guān)系，在目標(biāo)領(lǐng)域分類模型訓(xùn)練時(shí)就可以借助從源領(lǐng)域數(shù)據(jù)和特征中已經(jīng)提取的知識，實(shí)現(xiàn)已學(xué)習(xí)知識在相似或相關(guān)領(lǐng)域間的復(fù)用和遷移，使傳統(tǒng)的從零開始學(xué)習(xí)變成可積累學(xué)習(xí)，不僅降低了模型訓(xùn)練的成本，而且可以顯著提高機(jī)器學(xué)習(xí)的效果。因此遷移學(xué)習(xí)可以幫助人們處理一些新的應(yīng)用場景，使機(jī)器學(xué)習(xí)在沒有充足可用標(biāo)簽數(shù)據(jù)和規(guī)?；瘧?yīng)用時(shí)也能夠?qū)崿F(xiàn)。

近年來，遷移學(xué)習(xí)作為一種新的學(xué)習(xí)框架受到越來越多學(xué)者的關(guān)注和研究。美國國防部DARPA機(jī)器人大賽文檔系列給出了遷移學(xué)習(xí)的基本定義：利用事先學(xué)習(xí)的知識和技能來識別新任務(wù)的學(xué)習(xí)能力。遷移學(xué)習(xí)廣泛存在于人類的認(rèn)知學(xué)習(xí)活動(dòng)中，比如一個(gè)人如果會(huì)使用C++編程，那么他很容易就會(huì)掌握J(rèn)ava編程語言；一個(gè)人要是會(huì)拉小提琴，那么他就能夠輕松地把拉小提琴的相關(guān)音樂知識遷移到學(xué)習(xí)鋼琴中去。而且在遷移學(xué)習(xí)的兩個(gè)領(lǐng)域之間，可以共享的信息越多、相似度越高，知識遷移學(xué)習(xí)的效果就越好，反之，效果越差，甚至?xí)o目標(biāo)領(lǐng)域數(shù)據(jù)的學(xué)習(xí)帶來不好的影響，即產(chǎn)生“負(fù)遷移”現(xiàn)象。

1 遷移學(xué)習(xí)方法研究進(jìn)展

根據(jù)遷移學(xué)習(xí)過程中從源領(lǐng)域遷移到目標(biāo)領(lǐng)域的具體內(nèi)容劃分，通?？梢园堰w移學(xué)習(xí)方法劃分為四種，即：實(shí)例遷移學(xué)習(xí)方法、特征遷移學(xué)習(xí)方法、參數(shù)遷移學(xué)習(xí)方法和關(guān)系遷移學(xué)習(xí)方法。

1.1 實(shí)例遷移學(xué)習(xí)方法

實(shí)例遷移法（Instance-transfer）的主要思想是根據(jù)某個(gè)相似度匹配原則從源域數(shù)據(jù)集中挑選出和目標(biāo)域數(shù)據(jù)相似度比較高的實(shí)例，并把這些實(shí)例遷移到目標(biāo)域中幫助目標(biāo)域模型的學(xué)習(xí)，從而解決目標(biāo)域中有標(biāo)簽樣本不足或無標(biāo)簽樣本的學(xué)習(xí)問題。該遷移學(xué)習(xí)方法通過度量源域有標(biāo)簽的樣本和目標(biāo)域樣本的相似度來重新分配源域中數(shù)據(jù)樣本在目標(biāo)域?qū)W習(xí)過程中的訓(xùn)練權(quán)重，相似度大的源域數(shù)據(jù)樣本認(rèn)為和目標(biāo)域數(shù)據(jù)關(guān)聯(lián)性比較強(qiáng)對目標(biāo)域數(shù)據(jù)學(xué)習(xí)有利被提高權(quán)重，否則權(quán)重則被降低。上海交通大學(xué)的戴文淵[2]等人提出一種基于boosting提升技術(shù)的實(shí)例遷移學(xué)習(xí)方法TrAdaBoost。該方法把遷移學(xué)習(xí)思想應(yīng)用到Adaboost算法中，利用boosting技術(shù)在算法迭代過程中通過自動(dòng)權(quán)重調(diào)整機(jī)制逐漸過濾源域數(shù)據(jù)集中與目標(biāo)域數(shù)據(jù)差異性較大的樣本。權(quán)重調(diào)整之后，這些帶權(quán)重的源域數(shù)據(jù)將會(huì)作為輔助的訓(xùn)練數(shù)據(jù)，與目標(biāo)域數(shù)據(jù)一起訓(xùn)練從而來提高目標(biāo)域數(shù)據(jù)的學(xué)習(xí)效果。吳蕾[3]等提出遷移稀疏分層概率自組織圖（Transfer Sparse Hierarchical Probabilistic Self-OrganizingGraph，TSHiPSOG）方法。該方法首先在源域和目標(biāo)域中分別提取多層次、多顆粒度的表示向量，并且采用最大信息系數(shù)（MaximalInformation Coefficient，MIC）來度量源域和目標(biāo)域表示向量的相似性程度，在兩者之間建立關(guān)聯(lián)，然后再利用源域中的部分表示向量幫助目標(biāo)域的分類器的學(xué)習(xí)。同時(shí)，該方法在算法迭代過程中加入稀疏項(xiàng)約束，不僅可以防止模型在單領(lǐng)域數(shù)據(jù)上出現(xiàn)過擬合現(xiàn)象，而且可以有效提取利用源域知識，輔助提升目標(biāo)域?qū)W習(xí)的準(zhǔn)確性。呂靜[4]把bagging集成方法和聚類算法相結(jié)合實(shí)現(xiàn)樣本的遷移。首先對分別用不同的聚類算法對相同的學(xué)習(xí)數(shù)據(jù)進(jìn)行聚類，然后對每一個(gè)聚類結(jié)果進(jìn)行加權(quán)投票。通過bagging集成技術(shù)對源域數(shù)據(jù)進(jìn)行過濾，根據(jù)投票結(jié)果將那些與目標(biāo)域數(shù)據(jù)聚類在一起的源域數(shù)據(jù)留下，剔除那些未與目標(biāo)數(shù)據(jù)聚在一起的源域數(shù)據(jù)。由于聚類實(shí)現(xiàn)的是同類中的數(shù)據(jù)緊湊，而不同類之間具有較大的差異性，從而通過聚類可以挑選出和目標(biāo)域相似度高的數(shù)據(jù)。最后利用這些與目標(biāo)域數(shù)據(jù)相似度高的數(shù)據(jù)來幫助目標(biāo)域的學(xué)習(xí)。

1.2 特征遷移學(xué)習(xí)方法

特征遷移法（Feature-representation-transfer）主要是在源域和目標(biāo)域之間尋找典型特征代表來進(jìn)一步弱化兩個(gè)域之間的差異從而實(shí)現(xiàn)知識的跨領(lǐng)域遷移和復(fù)用。該遷移方法根據(jù)是否在原有特征中進(jìn)行選擇進(jìn)一步的又可分為特征選擇遷移學(xué)習(xí)方法和特征映射遷移學(xué)習(xí)方法。特征選擇遷移學(xué)習(xí)方法是直接在源域和目標(biāo)域中選擇共有特征，把這些特征作為兩個(gè)領(lǐng)域之間知識遷移的橋梁。Dai[5]等人提出一種基于特征和類別標(biāo)簽聯(lián)合聚類的預(yù)測跨領(lǐng)域文檔的分類方法COCC。該算法首先識別出領(lǐng)域內(nèi)與領(lǐng)域外文檔共同的部分，即領(lǐng)域間共享的詞特征；然后把已學(xué)習(xí)的知識和類別標(biāo)簽信息通過這些共享的詞特征從源域遷移到目標(biāo)域。COCC方法通過對領(lǐng)域特征和類別標(biāo)簽進(jìn)行同步聯(lián)合聚類實(shí)現(xiàn)了知識的跨領(lǐng)域遷移。特征映射遷移學(xué)習(xí)方法不是直接在領(lǐng)域的原有特征空間中進(jìn)行選擇，而是首先通過特征映射把各個(gè)領(lǐng)域的數(shù)據(jù)從原始高維特征空間映射到低維特征空間，使得源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)之間的差異性在該低維空間下縮小。然后再利用在低維空間表示的有標(biāo)簽源域數(shù)據(jù)訓(xùn)練分類器，并對目標(biāo)域數(shù)據(jù)進(jìn)行預(yù)測。張博[6]等把典型相關(guān)性分析應(yīng)用到跨領(lǐng)域遷移學(xué)習(xí)中。該算法首先分別求出源域和目標(biāo)域的橋接特征和特有特征，然后利用典型相關(guān)性挖掘它們之間的共享知識，通過選擇合適的基向量組合訓(xùn)練分類器，使降維后的相關(guān)特征在領(lǐng)域間具有相似的特性，從而有利于把源域已獲的知識遷移到目標(biāo)域中。宋鵬[7]等把基于特征映射的遷移學(xué)習(xí)方法應(yīng)用到跨庫語音情感識別應(yīng)用中。該方法首先分別提取源語音情感庫和目標(biāo)語音情感庫中的情感特征，然后通過特征降維算法尋找到鄰近的低維特征空間，使用最大均值差異嵌入（MMDE）算法計(jì)算領(lǐng)域之間的相似度，并進(jìn)一步通過SDA方法進(jìn)行特征降維來提高類別區(qū)分度，把源語音情感庫中的標(biāo)簽信息遷移到目標(biāo)語音情感庫的無標(biāo)簽學(xué)習(xí)模型的訓(xùn)練過程中，最后訓(xùn)練得到較好的情感分類器。endprint

1.3 參數(shù)遷移學(xué)習(xí)方法

在參數(shù)遷移法（Parameter-transfer）中，源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)可以通過某些函數(shù)表示，而這些函數(shù)之間存在某些共同的參數(shù)。參數(shù)遷移法就是尋找源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間可以共享的參數(shù)信息從而可以把已獲得的參數(shù)知識遷移。程旸[8]等提出一種基于知識遷移的極大熵聚類算法。該方法首先使用極大熵聚類算法求出源域的聚類中心，然后選用聚類中心作為遷移知識，并使用知識遷移隸屬度表示目標(biāo)域和源域聚類中心的匹配度，最后將匹配后的源域知識遷移到目標(biāo)域中利用。該方法在紋理圖像上的分割實(shí)驗(yàn)表明不僅能夠提高算法的聚類精度，改進(jìn)圖像的分割效果，而且還能適應(yīng)不同遷移場景的需求，增強(qiáng)了算法應(yīng)用的魯棒性。

1.4 關(guān)系遷移學(xué)習(xí)方法

關(guān)系遷移法（Relational-knowledge-transfer）假定源域數(shù)據(jù)之間的關(guān)系和目標(biāo)域數(shù)據(jù)之間的關(guān)系存在一定的相關(guān)性，通過建立源域數(shù)據(jù)的關(guān)系模型與目標(biāo)域數(shù)據(jù)的關(guān)系模型的映射模型來實(shí)現(xiàn)關(guān)系知識的遷移。在文獻(xiàn)[9]中提出了一種基于二階馬爾科夫邏輯形式的關(guān)系遷移學(xué)習(xí)方法。該方法以馬爾可夫邏輯謂詞變量公式的形式發(fā)現(xiàn)源域的結(jié)構(gòu)規(guī)律，然后實(shí)例化目標(biāo)域的謂詞變量公式。通過這種方法，可以成功地把已經(jīng)學(xué)到的知識在分子生物學(xué)、社交網(wǎng)絡(luò)領(lǐng)域之間遷移。

2 遷移學(xué)習(xí)相關(guān)技術(shù)研究

遷移學(xué)習(xí)的技術(shù)研究主要圍繞三個(gè)方面：遷移什么、何時(shí)遷移和如何遷移。遷移什么是研究在機(jī)器學(xué)習(xí)的過程中哪些知識可以遷移到其他領(lǐng)域中幫助新領(lǐng)域的數(shù)據(jù)學(xué)習(xí)，實(shí)現(xiàn)跨領(lǐng)域的知識遷移；何時(shí)遷移則關(guān)注遷移的時(shí)機(jī)，即在學(xué)習(xí)的過程中什么時(shí)候把已掌握知識遷移到目標(biāo)域的學(xué)習(xí)中；如何遷移就是在找到了遷移知識之后針對具體應(yīng)用問題所采用的遷移學(xué)習(xí)方法。目前的遷移學(xué)習(xí)技術(shù)涉及多種機(jī)器學(xué)習(xí)技術(shù)，如：半監(jiān)督學(xué)習(xí)、領(lǐng)域適配、魯棒學(xué)習(xí)、樣本選擇偏置、多任務(wù)學(xué)習(xí)等。通過遷移學(xué)習(xí)的研究，不僅可以更加充分的利用現(xiàn)有已標(biāo)簽數(shù)據(jù)信息，而且可以模型的泛化能力和魯棒性，實(shí)現(xiàn)知識在新領(lǐng)域新應(yīng)用模型中的遷移復(fù)用。

3 遷移學(xué)習(xí)的應(yīng)用

目前遷移學(xué)習(xí)的典型應(yīng)用領(lǐng)域包括文本分類、目標(biāo)識別、情感分類、自然語言處理、協(xié)同過濾、人工智能規(guī)劃等。

在文本分類領(lǐng)域已有大量的遷移學(xué)習(xí)研究應(yīng)用工作。孟佳娜[10]提出了一種基于圖排序的知識遷移學(xué)習(xí)方法。該方法首先使用源域和目標(biāo)域的文本構(gòu)建一個(gè)融合的圖模型，采用了基于向量空間的方法計(jì)算文本關(guān)聯(lián)度。然后以搜索谷歌搜索引擎所采用的PageRank算法的打分機(jī)制在文本之間相互打分表示它們的相似程度，最后確定目標(biāo)域中未標(biāo)注文本的分值，從而預(yù)測其類別標(biāo)簽。譚建平[11]等提出了基于半監(jiān)督的SVM遷移學(xué)習(xí)算法（Semi-supervised TLSVM）來對文本進(jìn)行分類。該方法使用基于SVM的半監(jiān)督學(xué)習(xí)方法和局部全局一致性方法（LLGC）構(gòu)建分類模型，并采用交互迭代的方法來對目標(biāo)方程求解，最終得到面向目標(biāo)領(lǐng)域的分類器。該方法在文本分類中的實(shí)驗(yàn)表明比傳統(tǒng)的分類器擁有更高的精確度，充分利用了源域有標(biāo)簽樣本的信息，解決了新領(lǐng)域有標(biāo)簽樣本不足的問題。

在目標(biāo)識別方面，劉振[12]等人提出了一種基于多重相似性的多源域遷移學(xué)習(xí)方法。該方法把遷移學(xué)習(xí)推廣到多源域，認(rèn)為每個(gè)源域都或多或少有一些知識可以遷移，從而提高發(fā)現(xiàn)與目標(biāo)域相似源域可能性以避免“負(fù)遷移”的發(fā)生。在衡量目標(biāo)域與多個(gè)源域的相關(guān)性時(shí)從“域-域”和“樣本-域”兩個(gè)維度，較全面地表征了目標(biāo)域與源域之間的聯(lián)系。然后根據(jù)流形平滑性假設(shè)原則，認(rèn)為目標(biāo)域分類器與相關(guān)源域分類器對目標(biāo)域無標(biāo)簽樣本具有相似標(biāo)簽值，提出多源域遷移流形正則項(xiàng)，實(shí)現(xiàn)源域知識向目標(biāo)域遷移的目的。在圖像目標(biāo)識別的實(shí)驗(yàn)結(jié)果表明所提出的遷移學(xué)習(xí)方法不僅能夠從多個(gè)不同源域中挖掘更多的知識用于目標(biāo)域?qū)W習(xí)，而且能夠根據(jù)域間相似性有選擇地進(jìn)行遷移。

馬鳳閘[13]把遷移學(xué)習(xí)方法應(yīng)用到中文評論情感分類中，提出了基于語義的特征遷移情感分類方法。該方法使用源域特征與目標(biāo)域特征之間的語義相似度和語義相關(guān)度兩個(gè)維度共同來衡量兩者之間的關(guān)聯(lián)程度，然后將源域的特征項(xiàng)的情感類別標(biāo)簽信息遷移到目標(biāo)域。首先把源域文本和目標(biāo)文本映射到類別向量空間模型中，計(jì)算兩者之間的語義相似度和語義相關(guān)度，并根據(jù)語義相關(guān)度進(jìn)行排序，將類別隸屬度與語義相似度進(jìn)行加權(quán)平均；然后應(yīng)用樣本分類置信度和樣本權(quán)重的雙重選擇策略從源域中挑選出與目標(biāo)域數(shù)據(jù)關(guān)聯(lián)性高的數(shù)據(jù)輔助目標(biāo)域訓(xùn)練分類器，使得目標(biāo)域的分類結(jié)果更加準(zhǔn)確。

4 遷移學(xué)習(xí)的未來展望

遷移學(xué)習(xí)作為一個(gè)新興的研究領(lǐng)域，解決的是如何利用已學(xué)到的知識幫助目標(biāo)領(lǐng)域的學(xué)習(xí)，目前的研究主要集中在算法方面，在應(yīng)用方面的推廣還需要進(jìn)一步的展開和深入。針對遷移學(xué)習(xí)的特點(diǎn)和目前的研究現(xiàn)狀，未來可能的研究方向可能有：

第一，領(lǐng)域之間相似性的度量方法研究。因?yàn)檫w移學(xué)習(xí)的效果在很大程度上取決于領(lǐng)域之間的相似程度。因此進(jìn)一步的研究準(zhǔn)確的領(lǐng)域之間的度量方法是遷移學(xué)習(xí)工作中的一項(xiàng)重要工作。

第二，從多源域遷移知識。一個(gè)領(lǐng)域的知識畢竟是有限的，可以嘗試把多個(gè)相關(guān)領(lǐng)域的知識幫助集中起來目標(biāo)領(lǐng)域的學(xué)習(xí)，即把多源學(xué)習(xí)和遷移學(xué)習(xí)結(jié)合起來，這樣可以增加尋找到和對目標(biāo)域?qū)W習(xí)更加有利知識的機(jī)會(huì)，從而提高遷移學(xué)習(xí)的學(xué)習(xí)效率與效果，使得遷移學(xué)習(xí)變的更加安全與穩(wěn)定，有效避免負(fù)遷移的發(fā)生。

第三，遷移學(xué)習(xí)應(yīng)用的適用性。目前的遷移學(xué)習(xí)研究工作應(yīng)用范圍相對較窄主要集中在網(wǎng)頁分類方面，在其他方面的應(yīng)用算法還有待進(jìn)一步的研究，如：人工智能規(guī)劃、強(qiáng)化學(xué)習(xí)、自動(dòng)控制等，從而不斷提高遷移學(xué)習(xí)應(yīng)用的適用性。

斯坦福大學(xué)的著名教授吳恩達(dá)曾在2016年NIPS會(huì)議上說過：“遷移學(xué)習(xí)將會(huì)繼監(jiān)督學(xué)習(xí)之后的下一個(gè)機(jī)器學(xué)習(xí)商業(yè)成功的驅(qū)動(dòng)力。”隨著研究的不斷深入，遷移學(xué)習(xí)將會(huì)在更多的領(lǐng)域得到應(yīng)用和推廣。endprint