跨領(lǐng)域分布適配超限學(xué)習(xí)機(jī)及其在域自適應(yīng)問(wèn)題的應(yīng)用

宋士吉，李 爽

(清華大學(xué) 自動(dòng)化系，北京 100084)

在一般的數(shù)據(jù)分類問(wèn)題中，訓(xùn)練集和測(cè)試集數(shù)據(jù)通常是同分布的，因而通過(guò)訓(xùn)練集數(shù)據(jù)訓(xùn)練的分類器可以在測(cè)試集上取得良好的效果.然而，在解決實(shí)際問(wèn)題時(shí)，訓(xùn)練集和測(cè)試集往往服從不同的分布[1].在這種情況下，訓(xùn)練集(源域)數(shù)據(jù)的分類器不能直接用于測(cè)試集(目標(biāo)域)數(shù)據(jù)的分類.域自適應(yīng)問(wèn)題的核心就是為了解決訓(xùn)練集與測(cè)試集分布不等的問(wèn)題.例如，如果待分類的數(shù)據(jù)集T的標(biāo)簽難以獲得，而可使用的有標(biāo)簽數(shù)據(jù)集S服從某個(gè)與T相關(guān)但不同的分布時(shí)，就需要運(yùn)用域自適應(yīng)的算法，以有效地利用數(shù)據(jù)集S的信息來(lái)低成本地對(duì)數(shù)據(jù)集T進(jìn)行分析和分類.

近年來(lái)，研究者們提出了多種實(shí)現(xiàn)域自適應(yīng)的模型和算法，比較常用的有3大類.第一類方法是尋找一個(gè)低維子空間，使得源域和目標(biāo)域的數(shù)據(jù)樣本在映射到該子空間后服從相同或相近的分布[2-4]；第二類方法是對(duì)源域中的樣本賦予某種權(quán)重，使其分布靠近目標(biāo)域[5]；第三類方法是利用低秩矩陣重構(gòu)數(shù)據(jù)點(diǎn)，實(shí)現(xiàn)域之間的魯棒自適應(yīng)[6-8].

目前比較常用的一種數(shù)據(jù)集分布距離衡量方法是最大均值距離(Maximum Mean Discrepancy, MMD)[9].MMD的定義是兩個(gè)分布在某個(gè)函數(shù)類映射下期望值的差的最大值.MMD具有非參數(shù)性、計(jì)算方便等優(yōu)點(diǎn)，被廣泛應(yīng)用于上述的前兩類域自適應(yīng)方法中.通常對(duì)于有限樣本集，采用經(jīng)驗(yàn)MMD的形式來(lái)估計(jì)真實(shí)的MMD值.經(jīng)驗(yàn)MMD表示為

由Huang et al.提出的超限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)作為一種“廣義的”單隱層前饋神經(jīng)網(wǎng)絡(luò)，已被大量的實(shí)驗(yàn)和應(yīng)用證明其有效性[10-12].但是，大多數(shù)的ELM算法都基于一個(gè)通用的假設(shè)：訓(xùn)練集和測(cè)試集服從相同的分布.而現(xiàn)實(shí)生活中有很多應(yīng)用其實(shí)都不滿足該假設(shè)[13].于是如何利用有效的ELM框架來(lái)解決域自適應(yīng)問(wèn)題就顯得十分重要.

本文基于超限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)強(qiáng)大的函數(shù)擬合能力[14]，提出了一種跨領(lǐng)域分布適配超限學(xué)習(xí)機(jī)模型(Domain Distribution Matching Extreme Learning Machine，DDM-ELM).該模型試圖解決域自適應(yīng)問(wèn)題的幾個(gè)關(guān)鍵問(wèn)題：1)因?yàn)樵从蚝湍繕?biāo)域十分相關(guān)，故目標(biāo)域分類器的構(gòu)建應(yīng)充分利用有標(biāo)簽的源域樣本；2)由于源域和目標(biāo)域的不同，設(shè)計(jì)模型時(shí)應(yīng)能充分減小源域和目標(biāo)域的差距，便于提高目標(biāo)域樣本的分類結(jié)果；3)模型設(shè)計(jì)應(yīng)充分挖掘大量無(wú)標(biāo)簽?zāi)繕?biāo)域樣本的本質(zhì)信息和幾何結(jié)構(gòu)信息，使得目標(biāo)域分類器能更加適合目標(biāo)域樣本而且能得到更準(zhǔn)確的結(jié)果.所以，DDM-ELM旨在同時(shí)解決以上3個(gè)關(guān)鍵問(wèn)題.DDM-ELM的基本思想示意圖如圖1.

注：“+”代表正樣本，“-”代表負(fù)樣本；代表源/目標(biāo)域的中心; fS/fT代表源/目標(biāo)域的分類超平面；代表源/目標(biāo)域分類超平面的法向量；代表源/目標(biāo)域在的投影中心.圖1 DMM-ELM基本思想示例圖Figure 1 Illustration of the motivation of DDM-ELM

基于以上的討論，基于ELM的基本框架，DDM-ELM將源域分類器fS、域均值匹配和目標(biāo)域的流形正則化于一體，最終構(gòu)建一個(gè)更加適合于目標(biāo)域樣本的分類器.本文在公共數(shù)據(jù)集Office、Caltech-256、MNIST和USPS上，實(shí)施了大量的對(duì)比試驗(yàn)，驗(yàn)證了DDM-ELM的有效性.

1 背景和相關(guān)數(shù)學(xué)模型介紹

1.1 極限學(xué)習(xí)機(jī)模型

建立準(zhǔn)確的模式識(shí)別和分類模型是人工智能的基本任務(wù).通常，對(duì)數(shù)據(jù)的識(shí)別和分類，需要依賴于人類專家建立的專家系統(tǒng)或啟發(fā)式的智能算法.神經(jīng)網(wǎng)絡(luò)的發(fā)展極大地支持了專家系統(tǒng)的發(fā)展和完善，使數(shù)據(jù)特征的識(shí)別和提取變得更加智能化、精確化，從而極大地提高了數(shù)據(jù)處理和辨識(shí)的能力.

hk(x)=g(x;wk,bk).

其中，g(·)是隱含層的激勵(lì)函數(shù)，通常取sigmoid函數(shù)或tanh函數(shù)等非線性函數(shù).

ELM的輸出記為f(x)=h(x)β，h(x)是L個(gè)隱含層結(jié)點(diǎn)組成的隱含層輸出向量，β是輸出權(quán)重，通過(guò)解最小二乘問(wèn)題求得

(1)

(2)

其中，T是期望輸出矩陣；H是隱含層輸出矩陣.將目標(biāo)函數(shù)關(guān)于β的梯度設(shè)為0，可得最優(yōu)的β滿足

β*-CHT(T-Hβ*)=0.

(3)

當(dāng)訓(xùn)練樣本數(shù)小于隱含層節(jié)點(diǎn)數(shù)，即N

(4)

而當(dāng)訓(xùn)練樣本數(shù)不少于隱含層節(jié)點(diǎn)數(shù)，即N≥L時(shí)，解為

(5)

其中，I表示單位陣；下標(biāo)L為矩陣維數(shù).

文獻(xiàn)[15]已證明，當(dāng)隱含節(jié)點(diǎn)數(shù)足夠多時(shí)，ELM可以無(wú)限逼近任意連續(xù)函數(shù).由于ELM的網(wǎng)絡(luò)權(quán)重可以分析得出，避免了一般的單向神經(jīng)網(wǎng)絡(luò)中運(yùn)用BP算法反復(fù)地訓(xùn)練網(wǎng)絡(luò)參數(shù)，所以效率可得到顯著提升.

1.2 域自適應(yīng)問(wèn)題背景介紹

由本文所提出的DDM-ELM能夠通過(guò)減小投影MMD的距離，而有效的減小源域和目標(biāo)域的分布距離，從而使得DDM-ELM可以很好地處理域自適應(yīng)問(wèn)題.

2 跨領(lǐng)域分布適配超限學(xué)習(xí)機(jī)

2.1 DDM-ELM算法綜述

本文提出跨領(lǐng)域分布適配超限學(xué)習(xí)機(jī)(Domain Distribution Matching Extreme Learning Machine，DDM-ELM)算法，主要解決域自適應(yīng)問(wèn)題中的3個(gè)關(guān)鍵點(diǎn)：充分利用有標(biāo)簽的源域樣本，減小源域和目標(biāo)域分布的距離和挖掘大量目標(biāo)域樣本的幾何特征.所以，DDM-ELM的目標(biāo)函數(shù)包含以下3個(gè)部分：有標(biāo)簽源域樣本的分類誤差，投影MMD正則項(xiàng)來(lái)減小源域和目標(biāo)域的分布距離，目標(biāo)域樣本的流形正則化.則DDM-ELM的目標(biāo)函數(shù)可以表示為

h(xTj)β=f(xTj)j=1,2,…,nt.

(6)

2.1.1 源域樣本分類誤差損失

在本文中，我們主要解決域自適應(yīng)問(wèn)題，其中目標(biāo)域樣本都是沒(méi)有標(biāo)簽的，故只能借助于大量的有標(biāo)簽源域樣本來(lái)設(shè)計(jì)分類器，即

(7)

將式(7)中的等式約束帶入目標(biāo)函數(shù)，可得如下等價(jià)的無(wú)約束優(yōu)化問(wèn)題：

(8)

可以看出式(8)僅僅使用了有標(biāo)簽的源域樣本來(lái)訓(xùn)練源域分類器，該分類器如果不加修正是不能直接用在目標(biāo)域上的，所以我們引入了減小投影MMD距離來(lái)減小源域和目標(biāo)域樣本的差距，使得目標(biāo)域分類器能夠準(zhǔn)確應(yīng)用于目標(biāo)域樣本.

2.1.2 投影MMD

MMD是一種非參數(shù)化的衡量不同概率分布之間距離的度量方法，如同文獻(xiàn)[16]，我們使用投影MMD作為一種懲罰項(xiàng)引入DDM-ELM算法中，來(lái)有效地減小源域和目標(biāo)域樣本的距離.投影MMD可以如下式進(jìn)行計(jì)算：

(9)

式(9)可以用矩陣的方式表示為

(10)

DDM-ELM成功的在ELM框架下引入投影MMD損失項(xiàng)，使得該算法可以有效地減小源域和目標(biāo)域的分布距離，從而便于最后的分類.

2.1.3 流形正則化

流形正則化已經(jīng)被廣泛的應(yīng)用在半監(jiān)督學(xué)習(xí)領(lǐng)域，它使得目標(biāo)分類器要給出較為平滑的預(yù)測(cè)，不能隨意穿過(guò)高密度的區(qū)域.簡(jiǎn)單來(lái)說(shuō)，如果兩個(gè)目標(biāo)域樣本離得很近，我們就可以認(rèn)為他們有很大的概率是同類的，這可以幫助模型更好的挖掘目標(biāo)域的幾何特性，從而提高分類效果.經(jīng)驗(yàn)流形正則化項(xiàng)可以表示為

s.t.h(xTj)β=f(xTj)j=1,2,…,nt.

(11)

其中相似度αij可以簡(jiǎn)單表示為

(12)

式(12)中Np(xTi)是樣本xTi的p-近鄰點(diǎn).我們可以將式(11)用表示為矩陣形式：

(13)

可以看出，DDM-ELM可以同時(shí)滿足目標(biāo)域分類器對(duì)源域樣本有很好的分類效果，有效地減小源于和目標(biāo)域樣本的分布距離，最大化目標(biāo)域的預(yù)測(cè)一致性.下一小節(jié)會(huì)詳細(xì)介紹DDM-ELM的求解方法.

2.2 DDM-ELM算法求解

根據(jù)式(6)～(13)，可以得到DDM-ELM的最終損失函數(shù)為

(14)

(15)

式(15)是一個(gè)二次規(guī)劃問(wèn)題，最優(yōu)解滿足β+HTW(Hβ-Y)+λHTVHβ+γHTΓHβ=0.

(16)

可知式(16)存在解析解，當(dāng)樣本數(shù)小于隱含層結(jié)點(diǎn)數(shù)時(shí)，解析解為

(17)

當(dāng)樣本數(shù)多于隱含結(jié)點(diǎn)數(shù)時(shí)，有

(18)

DDM-ELM可以有效地將源域樣本的信息遷移到目標(biāo)域樣本中，而且有閉式的解析解，這也延續(xù)了ELM框架的優(yōu)點(diǎn).

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 數(shù)據(jù)集介紹

為了驗(yàn)證本文提出的方法，實(shí)驗(yàn)中采用了經(jīng)典的圖像數(shù)據(jù)集OFFICE+Caltech 256、MNIST和USPS，其中部分圖像示例如圖2.

圖2 實(shí)驗(yàn)所用數(shù)據(jù)集部分圖片示例Figure 2 Samples of images from MNIST, USPS, Amazon, Caltech-256, DSLR and Webcam

在實(shí)驗(yàn)中，與文獻(xiàn)[2-4]類似，OFFICE+CALTECH256的SIFT特征是800維數(shù)據(jù)集，其中包含4個(gè)子數(shù)據(jù)集C、A、D、W，每個(gè)子數(shù)據(jù)集包含10類數(shù)據(jù)，每一類代表一種物體的圖像；任意取出兩個(gè)子數(shù)據(jù)集作為源域和目標(biāo)域，可以形成12組實(shí)驗(yàn)任務(wù)，即“A->C”、 “A->D”，……， “W->C”和“W->D”.

MNIST和USPS數(shù)據(jù)集是經(jīng)典的手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集，包含數(shù)字0到9共10類.我們將MNIST和USPS縮放至16×16的大小，從USPS中選取1800張圖片，從MNIST中選取2000張圖片，可以組成“USPS->MNIST”和“MNIST->USPS”兩組實(shí)驗(yàn)任務(wù).

其中數(shù)據(jù)集的詳細(xì)信息如表1.

表1 OFFICE+CALTECH256和MNIST+USPS數(shù)據(jù)集詳細(xì)描述Table 1 Description of OFFICE+CALTECH256 and MNIST+USPS datasets

3.2 實(shí)驗(yàn)設(shè)定

為了全面地驗(yàn)證DDM-ELM的有效性，我們對(duì)比了8種相關(guān)的機(jī)器學(xué)習(xí)算法，分別為ELM[10]、SVM[18]、SS-ELM[19]、TCA[2]、KMM[5]、LMPROJ[16]、DAELM-S[20]和DAELM-T[20].其中ELM和SVM為普通的機(jī)器學(xué)習(xí)算法，我們用有標(biāo)簽的源域樣本訓(xùn)練分類器，然后將該分類器預(yù)測(cè)目標(biāo)域樣本；SS-ELM為半監(jiān)督學(xué)習(xí)算法，我們將源域樣本作為有標(biāo)簽樣本和目標(biāo)域樣本作為無(wú)標(biāo)簽樣本，共同訓(xùn)練分類器預(yù)測(cè)目標(biāo)域樣本；TCA、KMM和LMPROJ為經(jīng)典的域自適應(yīng)分類算法，而DAELM-S和DAELM-T算法需要少量的有標(biāo)簽?zāi)繕?biāo)域樣本，故我們隨機(jī)選取5個(gè)目標(biāo)域樣本作為有標(biāo)簽樣本用于訓(xùn)練.

在DDM-ELM中有3個(gè)可以調(diào)整的參數(shù)：C、λ和γ，其中C控制目標(biāo)域分類器對(duì)源域樣本的分類準(zhǔn)確度，λ控制著源域和目標(biāo)域樣本的投影MMD距離，γ控制著目標(biāo)域樣本流形正則化的作用.在實(shí)驗(yàn)當(dāng)中，參數(shù)C的選擇和ELM的交叉驗(yàn)證選取的C一致，因?yàn)槲覀兤谕鸇DM-ELM能夠準(zhǔn)確的分類源域樣本.在所有的實(shí)驗(yàn)中我們?cè)O(shè)定λ=1，對(duì)于MNIST+USPS，我們選取γ=0.01，對(duì)于OFFICE+CALTECH256，γ=0.000 1.在后續(xù)的參數(shù)敏感度分析的實(shí)驗(yàn)當(dāng)中，表明在很大范圍內(nèi)DDM-ELM都能有很好的結(jié)果.為了對(duì)比的公平性，我們將所有的對(duì)比方法和DDM-ELM的實(shí)驗(yàn)都跑10遍，并列出平均值進(jìn)行對(duì)比.

3.3 實(shí)驗(yàn)結(jié)果

在數(shù)據(jù)集OFFICE+CALTECH256和MNIST+USPS上的實(shí)驗(yàn)結(jié)果如表2.

表2 圖像數(shù)據(jù)集從源域到目標(biāo)域(A=Amazon, C=Caltech, D=DSLR, W=webcam)的平均分類準(zhǔn)確率

從表2我們可以得出以下結(jié)論：

1)在OFFICE+CALTECH256和MNIST+USPS的圖像數(shù)據(jù)集上，DDM-ELM在所有任務(wù)上的平均分類準(zhǔn)確率比其他的算法都要高，達(dá)到了49.15%.TCA是所有對(duì)比算法中結(jié)果最好的，但是TCA要花費(fèi)大量的時(shí)間去求得子空間，而DDM-ELM延承了ELM框架的快速性，有很高的計(jì)算效率.

2)像SVM和ELM這種傳統(tǒng)機(jī)器學(xué)習(xí)算法，都是基于訓(xùn)練集和測(cè)試集服從相同的分布這個(gè)前提，但是在現(xiàn)實(shí)生活中，經(jīng)常會(huì)碰到如圖3中，每一個(gè)領(lǐng)域的圖片的分布相差較大的情況，導(dǎo)致SVM和ELM的結(jié)果不盡如人意，這也顯示出域自適應(yīng)算法的重要性.SSELM是處理半監(jiān)督學(xué)習(xí)的ELM算法，結(jié)果比純粹的ELM效果好，這也說(shuō)明了利用大量無(wú)標(biāo)簽的目標(biāo)域樣本的幾何特性能提高目標(biāo)域分類器的效果.

3)DAELM-S和DAELM-T實(shí)際上需要少量的有標(biāo)簽?zāi)繕?biāo)域樣本，但是這兩種算法并沒(méi)有致力于減小源域和目標(biāo)域分布的差距，而是根據(jù)這些少量的有標(biāo)簽?zāi)繕?biāo)域樣本建立起源域和目標(biāo)域的聯(lián)系.從表2可以看出，即使DDM-ELM只需要無(wú)標(biāo)簽的目標(biāo)域樣本來(lái)訓(xùn)練模型，但是結(jié)果仍然優(yōu)于DAELM-S和DAELM-T，這表明了減小源域和目標(biāo)域的投影MMD可以有效地利用所有樣本的信息.

4)值得注意的是，在“USPS->MNIST”和“MNIST-> USPS”兩個(gè)任務(wù)中，ELM表現(xiàn)得十分不理想，但是DDM-ELM較ELM的準(zhǔn)確率提高很多，這個(gè)也表現(xiàn)出DDM-ELM的有效性.

為了清晰地對(duì)比ELM和DDM-ELM算法的結(jié)果，如圖3.可以看出在絕大多數(shù)任務(wù)上(14個(gè)任務(wù)中的10個(gè))，DDM-ELM都比ELM表現(xiàn)出色，尤其是在“USPS->MNIST”和“MNIST-> USPS”兩個(gè)任務(wù)中.這也證明了在域自適應(yīng)問(wèn)題中，考慮源域和目標(biāo)域樣本的差距和利用大量目標(biāo)域樣本的幾何特性是十分必要的.

圖3 ELM和DDM-ELM在圖像數(shù)據(jù)集上的結(jié)果對(duì)比Figure 3 Results comparison of ELM and DMM-ELM on all the image datasets

3.4 參數(shù)分析

為了驗(yàn)證DDM-ELM中參數(shù)λ和γ在大范圍值域內(nèi)都能有很好的效果，我們畫(huà)出DDM-ELM在“C->A”，“D->W”和“USPS->MNIST”任務(wù)上參數(shù)λ和γ對(duì)分類結(jié)果的影響.我們這里只探索λ和γ的影響，是因?yàn)樵贒DM-ELM中的參數(shù)C是和ELM中的C選擇一樣.

如圖4(a)是DDM-ELM在固定參數(shù)C和γ時(shí)，改變?chǔ)酥祵?duì)分類準(zhǔn)確率的影響.由于λ主要控制投影MMD對(duì)模型的影響，于是可以看出除了“USPS->MNIST”以外，其他的任務(wù)對(duì)λ并不敏感.理論上，如果λ的值很小時(shí)，DDM-ELM不能很好地匹配兩個(gè)域樣本的分布，則結(jié)果應(yīng)該會(huì)有一定程度的下降.當(dāng)λ的值變大時(shí)，結(jié)果相對(duì)變得穩(wěn)定，這也表明減小源域和目標(biāo)域樣本的差異的必要性.尤其是對(duì)于“USPS->MNIST”任務(wù)，這兩個(gè)數(shù)據(jù)集相差很大，我們應(yīng)該選擇一個(gè)相對(duì)較大的λ來(lái)彌補(bǔ)源域和目標(biāo)域樣本的差距，從而使DDM-ELM有很好的效果.

圖4(b)是DDM-ELM隨著γ改變時(shí)，分類準(zhǔn)確率的改變.探究目標(biāo)域樣本的流形特性能使得目標(biāo)域分類器更加適應(yīng)于目標(biāo)域樣本.然而γ選取太大時(shí)，會(huì)降低最終的分類準(zhǔn)確率.所以說(shuō)，我們可以選取一個(gè)相對(duì)較小的γ來(lái)平衡流形正則化的作用.

4 結(jié) 語(yǔ)

本文提出了一種基于ELM網(wǎng)絡(luò)結(jié)構(gòu)的跨領(lǐng)域分布適配超限學(xué)習(xí)機(jī)(DDM-ELM)算法，DDM-ELM旨在解決幾個(gè)域自適應(yīng)領(lǐng)域的關(guān)鍵問(wèn)題，同時(shí)在滿足最小化源域樣本的分類準(zhǔn)確率、減小源域和目標(biāo)域分布距離和探索目標(biāo)域樣本的幾何特性的前提下，構(gòu)建一個(gè)適應(yīng)于目標(biāo)域的分類器.DDM-ELM能有效地把源域樣本信息遷移到目標(biāo)域中，且和ELM框架一樣，DDM-ELM能高效地給出解析解.DDM-ELM在保持算法高運(yùn)算效率的同時(shí)，實(shí)現(xiàn)了具有較高準(zhǔn)確度的跨域分類，其模型優(yōu)越性在大量的圖像數(shù)據(jù)集上都得到了實(shí)驗(yàn)驗(yàn)證.

[1] TORRALBA A, EFROS A A. Unbiased look at dataset bias[C]//ComputerVisionandPatternRecognition(CVPR),2011IEEEConferenceon. Washington, D.C.: IEEE Computer Society, 2011: 1521-1528.

[2] PAN S J, TSANG I W, KWOK J T, et al. Domain adaptation via transfer component analysis [J].IEEETransactionsonNeuralNetworks, 2011, 22(2): 199-210.

[3] LONG M S, WANG J M, DING G G, et al. Transfer feature learning with joint distribution adaptation [C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision. Washington, D.C.: IEEE Computer Society, 2013: 2200-2207.

[4] LONG M S, WANG J M, DING G G, et al. Transfer joint matching for unsupervised domain adaptation [C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition. Washington, D.C.: IEEE Computer Society, 2014: 1410-1417.

[5] HUANG J Y, SMOLA A J, GRETTON A, et al. Correcting sample selection bias by unlabeled data [C]//AdvancesinNeuralInformationProcessingSystems. Cambridge: MIT Press, 2006:601-608.

[6] ZHANG L, ZUO W M, ZHANG D. LSDT: Latent sparse domain transfer learning for visual adaptation [J].IEEETransactionsonImageProcessing, 2016, 25(3): 1177-1191.

[7] JHUO I H, LIU D, LEE D T, et al. Robust visual domain adaptation with low-rank reconstruction[C]//ComputerVisionandPatternRecognition(CVPR), 2011IEEEConferenceon. Washington, D.C.: IEEE Computer Society, 2012:2168-2175.

[8] SHAO M, KIT D, FU Y. Generalized transfer subspace learning through low-rank constraint[J].InternationalJournalofComputerVision, 2014, 109(1):74-93.

[9] GRETTON A, BORGWARDT K, RASCH M J, et al. A kernel method for the two-sample-problem [C]//AdvancesinNeuralInformationProcessingSystems. Vancouver, British Columbia: DBLP, 2007: 513-520.

[10] HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine: A new learning scheme of feedforward neural networks[C]//2004IEEEInternationalJointConferenceonNeuralNetworks.Budapest, Hungary: IEEE, 2005:985-990.

[11] HUANG G B, WANG D H, LAN Y. Extreme learning machines: a survey [J].InternationalJournalofMachineLearning&Cybernetics, 2011, 2(2):107-122.

[12] HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine: Theory and applications [J].Neurocomputing, 2006, 70(1-3):489-501.

[13] PAN S J, YANG Q. A Survey on Transfer Learning [J].IEEETransactionsonKnowledge&DataEngineering, 2010, 22(10):1345-1359.

[14] HUANG G, HUANG G B, SONG S J, et al. Trends in extreme learning machines: A review [J].NeuralNetworkstheOfficialJournaloftheInternationalNeuralNetworkSociety, 2014, 61: 32-48.

[15] HUANG G B, ZHOU H M, DING X J, et al. Extreme learning machine for regression and multiclass classification [J].IEEETransactionsonSystemsMan&CyberneticsPartBCybernetics, 2012, 42(2): 513-529.

[16] QUANZ B, HUAN J. Large margin transductive transfer learning[C]//ACMConferenceonInformationandKnowledgeManagement. New York: ACM, 2009:1327-1336.

[17] GONG B，SHI Y，SHA F. Geodesic flow kernel for unsupervised domain adaptation [C]//2012IEEEConferenceonComputerVisionandPatternRecognition. Washington, D.C.: IEEE Computer Society, 2012, 157: 2066-2073.

[18] CHANG C C, LIN C J. LIBSVM: A library for support vector machines [J].ACMTransactionsonIntelligentSystemsandTechnology, 2011, 2(3): 1-27.

[19] HUANG G, SONG S, GUPTA J N D, et al. Semi-supervised and unsupervised extreme learning machines [J].IEEETransactionsonCybernetics, 2014, 44(12): 2405-2417.

[20] ZHANG L, ZHANG D. Domain adaptation extreme learning machines for drift compensation in E-nose systems [J].IEEETransactionsonInstrumentation&Measurement, 2015, 64(7): 1790-1801.