基于最小最大概率機(jī)的遷移學(xué)習(xí)分類算法

王曉初，包芳，王士同，許小龍

(1.江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122； 2. 江陰職業(yè)技術(shù)學(xué)院 江蘇省信息融合軟件工程技術(shù)研發(fā)中心，江蘇 江陰 214405; 3.江陰職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)科學(xué)系，江蘇 江陰214405)

基于最小最大概率機(jī)的遷移學(xué)習(xí)分類算法

王曉初1,2，包芳2,3，王士同1，許小龍1

(1.江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122； 2. 江陰職業(yè)技術(shù)學(xué)院 江蘇省信息融合軟件工程技術(shù)研發(fā)中心，江蘇 江陰 214405; 3.江陰職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)科學(xué)系，江蘇 江陰214405)

摘要：傳統(tǒng)的遷移學(xué)習(xí)分類算法利用源域中大量有標(biāo)簽的數(shù)據(jù)和目標(biāo)域中少量有標(biāo)簽的數(shù)據(jù)解決相關(guān)但不相同目標(biāo)域的數(shù)據(jù)分類問題，但對(duì)于已知源域的不同類別數(shù)據(jù)均值的遷移學(xué)習(xí)分類問題并不適用。為了解決這個(gè)問題，利用源域的數(shù)據(jù)均值和目標(biāo)域的少量標(biāo)記數(shù)據(jù)構(gòu)造遷移學(xué)習(xí)約束項(xiàng)，對(duì)最小最大概率機(jī)進(jìn)行正則化約束，提出了基于最小最大概率機(jī)的遷移學(xué)習(xí)分類算法，簡(jiǎn)稱TL-MPM。在20 News Groups數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，目標(biāo)域數(shù)據(jù)較少時(shí)，所提算法具有更高的分類正確率，從而說明了算法的有效性。

關(guān)鍵詞：遷移學(xué)習(xí)；最小最大概率機(jī)；分類；源域；目標(biāo)域；正則化

中文引用格式：王曉初，包芳，王士同，等.基于最小最大概率機(jī)的遷移學(xué)習(xí)分類算法[J]. 智能系統(tǒng)學(xué)報(bào)， 2016, 11(1): 84-92.

英文引用格式：WANG Xiaochu, BAO Fang, WANG Shitong, et al. Transfer learning classification algorithms based on minimax probability machine[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 84-92.

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新方向，是對(duì)機(jī)器學(xué)習(xí)能力的一次拓展，具有很重要的研究?jī)r(jià)值。文獻(xiàn)[1]討論了遷移學(xué)習(xí)的應(yīng)用，現(xiàn)階段研究進(jìn)展及對(duì)未來遷移學(xué)習(xí)潛在的問題。文獻(xiàn)[2]推廣了傳統(tǒng)的AdaBoost算法，提出Tradaboosting遷移學(xué)習(xí)算法，該算法思想是利用boosting的技術(shù)來過濾掉輔助數(shù)據(jù)中那些與源訓(xùn)練數(shù)據(jù)最不相像的數(shù)據(jù)。其中boosting的作用是建立一種自動(dòng)調(diào)整權(quán)重的機(jī)制，于是重要的輔助訓(xùn)練數(shù)據(jù)的權(quán)重將會(huì)增加，不重要的輔助訓(xùn)練數(shù)據(jù)的權(quán)重將會(huì)減小。調(diào)整權(quán)重之后，這些帶權(quán)重的輔助訓(xùn)練數(shù)據(jù)將會(huì)作為額外的訓(xùn)練數(shù)據(jù)，與源訓(xùn)練數(shù)據(jù)一起來提高分類模型的可靠度。文獻(xiàn)[3]通過維數(shù)約簡(jiǎn)的思想，設(shè)法學(xué)習(xí)出一個(gè)低維隱特征空間，使得源域的數(shù)據(jù)和目標(biāo)域的數(shù)據(jù)在該空間的分布相同或接近對(duì)方。文獻(xiàn)[4-7]將協(xié)同學(xué)習(xí)、正則化、模糊理論等用于遷移學(xué)習(xí)，取得了很好的效果。文獻(xiàn)[8]同樣提出了基于正則化的遷移學(xué)習(xí)模型，文獻(xiàn)[9]提出了圖協(xié)同正則化的遷移學(xué)習(xí)。文獻(xiàn)[10]將遷移學(xué)習(xí)的思想用于廣告顯示。

前面對(duì)遷移學(xué)習(xí)的研究，大多是在源域的數(shù)據(jù)樣本具體標(biāo)簽已知的假設(shè)下進(jìn)行的。本文針對(duì)源域中不同類別的數(shù)據(jù)均值和目標(biāo)域中少量有標(biāo)簽的數(shù)據(jù)已知的分類問題，以最小最大概率機(jī)分類算法模型為基礎(chǔ)，提出TL-MPM算法，本算法最大的優(yōu)點(diǎn)是并不知道源域的數(shù)據(jù)訓(xùn)練樣本的具體標(biāo)簽，僅知道均值信息，從而減小了對(duì)標(biāo)記源域的數(shù)據(jù)所需花費(fèi)的代價(jià)。

1最小最大概率機(jī)

1.1線性部分

(1)

式中：α為正確分類概率，inf表示下確界。主要是保證在錯(cuò)分概率最小的情況下,通過一個(gè)核函數(shù)將特征映射到高維空間,并構(gòu)造一個(gè)最優(yōu)分類超平面,從而實(shí)現(xiàn)特征分類。(1)式可歸結(jié)為一個(gè)帶約束的優(yōu)化問題[12-13]：

(2)

(3)

目標(biāo)函數(shù)(3)為凸優(yōu)化問題[15]，假設(shè)求得最優(yōu)解為a*,對(duì)應(yīng)k取得最小值k*，此時(shí)(2)式中的不等號(hào)變?yōu)榈忍?hào)，可得

(4)

1.2非線性部分

(5)

如果a中有一分量正交于φ(xi)，i=1,2,…,Nx和φ(yi)，i=1,2,…,Ny的子空間，Nx、Ny分別為正負(fù)標(biāo)記樣本的個(gè)數(shù)，那么這個(gè)分量不會(huì)影響到目標(biāo)函數(shù)的結(jié)果，因此可以將a寫成

(6)

(7)

(8)

經(jīng)過上面核化后，約束條件和協(xié)方差的表達(dá)式變?yōu)?7)式和(8)式的形式，帶入a表示的非線性表達(dá)式(5)式可得γ表示的非線性目標(biāo)函數(shù)：

(9)

目標(biāo)函數(shù)(9)也為凸優(yōu)化問題。

顯然，與線性部分算法一致。當(dāng)γ取最優(yōu)解γ*，對(duì)應(yīng)k取得最小值k*,可得

(10)

2基于最小最大概率機(jī)的遷移學(xué)習(xí)分類算法

2.1TL-MPM算法的應(yīng)用背景

實(shí)際問題中，有時(shí)候當(dāng)前分類目標(biāo)的標(biāo)記樣本并不充分，這樣對(duì)于分類結(jié)果的預(yù)測(cè)會(huì)帶來很大偏差。而當(dāng)前分類目標(biāo)往往和上一階段的分類目標(biāo)比較，既有新的變化，又具有某些類似的特性。比如超市不同季度的營(yíng)業(yè)額、銀行不同月份的貸款數(shù)、公司每個(gè)階段的出貨量、港務(wù)每年吞吐量等，一般情況每個(gè)階段雖然有波動(dòng)，不會(huì)有太大的偏差，但由于種種原因，上個(gè)階段的樣本信息，并不能完全得知；即使得知，也不能直接將所有信息用在當(dāng)前階段中，因?yàn)樯弦浑A段的均值往往是易于得知，并且各個(gè)階段數(shù)據(jù)均值波動(dòng)基本很小。所以上一階段均值是對(duì)當(dāng)前階段極為有用的信息。這樣在當(dāng)前階段信息不充分的情況下可以充分利用上個(gè)階段的均值信息進(jìn)行遷移學(xué)習(xí)。

2.2TL-MPM算法的理論依據(jù)

(11)

均值之間的非線性距離表示為

(12)

TL-MPM算法的理論依據(jù)是：若兩個(gè)領(lǐng)域相關(guān)，源域的數(shù)據(jù)和目標(biāo)域的數(shù)據(jù)在超平面所在空間的均值應(yīng)相近。通過在MPM線性目標(biāo)式(3)中增加λL，非線性目標(biāo)式(5)中增加λLk實(shí)現(xiàn)兩個(gè)域之間的遷移學(xué)習(xí)。加入遷移學(xué)習(xí)項(xiàng)后的線性目標(biāo)函數(shù)可以寫為

(13)

非線性目標(biāo)函數(shù)可寫為

(14)

式中：L和Lk表示兩個(gè)域的差異程度，參數(shù)λ控制懲罰程度。本算法對(duì)λ在10-3～103范圍內(nèi)進(jìn)行交叉驗(yàn)證選優(yōu)。當(dāng)λ取值較小時(shí)，說明兩個(gè)領(lǐng)域之間均值相關(guān)性較高;反之，兩個(gè)領(lǐng)域之間均值相關(guān)性較小。TL-MPM算法的原理可用圖1表示。

圖1　TL-MPM算法Fig.1　Flowchart of TL-MPM

為了更清晰地展示TL-MPM算法的作用原理及效果，在二維數(shù)據(jù)上做了線性算法的模擬實(shí)驗(yàn)。圖2為源域樣本分布，橫軸x表示樣本的一維，縱軸y表示樣本的二維，圖中“×”表示目標(biāo)域正樣本，“+”號(hào)表示目標(biāo)域負(fù)樣本，菱形和正方形分別表示已知的目標(biāo)域正樣本和負(fù)樣本，實(shí)心圓表示目標(biāo)域正樣本和負(fù)樣本均值，空心圓表示源域正樣本和負(fù)樣本均值。虛線為目標(biāo)域少量標(biāo)記樣本在MPM算法下得到的分類超平面，實(shí)線為TL-MPM算法下得到的分類超平面。

圖2　源域樣本分布Fig.2　Source domain samples

圖3　二維數(shù)據(jù)模擬實(shí)驗(yàn)Fig.3　Two-dimensional simulation experiment

由圖3可以明顯看出，源域正負(fù)樣本的均值和目標(biāo)域樣本的均值相差并不是很大。正是由于這種源域樣本與目標(biāo)域樣本的相關(guān)性，經(jīng)過源域的數(shù)據(jù)均值與目標(biāo)域的數(shù)據(jù)均值的遷移學(xué)習(xí)，得到的目標(biāo)域的分類超平面更為準(zhǔn)確。

2.3具體推導(dǎo)過程

2.3.1線性部分

由于分類超平面為aTx-b=0，那么樣本在超平面所在空間的分布可以寫為f(x)=aTx-b，所以對(duì)線性遷移學(xué)習(xí)約束項(xiàng)中的前半部分可推導(dǎo)為

(15)

線性遷移學(xué)習(xí)約束項(xiàng)中的后半部分可推導(dǎo)為

(16)

那么，基于最小最大概率機(jī)的遷移學(xué)習(xí)算法對(duì)應(yīng)的線性遷移學(xué)習(xí)約束項(xiàng)有簡(jiǎn)單的形式：

其中：

具體求解過程見本文第4部分。由于加入了約束項(xiàng)，b*的表達(dá)發(fā)生了變化。注意到引入項(xiàng)對(duì)正負(fù)類的貢獻(xiàn)不同，用η(0≤η≤1)表示正類在整個(gè)樣本中所占的比率。一般情況下η可設(shè)置為0.5，那么判別式可由下面公式推導(dǎo)求出：

(17)

當(dāng)a取最優(yōu)解a*時(shí)，對(duì)應(yīng)k取得最小值k*，式(17)中不等式變?yōu)榈仁剑傻?/p>

2.3.2非線性部分

核表示方式是將數(shù)據(jù)映射到高維空間來增加線性學(xué)習(xí)器的學(xué)習(xí)能力。通過選擇恰當(dāng)?shù)暮撕瘮?shù)來替代內(nèi)積，可以隱式地將訓(xùn)練數(shù)據(jù)非線性映射到高維空間。

非線性遷移學(xué)習(xí)約束項(xiàng)的后半部分可推導(dǎo)為

那么，基于最小最大概率機(jī)的遷移學(xué)習(xí)算法對(duì)應(yīng)的遷移學(xué)習(xí)線性約束項(xiàng)有簡(jiǎn)單的形式：

其中：

H=Hx+Hy

顯然非線性目標(biāo)函數(shù)求解方法與線性一致。當(dāng)γ取最優(yōu)解γ*時(shí)，對(duì)應(yīng)k取得最小值k*，求取b*推理與線性部分類似，得到b*的表達(dá)式為

3TL-MPM算法解法流程

線性部分和非線性部分目標(biāo)函數(shù)形式相同，都是非線性有約束優(yōu)化問題，并且是凸優(yōu)化問題。有好多方法可以選擇[16-18]，比如擬牛頓法，Rosen梯度投影法等，這里我們用遞歸最小二乘法對(duì)修正優(yōu)化問題進(jìn)行求解，下面只解析線性目標(biāo)函數(shù)求解過程。

2)式(16)可寫為

(18)

4)k=1;

6)k=k+1;

7)重復(fù)步驟5、6直到收斂或滿足停止條件;

4實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證TL-MPM算法的有效性，在常用的真實(shí)數(shù)據(jù)集：20 News Groups數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。20 News Groups數(shù)據(jù)集的信息如表1所示。

表1　20 News Groups數(shù)據(jù)集

為了方便實(shí)驗(yàn)的描述，對(duì)實(shí)驗(yàn)中涉及的有關(guān)符號(hào)給出相應(yīng)的定義，如表2所示。

表2　實(shí)驗(yàn)中涉及的符號(hào)定義

4.120News Groups數(shù)據(jù)集預(yù)處理

首先對(duì)數(shù)據(jù)集分成源域訓(xùn)練數(shù)據(jù)和目標(biāo)域訓(xùn)練數(shù)據(jù)，具體的處理結(jié)果如表3所示。

表3　20News Groups數(shù)據(jù)集處理結(jié)果

其次，由于20News Groups文本數(shù)據(jù)集的特征數(shù)很大，為了實(shí)驗(yàn)的方便，用主元分析法對(duì)數(shù)據(jù)集的特征做降維預(yù)處理，取前100維構(gòu)成新的實(shí)驗(yàn)數(shù)據(jù)。

4.2少量目標(biāo)域訓(xùn)練樣本上的實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中取源域中的全部數(shù)據(jù)，分別取目標(biāo)域中的1%、5%、10%的數(shù)據(jù)訓(xùn)練TL-MPM算法分類器和MPM算法分類器。在T-MPM和TL-MPM算法中的核函數(shù)都選取高斯核函數(shù)，參數(shù)σ在(0.001,0.01,0.1,1,10,100,1 000)中選取。TL-MPM算法中的參數(shù)在(0.001,0.01,0.1,1,10,100,1 000)中選取。對(duì)表3處理好的6個(gè)真實(shí)分類數(shù)據(jù)集分別隨機(jī)獨(dú)立重復(fù)10次實(shí)驗(yàn)，選取最優(yōu)參數(shù)下的取值，表4、表5和表6分別記錄了10次獨(dú)立重復(fù)實(shí)驗(yàn)正確率的均值。

表4　目標(biāo)域樣本的1%訓(xùn)練結(jié)果

表5 目標(biāo)域樣本的5%訓(xùn)練結(jié)果

表6　目標(biāo)域樣本的10%訓(xùn)練結(jié)果

觀察并比較表4、表5、表6中T-LMPM和T-KMPM、LTL-MPM和KTL-MPM的列。發(fā)現(xiàn)T-KMPM在各數(shù)據(jù)集上的分類結(jié)果優(yōu)于T-LMPM，KTL-MPM在各數(shù)據(jù)集上的分類結(jié)果優(yōu)于LTL-MPM。說明該真實(shí)數(shù)據(jù)集是非線性的，線性分類方法有一定的局限性。另外，LTL-MPM在各數(shù)據(jù)集上的分類結(jié)果優(yōu)于T-LMPM，KTL-MPM在各數(shù)據(jù)集上的分類結(jié)果優(yōu)于T-KMPM，說明源域?qū)δ繕?biāo)域的分類起到了一定程度的作用。但提高的多少取決于兩域相關(guān)性。注意到，在comp vs rec，comp vs sci，rec vs talk和rec vs sci四個(gè)數(shù)據(jù)集中，本文算法對(duì)實(shí)驗(yàn)結(jié)果有很大程度的提高，說明在這四類數(shù)據(jù)集上源域與目標(biāo)域數(shù)據(jù)的相似性比較高。在comp vs talk數(shù)據(jù)集上提高程度很小，說明該數(shù)據(jù)集上源域和目標(biāo)域相似度不高。在sci vs talk數(shù)據(jù)集上沒有提高，反而下降，源域?qū)δ繕?biāo)域數(shù)據(jù)起了反作用，說明該數(shù)據(jù)集上源域和目標(biāo)域相似度很低。

4.3目標(biāo)域訓(xùn)練樣本變化對(duì)分類結(jié)果的影響

少量目標(biāo)域訓(xùn)練樣本上實(shí)驗(yàn)說明該真實(shí)數(shù)據(jù)集是非線性數(shù)據(jù)，線性算法并不能很好反應(yīng)數(shù)據(jù)的分類情況，為了觀察TL-MPM算法在樣本變化時(shí)的有效性，實(shí)驗(yàn)中用其非線性算法訓(xùn)練分類器。實(shí)驗(yàn)中取源域中的全部數(shù)據(jù)，取目標(biāo)域中的1%、5%、10%、20%、30%、40%、50%的數(shù)據(jù)訓(xùn)練KTL-MPM算法分類器，取目標(biāo)域中的1%、5%、10%、20%、30%、40%、50%的數(shù)據(jù)訓(xùn)練T-KMPM算法分類器。其他設(shè)置同4.2節(jié)。圖4～9分別為6個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果繪制的折線圖。

圖4　comp vs rec分類精度變化Fig.4　Classification accuracy trends of comp vs rec

觀察發(fā)現(xiàn)，在目標(biāo)域訓(xùn)練樣本增加時(shí)，兩種算法的精確度都有提高，在目標(biāo)域訓(xùn)練樣本量較少時(shí)(10%以內(nèi))，除sci vs talk數(shù)據(jù)集，其他數(shù)據(jù)集上KTL-MPM算法都好于T-KMPM算法，說明樣本較少時(shí)，本文提出算法的優(yōu)勢(shì)很明顯。在目標(biāo)域訓(xùn)練樣本增加到一定程度時(shí)，兩算法的精度差距在逐漸縮小，最后幾乎一致，甚至被T-KMPM算法反超，說明樣本增大時(shí)，目標(biāo)域的訓(xùn)練數(shù)據(jù)的信息越來越多，偏差越來越小，遷移過來的源域均值信息已經(jīng)無法矯正該偏差，因?yàn)檫@個(gè)偏差已經(jīng)小于了源域與目標(biāo)域之間的偏差。這時(shí)遷移過來的源域均值信息甚至轉(zhuǎn)化為了噪聲信息，所以精確度反而變低。

圖5　comp vs sci分類精度變化Fig.5　Classification accuracy trends of comp vs sci

圖6　comp vs talk分類精度變化Fig.6　Classification accuracy trends of comp vs talk

圖7　rec vs talk分類精度變化Fig.7　Classification accuracy trends of rec vs talk

圖8　rec vs sci分類精度變化Fig.8　Classification accuracy trends of rec vs sci

圖9　sci vs talk分類精度變化Fig.9　Classification accuracy trends of sci vs talk

另外，本文算法并沒有增加算法的時(shí)間復(fù)雜度，分析算法部分可知，該算法線性部分的時(shí)間復(fù)雜度為O(kd3)，非線性部分的時(shí)間復(fù)雜度為O(kn3)，這是因?yàn)樵谧钚《诉f歸過程中需要求矩陣的逆，其中k為迭代次數(shù)，d、n分別為目標(biāo)域訓(xùn)練樣本的維數(shù)和個(gè)數(shù)。

5結(jié)束語

本文針對(duì)目標(biāo)域標(biāo)記數(shù)據(jù)個(gè)數(shù)很少，而源于數(shù)據(jù)僅知道均值的背景下，提出了基于最小最大概率機(jī)的遷移學(xué)習(xí)分類算法，將源域的均值數(shù)據(jù)用來修正目標(biāo)域因訓(xùn)練數(shù)據(jù)少而帶來的分類偏差。實(shí)驗(yàn)表明，在目標(biāo)域訓(xùn)練樣本個(gè)數(shù)很少的情況下，取得了很好的效果，另外將最小最大概率機(jī)分類算法擴(kuò)展到了遷移學(xué)習(xí)的領(lǐng)域。由于該算法僅利用了源域數(shù)據(jù)的均值信息，并不能從多方面挖數(shù)據(jù)的相似之處，這既是該算法的優(yōu)點(diǎn)，也是本算法的不足之處。

參考文獻(xiàn):

[1]PAN S J, YANG Qiang. A survey on transfer learning[J]. IEEE transactions on knowledge and data engineering, 2010, 22(10): 1345-1359.

[2]DAI Wenyuan, YANG Qiang, XUE Guirong, et al. Boosting for transfer learning[C]//Proceedings of the 24thInternational Conference on Machine learning. New York, NY, USA, 2007: 193-200.

[3]PAN S J, KWOK J T, YANG Qiang. Transfer learning via dimensionality reduction[C]//Proceedings of the 23rdNational Conference on Artificial Intelligence. AAAI, 2008, 2: 677-682.

[4]張景祥, 王士同, 鄧趙紅, 等. 具有協(xié)同約束的共生遷移學(xué)習(xí)算法研究[J]. 電子學(xué)報(bào), 2014, 42(3): 556-560.

ZHENG Jingxiang, WANG Shitong, DENG Zhaohong, et al. Symbiosis transfer learning method with collaborative constraints[J]. Acta electronica sinica, 2014, 42(3): 556-560.

[5]于重重, 吳子珺, 譚勵(lì), 等. 非平衡集成遷移學(xué)習(xí)模型及其在橋梁結(jié)構(gòu)健康監(jiān)測(cè)中的應(yīng)用[J]. 智能系統(tǒng)學(xué)報(bào), 2013, 8(1): 46-51.

YU Chongchong, WU Zijun, TAN Li, et al. Unbalanced integrated transfer learning model and its application to bridge structural health monitoring[J]. CAAI transactions on intelligent systems, 2013, 8(1): 46-51.

[6]畢安琪, 王士同. 基于SVC和SVR約束組合的遷移學(xué)習(xí)分類算法[J]. 控制與決策, 2014, 29(6): 1021-1026.

BI Anqi, WANG Shitong. Transfer classification learning based on combination of both SVC and SVR’s constraints[J]. Control and decision, 2014, 29(6): 1021-1026.

[7]蔣亦樟, 鄧趙紅, 王士同. ML型遷移學(xué)習(xí)模糊系統(tǒng)[J]. 自動(dòng)化學(xué)報(bào), 2012, 38(9): 1393-1409.

JIANG Yizhang, DENG Zhaohong, WANG Shitong. Mamdani-larsen type transfer learning fuzzy system[J]. Acta automatica sinica, 2012, 38(9): 1393-1409.

[8]LONG Mingsheng, WANG Jianmin, DING Guiguang, et al. Adaptation regularization: a general framework for transfer learning[J]. IEEE transactions on knowledge and data engineering, 2014, 26(5): 1076-1089.

[9]LONG Mingsheng, WANG Jianmin, DING Guiguang, et al. Transfer learning with graph co-regularization[J]. IEEE transactions on knowledge and data engineering, 2014, 26(7): 1805-1818.

[10]PERLICH C, DALESSANDRO B, RAEDER T, et al. Machine learning for targeted display advertising: transfer learning in action[J]. Machine learning, 2014, 95(1): 103-127.

[11]LANCKRIET G R G, EL GHAOUI L, BHATTACHARYYA C, et al. A robust minimax approach to classification[J]. The journal of machine learning research, 2003(3): 555-582.

[12]ISII K. On the sharpness of Chebyshev-type inequalities[J]. Annals of the institute of statistical mathematics, 1963(14): 185-197.

[13]BERTSIMAS D, SETHURAMAN J. Moment problems and semidefinite optimization[M]//WOLKOWICZ H, SAIGAL R, VANDENBERGHE L. Handbook of Semidefinite Programming. 3rded. US: Springer, 2000: 469-509.

[14]CHERNOFF H. The selection of effective attributes for deciding between hypotheses using linear Discriminant functions[C]//The Proceedings of the International Conference on Frontiers of Pattern Recognition. New York, USA, 1972: 55-60.

[15]陳寶林. 最優(yōu)化理論與算法[M]. 2版. 北京: 清華大學(xué)出版社, 2005.

CHEN Baolin. Optimization theory and algorithm[M]. 2nded. Beijing: Tsinghua University Press, 2005.

[16]PLAN Y, VERSHYNIN R. Robust 1-bit compressed sensing and sparse logistic regression: a convex programming approach[J]. IEEE transactions on information theory, 2012, 59(1): 482-494.

[17]BENSOUSSAN A, TEMAM R. Equations aux derivees partielles stochastiques non iineaires[J]. Israel journal of mathematics,1972,11(1):95-129.

[18]BOYD S, VANDENBERGHE L, FAYBUSOVICH L. Convex optimization[J]. IEEE transactions on automatic control, 2006, 51(11): 1859.

Transfer learning classification algorithms based on minimax probability machine

WANG Xiaochu1,2, BAO Fang2,3, WANG Shitong1, XU Xiaolong1

(1. School of Digital Media, Jiangnan University, Wuxi 214122, China; 2. Information Fusion Software Engineering Research and Development Center of Jiangsu Province, Jiangyin Pdyteehnie College, Jiangyin 214405, China; 3. Department of Computer Science, Jiangyin Pdyteehnie College, Jiangyin 214405, China)

Abstract：Traditional transfer learning classification algorithms solve related (but not identical) data classification issues by using a large number of labeled samples in the source domain and small amounts of labeled samples in the target domain. However, this technique does not apply to the transfer learning of data from different categories of learned source domain data. To solve this problem, we constructed a transfer learning constraint term using the source domain data and the limited labeled data in the target domain to generate a regularized constraint for the minimax probability machine. We propose a transfer learning classification algorithm based on the minimax probability machine known as TL-MPM. Experimental results on 20 Newsgroups data sets demonstrate that the proposed algorithm has higher classification accuracy for small amounts of target domain data. Therefore, we confirm the effectiveness of the proposed algorithm.

Keywords：transfer learning; minimax probability machine; classification; source domain; target domain; regularization

DOI:10.11992/tis.201505024

收稿日期：2015-05-11.網(wǎng)絡(luò)出版日期：2015-12-29.

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61170122, 61272210).

通信作者：王曉初. E-mail:icnice@yeah.net.

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-4785(2016)01-0084-09

作者簡(jiǎn)介：

王曉初，男，1987年生，碩士研究生，主要研究方向?yàn)槿斯ぶ悄芘c模式識(shí)別、數(shù)字圖像處理。

包芳，女，1970年生，教授，博士，主要研究方向?yàn)槿斯ぶ悄堋⒛Ｊ阶R(shí)別、圖像視覺。

王士同，男，1964年生，教授、博士生導(dǎo)師，主要研究方向?yàn)槿斯ぶ悄?。主持或參加過6項(xiàng)國(guó)家自然科學(xué)基金項(xiàng)目，1項(xiàng)國(guó)家教委優(yōu)秀青年教師基金項(xiàng)目，其他省部級(jí)科研項(xiàng)目10多項(xiàng)。先后獲國(guó)家教委、中船總公司和江蘇省省部級(jí)科技進(jìn)步獎(jiǎng)5項(xiàng)。發(fā)表學(xué)術(shù)論文近百篇，被SCI、EI檢索50余篇。

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20151229.0837.016.html