畢安琪　王士同（江南大學(xué)數(shù)字媒體學(xué)院無錫214122）

?

基于Kullback-Leiber距離的遷移仿射聚類算法

畢安琪*王士同
（江南大學(xué)數(shù)字媒體學(xué)院無錫214122）

針對遷移聚類問題，該文提出一種新的基于Kullback-Leiber距離的遷移仿射聚類算法（TAP_KL）。該算法從概率角度重新解釋AP算法的目標函數(shù)，并借助于信息論中最常見的一種距離度量，即Kullback-Leiber距離，測量源域與目標域代表點的相似性。另外，通過詳細分析TAP_KL算法與AP算法的目標函數(shù)，得出一個重要結(jié)論，即可以將源域與目標域的相似性嵌入到目標域數(shù)據(jù)集相似性矩陣的計算中，從而直接利用AP算法的優(yōu)化算法優(yōu)化TAP_KL算法的目標函數(shù)，解決基于代表點的遷移聚類問題。最后，通過基于4個數(shù)據(jù)集的仿真實驗，進一步驗證了TAP_KL算法在解決遷移聚類問題時的有效性。

仿射聚類算法；遷移學(xué)習(xí)；人臉數(shù)據(jù)集；概率框架；KL距離

1　引言

近年來，國內(nèi)外研究學(xué)者從不同角度對遷移學(xué)習(xí)的研究已經(jīng)取得了眾多重要研究成果［18］-，包括遷移SVM（Support Vector Machine）算法［12］，、遷移Adaboost算法［34］-，以及基于流形結(jié)構(gòu)的MMDE（M axim um M ean D iscrepancy Em bedd ing）算法［56］-。然而聚類算法作為機器學(xué)習(xí)和模式識別領(lǐng)域的一個重要研究方向，現(xiàn)階段對于遷移聚類算法的研究并不充分，取得的成果也不多［8］。聚類算法的目標是將相似的數(shù)據(jù)聚集為一個數(shù)據(jù)簇，并使差異較大的數(shù)據(jù)分別屬于不同的數(shù)據(jù)簇。目前廣泛使用的聚類算法，包括K-均值算法［9，10］、譜聚類算法［11，12］、仿射聚類（A ffinity，Propagation，AP）［1319］-以及模糊聚類方法［20］都是在數(shù)據(jù)量足夠充分的前提下，才能保證算法得到可靠的、有效的聚類結(jié)果。因此，這些算法都不適用于遷移學(xué)習(xí)的場景中，本文就是針對遷移聚類問題進行研究探討。

聚類算法的一個重要研究方向就是從已經(jīng)存在的樣本點中選擇算法所得的數(shù)據(jù)簇類中心，這類算法統(tǒng)稱為基于代表點的聚類算法，其中最具代表性的算法包括AP算法［13］，EEM算法（Enhanced α-Expansion Move）［18，19］等。研究指出，基于代表點的聚類算法的目標函數(shù)均可以看作是馬爾科夫隨機場（M arkov Random Field，MRF）的能量函數(shù)，相應(yīng)地，AP算法與EEM算法本質(zhì)上是在優(yōu)化相同的目標函數(shù)，其中AP算法使用的優(yōu)化算法是基于樣本點之間的信息傳遞，而EEM算法則基于Graph-Cuts。另一方面，基于代表點的聚類算法的一個重要優(yōu)勢在于算法可以根據(jù)數(shù)據(jù)集自動完成聚類，而不要求預(yù)設(shè)數(shù)據(jù)簇的總數(shù)。對于現(xiàn)有的遷移學(xué)習(xí)算法，一個重要的問題是如何基于源域與目標域數(shù)據(jù)的相似性，更好地借助于源域數(shù)據(jù)的研究成果完成對目標域數(shù)據(jù)的研究。在基于代表點的聚類算法中，進一步可以認為源域與目標域的相似性表現(xiàn)為源域與目標域代表點集合的相似性。具體地，本文首先從概率角度重新解釋AP算法的目標函數(shù)，通過定義樣本點和代表點的概率關(guān)系，以及代表點集合的先驗概率，為度量源域與目標域代表點集合的相似性提供前提條件；其次，借助于信息論中最常見的一種距離度量，即Kullback-Leiber距離（KL距離），在概率框架下測量源域與目標域代表點的相似性，提出了TAP_KL算法的目標函數(shù)；最后，通過詳細分析TAP_KL算法與AP算法的目標函數(shù)，得出一個重要結(jié)論，即可以將源域與目標域的相似性嵌入到目標域數(shù)據(jù)集相似性矩陣的計算中，從而直接借助AP算法的優(yōu)化策略解決新的目標函數(shù)。

2　 AP算法

2007年，文獻［13］中指出，在聚類算法中，若取得的類中心點是從已存在的樣本點中選擇的，則稱這類聚類算法為基于代表點聚類算法，并稱這些類中心點為代表點。同時，文獻［13］提出一種典型的基于代表點聚類算法，即AP聚類算法，其目標函數(shù)可以表示為

將上述目標函數(shù)的優(yōu)化過程可以看作MRF的能量函數(shù)最小化過程，事實上，所有的基于代表點聚類算法的目標函數(shù)優(yōu)化問題都可以看作是MRF的能量函數(shù)尋優(yōu)問題。AP算法使用基于信息傳遞的LBP（Loopy Belief Propagation）優(yōu)化算法來優(yōu)化式（1）。在具體優(yōu)化過程中，算法首先定義2個矩陣分別存儲樣本點傳遞給代表點的信息和代表點傳遞給樣本點的信息，具體定義為

AP算法不需要提前預(yù)設(shè)聚類總數(shù)，算法能夠根據(jù)數(shù)據(jù)集的相似性矩陣，自動計算出合適的聚類總數(shù)，從而獲取有效的聚類結(jié)果；另一方面，實驗證明AP算法所得到的聚類性能相當(dāng)有效與穩(wěn)定。基于這兩個優(yōu)勢，近年來AP算法得到了國內(nèi)外研究者的廣泛關(guān)注，并已經(jīng)取得了若干重要研究成果，其中包括半監(jiān)督AP算法［14］，遞增式AP算法［16，17］等。為了解決遷移聚類問題，本文在保留原始AP算法以上兩個優(yōu)勢的基礎(chǔ)上，提出了一種改進的AP算法，即基于Kullback-Leiber距離的遷移仿射聚類算法。

3　基于Kullback-Leiber距離的遷移仿射聚類算法

遷移聚類問題涉及到兩個數(shù)據(jù)集，即源域數(shù)據(jù)集與目標域數(shù)據(jù)集。因此，如何準確地度量目標域與源域數(shù)據(jù)集之間的相似性，以及目標域數(shù)據(jù)集樣本間的相似性，是亟待解決的問題。另一方面，概率框架能夠準確地體現(xiàn)數(shù)據(jù)的分布特征，而在信息論中已知若干種距離可用來度量兩個概率分布的相似性。

因此，本文首先利用概率的信息表征特征，引入概率框架重新解釋AP算法目標函數(shù)的合理性及有效性，其次，在新的目標函數(shù)的基礎(chǔ)上，利用Kullback-Leiber距離度量源域數(shù)據(jù)集與目標域數(shù)據(jù)集的相似性，進而發(fā)現(xiàn)可以將源域與目標域的相似性嵌入到目標域數(shù)據(jù)集的相似性矩陣的計算中，并借助AP算法的優(yōu)化算法解決遷移仿射聚類問題。

3.1 AP算法的概率框架下解釋

在信息論中，概率能夠更好地體現(xiàn)數(shù)據(jù)的分布特征。而在遷移學(xué)習(xí)中，較準確的表示源域和目標域的數(shù)據(jù)分布是解決其他問題的基礎(chǔ)和前提。因此，本節(jié)首先引入相關(guān)的概率定義，然后表明在高斯概率假設(shè)下，可誘導(dǎo)出等價的AP算法的目標函數(shù)。換句話說，通過引入概率框架，我們可以重新解釋AP聚類算法的目標函數(shù)，進而給出AP算法基于概率框架的目標函數(shù)。該概率框架為之后解決遷移學(xué)習(xí)中的聚類問題提供了可靠的基礎(chǔ)。

令E表示代表點的下標集合，基于樣本點與代表點間的相似度，定義樣本點選擇作為代表點的概率為

其次，若當(dāng)前代表點集合中存在某代表點選擇除自己以外的其他代表點，則當(dāng)前代表點集合無效，即與AP算法的目標函數(shù)類似，在概率框架下也可以通過定義來避免這類無效的代表點集合的產(chǎn)生。因此，代表點集合的先驗概率為

由于聚類過程要求算法找到一個有效的代表點集合，并使以上兩項概率值最大。因此，從概率角度重新解釋AP算法，得到的新的目標函數(shù)為

其中，N表示數(shù)據(jù)集中樣本點的個數(shù)，E表示每個樣本點所選擇的代表點下標集合。進一步簡化目標函數(shù)式（7），并忽略常數(shù)項的影響，可以認為式（7）與AP算法的目標函數(shù)式（1）是等價的。

因此，本節(jié)通過從概率角度重新考慮基于代表點的AP聚類算法，推導(dǎo)出了同樣的AP算法的目標函數(shù)，這將為有效利用AP算法解決遷移聚類問題提供了前提條件；也就是在解決遷移聚類問題的時候，可以進一步利用概率來度量源域與目標域樣本的關(guān)系。

3.2基于Kullback-Leiber距離的遷移仿射聚類算法TAP_KL

在試圖利用AP聚類框架解決遷移聚類問題的時候，選擇一種可以測量源域與目標域數(shù)據(jù)分布的距離公式具有重要作用。盡管我們可以采用其他的方法（如卡方檢驗（Chi-Square），Hausdorff距離）來研究遷移聚類。但這里我們選擇KL距離，其原因是：（1）KL距離是信息論中最常見的一種距離度量方法。（2）基于KL距離，我們發(fā)現(xiàn)所得到的目標函數(shù)可以直接使用AP算法的優(yōu)化算法，而不需要重新構(gòu)建新的優(yōu)化算法。這也是本文的貢獻之一。KL距離是信息論中最常見的一種距離度量，這種距離從統(tǒng)計學(xué)角度測量兩個概率分布之間的相似性。假設(shè)存在兩個概率分別為P和Q，則概率分布P到概率分布Q的KL距離定義為

基于代表點的遷移聚類算法要求目標域產(chǎn)生的代表點集合與源域的代表點集合盡可能相似。具體地，首先目標域中的樣本點px從源域代表點集合中選擇最合適的代表點

進一步簡化式（10），并忽略對優(yōu)化過程無影響的常數(shù)項，得到目標函數(shù)為

上述目標函數(shù)式（11）與AP算法的目標函數(shù)具有高度的相似性，因此可以借鑒AP算法的優(yōu)化算法來優(yōu)化式（11）。

3.3 TAP_KL與AP算法

3）開關(guān)量接點豐富，繼電保護測試儀7路接點輸入和2對空接點輸出，輸入接點為空接點和0～250V接點兼容；同時其自我保護結(jié)構(gòu)設(shè)計具備一定散熱性，本身具有可靠完善的多種保護措施和電源軟啟動，因此，微機繼電保護裝置整體性價比較高。

另一方面，從樣本間相似性角度來說，AP算法的目標函數(shù)可以表示為

式（13）則等價于TAP_KL的目標函數(shù)式（12）。

綜上所述，通過使用不同的相似性度量手段，式（13）分別擴展為AP算法的目標函數(shù)式（1）和式（12）。在AP的優(yōu)化過程中，通過定義2個矩陣傳遞樣本間的信息，2個矩陣A和R的定義如式（2）所示，其迭代公式如（4），A和R均與數(shù)據(jù)集的相似性矩陣S有關(guān)。因此，在優(yōu)化TAP_KL算法的目標函數(shù)式（14）時，只需將新的相似性矩陣S代入矩陣A和R的計算中，而其他設(shè)置不變。由于新的相似性矩陣定義中嵌入了度量源域與目標域相似性的一項此時優(yōu)化算法得到的結(jié)果既考慮了目標域樣本間的相似性，也考慮了源域與目標域之間的相似性。TAP_KL算法的具體聚類步驟如表1所示。

表1　 TAP_KL算法

TAP_KL算法在解決遷移聚類問題的時候，（1）繼承了AP算法的優(yōu)勢，即不需要預(yù)設(shè)所得數(shù)據(jù)簇總數(shù)；（2）由于將源域與目標域的相似性嵌入到目標域相似性矩陣的計算中，TAP_KL算法不需要重新構(gòu)建新的優(yōu)化算法，而是直接利用AP算法的優(yōu)化算法解決遷移聚類問題，算法的時間和空間復(fù)雜度均不會增加。因此，TAP_KL算法在保持了與AP算法一致的時間與空間復(fù)雜度時，有效地解決遷移聚類問題。

4　仿真實驗

本文通過若干仿真實驗，進一步驗證TAP_KL算法的有效性，為構(gòu)建合理的遷移數(shù)據(jù)集，實驗中選取了4個真實數(shù)據(jù)集，并將其與AP算法、TSC（Transfer Spectral Clustering）算法［8］比較。

4.1數(shù)據(jù)集與評價標準

本文主要使用兩個評價指標來測試TAP_KL算法的聚類性能，即芮氏指標（Rand Index，RI）［21］與歸一化互信息（Normalized Mutual Inform ation，NM I）［19］。RI和NM I的值均在［0，1］區(qū)間內(nèi)，且其值越接近1，算法所得的聚類性能越好。由于人臉數(shù)據(jù)集呈現(xiàn)出明顯的非線性流形結(jié)果，且同一個類別的人臉圖像，在不同的光照條件以及面部表情時，能夠擁有很高的相似性。因此，本文采用如表2所示的Extend Yale B，Yale和O livetti 3個人臉數(shù)據(jù)集作為實驗數(shù)據(jù)集［22，23］。另一方面，為了從不同類型數(shù)據(jù)集驗證算法的有效性，本文還采用了MNIST手寫體數(shù)據(jù)［24］。對于Extend Yale B和MNIST數(shù)據(jù)集，隨機選取部分樣本作為源域，剩余的少部分樣本構(gòu)成目標域；對于樣本量不充分的Yale與O livetti數(shù)據(jù)集，實驗中通過圖片順時針旋轉(zhuǎn)5°、逆時針旋轉(zhuǎn)5°、縮放0.9倍、縮放1.1倍，人為構(gòu)造源域與目標域數(shù)據(jù)集［7，25］。為了更準確的分析比較各類聚類算法的聚類性能，本節(jié)中的實驗結(jié)果均是隨機進行30次所得。

表2　各數(shù)據(jù)集描述

表3　參數(shù)設(shè)置

4.2實驗結(jié)果分析

需要說明的是，與文獻［19］中的實驗部分一致，針對Yale和O livetti數(shù)據(jù)集，首先對圖像進行高斯核濾波處理，高斯核參數(shù)為0.5，其次對圖像進行均值為0，方差為0.1的歸一化處理。TAP_KL算法和AP算法中的偏向參數(shù)α的設(shè)置將會影響算法所得的簇總數(shù)，α越大，算法所得的簇總數(shù)越少，反之，越小的α將導(dǎo)致越多的簇總數(shù)。綜合數(shù)據(jù)集的真實類標以及文獻［13］中偏向參數(shù)α的設(shè)置辦法，本節(jié)中實驗參數(shù)如表3所示。另外，TSC算法要求預(yù)先設(shè)定算法所得的簇總數(shù)，以及其他若干參數(shù)，由于篇幅原因，表3并沒有標識出TSC算法的所有參數(shù)，涉及的有關(guān)參數(shù)的設(shè)置均遵循文獻［8］。

針對正則化參數(shù)λ對TAP_KL算法聚類性能的影響，目標函數(shù)式（17）中第1，第2項擁有同樣的量綱，因此λ的取值不必太大，λ可以在｛1，2，3，4，5，6，7，8，9，10｝范圍內(nèi)進行網(wǎng)格尋優(yōu)。表4中列出了λ∈｛1，3，5，7，10｝時，基于各數(shù)據(jù)集的TAP_KL算法的聚類結(jié)果，并從平均值及標準差的角度進行說明。分析表中數(shù)據(jù)可知，λ從｛1，2，3，4，5，6，7，8，9，10｝范圍內(nèi)進行網(wǎng)格尋優(yōu)是可靠的。

為了公正、準確地分析比較各類聚類算法，實驗中的各類算法都在數(shù)據(jù)集中運行多次，借助多個聚類評價指標，并通過t檢驗（t-test）統(tǒng)計分析各類算法在不同數(shù)據(jù)集上的實驗結(jié)果?；?個數(shù)據(jù)集的各類算法的聚類結(jié)果具體如表5-表7所示，以TAP_KL算法為基準，采用t檢驗統(tǒng)計分析各算法的聚類性能，所得結(jié)果如表8所示，其中所有參數(shù)設(shè)置均如表3所示。值得指出的是，當(dāng)表8中的p值小于0.05時，統(tǒng)計學(xué)中認為成對比較的兩類實驗結(jié)果具有顯著性不同。由于O livetti數(shù)據(jù)集的高維度以及高類別數(shù)，基于O livetti數(shù)據(jù)集的TSC算法運行時間過長，因此本文未將其與TAP_KL算法比較。分析各算法的聚類性能，所得實驗結(jié)論如下：

（1）分析表5-表7，考慮到TAP_KL算法在聚類性能RI與NM I的表現(xiàn)，在源域樣本數(shù)充分而目標域樣本數(shù)不足的情況下，TAP_KL算法能夠借助源域的聚類結(jié)果完成目標域的聚類任務(wù)，并得到可靠的聚類結(jié)果。

（2）由于目標域的數(shù)據(jù)集不充分，原始AP算法所得的聚類性能低于遷移聚類算法的性能，尤其是基于人臉數(shù)據(jù)集的實驗中，當(dāng)λ取值合理時，根據(jù)表8中TAP_KL算法與AP算法的t檢驗統(tǒng)計分析結(jié)果，TAP_KL算法的性能完全優(yōu)于原始的AP算法；

表4　 TAP_KL算法在不同λ時的聚類結(jié)果

表5　各算法基于數(shù)據(jù)集聚類性能比較

表6　各算法基于Yale數(shù)據(jù)集聚類性能

表7　各算法基于Olivetti數(shù)據(jù)集的聚類性能

表8　各數(shù)據(jù)集t檢驗結(jié)果

（3）在與TSC算法的比較中，值得指出的是，TSC算法需要預(yù)設(shè)數(shù)據(jù)集的簇總數(shù)。在這個前提下，表8中TAP_KL算法與TSC算法的t檢驗統(tǒng)計分析結(jié)果顯示，在解決本節(jié)中涉及到的4個數(shù)據(jù)集的遷移聚類問題時，TAP_KL算法的性能優(yōu)于TSC算法。

5　結(jié)束語

本文針對遷移聚類問題，提出了一種新的基于Kullback-Leiber距離的遷移仿射聚類算法，即TAP_KL算法。相對于其他聚類算法，本文研究了基礎(chǔ)的AP算法，并進行改進以解決遷移聚類問題。TAP_KL算法首先從概率角度重新解釋AP算法的目標函數(shù)。其次借助于信息論中的KL距離，測量源域與目標域代表點集合的相似性。最后，通過詳細分析TAP_KL算法與AP算法的目標函數(shù)，得出一個重要結(jié)論，即可以將源域與目標域的相似性嵌入到目標域數(shù)據(jù)集相似性矩陣的計算中，從而直接利用AP算法的優(yōu)化算法解決新的遷移聚類問題。仿真實驗分析進一步驗證了TAP_KL算法在解決遷移聚類問題時的有效性。雖然本文所提算法在解決遷移聚類問題時體現(xiàn)了較高的可靠性，算法仍然存在一些需要解決的問題。例如，算法的聚類性能并不十分穩(wěn)定，在多次重復(fù)的隨機實驗中出現(xiàn)了一定的差別及較高的標準差，如何提高算法的穩(wěn)定性是一個非常重要的工作，我們將在未來的工作中做更深入的研究。另外，信息論中存在多種距離度量方法，其他距離是否可以度量源域與目標域的相似性，并進而發(fā)展出一種新的遷移聚類算法也是我們在以后的工作中會關(guān)注的方向。

［1］LONG M，WANG J，DING G，et al.Adaptation regularization:A general framework for transfer learning［J］. IEEE Transactions on Know ledge and Data Engineering，2014，26（5）:1076-1089.doi:10.1109/TKDE.2013.111.

［2］畢安琪，王士同.基于SVC和SVR約束組合的遷移學(xué)習(xí)分類算法［J］.控制與決策，2014，29（6）:1021-1026.doi:10.13195 /j.kzyjc.2013.0520.

BIAnqiand WANG Shitong.Transfer classification learning based on com bination of both SVC and SVR’s constraints［J］. Con tro land Decision，2014，29（6）:1021-1026.doi:10.13195/j. kzyjc.2013.0520.

［3］PATRICIA N and CAPUTO B.Learning to learn，from transfer learning to domain adap tation:A unifying perspective［C］.Proceedings of the IEEE Conference on Com puter Vision and Pattern Recognition，Columbus，OH，USA，2014:1442-1449.doi:10.1109/CVPR.2014.187.

［4］XU Z J and SUN S L.M ulti-sou rce transfer learning w ith m ulti-view adaboost［J］.Neural Inform ation Processing，2012，7665:332-339.doi:10.1007/978-3-642-34487-9_41.

［5］PAN S J L，KWOK JT，and YANG Q.Transfer learning via dimensionality reduction［C］.Proceedings of the 23rd International Conference on A rtificial Intelligence，CA，USA: 2008:677-682.

［6］PAN S J L，NIX C，SUN J T，et al.Cross dom ain sentim ent classification via spectral feature alignment［C］.Proceedings of the 19th International Con ference on World W ide W eb（WWW-10）.New York，USA，2010，751-760.doi:10. 1145/1772690.1772767.

［7］蔣亦樟，鄧趙紅，王士同.M L型遷移學(xué)習(xí)模糊系統(tǒng)［J］.自動化學(xué)報，2012，38（9）:1393-1409.doi:10.3724/SP.J.1004.2012. 01393.

JIANG Yizhang，DENG Zhaohong，and WANG Shitong. Mam dani-Larsen type transfer learning fuzzy system［J］.Acta Automatica Sinica，2012，38（9）:1393-1409.doi:10. 3724/SP.J.1004.2012.01393.

［8］JIANG W H and CHUNG F L.Transfer spectral clustering［C］.Proceedings of the 2012 European Conference on M achine Learn ing and Princip les and Practice of Know ledge Discovery in Databases，Berlin，Heidelberg，2012:789-803. doi:10.1007/978-3-642-33486-3_50.

［9］LIM J，NG M K，CHEUNG Y M，et al.Agglom erative fuzzy K-means clustering algorithm w ith selection of number of clusters［J］.IEEE Transactions on Know ledge and Data Engineering，2008，20（11）:1519-1534.doi:10.1109/TKDE. 2008.88.

［10］KRISHMA K and MURTY M N.Genetic K-m eans algorithm［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part B，1999，29（3）:433-439.doi:10.1109/3477. 764879.

［11］ERSAHIN K，CUMM ING I G，and WARD R K. Segmentation and classification of Polarimetric SAR data using spectral graph partitioning［J］.IEEE Transactions on Geoscience and Rem ote Sensing，2010，48（1）:164-167.doi: 10.1109/TGRS.2009.2024303.

［12］LAUER F and SCHNORR C.Spectral clustering of linear subspaces for motion segmentation［C］.Proceedings of the 12th IEEE International Conference of Com puter V ision，Kyoto，Japan，2009:678-685.doi:10.1109/ICCV.2009. 5459173.

［13］FREY B J and DUECK D.Clustering by passing messages between data points［J］.Science，2007，315（5814）:972-976.

［14］肖宇，于劍.基于近鄰傳播算法的半監(jiān)督聚類［J］.軟件學(xué)報，2008，19（11）:2803-2813.doi:10.3724/SP.J.1001.2008.02803.

XIAO Yu and YU Jian.Sem i-supervised clustering based on affinity propagation algorithm［J］.Journal of Software，2008，19（11）:2803-2813.doi:10.3724/SP.J.1001.2008.02803.

［15］儲岳中，徐波，高有濤.基于近鄰傳播聚類與核匹配追蹤的遙感圖像目標識別方法［J］.電子與信息學(xué)報，2014，36（12）: 2923-2928.doi:10.3724/SP.J.1146.2014.00422.

CHU Yuezhong，XU Bo，and GAO Youtao.Technique of remote sensing image target recognition based on affinity propagation and kernel m atching pursuit［J］.Journal of Electronics&Inform ation Techno logy，2014，36（12）: 2923-2928.doi:10.3724/SP.J.1146.2014.00422.

［16］SUN L and GUO C H.Incremental affinity propagation clustering based on message passing［J］.IEEE Transactions on Know ledge and Data Engineering，2014，26（11）:2731-2744. doi:10.1109/TKDE.2014.2310215.

［17］SHI X H，GUAN R C，WANG L P，et al.An increm ental affinity p ropagation algorithm and its applications for text clustering［C］.Proceedings International Joint Con ference on Neural Networks，Atlanta，GA，USA，2009:2914-2919.doi: 10.1109/IJCNN.2009.5178973.

［18］ZHENG Yun and CHEN Pei.Clustering based on enhanced α-expansion move［J］.IEEE Transactions on Know ledge and Data Engineering，2013，25（10）:2206-2216.doi:10.1109/ TKDE.2012.202.

［19］畢安琪，董愛美，王士同.基于概率和代表點的數(shù)據(jù)流動態(tài)聚類算法［J］.計算機研究與發(fā)展，2016，53（5）:1029-1042.

BIAnqi，DONG Aimei，and WANG Shitong.A dynam ic data stream clustering algorithm based on probability and exem p lar［J］.Journal ofCom puter Research and Developm en t，2016，53（5）:1029-1042.

［20］孫力娟，陳小東，韓崇，等.一種新的數(shù)據(jù)流模糊聚類方法［J］.電子與信息學(xué)報，2015，37（7）:1620-1625.doi:10.11999/ JEIT 141415.

SUN Lijuan，CHEN Xiaodong，HAN Chong，etal.New fuzzyclustering algorithm for data stream［J］.Journal of Electronics&Information Techno logy，2015，37（7）: 1620-1625.doi:10.11999/JEIT 141415.

［21］JIANG Y Z，CHUNG F L，WANG S T，et al.Collaborative fuzzy clustering from mu ltip le weighted views［J］.IEEE Transactions on Cybernetics，2015，45（4）:688-701.doi:10. 1109/TCYB.2014.2334595.

［22］CAID，HE X F，HAN JW，et al.O rthogonal Lap lacian faces for face recognition［J］.IEEE Transactions on Image Processing，2006，15（11）:3608-3614.doi:10.1109/TIP.2006. 881945.

［23］張景祥，王士同，鄧趙紅，等.融合異構(gòu)特征的子空間遷移學(xué)習(xí)算法［J］.自動化學(xué)報，2014，40（2）:236-246.doi: 10.3724/SP.J.1004.2014.00236.

ZHANG Jingxiang，WANG Shitong，DENG Zhaohong，et al. A subspace transfer learning algorithm integrating heterogeneous features［J］.Acta Automatica Sinica，2014，40（2）:236-246.doi:10.3724/SP.J.1004.2014.00236.

［24］LE C Y，BOTTOU L，BENGIO Y，et al.Gradient-based learn ing app lied to docum ent recognition［J］.Proceedings of the IEEE，1998，86（11）:2278-2324.doi:10.1109/5.726791.

［25］REN J，SHIX，F(xiàn)ANW，et al.Type independent correction of sam p le selection bias via structural discovery and rebalancing［C］.Proceedings of the 8th SIAM International Conference on Data M ining，A tlanta，GA，USA，2008: 565-576.doi:10.1137/1.9781611972788.52.

畢安琪：女，1989年生，博士生，研究方向為模式識別、人工智能、遷移學(xué)習(xí)等.

王士同：男，1964年生，教授，研究方向為模式識別、人工智能、模糊系統(tǒng)等.

Transfer Affinity Propagation Clustering Algorithm Based on Kullback-Leiber Distance

BIAnqi WANG Shitong
（Schoo l of Digital M edia，Jiangnan University，W uxi 214122，China）

For solving the clustering p rob lem of transfer learning，a new algorithm called Transfer A ffinity Propagation clustering algorithm is proposed based on Ku llback-Leiber distance（TAP_KL）.Based on the probabilistic framework，a new interpretation of the ob jective function of A ffinity Propagation（AP）clustering algorithm is proposed.By leveraging Kullback-Leiber distance which is usually used in information theory，TAP_KL measures the sim ilarity relationship between source data and target data.Moreover，TAP_KL algorithm can embed the sim ilarity relationship to the calculation of sim ilarity matrix of target data.Thus，the op tim ization framework of AP can be directly used to optim ize the new target function of TAP_KL.In this case，TAP_KL builds a sim ple algorithm framework to solve the transfer clustering p roblem，in which the algorithm just needs tomodify the sim ilarity matrix to solve the transfer clustering prob lem.The experimental results based on both 4 datasets show the effectiveness of the p roposed algorithm TAP_KL.

A ffinity Propagation（AP）clustering algorithm；Transfer learning；Face datasets；Probabilistic framework；Kullback-Leiber distance（KL）

s:The National Natural Science Foundation of China（61170122，71272210），Jiangsu G raduate Student Innovation Projects（KYLX_1124），The Science and Technology P rogram Shandong Provinceial H igher Education（J14LN 05）

TP391.4

A

1009-5896（2016）08-2076-09

10.11999/JEIT 151132

2015-10-10；改回日期：2016-04-17；網(wǎng)絡(luò)出版：2016-06-03

畢安琪angela.sue.bi@gm ail.com

國家自然科學(xué)基金（61170122，61272210），江蘇省2014年度普通高校研究生科研創(chuàng)新計劃項目（KYLX_1124），山東省高等學(xué)校科技計劃項目（J14LN05）