基于可信點的聯(lián)合半監(jiān)督學(xué)習(xí)

王 曉 波(天津大學(xué) 理學(xué)院，天津300072)

?

基于可信點的聯(lián)合半監(jiān)督學(xué)習(xí)

王 曉 波(天津大學(xué) 理學(xué)院，天津300072)

摘要：在半監(jiān)督分類問題中，某些無標(biāo)簽的數(shù)據(jù)點很有可能屬于某一特定的類，則這些點可被信任，應(yīng)當(dāng)被充分地利用去幫助學(xué)習(xí)正確的分類界面，從而提升圖像分類的效果.因此，如何區(qū)分出可信點在半監(jiān)督分類問題中顯得尤為重要.針對該問題，提出一種聯(lián)合的半監(jiān)督學(xué)習(xí)方法，可以自適應(yīng)地區(qū)分可信點，并且提出了相應(yīng)的迭代優(yōu)化分類器和可信點標(biāo)簽矩陣的算法，把分類器的歸納能力和無標(biāo)簽數(shù)據(jù)的標(biāo)簽直推化能力融合到了一個框架中，不需要額外的步驟去預(yù)測無標(biāo)簽數(shù)據(jù)的標(biāo)簽.在兩個人臉數(shù)據(jù)庫中大量實驗驗證了所提方法的可行性和有效性.

關(guān)鍵詞：聯(lián)合半監(jiān)督學(xué)習(xí)；圖像分類；可信點

研究有效的算法去實現(xiàn)圖像分類是計算機視覺的一大熱點.監(jiān)督分類系統(tǒng)[1-2]依賴手工標(biāo)注的帶標(biāo)簽的數(shù)據(jù)特別耗費人力和財力，甚至有時候無法實現(xiàn)的.在大部分的情況下，數(shù)據(jù)集中的訓(xùn)練樣本雖然很多，但是帶標(biāo)簽的卻很少.因此，如何充分利用那些無標(biāo)簽的數(shù)據(jù)就變得非常重要. 近些年提出了大量的半監(jiān)督學(xué)習(xí)方法就是適合這種情況，主要可分為三種類型：直推式學(xué)習(xí)模型[3-6]、歸納式學(xué)習(xí)模型[7-8]和聯(lián)合學(xué)習(xí)模型[9].直推式模型主要是基于標(biāo)簽在圖中的傳播，最優(yōu)的預(yù)測標(biāo)簽則是標(biāo)簽和圖的結(jié)構(gòu)一致性的最大化.一些代表性的工作包括局部全局一致性(LGC)[4]，高斯域調(diào)和函數(shù)(GFHF)[5]，局部樣條回歸(LSR)[6]等等.雖然這些方法有理論上的保證，但不能用于預(yù)測訓(xùn)練樣本之外的測試集，并且計算量很大.

歸納式模型利用無標(biāo)簽的數(shù)據(jù)去正則化分類器(保證分類界面通過的是數(shù)據(jù)低密度的區(qū)域).學(xué)習(xí)的分類器可用于分類訓(xùn)練樣本中的無標(biāo)簽數(shù)據(jù)和訓(xùn)練樣本之外的測試樣本.從以能用于測試樣本的角度看，歸納式模型在應(yīng)用中更為實用.一些代表性的方法包括拉普拉斯回歸(LR)[7]，彈性流行嵌入(FME)[8]，但這些方法需要額外的步驟去預(yù)測訓(xùn)練樣本中無標(biāo)簽的數(shù)據(jù)的標(biāo)簽.

聯(lián)合直推式和歸納式模型如ASL[9]同時學(xué)習(xí)分類器和預(yù)測訓(xùn)練樣本中無標(biāo)簽數(shù)據(jù)的標(biāo)簽.該方法可用于測試樣本且可擴展到大數(shù)據(jù)上，實驗結(jié)果顯示比傳統(tǒng)基于圖的方法更好.但是用所有無標(biāo)簽的數(shù)據(jù)去精細分類器一般達不到最優(yōu)的分類效果.

為了同時克服以上所有的缺點，本文提出了一種新的聯(lián)合半監(jiān)督學(xué)習(xí)模型(簡記為USSL_CP).該算法融合了三個優(yōu)點：自動區(qū)分可信點、自適應(yīng)地優(yōu)化過程和計算有效性.

1基于可信點的聯(lián)合半監(jiān)督學(xué)習(xí)

直覺上，對于帶標(biāo)簽的數(shù)據(jù)，希望學(xué)習(xí)分類器能很好地分開它們.即對于帶標(biāo)簽的訓(xùn)練樣本xi，其分類錯誤[公式(1)]應(yīng)該很小.其中Xl∈Rd×nl是帶標(biāo)簽的訓(xùn)練樣本矩陣，Yl∈Rn1×C是標(biāo)簽矩陣，W∈Rd×C是要學(xué)習(xí)的分類器的參數(shù)矩陣，

(1)

b∈RC×1是偏差.1nl是nl維元素為1的列向量.

(2)

其中:P∈Rnu×c是Pjk形成的無標(biāo)簽數(shù)據(jù)的標(biāo)簽概率矩陣.tk∈Rc×1則是第k類別標(biāo)簽的指示向量.

最后基于可信點的聯(lián)合半監(jiān)督學(xué)習(xí)模型為：

minW,b,PJl(W,b)+Ju(W,b,P)

(3)

2優(yōu)化算法過程

(4)

2) 固定無標(biāo)簽數(shù)據(jù)的標(biāo)簽概率矩陣P，優(yōu)化模型參數(shù)W 和 b.將目標(biāo)方程(3)重新寫成一種緊致的矩陣形式：

(5)

目標(biāo)函數(shù)(5)關(guān)于b求偏導(dǎo)為0，可得：

(6)

目標(biāo)函數(shù)(5)關(guān)于W求偏導(dǎo)為0, 可得：

W=C-1A.

(7)

其中

為了使整個算法更為清晰，總結(jié)為算法1. 兩步交替地迭代優(yōu)化模型可知分類器的歸納能力受標(biāo)簽概率矩陣的影響，同時無標(biāo)簽數(shù)據(jù)的直推能力又取決于分類器.

算法 1：基于可信點聯(lián)合半監(jiān)督學(xué)習(xí) (USSL_CP)

各參數(shù)的初始值Winit,binit,σinit,θinit.

Fort

(10)

1)公式(4)更新無標(biāo)簽數(shù)據(jù)的概率矩陣P

2)公式(7)和(6)更新分類器參數(shù)W和b

end

輸出：分類器參數(shù)W和b, 概率矩陣P.

3實驗

3.1數(shù)據(jù)集的描述

為了評價本文提出的聯(lián)合半監(jiān)督學(xué)習(xí)方法的有效性，分別在ORL數(shù)據(jù)庫[10]，和YALE-B數(shù)據(jù)庫[11]兩個數(shù)據(jù)庫上做了相應(yīng)的實驗.兩個數(shù)據(jù)庫都是相應(yīng)的人臉數(shù)據(jù)庫，將原始的灰度圖像用PCA進行降維.重要的數(shù)據(jù)指標(biāo)如表1所示.

表1數(shù)據(jù)集描述

#樣本個數(shù)#特征維數(shù)#類數(shù)ORL40064440Yale-B2414102438

3.2實驗設(shè)置

為評價本文提出的聯(lián)合半監(jiān)督學(xué)習(xí)方法的可行性和有效性，實驗比較了最具代表性的直推式半監(jiān)督學(xué)習(xí)方法高斯域調(diào)和函數(shù)(GFHF)[5]和最具代表性的歸納式半監(jiān)督學(xué)習(xí)方法拉普拉斯回歸(LapReg)[7]，還有最具代表性的聯(lián)合學(xué)習(xí)方法自適應(yīng)的半監(jiān)督學(xué)習(xí)方法(ASL)[9]，以及最具代表性的監(jiān)督學(xué)習(xí)方法支持向量機(SVM)[12].

實驗重復(fù)10次去計算平均分類準(zhǔn)確率和標(biāo)準(zhǔn)差以及用不同個數(shù)的帶標(biāo)簽數(shù)據(jù)來測試算法對帶標(biāo)簽數(shù)據(jù)的敏感性.隨機從每類選取1，3,5個帶標(biāo)簽的數(shù)據(jù)點，剩余的作為無標(biāo)簽的數(shù)據(jù).對于直推式的模型，由于不能用于測試集的預(yù)測，僅僅計算其訓(xùn)練樣本中無標(biāo)簽數(shù)據(jù)的識別率.對于歸納式的方法，隨機選取33%的數(shù)據(jù)做測試集，其余的樣本隨機劃分為帶標(biāo)簽的和無標(biāo)簽的數(shù)據(jù).并計算了訓(xùn)練樣本中無標(biāo)簽數(shù)據(jù)的識別率和測試集的識別率.

對于本文的參數(shù)θ從0～0.1的范圍內(nèi)調(diào)整，每次調(diào)整的步長0.01.參數(shù)σ從0～1之間調(diào)整，每次調(diào)整的步長為0.1. SVM則用的是默認參數(shù)值, GFHF是無參的模型，對于LapReg，兩個正則化參數(shù)在調(diào)整{10-5,10-4,…,104,105}. 對于ASL，它的參數(shù)r從1～2 之間調(diào)整，每次調(diào)整的步長為0.1，報告的結(jié)果為最佳參數(shù)下所得出的結(jié)果.

表2不同比較方法在ORL數(shù)據(jù)庫上的平均分類準(zhǔn)確率及偏差

ORLSVMGFHFLapRegASLUSSL_CPkl=1測試集無標(biāo)簽64.83±4.1265.50±2.44NA65.87±1.7366.58±3.7466.38±2.3467.50±3.8667.66±1.4071.83±3.0468.00±1.27kl=3測試集無標(biāo)簽87.83±2.7386.87±1.53NA85.15±1.7884.53±2.3785.79±2.5488.50±1.0886.00±2.6389.50±1.3987.82±1.67kl=5測試集無標(biāo)簽94.16±0.8394.25±1.11NA89.83±2.2690.37±3.0192.01±2.3193.50±0.1892.83±1.3995.00±1.5397.85±1.39

注：kl-每類帶標(biāo)簽的數(shù)據(jù)樣本個數(shù)；NA-不可無法獲得的結(jié)果

表3不同比較方法在Yale-B數(shù)據(jù)庫上的平均分類準(zhǔn)確率及偏差

Yale-BSVMGFHFLapRegASLUSSL_CPkl=1測試集無標(biāo)簽57.32±4.1056.26±3.59NA45.98±3.3753.34±4.5353.37±4.3259.22±4.6959.38±3.5660.94±3.9261.03±2.73kl=3測試集無標(biāo)簽90.36±2.3289.83±2.56NA79.82±1.7991.51±1.6592.83±1.5796.14±1.1696.59±1.8596.69±1.4695.14±1.06kl=5測試集無標(biāo)簽98.10±0.7698.29±0.98NA89.96±2.3897.38±1.0598.16±1.0799.00±0.8799.21±0.5399.10±0.6799.340.23

3.3分類性能比較

表2、表3中報告了不同的算法在兩個數(shù)據(jù)庫上的平均識別率和標(biāo)準(zhǔn)差.從這些表的數(shù)據(jù)可以得出，本文提出的USSL_CP模型優(yōu)于其他的方法.同時得出當(dāng)帶標(biāo)簽的數(shù)據(jù)量增大的時候，分類效果也比其他的方法好.特別是當(dāng)每類帶標(biāo)簽數(shù)據(jù)的個數(shù)從1增加到3時，分類識別率有明顯地提升.

3.4收斂性

每次迭代都是最小化目標(biāo)函數(shù)，即每步迭代的目標(biāo)函數(shù)是減小的，且目標(biāo)函數(shù)值的下界為0，算法是收斂的.在2.60GHz主頻和i5雙核處理器，4 GB的內(nèi)存的臺式機上，四個數(shù)據(jù)庫上，10步迭代已足夠使得算法收斂穩(wěn)定.

4結(jié)語

本文提出了一種聯(lián)合的半監(jiān)督學(xué)習(xí)模型，可以自適應(yīng)地識別可信點.與以往的聯(lián)合半監(jiān)督學(xué)習(xí)方法相比，該模型不考慮那些起錯誤引導(dǎo)作用的無標(biāo)簽數(shù)據(jù)點，而是考慮可信點去幫助學(xué)習(xí)分類界面.從而達到更好的識別效果.并且提出了交替迭代優(yōu)化模型參數(shù)和無標(biāo)簽數(shù)據(jù)的概率標(biāo)簽矩陣，把分類器的歸納能力和無標(biāo)簽的直推能力融入在一個框架下，不需要額外的步驟去預(yù)測無標(biāo)簽數(shù)據(jù)的標(biāo)簽，并且不需要構(gòu)建拉普拉斯圖矩陣，避免了較大的計算復(fù)雜度，即在理論上是可以擴展到大數(shù)據(jù)庫上.

參考文獻：

[1]LAZEBNIK S, SCHMID C, PONCE J. A sparse texture representation using local affine regions [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2005, 27(8): 1265-1278.

[2]LAZEBNIK S, SCHMID C, PONCE J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories[C]// New York: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2006, 2: 2169-2178.

[3]ZHU X, GOLDBERG A B. Introduction to semi-supervised learning [J]. Synthesis Lectures on Artificial Intelligence and Machine Learning, 2009, 3(1): 1-130.

[4]ZHOU D, BOUSQUET O, LAL T N,etal. Learning with local and global consistency [J]. Advances in neural information processing systems, 2004, 16(16): 321-328.

[5]ZHU X, GHAHRAMANI Z, LAFFERTY J. Semi-supervised learning using gaussian fields and harmonic functions[C]//Washington DC: ICML, 2003, 3: 912-919.

[6]XIANG S, NIE F, ZHANG C. Semi-supervised classification via local spline regression [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(11): 2039-2053.

[7]SINDHWANI V, NIYOGI P, BELKIN M, et al. Linear manifold regularization for large scale semi-supervised learning[C]// Bonn: Proc. of the 22nd ICML Workshop on Learning with Partially Classified Training Data, 2005. 28.

[8]NIE F, XU D, TSANG I W H,etal. Flexible manifold embedding: A framework for semi-supervised and unsupervised dimension reduction [J]. IEEE Transactions on Image Processing, 2010, 19(7): 1921-1932.

[9]WANG D, NIE F, HUANG H. Large-scale adaptive semi-supervised learning via unified inductive and transductive model[C]// New York: ACM Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data mining, 2014. 482-491.

[10]ORL Face Database [DB/OL]. http://www.cam-orl.co.uk/facedatabase.html.

[11]Yale Face Database [DB/OL]. http://cvc.yale.edu/projects/yalefaces/yalefaces.html.

[12]CHANG C C, LIN C J. LIBSVM: a library for support vector machines [J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2011, 2(3): 27.

Unified semi-supervised learning with confidence points

WANG Xiao-bo

(School of Science, Tianjin University, Tianjin 300072, China)

Abstract：In the question of semi-supervised classification, if data points have high confidence of belonging to a particular class, they should be well utilized for learning the correct classifier and thus can help boost the classification performance. So how to adaptively choose confidence points become very crucial in semi-supervised learning. To address the challenge, this paper proposed a unified semi-supervised learning model, which could adaptively distinguish confidence points, such that our new model is more effective for classification. Moreover, an efficient algorithm was also derived to alternatively optimize the model parameter and confidence matrix of the unlabeled data, such that the induction of classifier and the transduction of labels were unified into a framework, without needing an extra step to predict the label of unlabeled data. Extensive experimental results on two real-world data sets showed that the proposed unified semi-supervised learning model outperforms other related methods in most cases.

Key words：unified semi-supervised learning; image classification; confidence points.

中圖分類號：O235

文獻標(biāo)識碼：A

文章編號：1672-0946(2016)01-0067-04

作者簡介：王曉波(1991-)，男，碩士，研究方向：模式識別、計算機視覺.

基金項目：國家自然科學(xué)基金(61379014)

收稿日期：2015-04-01.