一種半監(jiān)督重復(fù)軟最大化模型

邢國(guó)正，江雨燕，吳 超，李常訓(xùn)

（安徽工業(yè)大學(xué)管理科學(xué)與工程學(xué)院，安徽馬鞍山243002）

一種半監(jiān)督重復(fù)軟最大化模型

邢國(guó)正，江雨燕，吳 超，李常訓(xùn)

（安徽工業(yè)大學(xué)管理科學(xué)與工程學(xué)院，安徽馬鞍山243002）

概率主題模型由于其高效的數(shù)據(jù)降維和文檔主題特征挖掘能力被廣泛應(yīng)用于各種文檔分析任務(wù)中，然而概率主題模型主要基于有向圖模型構(gòu)建，使得模型的表示能力受到極大限制。為此，研究分布式主題特征表示和基于無向圖模型玻爾茲曼機(jī)的重復(fù)軟最大化模型（RSM），提出一種半監(jiān)督的RSM（SSRSM）。將SSRSM、RSM模型提取的主題特征應(yīng)用于多標(biāo)記判別任務(wù)中，實(shí)驗(yàn)結(jié)果表明，相比LDA和RSM模型，SSRSM模型具有更好的多標(biāo)記判別能力。

主題模型；無向圖模型；重復(fù)軟最大化模型；半監(jiān)督模型；特征學(xué)習(xí)

1 概述

概率主題模型［1］被廣泛應(yīng)用于大規(guī)模語料數(shù)據(jù)的分析和語義主題提取過程中［2］。大部分概率主題模型都假設(shè)每個(gè)文檔可以表示成若干個(gè)主題混合的形式，其中每一個(gè)主題都是由所有詞組成的多項(xiàng)分布。這些模型可以看成是包含隱含主題變量的有向概率圖模型，在隱含變量和觀測(cè)變量之間存在有向連接。這種結(jié)構(gòu)使得對(duì)概率主題模型的精確求解變得非常困難，必須使用估計(jì)方法來計(jì)算模型主題的后驗(yàn)概率［3］。有向圖結(jié)構(gòu)的另一個(gè)缺點(diǎn)是無法對(duì)產(chǎn)生概率大于主題組合的單詞進(jìn)行有效預(yù)測(cè)，同時(shí)也無法預(yù)測(cè)產(chǎn)生概率小于主題組合的單詞。這使得概率主題模型無法有效提取分布式表示的特征［4］，模型擬合能力較差。

分布式特征表示是指語義特征并不是僅存在于一個(gè)主題之中，而是通過多個(gè)主題特征以相乘的方式組合而成的。在概率主題模型中，語義特征是由主題混合通過加權(quán)和的方式表達(dá)的，其語義表示能力要比分布式的表示方式弱。盡管分布式的表示方式提取的單個(gè)主題信息可能相對(duì)于概率主題模型的主題表示能力較弱，但是由于通過特征相乘的方式，分布式將具有更強(qiáng)的文檔表示能力。為此，本文提出一種可以有效利用文檔多標(biāo)記信息的半監(jiān)督重復(fù)軟最大化模型（Semi Supervised Replicated Softmax Model，SSRSM）。

2 基于無向圖模型的概率主題模型

2.1 受限玻爾茲曼機(jī)

由于基于有向圖模型的概率主題模型在模型優(yōu)化和語義表示方面暴露出的缺點(diǎn)，如何將無向圖模型和分布式特征表示進(jìn)行有效結(jié)合已經(jīng)成為工業(yè)界和學(xué)術(shù)界研究的重點(diǎn)。近年來，已有一些學(xué)者通過使用玻爾茲曼機(jī)［5］來構(gòu)建類似于概率主題模型的語義結(jié)構(gòu)，并且取得了一定的進(jìn)展。

玻爾茲曼機(jī)是一種兩層隨機(jī)單元組成的網(wǎng)絡(luò)結(jié)構(gòu)。這些隨機(jī)單元可以分為2類，分別為可見單元ν∈｛0，1｝dν表示輸入數(shù)據(jù)，隱含單元h∈｛0，1｝dh，其中，ν和h均為向量，隱含單元與可見單元是互補(bǔ)先驗(yàn)的關(guān)系。

通常不能直接求解玻爾茲曼機(jī)的參數(shù)，例如在計(jì)算hi的條件概率P（hi|ν）時(shí)，需要根據(jù)如下公式求解：

因此，需要對(duì)2dh-1個(gè)項(xiàng)求和，這使得P（hi|ν）的計(jì)算非常困難。

為了簡(jiǎn)化玻爾茲曼機(jī)的求解，需要對(duì)其添加一定的條件約束，進(jìn)而簡(jiǎn)化參數(shù)估計(jì)的計(jì)算過程。受限波爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）［6］可以看成是一類添加了條件約束的玻爾茲曼機(jī)，其定義方式與玻爾茲曼機(jī)相似，但添加了2個(gè)約束，即在隱含單元之間不存在無向圖連接，同時(shí)在可見單元之間也不存在無向圖連接。一個(gè)包含3個(gè)隱含單元和4個(gè)可見單元的受限玻爾茲曼機(jī)結(jié)構(gòu)如圖1所示。在這個(gè)條件約束下RBM具有許多優(yōu)良的性質(zhì)，首先在給定可見單元的情況下，隱含單元的條件概率分布是可分解的，使得對(duì)其求解變得簡(jiǎn)單、可行。目前已經(jīng)有許多求解RBM模型參數(shù)的方法，包括投影尋蹤方法［7］、對(duì)比分歧［8］方法、隨機(jī)最大似然方法［9］等。

圖1 受限玻爾茲曼機(jī)

2.2 基于受限波爾茲曼機(jī)的概率主題模型結(jié)構(gòu)

RBM作為一種隱含變量模型，已經(jīng)被廣泛應(yīng)用于圖像特征提取、數(shù)據(jù)降維等任務(wù)中［10］。近年來一些學(xué)者已開始將RBM應(yīng)用于文檔主題提取中，并且取得了良好的效果。

文獻(xiàn)［11-12］使用泊松分布來模型化詞計(jì)數(shù)向量，并且采用RBM作為可見單元到隱含單元的映射模型來提取文檔主題特征。其提出的模型在文檔特征的分布式表示方面取得了良好的效果。然而，該模型無法處理不同長(zhǎng)度的文檔數(shù)據(jù)，使得模型學(xué)習(xí)變得困難、不穩(wěn)定，這也是該模型無法在真正的生產(chǎn)環(huán)境中被使用的重要原因。而有向圖模型在建模過程中通過直接將語料中未出現(xiàn)的詞對(duì)應(yīng)的結(jié)點(diǎn)刪除的方式，可以簡(jiǎn)潔地處理不同文檔長(zhǎng)度導(dǎo)致的問題，這也是有向圖模型與無向圖模型建模的不同之處。

文獻(xiàn)［13］通過引入約束泊松模型的方式來模型化文檔數(shù)據(jù)，盡管其參數(shù)學(xué)習(xí)過程是穩(wěn)定的，然而其關(guān)于詞計(jì)數(shù)的分布不是一個(gè)正規(guī)的概率分布形式，導(dǎo)致無法合理解釋提取的特征信息。文獻(xiàn)［14］提出了RSM模型，該模型可以通過CD方法快速訓(xùn)練，同時(shí)可以更好地處理不同長(zhǎng)度的文檔，在計(jì)算隱含主題變量的分布時(shí)更加簡(jiǎn)單。

文獻(xiàn)［15］采用深層玻爾茲曼機(jī)（Deep Boltzmann Machine，DBM）的方式對(duì)RSM模型進(jìn)行了改進(jìn)，并且取得了較好的效果。然而該模型由于采用多層RBM的方式構(gòu)建，其計(jì)算復(fù)雜度較高，無法用于大規(guī)模數(shù)據(jù)處理任務(wù)中。

同時(shí)，盡管RSM和DBM模型在文檔主題提取和分布式特征學(xué)習(xí)方面具有優(yōu)良的性質(zhì)，但是這類模型與標(biāo)準(zhǔn)LDA模型相似，都無法處理含有類別標(biāo)記的文檔數(shù)據(jù)［16］，即它們都是無監(jiān)督特征提取模型。這導(dǎo)致提取的特征被應(yīng)用于監(jiān)督學(xué)習(xí)中時(shí)產(chǎn)生一定的問題［17］。因此，在RSM模型研究中如何將RBM的分布式特征提取和監(jiān)督或半監(jiān)督學(xué)習(xí)結(jié)合已經(jīng)成為人們研究的重點(diǎn)內(nèi)容。

3 模型描述

3.1 模型定義

本文通過對(duì)文檔標(biāo)記與主題之間的映射關(guān)系［18］的研究，提出一種半監(jiān)督Replicated Softmax模型（Semi-supervised Replicated Softmax Model，SSRSM）。設(shè)整個(gè)語料庫中包含的不同標(biāo)記數(shù)為L(zhǎng)，語料庫中第d個(gè)文檔的長(zhǎng)度為D。ν∈｛1，2，…，K｝D表示RBM對(duì)應(yīng)的可見單元，其中，K為字典中包含詞的數(shù)量表示文檔中包含詞的數(shù)量。h∈｛0，1｝Fd表示二進(jìn)制隨機(jī)隱含主題特征，其中，F(xiàn)d的值由文檔d的多標(biāo)記決定。設(shè)矩陣A為一個(gè)S×L維的矩陣，S表示語料庫中包含的文檔數(shù)量。矩陣A可以看成是一個(gè)文檔標(biāo)記識(shí)別矩陣，若第d個(gè)文檔存在第l個(gè)文檔標(biāo)記，則Adl=1，否則Adl=0。設(shè)文檔d對(duì)應(yīng)的RBM包含2種隱含單元，分別為共享隱含單元和獨(dú)享隱含單元。其中，共享隱含單元與文檔無關(guān)，即語料庫中所有的文檔對(duì)應(yīng)的RBM均含有相同的共享隱含單元。文檔對(duì)應(yīng)的RBM除了含有共享隱含單元外，每個(gè)文檔標(biāo)記還存在若干個(gè)獨(dú)享隱含單元。設(shè)文檔包含的共享隱含單元數(shù)為Fs，對(duì)于第d個(gè)文檔對(duì)應(yīng)的獨(dú)享隱含單元數(shù)為sum（Ad）×Fl，其中，sum（Ad）表示矩陣A第d行元素的和，F(xiàn)l表示每個(gè)標(biāo)記對(duì)應(yīng)的獨(dú)享隱含單元的數(shù)量。由此可以得到，文檔d對(duì)應(yīng)的Fd的值為Fd= Fs+sum（Ad）×Fl。

設(shè)矩陣B為一個(gè)d×（Fs+L·Fl）的矩陣，定義其為文檔對(duì)應(yīng)的隱含單元識(shí)別矩陣，其中，前Fs列元素全部為1，表示共享隱含單元，對(duì)于其余Fs+ 1～Fs+L·Fl列元素對(duì)應(yīng)文檔的獨(dú)享隱含單元，若矩陣Aij=1，則矩陣B的第i行的Fs+（j-1）Fl～Fs+j·Fl元素全部為1，否則為0。

設(shè)語料庫中存在2篇文檔分別為d1和d2，2篇文檔包含不同的標(biāo)記個(gè)數(shù)為3個(gè)，設(shè)每篇文檔對(duì)應(yīng)的共享隱含單元數(shù)為2，每個(gè)標(biāo)記對(duì)應(yīng)的局部隱含單元數(shù)為2，設(shè)文檔d1包含標(biāo)記1和標(biāo)記3，則其對(duì)應(yīng)的SSRSM模型如圖2（a）所示。設(shè)文檔d2包含標(biāo)記1和標(biāo)記2，則其對(duì)應(yīng)的SSRSM模型如圖2（b）所示。

圖2 SSRSM模型結(jié)構(gòu)

3.2 模型推理

對(duì)于文檔d，根據(jù)模型定義可以得到在｛V，hd｝狀態(tài)的能量函數(shù)為：

其中，｛W，b，a｝表示模型參數(shù)；V為一個(gè)K×D維的矩陣。如果第i可見單元對(duì)應(yīng)的第K個(gè)詞在文檔中出現(xiàn)，則，否則由此可以得到矩陣V概率為：

可見，單元和隱含單元的條件概率為：

假設(shè)不考慮文檔中詞出現(xiàn)的順序，每個(gè)文檔對(duì)應(yīng)的RBM與其他文檔的RBM具有相同的參數(shù)集合，可以得到在｛V，hd｝狀態(tài)的能量函數(shù)為：

其中，EPdata［·］表示數(shù)據(jù)分布Pdata（V）的期望；表示em pirical分布；EPModel［·］表示模型分布的期望。在該模型中，計(jì)算EPModel［·］的計(jì)算量與m in｛D，F(xiàn)｝呈指數(shù)關(guān)系，通常不能精確計(jì)算最大似然函數(shù)。為了有效計(jì)算EPModel［·］的值，采用CD方法實(shí)現(xiàn)估計(jì)其值。目標(biāo)函數(shù)參數(shù)的調(diào)節(jié)量為：

其中，α表示學(xué)習(xí)率或步長(zhǎng)；PT表示通過T步完整的Gibbs Sampling［19］采樣獲得的分布。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 主題提取

為了充分驗(yàn)證本文提出模型的主題提取能力，將該模型與標(biāo)準(zhǔn)LDA模型、Replicated Softmax模型進(jìn)行了比較。對(duì)于無向圖模型，由于在計(jì)算全局正規(guī)化項(xiàng)時(shí)需要計(jì)算和遍歷指數(shù)個(gè)概率項(xiàng)，因此直接計(jì)算文檔的hold-out概率是不可行的。在實(shí)驗(yàn)過程中采用文獻(xiàn)［20］提出的退火重要性采樣（Annealed important Sam pling，AIS）方法來估計(jì)RBM的劃分函數(shù)。

其中，χ（i）～PA。然而當(dāng)PA（χ）和PB（χ）的值并不十分接近時(shí)，估計(jì)值將變得不精確。尤其是在較高維空間時(shí)，估計(jì)的誤差將會(huì)非常大，除非PA（χ）與PB（χ）非常接近，否則不能夠獲得有效的估計(jì)。

退火重要性采樣可以看成是簡(jiǎn)單重要性采樣方法在高維空間的改進(jìn)。AIS使用了大量的輔助變量使PA（χ）接近目標(biāo)分布PB（χ）。AIS定義了一系列概率分布P0，P1，…，PS，其中，P0=PA且PS=PB。通?？梢酝ㄟ^如下方法定義分布系列：

令：

其中，0=β0＜β1＜…＜βK=1。同時(shí)對(duì)于每個(gè)PK（χ）定義一個(gè)馬爾科夫鏈狀態(tài)轉(zhuǎn)移操作TK（χ′；χ）。

對(duì)于包含D個(gè)詞的文檔可以推導(dǎo)出｛V，h｝的聯(lián)合概率分布為：

通過將h積分掉可以非正規(guī)化概率P*（V），這時(shí)可以定義分布序列：

當(dāng)s=0時(shí)，可以得到βs=0，P0表示均勻分布，其劃分函數(shù)為Z0=2F，F(xiàn)表示隱含單元的數(shù)量。一輪A IS迭代過程如下：

AIS首先從均勻分布P0（V）中采樣，接著應(yīng)用一系列的狀態(tài)轉(zhuǎn)移操作T1，T2，…，TS-1，使得樣本從P0（V）分布移動(dòng)到Ps（V）分布。在運(yùn)行完MAIS過程后，可以通過重要性權(quán)重獲得模型劃分函數(shù)的無偏估計(jì)：

實(shí)驗(yàn)中為了充分驗(yàn)證模型的主題特征提取能力，分別將本文提出的模型與標(biāo)準(zhǔn)LDA模型和RSM模型進(jìn)行了比較，在多標(biāo)記數(shù)據(jù)集enron和bibtex下，模型perp lexity的測(cè)試結(jié)果如圖3～圖6所示。

圖3 PerPlexity隨共享隱含單元數(shù)增加的變化情況1

圖4 PerPlexity隨共享隱含單元數(shù)增加的變化情況2

圖5 PerPlexity隨共享隱含單元數(shù)增加的變化情況3

圖6 PerPlexity隨共享隱含單元數(shù)增加的變化情況4

圖3 表示在enron數(shù)據(jù)集下每個(gè)標(biāo)記對(duì)應(yīng)1個(gè)獨(dú)享隱含單元時(shí)，perplexity隨著共享隱含單元數(shù)增加的變化情況。圖4表示在enron數(shù)據(jù)集下每個(gè)標(biāo)記對(duì)應(yīng)2個(gè)獨(dú)享隱含單元時(shí)，perplexity隨著共享隱含單元數(shù)增加的變化情況。圖5、圖6分別表示在bibtex數(shù)據(jù)下，每個(gè)標(biāo)記對(duì)應(yīng)的獨(dú)享隱含單元數(shù)為1，2時(shí)，perplexity隨共享隱含單元數(shù)增加的變化情況。在上述實(shí)驗(yàn)中，LDA的主題數(shù)和RSM隱含單元數(shù)均設(shè)置為SSRSM模型獨(dú)享單元數(shù)與共享單元數(shù)的總數(shù)。在實(shí)驗(yàn)過程中，分別取90%數(shù)據(jù)作為訓(xùn)練集，10%的數(shù)據(jù)作為驗(yàn)證集?？梢钥闯?，本文提出的模型在獨(dú)享隱含單元（或主題）數(shù)確定的情況下，隨著共享主題數(shù)的增加，模型的perplexity呈下降趨勢(shì)，并且當(dāng)共享隱含單元數(shù)增加到一定量時(shí)，SSRSM的perp lexity的值要明顯小于RSM和LDA模型。因此，可以說明本文提出的SSRSM模型具有優(yōu)于標(biāo)準(zhǔn)LDA模型和RSM模型的主題提取能力。

4.2 測(cè)試結(jié)果

模型特征提取能力判定的另一個(gè)標(biāo)準(zhǔn)是將學(xué)習(xí)到的特征應(yīng)用于監(jiān)督學(xué)習(xí)中。本文實(shí)驗(yàn)過程中將SSRSM模型獲得的特征應(yīng)用于MLKNN［21］模型多標(biāo)記判別任務(wù)中，并與RSM模型進(jìn)行了比較。實(shí)驗(yàn)中使用10折交叉驗(yàn)證，測(cè)試結(jié)果如表1、表2所示。

表1 RSM提取特征的測(cè)試結(jié)果

表2 SSRSM提取特征的測(cè)試結(jié)果

可以看出本文提出SSRSM模型提取的特征在分類任務(wù)中具有明顯優(yōu)于RSM的性能，尤其是在模型召回率、模型準(zhǔn)確率、平均精度、覆蓋率、錯(cuò)誤率、排名丟失率、微平均F值判別標(biāo)準(zhǔn)下，文檔多標(biāo)記判別的準(zhǔn)確性要明顯高于RSM模型。而在其他判定標(biāo)準(zhǔn)下，雖然SSRSM模型的優(yōu)點(diǎn)并不明顯，但仍然高于RSM模型。

5 結(jié)束語

本文通過對(duì)分布式主題特征提取和RSM模型的研究，結(jié)合概率主題模型監(jiān)督學(xué)習(xí)實(shí)現(xiàn)方法，提出一種半監(jiān)督的RSM模型，并且通過實(shí)驗(yàn)驗(yàn)證了該模型具有優(yōu)于LDA模型和RSM模型的主題特征提取能力。近年來基于RBM的深度結(jié)構(gòu)模型［22］被廣泛應(yīng)用于圖像識(shí)別、自然語言處理等任務(wù)中，并取得了良好的效果。

本文提出的SSRSM模型也可以作為深結(jié)構(gòu)的構(gòu)件，從而實(shí)現(xiàn)一種新的深入學(xué)習(xí)模型，進(jìn)一步提升模型性能。

［1］ Blei D M，Ng A Y，Jordan M I.Latent Dirichlet Allocation［J］.Journal of Machine Learning Research，2003，3（3）：993-1022.

［2］ Wei Xing，CroftW B.LDA-based Docum ent Models for Ad-hoc Retrieval［C］//Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York，USA：ACM Press，2006：178-185.

［3］ Teh Y W，Newman D，Welling M.A Collapsed Variational Bayesian Inference Algorithm for Latent Dirichlet Allocation［M］.Cambridge，USA：M IT Press，2006.

［4］ Elman J L.Distributed Representations，Sim ple Recurrent Networks，and Grammatical Structure［J］.Machine Learning，1991，7（2/3）：195-225.

［5］ Ackley D H，Hinton G E，Sejnowski T J.A Learning Algorithm for Boltzmann Machines［J］.Cognitive Science，1985，9（1）：147-169.

［6］ Tielem an T.Training Restricted Boltzmann Machines Using Approximations to the Likelihood Gradient［C］// Proceedings of the 25th International Conference on Machine Learning.New York，USA：ACM Press，2008：1064-1071.

［7］ Freund Y，Haussler D.Unsupervised Learning of Distributions on Binary Vectors Using Two Layer Networks［J］. Neural Computation，2002，14（8）：1711-1800.

［8］ Hinton G E.Products of Experts［C］//Proceedings of the 9th International Conference on Artificial Neural Networks. Washington D.C.，USA：IEEE Press，1999：1-6.

［9］ Younes L.On the Convergence of Markovian Stochastic Algorithms with Rapidly Decreasing Ergodicity Rates［J］. International Journal of Probability and Stochastic Processes，1999，65（3/4）：177-228.

［10］ Boureau Y，Cun Y L.Sparse Feature Learning for Deep Belief Networks［D］.New York，USA：New York University，2007.

［11］ Gehler P V，Holub A D，Welling M.The Rate Adapting Poisson Model for Information Retrieval and Object Recognition［C］//Proceedings of the 23rd International Conference on Machine Learning.New York，USA：ACM Press，2006：337-344.

［12］ Xing E P，Yan Rong，Hauptmann A G.M ining Associated Text and Images with Dual-w ing Harmoniums［C］// Proceedings of the 21st Conference on Uncertainty in Artificial Intelligence.Berlin，Germany：Springer，2005：633-641.

［13］ Salakhutdinov R，Hinton G.Sem antic Hashing［C］// Proceedings of SIGIR Workshop on Information Retrieval and Applications of Graphical Model.Berlin，Germany：Springer，2007.

［14］ Hinton G E，Salakhutdinov R.Replicated Softmax：An Undirected Topic Model［C］//Proceedings of Conference on Neural Information Processing Systems.Berlin，Germany：Springer，2009：1607-1614.

［15］ Srivastava N，Salakhutdinov R R，Hinton G E.Modeling Documents with Deep Boltzmann Machines［Z］.2013.

［16］ Salakhutdinov R，Mnih A，Hinton G.Restricted Boltzmann Machines for Collaborative Filtering［C］//Proceedings of the 24th International Conference on Machine Learning. New York，USA：ACM Press，2007：791-798.

［17］ 江雨燕，李 平，王 清.用于多標(biāo)簽分類的改進(jìn)Labeled LDA模型［J］.南京大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，49（4）：425-432.

［18］ 江雨燕，李 平，王 清.基于共享背景主題的Labeled LDA模型［J］.電子學(xué)報(bào)，2013，41（9）：1794-1799.

［19］ Casella G，George E I.Explaining the Gibbs Sam-pler［J］. The American Statistician，1992，46（3）：167-174.

［20］ Neal R M.Annealed Importance Sampling［J］.Statistics and Computing，2001，11（2）：125-139.

［21］ Zhang M inling，Zhou Zhihua.M L-KNN：A Lazy Learning Approach to Multi-label Learning［J］.Pattern Recognition，2007，40（7）：2038-2048.

［22］ Bengio Y.Learning Deep Architectures for AI［J］. Foundations and Trends in Machine Learning，2009，2（1）：1-127.

編輯顧逸斐

A Semi-suPervised RePlicated Softm ax Model

X ING Guozheng，JIANG Yuyan，WU Chao，LIChangxun
（School of Management Science and Engineering，Anhui University of Technology，Maanshan 243002，China）

Recently probabilistic topic models are widely used because of high performance of dimension reduction and topic features mining.However，topic models are built based on directed graph model which limits the performance of data representation.This paper based on the studies on distributed feature representation and Replicated Softmax Model（RSM）which is based on the Restricted Bolzmann Machine（RBM）proposes a Semi Supervised Replicated Softmax Model（SSRSM）.Experimental results show that the SSRSM outperforms LDA and RSM in task of topics extraction.In addition，by using the features learned by SSRSM and RSM in task of multi-label classification，it is shown that SSRSM has a better performance of multi-label learning than RSM.

topic model；undirected graph model；Rep licated Softmax Model（RSM）；sem i-supervised model；feature learning

邢國(guó)正，江雨燕，吳 超，等.一種半監(jiān)督重復(fù)軟最大化模型［J］.計(jì)算機(jī)工程，2015，41（9）：209-214.

英文引用格式：Xing Guozheng，Jiang Yuyan，W u Chao，et al.A Sem i-supervised Replicated Softmax Model［J］. Computer Engineering，2015，41（9）：209-214.

1000-3428（2015）09-0209-06

A

TP311

10.3969/j.issn.1000-3428.2015.09.039

國(guó)家自然科學(xué)基金資助項(xiàng)目（71172219）；國(guó)家科技型中小企業(yè)創(chuàng)新基金資助項(xiàng)目（11C26213402013）。

邢國(guó)正（1977-），男，講師，主研方向：機(jī)器學(xué)習(xí)；江雨燕，教授；吳 超、李常訓(xùn)，碩士研究生。

2015-01-15

2015-02-16 E-m ail：xgztt@ahut.edu.cn