LDA模型在專(zhuān)利文本分類(lèi)中的應(yīng)用

廖列法+勒孚剛+朱亞蘭

〔摘要〕對(duì)傳統(tǒng)專(zhuān)利文本自動(dòng)分類(lèi)方法中，使用向量空間模型文本表示方法存在的問(wèn)題，提出一種基于LDA模型專(zhuān)利文本分類(lèi)方法。該方法利用LDA主題模型對(duì)專(zhuān)利文本語(yǔ)料庫(kù)建模，提取專(zhuān)利文本的文檔-主題和主題-特征詞矩陣，達(dá)到降維目的和提取文檔間的語(yǔ)義聯(lián)系，引入類(lèi)的類(lèi)-主題矩陣，為類(lèi)進(jìn)行主題語(yǔ)義拓展，使用主題相似度構(gòu)造層次分類(lèi)，小類(lèi)采用KNN分類(lèi)方法。實(shí)驗(yàn)結(jié)果：與基于向量空間文本表示模型的KNN專(zhuān)利文本分類(lèi)方法對(duì)比，此方法能夠獲得更高的分類(lèi)評(píng)估指數(shù)。

〔關(guān)鍵詞〕LDA；主題模型；專(zhuān)利文本分類(lèi)；主題相似度

DOI：10.3969/j.issn.1008-0821.2017.03.007

〔中圖分類(lèi)號(hào)〕G25553；G2541〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1008-0821（2017）03-0035-05

〔Abstract〕A new text classification method based on LDA model is proposed to solve the problem of traditional VSM text categorization.The LDA topic model was used to model the patent text corpus，and the document-topic and topic-feature word matrix of the patent text was extracted to achieve the purpose of dimension reduction and to extract semantic links between documents.The class-topic matrix was introduced，Topic semantic extension，hierarchical classification using theme similarity，and KNN classification by subclass.Experimental results：Compared with the KNN patent text classification method based on vector space text representation model，this method can obtain higher classification evaluation index.

〔Key words〕LDA；topic model；patent text classification；topic similarity

根據(jù)2016年世界知識(shí)產(chǎn)權(quán)組織（WIPO）在日內(nèi)瓦總部發(fā)布的《世界知識(shí)產(chǎn)權(quán)指標(biāo)》年度報(bào)告顯示，2015年中國(guó)國(guó)家知識(shí)產(chǎn)權(quán)局受理的專(zhuān)利申請(qǐng)數(shù)量超過(guò)110萬(wàn)件，相當(dāng)于美國(guó)、日本和韓國(guó)的專(zhuān)利申請(qǐng)數(shù)量總和。從全球排名來(lái)看，中國(guó)位居首位；美國(guó)居于第二，數(shù)量為589萬(wàn)件；日本第三，數(shù)量為318萬(wàn)件。我們國(guó)家實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略，對(duì)于科研人員的科技成果轉(zhuǎn)化方面的激勵(lì)和科技創(chuàng)新企業(yè)的納稅政策優(yōu)惠等都有效地推動(dòng)了專(zhuān)利申請(qǐng)數(shù)量的提升。面對(duì)如此海量的專(zhuān)利文獻(xiàn)數(shù)據(jù)，僅僅依靠工作人員采用傳統(tǒng)的手工分類(lèi)不僅效率低下，而且人力和物力資源耗費(fèi)量巨大。因此，專(zhuān)利文獻(xiàn)的自動(dòng)分類(lèi)方法研究顯得極為重要和迫不及待，它已成為科研人員現(xiàn)階段一個(gè)研究熱點(diǎn)和重點(diǎn)[1]。與一般的文本相對(duì)，專(zhuān)利文本具有結(jié)構(gòu)特殊、專(zhuān)業(yè)性強(qiáng)、領(lǐng)域詞匯較多等特點(diǎn)，因此相對(duì)傳統(tǒng)的文本分類(lèi)而言，專(zhuān)利文本需要采用更加針對(duì)的分類(lèi)方法[2]。

在文本分類(lèi)中，文本的表示直接影響到特征值的選取，好的特征值選取方法可以有效提高分類(lèi)方法的效率，目前的專(zhuān)利文本分類(lèi)方法的文本表示都是基于向量空間模型（Vector Space Model，VSM）算法[3]，并沒(méi)有涉及概率主題模型。例如：李程雄、丁月華和文貴華[4]提出并分析結(jié)合SVM算法和KNN算法的組合改進(jìn)算法SVM-KNN，當(dāng)樣本和SVM最優(yōu)超平面的距離大于給定的闕值，即樣本離分界面較遠(yuǎn)，則用SVM分類(lèi)，反之用KNN算法對(duì)測(cè)試樣本分類(lèi)，比單一的算法取得了更優(yōu)的分類(lèi)效果。蔣健安、陸介平、倪巍偉等[5]設(shè)計(jì)的層次分類(lèi)算法先采用Rocchio算法進(jìn)行專(zhuān)利大類(lèi)的區(qū)分，再對(duì)各個(gè)大類(lèi)之間的文本采用KNN方法進(jìn)行小類(lèi)的細(xì)分，由于大類(lèi)之間的區(qū)分度較大，故可以使用Rocchio算法，而相同大類(lèi)之間的小類(lèi)分別較小，采用KNN算法更能區(qū)分。郭煒強(qiáng)、戴天、文貴華[6]根據(jù)改進(jìn)的詞語(yǔ)權(quán)重計(jì)算方法構(gòu)造給定文本的特征向量，從分類(lèi)表IPC中直接提取類(lèi)別的概念向量和待分類(lèi)專(zhuān)利文本的特征向量，然后采用向量空間模型實(shí)現(xiàn)專(zhuān)利的自動(dòng)分類(lèi)。

結(jié)合計(jì)算機(jī)語(yǔ)言學(xué)，概率空間模型在文本表示上具有更加優(yōu)異的效果，能夠提取變現(xiàn)力更強(qiáng)的特征詞匯，能使文本的分類(lèi)效果更好。則概率空間模型代替詞向量模型運(yùn)用在文本表示中是一種趨勢(shì)，故本文提出一種基于LDA（Latent Dirichlet Allocation）模型[7]的專(zhuān)利文本分類(lèi)方法，LDA模型是符合文本生成規(guī)律的全概率生成模型，具有好的文本表示能力，提取具有語(yǔ)義信息的主題，運(yùn)用在專(zhuān)利文本分類(lèi)中，能夠有效提升分類(lèi)效率。

31向量空間模型用于專(zhuān)利文本分類(lèi)的不足分析[8]

在對(duì)專(zhuān)利文本進(jìn)行分類(lèi)時(shí)，文本表示一般采用向量空間模型算法，該算法把對(duì)文本內(nèi)容處理簡(jiǎn)化為向量空間中的向量運(yùn)算。在向量空間模型中，文檔被映射成由向量組成的多維向量空間，其中每個(gè)詞表示1個(gè)維度。假設(shè)向量的空間維數(shù)為n，則每篇文檔d映射為由二元組組成的特征向量V（d）=（t1，w1（d）；…tn，wn（d）），其中ti（i=1，2，…，n）為一列互不相同的特征詞，wi（d）為特征詞ti在文檔d中的權(quán)重。傳統(tǒng)的特征詞權(quán)重計(jì)算普遍采用TF-IDF算法[9]，TF-IDF算法考慮了特征詞的詞頻、逆文本頻、歸一化等因素，這些都是文本權(quán)重計(jì)算中很重要的概念。

但是，在專(zhuān)利文本自動(dòng)分類(lèi)中，該算法在處理專(zhuān)利數(shù)據(jù)時(shí)有二個(gè)明顯的不足：

1）向量空間模型是依據(jù)語(yǔ)料庫(kù)中的特征詞，使用TF-IDF算法計(jì)算它們的權(quán)重，構(gòu)造文檔-特征詞向量，并將整個(gè)文檔集構(gòu)造為一個(gè)高維、稀疏的特征值-文檔矩陣。其中模型的對(duì)向量的維數(shù)難以控制，語(yǔ)料庫(kù)特征詞越多則矩陣維數(shù)越高、越稀疏，矩陣的高維稀疏使得實(shí)際用來(lái)計(jì)算的數(shù)值很少，大部分?jǐn)?shù)值都為0，增加了算法的計(jì)算開(kāi)銷(xiāo)，降低了算法的效率。維數(shù)過(guò)大對(duì)于算法的產(chǎn)生巨大的計(jì)算量，時(shí)間和空間復(fù)雜度會(huì)提高。

2）對(duì)于專(zhuān)利的分類(lèi)，不僅要考慮專(zhuān)利詞匯上的相似性，還要考慮專(zhuān)利的語(yǔ)義內(nèi)容上的相似性。由于專(zhuān)利文本中使用的詞匯都比較專(zhuān)業(yè)化，因此產(chǎn)生的詞匯集相對(duì)比較狹窄，產(chǎn)生的專(zhuān)利文本在詞集上會(huì)有很多的相似，而VSM模型是根據(jù)詞的頻率及逆文本頻來(lái)計(jì)算特征詞的權(quán)重，并不能很好的對(duì)文本進(jìn)行區(qū)分，所以基于VSM模型的專(zhuān)利文本分類(lèi)方法的效果很差。應(yīng)該考慮特征詞間的語(yǔ)義聯(lián)系，及特征詞與類(lèi)的關(guān)聯(lián)，從專(zhuān)利文本所表達(dá)的語(yǔ)義層面上去理解文本，在語(yǔ)義層面上對(duì)專(zhuān)利文本進(jìn)行分類(lèi)，這樣才能取得更好的分類(lèi)效果。

基于上面的兩種問(wèn)題，傳統(tǒng)的基于VSM模型的專(zhuān)利文本分類(lèi)方法已經(jīng)不能很好地應(yīng)用在專(zhuān)利文本分類(lèi)中了。

2LDA主題模型

LDA模型是一種對(duì)文本數(shù)據(jù)進(jìn)行有效降維和發(fā)掘潛藏主題信息的方法[10]。它是一個(gè)三層貝葉斯概率生成模型，把文檔表示成隱含主題的概率分布，主題表示成詞匯的概率分布，其中主題是對(duì)文檔內(nèi)容的匯集，因此模型可以很好地模擬大規(guī)模語(yǔ)料的語(yǔ)義信息。模型的把文檔由主題構(gòu)成，而主題的數(shù)量是一定的，對(duì)文檔具有良好的降維能力。LDA的概率模型圖如圖1所示：

LDA模型的生成過(guò)程較好地模擬了在生成實(shí)際文本的大體思維過(guò)程，其具體的數(shù)學(xué)化描述如下：

1）對(duì)每一篇文檔dm，根據(jù)N～Poisson（ξ）生成文檔dm中詞的數(shù)目Nm；

2）對(duì)于每一篇文檔dm，根據(jù)θm～Dir（α）生成文檔dm關(guān)于主題多項(xiàng)式分布的參數(shù)θm；

3）對(duì)于每一個(gè)主題z，根據(jù)φz～Dir（β）生成主題z關(guān)于語(yǔ)料庫(kù)中詞多項(xiàng)式分布的參數(shù)φz；

4）對(duì)于文檔dm的第n個(gè)詞wm，n：

a）根據(jù)多項(xiàng)式分布zm，n～Multi（θd），抽樣得到詞wm，n所屬的主題zm，n；

b）根據(jù)多項(xiàng)式分布wm，n～Multi（φz），抽樣得到具體的詞wm，n。

參數(shù)估計(jì)是LDA模型的關(guān)鍵步驟，假如要直接計(jì)算LDA模型的參數(shù)是不能實(shí)現(xiàn)的，需要使用間接推理算法來(lái)估算模型的參數(shù)值，LDA模型常用的算法有Gibbs抽樣、EM算法、Expectation-Propagation方法、變分推理算法等。其中因?yàn)镚ibbs抽樣算法具有快速、高效等優(yōu)點(diǎn)，故常被用于LDA模型的參數(shù)估算。

Gibbs抽樣算法詳述如下：

1）初始化。zi被初始化為1到K之間的某個(gè)隨機(jī)整數(shù)。i從1循環(huán)到N，N是語(yǔ)料庫(kù)中所有出現(xiàn)于文本中的詞匯記號(hào)個(gè)數(shù)。

2）迭代。i從1循環(huán)到N，根據(jù)公式（1）將詞匯分配給主題，獲取Markov鏈的下一個(gè)狀態(tài)。

3）估算φ和θ的值。迭代第（2）步足夠次數(shù)以后，認(rèn)為Markov鏈已經(jīng)接近目標(biāo)分布，遂取zi（i從1循環(huán)到N）的當(dāng)前值作為樣本記錄下來(lái)。為了保證自相關(guān)較小，每迭代一定次數(shù)，記錄其他的樣本。舍棄詞匯記號(hào)，以w表示惟一性詞，對(duì)于每一個(gè)單一樣本，可以按下式估算φ和θ：

3基于LDA模型的專(zhuān)利文本分類(lèi)算法

31確定語(yǔ)義主題數(shù)

LDA模型要進(jìn)行Gibbs抽樣就要先確認(rèn)所有的參數(shù)，但是主題參數(shù)事先無(wú)法確定的，而主題數(shù)的多少對(duì)模型的影響非常大，主題數(shù)目過(guò)多，將會(huì)產(chǎn)生很多不具有明顯語(yǔ)義信息的主題，反之?dāng)?shù)目過(guò)少將會(huì)出現(xiàn)一個(gè)主題包含多層語(yǔ)義信息的狀況，兩種狀況都很糟糕，所以科學(xué)的確定主題的個(gè)數(shù)非常重要。本文采用LDA標(biāo)準(zhǔn)的評(píng)價(jià)函數(shù)Perplexity（困惑度）來(lái)確定最優(yōu)主題數(shù)。

困惑度衡量主題模型對(duì)于未觀測(cè)數(shù)據(jù)的預(yù)測(cè)能力，困惑度越小，模型預(yù)測(cè)能力越強(qiáng)，模型的推廣性越高。其中：Dtest為測(cè)試集；wd為文檔d中的可觀測(cè)單詞序列；Nd為文檔d的單詞數(shù)目。困惑度公式如下：

32文檔的主題向量提取

對(duì)于專(zhuān)利文本數(shù)據(jù)，有意義的文本內(nèi)容是標(biāo)題、摘要、主權(quán)項(xiàng)，而標(biāo)題中出現(xiàn)的特征詞往往更具有代表性，其次是摘要。在不同位置的特征詞對(duì)文檔的貢獻(xiàn)程度是不同的，假如直接利用LDA模型對(duì)語(yǔ)料庫(kù)建模，不考慮特診詞匯在文檔中的位置信息對(duì)該文本的區(qū)分度影響，將嚴(yán)重影響文本的分類(lèi)效果。故結(jié)合專(zhuān)利文本數(shù)據(jù)的結(jié)構(gòu)特殊性，體現(xiàn)特征詞匯的位置信息因素，使用一種位置加權(quán)來(lái)計(jì)算文本的主題向量。將標(biāo)題、摘要和主權(quán)項(xiàng)分為3篇文檔，即一篇專(zhuān)利文獻(xiàn)包含3個(gè)子文檔，定義為一個(gè)三元組D=D（P1，P2，P3），其中P1表示標(biāo)題，P2表示摘要，P3表示主權(quán)項(xiàng)，將3篇子文檔中的主題向量按位置權(quán)重計(jì)算，從而得到該專(zhuān)利文檔的主題向量，其中θP1表示標(biāo)題文檔的主題向量，θP2表示摘要文檔的主題向量，θP3表示主權(quán)項(xiàng)的主題向量，計(jì)算公式如下：

33類(lèi)-主題矩陣

LDA模型將文檔表示成三層模型，即文檔層、主題層和詞匯層，文檔由主題向量構(gòu)成，主題由詞匯向量構(gòu)成，從而對(duì)文檔進(jìn)行降維表示。根據(jù)已有的LDA模型討論：文檔集是由各種類(lèi)別的文檔組成，文檔集和類(lèi)別之間存在一對(duì)多映射關(guān)系，類(lèi)別和文檔之間也存在一對(duì)多映射關(guān)系，可理解為類(lèi)別就是一個(gè)子文檔集，由主題和文檔的關(guān)系，用主題向量對(duì)子文檔集降維，即類(lèi)和隱含主題之間存在著一定的概率分布，向標(biāo)準(zhǔn)的LDA模型中添加一層即文檔類(lèi)別層。類(lèi)的隱含主題信息拓?fù)浣Y(jié)構(gòu)如圖2所示：

從帶類(lèi)別標(biāo)簽訓(xùn)練文檔的文檔-主題矩陣中提取類(lèi)-主題矩陣。把帶相同類(lèi)別標(biāo)簽的文檔建立成一個(gè)文檔-主題矩陣，計(jì)算這個(gè)矩陣每列的平均值，得到該類(lèi)的類(lèi)-主題向量，所有的類(lèi)-主題向量構(gòu)成類(lèi)-主題矩陣。其中γci表示類(lèi)別c關(guān)于主題i的概率，M表示關(guān)于類(lèi)別c的文檔數(shù)，θmi是類(lèi)別c中第m篇文檔關(guān)于主題i的概率，計(jì)算公式如下：

在上面的公式中，若主題i在c類(lèi)文檔中出現(xiàn)的概率高，則表示這一隱含主題對(duì)于類(lèi)別i具有強(qiáng)表現(xiàn)性，在類(lèi)間具有較強(qiáng)的類(lèi)別區(qū)分能力，概率較小的主題，則表示與該類(lèi)具有弱變現(xiàn)性，與該類(lèi)的關(guān)聯(lián)程度較低。

34基于LDA模型的專(zhuān)利文本分類(lèi)算法

專(zhuān)利分類(lèi)擁有一套國(guó)際專(zhuān)利分類(lèi)體系（簡(jiǎn)稱IPC分類(lèi)），它是我國(guó)常用的分類(lèi)體系，IPC分類(lèi)[11]號(hào)包括了與發(fā)明創(chuàng)造有關(guān)的全部知識(shí)領(lǐng)域。IPC分類(lèi)號(hào)采用層級(jí)的形式，將技術(shù)內(nèi)容注明：部-分部-大類(lèi)-小類(lèi)-大組-小組，逐級(jí)形成完整的類(lèi)別體系。故需要對(duì)專(zhuān)利文本進(jìn)行層次分類(lèi)，部屬于專(zhuān)利分類(lèi)的最高級(jí)，屬于不同學(xué)科領(lǐng)域，較好分類(lèi)，大類(lèi)屬于同一學(xué)科里的不同方面，類(lèi)別區(qū)分難度一般，故部和大類(lèi)的分類(lèi)都采用類(lèi)間相似度構(gòu)造分類(lèi)器進(jìn)行分類(lèi)；而小類(lèi)屬于同一技術(shù)的不同研究方向，較難區(qū)分，故采用普遍認(rèn)為具有高分類(lèi)性能的KNN方法。

具體的算法步驟描述如下：

輸入：帶類(lèi)別標(biāo)記的訓(xùn)練文本集，測(cè)試文本

輸出：測(cè)試文本的所屬類(lèi)別

步驟1：獲取專(zhuān)利文本數(shù)據(jù)，并將文本分為訓(xùn)練文本集和測(cè)試文本集。

步驟2：對(duì)訓(xùn)練文本和測(cè)試文本進(jìn)行預(yù)處理，包括：分詞、去停頓詞，及使用TF-IDF算法對(duì)詞匯過(guò)濾，將權(quán)重小于01的詞除去，建立訓(xùn)練文本的語(yǔ)料庫(kù)。

步驟3：利用LDA模型對(duì)語(yǔ)料庫(kù)建模，提取語(yǔ)料庫(kù)的文檔-主題和主題-詞匯矩陣。

步驟4：根據(jù)帶標(biāo)簽的文檔-主題矩陣提取部-主題矩陣和大類(lèi)-主題矩陣。計(jì)算每一篇待測(cè)試專(zhuān)利文本的主題與各個(gè)部和類(lèi)別主題間的相似度，相似度度量采用余弦相似度算法來(lái)計(jì)算。其中Cz為類(lèi)別的主題向量，θz為測(cè)試文檔的主題向量。計(jì)算公式如下：

步驟5：部。將待分類(lèi)文檔與各部的部-主題向量計(jì)算相似度，相似度最大的為文本所屬部號(hào)。

步驟6：大類(lèi)。將具有部號(hào)的待分類(lèi)文本與本部的各大類(lèi)計(jì)算主題相似度，其中相似度值最大的為文本所屬大類(lèi)。

步驟7：小類(lèi)。對(duì)確定大類(lèi)的文本與屬于該大類(lèi)的訓(xùn)練文本計(jì)算主題相似度，KNN分類(lèi)方法確定該專(zhuān)利所屬小類(lèi)。

步驟8：實(shí)驗(yàn)結(jié)果評(píng)價(jià)。

具體專(zhuān)利文本分類(lèi)算法基本框架如圖3所示：

4實(shí)驗(yàn)及結(jié)果分析

41實(shí)驗(yàn)數(shù)據(jù)集

為驗(yàn)證此方法的有效性，本文利用從專(zhuān)利局獲取的稀土專(zhuān)利數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)集包含2007-2015年共31 000篇稀土專(zhuān)利文本，每個(gè)部選取大類(lèi)和小類(lèi)數(shù)量較均勻的1 000篇專(zhuān)利文檔進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)將數(shù)據(jù)集的80%用來(lái)訓(xùn)練模型，20%用來(lái)驗(yàn)證分類(lèi)算法性能。數(shù)據(jù)具體分布情況見(jiàn)表2。

42評(píng)估指標(biāo)

文本分類(lèi)性能結(jié)果的評(píng)估指標(biāo)采用F值。F度量值是信息檢索中的一種組合P（準(zhǔn)-確率）和R（召回率）指標(biāo)的平衡指標(biāo)。計(jì)算公式如下：

F的值越與1靠近說(shuō)明P和R的平衡性越好。相反F的值與0越靠近，則兩個(gè)參數(shù)的平衡性越差。

43參數(shù)設(shè)定

在LDA建模過(guò)程中，確定最優(yōu)主題數(shù)采用Perplexity函數(shù)，參數(shù)估計(jì)采用MCMC方法中的Gibbs抽樣算法，在LDA建模過(guò)程中，根據(jù)經(jīng)驗(yàn)設(shè)置α=50/K、β=001，Gibbs抽樣的迭代次數(shù)參數(shù)Iteration為2000，保存迭代參數(shù)Save Step為1000。其中主題數(shù)K的取值依次為5、10、25、50、100直到200，利用不同的主題數(shù)進(jìn)行Perplexity函數(shù)分析，獲得最小困惑度得到最優(yōu)主題數(shù)K。

從圖4看出，隨著主題數(shù)目的增加，模型的困惑度值慢慢收斂到一個(gè)較小較穩(wěn)定的值，在圖中可以發(fā)現(xiàn)當(dāng)主題數(shù)K=100時(shí)模型的困惑度值開(kāi)始最小且平穩(wěn)，則此時(shí)模型的性能最好，所以本實(shí)驗(yàn)的主題數(shù)目取值為100。

44實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)分兩組進(jìn)行，第一組采用基于向量空間模型的專(zhuān)利文本分類(lèi)方法，首先采用向量空間模型表示文本，然后運(yùn)用TF-IDF計(jì)算特征值的權(quán)重，最后采用KNN方法分類(lèi)；第二組采用本文提出的基于LDA模型的專(zhuān)利文本分類(lèi)方法，首先運(yùn)用LDA方法對(duì)語(yǔ)料庫(kù)建模，提取各文檔、部和類(lèi)的主題分布，然后部和大類(lèi)的分類(lèi)采用相似度構(gòu)造分類(lèi)器，計(jì)算主題相似度，最后小類(lèi)的分類(lèi)采用KNN分類(lèi)方法。實(shí)驗(yàn)分詞采用的是基于R軟件Rwordseg包segmentCN分詞方法。實(shí)驗(yàn)結(jié)果見(jiàn)表3、表4和圖5。

由實(shí)驗(yàn)結(jié)果可以得知，基于LDA模型的分類(lèi)方法在正確率、召回率和F值方面均優(yōu)于基于VSM模型的分類(lèi)方法，故基于LDA模型的專(zhuān)利文本分類(lèi)方法是有效的，大大提高了專(zhuān)利文本的分類(lèi)效率。

5結(jié)語(yǔ)

本文主要從文本表示方向?qū)?zhuān)利文本分類(lèi)進(jìn)行改善。

將LDA主題模型應(yīng)用到專(zhuān)利文本分類(lèi)中，使得文檔和類(lèi)由低維具有語(yǔ)義匯集的主題向量表示，達(dá)到了較好的降維效果，并引入類(lèi)-主題矩陣用于文本分類(lèi)，有效提高分類(lèi)準(zhǔn)確性，使模型的分類(lèi)性能更加優(yōu)越。本文運(yùn)用LDA模型專(zhuān)利文本分類(lèi)時(shí)，存在專(zhuān)利文本的標(biāo)題文本過(guò)短的問(wèn)題，本文并沒(méi)有考慮到，下一步工作將結(jié)合短文本的特性設(shè)計(jì)更優(yōu)的分類(lèi)方法，進(jìn)一步提高專(zhuān)利文本分類(lèi)效率和分類(lèi)精度。

參考文獻(xiàn)

[1]屈鵬，王惠臨.專(zhuān)利文本分類(lèi)的基礎(chǔ)問(wèn)題研究[J].現(xiàn)代圖書(shū)情報(bào)技術(shù)，2013，（3）：38-44.

[2]劉紅光，馬雙剛，劉桂鋒.基于機(jī)器學(xué)習(xí)的專(zhuān)利文本分類(lèi)算法研究綜述[J].圖書(shū)情報(bào)技術(shù)，2016，（3）：79-86.

[3]龐劍鋒，卜東波.基于向量空間模型的文本自動(dòng)分類(lèi)系統(tǒng)的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究，2001，18（9）：23-26.

[4]李程雄，丁月華，文貴華.SVM-KNN組合改進(jìn)算法在專(zhuān)利文本分類(lèi)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2006，42（20）：193-195.

[5]蔣健安，陸介平，倪巍偉，等.一種面向?qū)＠墨I(xiàn)數(shù)據(jù)的文本自動(dòng)分類(lèi)方法[J].計(jì)算機(jī)應(yīng)用，2008，28（1）：159-161.

[6]郭煒強(qiáng)，戴天，文貴華.基于領(lǐng)域知識(shí)的專(zhuān)利自動(dòng)分類(lèi)[J].計(jì)算機(jī)工程，2005，31（23）：52-54.

[7]Blei D M，Ng A Y，Jordan M I.Latent dirichlet allocation[J].Journal of machine Learning research，2003，3（1）：993-1022.

[8]胡冰，張建立.基于統(tǒng)計(jì)分布的中文專(zhuān)利自動(dòng)分類(lèi)方法研究[J].現(xiàn)代圖書(shū)情報(bào)技術(shù)，2013，（Z1）：101-106.

[9]施聰鶯，徐朝軍，楊曉江.TFIDF算法研究綜述[J].計(jì)算機(jī)應(yīng)用，2009，29（s1）：167-170.

[10]姚全珠，宋志理，彭程.基于LDA模型的文本分類(lèi)研究[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（13）：150-153.

[11]繆建明，賈廣威，張運(yùn)良.基于摘要文本的專(zhuān)利快速自動(dòng)分類(lèi)方法[J].情報(bào)理論與實(shí)踐，2016，（8）：103-105.

（本文責(zé)任編輯：孫國(guó)雷）