基于卷積神經(jīng)網(wǎng)絡(luò)的短文本分類研究

陸正球 毛煥宇 王海穎

摘 要：隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，如何從大量的文本中挖掘出有價(jià)值的信息并提供參考成為一種新的需求，文本分類作為信息檢索和挖掘的關(guān)鍵技術(shù)，能夠?qū)崿F(xiàn)對(duì)不同類型文本的自動(dòng)分類。文章提出了基于卷積神經(jīng)網(wǎng)絡(luò)的短文本分類方法，首先通過(guò)jieba實(shí)現(xiàn)文本的分詞，然后通過(guò)開(kāi)源工具word2vec實(shí)現(xiàn)了詞向量，最后通過(guò)卷積層、最大池化層和全連接層完成新聞數(shù)據(jù)的分類。實(shí)驗(yàn)結(jié)果顯示，基于卷積神經(jīng)網(wǎng)絡(luò)的文本分類具有較高的分類效果。

關(guān)鍵詞：文本分類；卷積神經(jīng)網(wǎng)絡(luò)；word2vec

隨著移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展和個(gè)人移動(dòng)終端功能的日益強(qiáng)大，人們從網(wǎng)絡(luò)中獲取的信息越來(lái)越多，由此產(chǎn)生的大量信息數(shù)據(jù)多以文本的形式出現(xiàn)，如何從這些文本中挖掘出有價(jià)值的信息并給用戶提供參考價(jià)值就顯得尤為重要。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種專門用來(lái)處理具有類似網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)的人工神經(jīng)網(wǎng)絡(luò)，使用的是普通的神經(jīng)元網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成。卷積和池化作為一種無(wú)限強(qiáng)的先驗(yàn)[1]，在提取特征上體現(xiàn)了高度的置換不變性，局部感受與權(quán)值共享兩個(gè)主要特征使得卷積神經(jīng)網(wǎng)絡(luò)可以有效地減少參數(shù)學(xué)習(xí)的數(shù)量級(jí)，從而降低了模型的復(fù)雜度，提高了模型的可用性。

通常卷積神經(jīng)網(wǎng)絡(luò)中一般包含4層：輸入層、卷積層、池化層以及全連接層。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的文本分類

基于卷積神經(jīng)網(wǎng)絡(luò)的短文本分類的過(guò)程一般包括數(shù)據(jù)預(yù)處理，特征提取、文本分類3個(gè)階段。

2.1 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)集來(lái)源于互聯(lián)網(wǎng)，因此首先需要對(duì)數(shù)據(jù)集進(jìn)行一系列預(yù)處理，包括去掉文本中的所有標(biāo)點(diǎn)符號(hào)、數(shù)字和符號(hào)，只保留下含有較多語(yǔ)義信息的中文文本。而后通過(guò)Jieba分詞開(kāi)源庫(kù)的精確分詞模式來(lái)完成對(duì)短文本數(shù)據(jù)集的分詞步驟。

經(jīng)過(guò)數(shù)據(jù)預(yù)處理后，得到的數(shù)據(jù)和格式如表1所示。

2.2 特征提取

本文采用Mikolov等提出的Skip-Gram神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，在完成基礎(chǔ)數(shù)據(jù)集的預(yù)處理和分詞操作后，利用無(wú)監(jiān)督學(xué)習(xí)方式的Skip-Gram模型訓(xùn)練出每個(gè)詞的分布式特征表示，即詞向量，然后，將訓(xùn)練好的詞向量進(jìn)行組合得到每條短文本的分布式特征。相比傳統(tǒng)的人工特征提取方式，此次提取的方式既可以控制特征維度，又可以不影響詞與詞在空間中的相對(duì)位置關(guān)系。

在具體實(shí)現(xiàn)的過(guò)程中，使用Google在2013年開(kāi)源的詞向量計(jì)算工具—Word2vec，不僅可以在百萬(wàn)數(shù)量級(jí)的詞典和上億的數(shù)據(jù)集上進(jìn)行高效地訓(xùn)練，而且該工具實(shí)現(xiàn)了訓(xùn)練結(jié)果—詞向量（Word Embedding），可以很好地度量詞與詞之間的相似性。

2.3 文本分類

在文本分類中，本文將采用卷積神經(jīng)網(wǎng)絡(luò)模型完成最終的分類任務(wù)。卷積神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上最大的特點(diǎn)就是卷積層和Max-pooling層的交替累積[2]。其中，卷積層接收來(lái)自通過(guò)word2vec處理后的詞向量，在該層共設(shè)置256個(gè)卷積核，設(shè)置每個(gè)卷積核的大小是5。每類卷積核都能夠提取出不同的局部特征圖，并且對(duì)輸入數(shù)據(jù)的局部特征進(jìn)行描述，Max-pooling層可對(duì)每張?zhí)卣鲌D中表達(dá)能力最強(qiáng)的特征進(jìn)行二次提取，全連接層部分完成了文本的分類任務(wù)，并最終通過(guò)Softmax實(shí)現(xiàn)歸一化操作，如圖1所示。

3 實(shí)驗(yàn)

首先從互聯(lián)網(wǎng)上獲取并經(jīng)過(guò)處理的文本數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試，包括體育、財(cái)經(jīng)、房產(chǎn)、教育、科技、體育、娛樂(lè)、時(shí)政、游戲等10個(gè)大類，其中每個(gè)分類有6 500條數(shù)據(jù)。為了便于進(jìn)行數(shù)據(jù)的訓(xùn)練、驗(yàn)證和測(cè)試，將其中5 000條用于訓(xùn)練，500條用于驗(yàn)證，1 000條用于測(cè)試。

本文所使用的開(kāi)發(fā)與訓(xùn)練的實(shí)驗(yàn)環(huán)境如表2所示。

首先進(jìn)行數(shù)據(jù)訓(xùn)練，在驗(yàn)證集上經(jīng)過(guò)5輪迭代后的最佳分類效果是96.1%。其中準(zhǔn)確率和誤差loss如圖2—3所示。

同時(shí)，使用測(cè)試集上的數(shù)據(jù)進(jìn)行測(cè)試，得到的數(shù)據(jù)集結(jié)果顯示如下，其中測(cè)試的誤差是0.13，測(cè)試的準(zhǔn)確率是96.27%，除了時(shí)尚類別外，其他類別的預(yù)測(cè)準(zhǔn)確率都高于95%。其中體育類的測(cè)試為100%，整體的precision、recall和F1值都是96%，如圖4所示。

最后，使用剩余的10 000條數(shù)據(jù)進(jìn)行預(yù)測(cè)，系統(tǒng)隨機(jī)選擇其中6個(gè)類別，從實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)原文的標(biāo)簽和預(yù)測(cè)的標(biāo)簽結(jié)果都是一樣的，如圖5所示。

4 結(jié)語(yǔ)

通過(guò)對(duì)短文本分類問(wèn)題的研究，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)算法的短文本分類模型。經(jīng)過(guò)大量的文本數(shù)據(jù)進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果表明，基于卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法具有較高的分類效果。

[參考文獻(xiàn)]

[1]高云龍.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的短文本分類研究[D].長(zhǎng)春：吉林大學(xué)，2018.

[2]蔡慧萍.基于卷積神經(jīng)網(wǎng)絡(luò)的短文本分類方法研究[D].重慶：西南大學(xué)，2016.