基于TextCNN的文本情感分類系統(tǒng)

張浩然，謝云熙，張艷榮

(1.哈爾濱商業(yè)大學(xué) 計(jì)算機(jī)與信息工程學(xué)院， 哈爾濱 150028；2.哈爾濱商業(yè)大學(xué) 黑龍江省電子商務(wù)與信息處理重點(diǎn)實(shí)驗(yàn)室， 哈爾濱 150028)

近年來，隨著電商技術(shù)的不斷成熟，網(wǎng)購規(guī)模的日益龐大，消費(fèi)者們開始使用在線網(wǎng)購取代線下門店購物，線上購物雖然對(duì)于消費(fèi)者來說更方便快捷，但不同于線下企業(yè)可以直接獲得消費(fèi)者當(dāng)下的購物體驗(yàn)，而要在消費(fèi)者收貨之后將購物體驗(yàn)發(fā)表在相關(guān)平臺(tái)后才能獲得，這樣就導(dǎo)致企業(yè)無法直觀的獲取用戶消費(fèi)偏好意愿作為參考來改善企業(yè)自身，提高消費(fèi)者購物滿意度.所以對(duì)于消費(fèi)者發(fā)表的在線評(píng)論進(jìn)行分類分析等是十分有必要的.但是對(duì)于如今信息量爆炸的時(shí)代，用戶網(wǎng)購后在線評(píng)論數(shù)據(jù)量十分龐大，很難通過人工手動(dòng)分類來為在線評(píng)論打上好差評(píng)標(biāo)簽，故而需要將機(jī)器學(xué)習(xí)方法應(yīng)用到文本情感分類中，即自然語言處理[1]，來對(duì)用戶在線評(píng)論文本進(jìn)行情感分類，為評(píng)論打上標(biāo)簽做進(jìn)一步的分析預(yù)測，通過這些分類分析可以給商家提供更多建議提高企業(yè)自身，也能給消費(fèi)者帶來更好的消費(fèi)體驗(yàn)，更符合消費(fèi)者網(wǎng)購需求，并提升企業(yè)口碑.

目前越來越多的企業(yè)平臺(tái)，包括各種軟件下載后等都會(huì)向用戶彈出請(qǐng)求評(píng)論頁面，方便獲取用戶體驗(yàn)反饋評(píng)論，來提升企業(yè)或軟件自身，說明越來越多的商家注重到用戶在線評(píng)論的重要性，也表明對(duì)在線評(píng)論的分類需求會(huì)越來越多，不僅有利于向商家提供建議，對(duì)于消費(fèi)者來說也可以根據(jù)他人發(fā)表評(píng)論獲取商品信息來選擇購物.

企業(yè)平臺(tái)后臺(tái)收集到的評(píng)論文本是相當(dāng)龐大的數(shù)據(jù)集，尤其是一些大的平臺(tái)，人工手動(dòng)打標(biāo)簽分類效率低且容易出錯(cuò)，故可以開發(fā)一個(gè)系統(tǒng)，輸入一條評(píng)論文本或者上傳一個(gè)數(shù)據(jù)集文件，可測出其情感傾向來為之分類打標(biāo)簽，并且將結(jié)果顯示在前端反饋給用戶，同時(shí)可以將用戶所測試的數(shù)據(jù)保存到數(shù)據(jù)庫中，方便以后獲取更多數(shù)據(jù)集來訓(xùn)練分類器模型，以提高分類器模型的準(zhǔn)確率.使用這樣的系統(tǒng)大大提高了將在線評(píng)論情感分類效率，還可以通過不斷調(diào)試選取合適的模型參數(shù)，或選取更優(yōu)質(zhì)的數(shù)據(jù)集，或加大訓(xùn)練集數(shù)量，或選取更合適的模型框架來提高分類器的準(zhǔn)確率，這樣對(duì)于在線評(píng)論文本情感分類結(jié)果也會(huì)更準(zhǔn)確.若想對(duì)文本進(jìn)行進(jìn)一步分析等操作的前提就是獲取到準(zhǔn)確的分類文本，所以開發(fā)這樣的分類測評(píng)系統(tǒng)還是很有必要的.

對(duì)于商務(wù)企業(yè)者來說就更加有必要用到這樣的系統(tǒng)對(duì)消費(fèi)者的在線評(píng)論文本進(jìn)行情感分類，根據(jù)好評(píng)了解消費(fèi)者的購物偏好意愿，給出更符合消費(fèi)者心意的推薦；根據(jù)差評(píng)作出相應(yīng)改進(jìn)策略，改善被消費(fèi)者所指差的地方，提升商務(wù)企業(yè)的品質(zhì)口碑.

1 國內(nèi)外研究現(xiàn)狀

文本情感分類是文本分類中的一個(gè)重要分支,也叫觀點(diǎn)挖掘，換言之，文本的情感分類就是對(duì)帶有情感色彩的文本進(jìn)行主觀性分析、處理、歸納和推理的過程[2].在線評(píng)論(Online Reviews)是指網(wǎng)上購物的消費(fèi)者在相應(yīng)的購物網(wǎng)站上購買物品后對(duì)購買的產(chǎn)品發(fā)表含有個(gè)人觀點(diǎn)的消費(fèi)體驗(yàn)[3].與此同時(shí)，在線評(píng)論依托互聯(lián)網(wǎng)平臺(tái)廣泛參與的大眾性特點(diǎn)，網(wǎng)上在線評(píng)論與其他傳統(tǒng)信息傳媒相比，在增強(qiáng)消費(fèi)者對(duì)企業(yè)的信任、提高消費(fèi)者的購買意愿等方面迅速成為備受國內(nèi)外研究人員關(guān)注的熱點(diǎn)[4].文本情感分析研究的方法分為三類: 基于情感詞典的方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法、基于深度學(xué)習(xí)的方法[5].

文本情感分析是自然語言處理的主要研究方向之一，近年來越來越多的研究人員傾向于使用卷積神經(jīng)網(wǎng)絡(luò)來解決文本情感分析問題，并獲得了很好的實(shí)驗(yàn)效果[6].在2010年，Mikolov等[7]在Google上發(fā)表Word2vec工具，該工具可以夠?qū)卧~表示為空間詞向量，后來建立了一個(gè)基于RNN的語言模型，該模型通過上下文信息可以更好的獲得最終結(jié)果.2014年，Kim[8]首次在多數(shù)據(jù)集的與訓(xùn)練詞向量的基礎(chǔ)上，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)文本進(jìn)行分類，取得了比其他深度學(xué)習(xí)模型更高的準(zhǔn)確率.Kalchbrenner等[9]針對(duì)具有兩層卷積層和池化層的CNN模型，提出了一種動(dòng)態(tài)K-max池化策略，得到每個(gè)卷積核中最大的K個(gè)特征值，自動(dòng)構(gòu)造句子的向量表示，可以處理任意長的句子.Hua等[10]通過使用詞性標(biāo)注、詞嵌入word embedding等方法，使用多種類型的池卷積神經(jīng)網(wǎng)絡(luò)對(duì)句子建模，在卷積池和句子表征方面，采用局部相似度計(jì)算來提高性能.

近年來伴隨著深度學(xué)習(xí)的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)CNN成為了深度學(xué)習(xí)的主流算法之一應(yīng)用于多處領(lǐng)域[11].最初應(yīng)用于圖像識(shí)別視覺處理方面，后來也被應(yīng)用于文本分類自然語言處理方面，并在此方面的應(yīng)用研究有良好的效果.2018年羅帆等[12]提出一種多層網(wǎng)絡(luò)H-RNN-CNN，將RNN和CNN結(jié)合起來處理中文文本情感分類任務(wù)，實(shí)驗(yàn)結(jié)果表明，該方法對(duì)多類數(shù)據(jù)集都具有良好的效果.2019年杜永萍等[13]提出一種基于CNN-LSTM模型的短文情感分類方法，采用卷積神經(jīng)網(wǎng)絡(luò)CNN提取短文本的語義特征，引入長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型LSTM對(duì)短文本進(jìn)行情感傾向預(yù)測，與傳統(tǒng)的機(jī)器學(xué)習(xí)分類模型相比，該方法檢驗(yàn)效果提升顯著.

總之就目前深度學(xué)習(xí)的各個(gè)模型，如循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、卷積神經(jīng)網(wǎng)絡(luò)CNN等[14]，各類的神經(jīng)網(wǎng)絡(luò)已經(jīng)越來越多的被應(yīng)用于文本分類情感分析的方面，且效果性能等都明顯不錯(cuò).本文選擇使用深度學(xué)習(xí)的模型，結(jié)合Word2vec與CNN應(yīng)用于文本Text之上做文本情感分類系統(tǒng).

2 基于TextCNN模型的文本分類研究

2.1 Word2vec詞向量方法

在了解Word2vec時(shí)先來了解一些其他相關(guān)的概念.文本表示，將非結(jié)構(gòu)化數(shù)據(jù)、不可計(jì)算的文本轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)、可計(jì)算的向量，即轉(zhuǎn)換為計(jì)算機(jī)可以識(shí)別的數(shù)據(jù)信息[15]，如獨(dú)熱編碼、整數(shù)編碼、詞嵌入(有兩種主流算法：Word2vec和Glove)等等.在詞嵌入被開創(chuàng)之前，一般應(yīng)用one-hot獨(dú)熱編碼來處理，這一編碼方式簡單易理解，有多少個(gè)詞向量中就有多少列，只有一列為1其余全為0，為1的一列用來區(qū)分代表一個(gè)詞.看起來簡單，但只要文本稍一增長，向量同時(shí)也會(huì)跟著增長，且該序列中只有一個(gè)1其余均為0.這樣導(dǎo)致該編碼方式缺點(diǎn)過于明顯，其一不適合長文本含有多個(gè)詞的，向量過于稀疏且維度過高，帶來維度災(zāi)難[16]，且這樣的編碼方式存儲(chǔ)效率低下，同時(shí)還有另一缺點(diǎn)，該編碼方式無法表示詞與詞之間的關(guān)系.同理整數(shù)編碼也和獨(dú)熱編碼一樣有類似的缺點(diǎn).而詞嵌入相較于上述兩種編碼方式有更多的優(yōu)點(diǎn)：1)該方式不會(huì)像獨(dú)熱編碼一樣維度很長，轉(zhuǎn)而通過低維度的向量來表示文本；2)文本中相近詞意的在空間上距離也較為相近；3)該編碼方式普遍適用性強(qiáng)，用途廣泛[17].

本系統(tǒng)所采用的是word embedding算法的其中一種Word2vec，2013年谷歌發(fā)明開創(chuàng)的一套詞嵌入工具.Word2vec有兩種訓(xùn)練模式：1)是CBOW(Continuous Bag-of-Words Model，連續(xù)詞袋模型)，通過上下文來預(yù)測當(dāng)前詞，適用小型訓(xùn)練數(shù)據(jù)；2)是Skip-gram(Continuous Skip-gram Model，連續(xù)跳字模型)，通過當(dāng)前詞來預(yù)測上下文，適合訓(xùn)練大型的數(shù)據(jù).上述兩者的結(jié)構(gòu)如圖1所示.

圖1 Word2Vec兩種訓(xùn)練模型的結(jié)構(gòu)圖Figure 1 The structure of the two training models of Word2Vec

由于上述兩者訓(xùn)練模型計(jì)算量太大，尤其是使用到梯度下降算法時(shí)更是會(huì)由于求導(dǎo)等不斷的加大計(jì)算量開銷，所以提出兩種近似訓(xùn)練法來優(yōu)化上述兩種模型，提高速度減少計(jì)算量開銷.分別是：負(fù)采樣(Negative Sample)和層序Softmax(Hierarchical Softmax).Word2vec要比之前的詞嵌入方法效果更佳[18]，因?yàn)槠渌蕾嚨哪Ｐ蜁?huì)考慮上下文關(guān)系，且大大減小了詞向量維度，速度更快.并且Word2vec適用于各種自然語言處理應(yīng)用中，有著很強(qiáng)的通用性，其計(jì)算詞語相似度的效果準(zhǔn)確率還是很不錯(cuò)的.Word2vec并非無缺點(diǎn)，但針對(duì)本系統(tǒng)采用Word2vec已足夠.

本實(shí)驗(yàn)分類器模型是結(jié)合Word2vec和TextCNN模型實(shí)現(xiàn)的[19]，因?yàn)榻Y(jié)合Word2vec工具處理過后的模型準(zhǔn)確率會(huì)更高.本實(shí)驗(yàn)采用Word2vec工具訓(xùn)練數(shù)據(jù)集分詞得到相應(yīng)的詞向量，設(shè)置參數(shù)詞向量維度、上下文最大距離、最小詞頻等，訓(xùn)練完成后保存好該模型.部分訓(xùn)練后的Word2vec詞向量如表1所示.

本實(shí)驗(yàn)沒有采用CNN模型自帶的embedding嵌入層，而是采用word2vec訓(xùn)練的詞向量自定義word embedding權(quán)重矩陣作CNN模型的嵌入層[20]，這樣訓(xùn)練出來的分類器模型準(zhǔn)確率會(huì)更高.

2.2 基于TextCNN模型的分類器方法

本實(shí)驗(yàn)所訓(xùn)練TextCNN模型是將CNN模型應(yīng)用于文本Text之上.CNN結(jié)構(gòu)組成層包括三種：卷積層Convolutional layer、池化層Pooling layer、全連接層Fully Connected layer.卷積層由卷積核filters以及激活函數(shù)組成，超參數(shù)有卷積核個(gè)數(shù)、卷積核維度大小、步長stride、padding模式和激活函數(shù)的類型選擇等[21].選擇最大池化還是平均池化，超參數(shù)窗口大小等.全連接層即是類似神經(jīng)網(wǎng)絡(luò)的單元層，當(dāng)前單元層的每一個(gè)單元都必須和上一個(gè)層的每一個(gè)單元全部相連接，才能叫做全連接層，也要設(shè)置相關(guān)的超參數(shù)，神經(jīng)元數(shù)量、激活函數(shù)等[22].CNN的一個(gè)示例如圖2所示.其結(jié)構(gòu)描述如下：輸入層(X)、卷積層(Relu)、最大池化層、卷積層(Relu)、全連接層(Relu)、全連接層(softmax)、輸出層(Y)[23].

該分類器模型若想設(shè)計(jì)完成，需得先采用Word2vec工具來訓(xùn)練得到相應(yīng)的詞向量，再結(jié)合基于Text的CNN模型來設(shè)計(jì).系統(tǒng)課題實(shí)現(xiàn)的是對(duì)在線評(píng)論文本的分類，此前已闡述如何將文本轉(zhuǎn)換為計(jì)算機(jī)可識(shí)別的數(shù)字序列及Word2vec訓(xùn)練的詞向量，之后將CNN模型應(yīng)用于文本Text分類之中，設(shè)計(jì)多個(gè)不同size的kernel來提取文本關(guān)鍵信息如利用捕捉最強(qiáng)特征[24]，來設(shè)計(jì)實(shí)現(xiàn)TextCNN分類器.如圖3所示，描述了TextCNN模型的整個(gè)流程，本圖中對(duì)文本進(jìn)行卷積，卷積核不橫向移動(dòng)而下移(類似N-gram提取關(guān)鍵信息)，共有2、3、4三種步長，每個(gè)步長有兩個(gè)卷積核(現(xiàn)實(shí)訓(xùn)練卷積核數(shù)目可能更多)，經(jīng)卷積后對(duì)得到的向量在進(jìn)行最大池化，再作全連接層，最后得到文本特征，完成分類.

圖3 TextCNN模型分類的流程Figure 3 The process of TextCNN model classification

分類器模型沒有采用CNN自帶的默認(rèn)的embedding嵌入層，而是采用word2vec訓(xùn)練的詞向量自定義embedding的訓(xùn)練權(quán)重矩陣，作詞嵌入層，這樣相比模型的準(zhǔn)確率會(huì)更高分類效果會(huì)更佳.再使用keras框架提供的Sequential順序模型來實(shí)現(xiàn)多個(gè)網(wǎng)絡(luò)層的堆疊，keras實(shí)現(xiàn)很多層，如core核心層、卷積層、最大池化層等多種網(wǎng)絡(luò)層構(gòu)[25]，可以使用add()方法將各個(gè)層往模型中添加.本系統(tǒng)訓(xùn)練的分類器步驟如下：

1)添加使用word2vec工具訓(xùn)練后的word embedding作嵌入層.

2)添加卷積層，即文本一維卷積.并選取相應(yīng)合理的超參，如卷積核數(shù)目、步長、padding填充方式、激活函數(shù)類型等.

3)添加最大池化層，設(shè)置相應(yīng)超參數(shù).

4)添加卷積層.

5)利用flatten將多維的數(shù)據(jù)扁平化拉長.

6)為了防止模型過擬合，設(shè)置隨即的30%的訓(xùn)練集數(shù)據(jù)不去參與訓(xùn)練.

7)添加全連接層設(shè)置相應(yīng)參數(shù)如激活函數(shù)類型、神經(jīng)元的數(shù)量等.

8)設(shè)置20%的隨即數(shù)據(jù)不參與訓(xùn)練.

9)添加全連接層，激活函數(shù)設(shè)置為softMax，設(shè)置units參數(shù)為2表示二分類.

至此添加的網(wǎng)絡(luò)層與圖3所示的CNN示例一致，從理論到訓(xùn)練模型的實(shí)踐即如此.接下來通過compile配置模型訓(xùn)練之前的學(xué)習(xí)過程，設(shè)置參數(shù)損失函數(shù)loss為categorical_crossentropy最小化目標(biāo)函數(shù)，優(yōu)化器optimizer為Adam，并設(shè)置相應(yīng)參數(shù)在訓(xùn)練時(shí)把模型精確度輸出出來，最后用fit函數(shù)開始訓(xùn)練模型，訓(xùn)練的兩個(gè)數(shù)據(jù)參數(shù)分別是之前幾節(jié)提到過的，x是中文評(píng)論文本轉(zhuǎn)換為的數(shù)字序列，y是將標(biāo)簽類別轉(zhuǎn)換為的獨(dú)熱編碼序列(因?yàn)闃?biāo)簽只有兩類很少，所以用獨(dú)熱編碼很方便合理)，batch_size設(shè)置一次訓(xùn)練條數(shù)，設(shè)置迭代次數(shù)epochs，設(shè)置訓(xùn)練集中20%的數(shù)據(jù)為驗(yàn)證集.最后保存模型h5格式，之后調(diào)用模型直接調(diào)用即可，無需調(diào)用一次需重新訓(xùn)練一次.

將采用Word2vec工具訓(xùn)練得到的詞向量，word embedding作訓(xùn)練權(quán)重矩陣，作為TextCNN分類器模型的詞嵌入層，取代CNN模型默認(rèn)的embedding層.接著再利用順序模型逐層添加卷積層、池化層、全連接層等，訓(xùn)練TextCNN模型，其中本分類器模型訓(xùn)練設(shè)置參數(shù)迭代次數(shù)為6，至此分類器模型的訓(xùn)練已經(jīng)完成.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集預(yù)處理

3.1.1 評(píng)論文本預(yù)處理

要想實(shí)現(xiàn)該分類器模型；1)需要對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，對(duì)數(shù)據(jù)集中的每條語句進(jìn)行中文分詞(導(dǎo)入jieba中文分詞庫來進(jìn)行精準(zhǔn)分詞lcut)[26]，去掉其中標(biāo)點(diǎn)符號(hào)，以及去停用詞等，最終得到每條評(píng)論語句相應(yīng)的分詞列表，即提取出每條評(píng)論語句的關(guān)鍵詞；2)采用Tokenizer對(duì)數(shù)據(jù)集中所有分詞進(jìn)行編碼，分詞詞頻越大，則編號(hào)越?。?)得到數(shù)據(jù)集的字典后，將數(shù)據(jù)集中的每條文本數(shù)據(jù)(每條評(píng)論文本對(duì)應(yīng)的分詞列表)轉(zhuǎn)換為第二步所得到的編碼數(shù)字特征；4)先規(guī)定最長文本數(shù)據(jù)長度，再截長補(bǔ)短使得所有樣本的長度一致.經(jīng)過這四步處理的評(píng)論文本數(shù)據(jù)才可以作為模型訓(xùn)練的數(shù)據(jù)[27].過程如圖4所示.

圖4 文本預(yù)處理過程Figure 4 Text preprocessing process

3.1.2 評(píng)論標(biāo)簽預(yù)處理

本實(shí)驗(yàn)數(shù)據(jù)集的評(píng)論標(biāo)簽只有兩類，Positive正面評(píng)論以及Negative負(fù)面評(píng)論.由于標(biāo)簽只有簡單的兩類，所以利用one-hot獨(dú)熱編碼處理標(biāo)簽數(shù)據(jù)是最高效簡潔的.處理結(jié)果即為Positive對(duì)應(yīng)轉(zhuǎn)變?yōu)閇0. 1.]，Negative轉(zhuǎn)變?yōu)閇1. 0.].經(jīng)過此處理的評(píng)論標(biāo)簽數(shù)據(jù)才可以作為模型訓(xùn)練的數(shù)據(jù)[28].

3.2 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)的評(píng)論語料來自CSDN博客的博主收集整理并公開發(fā)布在博客中的中文購物評(píng)論，其中包括訓(xùn)練集40 000多條，測試集3 000多條.對(duì)每一條評(píng)論人工標(biāo)注其情感傾向標(biāo)簽，有積極評(píng)論(Positive)和消極評(píng)論(Negative)兩類標(biāo)簽.打好標(biāo)簽后，將數(shù)據(jù)集隨機(jī)進(jìn)行打亂以保證模型訓(xùn)練效果更好.部分實(shí)驗(yàn)數(shù)據(jù)如表2所示.

表2 部分實(shí)驗(yàn)數(shù)據(jù)Table 2 Part of the experimental data

3.3 評(píng)論情感分類結(jié)果及分析

1)基于上述研究方法獲得評(píng)論情感分類結(jié)果，部分測試集評(píng)論及分類結(jié)果如表3所示.

表3 部分評(píng)論及分類結(jié)果Table 3 Part of comments and classification results

2)評(píng)價(jià)指標(biāo)

本文采用準(zhǔn)確率(Accuracy)、損失(Loss)兩個(gè)指標(biāo)作為模型的測評(píng)指標(biāo)，如公式(1)和(2)所示：

準(zhǔn)確率跟正類負(fù)類沒多大關(guān)系，表示在預(yù)測結(jié)果中，正確預(yù)測的數(shù)量 / 樣本總數(shù)，公式為：

(1)

損失函數(shù)采用交叉熵?fù)p失函數(shù)(categorical_crossentropy)公式為：

(2)

3)評(píng)論情感分類結(jié)果及分析

本文所采用的模型效果優(yōu)劣通過訓(xùn)練過程中不斷迭代時(shí)訓(xùn)練集、驗(yàn)證集的準(zhǔn)確率及損失值所展示，如表4所示；以及檢驗(yàn)在測試集數(shù)據(jù)上的損失值及準(zhǔn)確率來判定，如表5所示.

表4 訓(xùn)練過程中訓(xùn)練集、驗(yàn)證集數(shù)據(jù)的準(zhǔn)確率及損失值Table 4 Accuracy and loss values of training set and validation set data during training

表5 測試集數(shù)據(jù)上測評(píng)的準(zhǔn)確率及損失值Table 5 The accuracy and loss value of the evaluation on the test set data

從表4模型訓(xùn)練過程輸出訓(xùn)練集與驗(yàn)證集的準(zhǔn)確率以及損失值來看，每次迭代準(zhǔn)確率基本在0.9以上，說明模型的準(zhǔn)確率是較高的，該模型訓(xùn)練效果是不錯(cuò)的.再從表5在測試集數(shù)據(jù)上的準(zhǔn)確率與損失值來看模型優(yōu)劣，對(duì)比訓(xùn)練集驗(yàn)和證集的相應(yīng)值基本保持在統(tǒng)一范圍內(nèi)，也說明該模型的訓(xùn)練效果是較為不錯(cuò)的，準(zhǔn)確率也基本穩(wěn)定與0.9以上.

數(shù)據(jù)表格的形式測評(píng)分析不如圖像顯示直觀，故作折線圖，以折線圖的形式直觀的顯示本實(shí)驗(yàn)所用訓(xùn)練集和驗(yàn)證集集的準(zhǔn)確率與損失值對(duì)比.如圖5所示，通過對(duì)圖5的分析，可以發(fā)現(xiàn)，雖然模型的準(zhǔn)確率基本在0.92以上，損失值基本在0.17以下，但訓(xùn)練集與驗(yàn)證集相比出入是略有差別的，所以本分類器模型也并不是極佳，還有待提升，提高模型準(zhǔn)確率，降低模型損失，優(yōu)化模型.

圖5 模型準(zhǔn)確率與損失Figure 5 Line chart of model accuracy and loss

基于TextCNN做出的文本情感分類系統(tǒng)部分效果如圖6.

圖6 系統(tǒng)部分效果展示Figure 6 Part of the system effect display

4 結(jié) 語

本文是基于TextCNN的文本情感分類模型，采用Word2vec和TextCNN模型結(jié)合來設(shè)計(jì)情感分類模型，相較于僅使用CNN模型實(shí)現(xiàn)的分類器而言，使用Word2vec工具訓(xùn)練處理后的詞向量，再采用TextCNN模型訓(xùn)練得到的分類器模型，其準(zhǔn)確率會(huì)更高、效果更佳.模型的訓(xùn)練需要大量的數(shù)據(jù)集來支持，若訓(xùn)練集太小則模型的準(zhǔn)確率及效果可能會(huì)很差.本系統(tǒng)使用互聯(lián)網(wǎng)公開發(fā)表在GitHub上的數(shù)據(jù)集來訓(xùn)練模型，訓(xùn)練集數(shù)據(jù)約40 000條，測試集約3 000條.由于數(shù)據(jù)集較大，經(jīng)過不斷調(diào)試設(shè)置合理的模型參數(shù)，分類器的準(zhǔn)確率較高，基本在0.9以上.模型在測試集上測評(píng)的準(zhǔn)確率為0.94，說明分類器模型的泛化能力較好.訓(xùn)練模型完成之后將其保存成h5文件格式，后續(xù)可以使用直接調(diào)用該模型，否則每調(diào)用一次模型就需重新訓(xùn)練一次，耗時(shí)耗力.

本文中模型仍然存在許多不足之處，從本文情感分類模型訓(xùn)練過程和對(duì)模型結(jié)果的測評(píng)分析可以看出，該模型損失值較大且準(zhǔn)確率并非很高，分類結(jié)果也并非完全準(zhǔn)確不會(huì)出錯(cuò).說明該模型還是有很多需要改進(jìn)的地方，可以繼續(xù)調(diào)試選取更適合的參數(shù)來訓(xùn)練模型，也可以尋取更優(yōu)質(zhì)的數(shù)據(jù)集來訓(xùn)練模型，又或者是考慮選取其他神經(jīng)網(wǎng)絡(luò)模型來訓(xùn)練分類器模型.