CNN結(jié)合BLSTM的短文本情感傾向性分析

司新紅 王勇

摘 要：情感分析在業(yè)界被廣泛應(yīng)用于產(chǎn)品分析、商品推薦等方面，具有很高的商業(yè)價(jià)值。目前常用的研究方法主要基于機(jī)器學(xué)習(xí)算法和基于詞典的方法，該類(lèi)方法通常需依賴(lài)復(fù)雜的人工規(guī)則和特征工程。針對(duì)傳統(tǒng)情感分類(lèi)方法需要人工干預(yù)的問(wèn)題，總結(jié)目前已有可用于情感分析的深度學(xué)習(xí)方法，提出將卷積神經(jīng)網(wǎng)絡(luò)（CNN）和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（BLSTM）進(jìn)行組合，并將融合后的特征添加至注意力機(jī)制，設(shè)計(jì)出CBLSTM-Attention模型。實(shí)驗(yàn)表明，該模型在中文數(shù)據(jù)集上準(zhǔn)確率達(dá)0.965 0，在NLPCC英文數(shù)據(jù)集上準(zhǔn)確率達(dá)0.942 2，證明該方法不僅可提高文本情感傾向性分析的準(zhǔn)確率，而且可有效解決人工干預(yù)問(wèn)題。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò);注意力機(jī)制;文本情感分析;深度學(xué)習(xí)

0 引言

隨著微博、論壇、豆瓣、微信等社交媒體的發(fā)展，網(wǎng)民在網(wǎng)絡(luò)上的行為已不再局限于信息瀏覽，更多的用戶(hù)在社交網(wǎng)絡(luò)上表達(dá)自己的觀(guān)點(diǎn)，分享知識(shí)、創(chuàng)作內(nèi)容，這也成為互聯(lián)網(wǎng)資源的一部分[1]。這些內(nèi)容既包括對(duì)熱點(diǎn)新聞事件的評(píng)論，也包括對(duì)特定商品的評(píng)價(jià)，上述信息帶有明顯情感傾向。由于互聯(lián)網(wǎng)用戶(hù)規(guī)模大、傳播速度快，如何從海量、非結(jié)構(gòu)化文本數(shù)據(jù)中挖掘出有價(jià)值的信息，是情感分析的主要任務(wù)[2]。

情感分析（Sentiment Analysis），也被稱(chēng)為意見(jiàn)/評(píng)論挖掘（Review/Opinion Mining）[3]，指對(duì)帶有主觀(guān)情感色彩的文本數(shù)據(jù)進(jìn)行處理和分析，從中提取出結(jié)構(gòu)化的有價(jià)值的信息。情感分析主要包括情感抽取、情感極性分析、主客觀(guān)分析等子課題。在學(xué)術(shù)界，情感分析是計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域的一個(gè)基礎(chǔ)任務(wù)。情感分析在工業(yè)界被廣泛應(yīng)用于股票價(jià)格預(yù)測(cè)[4]、產(chǎn)品分析[5]、商品推薦等方面;對(duì)于政府部門(mén)來(lái)說(shuō)，情感分析更是輿情監(jiān)測(cè)、民意調(diào)研、危機(jī)管理的基礎(chǔ)技術(shù)。隨著信息量爆炸式增長(zhǎng)，已經(jīng)不可能依靠人工進(jìn)行信息收集和整理，因此如何從海量數(shù)據(jù)中自動(dòng)挖掘出情感信息非常重要。

情感分析主要是對(duì)文本或者句子、短語(yǔ)等進(jìn)行情感極性分析，分析結(jié)果可以是積極、消極或中性，或者是情感極性的強(qiáng)弱等[6]。傳統(tǒng)情感分析相關(guān)研究方法可大致分為基于詞典的方法和基于機(jī)器學(xué)習(xí)的方法兩類(lèi)[7]。在基于詞典的無(wú)監(jiān)督方法中，Turney[8]于2002年以大量語(yǔ)料資源為基礎(chǔ)，基于語(yǔ)義分類(lèi)，利用PMI-IP算法比較情感短語(yǔ)與兩個(gè)種子情感詞之間的互信息得出短語(yǔ)的情感值，并進(jìn)一步得到文章情感值;在以往基于機(jī)器學(xué)習(xí)的情感分析中，2010年，昝紅英等[9]將機(jī)器學(xué)習(xí)中的經(jīng)典分類(lèi)方法與規(guī)則方法結(jié)合，利用支持向量機(jī)分類(lèi)器研究特征選擇與特征權(quán)重，再計(jì)算兩種方法結(jié)合對(duì)實(shí)驗(yàn)結(jié)果的影響?；谇楦性~典的方法，需要使用已人工標(biāo)注的情感詞典。該方法嚴(yán)重依賴(lài)情感詞典的質(zhì)量，并且詞典的維護(hù)需要耗費(fèi)大量人力物力，隨著新詞的不斷涌現(xiàn)，已經(jīng)不能滿(mǎn)足應(yīng)用需求，亟待改進(jìn)與優(yōu)化。雖然基于機(jī)器學(xué)習(xí)方法已經(jīng)取得了很好的效果，但是特征和模板均需要人工設(shè)計(jì)，而且設(shè)計(jì)的特征往往沒(méi)有良好的適應(yīng)性，當(dāng)領(lǐng)域變化時(shí)需重新設(shè)計(jì)。

為了避免過(guò)多的人工設(shè)計(jì)特征，研究者們開(kāi)始使用深度學(xué)習(xí)方法，本文提出采用基于三通道卷積神經(jīng)網(wǎng)絡(luò)和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)進(jìn)行組合，然后加入注意力機(jī)制對(duì)句子中的關(guān)鍵詞給予更多的注意力，以便更有效地獲取句中的情感信息，實(shí)現(xiàn)更準(zhǔn)確的情感分類(lèi)。

1 相關(guān)工作

1.1 深度學(xué)習(xí)

深度學(xué)習(xí)的核心是特征學(xué)習(xí)，旨在通過(guò)分層網(wǎng)絡(luò)獲取分層次的特征信息，從而解決以往需要人工設(shè)計(jì)特征的重要難題。近年來(lái)，深度學(xué)習(xí)算法在自然語(yǔ)言領(lǐng)域取得了十分出色的成果，經(jīng)典成果是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）。RNN首先被Socher[10]在句法解析時(shí)采用，Irsoy等[11]將RNN結(jié)合成深層結(jié)構(gòu)，使其成為一個(gè)典型的3層結(jié)構(gòu)的深度學(xué)習(xí)模型。RNN被證明在解決序列化問(wèn)題上效果突出，能夠利用上下文信息，但是RNN在求解過(guò)程中存在梯度爆炸和消失問(wèn)題[12]，并且對(duì)長(zhǎng)文本的處理效果不佳。后期提出的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）有效解決了該問(wèn)題，長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)通過(guò)在隱藏層增加3種“門(mén)”的結(jié)構(gòu)控制細(xì)胞狀態(tài)，適合解決長(zhǎng)序列問(wèn)題，爾后又衍生出BLSTM，經(jīng)常被用于解決序列化的問(wèn)題，如機(jī)器翻譯、中文分詞等。目前，基于深度學(xué)習(xí)的自然語(yǔ)言處理成為主流研究方向。

1.2 文本情感分析

情感分析的概念最早在2002年由Pang等[13]提出，之后文本情感分析吸引了越來(lái)越多的注意。目前關(guān)于文本情感分類(lèi)技術(shù)的研究按照文本特點(diǎn)來(lái)分，主要有詞語(yǔ)級(jí)[14]、句子級(jí)[15-16]、篇章級(jí)[17]3類(lèi)，另外近年來(lái)針對(duì)各種短文本，如Twitter[18]、微博[19]、商品評(píng)論等的研究成果大量涌現(xiàn)。任遠(yuǎn)等[20]采用支持向量機(jī)和TF-IDF計(jì)算特征項(xiàng)權(quán)值進(jìn)行情感分析;石強(qiáng)強(qiáng)等[21]采用SVM對(duì)不同的特征組合進(jìn)行訓(xùn)練測(cè)試，并對(duì)每個(gè)組合的正確率進(jìn)行分析，然后找出最適合用戶(hù)評(píng)論情感分析的文本特征及特征組合;羅帆等[22]提出一種多層網(wǎng)絡(luò)H-RNN-CNN處理中文文本情感分類(lèi)任務(wù)。隨著深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域越來(lái)越廣泛的應(yīng)用，許多基于深度學(xué)習(xí)、或深度學(xué)習(xí)與傳統(tǒng)算法結(jié)合的情感分析模型被提出。

2 CBLSTM-Attention模型結(jié)構(gòu)

2.1 詞向量表示

2.1.1 數(shù)據(jù)預(yù)處理

無(wú)論文本數(shù)據(jù)是何種類(lèi)型，在進(jìn)行分類(lèi)任務(wù)之前均須進(jìn)行數(shù)據(jù)清洗降噪，因?yàn)樵嫉挠脩?hù)評(píng)論包含與情感無(wú)關(guān)的信息，良好的預(yù)處理會(huì)提高分類(lèi)準(zhǔn)確率。進(jìn)行文本預(yù)處理的主要目的是去除文本中的一些噪聲數(shù)據(jù)，從而獲得與最終分類(lèi)相關(guān)的數(shù)據(jù)。英語(yǔ)文本中單詞與單詞之間存在天然的空格符，但中文文本不同，所以需要對(duì)中文文本進(jìn)行分詞操作，將中文文本評(píng)論的詞語(yǔ)與詞語(yǔ)分離開(kāi)，形成有合理語(yǔ)義的詞語(yǔ)。本文采用的分詞工具是使用Python語(yǔ)言編寫(xiě)的中文分詞工具：結(jié)巴（jieba）分詞。

2.1.2 文本向量化表示

文本向量化表示指將分詞結(jié)果用詞向量表示，本文采用的詞向量表示方法由Hinton[23]提出。該方法將文本建模轉(zhuǎn)化成機(jī)器學(xué)習(xí)問(wèn)題，訓(xùn)練大規(guī)模的語(yǔ)料數(shù)據(jù)，輸出指定維度的特征向量，既保存了較為豐富的文本語(yǔ)義信息，也起到了特征向量降維的作用，優(yōu)于傳統(tǒng)One-Hot編碼和詞袋模型（Bag of Words Model）。由谷歌推出Word2Vec是目前較常用的詞向量工具，其主要基于CBOW（Continuous Boags-of-Words）模型和Skip-gram模型[24]，這兩個(gè)模型結(jié)構(gòu)如圖1、圖2所示。

CBOW模型利用當(dāng)前詞[Wt]的上下文預(yù)測(cè)當(dāng)前詞[Wt]的概率，每一個(gè)在上下文中出現(xiàn)的詞都對(duì)當(dāng)前詞的出現(xiàn)概率有相同的影響權(quán)重;Skip-gram模型則利用當(dāng)前詞[Wt]預(yù)測(cè)其上下文概率。本文采用Skip-gram模型，上下文窗口大小為5，在大量無(wú)標(biāo)注語(yǔ)料上進(jìn)行詞向量訓(xùn)練，將訓(xùn)練完成的詞向量作為模型詞向量。

2.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，由Hubel&Wissel在研究貓腦皮層時(shí)發(fā)現(xiàn)并提出，在圖像識(shí)別、推薦系統(tǒng)和自然處理領(lǐng)域得到了廣泛應(yīng)用。典型的網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、卷積層、池化層（下采樣層）、全連接層和輸出層組成。其中池化層為特征映射層，對(duì)經(jīng)過(guò)卷積層后得到的特征進(jìn)行采樣，得到局部最優(yōu)值。CNN結(jié)構(gòu)如圖3所示。

2.3 雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）是對(duì)傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）模型的一種改進(jìn)，解決了RNN的長(zhǎng)期依賴(lài)問(wèn)題和序列過(guò)長(zhǎng)導(dǎo)致的梯度爆炸問(wèn)題。標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)通常包含3層結(jié)構(gòu)，即輸入層、輸出層、隱藏層。在解決自然語(yǔ)言處理任務(wù)時(shí)，LSTM模型僅考慮上文信息，沒(méi)有用到下文信息，丟失了部分語(yǔ)義信息。BLSTM主要構(gòu)建一個(gè)對(duì)齊的雙層模型，一層從左到右傳播，一層從右向左傳播，每一層都是傳統(tǒng)的LSTM模塊，BLSTM模型包含輸入層、前向傳遞層、后向傳遞層，輸出層。本文采用的BLSTM模型結(jié)構(gòu)如圖4所示。

2.4 注意力機(jī)制

深度學(xué)習(xí)的注意力模型是模擬人腦注意力的模型，對(duì)比傳統(tǒng)模型有顯著優(yōu)化，2014年Bandanau等[25]最早提出了Soft Attention Model，并把它運(yùn)用到機(jī)器翻譯等相關(guān)領(lǐng)域。注意力模型可計(jì)算注意力分配概率分布，給出輸入句子X(jué)中任一個(gè)單詞的相關(guān)概率，得出概率分布，模型結(jié)構(gòu)如圖5所示。

2.5 CBLSTM-Attention模型構(gòu)建

本文構(gòu)建的CBLSTM-Attention模型如圖6所示。本文提出將三通道卷積神經(jīng)網(wǎng)絡(luò)（CNN）和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（BLSTM）進(jìn)行組合，并將融合后的特征與注意力機(jī)制結(jié)合，構(gòu)建出新的網(wǎng)絡(luò)模型。利用CNN提取文本向量的局部特征，利用BLSTM提取與文本上下文相關(guān)的全局特征，將兩種互補(bǔ)模型提取的特征進(jìn)行融合，解決了單卷積神經(jīng)網(wǎng)絡(luò)模型忽略詞的上下文語(yǔ)義和語(yǔ)法信息的問(wèn)題，也有效避免了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)梯度消失或梯度彌散問(wèn)題，加入注意力機(jī)制對(duì)句子中的關(guān)鍵詞給予更多的注意力，以便更好地獲取句子中的情感信息，實(shí)現(xiàn)更準(zhǔn)確的情感分類(lèi)。

本文模型首先對(duì)原始語(yǔ)料C進(jìn)行預(yù)處理，并通過(guò)Word2Vec訓(xùn)練出詞向量，構(gòu)建出每個(gè)句子對(duì)應(yīng)句向量;將構(gòu)建出的句向量分別輸入CNN的卷積層和BLSTM，為了取得更好的實(shí)驗(yàn)效果，卷積窗口采用3、4、5進(jìn)行結(jié)合，卷積層采用的激活函數(shù)為RELU，步長(zhǎng)設(shè)置為1，通過(guò)卷積操作提取句子局部特征;池化層采用Max-Pooling，窗口采用2， 通過(guò)池化操作提取關(guān)鍵特征，然后將3個(gè)池化操作輸出的特征拼接起來(lái)，作為Attention輸入的一部分;同時(shí)，將構(gòu)建出的句向量作為BLSTM的輸入，經(jīng)過(guò)隱層LSTM單元，獲得兩組特征，將這兩組特征進(jìn)行拼接，作為注意力輸入的一部分;最后將CNN和BLSTM的輸出進(jìn)行融合，作為注意力的輸入。將注意力提取出的重要特征，輸入到全連接層，并通過(guò)[softmax]進(jìn)行分類(lèi)。為了防止過(guò)擬合，采用L2正則化約束網(wǎng)絡(luò)參數(shù)，同時(shí)引入Dropout機(jī)制。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)語(yǔ)料數(shù)據(jù)

本文采用中文和英文兩類(lèi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，所有數(shù)據(jù)集如表1所示。

（1）ChnSentiCorp（Songbo Tan）[26]，中文情感語(yǔ)料。本文采用數(shù)據(jù)去重的6 000條數(shù)據(jù)，正負(fù)樣本各3 000條。

（2）PR（NLPCC2014）[27]，中英文數(shù)據(jù)集。這是由中國(guó)中文信息學(xué)會(huì)舉辦的自然語(yǔ)言處理會(huì)議公布的深度學(xué)習(xí)情緒分類(lèi)評(píng)測(cè)數(shù)據(jù)集，包含中文數(shù)據(jù)（NLPCC-cn）10 000條和英文數(shù)據(jù)（NLPCC-en）9 985條。

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本文在情感樣本上采用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1-Measure作為評(píng)價(jià)情感分類(lèi)結(jié)果好壞的指標(biāo)。文本情感傾向性分析實(shí)際上是二分類(lèi)問(wèn)題，本文針對(duì)該問(wèn)題給出響應(yīng)的分類(lèi)結(jié)果混淆矩陣，如表2所示。

3.3 模型參數(shù)

實(shí)驗(yàn)參數(shù)的選擇影響最終實(shí)驗(yàn)結(jié)果，詞向量維度可以反映詞語(yǔ)特征，特征越多越容易準(zhǔn)確地區(qū)別不同的詞，但是維度太大可能會(huì)淡化詞與詞之間的關(guān)系，同時(shí)隨著詞向量維度的增加，計(jì)算復(fù)雜度也會(huì)增加。本文比較了100維、200維和300維的詞向量，發(fā)現(xiàn)在中文數(shù)據(jù)集上詞向量采用100維詞、英文數(shù)據(jù)集詞向量采用300維時(shí)，可以取得較好的效果;優(yōu)化函數(shù)采用RMSProp、Adam、Adadelta進(jìn)行對(duì)比實(shí)驗(yàn);批處理個(gè)數(shù)采用50、64、128進(jìn)行對(duì)比實(shí)驗(yàn)。通過(guò)對(duì)比參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響，相關(guān)參數(shù)范圍如表3所示，在不同數(shù)據(jù)集上的具體取值略有不同。

3.4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文模型有效性，基于3種數(shù)據(jù)集比較BLSTM模型、CNN模型、BLSTM-CNN模型、CBLSTM-Attention模型。其中CBLSTM-Attention模型是本文提出的BLSTM和CNN的組合，并通過(guò)Attention提取重要特征。同時(shí)，本文還引用了相同數(shù)據(jù)集上已有的代表性工作與之進(jìn)行比較。

（1）不同模型在數(shù)據(jù)集NLPCC-en上的對(duì)比。圖7和圖8是NLPCC-en英文數(shù)據(jù)集在BLSTM模型、CNN模型、BLSTM-CNN模型、CBLSTM-Attention模型上損失函數(shù)Loss值和準(zhǔn)確率隨迭代次數(shù)的變化而變化，圖9是不同模型在NLPCC-en數(shù)據(jù)集上評(píng)價(jià)指標(biāo)的對(duì)比，模型具體參數(shù)取值如表3所示。對(duì)比圖7發(fā)現(xiàn)所有模型均下降到相對(duì)較低的穩(wěn)定值，本文模型、BLSTM模型的loss值下降速度較快，并且最終收斂到一個(gè)很低的穩(wěn)定值。

對(duì)比圖8發(fā)現(xiàn)，在相同條件下，本文模型準(zhǔn)確率相對(duì)于其它3個(gè)模型收斂速度較慢，但是準(zhǔn)確率達(dá)到0.949 2，明顯高于其它模型。對(duì)比圖9的其它評(píng)價(jià)指標(biāo)，CBLSTM-Attention模型均高于其它3個(gè)模型。因?yàn)镃NN卷積層限定了參數(shù)個(gè)數(shù)，雖然能夠挖掘局部信息，但是無(wú)法對(duì)時(shí)間序列上的變換有效建模;BLSTM可以提取與文本上下文相關(guān)的全局特征，重點(diǎn)關(guān)注詞在上下文語(yǔ)義和語(yǔ)法信息的問(wèn)題，而CNN池化層可對(duì)特征向量圖進(jìn)行采樣操作，提取重要的特征信息，所以將BLSTM和CNN進(jìn)行組合后的模型比單模型準(zhǔn)確率高約2%;本文提出的CBLSTM-Attention模型相對(duì)于單模型提高了約9%，相對(duì)于BLSTM和CNN組合后的模型提高了約7%。因?yàn)槿舨灰胱⒁饬C(jī)制，每個(gè)詞對(duì)目標(biāo)詞的貢獻(xiàn)相同，這樣所有語(yǔ)義完全通過(guò)一個(gè)相同的中間語(yǔ)義向量C表示，則大量細(xì)節(jié)信息會(huì)丟失。注意力分配模型可以給每個(gè)詞賦予不同的權(quán)重，突出關(guān)鍵輸入對(duì)輸出的作用，所以本文模型在相同數(shù)據(jù)集上取得了較好的效果。

（2）注意力機(jī)制對(duì)模型結(jié)果的影響。表4為在所有參數(shù)均相同的情況下，加入注意力機(jī)制后在3種數(shù)據(jù)集上的比較，在NLPCC英文數(shù)據(jù)集上提高了約7%，在NLPCC-cn中文數(shù)據(jù)集上提高了約4%，在ChnSentiCorp中文酒店評(píng)論數(shù)據(jù)集上提高了約5%。實(shí)驗(yàn)表明，加入注意力機(jī)制確實(shí)可以提高模型準(zhǔn)確率，對(duì)于文本情感分析可以取得非常好的效果。

（3）本文模型與其它研究的對(duì)比。為了驗(yàn)證本文方法的有效性，表5將本文模型與已有的代表性工作進(jìn)行對(duì)比。相比于NLPCC-SCDL評(píng)測(cè)中分類(lèi)效果最好的算法（NLPCC_SCDL_best），本文CBLSTM-Attention模型在中文數(shù)據(jù)集的F1值提升了約4%，在英文數(shù)據(jù)集上F1-Measure提升了約7%;羅帆等[22]基于深度學(xué)習(xí)提出H-RNN-CNN層次模型，模型使用RNN建模詞語(yǔ)序列和句子序列，并通過(guò)CNN識(shí)別跨語(yǔ)句信息，取得了較好效果，但是本文提出的基于A(yíng)ttention機(jī)制的CBLSTM-Attention模型在NLPCC中文數(shù)據(jù)集和ChnSentiCorp中文酒店評(píng)論數(shù)據(jù)集上明顯優(yōu)于H-RNN-CNN;曹宇慧[28]提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的文本情感分析模型。本文利用該模型，首先將卷積神經(jīng)網(wǎng)絡(luò)作為自動(dòng)特征學(xué)習(xí)器，學(xué)習(xí)輸入樣本的特征表達(dá)，然后將獲得的特征表達(dá)作為支持向量機(jī)的輸入，發(fā)現(xiàn)本文模型明顯提高了文本分類(lèi)的F1-Measure值。

4 結(jié)語(yǔ)

本文提出的CBLSTM-Attention模型將BLSTM和CNN進(jìn)行組合提取特征信息，BLSTM可提取與文本上下文相關(guān)的全局特征，重點(diǎn)關(guān)注詞在上下文的語(yǔ)義與語(yǔ)法信息，而CNN池化層可對(duì)特征向量圖進(jìn)行采樣操作，提取重要的特征信息，然后將提取到的特征信息輸入到注意力機(jī)制，對(duì)于不同的詞賦予不同的權(quán)重，使文本更加關(guān)注與輸出結(jié)果有關(guān)的特征，將本文模型與CNN模型、BLSTM模型、BLSTM-CNN模型進(jìn)行對(duì)比實(shí)驗(yàn)，證明本文模型可取得較好的效果，將本文模型與其它相關(guān)研究進(jìn)行比較，發(fā)現(xiàn)在3個(gè)數(shù)據(jù)集上的表現(xiàn)均有明顯提高。但由于本文模型僅研究了與上下文有關(guān)的向量輸入，未涉及詞性研究，所以下一步工作是研究詞性對(duì)文本分類(lèi)準(zhǔn)確率的影響。

參考文獻(xiàn)：

[1] 田竹. 基于深度特征提取的文本情感極性分類(lèi)研究[D]. 濟(jì)南： 山東大學(xué)，2017.

[2] 王樹(shù)恒. 基于深度學(xué)習(xí)的維吾爾語(yǔ)文本情感分析[D].烏魯木齊： 新疆大學(xué)，2017.

[3] PANG B， LEE L. Opinion mining and sentiment analysis[M]. Berkeley： Now Foundations and Trends？ in Information Retrieval， 2008.

[4] BOLLEN J， MAO H， PEPE A. Modeling public mood and emotion： Twitter sentiment and socio-economic phenomena[C]. Proceedings of the International AAAI Conference on Weblogs and Social Media， 2011： 17-21.

[5] BING L. Sentiment analysis： a fascinating problem[M]. Massachusetts： Morgan and Claypool Publishers， 2012.

[6] NASUKAWA T，YI J. Sentiment analysis： capturing favorability using natural language processing[C]. Proceedings of the 2nd International Conference on Knowledge capture，2003： 70-77.

[7] 張林，錢(qián)冠群，樊衛(wèi)國(guó)，等. 輕型評(píng)論的情感分析研究[J]. 軟件學(xué)報(bào)，2014，25（12）：2790-2807.

[8] TURNEY P D. Thumbs up or thumbs down？semantic orientation applied to unsupervised classification of reviews[C]. Proceeding of Association for Computational Linguistics 40th Anniversary Meeting，2002：1417-1424.

[9] 昝紅英，郭明，柴玉梅，等. 新聞報(bào)道文本的情感傾向性研究[J]. 計(jì)算機(jī)工程，2010（15）： 20-22.

[10] SOCHER R， LIN C C， MANNING C， et al. Parsing natural scenes and natural language with recursive neural networks[C]. Proceedings of the 28th international conference on machine learning，2011： 129-136.

[11] IRSOY O， CARDIE C. Deep recursive neural networks for compositionality in language[C].Advances in Neural Information Processing Systems，2014： 2096-2104.

[12] HOCHREITER S，BENGIO Y，F(xiàn)RASCONI P. Gradient flow in recurrent nets： the difficulty of learning long term dependencies[M]. New York：Wiley-IEEE Press， 2001.

[13] PANG B， LEE L， VAITHYANATHAN S. Thumbs up？： sentiment classification using machine learning techniques[C]. Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing，2002： 79-86.

[14] TABOADA M，BROOKE J，TOFILOSKI M，et al. Lexicon-based methods for sentiment analysis[J]. Computational linguistics， 2011， 37（2）： 267-307.

[15] JIANG L，YU M，ZHOU M，et al. Target-dependent twitter sentiment classification[C]. Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies，2011： 151-160.

[16] 楊立公，朱儉，湯世平. 文本情感分析綜述[J]. 計(jì)算機(jī)應(yīng)用， 2013， 33（6）：1574-1607.

[17] BALAHUR A，STEINBERGER R，KABADJOV M，et al. Sentiment analysis in the news[C]. Proceedings of the 7th International Conference on Language Resources and Evaluation，2010： 2216-2220.

[18] NAKOV P， RITTER A， ROSENTHAL S， et al. SemEval-2016 task 4：sentiment analysis in Twitter[C]. Proceedings of the 10th international workshop on semantic evaluation（semeval-2016），2016：1-18.

[19] LIU H， LI S， JIANG C， et al. Sentiment analysis of Chinese Micro- blog based on DNN and ELM and vector space model[C]. Proceedings of ELM-2015， 2016： 117-129.

[20] 任遠(yuǎn)， 巢文涵， 周慶， 等. 基于話(huà)題自適應(yīng)的中文微博情感分析[J]. 計(jì)算機(jī)科學(xué)， 2013， 40（11）： 231-235.

[21] 石強(qiáng)強(qiáng)，趙應(yīng)丁，楊紅云. 基于SVM的酒店客戶(hù)評(píng)論情感分析[J]. 計(jì)算機(jī)與現(xiàn)代化，2017（3）：117-121.

[22] 羅帆， 王厚峰. 結(jié)合 RNN 和 CNN 層次化網(wǎng)絡(luò)的中文文本情感分類(lèi)[J]. 北京大學(xué)學(xué)報(bào)：自然科學(xué)版，2018，54（3）： 459-465.

[23] LAROCHELLE H， MANDEL M， PASCANU R， et al. Learning algorithms for the classification restricted Boltzmann machine[J]. Journal of Machine Learning Research， 2012， 13（Mar）： 643-669.

[24] MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality[C].Advances in Neural Information Processing Systems，2013： 3111-3119.

[25] BAHDANAU D，CHO K，BENGIO Y. Neural machine translation by jointly learning to align and translate[DB/OL]. http：//pdfs.semanticscholar.org/071b/16f25117fb6133480c6259227d54fc2a5ea0.pdf.

[26] NLPIR大數(shù)據(jù)搜索與挖掘?qū)嶒?yàn)室. 中文情感語(yǔ)料[DB/OL]. http：//www.nlpir.org/？action-viewnews-itemid-77.

[27] NLPCC2014. NLPCC 2014 Evaluation Tasks Sample Data [DB/OL]. http：//tcci.ccf.org.cn/conference/2014/pages/page04_sam.html.

[28] 曹宇慧. 基于深度學(xué)習(xí)的文本情感分析研究[D]. 哈爾濱： 哈爾濱工業(yè)大學(xué)， 2015.

（責(zé)任編輯：江 艷）