基于語義規(guī)則與RNN模型的在線評論情感分類研究

邵良杉，周 玉

(遼寧工程技術大學 系統(tǒng)工程研究所，遼寧 葫蘆島125105)

0 引言

電子商務的不斷優(yōu)化使網(wǎng)絡購物成為一種重要的消費方式，越來越多的消費者通過點評網(wǎng)站對商品進行評價[1]。但互聯(lián)網(wǎng)中的商品評論信息內容并不規(guī)范且夾雜大量垃圾信息，需借助技術手段對評論信息進行情感分析。因此，如何準確、高效地對評論文本進行情感分析處理，識別出消費者的情感傾向與偏好，成為自然語言處理的重要研究內容之一。

傳統(tǒng)的情感傾向性分類采用的技術路線主要有兩種: 一種是基于情感詞匯語義特征的文本情感分類方法，例如，Maite等[2]提出根據(jù)一系列詳細的規(guī)則算法來計算文本中單詞、短語、句子的情感極性，并設置閾值以更精確地判別文本情感傾向；Mohammad等[3]基于遠程標注情感極性的Twitter文本，使用PMI公式學習得到適用于社交媒體情感分析的詞典；周紅照等[4]提出抽取與評價對象相關的七類語義特征及與極性判定相關的五類語義特征來判定情感極性；王勤勤等[5]提出基于word2vec的跨領域情感分類方法，選取高質量的領域共同特征作為種子，并將領域專有特征擴充到種子中，減小領域間的差異以獲得更高的分類精度。但該類方法利用情感色彩判斷整體句子的情感傾向時，忽略了上下文語義間的相互信息，是一種淺層次的分類方式。

另一種是基于機器學習的文本情感分類方法。例如，Pang等[6]應用貝葉斯、最大熵、支持向量機等經(jīng)典機器學習算法到電影評論情感極性分析中；姜杰等[7]將語義規(guī)則方法融合到機器學習模型中，結合基于樸素貝葉斯、邏輯斯特回歸和支持向量機的集成學習器分析微博文本情感極性；唐曉波等[8]基于情感本體對情感詞數(shù)量和情感程度進行加權，提出褒義量和貶義量的概念，并以此作為KNN算法的特征向量。機器學習模型可以較準確地判讀句子整體的情感傾向，但目前常用模型的分類性能很大程度依賴于人工抽取特征。近年來，深度學習模型廣泛應用于各個領域，并在情感分類方面展現(xiàn)出一定的優(yōu)勢。Tang等[9]對情感詞進行研究進而有效學習情感，開發(fā)出具有選擇功能的深度神經(jīng)網(wǎng)絡，將情緒評價應用到詞級、句子情感分類；Stojanovski等[10]利用無監(jiān)督學習獲得的情感詞訓練深層卷積神經(jīng)網(wǎng)絡，并對Twitter文本進行情感分析，取得了優(yōu)于句法特征的分類結果。從整體看，機器學習方法的分類效果優(yōu)于語義規(guī)則方法，但單獨使用機器學習或語義規(guī)則的方法都很難避免方法自身的局限性。

鑒于此，本文嘗試將語義規(guī)則方法與深度學習方法相結合，提出一種基于語義規(guī)則和改進遞歸神經(jīng)網(wǎng)絡(Recurrent Neural Network, RNN)的在線評論文本情感傾向分類模型。首先改進傳統(tǒng)規(guī)則算法以獲取更有效的情感信息，擴展為多維特征向量嵌入到機器學習常用的基本特征模板中。同時，借助Fisher準則篩選出高效低維的文本特征。最后，利用長短時記憶(Long Short-Term Memory，LSTM)改進的RNN模型(LS-RNN)進行評論文本情感分類實驗。

1 在線評論情感傾向分類語義規(guī)則方法

1.1 基于詞典的情感傾向分類語義規(guī)則

借助情感詞典可以將情感詞語從在線評論文本中抽取出來，但單獨對這些詞語進行情感極性分析，并不能完全正確地反映文本的真實情感傾向[11]?；谇楦性~典的規(guī)則方法可以借助情感詞典提供的先驗知識，同時考慮文本上下文中改變情感傾向或強度的語義信息，精確反映文本的情感傾向。

傳統(tǒng)的情感規(guī)則方法是對情感詞得分進行累加，進而得到文本的整體情感傾向。而在線評論文本中用戶情感表達方式錯綜復雜，所發(fā)表的評論中常常伴隨著混合觀點，對某一方面給出肯定評價的同時又對其他方面進行批評。故本文基于在線評論文本的情感多樣、強烈等特點，在前人類似語義規(guī)則的基礎上進行修改和補充，制定出更加適用于在線評論文本的語義規(guī)則。同時，基于大連理工大學中文情感詞匯本體庫、知網(wǎng)詞典、知網(wǎng)程度詞典和否定詞典、網(wǎng)絡詞典構建情感詞典，對在線評論文本進行中文分詞。按照符號“，、”分割子句單元，根據(jù)“？！。；”分割復句單元。用集合{C1,C2,…,Cj}表示文本劃分后復句的集合，Cj表示第j個復句。`針對情感分析時需要考慮的詞語搭配、句型規(guī)則和句間規(guī)則，得到整段評論文本的情感得分Sen。細化后的情感分析語義規(guī)則見表1，具體計算步驟如下：

表1 情感分析語義規(guī)則

Step1各子句、復句情感得分初值設為0；

Step2根據(jù)詞語搭配規(guī)則匹配子句中所出現(xiàn)的情感詞、修飾詞，計算各個子句的情感得分Seni；

Step3在各子句情感得分的基礎上按照句型分析規(guī)則及句間分析規(guī)則計算各復句的情感得分C_Senj。

Step4對各復句的情感得分C_Senj進行匯總計算，得到整體評論文本的最終情感得分Sen。

規(guī)則方法中，對所有可能影響文本情感得分的規(guī)則進行分析并指定規(guī)則，計算過程的范圍由小到大。首先，根據(jù)詞語情感值計算分句情感值。而后，計算復句情感值。最終，得到整條評論文本的情感值?？紤]范圍更加全面，使文本情感得分更準確。

1.2 規(guī)則特征融合方法

機器學習方法需要將文本轉換為一個合適的形式化表示方法，并在此基礎上建立學習模型。向量空間模型(vector space model，VSM)將文檔表示為空間向量進行運算，具有較強的可計算性和可操作性。本文采用VSM表示文本，將N-gram特征中正面、負面類概率值；符號特征(punctuation)中單個感嘆號、問號，多個感嘆號、問號的數(shù)量；語義特征(semantic)中主觀指示詞、虛擬指示詞、語氣詞、否定詞數(shù)量，三類特征串聯(lián)成10維基本特征模板BFT。使用1.1節(jié)中規(guī)則抽取情感特征后，從有強度標記的情感詞典，抽取出情感詞得分(Em_Score)、表情得分(Ex_Score)、總得分(Su_Score)、正面/負面情感詞數(shù)量(Pw_Num/Nw_Num)、正面/負面情感子句數(shù)量(Ps_Num/Ns_Num)共7維特征。對沒有強度標記的情感詞典，情感詞強度默認為±1。

將情感詞得分、表情得分及總得分三類特征分別與0值進行比較，拓展為3個四維特征向量。其中，第一維為得分值，第二至四維為對比結果標識位，依次判定是否滿足大于0、等于0、小于0關系，滿足條件為1，否則為0。三類特征最終共拓展得到12(3×4)維向量；同理，通過正面、負面情感詞數(shù)量、正面、負面子句數(shù)量之間的相互比較，采用兩兩合并拓展的方式拓展為2個五維特征向量。其中，第一、二維分別為正、負面情感詞數(shù)量，第三至五維為正、負面情感詞數(shù)量對比結果標識。四類特征兩兩合并拓展為10(2×5)維拓展特征，將上述拓展后的特征按順序排列得到22(12+10)維情感規(guī)則特征模板RFT，并嵌入到10維基本特征模板BFT中形成32維的混合特征模板MFT。具體規(guī)則得分拓展及嵌入過程如圖1所示。

圖1 規(guī)則得分拓展過程

2 基于RNN的在線評論文本情感分類模型

2.1 RNN相關理論

2.1.1 RNN網(wǎng)絡模型

RNN是一種帶有環(huán)結構的前饋型人工神經(jīng)網(wǎng)絡，且具有一定的記憶功能，其輸入既包括當前的輸入樣本也包括上一時刻所獲得的信息，使得信息可以在網(wǎng)絡內部進行任意時間的循環(huán)[12]。鑒于這一性質，RNN更適合應用到文本序列的處理中，其一般結構如圖2所示。

圖2 遞歸神經(jīng)網(wǎng)絡一般結構

2.1.2 長短時記憶

RNN解決了神經(jīng)網(wǎng)絡無法解決的文本序列前后關聯(lián)問題，但無法解決長時依賴問題，且訓練過程中通常采用的sigmoid激勵函數(shù)經(jīng)過多級乘法運算極易導致梯度爆炸或消失現(xiàn)象。LSTM由記憶單元(Cell)，遺忘門、輸入門、輸出門組成(見圖3)，這些門可以調節(jié)存儲單元與外部環(huán)境間的相互作用。引入LSTM結構替換RNN中的隱含層，可以實現(xiàn)t到t+1時刻中存儲單元的狀態(tài)保持不變[13]。

圖3 基于LSTM的改進遞歸神經(jīng)網(wǎng)絡

2.2 Fisher特征提取

則第k維特征的Fisher判別值為：

(11)

其中，F(xiàn)(k)值越大說明該特征項包含越多的鑒別信息，對分類的貢獻率越大。

2.3 情感傾向分類過程

對在線評論原始文本進行去噪聲、去停用詞等預處理后得到訓練語料集和測試語料集。使用基于情感詞典的語義規(guī)則方法，學習得到訓練語料集中的情感先驗知識。而后，根據(jù)一定的規(guī)則轉化、拓展為新的情感規(guī)則特征模板，與機器學習中常用的基本特征模板BFT相結合，形成既包含機器學習常用特征，又包括在線評論文本專有情感知識特征的融合特征模板MFT。計算各特征的Fisher判別值，去除Fisher值低于某一閾值的特征。最終，基于篩選后的特征，訓練構建起的LS-RNN模型。將測試語料集帶入訓練好的模型中得到最終文本情感分類結果，模型具體訓練及預測過程如圖4所示。

圖4 在線評論文本情感傾向性分類的總體框架

2.4 實驗評測指標

在線評論文本情感傾向分類模型性能評價中常用的指標包括查準率(Precision)、召回率(Recall)、正確率(Accuracy)及F值(F-measure)。本文僅將在線評論文本分為正面評論文本和負面評論文本。正面評論文本和負面評論文本的預測情況可具體分為TP(實際正面，預測正面)，F(xiàn)P(實際正面，預測負面)，F(xiàn)N(實際負面，預測正面)，TN(實際負面，預測負面)四種，各評價指標的計算如式(12)～式(15)所示。

3 實驗與分析

3.1 數(shù)據(jù)收集及處理

本文采用Python爬蟲程序從京東網(wǎng)站爬取有關oppoR11s手機的6 000條評論作為語料庫。語料庫中包括評論者、評論時間及評論內容等信息，本文僅選取評論內容作為在線評論情感分類的數(shù)據(jù)源。京東在線評論作為一個個體性較強的評論平臺，評論信息無特殊限制，使得評論中存在較多的噪聲數(shù)據(jù)。為保證實驗質量，需對文本進行預處理。

文本預處理過程主要包括兩部分內容: 一是噪聲數(shù)據(jù)的過濾，二是將長文本評論變?yōu)槎涛谋驹u論分句。本文采用中國科學院計算技術研究所研發(fā)的漢語分詞系統(tǒng)(NLPIR)對文本進行自動分詞，并借助VSM處理文本。首先，使用R語言編程對原始評論文本進行去噪聲處理，去除垃圾評論128條，得到有效評論5 872條。從中按3∶1的比例隨機抽取得到訓練語料集和測試語料集，采用機器自動標注方法將訓練語料集分為正面文本和負面文本兩類。最終，確定訓練語料集中正面評論文本為2 415條，負面評論文本為1 989條。

3.2 RNN模型參數(shù)選擇

為提高LS-RNN模型的情感傾向分類效果，本次實驗采用三層隱含層網(wǎng)絡結構，優(yōu)化函數(shù)選取SGD算法，目標函數(shù)使用交叉熵。模型主要有以下參數(shù)：隱層節(jié)點數(shù)n，SGD算法的學習率α。采用網(wǎng)格搜索的方法確定這些參數(shù)，隱含層的節(jié)點數(shù)n在{250, 500, 750, 1 000, 1 250, 1 500}中取值；SGD算法的學習率在{1, 0.5, 0.1, 0.05, 0.01}中取值，通常在此范圍內取值可以取得比較好的實驗結果。采用5折交叉驗證的方法確定RNN網(wǎng)絡最優(yōu)參數(shù)組合，實驗結果見圖5。可見，在不同的學習率下，隱層節(jié)點數(shù)n為1 000時模型均具有較高的Accuracy和F-measure值，且當學習率α取0.1時，模型分類效果最優(yōu)，故確定實驗最優(yōu)參數(shù)為n=1 000，α=0.1。

3.3 情感分類特征抽取

相關研究表明特征集合中各特征對分類準確率的貢獻不同，只有小部分特征對分類具有積極意義[15]。本文借助Fisher準則來提取低維高判別性的特征，并將提取后的特征標記為F-MFT。按照式(11)計算各特征的Fisher判別值，并將其作為各特征權重。根據(jù)權重大小對特征進行降序排列，計算不同特征維數(shù)下模型的F-measure值，測試結果如圖6所示。

圖5 不同參數(shù)組合預測結果對比

圖6 不同特征維度對應F-measure值

可以看出，當抽取前27維特征時，文本情感傾向分類結果的F-measure值達到最高，再增加維度反而會導致F-measure值的下降；另外，隨著特征維度的增高，實驗所消耗的時間也隨之增加。綜合，考慮后選取前27維特征作為F-MFT。

3.4 分類性能測試及對比試驗

采用測試集文本對基于語義規(guī)則和LS-RNN的融合模型進行分類性能測試。測試集文本數(shù)量為1 468條，經(jīng)機器自動標注確定正面評價為845條，負面評價為623條，正負面評價文本數(shù)量較為均衡。以下分四個實驗測試模型的分類性能。

實驗一驗證結合語義規(guī)則方法和LS-RNN模型的融合模型的情感傾向分類效果。網(wǎng)絡模型采用三層隱含層結構，RNN中隱層節(jié)點數(shù)為1 000，優(yōu)化函數(shù)使用SGD算法，學習率α取0.1。對比情感語義規(guī)則方法、LS-RNN模型及情感分析中常用的幾類深度學習方法，具體結果如表2所示。

表2 測試集分類結果(%)

模型PrecisionRecallF-measureAccuracy語義規(guī)則方法79.5377.8777.6975.20卷積神經(jīng)網(wǎng)絡80.3778.4477.8178.67循環(huán)神經(jīng)網(wǎng)絡81.0178.9178.0879.33RNN模型80.7678.5677.6478.79LS-RNN模型81.4280.5678.0080.99融合模型91.6090.4291.0189.58

由實驗結果可知，單純的機器學習方法相對于語義規(guī)則方法具有更好的分類準確率。經(jīng)改進的LS-RNN模型分類準確率提高得更多，而結合情感規(guī)則方法與機器學習模型的融合模型在評論文本情感傾向分類中表現(xiàn)最佳，其查準率、召回率和F值都有明顯的提高。主要原因是LSTM改進RNN模型后，使得網(wǎng)絡可以充分地利用歷史信息，學習到文本間的關聯(lián)關系。融合模型根據(jù)語義從多個角度并結合上下文情感關系提取評論文本特征，可以實現(xiàn)分類模型與語義規(guī)則方法的優(yōu)勢互補，在整體上提升分類性能。

實驗二不同特征選擇方法比較。對比基本特征模板、情感規(guī)則特征模板、混合特征模板及降維特征模板應用到LS-RNN模型中的分類準確率，測試混合特征模板及降維特征模板對模型分類準確率的提升能力，實驗結果如圖7所示。

圖7 基于不同特征模板的模型分類效果

由圖7可知，基于Fisher準則的降維特征模板應用到LS-RNN模型后使得各評價指標均取得較高數(shù)值。其中，TP=774，TN=541，模型整體分類正確率為89.58%，同等條件下相對于基本特征模板、情感規(guī)則模板和混合特征模板的分類正確率分別提高了11.72%、14.85%、3.48%。特征融合后，模型的分類準確率要明顯高于僅使用基本特征模板或僅使用特征規(guī)則模板，其考慮情感詞詞性的同時，還考慮了文本上下子句間的聯(lián)系，是一種有效的特征構建方法。特征空間維數(shù)簡約過程中，F(xiàn)isher準則法將混合特征模板的維數(shù)由32降維至27維，其特征簡約率約為28.13%。由此可知，F(xiàn)isher準則可以有效地提取低維的高判別性特征向量，進而提高RNN的分類效果。是一種高效的特征降維方法。

實驗三對比不同模型的情感傾向性分類效果。為深入驗證本文構建的融合模型的有效性，本文設計了不同分類模型之間的對比實驗，對比支持向量機(SVM)、RNN與LS-RNN三種模型的分類效果，為確保模型之間的可比性，RNN與LS-RNN模型均采用三層隱含層結構。每層包含1 000個激活單元，特征模板采用降維混合特征模板，50次重復試驗后，得到各模型的平均預測正確率。如圖8所示。

圖8 不同模型分類效果對比圖

圖8中，各模型均取得較好的分類準確率，表明降維混合特征可以在一定程度上有效提高模型的分類性能。SVM在小規(guī)模訓練樣本的情況下可以表現(xiàn)出較好的預測性能，而RNN模型使得獲得的信息在網(wǎng)絡內部不斷循環(huán)，在文本序列處理中表現(xiàn)優(yōu)異，且結合語義規(guī)則方法進行特征提取，可以多角度、更好、更全面地獲取到影響文本情感傾向的主要特征。與SVM相比，RNN與LS-RNN具有更高的分類準確率，進一步驗證文本序列內部的關聯(lián)性也是情感傾向分類的一個重要依據(jù)。而對文本中情感信息的重復利用可以克服部分商品評論較少，數(shù)據(jù)集規(guī)模小的影響，在小樣本分類問題中仍表現(xiàn)出較好的性能；LS-RNN模型的表現(xiàn)是以上所有模型中最優(yōu)的，驗證了其對在線評論文本情感傾向分類的有效性。

實驗四對比融合模型與復雜神經(jīng)網(wǎng)絡的分類效果。為驗證融合模型對復雜知識的學習能力，采用訓練集樣本訓練融合模型、基于詞注意機制的多層神經(jīng)網(wǎng)絡及基于自注意機制的LS-RNN模型并對測試集樣本進行預測，重復實驗10次后對預測結果取均值，實驗結果如表3所示。

表3 不同模型預測能力對比

由表3可見，三類模型的分類性能指標值均較高，這表明三類模型對于復雜知識的學習能力均較優(yōu)。但實驗過程中復雜神經(jīng)網(wǎng)絡的預測時間成本較高，多層神經(jīng)網(wǎng)絡易產(chǎn)生梯度擴散問題導致模型失效。10次實驗中出現(xiàn)2次模型失效現(xiàn)象，且多層神經(jīng)網(wǎng)絡不含時間參數(shù)，對信息的重復利用性不高，預測性能受樣本規(guī)模大小影響較大。而帶有自注意機制的LS-RNN模型與融合模型分類效果相差不多。融合模型分類效果更佳的主要原因是基于自注意機制的深度學習模型中對文本中的重疊的冗余情感信息未能進行甄別，在一定程度上影響了最終的分類準確率。實驗四進一步證明了本文中結合語義規(guī)則與深度學習的融合模型可以取得在限定資源下最優(yōu)的分類效果。

4 結語

本文對互聯(lián)網(wǎng)在線評論文本的情感傾向進行分析研究。在傳統(tǒng)語義規(guī)則方法的基礎上進行改進，提出一種將結合情感詞典的語義規(guī)則方法與改進的RNN深度學習模型的在線評論文本情感傾向分類模型；借助Fisher準則對得到的新型混合特征模板降維，參照網(wǎng)格搜索思想確定RNN模型的最優(yōu)參數(shù)組合為 (1000，0.1)。以網(wǎng)絡爬取的手機評論文本作為數(shù)據(jù)源進行實驗。實驗結果表明，將語義規(guī)則方法與機器學習模型相融合可以從多層次全面分析文本的情感粒度，有效提升文本情感分類準確率，為在線評論文本情感分類研究提供了一種新的參考方案。

本文將語義規(guī)則方法與機器學習模型相融合應用到在線評論文本中只是初步嘗試。在今后的研究中，將通過更準確、更深入的規(guī)則方法，挖掘更多的先驗情感信息，并在主題挖掘方面進行深一步的研究。