融合位置權(quán)重的基于注意力交叉注意力的長短期記憶方面情感分析模型

武婷 曹春萍

摘 要：針對傳統(tǒng)的基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型不能對方面特征和情感信息進(jìn)行有效關(guān)注，以及不同距離或不同方向的上下文詞對方面詞的情感極性判斷有不同的貢獻(xiàn)等問題，提出一種融合位置權(quán)重的基于注意力交叉注意力的長短期記憶方面情感分析模型（LWAOA-LSTM）。首先，為詞向量加入位置權(quán)重信息;然后，使用長短期記憶（LSTM）網(wǎng)絡(luò)同時(shí)對方面和句子進(jìn)行建模以生成方面表示和句子表示，同時(shí)通過注意力交叉注意力模塊共同學(xué)習(xí)方面和句子的表示以獲得方面到文本和文本到方面的交互關(guān)注，并自動(dòng)關(guān)注句子中的重要部分;最后，在景點(diǎn)、餐飲、住宿不同主題數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了該模型對方面情感分析的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，所提模型在景點(diǎn)、餐飲、住宿主題數(shù)據(jù)集上的準(zhǔn)確率分別達(dá)到78.3%、80.6%和82.1%，取得了比傳統(tǒng)LSTM網(wǎng)絡(luò)模型更好的效果。

關(guān)鍵詞：深度學(xué)習(xí);方面情感分析;位置加權(quán)詞向量;注意力交叉注意力;長短期記憶網(wǎng)絡(luò)

中圖分類號：?TP183; TP391.1

文獻(xiàn)標(biāo)志碼：A

Aspect level sentiment classification model with location weight and long-short term memory based on attention-over-attention

WU Ting*， CAO Chunping

School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200082， China

Abstract：

The traditional attention-based neural network model can not effectively pay attention to aspect features and sentiment information， and context words of different distances or different directions have different contributions to the sentiment polarity assessment of aspect words. Aiming at these problems， Location Weight and Attention-Over-Attention Long-short Term Memory （LWAOA-LSTM） model was proposed. Firstly， the location weight information was added to the word vectors. Then Long-Short Term Memory （LSTM） network was used to simultaneously model aspects and sentences to generate aspect representation and sentence representation， and the aspect and sentence representations were learned simultaneously through attention-over-attention module to obtain the interactions

from the aspect to the text and from the text to the aspect， and the important part of the sentence was automatically paid attention to. Finally， the experiments were carried out on different thematic datasets of attractions， catering and accommodation， and the accuracy of the aspect level sentiment analysis by the model was verified. Experimental results show that the accuracy of the model on the datasets of attractions， catering and accommodation is 78.3%， 80.6% and 82.1% respectively， and LWAOA-LSTM has better performance than traditional LSTM network model.

Key words：

deep learning; aspect level sentiment classification; location-weighted word vector; attention-over-attention; Long-Short Term Memory （LSTM） network

0 引言

隨著互聯(lián)網(wǎng)進(jìn)入Web 2.0時(shí)代，人們越來越喜歡使用網(wǎng)絡(luò)分享知識(shí)、經(jīng)驗(yàn)、意見和感受等，這些評論性文本蘊(yùn)含了大量的情感信息，如何從社交網(wǎng)絡(luò)文本信息中挖掘用戶的情感傾向已得到越來越多研究人員的關(guān)注。不像文檔級情感分析[1]，基于方面情感分析是一個(gè)更細(xì)粒度的分類任務(wù)，當(dāng)一個(gè)句子中出現(xiàn)了多個(gè)方面時(shí)，基于方面情感分析克服了文檔情感分析的一個(gè)局限性，能夠針對文本中特定一方面來分析其情感極性（例如積極、消極、中立）。例如句子“這家飯店味 道不錯(cuò)，但服務(wù)不好”，“食物味道”方面的情感極性為積極，而“服務(wù)”方面的情感極性卻是消極的。這個(gè)例子中涉及到兩個(gè)方面，因?yàn)楦鱾€(gè)方面的情感極性不同，句子的整體情感判斷是不準(zhǔn)確的。如果忽略了方面信息，那么將很難獲得特定方面的情感極性。這種錯(cuò)誤普遍存在于情感分析任務(wù)中。在最近的一個(gè)研究中，Jiang等[2]手工評估了Twitter情感分類器，結(jié)果表明40%的情感分類錯(cuò)誤都是因?yàn)闆]有考慮方面信息。因此，方面情感分析具有很大的研究價(jià)值。

目前，已經(jīng)提出很多方法來處理基于方面情感分析問題。傳統(tǒng)的基于規(guī)則和詞典的方法，大多數(shù)依靠情感詞典的建立，性能好壞與規(guī)則和人工干預(yù)密不可分[3]?；跈C(jī)器學(xué)習(xí)的方法通過監(jiān)督訓(xùn)練來構(gòu)建機(jī)器學(xué)習(xí)分類器，但人工設(shè)計(jì)特征的分類器仍需要依賴復(fù)雜的人工規(guī)則和特征工程[4]。近年來，由于無需特征工程就可以從數(shù)據(jù)中學(xué)習(xí)表示，深度學(xué)習(xí)在自然語言處理任務(wù)中越來越受歡迎[5]。其中，長短期記憶（Long-Short Term Memory， LSTM）網(wǎng)絡(luò)可以解決梯度爆炸或消失的問題，被廣泛應(yīng)用于方面級情感分析，如Target-Dependent LSTM（TD-LSTM）、Target-Connection LSTM（TC-LSTM）等。 同時(shí)，結(jié)合注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型在自然語言處理任務(wù)中取得了比傳統(tǒng)方法更好的效果，加入注意力機(jī)制不僅可以提高閱讀理解力，而且能關(guān)注句子的特定方面[6-8]。但是對于中文評論尤其是長篇評論，其中會(huì)包含很多與方面情感判斷無關(guān)的單詞，會(huì)對方面情感分析的準(zhǔn)確率產(chǎn)生影響。

近年來，方面級情感分析任務(wù)取得了很好的發(fā)展，從各種研究中可以發(fā)現(xiàn)研究方面情感分析的關(guān)鍵因素主要有三個(gè)：結(jié)合上下文后方面詞的語義信息、方面詞與上下文詞之間的相關(guān)性和方面詞在上下文中的位置信息?？紤]到所有三個(gè)關(guān)鍵因素，可以獲得更好的效果，然而，尚未有模型充分考慮上述三個(gè)因素。研究發(fā)現(xiàn)不同位置的單詞對特定方面的情感極性判斷有不同的貢獻(xiàn)，并且關(guān)鍵詞總是位于方面的一側(cè)，綜合考慮方面情感分析的三個(gè)關(guān)鍵因素，本文提出了

一種融合位置權(quán)重的基于注意力交叉注意力的長短期記憶方面情感分析模型

（Location-Weight and Attention-Over-Attention LSTM， LWAOA-LSTM）。該模型首先通過捕獲位置信息為不同單詞生成不同的位置權(quán)重，將此權(quán)重與詞向量合并;然后，使用基于長短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)來解決方面情感分析，傳統(tǒng)的基于LSTM的方法主要側(cè)重于分別對方面和文本進(jìn)行建模[6-7]，而本文使用LSTM同時(shí)對各個(gè)方面和文本進(jìn)行建模。此外，由LSTM生成的方面表示和文本表示通過注意力交叉注意力（Attention-Over-Attention， AOA）模型進(jìn)行交互，AOA模型會(huì)自動(dòng)產(chǎn)生方面到文本以及文本到方面之間的交互關(guān)注。經(jīng)過研究分析發(fā)現(xiàn)，一個(gè)句子中只有幾個(gè)詞語會(huì)與方面情感分析相關(guān)，并且很多時(shí)候這些情感詞匯都是與方面密切相關(guān)的。例如，“這家酒店環(huán)境不錯(cuò)，但價(jià)格有點(diǎn)貴”，根據(jù)人類閱讀經(jīng)驗(yàn)，消極詞“貴”更可能描述“價(jià)格”而不是“環(huán)境”。類似地，對于方面的短語也應(yīng)該關(guān)注最重要的對應(yīng)的情感部分，因此本文選擇AOA模型來處理方面和句子中最重要的部分。與傳統(tǒng)基于LSTM神經(jīng)網(wǎng)絡(luò)模型相比，本文的模型能提高情感分類的準(zhǔn)確率。

1 相關(guān)工作

1.1 情感分類

情感分類旨在檢測文本的情感極性。針對這一研究問題提出了許多方法[9]，大多數(shù)方法使用機(jī)器學(xué)習(xí)以監(jiān)督的方式進(jìn)行文本分類，例如大多使用樸素貝葉斯算法[10]以及支持向量機(jī)（Support Vector Machine， SVM）來解決此問題[11]。這些方法大多數(shù)依賴于n-gram特征或人工設(shè)計(jì)的特征，因此多種情感詞典被建立[12-14]。但這些方法存在很多缺點(diǎn)，比如不可能存在一個(gè)詞典包括所有的情感詞匯，而規(guī)則制定也是需要專家大量的經(jīng)驗(yàn)和耗費(fèi)許多人力成本，并且還可能對某些特征考慮得不夠全面。

近年來，神經(jīng)網(wǎng)絡(luò)的應(yīng)用大大提高了情感分類的準(zhǔn)確率與效率。基于神經(jīng)網(wǎng)絡(luò)的方法自動(dòng)學(xué)習(xí)特征表示，而無需大量的特征工程。研究者提出了各種神經(jīng)網(wǎng)絡(luò)模型，Socher等[15]將遞歸神經(jīng)網(wǎng)絡(luò)用于情感樹的構(gòu)建，提高了分類的準(zhǔn)確率;Tang等[16]采用循環(huán)神經(jīng)網(wǎng)絡(luò)建立篇章級循環(huán)神經(jīng)網(wǎng)絡(luò)模型，該模型相比標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型具有較高的優(yōu)越性，在情感分類任務(wù)中取得了進(jìn)步;Tai等[17]改進(jìn)標(biāo)準(zhǔn)的LSTM模型，引入Tree-LSTM模型，該模型建立了樹狀LSTM的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，在情感分類任務(wù)中有較好的表現(xiàn)。這些方法在情感分析上取得了令人滿意的結(jié)果。

1.2 方面情感分析

方面級情感分析是情感分類的一個(gè)分支，其目標(biāo)是識(shí)別句子中某個(gè)特定方面的情感極性。在過去的一些研究中，基于規(guī)則的模型被應(yīng)用于解決方面情感分析[18]。Nasukawa等[19]首次提出對句子進(jìn)行依賴句法分析，然后加入預(yù)先定義的規(guī)則從而判斷某一方面的情感;Jiang等[2]提出目標(biāo)依賴情感分析，通過基于句子的語法結(jié)構(gòu)建立目標(biāo)相關(guān)特征從而達(dá)到對特定目標(biāo)的情感極性判斷。這些與方面相關(guān)的特征與其他文本特征一起反饋到分類器（如SVM）中。

之后，多種基于神經(jīng)網(wǎng)絡(luò)的模型被應(yīng)用于解決這類方面情感分析問題。典型模型是基于LSTM神經(jīng)網(wǎng)絡(luò)，如TD-LSTM[7]在模型中使用兩個(gè)LSTM從而模擬特定方面的上下文，此模型使用兩個(gè)LSTM最后的隱藏層預(yù)測情感。為了更好捕捉句子的重要部分，Wang等[6]使用方面嵌入來生成注意力向量，以此來關(guān)注句子的不同部分。在此基礎(chǔ)上，Ma等[20]使用兩個(gè)LSTM網(wǎng)絡(luò)分別對句子和方面建模，并進(jìn)一步使用由句子生成的隱藏狀態(tài)，通過池化操作來計(jì)算方面目標(biāo)的注意力，能夠同時(shí)關(guān)注到句子的重要部分和方面信息。這種方法與本文提出的模型相似，但是，池化操作會(huì)忽略句子與方面之間的詞對交互，并且實(shí)驗(yàn)表明本文提出的模型性能更優(yōu)。

2 方面情感分析模型

2.1 問題定義

在方面情感分析問題中，本文定義句子s={w1，w2，…，wi，…，wj，…，wn}，方面目標(biāo)為t={wi，wi+1，…，wi+m-1}。 其中方面標(biāo)簽可以是一個(gè)單詞也可以是一個(gè)長短語。模型的目標(biāo)是分析出句子中某一方面的情感極性。

本文提出的總體結(jié)構(gòu)如圖1所示，主要由四部分組成：詞向量、雙向長短期記憶網(wǎng)絡(luò)（Bi-directional LSTM， Bi-LSTM）、AOA模型和最終預(yù)測。

2.2 帶有位置權(quán)重的詞向量

長度為n的句子表示為s={w1，w2，…，wi，…， wj， …， wn}，長度為m的方面詞表示為t={wi，wi+1，…，wi+m-1}，本文首先將每個(gè)單詞映射為一個(gè)低維實(shí)值向量，稱為詞向量。對于每個(gè)單詞wi，可以從MV×dw得到向量 v i， 其中 | ?V ?| 是詞典大小，dw為向量維度。詞向量處理之后得到兩組詞向量：句子向量[ v 1; v 2;…; v n]∈ R n×dw和方面向量[ v i; v i+1;…; v i+m-1]∈ R n×dw。 另外，表達(dá)某方面的情感的關(guān)鍵詞總是比較接近方面詞，越接近方面詞匯包含的相關(guān)信息越多。例如句子“這家酒店環(huán)境不錯(cuò)，但價(jià)格有點(diǎn)貴”，“不錯(cuò)”是“酒店環(huán)境”評價(jià)的關(guān)鍵詞，而“貴”是“價(jià)格”的關(guān)鍵詞，由于“不錯(cuò)”比“貴”要更接近方面詞“環(huán)境”，所以“不錯(cuò)”對方面“環(huán)境”的情感極性判斷有更多貢獻(xiàn)，“貴”對“價(jià)格”有更多貢獻(xiàn)。

并且，描述方面詞情感的關(guān)鍵詞總是只位于方面詞的一側(cè)。在上述例子中，情感詞“不錯(cuò)”和“貴”都是位于“環(huán)境”和“價(jià)格”的右側(cè)，因此，在這個(gè)例子中，方面詞右側(cè)的詞語要比左邊的詞語有更大的影響力。為此，設(shè)計(jì)了兩個(gè)參數(shù)來表示某一詞匯的重要性，此參數(shù)也是通過訓(xùn)練來學(xué)習(xí)。

直接將詞向量輸入模型中生成的句子向量將包含很多與方面詞無關(guān)的信息，在生成句子向量時(shí)使用位置權(quán)重來強(qiáng)調(diào)與方面詞相關(guān)的情感信息，與此同時(shí)，與方面詞無關(guān)的詞也相應(yīng)地被削弱了。加入位置信息有利于獲得更好的結(jié)果，輸入層由位置加權(quán)詞向量組成。由于希望遠(yuǎn)離方面詞的權(quán)重下降得更快，有助于防止與方面無關(guān)的信息的干擾，因此使用Laplacian概率函數(shù)來獲得位置權(quán)重。

每個(gè)詞向量 V ={ v 1， v 2，…， v n} 對應(yīng)的位置權(quán)重定義為：

λ=[λ1，λ2，…，λn]

（1）

λ=? αlexp （ -βl | i-a |） ， i

αm， i=a

αrexp （ -βr | i-a |） ， i>a

（2）

其中：i是各個(gè)單詞的索引;a是方面詞的索引，不同位置的單詞有不同的位置權(quán)重。αl和βl為位于方面詞左側(cè)的詞語的參數(shù)，αr和βr是位于方面詞右側(cè)的詞語的參數(shù)，αm是方面詞，這些參數(shù)都是通過訓(xùn)練得到。例如，訓(xùn)練時(shí)如果左側(cè)單詞的位置權(quán)重比右側(cè)的大，則說明左側(cè)語句對方面詞的情感表達(dá)決定性要大。最后位置權(quán)重被合并到詞向量中：

v i′=λi× v i

（3）

其中， v i′表示加權(quán)后的詞向量。

2.3 雙向長短期記憶網(wǎng)絡(luò)（Bi-LSTM）

在詞向量表示之后，將兩組詞向量分別輸入兩個(gè)Bi-LSTM中，本文用兩個(gè)Bi-LSTM網(wǎng)絡(luò)獲得句子和目標(biāo)詞的隱含語義，每個(gè)Bi-LSTM通過堆疊兩個(gè)LSTM網(wǎng)絡(luò)獲得。使用LSTM的優(yōu)勢在于避免梯度消失或爆炸問題，并且善于挖掘長期依賴。

通過輸入 s =[ v 1′; v 2′;…; v n′]和前饋LSTM，生成一系列隱藏狀態(tài)

s ∈ R n×dh，其中dh是隱藏向量的維度，通過將 s 輸入后向LSTM得到另一系列隱藏狀態(tài) ???s 。在Bi-LSTM網(wǎng)絡(luò)中，通過連接 ???s 和?? ?s 輸出最終隱藏向量 h ?s ∈ R n×2dh，并且以相同的方式計(jì)算方面目標(biāo)t的隱藏語義狀態(tài) h ?t 。

s =LSTM （[ v 1′; v 2′;…; v n′]）

（4）

s =LSTM （[ v 1′; v 2′;…; v n′]）

（5）

h ?s =[?? ?s ， ???s ]

（6）

其中：?? ?s 和?? ?s 分別表示前饋LSTM生成的隱藏狀態(tài)向量和后向LSTM生成的隱藏狀態(tài)向量 h ?s ;LSTM 和LSTM 分別表示前饋LSTM和后向LSTM。

2.4 注意力交叉注意力機(jī)制

考慮到文本的隱含語義表示和Bi-LSTM生成的方面目標(biāo)，本文通過注意力交叉注意力（AOA）模塊計(jì)算文本的注意力權(quán)值，這是受到了問答研究中使用AOA模型的啟發(fā)[21]。給定目標(biāo)表示為 h ?t ∈ R m×2dh，句子表示為 h ?s ∈ R n×2dh，本文首先計(jì)算一個(gè)成對交互矩陣 I = h ?s ?·? h T t ，其中每個(gè)條目的值表示句子和目標(biāo)之間的一個(gè)詞對的相關(guān)度。通過逐列softmax和逐行softmax，得到目標(biāo)到句子的注意力 α 和句子到目標(biāo)的注意力 β 。 在逐列求平均值 β 之后，得到目標(biāo)級注意力?? ∈ R m，它表示方面中最重要的部分。式（11）給出了每個(gè)單獨(dú)的目標(biāo)到句子注意力 α 的加權(quán)和來計(jì)算最終的句子級關(guān)注度 γ ∈ R n。 考慮到每個(gè)方面詞語的影響，需要關(guān)注句子中每個(gè)詞的重要權(quán)重。

α ij=exp（ I ij） / ∑ i （ I ij）

（8）

β ij=exp（ I ij） / ∑ j （ I ij）

（9）

j= 1 n ∑ i? β ij

（10）

γ = α ·?? T

（11）

2.5 最終分類

最終句子表示為句子的注意力，通過AOA模塊得到句子隱藏語義狀態(tài)的加權(quán)和：

r = h T s ?·? γ

（12）

本文將此句子表示作為最終的分類特征，并將它反饋到線性層中，從而將 r 投影到目標(biāo)類C中。

x= W l· r +bl

（13）

其中： W l為權(quán)值矩陣;bl為偏差。在線性層之后，本文使用Softmax層計(jì)算句子 s 中某一方面a的情感極性c（c∈C）。

P（y=c）=exp（xc） / ∑ i∈C exp（xi）

（14）

最終某方面的情感極性判斷只是具有最高概率的標(biāo)簽。

loss=-∑ i ∑ c∈C I（yi=c）·log（P（yi=c））+λ‖ θ ‖2

（15）

其中：I（·）為指標(biāo)函數(shù);λ為L2正規(guī)化參數(shù); θ 為LSTM網(wǎng)絡(luò)和線性層的一組權(quán)重矩陣。本文進(jìn)一步使用Dropout來避免過渡擬合，并且隨機(jī)丟棄LSTM單元的一部分輸入。

本文使用Adam[22]更新規(guī)則和小批量隨機(jī)梯度下降，最后最小化模型中關(guān)于權(quán)矩陣和偏差項(xiàng)的損失函數(shù)。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

本文通過網(wǎng)絡(luò)爬蟲軟件在螞蜂窩采集了關(guān)于上海的游記2000篇，然后經(jīng)過多主題評論性長文本過濾模型后得到有關(guān)景點(diǎn)、住宿、餐飲的句子集。每條句子都包含一系列的評價(jià)方面以及和該方面相關(guān)的情感極性，其中景點(diǎn)主要包括{地文，水域風(fēng)光，生物景觀，氣象景觀，遺跡遺址，建筑，人文，門票價(jià)格}八個(gè)方面，住宿主要包括{價(jià)格，環(huán)境，服務(wù)}三個(gè)方面，餐飲主要包括{食物味道，服務(wù)，價(jià)格，環(huán)境}四個(gè)方面。本文實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)如表1所示。

3.2 參數(shù)設(shè)置

在實(shí)驗(yàn)中，本文首先隨機(jī)選擇20%的訓(xùn)練數(shù)據(jù)作為驗(yàn)證集來調(diào)整超參數(shù)。所有權(quán)重矩陣從均勻分布U（-10-4，10-4）隨機(jī)初始化，并且所有偏差項(xiàng)都設(shè)置為0。L2正則化系數(shù)設(shè)置為10-4，丟失保持率為0.2。詞向量使用300維GloVe[23]詞向量進(jìn)行初始化，并在訓(xùn)練期間固定。

對于單詞表外的詞匯，從均勻分布U（-0.01，0.01）中隨機(jī)初始化。LSTM隱藏層的維度設(shè)置為150，Adam優(yōu)化器的初始學(xué)習(xí)率為0.01。如果訓(xùn)練損失在每三個(gè)時(shí)期之后沒有下降，則將學(xué)習(xí)率降低一半，批量大小設(shè)置為25。

3.3 對比實(shí)驗(yàn)

本文分別對景點(diǎn)、住宿、飯店三個(gè)主題下的文本進(jìn)行方面級情感分析訓(xùn)練和評估模型，使用準(zhǔn)確度指標(biāo)來衡量績效。為了進(jìn)一步驗(yàn)證模型的性能，將本文方法與以下幾種方法進(jìn)行對比：

1）SVM：是一種基本的機(jī)器學(xué)習(xí)的方法，它將訓(xùn)練集中最大的情感極性分配給測試集中的每一個(gè)樣本。

2）LSTM：使用標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)模型對句子建模，最后隱藏層用作最終分類的句子表示。

3） TD-LSTM。 文獻(xiàn)[7]提出的TD-LSTM網(wǎng)絡(luò)模型：它使用兩個(gè)LSTM網(wǎng)絡(luò)來模擬圍繞方面術(shù)語的前后環(huán)境，這兩個(gè)LSTM網(wǎng)絡(luò)的最后隱藏層被連接起來以預(yù)測情感極性。

4） AT-LSTM。 文獻(xiàn)[6]提出的基于注意力機(jī)制的LSTM網(wǎng)絡(luò)模型AT-LSTM：它首先通過LSTM模型對句子進(jìn)行建模，然后將LSTM網(wǎng)絡(luò)生成的隱藏向量與方面詞向量相結(jié)合生成注意力向量，最終的句子表示是隱藏層的加權(quán)和。

5） ATAE-LSTM： 文獻(xiàn)[6]在第二部分進(jìn)一步擴(kuò)展AT-LSTM得到的ATAE-LSTM網(wǎng)絡(luò)模型：它將方面詞向量附加到每一個(gè)詞向量中。

6） IAN。 文獻(xiàn)[20]提出的結(jié)合交互式注意力機(jī)制的LSTM網(wǎng)絡(luò)模型IAN：它使用兩個(gè)LSTM分別對句子和方面術(shù)語進(jìn)行建模，使用句子中的隱藏狀態(tài)為目標(biāo)生成注意力向量，最后基于這兩個(gè)注意力向量輸出一個(gè)句子表示和一個(gè)目標(biāo)表示用于分類。

3.4 結(jié)果分析

3.4.1 不同模型對比實(shí)驗(yàn)結(jié)果分析

本文采用準(zhǔn)確率來評估方面情感分析模型的效果，各個(gè)模型的準(zhǔn)確率如表2所示。

從表2可以看出，本文提出的LWAOA-LSTM模型在3個(gè)不同的主題下都取得了不錯(cuò)的效果，其中在餐飲主題下進(jìn)行方面情感分析效果最好，準(zhǔn)確率達(dá)到82.1%，比IAN模型提高了4.45%，比ATAE-LSTM模型提升了6.35%，驗(yàn)證了本文提出方法的有效性。

沒有加入注意力機(jī)制的LSTM模型和TD-LSTM模型的分類效果并不理想，在景點(diǎn)主題下的方面情感分析的準(zhǔn)確率分別達(dá)到68.5%和69.7%，而加入注意力機(jī)制的AT-LSTM模型和ATAE-LSTM準(zhǔn)確率達(dá)到71.9%和73.8%，比TD-LSTM分別提高了3.16%和5.88%。這是因?yàn)闆]有加入注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型不能關(guān)注方面的特征信息，此類模型認(rèn)為同一句子的不同方面有相同的情感。加入注意力機(jī)制后可以高度關(guān)注某一方面的情感特征，準(zhǔn)確判斷同一句子不同方面的情感極性。

另外，不僅加入注意力機(jī)制而且使用兩個(gè)LSTM的IAN模型以及本文提出的LWAOA-LSTM模型能夠?qū)渥雍头矫孢M(jìn)行分別建模，并且考慮到句子之間的相互聯(lián)系，在各個(gè)主題下進(jìn)行方面情感分析都取得了很好的效果，但I(xiàn)AN模型中的池化操作會(huì)忽略句子與目標(biāo)之間的詞對交互，而本文提出的模型在景點(diǎn)、住宿、餐飲三個(gè)主題下的方面情感分析與IAN模型相比分別提高了3.98%、4.81%和4.45%，說明本文提出的模型在方面情感分析中有較好的效果。

3.4.2 位置加權(quán)的詞向量的影響

本文在處理單詞的位置信息時(shí)使用了Laplacian概率函數(shù)來為詞向量添加位置權(quán)重，與不考慮位置信息的AOA-LSTM模型及加入絕對位置信息權(quán)重的基于注意力機(jī)制的LSTM（Attention-Enabled and Location-Aware LSTM，AELA-LSTM）方面情感分析模型[24]進(jìn)行對比，結(jié)果如表3所示。從表3可以看出，LWAOA-LSTM在所有數(shù)據(jù)集上都優(yōu)于不帶有位置信息的AOA-LSTM和帶有絕對位置信息權(quán)重的AELA-LSTM，從中可以得出結(jié)論：具有位置權(quán)重的模型有利于對方面詞的情感極性進(jìn)行分類。AELA-LSTM中雖然考慮了位置信息，但只是使用絕對位置，沒有考慮到不同方向上下文詞語對方面詞情感分類的影響，而且線性下降位置權(quán)重不能大幅降低遠(yuǎn)離方面詞的詞語的權(quán)重，因此該模型的情感分類效果不佳。

4 結(jié)語

在方面情感分析任務(wù)中，傳統(tǒng)的方法不能對方面信息和情感信息進(jìn)行有效判斷，并且位置信息對情感分類結(jié)果具有很大影響，因此本文提出融合上下文詞的位置信息生成位置加權(quán)詞向量，然后利用注意力交叉注意力模塊來學(xué)習(xí)方面和句子中的重要部分，從而生成句子的最終表示來進(jìn)行方面情感判斷。與傳統(tǒng)的方法相比，本文提出的模型能有效地學(xué)習(xí)方面和句子中的詞對信息。通過在不同主題的數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型相比，本文模型的準(zhǔn)確率和穩(wěn)定性都有所提高。

但本文提出的模型無法有效處理以下情況：一種是復(fù)雜的情感表達(dá);一種是不常見的習(xí)語，尤其是對景點(diǎn)主題進(jìn)行方面情感分析時(shí)，使用大量四字詞語而導(dǎo)致準(zhǔn)確率較低，因此，在未來的工作中，將探索如何改進(jìn)模型來解決此類問題。

參考文獻(xiàn)

[1]?RAO G， HUANG W， FENG Z， et al. LSTM with sentence representations for document-level sentiment classification [J]. Neurocomputing， 2018， 308： 49-57.

[2]?JIANG L， YU M， ZHOU M， et al. Target-dependent Twitter sentiment classification [C]// Proceedings of the 49th Meeting of the Association for Computational Linguistics. Stroudsburg， PA：Association for Computational Linguistics， 2012： 151-160.

[3]?劉全，梁斌，徐進(jìn)，等. 一種用于基于方面情感分析的深度分層網(wǎng)絡(luò)模型[J]. 計(jì)算機(jī)學(xué)報(bào)，2018，41（12）： 2637-2652. （LIU Q， LIANG B， XU J， et al. A deep hierarchical neural network model for aspect-based sentiment analysis [J]. Chinese Journal of Computers， 2018， 41（12）： 2637-2652.）

[4]??KIRITCHENKO S， ZHU X， CHERRY C， et al. NRC-Canada-2014： detecting aspects and sentiment in customer reviews [C]// Proceedings of the 8th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2014： 437-442.

[5]?TANG D， QIN B， LIU T. Aspect level sentiment classification with deep memory network [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computer Linguistics， 2016： 214-224.

[6]?WANG Y， HUANG M， ZHAP L， et al. Attention-based LSTM for aspect-level sentiment classification [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 606-615.

[7]?TANG D， QIN B， FENG X， et al. Effective LSTMs for target-dependent sentiment classification [C]// Proceedings of the 26th International Conference on Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics and Chinese Language Processing， 2016： 3298-3307.

[8]?胡朝舉， 梁寧. 基于深層注意力的LSTM的特定主題情感分析[J/OL]. 計(jì)算機(jī)應(yīng)用研究， 2019， 36（4）： 1075-1079. （HU C J， LIANG N. Deeper attention-based LSTM for aspect sentiment analysis [J]. Application Research of Computers， 2019， 36（4）： 1075-1079.）

[9]?MEDHAT W， HASSAN A， KORASHY H. Sentiment analysis algorithms and applications [J]. Ain Shams Engineering Journal， 2014， 5（4）： 1093-1113.

[10] ?LIU B， BLASCH E， CHEN Y， et al. Scalable sentiment classification for big data analysis using naive Bayes classifier [C]// Proceedings of the 2013 IEEE International Conference on Big Data. Piscataway， NJ： IEEE， 2013： 99-104.

[11]?WANG S， MANNING C D. Baselines and bigrams： simple， good sentiment and topic classification [C]// Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics： Short Papers. Stroudsburg， PA： Association for Computational Linguistics， 2012： 90-94.

[12]?NEVIAROUSKAYA A， PRENDINGER H， ISHIZUKA M. SentiFul： generating a reliable lexicon for sentiment analysis [C]// Proceedings of the 3rd International Conference on Affective Computing & Intelligent Interaction & Workshops. Piscataway， NJ： IEEE， 2009： 1-6.

[13]?QIU G， LIU B， BU J， et al. Expanding domain sentiment lexicon through double propagation [C]// Proceedings of the 2009 International Joint Conference on Artificial Intelligence. San Francisco， CA： Morgan Kaufmann Publishers Inc.， 2009： 1199-1204

[14]?TABOADA M， BROOKE J， TOFILOSKI M， et al. Lexicon-based methods for sentiment analysis [J]. Computational Linguistics， 2011， 37（2）：267-307.

[15]?SOCHER R， PERELYGIN A， WU J Y， et al. Recursive deep models for semantic compositionality over a sentiment treebank [C]// Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2013： 1631-1642.

[16]?TANG D， QIN B， LIU T. Document modeling with gated recurrent neural network for sentiment classification [C] // Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1422-1432.

[17]?TAI K S， SOCHER R， MANNING C D. Improved semantic representations from tree-structured long short-term memory networks [C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7rd International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1556-1566.

[18]?DING X， LIU B. The utility of linguistic rules in opinion mining [C]// Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2007： 811-812.

[19]?NASUKAWA T， YI J. Sentiment analysis： Capturing favorability using natural language processing [C]// Proceedings of the 2nd International Conference on Knowledge Capture. New York： ACM， 2003： 70-77.