基于詞級(jí)交互注意力機(jī)制的方面級(jí)情感分類模型

楊春霞，瞿 濤，李欣栩

1(南京信息工程大學(xué) 自動(dòng)化學(xué)院，南京210044) 2(江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室，南京 210044) 3(江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京 210044)

1 引 言

情感分類任務(wù)是自然語(yǔ)言處理(Natural Language Processing，NLP)領(lǐng)域的基本任務(wù)之一.隨著時(shí)代的發(fā)展，各種帶有情感傾向的文本急劇增加，人們渴望從文本中挖掘出更詳細(xì)的信息，所以方面級(jí)情感分類成為了研究重點(diǎn)之一.方面級(jí)情感分類是細(xì)粒度情感分類任務(wù)，旨在判斷句子中每個(gè)具體方面的情感極性[1]，如積極、中性和消極.方面也可以稱為目標(biāo)詞，通常指實(shí)體或?qū)嶓w屬性.例如給定一句話“這家餐館的服務(wù)很好，環(huán)境一般，但是味道很差”，“服務(wù)”、“環(huán)境”、“味道”3個(gè)方面的情感極性分別為積極、中性、消極.

方面級(jí)情感分類的關(guān)鍵在于提取句子中方面詞的情感特征，但是如何從句子中提取出方面詞的情感特征一直是研究難點(diǎn).雖然現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的方法都取得了不錯(cuò)的效果，但是大多數(shù)方法在提取情感特征時(shí)都忽略了上下文與方面詞之間的交互信息，即只考慮了上下文中的情感特征，沒(méi)有考慮方面詞中對(duì)分類有貢獻(xiàn)的重要特征.Ma等人提出了一種交互注意力網(wǎng)絡(luò)模型(Interactive Attention Networks，IAN)，使用兩個(gè)注意力機(jī)制學(xué)習(xí)上下文與方面詞的交互信息[2]，初步驗(yàn)證交互注意力網(wǎng)絡(luò)能有效捕捉上下文與方面詞的交互信息.然而其中對(duì)上下文和方面詞的隱層表示進(jìn)行了平均池化操作，容易丟失一些重要信息；而且沒(méi)有結(jié)合句子級(jí)和方面級(jí)注意力向量計(jì)算出兩部分總體的交互注意力向量.基于以上分析，本文提出了一種基于雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory，Bi-LSTM)和詞級(jí)交互注意力機(jī)制(World-level Interactive Attention Mechanism，WIAM)的方面級(jí)情感分析模型，該模型改進(jìn)了輸入方式，將句子劃分為包含方面詞的上文(Left Context containing Aspect words，LA)、方面詞(Aspect words，A)和包含方面詞的下文(Right Context containing Aspect words，AR)作為輸入；并且改進(jìn)了交互注意力網(wǎng)絡(luò)，提出詞級(jí)交互注意力機(jī)制，所以本文將該模型簡(jiǎn)稱為L(zhǎng)AR-WIAM.LAR-WIAM模型不僅能完整地提取上下文和方面詞的語(yǔ)義特征，更能捕捉上下文與方面詞的詞級(jí)交互信息，最后能夠得到一個(gè)信息豐富的特定于方面的上下文表示.

本文主要工作如下：

1)本文改進(jìn)了傳統(tǒng)的輸入方式，以便于能更好地從上文和下文中挖掘情感特征.本文以方面詞為界限，將句子劃分成包含方面詞的上文、方面詞、包含方面詞的下文3部分作為輸入，然后利用3個(gè)Bi-LSTM分別提取3部分的語(yǔ)義特征，得到這3部分各自的隱層表示，其中使用Bi-LTSM能更完整地提取上下文和方面詞的語(yǔ)義特征.

2)本文提出一種詞級(jí)交互注意力機(jī)制，用于提取上下文中的情感特征，并同時(shí)提取方面詞中對(duì)分類有貢獻(xiàn)的重要特征.詞級(jí)交互注意力機(jī)制引入了成對(duì)交互矩陣分別計(jì)算上文與方面詞、下文與方面詞之間的交互注意力向量，然后分別與上文和下文的隱層表示加權(quán)求和得到特定于方面的上文和下文表示，然后將這兩部分拼接生成特定于方面的上下文表示，最后將這個(gè)上下文表示輸入到分類器，預(yù)測(cè)方面的情感極性.

3)本文在3個(gè)不同的標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與目前的主流基線模型作對(duì)比，實(shí)驗(yàn)結(jié)果證明，本文提出的模型優(yōu)于基線模型.

2 相關(guān)工作

在早期基于機(jī)器學(xué)習(xí)的方法中，方面級(jí)情感分類可以被簡(jiǎn)單地看作是一個(gè)文本分類任務(wù).例如樸素貝葉斯[3]和支持向量機(jī)方法[4]，可以在不考慮方面詞的情況下預(yù)測(cè)情感極性.但是這類方法依賴情感詞典和手工設(shè)計(jì)的特征，這需要消耗大量資源.近年來(lái)，越來(lái)越多的基于神經(jīng)網(wǎng)絡(luò)的方法被提出，與機(jī)器學(xué)習(xí)方法相比能自動(dòng)學(xué)習(xí)文本的語(yǔ)義特征，不需要密集的特征工程，逐漸成為方面級(jí)情感分類的常用方法.

Jiang等人對(duì)一個(gè)Twitter情感分類器進(jìn)行了人工評(píng)估，結(jié)果發(fā)現(xiàn)有40%情感分類錯(cuò)誤，原因是沒(méi)有考慮到句子中具體的方面信息[5]，說(shuō)明方面級(jí)情感分類模型必須同時(shí)考慮方面詞和上下文信息.Tang等人以方面詞為界限將句子分為包含方面詞的上文和下文兩部分，分別提取上文和下文中的情感特征，最后得到了融入方面信息的上下文表示[6]，取得了很好的成果，受此啟發(fā)，本文將句子以方面詞為界限劃分為包含方面詞的上文、方面詞和包含方面詞的下文3部分，分別提取上文或下文中的情感特征.

循環(huán)神經(jīng)網(wǎng)絡(luò)模型(Recurrent Neural Network，RNN)雖然能用于提取文本語(yǔ)義特征，但是其存在梯度消失和梯度爆炸問(wèn)題，而且無(wú)法學(xué)習(xí)長(zhǎng)期依賴信息，Hochreiter等提出了一種長(zhǎng)短期記憶網(wǎng)絡(luò)模型[7](Long Short-Term Memory，LSTM)，LSTM是RNN的變體，有效地解決了RNN存在的不足.然而LSTM只能從前向后處理文本，但是一個(gè)詞的語(yǔ)義可能不僅與前文有關(guān)，也可能與后文有關(guān)，Bi-LSTM在LSTM的基礎(chǔ)上增加一個(gè)后向LSTM，從而獲得文本更完整的語(yǔ)義特征.Rudder等人在方面級(jí)情感分類任務(wù)中使用Bi-LSTM提取句子的語(yǔ)義特征[8]，胡甜甜等人在新聞命名實(shí)體識(shí)別及其情感分類任務(wù)中使用Bi-LSTM從新聞文本中提取語(yǔ)義特征[9]，Bi-LSTM被驗(yàn)證比LSTM能更有效地提取語(yǔ)義特征.基于以上分析，本文使用Bi-LSTM能更進(jìn)一步提取包含方面詞的上文、方面詞和包含方面詞的下文3部分的語(yǔ)義特征.

注意力機(jī)制在NLP領(lǐng)域中最早用于機(jī)器翻譯，可以解釋為對(duì)句子中每個(gè)單詞給以不同的權(quán)重，現(xiàn)在很多基于神經(jīng)網(wǎng)絡(luò)的方法都融入了注意力機(jī)制.Wang等人建立了基于注意力機(jī)制的LSTM模型，使用LSTM對(duì)句子提取語(yǔ)義特征，然后使用注意力機(jī)制捕捉句子中與方面詞最相關(guān)的情感特征[10].Wang等人將句子拆分為若干個(gè)子句，并在每個(gè)子句詞向量上拼接方面詞向量，編碼后使用注意力機(jī)制計(jì)算方面詞對(duì)每個(gè)子句的注意力權(quán)重，提取出子句中的重要情感詞[11].張忠林等人將句子詞向量和方面詞向量拼接作為輸入，在輸出端使用注意力機(jī)制學(xué)習(xí)了句子內(nèi)部的依賴結(jié)構(gòu)[12].雖然現(xiàn)在很多方法中都融入了注意力機(jī)制，但是大都只考慮了方面詞對(duì)上下文的影響，忽略了上下文與方面詞之間的交互信息.Fan等人提出了一種細(xì)粒度的注意力機(jī)制，捕捉了句子與方面詞的詞級(jí)交互[13]，通過(guò)實(shí)驗(yàn)證明是有效的，然而其中對(duì)句子和方面級(jí)的隱層表示使用了平均池化，容易丟失一些重要信息，基于此本文提出了一種詞級(jí)交互注意力機(jī)制，引入成對(duì)交互矩陣，計(jì)算上文與方面詞、下文與方面詞之間的交互注意力向量，得到特定于方面的上下文表示，作為最終的情感分類特征.

3 模型實(shí)現(xiàn)

本文提出的LAR-WIAM模型整體框架如圖1所示，主要由詞嵌入、Bi-LSTM、詞級(jí)交互注意力模塊和分類器4部分組成：1)詞嵌入：通過(guò)一個(gè)詞嵌入矩陣，把輸入的每個(gè)單詞轉(zhuǎn)化成機(jī)器可識(shí)別的詞向量;2)Bi-LSTM：對(duì)詞向量進(jìn)行編碼，用于提取語(yǔ)義特征.該模塊有多個(gè)隱層，前一個(gè)隱層的輸出是后一個(gè)隱層的輸入，最終獲得一個(gè)完整詞向量的隱層表示;3)詞級(jí)交互注意力模塊：計(jì)算每?jī)刹糠种g的交互注意力向量，最后生成特定于方面的上下文表示;4)分類器：將得到的特定于方面的上下文表示作為最后的分類特征，輸入至softmax分類器進(jìn)行預(yù)測(cè)該方面詞的情感極性.

圖1 模型整體框架Fig.1 Overall framework of the model

3.1 任務(wù)定義

給定一個(gè)句子S=[w1，w2，…，wτ，…，wτ+m-1，…，wn]，長(zhǎng)度為n；方面詞A=[wτ，…，wτ+m-1]，長(zhǎng)度為m，方面詞可以是一個(gè)單詞或一個(gè)短語(yǔ).所以包含方面詞的上文LA=[w1，w2，…，wτ，…，wτ+m-1]，長(zhǎng)度為(τ+m-1)；包含方面詞的下文AR=[wτ，…，wτ+m-1，…，wn]，長(zhǎng)度為(n-τ+1).方面級(jí)情感分類任務(wù)的目標(biāo)是預(yù)測(cè)句子S中的方面詞A的情感極性.

3.2 詞嵌入

對(duì)于包含方面詞的上文LA=[w1，w2，…，wτ，…，wτ+m-1]、方面詞A=[wτ，…，wτ+m-1]和包含方面詞的下文AR=[wτ，…，wτ+m-1，…，wn]，先將每個(gè)單詞映射到一個(gè)低維實(shí)數(shù)向量，作為Bi-LSTM的輸入.對(duì)于每個(gè)單詞wi，都可以得到一個(gè)詞向量vi∈Rdw.計(jì)算公式如式(1)所示：

vi=wi·M

(1)

式(1)中，M∈RV×dw表示詞嵌入矩陣，其中V是詞典的長(zhǎng)度，dw是詞向量的維數(shù).本文采用GLOVE詞典[14].

通過(guò)式(1)可得，包含方面詞的上文詞向量LA=[v1；v2；…；vτ；…；vτ+m-1]∈R(τ+m-1)×dw、方面詞向量A=[vτ；…；vτ+m-1]∈Rm×dw和包含方面詞的下文詞向量AR=[vτ；…；vτ+m-1；…，vn]∈R(n-τ+1)×dw.

3.3 Bi-LSTM

本文使用Bi-LSTM對(duì)3部分詞向量進(jìn)行編碼，提取它們各自的語(yǔ)義信息.假設(shè)t時(shí)刻輸入向量為xt，則LSTM的計(jì)算公式如下：

ft=σ(Wf·[ht-1，xt]+bf)

(2)

it=σ(Wi·[ht-1，xt]+bi)

(3)

(4)

(5)

ot=σ(Wo·[ht-1，xt]+bo)

(6)

ht=ot⊙tanh(ct)

(7)

Bi-LSTM的計(jì)算公式為：

(8)

(9)

(10)

將包含方面詞上文詞向量LA作為Bi-LSTM的輸入，得到的隱層表示為：

(11)

類似地，方面詞向量A隱層表示為：

(12)

包含方面詞的下文詞向量AR的隱層表示為：

(13)

式(12)和式(13)中，hA∈Rm×2dh，hAR∈R(n-τ+1)×2dh.

3.4 詞級(jí)交互注意力模塊

受問(wèn)答任務(wù)中的計(jì)算交互注意力向量的方法啟發(fā)[15]，本文引入成對(duì)交互矩陣分別計(jì)算上文與方面詞、下文與方面詞之間的交互注意力向量.

以包含方面詞的上文和方面詞為例，詞級(jí)交互注意力模塊具體如圖2所示.

圖2 詞級(jí)交互注意力模塊Fig.2 World-level interactive attention module

Q1=hLA·(hA)T

(14)

(15)

(16)

(17)

(18)

k1=(hLA)T·γ1

(19)

Q2=hAR·(hA)T

(20)

(21)

(22)

(23)

(24)

k2=(hAR)T·γ2

(25)

最后將k1和k2兩部分拼接，就得到特定于方面的上下文表示向量k：

k=[k1；k2]

(26)

式(25)中，k∈R4dh.

3.5 分類器

本文將特定于方面的上下文表示k最后的分類特征，使用一個(gè)線性層將k投影到與情感極性向量空間C維度相同的空間中：

x=W·k+b

(27)

式(27)中，W為權(quán)重矩陣，b為偏差項(xiàng).

在線性層之后，使用softmax函數(shù)預(yù)測(cè)方面詞A的情感極性：

(28)

式(28)中，c是情感極性的類別數(shù)，yi為概率分布空間，最后取概率最大所對(duì)應(yīng)的情感極性為最終結(jié)果.

損失函數(shù)選用帶有L2正則化項(xiàng)的交叉熵?fù)p失函數(shù)：

(29)

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)平臺(tái)與實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)基于Facebook推出的Pytorch深度學(xué)習(xí)框架，不僅能夠?qū)崿F(xiàn)GPU加速，還支持動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，同時(shí)也能對(duì)深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)自動(dòng)求導(dǎo).本文的具體實(shí)驗(yàn)平臺(tái)如表1所示.

表1 實(shí)驗(yàn)平臺(tái)Table 1 Experimental platform

表2 數(shù)據(jù)集信息Table 2 Statistics for the dataset

4.2 實(shí)驗(yàn)參數(shù)與評(píng)價(jià)指標(biāo)

本文將詞向量維度設(shè)置為300，LSTM的隱層狀態(tài)維度設(shè)置為300，使用正態(tài)分布對(duì)權(quán)重矩陣進(jìn)行初始化，偏差項(xiàng)初始化為0.在訓(xùn)練過(guò)程中使用Adam優(yōu)化器更新參數(shù)，并加入Dropout和L2正則化防止過(guò)擬合.相關(guān)參數(shù)如表3所示.

表3 參數(shù)設(shè)置Table 3 Parameter settings

由于數(shù)據(jù)分布的不均勻，本文選取準(zhǔn)確率(Accuracy，Acc)和Macro-F1值(F1)作為模型的評(píng)價(jià)指標(biāo).準(zhǔn)確率表示預(yù)測(cè)正確的樣本與總樣本數(shù)之比，Macro-F1值是通過(guò)對(duì)各個(gè)類別的F1值取平均值得到的.假設(shè)預(yù)測(cè)正確的樣本數(shù)為T，總樣本數(shù)為N；在每一個(gè)類別中，預(yù)測(cè)正確的正樣本數(shù)為TP，預(yù)測(cè)錯(cuò)誤的正樣本數(shù)為FP，預(yù)測(cè)正確的負(fù)樣本數(shù)為TN，預(yù)測(cè)錯(cuò)誤的負(fù)樣本數(shù)為FN，則準(zhǔn)確率與Macro-F1值的計(jì)算公式為：

(30)

(31)

(32)

(33)

(34)

(35)

式(33)、式(34)中，n表示類別數(shù)，本文中n=3.

4.3 基線模型

本文將使用以下基線模型與LAR-WIAM模型作對(duì)比：

1)Majority：將訓(xùn)練集中最大概率的情感極性作為測(cè)試集每個(gè)樣本的情感極性.

2)LSTM：將句子的詞向量輸入到LSTM中，輸出的隱層表示作為用于情感分類的句子表示.

3)TD-LSTM[6]：將句子分為包含方面詞的上文和下文，分別輸入到兩個(gè)LSTM中，將得到的兩個(gè)隱層表示拼接起來(lái)作為用于情感分類的句子表示.

4)AT-LSTM[10]：首先使用LSTM對(duì)句子建模，將得到的隱層表示對(duì)方面詞向量計(jì)算注意力向量，然后使用注意力向量對(duì)句子的隱層表示加權(quán)求和得到用于情感分類的句子表示.

樣品破碎和鋯石挑選由廊坊峰之源礦物分選技術(shù)服務(wù)公司完成。樣品經(jīng)破碎后，人工淘洗保留重砂部分。對(duì)重砂部分進(jìn)行電磁分選和重液分選，得到一定純度的鋯石樣品，然后在雙目鏡下人工挑選出晶形完好、透明度高、無(wú)裂紋的鋯石晶體。制靶時(shí)，將待測(cè)樣品與標(biāo)準(zhǔn)樣品TEM同時(shí)放置。磨蝕和拋光樹脂靶，直至鋯石核心部位暴露再進(jìn)行陰極發(fā)光顯微照相，陰極發(fā)光圖像在中國(guó)地質(zhì)科學(xué)院礦產(chǎn)資源研究所電子探針實(shí)驗(yàn)室拍攝，并結(jié)合透射光和反射光圖像觀察鋯石內(nèi)部結(jié)構(gòu)。

5)ATAE-LSTM[10]：在AT-LSTM的基礎(chǔ)上，在句子詞向量中拼接方面詞向量后再輸入LSTM中，其余操作不變.

6)RAM[16]：使用多重注意力機(jī)制捕捉句子中長(zhǎng)距離情感特征，最后通過(guò)一個(gè)非線性層得到最后的分類特征.

7)MemNet[17]：使用多層注意力機(jī)制根據(jù)方面詞為上下文單詞分配權(quán)重，并將最后一層的注意力機(jī)制的輸出結(jié)果作為最后的分類特征.

8)IAN[2]：使用LSTM對(duì)方面詞和句子分別建模，計(jì)算方面詞對(duì)句子的注意力向量，反之亦然，將生成的句子表示和方面詞表示拼接起來(lái)得到一個(gè)用于情感分類的最終表示.

4.4 對(duì)比實(shí)驗(yàn)與結(jié)果分析

表4列出了不同模型在3個(gè)數(shù)據(jù)集上的運(yùn)行結(jié)果.

從表4可以看到，在3個(gè)數(shù)據(jù)集上，本文提出的LAR-WIAM模型在準(zhǔn)確率和Macro-F1值兩個(gè)指標(biāo)上相比基線模型均有一定的提高，表明LAR-WIAM模型性能優(yōu)于基線模型.Majority的指標(biāo)最低，原因是沒(méi)有從句子中提取任何信息.基于神經(jīng)網(wǎng)絡(luò)的方法中，最基本的LSTM僅對(duì)句子進(jìn)行建模，沒(méi)有考慮方面詞對(duì)句子建模的影響，所以準(zhǔn)確率較低.TD-LSTM在LSTM的基礎(chǔ)上加入了方面詞信息，所以指標(biāo)均有提高.AT-LSTM、ATAE-LSTM、RAM和MemNet均引入了注意力機(jī)制，考慮了方面詞對(duì)句子建模的影響，所以指標(biāo)均超過(guò)了TD-LSTM.IAN考慮了句子與方面詞之間的交互信息，所以指標(biāo)又有提升.LAR-WIAM同時(shí)考慮了上文與方面詞、下文與方面詞之間的交互信息，并且引入了成對(duì)交互矩陣計(jì)算交互注意力向量，避免了IAN中對(duì)隱層表示進(jìn)行平均池化可能會(huì)丟失一些重要信息的問(wèn)題，所以LAR-WIAM的指標(biāo)相較于最好的基線模型IAN也有了一定的提升，在3個(gè)數(shù)據(jù)集上較IAN準(zhǔn)確率分別提升了2.1%、1.7%、1.3%，Macro-F1值分別提升了3.6%、2.5%、0.5%，說(shuō)明LAR-WIAM可以得到更好的用于方面級(jí)情感分類的上下文表示.

表4 不同模型的實(shí)驗(yàn)結(jié)果Table 4 Experimental results of different models

4.5 模型分析

4.5.1 不同輸入對(duì)模型性能的影響

為了驗(yàn)證將輸入劃分成包含方面詞的上文、方面詞和包含方面詞的下文的有效性，本文作了以下對(duì)比試驗(yàn)：將句子與方面詞作為輸入，建立了SA-WIAM模型，該模型計(jì)算句子與方面詞的交互注意力向量，然后對(duì)句子的隱層表示加權(quán)求和，得到特定于方面的句子表示；將不包含方面詞的上文、方面詞和不包含方面詞的下文作為輸入，建立LR-WIAM模型.表5展示了這組實(shí)驗(yàn)結(jié)果.

表5 不同輸入下的模型實(shí)驗(yàn)結(jié)果Table 5 Experimental results of model with different input

從表5可以看出，在3個(gè)數(shù)據(jù)集上，LAR-WIAM在準(zhǔn)確率和Macro-F1值兩個(gè)指標(biāo)上相比SA-WIAM和LR-WIAM均有一定的提高，表明LAR-WIAM的性能優(yōu)于SA-WIAM和LR-WIAM.在SA-WIAM中計(jì)算句子與方面詞的交互注意力向量時(shí)，重要情感詞可能會(huì)出現(xiàn)在方面詞前或方面詞后，也可能會(huì)同時(shí)出現(xiàn)，這會(huì)導(dǎo)致給一些重要情感詞分配的權(quán)重過(guò)低；在LR-WIAM和LAR-WIAM中，分別計(jì)算了上文與方面詞、下文與方面詞的交互注意力向量，可以分別給上文或下文中的重要情感詞分配足夠的權(quán)重，解決了SA-WIAM中存在的弊端，所以LR-WIAM和LAR-WIAM的指標(biāo)都能夠高于SA-WIAM；LAR-WIAM與LR-WIAM相比，LAR-WIAM將方面詞包含于上文和下文中，可以從方面詞中提取更多的情感特征，所以LAR-WIAM的指標(biāo)又高于LR-WIAM.綜上，這組對(duì)比實(shí)驗(yàn)充分說(shuō)明了將輸入劃分成包含方面詞的上文、方面詞和包含方面詞的下文的有效性.

4.5.2 交互注意力機(jī)制對(duì)模型性能的影響

為了驗(yàn)證詞級(jí)交互注意力機(jī)制的有效性，本文作了以下的對(duì)比實(shí)驗(yàn).去掉詞級(jí)交互注意力機(jī)制，建立LAR模型；使用傳統(tǒng)的注意力機(jī)制，建立LAR-AM模型.表6展示了這組對(duì)比實(shí)驗(yàn)結(jié)果.

表6 不同注意力機(jī)制下的模型實(shí)驗(yàn)結(jié)果Table 6 Experimental results of model with ATTENTION

從表6可以看出，在3個(gè)數(shù)據(jù)集上，LAR-WIAM在準(zhǔn)確率和Macro-F1值兩個(gè)指標(biāo)上相比LAR和LAR-AM均有一定的提高，表明LAR-WIAM的性能優(yōu)于LAR和LAR-AM.LAR沒(méi)有考慮上下文和方面詞之間的影響，效果最差；LAR-AM只考慮了方面詞對(duì)上下文的影響，效果次之；LAR-WIAM考慮了上下文與方面詞之間的交互，效果最好.綜上，這組對(duì)比實(shí)驗(yàn)充分說(shuō)明了考慮上下文與方面詞之間的交互信息對(duì)方面級(jí)情感分類的有效性.

5 結(jié)束語(yǔ)

為了得到更準(zhǔn)確的用于方面級(jí)情感分類的上下文表示，本文提出了LAR-WIAM模型，首先將句子劃分為包含方面詞的上文、方面詞和包含方面詞的下文3部分，然后分別輸入到3個(gè)Bi-LSTM中，分別提取它們各自的語(yǔ)義特征，接著使用詞級(jí)交互注意力機(jī)制分別計(jì)算上文與方面詞、下文與方面詞的交互注意力向量，將得到的特定于方面的上文表示和下文表示向量拼接起來(lái)，得到一個(gè)特定于方面的上下文表示，將這個(gè)上下文表示向量作為最后的分類特征.在3個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)證明，LAR-WIAM模型的效果相比基線模型均有提高，表明模型輸入的上下文劃分方法和交互注意力機(jī)制均有效.然而在實(shí)驗(yàn)過(guò)程中，由于數(shù)據(jù)集中訓(xùn)練樣本數(shù)較少，在實(shí)驗(yàn)過(guò)程中有時(shí)會(huì)出現(xiàn)過(guò)擬合等問(wèn)題；而且在上下文表示中未考慮句法信息，下一步將深入研究如何解決過(guò)擬合問(wèn)題以及豐富用于分類的上下文表示特征.