基于改進(jìn)自注意力機(jī)制的方面級(jí)情感分析

毛騰躍，鄭志鵬，鄭祿

（中南民族大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院&湖北省制造企業(yè)智能管理工程技術(shù)研究中心，武漢 430074）

情感分析（Sentiment Analysis，SA）是自然語(yǔ)言處理（Natural Language Processing，NLP）領(lǐng)域的重要研究方向之一，其中針對(duì)文本信息的方面級(jí)情感分析（Aspect-Based Sentiment Analysis，ABSA）是更加細(xì)粒度子任務(wù)，它不僅在學(xué)術(shù)界被廣泛關(guān)注，在工業(yè)界中也應(yīng)用廣泛，亞馬遜、淘寶等電商網(wǎng)站針對(duì)商品評(píng)論進(jìn)行情感分析［1］，可以為企業(yè)和用戶(hù)提供實(shí)時(shí)反饋，改善產(chǎn)品服務(wù)和用戶(hù)體驗(yàn).

在方面級(jí)情感分析任務(wù)中，用戶(hù)的評(píng)論往往會(huì)包含針對(duì)單個(gè)目標(biāo)或多個(gè)目標(biāo)的幾個(gè)不同方面，例如：“The food is so good and so popular that waiting can really be a nightmare.”中，“food”方面的情感極性是積極的，但是針對(duì)“service”方面的情感極性是消極的.ABSA的任務(wù)就是識(shí)別實(shí)體對(duì)象在特定方面的細(xì)粒度情感極性［2］.

早期的方面情感分析主要基于人工構(gòu)建的情感詞典、語(yǔ)法規(guī)則等相關(guān)特征，再結(jié)合樸素貝葉斯（NBM）［3］、支持向量機(jī)（SVM）［4］等模型來(lái)訓(xùn)練分類(lèi)器，進(jìn)而得到特定方面的情感極性.近年來(lái)，隨著深度學(xué)習(xí)方法的廣泛應(yīng)用，ABSA任務(wù)目前大多采用的是諸如循環(huán)神經(jīng)網(wǎng)絡(luò)的相關(guān)模型；同時(shí)，由于注意力機(jī)制在文本分類(lèi)上的顯著效果，越來(lái)越多的研究人員開(kāi)始使用注意力機(jī)制來(lái)挖掘方面詞和上下文之間的關(guān)系［5］.

目前有研究注意到，傳統(tǒng)的應(yīng)用于情感分析的注意力機(jī)制在訓(xùn)練時(shí)，對(duì)于出現(xiàn)頻率高的情感詞，注意力機(jī)制往往會(huì)傾向于給其分配較高的注意力權(quán)重，而對(duì)于出現(xiàn)頻率低的情感詞，注意力的權(quán)重分配不足［6］.如表1所示，在列舉的3個(gè)訓(xùn)練句中，由于句中情感詞“small”往往以消極的情感極性出現(xiàn)，因此注意力機(jī)制對(duì)其消極的情感表示給予了更多的關(guān)注，分配了更高的注意力權(quán)重值，甚至直接將該情感詞和負(fù)面情緒句子關(guān)聯(lián)起來(lái).傳統(tǒng)注意力機(jī)制的這一特性，會(huì)導(dǎo)致對(duì)另外一個(gè)具有情感極性的情感詞“crowded”關(guān)注不足，盡管該單詞也具有消極的情感極性，但是訓(xùn)練過(guò)程中，由于其出現(xiàn)次數(shù)較少，注意力機(jī)制通常無(wú)法識(shí)別出來(lái).因此，部分采用這種注意力機(jī)制的ABSA模型，就會(huì)錯(cuò)誤預(yù)測(cè)示例中兩個(gè)測(cè)試句子的情感極性：在第一個(gè)測(cè)試句中，一些ABSA模型無(wú)法捕捉“crowded”涉及的負(fù)面情緒；雖然在第二個(gè)測(cè)試句中，注意機(jī)制關(guān)注到了“small”，但是它與給定的方面無(wú)關(guān)，因此導(dǎo)致將方面“hotel”原本的積極情感極性錯(cuò)誤預(yù)測(cè)為了消極.所以，本文認(rèn)為目前的ABSA模型的注意力機(jī)制部分存在一定的改進(jìn)空間.

表1 典型句子舉例Tab.1 Examples of sentences

傳統(tǒng)的結(jié)合注意力機(jī)制的ABSA模型進(jìn)一步提升情感分類(lèi)的效果有限.為了解決這一問(wèn)題，本文使用改進(jìn)后的自注意力機(jī)制，可以根據(jù)上一輪注意力信息指導(dǎo)下一輪注意力機(jī)制訓(xùn)練的過(guò)程.

1 相關(guān)工作

方面級(jí)情感分析是一種細(xì)粒度的情感分類(lèi)任務(wù)，早期的方面級(jí)情感分析方法通常是基于詞匯和句法特征的傳統(tǒng)機(jī)器學(xué)習(xí)模型［7-9］，這種模型的性能高度依賴(lài)于大量的人工標(biāo)記的情感詞典的質(zhì)量.因此，近年來(lái)的研究提出了大量基于深度學(xué)習(xí)的情感分類(lèi)方法，可分為以下5類(lèi)：遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RecNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、基于注意力的RNN、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），以及記憶網(wǎng)絡(luò)（Memory Network）［10］.

DONG等人［11］第一次提出在方面級(jí)情感分析任務(wù)上使用RecNN，RecNN通過(guò)自下而上的方式遞歸生成父表示，進(jìn)而獲取短語(yǔ)的表示，最終得到整個(gè)句子的表示信息，該模型利用了句子的句法信息作為輔助模型來(lái)提高情感分類(lèi)的效果.由于RNN模型在語(yǔ)言序列學(xué)習(xí)問(wèn)題中展現(xiàn)出了顯著作用，所以目前許多ABSA的解決方案都源于RNN模型.TANG等人［12］為了解決LSTM忽略目標(biāo)詞的問(wèn)題，提出了Target-Dependent LSTM（TD-LSTM），在TD-LSTM的基礎(chǔ)上，提出了Target-Connection LSTM（TC-LSTM），進(jìn)一步加強(qiáng)了target-word與句子中每個(gè)token的關(guān)聯(lián).注意力機(jī)制已經(jīng)成功應(yīng)用于很多自然語(yǔ)言處理的任務(wù)，例如機(jī)器翻譯、問(wèn)答、閱讀理解等.很多基于注意力的RNN模型也被用于方面級(jí)情感分析，使用注意力機(jī)制來(lái)強(qiáng)制執(zhí)行RNN模型關(guān)注文本序列的重要部分.WANG等人［13］提出了基于注意力機(jī)制的LSTM模型（ATAE-LSTM），將輸入的句子表示與方面詞結(jié)合，采用LSTM進(jìn)行編碼獲取隱向量表示，然后與方面詞表示進(jìn)行拼接，通過(guò)注意力機(jī)制對(duì)輸出進(jìn)行處理，最終得到情感分類(lèi)的結(jié)果.對(duì)于基于注意力的RNN方法，MA等人［14］考慮了給定方案及其內(nèi)容詞之間的交互，提出了Interactive Attention Network（IAN），使用兩個(gè)基于注意力機(jī)制的LSTM來(lái)交互地捕捉方面術(shù)語(yǔ)和上下文的聯(lián)系，分別計(jì)算注意力權(quán)重分?jǐn)?shù)，將單詞和上下文表示拼接起來(lái)作為句子的向量表示，計(jì)算情感分類(lèi)的結(jié)果.TANG等人［15］為了解決RNN、LSTM等網(wǎng)絡(luò)記憶能力差的問(wèn)題，首先基于ABSA的多跳注意力機(jī)制提出了深度記憶網(wǎng)絡(luò)（MemNet），它維護(hù)了一個(gè)外部的記憶單元用于存儲(chǔ)上一層的信息，而不是通過(guò)內(nèi)部的隱狀態(tài).CHEN等人［16］在記憶網(wǎng)絡(luò)的基礎(chǔ)上，結(jié)合循環(huán)的注意力機(jī)制，提出了RAM模型，為了提取長(zhǎng)距離的情感信息，該模型采用GRU網(wǎng)絡(luò)對(duì)注意力進(jìn)行多層的提取，將提取的多層注意力進(jìn)行非線(xiàn)性組合得到目標(biāo)方面的情感極性分類(lèi)結(jié)果.

近期在方面級(jí)情感分類(lèi)中表現(xiàn)較好的模型，大都使用了相應(yīng)的注意力機(jī)制，但是這些模型為了獲得給定方面在上下文句子中的重要性，其使用的注意力模型往往會(huì)存在關(guān)注高頻情感詞而忽略低頻情感詞的問(wèn)題.本文為了解決傳統(tǒng)注意力機(jī)制存在的問(wèn)題，使用漸進(jìn)式的自監(jiān)督學(xué)習(xí)方法，自動(dòng)挖掘語(yǔ)料庫(kù)中的注意力權(quán)重信息對(duì)注意力機(jī)制訓(xùn)練過(guò)程進(jìn)行改進(jìn)，指導(dǎo)ABSA模型的情感分類(lèi).

2 模型

2.1 ATAE-LSTM（+AS）模型

本文使用的ATAE-LSTM（+AS）網(wǎng)絡(luò)模型在ATAE-LSTM模型的基礎(chǔ)上，對(duì)其注意力機(jī)制的訓(xùn)練過(guò)程進(jìn)行了改進(jìn)，如圖1所示，分為輸入層、雙向LSTM層、注意力層和輸出層.對(duì)于一個(gè)給定的評(píng)論語(yǔ) 句x=(x1，x2，...，xN)和 給 定 的 方 面 詞w=(w1，w2，...，wT)［17］，模型的目的是為了預(yù)測(cè)給定方面的情感極性.

圖1 網(wǎng)絡(luò)模型Fig.1 The network model

輸入層：對(duì)文本預(yù)處理之后，使用Glove詞嵌入，獲得每個(gè)詞的詞向量表示，然后將方面詞的詞向量與每個(gè)詞的詞向量進(jìn)行拼接，作為模型的輸入表示.

雙向LSTM層：LSTM網(wǎng)絡(luò)是一種特殊的RNN，能夠?qū)W習(xí)到長(zhǎng)期的依賴(lài)性.將文本詞和方面詞拼接后的詞向量作為雙向LSTM層的輸入表示，使模型可以從前往后和從后往前兩個(gè)方向?qū)斎脒M(jìn)行編碼，提取文本的句子特征，得到單詞和整體文本的隱向量表示.本文采用的模型使用了雙向LSTM對(duì)句子進(jìn)行編碼，LSTM模型由3個(gè)門(mén)組成，分別是輸入門(mén)、輸出門(mén)和遺忘門(mén)［18］.具體的LSTM單元計(jì)算過(guò)程的如公式（1）~（6）所示：

其中，t表示時(shí)間，xt是時(shí)間t的輸入，ht是時(shí)間t的隱向量表示，*代表元素乘法，σ表示激活函數(shù)，Wi，bi是輸入門(mén)的參數(shù)，Wf，bf是遺忘門(mén)的參數(shù)，Wo，bo是輸出門(mén)的參數(shù).ct-1和ct分別表示上一單元的狀態(tài)和當(dāng)前單元的狀態(tài).

注意力層：本文的目標(biāo)是改進(jìn)注意力機(jī)制的訓(xùn)練過(guò)程，在模型注意力訓(xùn)練的過(guò)程中增加額外K輪迭代訓(xùn)練，生成更加準(zhǔn)確的注意力權(quán)重，指導(dǎo)最終的情感分類(lèi)過(guò)程.

輸出層：通過(guò)注意力層之后，經(jīng)過(guò)全連接層和softmax函數(shù)后，得到最終的情感分類(lèi)結(jié)果.

2.2 自注意力模塊

在基于注意力機(jī)制的ABSA模型中，句子中的每一個(gè)上下文單詞，對(duì)一個(gè)給定方面的重要性程度主要依賴(lài)于其注意力權(quán)重.因此，具有最大注意力權(quán)重的上下文詞的情感極性對(duì)輸入句的情感預(yù)測(cè)結(jié)果影響最大.所以，如果在訓(xùn)練句中，ABSA模型的預(yù)測(cè)是正確的，應(yīng)該繼續(xù)關(guān)注該上下文的情感詞；反之，應(yīng)該盡量減少對(duì)于該情感詞的關(guān)注度，將其在下一輪訓(xùn)練中的預(yù)期注意力權(quán)重值設(shè)置為0.

如前所述，具有最大注意力權(quán)重的上下文詞通常是具有強(qiáng)烈情感極性的.它一般會(huì)在訓(xùn)練語(yǔ)料庫(kù)中頻繁出現(xiàn)，因而在模型訓(xùn)練期間往往會(huì)被給予過(guò)度的關(guān)注，可能會(huì)導(dǎo)致對(duì)其他低頻詞，特別是那些具有情感極性的低頻情感詞的學(xué)習(xí)和訓(xùn)練不足.為了解決這個(gè)問(wèn)題，一種較為直觀(guān)的方法就是在本輪訓(xùn)練時(shí)，先屏蔽掉前面具有最強(qiáng)情感極性的上下文單詞，使注意力模型在訓(xùn)練過(guò)程中，可以關(guān)注到具有情感極性的低頻單詞.

基于以上的分析，本文采用了一種漸進(jìn)式的訓(xùn)練方法來(lái)自動(dòng)挖掘當(dāng)前訓(xùn)練句中的強(qiáng)情感極性的語(yǔ)境詞，在原有注意力訓(xùn)練的基礎(chǔ)上增加額外的K輪改進(jìn)后的注意力迭代訓(xùn)練過(guò)程.首先使用初始的訓(xùn)練語(yǔ)料庫(kù)D進(jìn)行注意力機(jī)制的訓(xùn)練，得到初始的模型注意力參數(shù)θ(0)，然后繼續(xù)迭代訓(xùn)練，在每一次迭代中提取一個(gè)注意力權(quán)重值最高的情感詞，循環(huán)直到K輪注意力訓(xùn)練結(jié)束或者當(dāng)前句子中已經(jīng)不存在對(duì)句子情感預(yù)測(cè)具有強(qiáng)烈影響的情感詞為止.在此過(guò)程中，使用兩個(gè)單詞集合sa(x)、sm(x)來(lái)分別記錄提取出的上下文單詞.sa(x)是由對(duì)句子x的情緒預(yù)測(cè)正確的情感詞組成的集合，希望在后續(xù)的模型訓(xùn)練中予以保留；sm(x)是由對(duì)x的情緒預(yù)測(cè)錯(cuò)誤的情感詞組成的集合，在后續(xù)的訓(xùn)練中，會(huì)減少對(duì)這些情感詞的注意力權(quán)重.步驟1到步驟4是額外K輪注意力迭代訓(xùn)練的具體過(guò)程：

步驟1：使用前面輪次迭代產(chǎn)生的模型參數(shù)θ(k-1)來(lái)生成方面表示v(t)，k∈[1，K]，初始模型參數(shù)為θ(0).然后根據(jù)集合sa(x)和sm(x)，將所有先前從x中提取的上下文單詞屏蔽，來(lái)創(chuàng)建一個(gè)新的句子x'，每個(gè)被屏蔽的單詞被替換為一個(gè)特殊的標(biāo)識(shí)“”.基于這種方式，在針對(duì)句子x′的注意力訓(xùn)練期間，將會(huì)屏蔽這些上下文詞的影響，因此模型可以從x'中提取出其他的上下文情感詞.最后，據(jù)此得到單詞的表示，記為

步驟2：基于方面表示v(t)和單詞表示h(x')，利用前一輪的模型參數(shù)θ(k-1)來(lái)預(yù)測(cè)句子x'的情感，記為yp，代表基于當(dāng)前模型參數(shù)，預(yù)測(cè)得到的情感極性.其中單詞的注意力權(quán)重分布為α(x')={α(x'1)，整體加權(quán)和為

步驟3：使用熵E(α(x'))，來(lái)表示α(x')的方差，這有助于模型確定句子x'中的高頻情感詞是否存在，公式如下：

如果E(α(x'))小于閾值εα，本文認(rèn)為當(dāng)前句中存在對(duì)x'情感預(yù)測(cè)影響較大的情感詞.因此，將對(duì)句子情感預(yù)測(cè)結(jié)果影響較大的情感詞（記為x'm）提取出來(lái)，用于改善模型的訓(xùn)練.具體來(lái)說(shuō)，根據(jù)預(yù)測(cè)的結(jié)果使用了兩種策略：（1）如果預(yù)測(cè)是正確的，本文希望繼續(xù)關(guān)注x'm，并且將其添加到集合sa(x)；（2）如果預(yù)測(cè)是錯(cuò)誤的，本文希望減少對(duì)于x'm的注意力權(quán)重，并且將其添加到集合sm(x).循環(huán)進(jìn)行K輪注意力訓(xùn)練.

步驟4：在額外K輪訓(xùn)練之后，將x'，t和y作為一個(gè)三元組，并將其與收集的集合組合成新的訓(xùn)練語(yǔ)料庫(kù)D(k)，利用D(k)執(zhí)行最后一輪注意力訓(xùn)練.通過(guò)這種方式，可以讓模型自動(dòng)挖掘出對(duì)情感預(yù)測(cè)具有強(qiáng)烈影響力的上下文單詞.

通過(guò)上述K輪的迭代，可以提取到所有訓(xùn)練實(shí)例中有影響力的上下文詞.如表2所示，在此示例中，迭代地提取出了“small”，“crowded”和“great”3個(gè)上下文詞.前兩個(gè)單詞包含在sa(x)中，而最后一個(gè)單詞包含在sm(x)中.最后，每個(gè)訓(xùn)練實(shí)例中提取的上下文單詞將被包含在D中，形成最終訓(xùn)練語(yǔ)料庫(kù)的信息，該信息將用于執(zhí)行最后一輪的注意力訓(xùn)練.

表2 挖掘情感詞句子舉例Tab.2 The example of mining emotional words

為了利用上下文詞來(lái)優(yōu)化針對(duì)ABSA模型的注意力機(jī)制的訓(xùn)練，本文使用了一種注意力優(yōu)化器其中α(*)和表示sa(x)∪sm(x)所引起的注意力分布.是兩者之間的歐氏距離損失，可用于消除之間的差異.

如前所述，本文希望在最終注意力訓(xùn)練期間，即第K輪迭代結(jié)束后，接著的一輪注意力訓(xùn)練時(shí)，同樣繼續(xù)關(guān)注sa(x)的上下文詞.為此，將句子的預(yù)期注意力權(quán)重設(shè)置為相同的值，即為.通過(guò)這種方式，之前提取出的單詞的注意力權(quán)重會(huì)被降低，后來(lái)提取的單詞的注意力權(quán)重會(huì)相應(yīng)增加，由此可以避免具有情感極性的高頻上下文詞的過(guò)度擬合，以及低頻情感詞在模型訓(xùn)練時(shí)被忽視的問(wèn)題；另一方面，由于sm(x)中的單詞對(duì)x的情感預(yù)測(cè)具有誤導(dǎo)性的影響，因此減少它們的影響，直接將其預(yù)期的權(quán) 重 設(shè) 置 為0.以 表2中 句 子1為 例，“small”和“crowded”∈sa(x)，所以被分配相同的預(yù)期注意力權(quán)重，即為0.5，“great”∈sm(x)的預(yù)期權(quán)重為0.

最后，使用添加了sa(x)和sm(x)中詞的訓(xùn)練語(yǔ)料庫(kù)Ds進(jìn)行最后一輪注意力訓(xùn)練，如公式（8）、（9）所示：

公式（8）表示常規(guī)訓(xùn)練目標(biāo)，公式（9）表示最終在Ds語(yǔ)料庫(kù)上的訓(xùn)練目標(biāo).其中D是訓(xùn)練語(yǔ)料庫(kù)，d(y)是y的一維向量，d(x，t；θ)是模型對(duì)(x，t)預(yù)測(cè)的情感極性分布，γ是平衡常規(guī)損失函數(shù)和正則化術(shù)語(yǔ)之間差異的參數(shù).除了利用監(jiān)督信息以外，將這類(lèi)信息添加到模型中，更容易解決梯度消失的問(wèn)題.

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)和評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文ATAE-LSTM（+AS）模型的效果，實(shí)驗(yàn)使用了SemEval 2014 Task4的兩組公開(kāi)數(shù)據(jù)集——Laptop和Restaurant領(lǐng)域的兩個(gè)數(shù)據(jù)集，以及包含Twitter用戶(hù)對(duì)多個(gè)方面項(xiàng)評(píng)論信息的Twitter數(shù)據(jù)集.3個(gè)公開(kāi)數(shù)據(jù)集是目前方面級(jí)情感分析任務(wù)使用最多的數(shù)據(jù)集，由上下文語(yǔ)句、方面項(xiàng)、方面所對(duì)應(yīng)的情感極性組成.本文使用的數(shù)據(jù)集中，方面情感極性包含積極、消極、中立3個(gè)方向，統(tǒng)計(jì)結(jié)果如表3所示.

表3 基準(zhǔn)數(shù)據(jù)集統(tǒng)計(jì)表Tab.3 The statistics of benchmark dataset

為了準(zhǔn)確評(píng)估不同的方面級(jí)情感分析模型的性能，對(duì)本文采用的注意力機(jī)制的改進(jìn)效果進(jìn)行評(píng)估，本文采用情感分析領(lǐng)域常用的準(zhǔn)確率（Accuracy）和Macro-F1值作為評(píng)價(jià)指標(biāo)，公式如下：

其中，TP表示正類(lèi)情感極性標(biāo)簽被模型正確預(yù)測(cè)為正的樣本數(shù)量；TN表示負(fù)類(lèi)情感極性標(biāo)簽被模型正確預(yù)測(cè)為負(fù)的樣本數(shù)量；FP表示負(fù)類(lèi)情感極性標(biāo)簽被模型錯(cuò)誤預(yù)測(cè)為正的樣本數(shù)量；FN表示正類(lèi)情感極性標(biāo)簽被模型錯(cuò)誤預(yù)測(cè)為負(fù)的樣本數(shù)量，N表示總的樣本數(shù)量.

3.2 模型參數(shù)

在本文的實(shí)驗(yàn)中，采用了預(yù)訓(xùn)練的詞向量對(duì)模型的輸入進(jìn)行處理，詞向量的維度設(shè)置為300.對(duì)于詞匯外的單詞，在其均勻分布的［-0.25，0.25］范圍內(nèi)進(jìn)行了詞嵌入的隨機(jī)采樣.此外，在［-0.01，0.01］的范圍內(nèi)均勻地初始化了其他模型參數(shù).根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)數(shù)據(jù)，將最大迭代次數(shù)K設(shè)置為5.γ在Laptop數(shù)據(jù)集上設(shè)置為0.1，在Restaurant數(shù)據(jù)集上設(shè)置為0.5，在Twitter數(shù)據(jù)集上設(shè)置為0.1.所有的超參數(shù)都在注意力訓(xùn)練過(guò)程中進(jìn)行20%左右的隨機(jī)上調(diào).使用Adam作為優(yōu)化器，learning rate設(shè)置為0.001.

3.3 對(duì)比模型

本文對(duì)基于改進(jìn)自注意力機(jī)制的ABSA模型（ATAE-LSTM（+AS））和 以下 的baseline方法 在SemEval 2014 Task4的兩組公開(kāi)數(shù)據(jù)集和Twitter數(shù)據(jù)集上進(jìn)行了比較，以驗(yàn)證該方法的有效性.具體對(duì)比模型如下：

（1）SVM：Kiritchenko等將SVM與詞典的方法相結(jié)合，在SemEval比賽中對(duì)方面情感分類(lèi)任務(wù)上取得了優(yōu)于之前方法的效果；

（2）LSTM：對(duì)句子中的token進(jìn)行embedding之后作為模型的輸入，經(jīng)過(guò)多輪計(jì)算隱層和輸入之后得到句子的隱向量表示，然后對(duì)這個(gè)向量進(jìn)行softmax計(jì)算情感分類(lèi)的概率；

（3）TD-LSTM：使用了兩個(gè)LSTM，分為前向和后向，分別對(duì)目標(biāo)詞的左右兩邊的信息進(jìn)行建模，將得到的隱狀態(tài)融合之后得到整體句子的情感表示，用于情感分類(lèi)；

（4）ATAE-LSTM：進(jìn)一步利用了方面詞嵌入的信息，將方面嵌入和上下文詞嵌入共同組合作為模型的輸入，使用LSTM模型計(jì)算上下文特征，結(jié)合注意力機(jī)制對(duì)隱藏層進(jìn)行處理，得到針對(duì)方面的情感分類(lèi)結(jié)果；

（5）ATAE-LSTM（+AS）：本文提出的情感分類(lèi)模型，在ATAE-LSTM的基礎(chǔ)上，使用了改進(jìn)后的自注意力機(jī)制，對(duì)注意力層進(jìn)行額外的K+1輪訓(xùn)練，能更好地對(duì)上下文分配注意力權(quán)重，指導(dǎo)模型進(jìn)行情感分類(lèi).

3.4 實(shí)驗(yàn)結(jié)果與分析

表4提供了上述5個(gè)模型的所有實(shí)驗(yàn)結(jié)果，為了證明本文方法的有效性，在3個(gè)基準(zhǔn)數(shù)據(jù)集上重新實(shí)現(xiàn)了相應(yīng)的對(duì)比模型，采用準(zhǔn)確率和Macro-F1度量模型的效果.其中，SVM、LSTM和ATAE-LSTM都與原始論文中的實(shí)驗(yàn)結(jié)果相當(dāng).這些結(jié)果表明，重新實(shí)現(xiàn)的基線(xiàn)模型是具有可信度的.

表4 各模型實(shí)驗(yàn)結(jié)果對(duì)比Tab.4 Experimental results comparison of different models

以上方法中，SVM的方法在Laptop數(shù)據(jù)集的表現(xiàn)與其他LSTM模型相當(dāng)，在Restaurant數(shù)據(jù)集中性能相對(duì)還優(yōu)于其他傳統(tǒng)LSTM方法，說(shuō)明傳統(tǒng)機(jī)器學(xué)習(xí)與特征工程的方法依然具有應(yīng)用價(jià)值，但是由于其需要大量的人工標(biāo)記的情感詞典，所以不適合大規(guī)模工業(yè)級(jí)數(shù)據(jù)的分析任務(wù).在Laptop和Restaurant數(shù)據(jù)集上，ATAE-LSTM（+AS）都取得了較好的效果，由于本文對(duì)注意力機(jī)制的訓(xùn)練過(guò)程進(jìn)行了改進(jìn)，增加了額外的多輪訓(xùn)練，因此與原始的ATAE-LSTM模型相比，模型注意力參數(shù)更加合理，在Laptop、Restaurant和Twitter數(shù)據(jù)集上的準(zhǔn)確率效果提升了1.93%、2.04%、0.93%.這一結(jié)果表明，本文采用的改進(jìn)的注意力機(jī)制可以很好地與傳統(tǒng)的基于注意力機(jī)制的方面級(jí)情感分析模型融合，提升了情感分類(lèi)的準(zhǔn)確率.

4 結(jié)語(yǔ)

本文研究了自監(jiān)督的注意力機(jī)制算法，提出了用于方面級(jí)情感分類(lèi)的改進(jìn)的自注意力模型ATAE-LSTM（+AS），克服了當(dāng)前ABSA模型中注意力機(jī)制的缺陷，如過(guò)度關(guān)注具有情感極性的高頻情感詞、對(duì)低頻的情感詞缺乏足夠關(guān)注度，導(dǎo)致情感詞的注意力權(quán)重分配不合理，影響了情感分類(lèi)模型的性能.因此，本文采用了一種改進(jìn)的注意力機(jī)制，將它應(yīng)用于傳統(tǒng)ATAE-LSTM模型中，在3種公開(kāi)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：本文的方法有效提高了原始的方面情感分類(lèi)模型的性能.