融合注意力機(jī)制和情感詞位置的情感分析

周曉雯 王曉曄 孫嘉琪 于 青

(天津理工大學(xué)天津市智能計(jì)算及軟件新技術(shù)重點(diǎn)實(shí)驗(yàn)室 天津 300384)

0 引 言

隨著電子商務(wù)的快速發(fā)展，越來越多的用戶將電商平臺的評論信息作為消費(fèi)選擇的重要參考標(biāo)準(zhǔn)。據(jù)統(tǒng)計(jì)，評論信息的數(shù)量每天正以千萬級的速率在增長，這為人們從評論中獲取有用信息增加了難度。

屬性級情感分析(Aspect-Based Sentiment Analysis,ABSA)旨在對句子中出現(xiàn)的情感目標(biāo)和對應(yīng)的情感詞進(jìn)行分類。例如，“餐廳里面的環(huán)境還不錯，但是菜品真的是很難吃”，對于情感目標(biāo)“餐廳環(huán)境”來說，情感分類是積極的，而對情感目標(biāo)“菜品”來說，情感分類則是消極的。在真正的分類任務(wù)中，容易對二者的情感極性混淆，因此很難得到正確的情感極性判斷。屬性級情感分析任務(wù)主要包括兩個(gè)方面：(1) 出于情感目標(biāo)的提取要求；(2) 需要對情感目標(biāo)對應(yīng)的情感詞進(jìn)行提取和分類。情感目標(biāo)可能是一個(gè)實(shí)體，也可能是實(shí)體的一個(gè)屬性，本文統(tǒng)稱為情感目標(biāo)(aspect)。

近年來，深度學(xué)習(xí)在自然語言處理任務(wù)中得到了廣泛應(yīng)用，并在問答系統(tǒng)、機(jī)器翻譯等方面都取得了令人矚目的成績。目前，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的模型在情感分析任務(wù)中也取得了很好的效果。Kim[1]利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取文本中的語義關(guān)系，實(shí)現(xiàn)高效的情感分類。Zhu等[2]提出使用長短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory Network,LSTM)構(gòu)建句子的長期記憶，再利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)從隱層狀態(tài)中獲得更具體的句子表示，獲得了更好的分類效果。但此類模型無法獲取長文本句子中所有單詞的依賴關(guān)系，而且在處理長序列文本時(shí)，網(wǎng)絡(luò)容易產(chǎn)生梯度消失問題。由于注意力機(jī)制在建模全局依賴關(guān)系上表現(xiàn)出的良好性能，因此有的學(xué)者將注意力機(jī)制應(yīng)用到屬性級情感分析任務(wù)中。例如，AEN-BERT[3]和IAN[4]利用注意力機(jī)制學(xué)習(xí)情感目標(biāo)與上下文中的目標(biāo)詞之間的關(guān)聯(lián)性，但仍無法捕獲上下文中的情感目標(biāo)信息，而且額外參數(shù)的消耗也加大了情感目標(biāo)和上下文文本之間的建模難度。

對于情感詞的提取，最常用的是基于情感詞典的方法。例如，Perera等[5]利用SentiWordNet詞典和句法分析器對情感詞進(jìn)行提取和分類。彭云等[6]提出基于情感詞典和LDA的方式對情感目標(biāo)和情感詞進(jìn)行建模?，F(xiàn)已整理好的中文情感詞典主要包括：中國臺灣大學(xué)的NTUSD、知網(wǎng)HowNet和大連理工信息檢索實(shí)驗(yàn)室的情感詞庫。上述情感詞典中都存在一定的問題：(1) 情感詞典中不能實(shí)時(shí)更新最新的網(wǎng)絡(luò)用語，使得情感詞分類不準(zhǔn)確；(2) 在分類時(shí)不能考慮情感詞在不同領(lǐng)域上的差異，容易造成歧義的問題；(3) 在情感詞提取的方法中，往往都忽略了情感詞在文本中的位置信息。研究發(fā)現(xiàn)，在大量的口語化文本中，情感目標(biāo)與情感詞之間的位置存在一定的相關(guān)性，因此有必要對情感詞的位置信息進(jìn)行提取。

為了解決上述問題，本文提出一種基于注意力編碼機(jī)制和情感詞位置的交互感知網(wǎng)絡(luò)(Attentional Encoder and Position of Sentiment Polarity，AEPSP)，主要貢獻(xiàn)如下：

(1) 本文提出一種注意力編碼機(jī)制對全局的語義關(guān)系進(jìn)行建模，擬解決無法捕獲上下文中的情感目標(biāo)的問題。該模型將給定情感目標(biāo)類別的信息與上下文的隱藏狀態(tài)相結(jié)合，來捕獲情感目標(biāo)的特定表示。此外，還利用預(yù)訓(xùn)練的BERT模型訓(xùn)練動態(tài)詞向量作為模型的初始輸入。

(2) 本文利用短語結(jié)構(gòu)文法(Context-Free Grammars，CFGs)對實(shí)驗(yàn)文本進(jìn)行分析，提取特定領(lǐng)域的情感詞來擴(kuò)充現(xiàn)有的情感詞典，用來解決現(xiàn)有情感詞典不能及時(shí)包含現(xiàn)有的網(wǎng)絡(luò)用語的問題。此外，在提取情感詞時(shí)，本文也提取了情感詞的位置信息，將情感目標(biāo)和情感詞的位置信息相結(jié)合，形成<情感目標(biāo)，情感詞>二元組用于情感分類。

1 相關(guān)工作

1.1 情感目標(biāo)提取

在以往的研究中，屬性級情感分析主要基于情感字典和機(jī)器學(xué)習(xí)等傳統(tǒng)方法。研究人員大都利用語法語義的關(guān)聯(lián)性和情感目標(biāo)的出現(xiàn)頻率來檢測情感目標(biāo)。Hu等[7]利用關(guān)聯(lián)規(guī)則的方法檢測情感目標(biāo)，將單個(gè)復(fù)合詞和復(fù)合名詞作為情感目標(biāo)。文獻(xiàn)[8-9]等基于依賴分析器的方法都使用句法分析器提取情感目標(biāo)。上述方法需要從大量預(yù)處理文本中獲得先驗(yàn)知識，還依賴依存關(guān)系樹的外部知識，不僅耗費(fèi)大量人力，而且準(zhǔn)確率不高。

近年來，諸多深度學(xué)習(xí)模型被應(yīng)用于屬性級情感分析任務(wù)中。Wang等[10]將主題建模與支持向量機(jī)(SVM)結(jié)合，識別情感目標(biāo)信息。Wang等[11]提出了基于注意力機(jī)制的ATAE-LSTM模型，將注意力機(jī)制和LSTM結(jié)合對情感目標(biāo)與上下文內(nèi)容進(jìn)行學(xué)習(xí)，然后使用注意力機(jī)制對隱層信息分配權(quán)重。Ma等[4]提出了IAN網(wǎng)絡(luò)，設(shè)計(jì)兩個(gè)注意力機(jī)制網(wǎng)絡(luò)分別對情感目標(biāo)和上下文的文本信息進(jìn)行學(xué)習(xí)，同時(shí)關(guān)注句子中的重要部分和情感目標(biāo)。Chauhan等[12]結(jié)合上下文信息與領(lǐng)域的特定信息來識別情感目標(biāo)。上述方法雖然對提取情感目標(biāo)有一定的作用，但是難以提取復(fù)雜文本中相對較遠(yuǎn)的情感詞與情感目標(biāo)之間的潛在關(guān)系。

Devlin等[13]提出BERT模型引發(fā)熱烈討論，利用transformer機(jī)制解決了自然語言處理中長文本中依賴的問題，還能夠捕捉文本語句的雙向關(guān)系。Liu等[14]將預(yù)訓(xùn)練的BERT模型和多任務(wù)文本結(jié)合進(jìn)行學(xué)習(xí)。Sun等[15]通過對輸入文本進(jìn)行改進(jìn)，將單文本改成BERT模型最擅長的雙句文本進(jìn)行處理。Song等[3]提出了AEN-BERT模型，利用多頭注意力機(jī)制和特殊的卷積層進(jìn)行結(jié)合，對情感目標(biāo)的信息進(jìn)行有效的提取。然而上述的模型沒有更深層次挖掘給定的情感目標(biāo)與上下文語句之間的關(guān)系，因此難以獲得全局信息。

1.2 情感詞抽取及分類

利用情感詞典進(jìn)行情感分類是一種無監(jiān)督學(xué)習(xí)的方法。由于各個(gè)領(lǐng)域?qū)η楦性~的傾向不同，而情感詞典也沒有對特定領(lǐng)域進(jìn)行分類，因此會造成情感分類的錯誤。

基于詞典的情感分析方法[16-18]中，利用情感詞典對情感詞進(jìn)行提取，均取得了不錯的效果。Kamal等[16]基于語義分析設(shè)計(jì)相關(guān)規(guī)則以實(shí)現(xiàn)<情感目標(biāo),情感詞>的抽取。Desai等[17]將情感詞典和淺層分析句法的方法相結(jié)合，提取語料中的情感詞。顧正甲等[18]使用句法分析對情感詞進(jìn)行提取，從語法分析、詞義理解等多角度分析語義間的關(guān)系。而上述方法未將情感詞與情感目標(biāo)之間的關(guān)系進(jìn)行建模，因此無法有效地提取情感詞。

Perera等[5]結(jié)合POS標(biāo)記、SentiWordNet詞典和依賴分析器，通過對情感詞與情感目標(biāo)建模來提取情感詞信息。Qian等[19]在句子級的LSTM情感分類模型中加入情感詞典的相關(guān)特征信息，有效利用語言規(guī)則，并通過改變模型的損失函數(shù)更好地理解句子與情感極性的關(guān)系。Mauro等[20]為情感詞極性建立了模糊的邏輯模型，結(jié)合SentiWordNet和WordNet兩種英文詞典，解決了情感詞在不同領(lǐng)域中情感極性的不確定性問題。劉亞橋等[21]指出在同一個(gè)領(lǐng)域的不同文本中，情感詞可能會有不同的情感傾向，如手機(jī)領(lǐng)域,“長”在描述相機(jī)聚焦時(shí)間和電池續(xù)航時(shí)間上的情感極性是相反的。Appel等[22]對情感目標(biāo)和情感詞同時(shí)進(jìn)行擴(kuò)展，使用句法依存分析抽取情感詞與情感目標(biāo)之間的關(guān)系，擴(kuò)展情感詞庫和情感目標(biāo)庫進(jìn)行情感分類。上述的利用情感詞典的知識對情感詞進(jìn)行抽取并分類，但未考慮情感詞適用的領(lǐng)域，容易造成情感分類錯誤，而且也沒有提取相關(guān)的位置信息，容易引起情感目標(biāo)匹配不當(dāng)?shù)膯栴}。

1.3 相關(guān)工作總結(jié)

本文提出AEPSP模型，通過對注意力編碼機(jī)制進(jìn)行改進(jìn)，使情感目標(biāo)與上下文信息進(jìn)行更好的語義交互，對情感目標(biāo)提取準(zhǔn)確度的提升有很好的成效。在情感詞的查找過程中，結(jié)合短語結(jié)構(gòu)文法對現(xiàn)有語料進(jìn)行分析，并對現(xiàn)有的情感詞典進(jìn)行擴(kuò)充，在情感詞的提取上取得了很好的效果。在進(jìn)行情感分類時(shí)，本文基于位置信息將情感目標(biāo)與情感詞進(jìn)行結(jié)合，解決文本歧義的問題，利用<情感目標(biāo)，情感詞>二元組對情感詞進(jìn)行分類，使得分類效果更準(zhǔn)確。

2 AEPSP模型

圖1給出了所提出的AEPSP模型的總體框架，主要由詞嵌入層、特征提取層、位置融合層、輸出層等方面組成。

圖1 AEPSP網(wǎng)絡(luò)整體框架

2.1 詞嵌入

為了便于BERT模型的訓(xùn)練和微調(diào)，我們將給定的上下文文本和aspect轉(zhuǎn)化為“[CLS]+context+[SEP]+aspect+[SEP]”格式。假設(shè)一個(gè)句子包含了n個(gè)單詞，表示為Wc={w1,w2,…,wn}，一個(gè)情感目標(biāo)包含m個(gè)單詞，表示成Wt={wt1,wt2,…,wtm}。

2.2 MHA機(jī)制

在情感目標(biāo)提取方面，Song等[3]提出兩種基于多頭注意力機(jī)制的方法，其中：Intra-MHA目的是為上下文的文本進(jìn)行建模；Inter-MHA是結(jié)合情感目標(biāo)與上下文文本建模。本文將這兩種方式進(jìn)行結(jié)合，利用上下文與情感目標(biāo)結(jié)合進(jìn)行建模，解決了之前兩種方式不能準(zhǔn)確提取情感目標(biāo)的問題。

(1) 多頭注意力機(jī)制。在注意力機(jī)制中，將詞向量矩陣L通過與權(quán)重矩陣結(jié)合形成了三種詞向量權(quán)重矩陣Q、K、V。通過Q、K矩陣的映射學(xué)習(xí)新的映射結(jié)果。再把更高維的映射結(jié)果與V矩陣進(jìn)行一次拼接，得到最后的輸出結(jié)果。在更高維的映射結(jié)果中，詞向量權(quán)重矩陣結(jié)合上下文的信息對權(quán)重進(jìn)行重新分配。

(1)

式中：dk是輸入向量的維度。

MHA可以學(xué)習(xí)n次同等運(yùn)算中的不同結(jié)果,將n_heads次輸出連接起來并投影到指定的隱藏維數(shù)dhid中,如式(2)和式(3)所示。

MultiHead(Q,K,V)=Concat(head1,head2,…,headn_heads)W0

(2)

Oh=Attentionh(Q,K,V)

(3)

式中：Concat是連接函數(shù)；headi是第i次計(jì)算的結(jié)果；W0是學(xué)習(xí)參數(shù)；h∈[1,n_heads]是映射的次數(shù)。

Tc=InAtt(Ec)

(4)

Ta=InAtt(Ec,Ea)

(5)

Hc([Tc;Ta])=tanh(Wc[Tc,Ta]+bc)

(6)

式中：InAtt表示交互注意力機(jī)制。

2.3 情感詞提取

本文先將評論語料輸入到句法分析器中進(jìn)行短語結(jié)構(gòu)文法分析。然后通過分詞、句法的分析及情感詞的提取等步驟，完成對情感詞的提取工作。

(1) 擴(kuò)充情感詞典步驟。第一步分詞，將標(biāo)點(diǎn)符號、連詞和停用詞等進(jìn)行處理。

第二步句法分析，抽取句子中的形容詞性短語(VA)。具體的句法分析樹如圖2所示。本文將句法分析中為VA的詞語認(rèn)定為情感詞。對于VA中可能存在的程度副詞、否定詞，例如“很”、“就是”、“不”和“不怎么”等，本文會進(jìn)行保留。

圖2 句法分析樹

第三步情感詞提取，對VA短語進(jìn)行提取，按照圖3的流程對情感詞典進(jìn)行擴(kuò)充。

圖3 擴(kuò)充情感詞典流程

(2) 情感詞提取。本文利用擴(kuò)充的情感詞典對情感詞進(jìn)行提取。基本思想是對文本中的每個(gè)詞語進(jìn)行遍歷，利用情感詞典提取情感詞。最終，形成一個(gè)情感詞矩陣P={p1,p2,…，pm}∈Rdp×|D|，其中：dp是情感詞矩陣的維度，|D|是情感詞表的大小。在構(gòu)建情感詞矩陣的同時(shí)，本文對情感詞的位置信息進(jìn)行提取。情感詞位置嵌入Wpi∈Rdps與2.1節(jié)中情感目標(biāo)Wci∈Rdpc的位置矩陣維度相同。

Hp([Pi])=tanh(Wp[Pi]+bp)

(7)

2.4 卷積融合

卷積融合是將位置信息與提取的信息詞進(jìn)行融合，能夠?qū)⒃~的信息和位置的信息進(jìn)行串聯(lián)得到總體的表示，如式(8)所示。

CT(h)=σ(h*W)+b

(8)

式中：σ是ReLU激活函數(shù)；h是隱層的信息；*是卷積的操作；W∈Rdhid×hid和b∈Rdhid是學(xué)習(xí)的參數(shù)。

(9)

(10)

式中：Wci是前面第i個(gè)情感目標(biāo)對應(yīng)的位置信息；Wpi是第i個(gè)情感詞相對的位置信息。

2.5 位置融合層

在同一條評論中，情感目標(biāo)的位置向量與情感詞的位置向量維度是相同的，其區(qū)別在于彼此的權(quán)重信息不同，因此本文將二者的隱層信息進(jìn)行結(jié)合，學(xué)習(xí)二者的位置信息。最終，產(chǎn)生了情感目標(biāo)和情感詞對的最終表示Xi={x1,x2,…,xn,}，如式(11)所示。

(11)

2.6 輸出層

使用完整的全連接層將向量映射到目標(biāo)C的空間，如式(12)所示。

(12)

式中：y∈RC是預(yù)測情感極性的分布；C是情感分類的類別數(shù)。

2.7 損失函數(shù)

本文使用交叉熵和L2-正則化作為損失函數(shù)，如式(13)定義。

(13)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本實(shí)驗(yàn)中使用的是2018年AI Challenge細(xì)粒度情感分析的中文數(shù)據(jù)集[24]。數(shù)據(jù)集被分為四種情感極性，分別是Positive、Neutral、Negative和Not mentioned。數(shù)據(jù)集中各個(gè)標(biāo)簽數(shù)量分布如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集分布

2018年AI Challenge數(shù)據(jù)集[23]按照評價(jià)對象的粗粒度屬性以及各個(gè)粗粒度屬性所包含的細(xì)粒度屬性進(jìn)行分類，共分為20個(gè)類別的情感目標(biāo)。例如“位置”這一粗粒度情感中包含四個(gè)細(xì)粒度情感目標(biāo)，分別是“交通是否便利”“距離商圈遠(yuǎn)近”“是否容易尋找”和“排隊(duì)等候時(shí)間”。除此之外，還包含該數(shù)據(jù)對應(yīng)各個(gè)情感目標(biāo)的情感傾向值，每個(gè)情感目標(biāo)的情感傾向被標(biāo)記為四種，分別1(Positive)、0(Neutral)、-1(Negative)和-2(Not mentioned)。具體數(shù)據(jù)格式如表2所示。

表2 實(shí)驗(yàn)數(shù)據(jù)集體格式

3.2 數(shù)據(jù)預(yù)處理和參數(shù)設(shè)置

本實(shí)驗(yàn)中，使用預(yù)訓(xùn)練BERT模型進(jìn)行詞嵌入的訓(xùn)練，在訓(xùn)練時(shí)模型會進(jìn)行fine-tune。設(shè)置詞向量的維度demb是768，隱藏層的維度dhid設(shè)置為300。按照中文文本的行文規(guī)則，本文將位置矩陣dpc、dps的維度設(shè)置為64。在實(shí)驗(yàn)過程中，batch size設(shè)置為64,學(xué)習(xí)率設(shè)置5E-5，將L2正則化項(xiàng)的系數(shù)λ設(shè)置為10-5。將AI Challenge 2018數(shù)據(jù)集中與訓(xùn)練集和測試集不相交的2 000個(gè)樣本作為驗(yàn)證集驗(yàn)證模型的有效性。本文使用Accuracy和Macro-F1指標(biāo)來評估模型。

3.3 數(shù)據(jù)增廣

在表1中，發(fā)現(xiàn)各個(gè)極性的數(shù)據(jù)標(biāo)簽不均衡，因此我們采用EDA數(shù)據(jù)增廣的模型，對標(biāo)簽較少的數(shù)據(jù)進(jìn)行數(shù)據(jù)增廣。本文對數(shù)據(jù)標(biāo)簽較少的語料，以同義詞替換、隨機(jī)替換等方式對文本進(jìn)行擴(kuò)增。增廣后的標(biāo)簽如圖4所示。

圖4 數(shù)據(jù)增廣前后標(biāo)簽數(shù)量對比

3.4 比較方法

為了全面評估AEPSP模型的性能，對以下10種基準(zhǔn)模型進(jìn)行實(shí)驗(yàn)對比。

(1) FastText[24]：主要是通過將整篇文檔的詞及n-gram向量疊加平均得到文檔向量，然后使用文檔向量做Softmax多分類。

(2) AE-LSTM[11]：將情感目標(biāo)映射到詞向量嵌入，然后將其作用于訓(xùn)練的一部分。

(3) ATAE-LSTM[11]：為了增強(qiáng)目標(biāo)嵌入的效果，將情感目標(biāo)嵌入和每個(gè)文本的詞嵌入結(jié)合，使用LSTM結(jié)合注意力機(jī)制得到最終的分類標(biāo)述。

(4) IAN[4]：通過兩個(gè)注意力編碼機(jī)制的交互，學(xué)習(xí)情感目標(biāo)與上下文的信息，從而生成情感目標(biāo)與上下文的最終表示。

(5) AEN-Glove[3]：使用Glove轉(zhuǎn)換詞向量，提出注意力編碼網(wǎng)絡(luò)，將情感目標(biāo)與上下文文本結(jié)合，進(jìn)行情感目標(biāo)提取和情感詞的分類。

(6) AEN-BERT[3]：使用pre-trained BERT轉(zhuǎn)換詞向量并進(jìn)行微調(diào)，結(jié)合注意力編碼網(wǎng)絡(luò)，將情感目標(biāo)與上下文文本結(jié)合，進(jìn)行情感目標(biāo)提取和情感詞的分類。

(7) BERT[13]:使用的是原BERT分類模型直接進(jìn)行分類。

(8) BERT-SPC[15]:將序列轉(zhuǎn)換成“[CLS]+context+[SEP]+target+[SEP]”的格式，利用原始的BERT模型訓(xùn)練。

(9) LCF-ATEPC[25]:是基于MHA注意力機(jī)制，融合了預(yù)訓(xùn)練的BERT和局部上下文注意力機(jī)制。該方法提出了SRD的概念，利用情感目標(biāo)與情感詞之間的距離提取<情感目標(biāo)，情感詞>二元組。

(10) AEPSP：使用BERT轉(zhuǎn)換詞向量，使用注意力機(jī)制抽取情感目標(biāo)，利用情感詞典提取情感詞，計(jì)算二者的位置信息，生成<情感目標(biāo),情感詞>二元組，然后進(jìn)行分類。

3.5 情感分類結(jié)果分析

表3給出了AEPSP與其他模型性能的比較結(jié)果。分別從兩個(gè)方面，(1) 基于注意力機(jī)制的模型；(2) 基于BERT模型。表3中的實(shí)驗(yàn)結(jié)果顯示,BERT、BERT-SPC和AEN-BERT等模型在準(zhǔn)確度上有明顯提升，充分說明BERT預(yù)處理模型在詞嵌入處理方面確實(shí)對情感分類任務(wù)存在明顯的改善。

表3 情感分類的實(shí)驗(yàn)結(jié)果(%)

基于注意力機(jī)制的模型相較與傳統(tǒng)多分類模型FastText來說，分類結(jié)果有較高的提升。由于基于注意力機(jī)制的模型對于長文本信息挖掘不足，因此難以提取情感目標(biāo)與情感詞之間的潛在關(guān)系。BERT模型對比基于注意力機(jī)制的模型分別在Accuracy和F1值都有所提升，但是BERT并沒有針對某一個(gè)特定的領(lǐng)域進(jìn)行調(diào)整，需要將先驗(yàn)知識加入網(wǎng)絡(luò)中，對網(wǎng)絡(luò)進(jìn)行一定的微調(diào),才能夠?qū)δＰ陀姓w的提升。

通過表3中實(shí)驗(yàn)結(jié)果的比較，AEPSP模型在特征提取方面，對情感目標(biāo)和情感詞的位置信息進(jìn)行了考慮，對于情感目標(biāo)和情感詞的匹配效果更佳，分類結(jié)果也更加準(zhǔn)確。通過對實(shí)驗(yàn)結(jié)果的比較，我們發(fā)現(xiàn)AEPSP模型在Accuracy和Macro-F1的結(jié)果上都有了提升，相較于AEN-BERT模型在Accuracy和Macro-F1分別提升了0.35百分點(diǎn)和1.05百分點(diǎn)。整體來說本文的模型較其他模型對情感目標(biāo)的提取有了提升，以及集合<情感目標(biāo)，情感詞>二元組的情感分類能力也有了較大的提升。

3.6 結(jié)果分析

為了觀察位置融合對模型性能的影響，將一條中文評論的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行提取，具體示例如圖5所示。注意力編碼機(jī)制結(jié)合上下文文本和情感目標(biāo)的信息對文本中的情感目標(biāo)進(jìn)行提取，主要的權(quán)重分配如圖5(a)所示。我們可以發(fā)現(xiàn)針對“裝修環(huán)境”這個(gè)方面，在文本中提取出來的情感目標(biāo)是“環(huán)境布局”，權(quán)重分配比重合理，能夠合理地提取出情感目標(biāo)。利用情感詞典對情感詞提取的效果如圖5(b)所示。模型對情感詞的權(quán)重合理分配，能把情感詞精準(zhǔn)提取，如“不錯”“外松脆嫩”和“一般”。利用位置信息將情感目標(biāo)和對應(yīng)的情感詞進(jìn)行結(jié)合如圖5(c)所示，我們發(fā)現(xiàn)模型能夠提取出較為準(zhǔn)確的<情感目標(biāo)，情感詞>二元組，如<環(huán)境布局，不錯>。我們結(jié)合“裝修情況”“環(huán)境布局”和“不錯”，三者共同決定情感詞的極性。由此我們可以看出AEPSP模型確實(shí)能夠有效地對屬性級情感分析進(jìn)行情感分類。

(a) 情感目標(biāo)權(quán)重分配

(b) 情感詞權(quán)重分配

(c) 位置融合后權(quán)重分析圖5 實(shí)驗(yàn)示例

4 結(jié) 語

本文針對多屬性情感分類的任務(wù)提出一種將注意力編碼機(jī)制與情感詞典相結(jié)合的AEPSP網(wǎng)絡(luò)。模型中使用注意力編碼機(jī)制進(jìn)行情感目標(biāo)提取，并使用情感詞典提取情感詞，根據(jù)計(jì)算二者的位置信息提取<情感目標(biāo)，情感詞>二元組，進(jìn)而進(jìn)行情感分類。本文解決了由于多個(gè)情感目標(biāo)和多個(gè)情感詞易造成混淆的問題，使多屬性的情感分類取得了更準(zhǔn)確的效果。我們還將BERT預(yù)處理模型用于模型的詞向量轉(zhuǎn)換，并獲得了最新的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果充分證明了模型的準(zhǔn)確性和有效性。在未來的工作中，我們將對情感詞典進(jìn)行一定的擴(kuò)充，使得應(yīng)用領(lǐng)域更加廣泛。