基于內(nèi)聯(lián)關(guān)系的方面級情感分析方法

張 克,張文俊,朱蘊文,邢毅雪

(上海大學(xué)上海電影學(xué)院,上海 200072)

隨著互聯(lián)網(wǎng)媒體和社交應(yīng)用的用戶數(shù)量逐步增大,發(fā)布在購物、點評和社交網(wǎng)絡(luò)上的評論越來越細節(jié)化,更關(guān)注商品和事物各個方面的優(yōu)缺點,這推動了情感分析方法往方面級分析的發(fā)展[1].方面級情感分析(aspect-based sentiment analysis,ABSA)是在海量的商品評價中自動收集用戶對商品的各個方面的評價,如從評論中檢測用戶對商品價格、外觀等各個方面的評價.相較傳統(tǒng)方法對評論分析得到一個產(chǎn)品的整體評價[2],方面級情感分析能夠產(chǎn)生具體到特征的結(jié)果,如給定一句英文消費評價“I liked the service and the staff,but not the food.”,目標(biāo)實體“service”和“staff”是積極情感,而方面“food”則是消極情感.對于用戶而言,方面級的情感分析能夠幫助其快速地對產(chǎn)品/商家產(chǎn)生一個細節(jié)化的概念,幫助其做出選擇;而對于商家而言,具體到方面的情感分析能夠幫助其定位產(chǎn)品的改進方向.因此,方面級情感分析具有較高的研究價值.

早期的研究主要是使用機器學(xué)習(xí)算法來進行方面級情感分析[3].首先提取一組特征來描述實體上下文與實體之間的關(guān)系,然后根據(jù)手工特征從帶有極性標(biāo)簽的句子中訓(xùn)練情感分類器,如支持向量機等[4].近年來,神經(jīng)網(wǎng)絡(luò)的方法由于其能夠自動提取特征的優(yōu)勢,已成為情感分析的有效工具,包括基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[5]、基于長短時記憶網(wǎng)絡(luò)(long short-term memory network,LSTM)[6]、基于注意力機制(attention)等方法[7],這些方法的精確度都高于早期的手工特征提取方法.然而,在方面情感分析任務(wù)中一個句子中可能存在多個實體,如需判斷某實體的情感時其他實體和相關(guān)詞將成為噪聲,因此在設(shè)計神經(jīng)網(wǎng)絡(luò)時需要充分考慮目標(biāo)詞和上下文詞之間的關(guān)系.同時,利用注意機制學(xué)習(xí)與目標(biāo)實體相關(guān)的上下文特征進行情感分析也表明了神經(jīng)網(wǎng)絡(luò)方法在方面情感分析任務(wù)中的有效性.

在計算目標(biāo)與上下文之間的關(guān)系時,現(xiàn)有的大多數(shù)基于注意機制的方法都通過平均池化法獲得目標(biāo)實體的向量表示.然而,如果目標(biāo)實體包含多個詞,則使用平均函數(shù)會引入噪聲.此外,句子中存在的多個實例對分類有不平衡的影響,如果借助實體的基本信息,則上下文特征的質(zhì)量將得到提高.現(xiàn)有的模型還不能有效地解決這一問題.Luong等[8]通過使用LSTM對目標(biāo)和目標(biāo)上下文交互學(xué)習(xí)注意力權(quán)值,但該方法試圖對所有句子中的信息進行建模,不按相關(guān)性對目標(biāo)上下文進行取舍,導(dǎo)致模型過于復(fù)雜.可見,雖然目標(biāo)和目標(biāo)上下文的表征學(xué)習(xí)步驟是必要的,但并不是上下文中每一個詞都有利用價值.同時,方面級的情感分析需要通過句中的目標(biāo)對比來實現(xiàn),因此有必要將一條完整的文本序列作為模型的輸入.

針對上述問題,本工作提出了一種基于內(nèi)聯(lián)關(guān)系的方面級情感分析模型,該模型可以對目標(biāo)和上下文進行建模,將重點放在目標(biāo)的關(guān)鍵詞上,以學(xué)習(xí)更有效的上下文表示.該模型融合了方面與實體關(guān)聯(lián)知識和句法結(jié)構(gòu)依賴關(guān)系.方面與實體的關(guān)聯(lián)知識可用于幫助目標(biāo)詞與正確類型對齊,句法結(jié)構(gòu)依賴關(guān)系能夠支持本模型關(guān)注于與目標(biāo)詞相關(guān)的上下文信息,挖掘上下文信息中的情感詞來進行預(yù)測.為了分析結(jié)構(gòu)依賴關(guān)系,本工作將語篇結(jié)構(gòu)記憶融合在模型的LSTM中,以獲得子句信息,從而輔助與方面相關(guān)的局部語境識別.通過注意機制,給無關(guān)詞分配較少的加權(quán)分?jǐn)?shù),但不完全消除這些無關(guān)詞的影響,增加模型的泛化性能;對給定子句信息,注意力層可以關(guān)注特定的局部上下文,為了生成更有效的特征,本模型提取了多個上下文特征,并結(jié)合起來進行方面層次的情感預(yù)測.為了利用方面級關(guān)聯(lián)知識,本模型將語句中的單詞與方面詞融合訓(xùn)練,得到融合方面信息的分布式表達.本模型中還增加了全連接層,以提取多個方面與語句之間的關(guān)系.這些結(jié)構(gòu)和方面的知識在最終預(yù)測中都起著重要的作用.

本工作首先使用門控循環(huán)單元(gated recurrent unit,GRU)對方面信息和句中單詞進行融合分布式表達,進行全連接后將分布式表達輸入到結(jié)合注意力機制的長短時記憶網(wǎng)絡(luò)中,通過查詢機制來增加內(nèi)聯(lián)關(guān)系的權(quán)重,最終得到方面級情感分類.本工作在公開數(shù)據(jù)集SemEval-2014和SemEval-2016上進行實驗,結(jié)果表明本工作提出的方法是有效的,精確度均超過基線模型.

1 研究現(xiàn)狀

方面級情感分析的目的是推斷一個句子中特定目標(biāo)的情感極性,這個目標(biāo)是句中實體的一個方面.方面指的是一個實體的特征或性質(zhì),一句話中可能會出現(xiàn)目標(biāo)實體的多個方面.因此,方面情感分析任務(wù)的主要挑戰(zhàn)是如何有效地模擬目標(biāo)與上下文之間的關(guān)系.Jiang等[9]指出,在該任務(wù)中絕大多數(shù)分類方法精確度不高的原因是缺乏目標(biāo)上下文信息.為了解決這一問題,早期的工作主要集中于使用基于統(tǒng)計學(xué)的機器學(xué)習(xí)方法提取特征,用以描述目標(biāo)和上下文之間的關(guān)系,如對目標(biāo)和上下文進行二元分詞和路徑解析[10].然而,該方法存在有效特征(如解析特征和解析路徑)難以提取和覆蓋率低的問題,這些特征的提取在很大程度上依賴于解析工具的性能.因此,眾多學(xué)者引入了基于神經(jīng)網(wǎng)絡(luò)的方法來完成方面級情感分析任務(wù).

基于神經(jīng)網(wǎng)絡(luò)的方法(如LSTM網(wǎng)絡(luò)),可以在沒有大量特征預(yù)處理的情況下對句子進行編碼和預(yù)測[11],目前已應(yīng)用于許多自然語言處理任務(wù)中.Tang等[12]提出了文本關(guān)系網(wǎng)絡(luò)(text dependency LSTM,TD-LSTM)和文本內(nèi)容網(wǎng)絡(luò)(text content LSTM,TC-LSTM)模型,該方法使用2個依賴型LSTM分別模擬目標(biāo)詞左右子句的上下文,目標(biāo)詞信息也通過詞嵌入添加到神經(jīng)網(wǎng)絡(luò)輸入中,最后使用SoftMax函數(shù)作為最后一層的激活函數(shù)來實現(xiàn)分類,用交叉熵作為損失函數(shù)來計算損失.同樣,Zhang等[13]利用門控循環(huán)神經(jīng)網(wǎng)絡(luò)來模擬目標(biāo)詞左右子句上下文對目標(biāo)的重要性.這2種方法與直接使用LSTM的方法的區(qū)別在于,被分割的子句只能包含一個概率很高的目標(biāo).然而,由于語言表達的靈活性,目標(biāo)上下文很難被目標(biāo)合理地劃分,因此上述2種方法都不能有效地捕捉目標(biāo)和上下文之間潛在的交互作用.

自注意力機制被成功地應(yīng)用于機器翻譯以來[14],許多學(xué)者利用注意力機制來模擬目標(biāo)與上下文之間的關(guān)系.Wang等[15]提出了基于注意力的LSTM(attention-based LSTM,AELSTM)和基于注意力的方面級嵌入(attention-based LSTM with aspect embedding,AETELSTM)網(wǎng)絡(luò),將LSTM輸入直接與方面詞拼接,當(dāng)給出不同的目標(biāo)作為模型輸入時,該模型只需通過注意層重點學(xué)習(xí)目標(biāo)上下文中的相關(guān)詞的重要性,雖然該模型提升了精度,但是計算開銷較大,且容易產(chǎn)生過擬合;Tay等[16]提出了基于語境詞與目標(biāo)之間的聯(lián)想關(guān)系(associative fusion-based LSTM,AF-LSTM)模型,當(dāng)給定一個目標(biāo)時允許模型自適應(yīng)地集中對正確的上下文詞進行處理.雖然上述方法通過使用注意機制提高了方面情感分析任務(wù)的性能,但在計算上下文的注意權(quán)值時,都是使用平均池化方法來計算的.當(dāng)一個目標(biāo)包含多個單詞時,注意力的表現(xiàn)就會下降.Ma等[17]提出了多力度關(guān)注網(wǎng)絡(luò)(interactive attention network,IAN)模型,該模型設(shè)計了2個基于注意的并行網(wǎng)絡(luò)來學(xué)習(xí)語句的上下文和目標(biāo)的分布式表達,然后將這2個網(wǎng)絡(luò)連接起來進行最終情感分類.雖然IAN模型考慮了語境和目標(biāo)的關(guān)聯(lián)學(xué)習(xí),但仍然是使用平均向量來計算目標(biāo)和語境的注意力權(quán)值.此外,結(jié)合注意力權(quán)值的上下文和目標(biāo)的分布式表達被直接連接作為最終分類器的輸入,導(dǎo)致上下文與目標(biāo)之間的交互學(xué)習(xí)過于簡單,目標(biāo)注意表示沒有得到有效的利用.FAN等[31]提出了一種名為多粒度注意力網(wǎng)絡(luò)(multi-grained attention network,MGAN)的雙注意力層分類模型,該模型使用粗粒度注意力來增強上下文相同而情感極性不同的方面對上下文權(quán)重學(xué)習(xí)的差異性,細粒度的注意機制對目標(biāo)詞及其上下文進行交互學(xué)習(xí),以減少粗粒度注意力損失.因此,Peng等[18]提出了一種面向方面情感分析任務(wù)的分層注意模型,層次包括目標(biāo)層次的注意力和句子層次的注意力.然而,目標(biāo)級的注意力網(wǎng)絡(luò)是一個自我注意網(wǎng)絡(luò),只把隱藏的輸出本身作為輸入,當(dāng)缺乏上下文的啟發(fā)時目標(biāo)層次的注意力權(quán)值很難學(xué)習(xí)到.可見,受到IAN模型的啟發(fā),目標(biāo)上下文信息可以凸顯目標(biāo)的重要性.因此,本工作提出了基于內(nèi)聯(lián)關(guān)系的方面級情感分析模型,該模型通過注意力機制的權(quán)值反映目標(biāo)與上下文關(guān)聯(lián)強度,從而改善IAN模型中權(quán)值平均化問題.

此外,還存在一些使用基于知識的方法來處理方面情感分類任務(wù)的工作.Schouten等[19]和Baas等[20]提出了基于規(guī)則的本體論方法,利用公共領(lǐng)域知識設(shè)計本體,以幫助提高方面情感分類的結(jié)果.這種基于本體增強的方面情感分析方法可以明確解決方面詞多義的問題,如“物廉價美”被預(yù)測為正,“便宜沒好貨”被預(yù)測為負.Khine等[21]將情感常識領(lǐng)域知識嵌入到分層的LSTM注意力模型中,以幫助LSTM過濾掉不相關(guān)的信息.引入外部知識來指導(dǎo)模型學(xué)習(xí)相關(guān)規(guī)則,使模型能夠?qū)W習(xí)更有效的特征.然而,基于知識的方法非常依賴知識庫,不同的知識庫對精確度有不同程度的影響,而且本體規(guī)則也很難有效地設(shè)計為神經(jīng)網(wǎng)絡(luò)的輸入.

Weston等[22]提出了一種基于記憶網(wǎng)絡(luò)的通用機器學(xué)習(xí)框架;Sukhbaatar等[23]對其進行了改進,并提出了一種端到端的模型;受這些工作的啟發(fā),Tang等[24]采用預(yù)先訓(xùn)練的上下文詞的嵌入作為內(nèi)存,并將目標(biāo)的平均注意力作為計算單元,利用記憶網(wǎng)絡(luò)從上下文中尋找與目標(biāo)相關(guān)的詞;Chen等[25]使用2層雙LSTM網(wǎng)絡(luò)構(gòu)建記憶,并在每2層之間的連接中使用GRU來控制記憶.然而,這些工作使用注意力作為計算單元,忽略了目標(biāo)建模的重要性,表明現(xiàn)有的記憶只能從上下文記憶中尋找與目標(biāo)情感極性相關(guān)的證據(jù).Ma等[30]同樣使用雙LSTM網(wǎng)絡(luò)構(gòu)建記憶,但是他們使用了CNN來替代基于注意機制的循環(huán)神經(jīng)網(wǎng)絡(luò)來提取最重要的分類特征.由于CNN很難捕捉目標(biāo)實體信息,故Ma課題值提出了上下文保持轉(zhuǎn)換(context-preserving transformation,CPT)結(jié)構(gòu)和一種上下文保留機制,將帶有上下文信息的特征和變換之后的特征結(jié)合起來.由此啟發(fā),本工作設(shè)計了一個記憶模塊,根據(jù)方面記憶向量和歷史上下文內(nèi)存向量疊加更新,從而學(xué)習(xí)得到目標(biāo)及其上下文之間的關(guān)系,最終得到方面級情感極性.

2 方法描述

假設(shè)已給出文本語料庫D,每個評論語句表示為S=[w1,w2,···,wL],其中wi為描述中的詞,L為描述中詞的最大個數(shù).文本S中的每個詞都有一個所屬的方面,設(shè)方面集合A=[A1,A2,···,AM],其中M為方面的個數(shù).

本模型分為2個部分:①基于方面的語句特征表達(aspect aware sentence representation,ADSR);②結(jié)合注意力機制的情感極性分類(見圖1).基于方面的語句特征分布式表達用于將描述文本融合方面信息后以向量的形式輸出.結(jié)合注意力機制的情感極性分類則通過注意力權(quán)重值得到語句表達的情感傾向.

圖1 本工作提出的方面情感分析模型Fig.1 Architecture of proposed ABSA method

2.1 融合方面信息的語句特征表達

當(dāng)使用GRU對一條輸入語句進行編碼時,可能會對具有方面情感信息的個別詞造成丟失.為了避免這類信息的丟失,本工作通過融合方面詞與語句中每個詞,并平均匯集成一個分布式表達來對語句編碼,編碼器為ADSR.使用GloVe[26]將評論文本與方面詞進行嵌入表達.評論文本的每個描述詞為wi,每個方面詞為ai,將其通過GloVe詞嵌入表達為300維(D)的詞向量,因此評論文本語句表示為S∈RL×D,方面詞向量表示為ai∈RD.根據(jù)Wang等[27]提出的方法,將評論文本描述中的詞和給定的方面詞進行關(guān)聯(lián),形成一個序列.方面詞ai和評論

語句S中的詞wi的關(guān)聯(lián)公式為

為了使句子中的上下文信息在循環(huán)中保留,且考慮到語句本身具備一定的噪聲,故本工作使用GRU進行序列上下文信息的表達.將上一步得到的Sai輸入到GRU中,假設(shè)經(jīng)過GRU傳播后輸出大小為DS(300維).設(shè)GRU表達為GRUS,則GRU操作為

式中:ht為t時刻隱層的輸出;st為t時刻細胞的狀態(tài).該步驟表示如下:Rai=GRUS(Sai),其中Rai∈RL×DS.GRU的參數(shù)為

由于語句每個詞的情感極性不同,故需要突出每個詞與其所屬方面關(guān)聯(lián)后的情感強度.因此,加入一個注意層來捕獲每個詞的注意力權(quán)值:

2.2 結(jié)合注意力機制的情感極性分類

為了獲得句子中隱式的依賴關(guān)系,將上一步所得的每個文本語句與方面關(guān)聯(lián)后的分布式表達rai用集合R進行表達,即R∈[ra1,ra2,···,raM]∈RM×DS.然后將集合R融合后得到Q,并輸入結(jié)合注意力機制的LSTM中進行傳遞訓(xùn)練.注意力公式為

式中:β=[β1,β2,···,βM]∈RM×1;βi為衡量方面信息和每一個詞之間的關(guān)聯(lián)強度,即注意力權(quán)重.

語句中每個單詞都存在與之對應(yīng)的融合方面信息的分布式表達.考慮到這些語句的記憶值通常太小易遺忘,本工作使用結(jié)合注意力機制的LSTM,讀取每一步訓(xùn)練中所保留的記憶信息.向量Q作為輸入,經(jīng)過結(jié)合注意力的LSTM訓(xùn)練后輸出細粒度向量Q′.設(shè)定目標(biāo)向量為

在Q進入LSTM中訓(xùn)練后,通過查詢機制增強注意力權(quán)值.設(shè)LSTM模塊為LSTMatt,規(guī)模為Do,則

式中:o∈RDo.

在情感極性分類階段,為了讓目標(biāo)特征參與分類,融合方面信息的目標(biāo)文本特征Q′將遷移到LSTM全連接層中進行加權(quán),根據(jù)注意力值的分布得到目標(biāo)的情感極性.情感分類公式為

式中:Wsmax∈RDo×A;bsmax∈RA;取值中最大值即為情感極性.整個算法如表1所示.

表1 本工作提出的基于方面的情感分類算法Table 1 ABSA algorithm proposed by this work

2.3 損失函數(shù)

本工作使用神經(jīng)網(wǎng)絡(luò)進行迭代次數(shù)H為30次的訓(xùn)練,使用分類交叉熵結(jié)合L2規(guī)則化作為損失函數(shù):

式中:n為樣本數(shù);i為樣本指數(shù);k為方面數(shù)量;λ為正則化權(quán)重(設(shè)為10-4).優(yōu)化算法使用基于隨機梯度下降的ADAM算法[28],其參數(shù)由自適應(yīng)學(xué)習(xí)獲得,學(xué)習(xí)速率為0.001.這里使用的跳數(shù)H為10[29].

3 實驗

通過幾個實驗來驗證本方法的有效性.首先,為了證明本模型的性能,本工作提出的方法將與標(biāo)準(zhǔn)基線方法進行精確度比較;然后,將模型拆分實驗,驗證模型中各個組件的有效性;最后,通過案例研究驗證本模型的有效性.

3.1 數(shù)據(jù)集

本工作抽取了SemEval-2014(task4)和SemEval-2016(task5)中的部分英文數(shù)據(jù)集進行實驗.SemEval-2014數(shù)據(jù)集包含4類數(shù)據(jù),分別是關(guān)于餐廳(Restaurant2014)的評論、筆記本電腦(Laptop2014)的評論、每個評論語句中的方面詞和數(shù)量以及方面極性.SemEval-2016數(shù)據(jù)集由關(guān)于餐廳(Restaurant2016)和Twitter的評論集構(gòu)成.每一個評論中包含2個部分:評論文本及其情感標(biāo)注.情感標(biāo)注又由2個部分組成:情感極性和實體方面組.其中,實體方面組形式為“實體#方面”(Entity#Aspect).這些評論均已被標(biāo)記為3種情緒極性:積極(positive,1)、中性(neutral,0)和消極(negative,-1).表2根據(jù)標(biāo)簽統(tǒng)計了該數(shù)據(jù)集的樣本分布.

表2 SemEval-2014和SemEval-2016數(shù)據(jù)集中已標(biāo)注樣本的分布數(shù)量Table 2 Distribution of tagged samples in Semeval-2014 and Semeval-2016 data sets

3.2 任務(wù)定義與評價指標(biāo)

在實驗階段,給出一個評論句和一組方面,本模型首先應(yīng)識別評論中的目標(biāo)實體及其相應(yīng)的方面,然后應(yīng)預(yù)測所有“實體#方面組”的情感極性.以餐館數(shù)據(jù)集中的一個樣本數(shù)據(jù)為例;對于輸入句“For the price,you cannot eat this well in Manhattan”,模型應(yīng)該輸出“Restaurant#Prices”為積極,輸出“Food#Quality”為積極.由于SemEval數(shù)據(jù)集是不平衡數(shù)據(jù)集,樣本語句中存在的多個方面會對整個數(shù)據(jù)集的精確度和召回率產(chǎn)生較大的偏差,因此本工作使用精確度(accuracy)作為評估模型性能的綜合指標(biāo),準(zhǔn)確度定義為

式中:T為正確預(yù)測的樣本數(shù);F為錯誤預(yù)測的樣本數(shù).精確度是正確分類的樣本在所有樣本上的比例,通常精確度越高性能越好.

3.3 基線模型

本模型將與如下基線模型進行比較.

(1)LSTM[15].該方法使用一個標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)對上下文進行建模,并使用所有隱藏狀態(tài)的平均值作為最終表示來預(yù)測情感極性.

(2)Bi-LSTM[33].Bi-LSTM包含2個標(biāo)準(zhǔn)的LSTM.其中一個LSTM通過正向掃描得到輸出結(jié)果,與此同時另一個LSTM通過對文本的反向掃描得到輸出結(jié)果.

(3)TD-LSTM[12].該方法采用2個LSTM網(wǎng)絡(luò)分別用預(yù)測目標(biāo)和目標(biāo)左右兩邊的上下文進行建模.將左右與目標(biāo)相關(guān)上下文連接起來,以預(yù)測目標(biāo)的情感極性.

(4)MenNet[24].MenNet是一個用于方面級情感分類的深度記憶網(wǎng)絡(luò).本工作使用包含了9個計算層的MenNet(9)進行試驗.

(5)ATAE-LSTM[15].該方法為AE-LSTM[15]的改進版,首先通過LSTM網(wǎng)絡(luò)對上下文詞進行建模,然后將單詞隱藏狀態(tài)與方面嵌入相結(jié)合,生成注意力向量來表達上下文.

(6)IAN[17].IAN模型交互地對上下文和目標(biāo)中的注意力權(quán)值學(xué)習(xí),并分別生成目標(biāo)和上下文的表示后再進行情感極性分類.

(7)TNet-LF[32].該模型由LSTM、CNN和一個稱為CPT層的特殊組件組成,其中CPT包含特定目標(biāo)的表示和上下文保存機制.

(8)MGAN[31].該模型使用LSTM學(xué)習(xí)潛在分布式表達,以及同時包含粗細粒度注意機制來獲取LSTM的輸出,以捕獲方面和上下文之間的交互信息.

3.4 整體效果比較

表3顯示了本模型與基線模型的性能比較結(jié)果.從表中可以看出,使用平均池化的LSTM方法在所有神經(jīng)網(wǎng)絡(luò)方法中性能最差,這是因為該模型過于注重關(guān)系導(dǎo)致目標(biāo)信息被忽略.相較LSTM,Bi-LSTM比LSTM多了一個后向掃描,故Bi-LSTM性能得到提升.在Restaurant2014、Laptop2014和Twitter數(shù)據(jù)集上,TD-LSTM的性能分別優(yōu)于LSTM約2.1%、2.2%和3.4%,這是因為該模型是在LSTM模型基礎(chǔ)上擴展,并分別對目標(biāo)的左右上下文分別進行建模.但是由于Laptop2014和Restaurant2016數(shù)據(jù)集大多采用單方面評論語句,故在這2個數(shù)據(jù)集上,TD-LSTM的性能比Bi-LSTM分別下降約1.1%和1.4%.由于MenNet模型的精確度與層數(shù)相關(guān)性較強,故9層模型表現(xiàn)較差.ATAE-LSTM使用注意力機制來模擬目標(biāo)和上下文之間的關(guān)系,該模型的性能分別優(yōu)于TD-LSTM約0.8%和1.5%,但在餐廳評論數(shù)據(jù)集中未能凸顯其優(yōu)勢.IAN模型的表現(xiàn)優(yōu)于ATAE-LSTM約1.4%和3.4%,因為IAN模型首先考慮對目標(biāo)進行關(guān)注建模,所以這確實有助于提高分類精確度.TNet-LF和MGAN在Restaurant2014和Laptop2014數(shù)據(jù)集中表現(xiàn)并不突出,這是因為這2個模型側(cè)重于語句內(nèi)部關(guān)系,而不是目標(biāo)與方面詞關(guān)系.

表3 模型性能評價Table 3 Performance of our model proposed

本工作預(yù)先將方面信息引入文本分布式表達中,增加了模型的適應(yīng)性.在結(jié)合注意力機制,并在LSTM中疊加多個計算單元后,精確率在Restaurant2014、Laptop2014數(shù)據(jù)集中相較最好的IAN模型分別提高了2.7%、2.6%,精確率在Restaurant2016和Twitter數(shù)據(jù)集中比最好的TNet-LF模型分別高出0.7%和0.19%.表3結(jié)果表明,本模型獲得了最好的效果,較之TC-LSTM、TD-LSTM、MemNet(9)和ATAE-LSTM,本模型的精確度超過其他基線模型.結(jié)果還表明:①ATAE-LSTM模型使用了SLSTMs結(jié)構(gòu),能夠把一句話從2個角度去處理,從而能更好地利用目標(biāo)上文和下文的內(nèi)容語義信息來完成目標(biāo)方面詞求解;②利用注意力機制是有效的,本模型使用的注意力生成方法確實可以增強方面信息,并能夠充分利用方面詞與其上下文詞之間的相關(guān)性.

3.5 模型在單方面和多方面語料性能比較

單方面語料指的是每個樣本語句中只存在一個方面的情況.多方面語料指的是每個樣本語句中存在不止一個方面的情況.

表4為不同語料下模型性能比較.從表中可以明顯看出,AE-LSTM和ATAE-LSTM的性能相近.針對單方面語料分析,ATAE-LSTM的性能優(yōu)于AE-LSTM,而對于多方面語料的性能AE-LSTM優(yōu)于ATAE-LSTM.本模型在單方面語料分類任務(wù)的表現(xiàn)優(yōu)于基線模型中最好的IAN模型,分別高出約0.7%和1.1%.在多方面語料的餐廳數(shù)據(jù)集下,本模型性能依然優(yōu)于IAN模型0.8%和0.8%,這是由于在多方面語料的樣本中,多個目標(biāo)的上下文處于共享狀態(tài),導(dǎo)致多個目標(biāo)得到了相同的加權(quán).因此,本工作使用查詢機制在LSTM的循環(huán)結(jié)果中加權(quán)[22]來解決這個問題,使得單詞級注意力權(quán)值集中在特定的目標(biāo)對象上,產(chǎn)生了正確的方面權(quán)重感知,得到了正確的分類.

表4 不同語料下模型性能比較Table 4 Performance of models on different corpus acc%

3.6 案例分析

本案例中,使用評論“The food was well prepared and the service impeccable.”作為案例研究.在本案例中,標(biāo)注“Food#Taste”的情感為積極,“Service#General”的情感為積極.本工作在測試中還選擇了2個錯誤的方面:“Restaurant#General”和“Food#Price”,其中“Restaurant#General”在本案例中是弱相關(guān)的,而“Food#Price”是不相關(guān)的.圖4顯示了在這4種情況下句子的最后的表達熱力(hotmap)分布.圖中,每一行表示的是句中每個單詞與方面的關(guān)聯(lián)強度,顏色越深表示關(guān)聯(lián)強度越大,圖中的紅色表示為積極情緒的信號(0.0～1.0).

從圖2中可以發(fā)現(xiàn),在案例文字的前半部分,模型對“Food#Taste”部分給出了積極結(jié)果.盡管案例文字與“Food#Prices”相關(guān),但是相關(guān)性并不是很強.模型對文字后半部分是“Service#General”也給出了積極結(jié)果;并同樣因為相關(guān)性,對“Restaurant#General”給了較低的分值.不相關(guān)的方面組“Food#Prices”在文字的每一部分中都得到了最低分值,這是因為模型使用最大池化作為方面類別選擇器,最終模型認定這組為不合法.最后,第一組和第三組被輸入到模型中,經(jīng)過分類得到“Food#Taste”和“Service#General”為積極情感.

圖2 模型為語句表達構(gòu)建的熱力圖Fig.2 A hotmap for the visualization of proposed model

4 結(jié)束語

針對現(xiàn)有方面級情感分析方法使用平均向量計算目標(biāo)上下文注意力權(quán)值的問題,本工作提出了一個新的方面級情感分析方法.首先,本工作提出了一種基于方面的分布式表達方法,并為文本中目標(biāo)對象及其上下文特征設(shè)計了一個LSTM網(wǎng)絡(luò),該方法以一種更直觀、更有效的方式進行基于方面的情感分析任務(wù).同時,本工作將注意力權(quán)值融合入該LSTM中,使其可以交替地學(xué)習(xí)目標(biāo)和上下文關(guān)聯(lián)強度.最后,本工作在SemEval-2014與SemEval-2016數(shù)據(jù)集上進行實驗,實驗結(jié)果表明本工作提出的模型可以降低目標(biāo)噪聲詞的影響,充分利用目標(biāo)的關(guān)鍵詞來學(xué)習(xí)更有效的上下文表示,從而進行情感分析,本模型的性能優(yōu)于大多數(shù)LSTM方法.在今后的工作中,本工作將設(shè)計一個更高效的上下文表示方法,解決多個目標(biāo)對象與同一個上下文之間存在關(guān)聯(lián)關(guān)系的問題.同時,本工作還將考慮在網(wǎng)絡(luò)中如何添加外部知識,以解決否定詞識別的問題.