基于深度記憶網(wǎng)絡(luò)的特定目標(biāo)情感分類(lèi)研究

張玲 劉臣

摘要：特定目標(biāo)情感分類(lèi)不僅依賴(lài)于上下文信息，還需結(jié)合特定目標(biāo)的特征信息，是一種細(xì)粒度的情感分析。針對(duì)特定目標(biāo)情感分類(lèi)提出了一種基于深度記憶網(wǎng)絡(luò)的分類(lèi)模型。該模型以雙向LSTM和注意力機(jī)制為主干框架，從雙向LSTM中抽取出目標(biāo)的特征表示，將目標(biāo)特征信息加入句子表示中，并加入多計(jì)算層（Hops）結(jié)構(gòu)，用以挖掘句子和目標(biāo)更深層次的情感特征信息，每個(gè)計(jì)算層的結(jié)構(gòu)類(lèi)似，共享參數(shù)。最后在SemEval2014和SemEval2016數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，取得了比其它基準(zhǔn)模型更好的效果。關(guān)鍵詞：特定目標(biāo)情感分類(lèi);雙向LSTM網(wǎng)絡(luò);注意力機(jī)制;多計(jì)算層結(jié)構(gòu)

DOI：10.11907/rjdk.191222

中圖分類(lèi)號(hào)：TP301 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）012-0040-04

0引言

情感分類(lèi)是情感分析技術(shù)的核心，是對(duì)具有情感色彩的主觀(guān)文本進(jìn)行分析并將文本分為積極、中立和消極3種類(lèi)型的過(guò)程。情感分析研究一般可以分為3個(gè)層次：文件、句子和目標(biāo)。特定目標(biāo)情感分類(lèi)是一種細(xì)粒度的情感分析，研究句子針對(duì)特定目標(biāo)的情感極性。

特定目標(biāo)情感分類(lèi)的一個(gè)重要特征表現(xiàn)為：同一個(gè)句子針對(duì)不同的目標(biāo)所表達(dá)的情感有可能是完全相反的。比如，句子“I came here with my friends last week，the food isgreat，but the service need to be improved?！贬槍?duì)“food”的情感是積極的，而針對(duì)“service”的情感卻是消極的。由此可見(jiàn)，句子所表達(dá)的情感極性與特征目標(biāo)的特征信息緊密相關(guān)。因此在作特定目標(biāo)情感分類(lèi)時(shí)，如果忽略句子中包含的特定目標(biāo)信息，就很可能導(dǎo)致出錯(cuò)。

許多學(xué)者都對(duì)特定目標(biāo)情感分類(lèi)進(jìn)行了研究，使用較多的方法是先利用特征提取工具，比如TF-IDF、n-gram、bag ofwords以及情感詞典等，對(duì)句子進(jìn)行特征提取，然后用分類(lèi)器（如支持向量機(jī)等）進(jìn)行分類(lèi)。盡管這些方法能夠取得不錯(cuò)的分類(lèi)效果，但所用到的特征提取工程需要耗費(fèi)大量勞動(dòng)力，而且分類(lèi)器的效果很大程度上依賴(lài)于人工提取特征的效果。深度神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域都取得了良好效果，包括特定目標(biāo)情感分類(lèi)任務(wù)。情感分類(lèi)任務(wù)中，使用較多的深度神經(jīng)網(wǎng)絡(luò)模型是長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（cNN）。LSTM非常適合用于學(xué)習(xí)時(shí)間序列的分類(lèi)、處理和預(yù)測(cè)，CNN因局部感知和參數(shù)共享而被廣泛使用。

特定目標(biāo)情感分類(lèi)效果不僅與上下文的文本信息相關(guān)，還依賴(lài)于特定目標(biāo)的特征信息，因此在作特定目標(biāo)情感分類(lèi)時(shí)有兩個(gè)需要特別注意的問(wèn)題。

（1）如何合理表示包含多個(gè)詞的目標(biāo)。為了完成特定目標(biāo)情感分類(lèi)，首先要高效地表示目標(biāo)，特別是當(dāng)目標(biāo)包含多個(gè)詞時(shí)。比較常用的方法是取這幾個(gè)詞詞向量的平均值作為目標(biāo)特征表示。但是這種表示方法會(huì)導(dǎo)致目標(biāo)的特征信息被遺漏，甚至?xí)驗(yàn)槠骄迪蛄恐赶蚱渌蛄靠臻g而導(dǎo)致分類(lèi)錯(cuò)誤。

（2）如何充分利用目標(biāo)的特征信息。特定目標(biāo)情感分類(lèi)的目的是分析出句子針對(duì)某一目標(biāo)的情感極性，而不是整個(gè)句子的情感極性。因此需要充分利用目標(biāo)特征信息挖掘出對(duì)特定目標(biāo)有情感傾向的上下文信息。

本文針對(duì)上述兩個(gè)問(wèn)題，提出一個(gè)基于深度雙向LSTM的情感分類(lèi)模型。該模型在兩個(gè)公開(kāi)的數(shù)據(jù)集上都取得了較優(yōu)效果。

1相關(guān)工作

1.1基于CNN的特定目標(biāo)情感分類(lèi)

Gu等在2017年提出了一個(gè)兩級(jí)級(jí)聯(lián)CNN（c-CNN模型共同完成目標(biāo)映射任務(wù)和情感分類(lèi)任務(wù)。在第l級(jí)，他們使用多層卷積網(wǎng)絡(luò)檢測(cè)輸入句子是否屬于預(yù)先定義的目標(biāo)類(lèi)別;在第2級(jí)，他們使用單一卷積網(wǎng)絡(luò)對(duì)屬于預(yù)先定義的目標(biāo)類(lèi)別句子的情感極性進(jìn)行分類(lèi)。這種C-CNN模型雖然取得了良好效果，但當(dāng)一個(gè)句子包含兩個(gè)目標(biāo)，并且兩個(gè)目標(biāo)的情感極性相反時(shí)，C-CNN模型就無(wú)法處理了。梁斌等于2018年提出一種基于CNN的分類(lèi)模型，用CNN提取句子特征信息，引入多種注意力機(jī)制抓取目標(biāo)特征信息。該模型效果良好，但容易出現(xiàn)過(guò)擬合現(xiàn)象。

1.2基于RNN的特定情感分類(lèi)

循環(huán)神經(jīng)網(wǎng)（RNN）非常適合從經(jīng)驗(yàn)中學(xué)習(xí)時(shí)間序列的分類(lèi)、處理和預(yù)測(cè)。但是，標(biāo)準(zhǔn)RNN在消失梯度或爆炸梯度問(wèn)題上存在不足。因此前人在作目標(biāo)情感分類(lèi)時(shí)，更多使用的是長(zhǎng)期短期記憶（LSTM）和門(mén)控循環(huán)單位（GRU）。Soufian等先將詞向量、情感向量和詞性標(biāo)簽向量的拼接向量傳人一個(gè)雙向GRU以提取、表示目標(biāo)，再使用一個(gè)類(lèi)似結(jié)構(gòu)，不同的是在連接向量上添加了一個(gè)距離嵌入向量，預(yù)測(cè)句子對(duì)目標(biāo)的情感極性。結(jié)果表明，從情感詞典（senticnet）獲得的情感相關(guān)特征有助于提升該模型的性能;陳思遠(yuǎn)等首先使用CNN提取句子完整信息，然后對(duì)句子進(jìn)行區(qū)域劃分，將CNN提取的句子特征信息和目標(biāo)特征信息傳人區(qū)域LSTM，通過(guò)注意力機(jī)制調(diào)整句子特征信息和目標(biāo)特征信息對(duì)分離的影響力;孟威等先用BiLSTM處理單詞信息，然后用CNN從BiLSTM處理結(jié)果中提取特征信息，并引入CRT機(jī)制將CNN和LSTM的優(yōu)勢(shì)加以整合。

1.3基于注意力機(jī)制的特定目標(biāo)情感分類(lèi)

注意力機(jī)制最先在圖像處理領(lǐng)域取得了卓越成效，其在序列建模中也很有效，因?yàn)樗梢阅M組件之間的依賴(lài)關(guān)系，而不管它們之間的距離如何。在情感分類(lèi)相關(guān)研究中，注意力機(jī)制大部分都是與深度神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)使用。Wang等于2016年提出了一個(gè)基于注意力機(jī)制的LSTM模型，他們將句子的詞向量傳送給LSTM，然后將LSTM的輸出與目標(biāo)詞向量結(jié)合計(jì)算出合適的注意力權(quán)重，最后得到包含目標(biāo)特征信息的句子表示進(jìn)行情感預(yù)測(cè);Tan等于2016年提出的模型中舍棄了循環(huán)神經(jīng)網(wǎng)絡(luò)，提出了一種基于注意力機(jī)制的多計(jì)算層（Hop）結(jié)構(gòu)模型。每個(gè)計(jì)算層的結(jié)構(gòu)類(lèi)似，包含一個(gè)注意力模塊和一個(gè)線(xiàn)性轉(zhuǎn)換模塊，每一層的輸出作為下一層的輸入，將最后一個(gè)計(jì)算層的輸出作為句子表示，然后作出情感預(yù)測(cè)。實(shí)驗(yàn)證明，多計(jì)算層結(jié)構(gòu)在任務(wù)中是起作用的。

1.4基于左中右結(jié)構(gòu)的特定目標(biāo)情感分類(lèi)

為了更好地模擬出目標(biāo)和上下文的依賴(lài)關(guān)系，一些學(xué)者將句子切分成3部分：目標(biāo)、目標(biāo)左邊的上下文和目標(biāo)右邊的上下文。Tang等提出了TD-LSTM模型和TC-LSTM模型，他們用一個(gè)正向傳遞的LSTM處理目標(biāo)左邊的上下文和目標(biāo)，用一個(gè)反向傳遞的LSTM處理目標(biāo)右邊的上下文和目標(biāo)，然后對(duì)兩個(gè)LSTM最后一個(gè)隱藏單元的輸出進(jìn)行拼接，從而得到句子的特征表示，作出情感分類(lèi);Liu等提出了一個(gè)BILSTM-ATT-G模型，他們將詞向量傳給一個(gè)雙向LSTM，然后分別用注意力機(jī)制處理目標(biāo)左右兩邊的上下文，最后加人門(mén)控機(jī)制控制決定使用句子的哪部分信息，該模型的創(chuàng)新點(diǎn)在于門(mén)控思想的創(chuàng)新使用;Zheng等在2018年提出，分別用3個(gè)雙向LSTM處理目標(biāo)以及左右上下文3個(gè)部分，將3個(gè)部分的最后輸出拼接起來(lái)，作為句子特征表示，從而進(jìn)行情感分類(lèi)。

這些模型雖然取得了良好效果，但仍有很大的改善空間。搭建一個(gè)能夠充分利用目標(biāo)特征信息的模型，更好地完成特定目標(biāo)情感分類(lèi)值得研究。

2模型提出

2.1模型概述

本文使用一個(gè)基于注意力機(jī)制的雙向LSTM作為模型的基本框架。雙向LSTM將正向傳遞與反向傳遞相結(jié)合，能夠?qū)W習(xí)到上下文的完整信息。注意力機(jī)制能夠幫助模型合理分配注意力，在編譯句子信息時(shí)更加高效。此外，本文還引入情感詞典（senticNet），通過(guò)Senticnet常識(shí)可以暗示目標(biāo)和情感的語(yǔ)義聯(lián)系。為了將句子的情感分類(lèi)與目標(biāo)特征信息相結(jié)合，本文將目標(biāo)從雙向LSTM中提取出來(lái)，在句子表示中重新加入目標(biāo)特征信息。

為了挖掘句子和目標(biāo)更深層次的信息，本文引人多計(jì)算層結(jié)構(gòu)（Hops）。每個(gè)計(jì)算層的結(jié)構(gòu)類(lèi)似，包含一個(gè)注意力模塊和一個(gè)線(xiàn)性轉(zhuǎn)換模塊，每一層的輸出作為下一層的輸人。最終模型如圖2所示。

3實(shí)驗(yàn)驗(yàn)證

3.1實(shí)驗(yàn)數(shù)據(jù)

將本文提出的模型在兩個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行評(píng)估。本文采用SemEval2014和SemEval2016的Restaurant評(píng)論數(shù)據(jù)集，以及SemEval2014的Laptop評(píng)論數(shù)據(jù)集。原始數(shù)據(jù)集里的情感分類(lèi)有4項(xiàng)，分別是積極、中立、消極和對(duì)立。本文剔除情感為對(duì)立的數(shù)據(jù)，因?yàn)榇祟?lèi)數(shù)據(jù)較少，會(huì)導(dǎo)致不同類(lèi)型數(shù)據(jù)分布不均勻，增加培訓(xùn)難度。分別取90%和10%的數(shù)據(jù)作為訓(xùn)練集和驗(yàn)證集，數(shù)據(jù)分布狀況如表1所示。

3.2參數(shù)與指標(biāo)

實(shí)驗(yàn)中的參數(shù)設(shè)定如表2所示。詞向量的維度為300維，隱藏層的LSTM單元為256個(gè)，句子的最大長(zhǎng)度為190，不足的在句子左邊補(bǔ)零，64個(gè)句子為一個(gè)批次。

3.3對(duì)比實(shí)驗(yàn)

將本文提出的模型與以下幾個(gè)模型在上述兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。為了方便說(shuō)明，將本文提出的模型命名為ASAM-BiLSTM模型。①BiLSTM，本文提出模型的最簡(jiǎn)化，沒(méi)有額外加入目標(biāo)特征信息和多計(jì)算層（Hops）結(jié)構(gòu);②Ba-sicmodel，本文提出模型的簡(jiǎn)化，考慮了額外的目標(biāo)特征信息，但是沒(méi)有加入多計(jì)算層（Hops）結(jié)構(gòu);③ATAE-LSTM，Wang等提出的模型;④Deep memory network，Tang等提出的模型;⑤Variants，在本文提出模型的基礎(chǔ)上，改變Hops數(shù)，從1到8。

3.4實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如表3所示。

3.5結(jié)果分析

如表3所示，本文提出的ASAM-BiLSTM模型較ATAE-LSTM模型和Deep memory network具有更好的效果。具有5個(gè)計(jì)算層的ASAM-BiLSTM模型在Restaurant數(shù)據(jù)集上的最高準(zhǔn)確率為80.8%。

3.5.1目標(biāo)特征信息的必要性

從實(shí)驗(yàn)結(jié)果可以看出，Basic Model在兩個(gè)數(shù)據(jù)集上的表現(xiàn)均優(yōu)于BiLSTM，這一結(jié)果并不意外。特定目標(biāo)情感分類(lèi)效果不僅與上下文的文本信息相關(guān)，還依賴(lài)于目標(biāo)的特征信息。BiLSTM在信情感分類(lèi)時(shí)僅僅考慮了上下文，而沒(méi)有考慮特定目標(biāo)的特征信息，因此模型的準(zhǔn)確率不高，而加入特定目標(biāo)的特征信息的Basic Model在兩個(gè)數(shù)據(jù)集上的表現(xiàn)都得到了提高。在作特定目標(biāo)情感分類(lèi)時(shí)，充分考慮到特定目標(biāo)的特征信息很有必要。

3.5.2多計(jì)算層結(jié)構(gòu)（Hops）的必要性

實(shí)驗(yàn)結(jié)果顯示，具有不同Hops數(shù)的ASAM-BiLSTM模型具有不同的分類(lèi)效果，這說(shuō)明多計(jì)算層結(jié)構(gòu)確實(shí)對(duì)模型效果有一定影響。在Restaurant數(shù)據(jù)集上，具有5個(gè)計(jì)算層的ASAM-BiLSTM模型的準(zhǔn)確率為80.8%，比沒(méi)有多計(jì)算層結(jié)構(gòu)的Basic Model高出6.6%，模型效果明顯提高。

但是該研究并不確定多計(jì)算層結(jié)構(gòu)在所有分類(lèi)任務(wù)中都有效果，因?yàn)閺膶?shí)驗(yàn)結(jié)果看，ASAM-BiLSTM在Laptop數(shù)據(jù)集上，并沒(méi)有Basic Model的效果好。原因可能在于Laptop數(shù)據(jù)集太小，多計(jì)算層結(jié)構(gòu)無(wú)法發(fā)揮作用，因?yàn)樵綇?fù)雜的模型需要的訓(xùn)練數(shù)據(jù)越多。但在本文實(shí)驗(yàn)中，多計(jì)算層結(jié)構(gòu)在Restaurant數(shù)據(jù)集上確實(shí)是有效的。

4結(jié)語(yǔ)

本文充分考慮如何合理表示包含多個(gè)詞的目標(biāo)和如何充分利用目標(biāo)的特征信息后，提出了一個(gè)基于深度雙向LSTM的情感分類(lèi)模型。實(shí)驗(yàn)中并沒(méi)有直接用雙向LSTM最后隱層單元的輸出作為句子特征表示，而是引人注意力機(jī)制，取所有單元的加權(quán)平均進(jìn)行句子表示，這樣可以盡可能地保留句子的完整信息。特定目標(biāo)特征信息的加入和多計(jì)算層（Hops）結(jié)構(gòu)都能使模型取得良好效果。實(shí)驗(yàn)結(jié)果表明，本文提出的模型在兩個(gè)數(shù)據(jù)集上效果良好。下一步將繼續(xù)改進(jìn)模型，嘗試輸出句子的情感極性和情感所指向的特定目標(biāo)。