ON-LSTM和自注意力機(jī)制的方面情感分析

張忠林，李林川，朱向其，馬海云

1(蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州730070)2(天水師范學(xué)院 電子信息與電氣工程學(xué)院，甘肅 天水 741001)

E-mail：llc_1995@163.com

1 引 言

文本情感分析，又稱意見挖掘(Opinion Mining)、傾向性分析，是對(duì)具有主觀情緒色彩的文本信息進(jìn)行分析、處理、歸納和研究的過程[1].隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，利用計(jì)算機(jī)技術(shù)對(duì)各大社交媒體或網(wǎng)絡(luò)平臺(tái)上的評(píng)論、留言等文本信息中蘊(yùn)含的觀點(diǎn)和輿論進(jìn)行情感分析，越來越受到各大企業(yè)和研究人員的重視和關(guān)注.

文本情感分析最早是由Nasukawa[2]提出，用于判斷句子所表達(dá)的情感極性.早期的文本情感分析更多的是關(guān)注句子整體的情感傾向，而隨著研究的深入，研究者們將文本情感分析細(xì)分為文檔粒度(document level)、句子粒度(sentence level)、方面粒度(aspect level)三種粒度.其中，與文檔級(jí)和句子級(jí)的情感分析不同，方面情感分析(Aspect Based Sentiment Analysis，ABSA)同時(shí)考慮了目標(biāo)詞與情感信息的關(guān)系，通過給定句子和主題詞，方面情感分析可以判斷出主題詞在句子中的情感傾向.同一個(gè)句子中針對(duì)不同的方面可能會(huì)有不同的情感傾向，例如，在句子“食物很好，但服務(wù)很差”中，“食物”方面的情感極性是積極的，而“服務(wù)”方面的情感極性則是消極的.因此，基于方面的情感分析能提供比一般情感分析更細(xì)粒度的信息，更具有研究價(jià)值和商業(yè)價(jià)值，是目前自然語言處理(Natural Language Processing，NLP)領(lǐng)域里最熱門的研究方向之一.

Hochreiter和Schmidhuber[3]在1997年提出了長短時(shí)記憶(Long Short Term Memory，LSTM)神經(jīng)網(wǎng)絡(luò)模型，有效解決了循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)在處理文本中上下文由于情感詞的長期依賴而導(dǎo)致的梯度爆炸和梯度消失問題.隨著神經(jīng)網(wǎng)絡(luò)在NLP領(lǐng)域的廣泛應(yīng)用，許多學(xué)者開始使用LSTM進(jìn)行情感傾向分析.吳鵬等人[4]使用雙向LSTM(Bidirectional Long Short Term Memory，Bi-LSTM)與CRF結(jié)合提出了一種網(wǎng)民負(fù)面情感識(shí)別模型EBiLSTM，用來判斷網(wǎng)民負(fù)面情感和非負(fù)面情感的類別.孟仕林等人[5]詞嵌入基礎(chǔ)上增加情感向量，并采用BiLSTM獲取文本的特征信息進(jìn)行情感分類.Al-Smadi等人[6]使用兩種LSTM神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)阿拉伯酒店評(píng)論的方面情感分析.王文凱等人[7]通過在輸出端融入Tree-LSTM提高了非連續(xù)詞之間的關(guān)聯(lián)性，在微博情感分析上表現(xiàn)良好.同時(shí)，也有許多學(xué)者通過改變LSTM內(nèi)部門結(jié)構(gòu)提高情感分類的準(zhǔn)確率.Greff[8]在論文中探討了基于Vanila LSTM[9]的8個(gè)變體，并比較了他們之間的性能差異.Cho等人[10]在2014年提出門循環(huán)單元(Gated Recurrent Unit，GRU)，通過將LSTM中的遺忘門和輸入門合成單一的更新門(update gate)，并混合了細(xì)胞狀態(tài)和隱藏狀態(tài)，旨在解決LSTM計(jì)算開銷較大的缺點(diǎn)，在小樣本數(shù)據(jù)集中表現(xiàn)優(yōu)異.

隨后，Bahdanau等人[11]首次將Attention機(jī)制由計(jì)算視覺領(lǐng)域引入到NLP領(lǐng)域中，利用Attention機(jī)制在輸入的文本信息中有選擇性地學(xué)習(xí)重要信息并在模型輸出時(shí)將其與輸出序列相關(guān)聯(lián).Zhou等人[12]基于Attention機(jī)制和Bi-LSTM提出了基于特征方面的關(guān)系分類模型.Tang等人[13]針對(duì)目標(biāo)依賴的細(xì)粒度文本情感分析任務(wù)提出了TC-LSTM、TD-LSTM兩個(gè)模型，通過兩個(gè)LSTM從左右兩個(gè)方向獲取情感詞與上下文的關(guān)聯(lián)，從而提升方面情感分析效果.Wang等人[14]提出了一種結(jié)合注意力機(jī)制的ATAE-LSTM模型，通過attention機(jī)制給予方面情感項(xiàng)不同的權(quán)重，使得模型能更好地分析情感極性.曾鋒等人[15]提出一種基于雙層注意力循環(huán)神經(jīng)網(wǎng)絡(luò)模型，通過雙層注意力分別捕獲不同單詞的重要性.彭祝亮等人[16]提出一種結(jié)合雙向長短記憶網(wǎng)絡(luò)和方面注意力模塊(BLSTM-AAM)的網(wǎng)絡(luò)模型，利用方面注意力對(duì)不同的方面同時(shí)獨(dú)立訓(xùn)練，充分提取特定方面的隱藏信息.

以上的模型都只考慮了方面情感項(xiàng)在模型輸入層或隱藏層處理過程中的結(jié)合，并沒有體現(xiàn)出文本的層級(jí)結(jié)構(gòu)信息.為解決以上問題，本文提出了一種方面情感分析模型，在隱藏層加入了有序神經(jīng)元(Ordered Neurons)，使得模型能無監(jiān)督地學(xué)習(xí)句子的句法結(jié)構(gòu)，并在連接層采用自注意力(Self-Attention)機(jī)制，讓模型更容易獲取到方面情感詞在句子中的情感極性.本文提出的模型不僅提高了方面情感分析的準(zhǔn)確率，而且在神經(jīng)網(wǎng)絡(luò)中融合了層級(jí)結(jié)構(gòu)，使得模型更容易判斷句子中的方面情感傾向.

2 相關(guān)工作

2.1 ELMo預(yù)訓(xùn)練模型

ELMo(Embeddings from Language Models)是由Peters等人[17]提出的一種動(dòng)態(tài)預(yù)訓(xùn)練模型.常用的Word2Vec方法[18]本質(zhì)上是一種靜態(tài)模型，使用Word2Vec訓(xùn)練完的詞匯不會(huì)跟隨上下文的場景變化而發(fā)生變化.例如，針對(duì)“蘋果”這一詞匯，文本序列“我買了三斤蘋果”中的“蘋果”表示一種水果；“我買了一個(gè)蘋果8”中的“蘋果”表示一種手機(jī)品牌，但在Word2Vec中使用的是同一個(gè)詞向量進(jìn)行表示.這導(dǎo)致在多義詞情況下使用Word2Vec預(yù)訓(xùn)練時(shí)會(huì)得到一個(gè)混合多語義的固定向量表示，降低了預(yù)訓(xùn)練效果.相比較Word2Vec，ELMo模型很好地解決了這一問題.

ELMo基于雙層LSTM(Bidirectional Long Short Term Me-mory，Bi-LSTM)，主要做法是經(jīng)過先訓(xùn)練一個(gè)完整的語言模型(Language Model，LM)，再利用語言模型處理需要訓(xùn)練的文本，依據(jù)上下文生成能改變語義的詞嵌入向量.它是由前向語言模型和后向語言模型兩部分組成，其計(jì)算過程如式(1)、式(2)所示：

(1)

(2)

其中，(t1，t2，…，tN)表示N個(gè)單詞的序列.

雙層語言模型(Bidirectional Language Models，BiLM)整合了上面的兩種語言模型，目標(biāo)函數(shù)為前后向語言模型的聯(lián)合對(duì)數(shù)似然函數(shù)，如式(3)所示：

(3)

其中，Θx表示輸入的標(biāo)記嵌入(token embedding)，Θs表示輸出的softmax層參數(shù).

ELMo的模型結(jié)構(gòu)如圖1所示.

圖1 ELMo模型結(jié)構(gòu)圖Fig.1 Model structure of ELMo

ELMo模型在解決很多NLP下游任務(wù)中表現(xiàn)得十分優(yōu)秀，通常采用與初始詞向量或隱藏層輸出向量拼接，在SNLI、SQuAD等多個(gè)數(shù)據(jù)集上的性能都有所提升.

2.2 ON-LSTM模型

有序神經(jīng)元長短時(shí)記憶網(wǎng)絡(luò)(Ordered Neurons Long Short-Term Memory，ON-LSTM)通過對(duì)神經(jīng)元進(jìn)行特定排序?qū)蛹?jí)結(jié)構(gòu)(樹結(jié)構(gòu))整合到傳統(tǒng)的LSTM中，使得LSTM神經(jīng)元自動(dòng)學(xué)習(xí)到層級(jí)結(jié)構(gòu)信息[19].

傳統(tǒng)的LSTM模型主要解決長距離依賴所產(chǎn)生的梯度消失和梯度爆炸問題，其更新過程如式(4)-式(9)：

ft=σ(Wfxt+Ufht-1+bf)

(4)

it=σ(Wixt+Uiht-1+bi)

(5)

ot=σ(Woxt+Uoht-1+bo)

(6)

(7)

(8)

ht=ot°tanh(ct)

(9)

其中，ft，it，ot分別代表LSTM模型中的遺忘門、輸入門和輸出門，xt和ht-1表示當(dāng)前信息和歷史信息，σ表示sigmoid函數(shù)，tanh是雙曲正切函數(shù).

ft=σ(Wfxt+Ufht-1+bf)

(10)

it=σ(Wixt+Uiht-1+bi)

(11)

ot=σ(Woxt+Uoht-1+bo)

(12)

(13)

(14)

(15)

(16)

(17)

ht=ot°tanh(ct)

(18)

ON-LSTM的模型結(jié)構(gòu)如圖2所示.

圖2 ON-LSTM模型結(jié)構(gòu)圖Fig.2 Model structure of ON-LSTM

(19)

(20)

2.3 自注意力機(jī)制

自注意力機(jī)制在文獻(xiàn)[20]中首次提出，是一種注意力機(jī)制的特殊情況，主要用于關(guān)注句子本身從而抽取出相關(guān)信息.

注意力機(jī)制最早在計(jì)算機(jī)視覺圖像領(lǐng)域被提出，通過模仿人眼快速掃描事物，并將聚焦點(diǎn)設(shè)置到關(guān)注的目標(biāo)區(qū)域.隨后Bahdanau等人[11]將其應(yīng)用到NLP領(lǐng)域并取得不錯(cuò)的效果.其本質(zhì)為一個(gè)查詢(Query)到一系列鍵值對(duì)(Key-Value)的映射，具體做法為采用Encoder-Decoder框架，將Query和每個(gè)Key進(jìn)行相似度計(jì)算得到權(quán)重，然后使用softmax函數(shù)進(jìn)行歸一化，最后將權(quán)重和相應(yīng)的鍵值Value進(jìn)行加權(quán)求和得到最終的Attention.其基本模型如圖3所示.

圖3 注意力基本模型Fig.3 Attention model

其公式如式(21)所示：

(21)

其中，Q∈n×dk，K∈m×dk，V∈m×dv，當(dāng)Q(Query)、K(Key)、V(Value)三個(gè)矩陣均來自于同一輸入，即Q=K=V時(shí)，則模型變?yōu)樽宰⒁饬C(jī)制.

3 ON-LSTM-SA模型

本文在以上理論基礎(chǔ)上提出了基于ON-LSTM和自注意力模型的方面情感分析模型(Ordered Neurons Long Short-Term Memory-based and Self-Attention Mechanism-based Aspect Sentiment Analysis Model，ON-LSTM-SA)，模型主要按照以下三個(gè)方面進(jìn)行構(gòu)建：

1)對(duì)于預(yù)訓(xùn)練的詞向量部分，通過引入ELMo模型獲得語義信息，提高訓(xùn)練效果；

2)針對(duì)target-dependent情感任務(wù)，模型加入target vector與context vector進(jìn)行拼接，并作為輸入端信息；

3)將數(shù)據(jù)集送入ON-LSTM-SA模型中，通過分層結(jié)構(gòu)獲取神經(jīng)元的有序信息，獲得方面情感.

4)在輸出端通過Self-Attention機(jī)制學(xué)習(xí)句子內(nèi)部的詞依賴關(guān)系，捕獲句子的內(nèi)部結(jié)構(gòu).

ON-LSTM-SA模型結(jié)構(gòu)如圖4所示.

圖4 ON-LSTM-SA模型結(jié)構(gòu)圖Fig.4 Model structure of ON-LSTM-SA

3.1 預(yù)訓(xùn)練

本文在原始語料庫上通過GloVe分詞得到初始詞向量，然后將詞向量送入ELMo模型中進(jìn)行預(yù)訓(xùn)練.與其他預(yù)訓(xùn)練模型不同，ELMo模型使用所有層輸出值的線性組合作為word embedding值.對(duì)于某一個(gè)單詞序列，一個(gè)L層的BiLM需要由2L+1個(gè)向量表示，其計(jì)算公式如式(22)：

(22)

ELMo模型將多層LSTM的輸出Rk整合為一個(gè)向量，低層的Bi-LSTM負(fù)責(zé)捕捉語料中的句法信息，高層Bi-LSTM負(fù)責(zé)捕捉語料中的語義信息，并將向量正則化后輸入到softmax層，作為學(xué)到的一組權(quán)重.其計(jì)算過程如式(23)所示：

(23)

在此基礎(chǔ)上，將ELMo詞向量與初始詞向量通過殘差連接(residual connection)架構(gòu)銜接起來，形成具有上下文語義的詞向量，其計(jì)算過程如式(24)所示：

(24)

3.2 輸入層

針對(duì)方面情感分析任務(wù)，模型在輸入層的預(yù)訓(xùn)練詞向量基礎(chǔ)上添加了target vector，具體做法是將預(yù)訓(xùn)練好的詞向量wk和target words拼接起來做word embedding，然后將向量求平均值，得到vtarget，最后將vtarget和vcontext拼接起來作為輸入層.其計(jì)算過程如式(25)-式(26)所示：

vtarget=avg(embedding([wk，wtarget]))

(25)

input=[vtarget，vcontext]

(26)

3.3 隱藏層

一個(gè)自然句子通?？梢酝ㄟ^樹狀結(jié)構(gòu)表示成一些層級(jí)結(jié)構(gòu)，這些抽象出來的結(jié)構(gòu)就是語法信息，而LSTM以及普通的神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元通常是無序的，無法獲取有序信息.ON-LSTM則試圖通過建立層級(jí)關(guān)系來獲取這種信息，層級(jí)越低代表語言中顆粒度較小的結(jié)構(gòu)，對(duì)應(yīng)的編碼區(qū)間則越小，傳輸距離也越短，更容易被遺忘門過濾掉；層級(jí)越高代表語言中顆粒度較大的結(jié)構(gòu)，對(duì)應(yīng)的編碼區(qū)間越大，意味著層級(jí)信息在對(duì)應(yīng)的編碼區(qū)間內(nèi)保留時(shí)間更久.其原理示意圖如圖5所示.

圖5 ON-LSTM原理示意圖Fig.5 Schematic diagram of ON-LSTM

其中，圖5(a)展示了ON-LSTM的一系列tokenS=(x1，x2，x3)對(duì)應(yīng)的解析樹形式.圖5(b)將圖5(a)的解析樹轉(zhuǎn)換為層級(jí)結(jié)構(gòu)，可以發(fā)現(xiàn)S和VP節(jié)點(diǎn)都跨越了一個(gè)以上的時(shí)間長度.圖5(c)將圖5(b)的層級(jí)結(jié)構(gòu)進(jìn)行矩陣化，最終形成ON-LSTM隱藏層神經(jīng)元的細(xì)胞狀態(tài).其中，在每個(gè)時(shí)間步驟中，給定一系列輸入字符，神經(jīng)元首先將其完全更新，而由于三組神經(jīng)元更新頻率不同，最上層的組更新頻率較低，最下層的組則頻繁更新.圖5中(c)以顏色深淺表示更新頻率，顏色程度越深代表更新頻率更快，而顏色越淺代表信息更新越慢，以此劃分出層級(jí)結(jié)構(gòu).

在隱藏層中，本文根據(jù)target words的前后上下文建模，給定輸入序列{xt}，在每次更新ct之前，首先預(yù)測歷史信息ht-1的層級(jí)df：

df=F1(xt，ht-1)

(27)

pf=softmax(Wfxt+Ufht-1+bf)

(28)

得到歷史信息的層級(jí)計(jì)算公式：

(29)

其中，pf(k)表示指向向量pf的第k個(gè)元素.這樣，我們就能使用序列

(30)

來表示輸入序列的層級(jí)變化.有了這個(gè)層級(jí)序列后，按照貪心算法輸出對(duì)應(yīng)的層級(jí)序列{df，t}，找出層級(jí)序列中最大值所在的下標(biāo)，然后將輸入序列分區(qū)為[xtk]]，對(duì)子序列xtk遞歸處理，逐漸得到輸入序列所隱含的嵌套結(jié)構(gòu).其具體形式可參見以下例子.

輸入：蘋果的顏色是什么

輸出：

{

{

{

蘋果

的

}，

{

顏色

是

}

}，

{

什么

}

}

模型使用兩個(gè)ON-LSTM模型從左往右和從右往左分別訓(xùn)練模型，期間前一個(gè)神經(jīng)元的有序信息傳遞給下一個(gè)神經(jīng)元進(jìn)行分層處理，直至目標(biāo)詞，最后輸出隱藏層詞向量.

在Self-Attention層中，分別將左右兩個(gè)hidden vector利用公式做Self-Attention計(jì)算來學(xué)習(xí)文本內(nèi)部的詞依賴關(guān)系.最后，將左Self-Attention和右Self-Attention拼接傳入softmax層轉(zhuǎn)換為概率輸出，具體見式(31)-式(34)：

hi=ON-LSTML([vi，vtarget])，i=1，2，…，r-1

(31)

hj=ON- LSTMR([vj，vtarget])，j=l+1，…，n

(32)

(33)

(34)

其中，l表示方面情感的類別數(shù).

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境

本文采用流行的深度學(xué)習(xí)框架Keras完成實(shí)驗(yàn)，采用GPU加速，分詞工具采用GloVe，實(shí)驗(yàn)環(huán)境配置具體如表1所示.

表1 實(shí)驗(yàn)環(huán)境配置Table 1 Experimental environment configuration

4.2 實(shí)驗(yàn)數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

本文采用SemEval2014 Task 4、SemEval2017 Task4數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集主要用于細(xì)粒度情感分析，分為訓(xùn)練集和測試集，其中包含laptop、restaurant和twitter三個(gè)不同領(lǐng)域的用戶評(píng)論數(shù)據(jù)，每一條評(píng)論包括評(píng)論內(nèi)容、方面項(xiàng)和對(duì)應(yīng)的方面情感極性，數(shù)據(jù)樣本的情感極性分為Positive、Negative和Neural.本文利用NLTK工具庫將數(shù)據(jù)集中的訓(xùn)練集按照9：1比例切分成訓(xùn)練集和驗(yàn)證集，該數(shù)據(jù)集的主要數(shù)據(jù)統(tǒng)計(jì)信息如表2所示.

表2 實(shí)驗(yàn)使用數(shù)據(jù)統(tǒng)計(jì)Table 2 Experimental data statistics

本文采用準(zhǔn)確率(Accuracy)和F1值作為方面情感分析的評(píng)價(jià)標(biāo)準(zhǔn)，具體計(jì)算公式分別見式(35)和式(36).

(35)

(36)

其中，T表示預(yù)測正確的樣本數(shù)，N為樣本總數(shù)，準(zhǔn)確率通常使用百分比表示；F1值計(jì)算公式中recall代表召回率，precision代表正確率.

4.3 參數(shù)設(shè)置與訓(xùn)練

本文首先使用Glove分詞工具對(duì)數(shù)據(jù)集中的文本進(jìn)行分詞，然后使用Word2Vec工具將分詞后的文本轉(zhuǎn)換為詞向量，從而進(jìn)行無監(jiān)督的詞向量學(xué)習(xí).實(shí)驗(yàn)結(jié)合Keras和TensorFlow框架，參數(shù)設(shè)置方面，將詞向量維度大小設(shè)置為300維，全連接層大小為128維，ON-LSTM輸入維度300維，樹結(jié)構(gòu)層級(jí)為5層.

模型訓(xùn)練方面，實(shí)驗(yàn)采用隨機(jī)梯度下降方法，通過設(shè)置批量樣本大小為64進(jìn)行模型訓(xùn)練，并采用Adam優(yōu)化算法，初始化學(xué)習(xí)率為0.001，為防止過擬合加入了Dropout機(jī)制，Dropout參數(shù)設(shè)置為0.2.詳細(xì)參數(shù)設(shè)置如表3所示.

表3 模型參數(shù)設(shè)置Table 3 Model parameter settings

4.4 對(duì)比實(shí)驗(yàn)與結(jié)果分析

將本文提出的ON-LSTM-SA模型與以下模型進(jìn)行對(duì)比實(shí)驗(yàn)：

1)LSTM：采用標(biāo)準(zhǔn)LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行方面情感分析.

2)TD-LSTM：采用兩個(gè)LSTM，圍繞target word進(jìn)行上下文建模，使得左右兩個(gè)方向的上下文都可以用作情感分類的特征表示.

3)TC-LSTM：在TD-LSTM模型的基礎(chǔ)上增加了target vector，并跟輸入詞向量拼接以后作為輸入向量，整合了target word與context word的相互關(guān)聯(lián)信息.

4)AE-LSTM：主要是將LSTM隱藏層與aspect embedding層結(jié)合起來，區(qū)分出對(duì)特定aspect更重要的上下文信息.

5)ATAE-LSTM：在AE-LSTM的基礎(chǔ)上，將情感嵌入(aspect embedding)和詞嵌入(word embedding)進(jìn)行拼接，共同組成模型的輸入端，更充分利用了方面信息.

所有模型都采用相同數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并盡量參考原論文中的超參數(shù)，以達(dá)到模型理論準(zhǔn)確率.實(shí)驗(yàn)結(jié)果如表4所示.

表4 模型準(zhǔn)確率(Acc)對(duì)比Table 4 Comparison of model accuracy

表5 模型F1值(Macro-F1)對(duì)比Table 5 Comparison of the Marcro-F1 score ofmodel

從表4、表5中可以看出，相較于標(biāo)準(zhǔn)LSTM神經(jīng)網(wǎng)絡(luò)模型，其他5種模型都在一定程度上提高了方面情感分析的準(zhǔn)確率和F1值.TD-LSTM和TC-LSTM都考慮了target word在上下文中的影響，對(duì)比LSTM效果提高了2%～3%，說明target word對(duì)方面情感分析輸入方面具有提升作用.AE-LSTM、ATAE-LSTM在LSTM的隱藏層拼接了aspect embedding和word embedding，并通過增加Attention機(jī)制提高模型效果，同樣也取得不錯(cuò)了效果.

在本文提出的模型中，ON-LSTM-SA模型在restaurant和twitter兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)效果明顯比其他模型更好，準(zhǔn)確率相較于標(biāo)準(zhǔn)LSTM分別提高了5.9%和6.5%，相較于TD-LSTM分別提高了2.9%和3.4%，F(xiàn)1值方面相較于標(biāo)準(zhǔn)LSMT分別提高了7.1%和6.8%，相較于TD-LSTM分別提高了4.7%和3.1%.

綜上所述，本文提出的模型通過實(shí)驗(yàn)證明，對(duì)輸入動(dòng)態(tài)生成、添加層級(jí)結(jié)構(gòu)、使用Self-Attention機(jī)制對(duì)方面情感分析具有提升作用.

5 結(jié)束語

傳統(tǒng)的LSTM神經(jīng)網(wǎng)絡(luò)能夠有效處理序列問題，而層級(jí)結(jié)構(gòu)使得神經(jīng)元能夠獲取有序信息.同時(shí)，Attention機(jī)制能使得模型獲得對(duì)aspect word的權(quán)重大小，從而更好判斷方面情感極性.在此基礎(chǔ)上，本文提出了一種基于ON-LSTM和自注意力機(jī)制的ON-LSTM-SA模型，該模型在輸入端融入了對(duì)詞向量動(dòng)態(tài)預(yù)訓(xùn)練的ELMo模型，同時(shí)在輸入層整合了target word和context word，使得輸入具有一定語義信息，然后在隱藏層中利用ON-LSTM的層級(jí)結(jié)構(gòu)，使得神經(jīng)元攜帶有序信息，根據(jù)詞語粒度在區(qū)間上跨度的大小從兩個(gè)方向獲得情感關(guān)鍵詞，再將信息傳遞給Self-Attention做進(jìn)一步方面情感極性判斷，最終生成對(duì)句子的方面情感分析.通過實(shí)驗(yàn)證實(shí)，本文提出的模型在多個(gè)數(shù)據(jù)集中效果優(yōu)秀，具有一定的應(yīng)用價(jià)值.

雖然ON-LSTM-SA模型在方面情感數(shù)據(jù)集上實(shí)驗(yàn)取得了較好的效果，但由于模型內(nèi)部分層結(jié)構(gòu)，以及前期需要通過ELMo動(dòng)態(tài)預(yù)訓(xùn)練，因此訓(xùn)練時(shí)長比一般模型較長.下一步的工作將通過與更先進(jìn)的預(yù)訓(xùn)練模型例如BERT、XLNet等進(jìn)行結(jié)合，降低預(yù)訓(xùn)練時(shí)長，并進(jìn)一步提升語義信息切分.