結(jié)合顯式句法依賴與分層注意力進(jìn)行方面級(jí)情感分析

范明煒，張?jiān)迫A

(浙江理工大學(xué)信息學(xué)院，浙江 杭州 310018)

719068852@qq.com;605498519@qq.com

1 引言(Introduction)

方面級(jí)這種細(xì)粒度的情感分析解決了針對(duì)一段評(píng)論的不同方面，情感的判斷可能出現(xiàn)兩種相反結(jié)果的問題，因此目前方面級(jí)情感分析逐漸成為研究的熱點(diǎn)，對(duì)商品評(píng)論、推薦系統(tǒng)等領(lǐng)域具有重要意義。

現(xiàn)有的深度學(xué)習(xí)模型在情感分析方面取得了較好的效果?；谡Z義的方法將輸入的句子看作單詞序列，通過注意力建模，例如RNN、Transformer等；基于語法的方法通過引入句法依賴關(guān)系樹構(gòu)造輸入句子的語法結(jié)構(gòu)，采用GNN通過依賴關(guān)系樹上下文詞的表示來豐富方面表示；但它們均未充分利用上下文詞與方面詞之間的語法依賴。XIONG等采用字符級(jí)別詞嵌入實(shí)現(xiàn)文本分類。YANG等做出改進(jìn)，提出了基于TD-LSTM的方法。但邵興林通過實(shí)體信息與屬性信息的比較，發(fā)現(xiàn)實(shí)體信息更加重要，同時(shí)評(píng)論可能會(huì)有多個(gè)句子，選出情感更加強(qiáng)烈的句子也具有重要意義。

受此啟發(fā)，本文提出結(jié)合分層注意力機(jī)制與顯式句法依賴的多層網(wǎng)絡(luò)，結(jié)合依賴路徑編碼和實(shí)體信息的嵌入表示一并發(fā)送到注意力層。構(gòu)建單詞-句子、句子-文檔的層次結(jié)構(gòu)，通過加入多級(jí)注意力機(jī)制，使模型對(duì)不同單詞、句子賦予不同的注意力權(quán)重，對(duì)最后的結(jié)果做出更準(zhǔn)確的判斷。

2 相關(guān)工作(Related work)

2.1 Stanford Parser

Stanford Parser是基于概率統(tǒng)計(jì)的開源句法分析器?；赑enn Treebank作為分析器的訓(xùn)練數(shù)據(jù)，面向中文、英文等語種提供句法分析功能，可以輸出句法分析樹，如圖1所示。

圖1 句法分析樹Fig.1 Syntactic parse tree

2.2 層次注意力

注意力機(jī)制就是關(guān)注輸入權(quán)重分配，可以理解成一個(gè)由查詢矩陣和對(duì)應(yīng)的鍵，以及需加權(quán)平均的值構(gòu)成的一層感知機(jī)。

層次注意力用于解決多層次問題。如在分析評(píng)論時(shí)，把詞作為一層，把句子作為一層，這樣就有了多層，下一層對(duì)上一層產(chǎn)生影響，因此建立了一種堆疊的層次注意力模型，如圖2所示。

圖2 層次注意力模型Fig.2 Hierarchical attention model

2.3 LSTM

LSTM是一種特殊的RNN，主要是為了解決長序列訓(xùn)練過程的梯度消失和爆炸問題，長序列使用LSTM有更好的表現(xiàn)。傳輸過程中，通過門控狀態(tài)來控制需要長時(shí)間記憶的和忘記不重要的信息，其內(nèi)部可劃分為忘記階段、選擇記憶階段以及輸出階段，如圖3所示。

圖3 LSTMFig.3 LSTM

3 模型構(gòu)建(Model building)

給定長度為的句子={1，2，3，…，}，以及長度為(0＜＜)的方面項(xiàng)={[+1]，…，[+]}，其中∈，可以是詞或者短語。目標(biāo)是對(duì)方面項(xiàng)進(jìn)行情感分析，最終分為積極、消極、中性。

圖4展示了模型的整體設(shè)計(jì)。在詞級(jí)別，通過句法分析獲取句法依賴樹，從而得到每個(gè)單詞到方面項(xiàng)的路徑編碼和距離。同時(shí)獲取句子中單詞的詞性及方面項(xiàng)的實(shí)體信息，結(jié)合上述路徑編碼和距離一起饋送到各自的編碼層，通過注意力網(wǎng)絡(luò)得到句子表示。在句子級(jí)別，評(píng)論中的其他句子表示獲取同上，通過LSTM及注意力給予重要的句子更大的權(quán)重。這樣，單詞和句子都有了自己的注意力權(quán)重。

圖4 模型整體設(shè)計(jì)Fig.4 Overall design of the model

3.1 輸入層

通過Stanford Parser獲取句子結(jié)構(gòu)樹與每個(gè)單詞的詞性。詞性對(duì)于情感分析任務(wù)是非常重要的，通常形容詞和動(dòng)詞比名詞表達(dá)的程度更深。句法結(jié)構(gòu)樹包含詞對(duì)的關(guān)系，在句法依賴路徑編碼中需要用到。

句法依賴樹中每個(gè)詞到方面詞的有向關(guān)系路徑稱為句法依賴路徑，路徑上邊的個(gè)數(shù)稱為距離。例如圖1中的依賴樹，針對(duì)“牛肉飯”這一方面詞，句中單詞到它的距離為{1，0，1，1，2，1}。針對(duì)“很棒的”到“服務(wù)”這一方面詞的路徑，“很棒的—(-amod)→牛肉飯—(+conj)→服務(wù)”可以被轉(zhuǎn)換為“[(很棒的，-amod，JJ)，(牛肉飯，+conj，NN)，(服務(wù)，self，NN)]”。“+”和“-”表示有向路徑的正反，即關(guān)系的方向，并且在最后為方面詞附加一個(gè)預(yù)定義的關(guān)系“self”。簡單地將依賴路徑進(jìn)行分解容易丟失路徑的全局特征，因此使用LSTM對(duì)依賴路徑序列進(jìn)行編碼，如圖5所示。

圖5 依賴路徑編碼Fig.5 Dependent path encoding

實(shí)體信息對(duì)方面級(jí)情感分析具有重要作用，如“牛肉飯”這一方面詞的實(shí)體信息為“食物”，將“食物”通過詞向量矩陣獲取詞向量，同時(shí)結(jié)合依賴路徑編碼與距離編碼，將上述組成的向量送入注意力層，獲得句子向量表示。

3.2 分層注意力

一段評(píng)論可能包含多個(gè)句子，給句子加入注意力可以使模型提取更適合的句子進(jìn)行情感極性分析。本文加入新一層句子級(jí)別的注意力機(jī)制，依照句子向量表示的方法，對(duì)每一句話都獲取向量表示，將這些句子向量表示作為LSTM新的輸入，再將LSTM的輸出與實(shí)體信息結(jié)合，通過注意力機(jī)制提取對(duì)評(píng)論情感極性更加重要的句子，以獲取最終評(píng)論的向量表示。

3.3 模型訓(xùn)練

利用交叉熵?fù)p失函數(shù)和L2正則化對(duì)模型進(jìn)行訓(xùn)練，公式如下：

4 實(shí)驗(yàn)結(jié)果分析(Experimental results and analysis)

4.1 數(shù)據(jù)集

為了驗(yàn)證模型的有效性，本文使用了SemEval 2014 Task 4中的restaurants數(shù)據(jù)集，包含三種情感和五個(gè)方面，如表1所示。

表1 數(shù)據(jù)集分類統(tǒng)計(jì)表Tab.1 Statistical table of the dataset classification

4.2 注意力機(jī)制有效性

對(duì)于例句“很棒的牛肉飯，但是服務(wù)是糟糕的”，當(dāng)給定實(shí)體為“食物”時(shí)，“牛肉飯”和“很棒的”被賦予了更高的權(quán)重，在句子情感分析中二者起到重要作用。對(duì)于該評(píng)論“很棒的牛肉飯”和“但是服務(wù)是糟糕的”這兩個(gè)句子，第一句在情感分析中起到重要的作用，而這句話是實(shí)體“食物”對(duì)應(yīng)的句子，結(jié)果符合預(yù)期，如圖6所示。

圖6 針對(duì)“食物”的注意力權(quán)重分布Fig.6 Attention weight distribution for "food"

同理，將實(shí)體換為“服務(wù)”時(shí)，單詞和句子的注意力權(quán)重?cái)?shù)據(jù)也同樣符合預(yù)期，如圖7所示。

圖7 針對(duì)“服務(wù)”的注意力權(quán)重分布Fig.7 Attention weight distribution for "service"

4.3 模型對(duì)比

通過在相同數(shù)據(jù)集中與其他模型進(jìn)行對(duì)比，驗(yàn)證本文模型的有效性，主要采用F1值和Acc值(準(zhǔn)確率)進(jìn)行評(píng)估。對(duì)比的模型主要有BiLSTM-AMM、BiGRU-AAM、Bi-LSTM、ATAE-LSTM等。

如表2所示，從實(shí)驗(yàn)結(jié)果來看，本文的方法在數(shù)據(jù)集上相比于基本的深度學(xué)習(xí)模型，Acc值和F1值都有所提高，主要是因?yàn)槟Ｐ屯ㄟ^引入實(shí)體信息，充分利用顯式語法結(jié)構(gòu)獲取到更加有用的信息；其次，分層注意力機(jī)制的引入也使得結(jié)果變得更加精確。

表2 不同模型在數(shù)據(jù)集中的結(jié)果Tab.2 Results of different models on the dataset

5 結(jié)論(Conclusion)

針對(duì)方面級(jí)情感分析中未對(duì)句法結(jié)構(gòu)信息與屬性信息進(jìn)行深度挖掘的問題，本文提出的模型一方面利用句法結(jié)構(gòu)、實(shí)體信息加強(qiáng)特征獲取的能力，另一方面利用分層注意力機(jī)制使模型能夠賦予重要單詞和句子更大的權(quán)重。從實(shí)驗(yàn)結(jié)果來看，該模型能有效提高情感分類的效果。