融合注意力機(jī)制和Bi-LSTM 的旅游評價情感分析模型

陳玉嬌，陳崇成，呂貴杰，黃正睿

（福州大學(xué) 數(shù)字中國研究院（福建），福建 福州 350100）

0 引言

隨著在線旅游網(wǎng)站的迅速發(fā)展，其上的評論文本數(shù)量急劇增加，這為旅行研究提供了重要數(shù)據(jù)來源。海量的評論數(shù)據(jù)揭示了公眾的情感或態(tài)度，這對于旅游行業(yè)中的相關(guān)應(yīng)用具有重要價值。在線評價的文本數(shù)據(jù)可以幫助研究人員和從業(yè)人員正確了解游客的旅游偏好和需求。在線評價的文本數(shù)據(jù)中所表達(dá)的意見對潛在旅游者的選擇起著重要作用。

情感分析是一個可以從在線旅行評價文本中提取游客關(guān)于旅行目的地情感的過程，情感分析的結(jié)果構(gòu)成了旅游決策的重要基礎(chǔ)。因此，必須引入有效的情感分析技術(shù)以處理在線旅行評價文本數(shù)據(jù)。然而，在線旅行評價文本大部分是短文本，其特征在于情感分布不均，這使得難以獲得準(zhǔn)確的情感分析結(jié)果。Bi-LSTM 能夠有效地獲取上下文語義信息，注意力機(jī)制可突出評論語句中情感描述內(nèi)容的重要部分。因此，本文提出融合注意力機(jī)制和Bi-LSTM 的旅游評價情感分析模型，更加精確地分析游客評價的情感傾向。

1 相關(guān)工作

近年來，隨著人工智能的迅速發(fā)展，作為人工智能分支的自然語言在研究領(lǐng)域備受關(guān)注。許多學(xué)者利用自然語言技術(shù)對互聯(lián)網(wǎng)信息進(jìn)行情感分析，該研究是自然語言處理中最熱門的話題。

情感分析被稱為人工智能領(lǐng)域的王冠，旨在使用相應(yīng)的技術(shù)手段挖掘和分析主觀信息。傳統(tǒng)的情感分析技術(shù)主要基于詞典、規(guī)則的方法和基于機(jī)器學(xué)習(xí)的方法?；谠~典、規(guī)則的方法側(cè)重于識別文本中具有明顯情感傾向的詞語，并依據(jù)特定的規(guī)則預(yù)測情感。Grabner 等提出用于游客評論分類的情感分析詞典；Liu 等使用基于詞典的情感分析模型以分析澳大利亞目的地中國游客的在線評論。該技術(shù)需要大量的人工干預(yù)，最終分析結(jié)果過于依賴詞典的質(zhì)量和規(guī)則。隨著信息量的快速增長，僅通過手動處理根本不可能完成任務(wù)?；跈C(jī)器學(xué)習(xí)的方法憑借出色的模型構(gòu)建能力，在自然語言處理任務(wù)中大放異彩，諸如樸素貝葉斯（Naive Bayes，NB）、支持向量機(jī)（Support Vector Machines，SVM）、最大熵等。Hao 等從新聞媒體的角度使用基于機(jī)器學(xué)習(xí)的情緒分析方法研究居民對旅游業(yè)態(tài)度的演變；Adhi 等設(shè)計(jì)一個基于樸素貝葉斯分類器和語義擴(kuò)展方法的情感分析模型，實(shí)驗(yàn)表明該方法可以提高情感分析的準(zhǔn)確性。但基于機(jī)器學(xué)習(xí)的方法過于依賴標(biāo)注數(shù)據(jù)的質(zhì)量并需要復(fù)雜的特征工程。近年來，隨著深度學(xué)習(xí)的發(fā)展，越來越多的學(xué)者將基于神經(jīng)網(wǎng)絡(luò)的方法應(yīng)用于情感分析。不同于傳統(tǒng)的情感分析技術(shù)，深度學(xué)習(xí)不需要構(gòu)造情感詞典或語法分析，只需一定規(guī)模的訓(xùn)練數(shù)據(jù)集，就可訓(xùn)練得出高精度分類結(jié)果和泛化能力較好的深度學(xué)習(xí)模型。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是最常應(yīng)用于情感分析任務(wù)中的深度學(xué)習(xí)方法。Kim首次將簡單的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于句子分類并取得了良好結(jié)果，克服了傳統(tǒng)機(jī)器學(xué)習(xí)的不足；Santos等使用兩個卷積層以提取相關(guān)單詞和句子的特征，并挖掘語義信息以改善諸如Twitter 之類的短文本情感分析；Liu等指出CNN 能夠從時間或空間數(shù)據(jù)中學(xué)習(xí)局部特征，但缺乏學(xué)習(xí)順序相關(guān)性的能力；Irsoy 等使用基于時間序列信息的遞歸神經(jīng)網(wǎng)絡(luò)獲得句子表示，從而進(jìn)一步提高了情感分類準(zhǔn)確性。長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）考慮詞語之間的序列依賴性，從而有效解決傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）出現(xiàn)的梯度消失問題。Law 等使用長短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)預(yù)測旅游流量，并證明LSTM 方法的性能優(yōu)于其他傳統(tǒng)方法。但是LSTM 只具有前向信息記憶能力，而不能對后向序列進(jìn)行記憶，Bi-LSTM 隨之被提出。Bi-LSTM 是LSTM 的進(jìn)一步發(fā)展，可以更好地捕捉雙向的語義依賴。李磊等提出融合對象識別和Bi-LSTM 模型情感分析模型，主要通過CNN 識別關(guān)鍵評價對象，將評價對象與文本信息進(jìn)行融合并通過Bi-LSTM 模型分析最終的情感類別。但評價語句中的最重要部分是情感描述部分，表達(dá)用戶觀點(diǎn)，為了更加精確地分析游客評價的情感傾向，本文使用注意力機(jī)制突出評價語句中的核心部分。

注意力機(jī)制在成像領(lǐng)域的成功發(fā)展使其神經(jīng)網(wǎng)絡(luò)模型成為近年來研究的熱點(diǎn)之一。Yin 等提出一種基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)。該模型分別在卷積層和池化層中構(gòu)造注意力矩陣。通過不同網(wǎng)絡(luò)層的注意力信息，可以了解句子對之間的相互依存關(guān)系。該模型還驗(yàn)證了注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理任務(wù)中的有效性。張仰森等為提高分類性能，將情感符號融入注意力模型以增強(qiáng)情感語義；吳小華等提出一種結(jié)合Selfattention 和BiLSTM 的中文短文本情感分析模型，實(shí)驗(yàn)表明該模型能學(xué)到更多的文本自身關(guān)鍵特征，情感分類結(jié)果相較于BiLSTM 有所提高。雖然上述神經(jīng)網(wǎng)絡(luò)模型在情感分類任務(wù)中已經(jīng)取得了巨大成功，但仍有較大改進(jìn)空間。例如，針對旅游評價情感分析，情感詞匯、否定副詞（“如果不是”“從不”）、程度副詞（“有點(diǎn)”“非?！保┑荣Y源具有較強(qiáng)的情感表現(xiàn)。但是，目前的深度神經(jīng)網(wǎng)絡(luò)模型對旅游評價情感分析時，這些資源尚未得到充分利用。為此，本文提出融合詞性注意力機(jī)制和Bi-LSTM 的旅游評價情感分析模型，從詞性角度出發(fā)，判斷情感相關(guān)詞語的詞性并以其為核心詞計(jì)算評價語句中各位置權(quán)重，以融合到Bi-LSTM評價語句的實(shí)際上下文信息中，突出情感相關(guān)詞語的重要性，從而提高情感分析效果。

2 旅游評論情感分析模型

傳統(tǒng)基于情感詞典的方法，包括：①識別文本中的情感詞與副詞；②將情感詞及其前面的否定副詞、程度副詞歸為一組（如果有否定詞副詞，情感詞則乘以-1；如果有程度副詞，就乘以程度副詞的程度值）；③根據(jù)累計(jì)得分的正負(fù)判斷極性?；谏鲜霾襟E可知，情感詞與副詞是文本中的重要信息，在情感分析中起到?jīng)Q定性作用。然而，基于情感詞典的方法需要人工干預(yù)，泛化能力差；而Bi-LSTM能自主學(xué)習(xí)文本上下文語義信息，基于注意力機(jī)制選擇重要信息可獲得良好效果。為有效地突出情感相關(guān)詞的作用，本文提出結(jié)合詞性注意力與Bi-LSTM 的模型。不同于傳統(tǒng)的Bi-LSTM 和注意力機(jī)制，文本采用Bi-LSTM 和詞性注意力并行的結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示：①分別對評論語句進(jìn)行詞向量化、自然語言詞性標(biāo)注；②分別經(jīng)過Bi-LSTM模型和詞性注意力模型；③將兩者結(jié)果融合，并將其輸入到全連接層中；④通過Softmax 預(yù)測情感極性。

Fig.1 Part-of-speech attention mechanism-based Bi-LSTM圖1 基于詞性注意力機(jī)制的Bi-LSTM

2.1 詞向量

在自然語言任務(wù)中，首先需要考慮詞語在計(jì)算機(jī)中的表示方式。通常，有兩種表示方式：離散表示和分布式表示。典型的離散表示是獨(dú)熱編碼，這是一種傳統(tǒng)的基于規(guī)則和基于統(tǒng)計(jì)的自然語義處理方法。但是該方法表示的詞向量只能是單獨(dú)個體，無法建立詞與詞之間的語義關(guān)系。為避免上述缺陷，本文采用分布式詞嵌入方法將文本中的詞映射到300 維的連續(xù)密集向量。常見的預(yù)訓(xùn)練詞嵌入 有Word2Vec和Glove，本文采用Word2Vec 作為模型的輸入表示。

2.2 雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（Bi-LSTM）

LSTM 與典型的RNN 框架一致，但是它使用不同的方式計(jì)算隱藏狀態(tài)，從而可以解決RNN 中梯度消失問題。LSTM 的出色之處不是通過算法學(xué)習(xí)的，而是模型結(jié)構(gòu)固有的優(yōu)勢。LSTM 由一系列重復(fù)的存儲單元組成，每個單元包含3個不同功能的神經(jīng)門：輸入門、遺忘門和輸出門。以下是這些門以自適應(yīng)記住輸入向量，忘記以前的歷史，生成輸出向量的過程。

式中，

i

、

f

、

o

表示輸入門、遺忘門與輸出門，

w

、

w

、

w

表示權(quán)重矩陣，

b

、

b

、

b

表示偏置項(xiàng)，

h

表示

t

時刻的隱藏狀態(tài)向量。

LSTM 只考慮前向語義信息，而Bi-LSTM 充分考慮了序列上下文信息，由一個正向的長期短期記憶層和一個反向的長期短期記憶層組成。正向捕獲序列的歷史信息；反向捕獲序列的將來信息。以上兩層都連接到同一輸出層。為了突出情感相關(guān)詞語在句子中的作用，本文加入了詞性注意力機(jī)制，將Bi-LSTM 的輸出進(jìn)行了微調(diào)。

2.3 詞性注意力機(jī)制

所有詞對上下文的情感都有不同的貢獻(xiàn)，因此為詞分配不同的權(quán)重是解決問題的一種有效方法。注意力機(jī)制最早是在圖像處理領(lǐng)域提出的，其目的是在模型訓(xùn)練過程中關(guān)注某些特征信息。引入注意力機(jī)制為詞分配不同的權(quán)重以突出重要部分，減少非關(guān)鍵詞對文本情感的影響，增強(qiáng)對整個文本情感的理解。比如句子中的情感詞（不好、貴等）可以反映評論者的情感傾向，為了更加關(guān)注這些情感詞的分類，本文采用詞性注意力機(jī)制。

旅游的評論中并不是每個詞都包含情感信息成分，觀點(diǎn)詞絕大部分由形容詞表示，副詞對其進(jìn)行修飾，副詞包括否定副詞、程度副詞。本文首先利用詞性標(biāo)注的自然語言技術(shù)對旅游在線評論數(shù)據(jù)進(jìn)行處理，將句子分割為不同詞性的詞語。將句子中形容詞和副詞確定為情感分析的核心詞。根據(jù)局部注意力機(jī)制的思想給定固定窗口大小，隨著其它詞在窗口中遠(yuǎn)離核心詞移動，其權(quán)重逐漸降低。鑒于此，本文以核心詞為中心，為句子中每個詞分配不同權(quán)重。

本文注意力模型中的

w

與每一個詞和核心詞的距離有關(guān)，但不固定窗口大小。給出一個由

n

個詞組成的句子

S

={

s

,

s

,

…

,

s

} 和核心詞列表

C

={

c

,

c

,

…

,

c

}，

m

∈

n

，每個詞的權(quán)重通過式（7）—式（8）計(jì)算得到。

2.4 情感極性分類

情感分析實(shí)質(zhì)上是一個分類任務(wù)，因而將

outputatt

作為分類的特征，緊接一個大小為0.75 的

Dropout

層，以減輕訓(xùn)練過程中的過擬合。通過全連接方式采用

softmax

激活函數(shù)進(jìn)行情感分類，計(jì)算如式（10）所示。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)來自攜程網(wǎng)站上的福建旅游在線評論。選取其一部分作為實(shí)驗(yàn)數(shù)據(jù)集，數(shù)據(jù)集包含11 041 條評論，其中5 557 條為正，5 484 條為負(fù)。按照4∶1 的比例將數(shù)據(jù)集分為訓(xùn)練集和測試集，情感評價數(shù)據(jù)集的樣本如表1 所示。

Table 1 Samples in sentiment evaluation dataset表1 情感評價數(shù)據(jù)集樣本

3.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)硬件平臺是Intel（R）Core（TM）i7-6700 CPU@3.40 GHz（8 核CPU），16G 內(nèi)存，Intel（R）HD Graphics 530。實(shí)驗(yàn)軟件平臺為Win10 操作系統(tǒng)，開發(fā)環(huán)境為Python3.7 編程語言。Python 的Tensorflow 庫和Scikit-learn 庫用于構(gòu)建建議的情感分析方法和對比實(shí)驗(yàn)。

根據(jù)實(shí)驗(yàn)，已經(jīng)測試了不同的超參數(shù)和設(shè)置。通過比較，最終選取以下參數(shù)：詞向量的維度為300，學(xué)習(xí)率為0.000 01，

dropout

取值為0.75，

batch_size

取值為30，

lstm_size

取值為32，迭代次數(shù)為20k。

3.3 實(shí)驗(yàn)評價指標(biāo)

使用準(zhǔn)確率、精確度、召回率和

F

1 得分評估模型性能。分類矩陣如表2 所示。

Table 2 Classification matrix表2 分類矩陣

在此，

TP

代表正類預(yù)測為正類的數(shù)量，

FN

代表正類預(yù)測為負(fù)類的數(shù)量，

FP

代表負(fù)類預(yù)測為正類的數(shù)量，

TN

代表負(fù)類預(yù)測為負(fù)類的數(shù)量。根據(jù)

TP

、

FN

、

FP

和

TN

的數(shù)量分別計(jì)算準(zhǔn)確率、精確率、召回率和

F

1 得分。具體公式如式（11）—式（13）所示。

3.4 實(shí)驗(yàn)結(jié)果與分析

為了證明本文模型的有效性，將本文提出的模型與CNN、Bi-LSTM 模型、Bi-LSTM-CNN 模型以及自注意力機(jī)制與Bi-LSTM 結(jié)合的模型在旅游在線評論數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)比較，比較指標(biāo)包括準(zhǔn)確性、召回率和

F

1 得分。實(shí)驗(yàn)結(jié)果如表3 所示。

Table 3 Experimental results表3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，Bi-LSTM 的總體性能由于能有效捕獲上下文信息，而比CNN 的性能更好。而Bi-LSTM-CNN 模型具有比其他模型更高的度量指標(biāo)，這證明了混合模型確實(shí)結(jié)合了CNN 和LSTM 的優(yōu)勢。與SAM+Bi-LSTM 相比，本文所提出的模型在處理“仙境一般云霧繚繞，門票也不貴”旅游評價情感分析時，充分考慮到評論語句中“仙境”“不貴“情感相關(guān)信息對分類任務(wù)起到重要作用的信息，有效地識別出該評論語句的情感傾向。本文模型在旅游情感分析上展現(xiàn)了較好的性能，準(zhǔn)確率提高4.3%，精度提高1.02%，召回率提高5.12%，

F

1 得分提高3.08%。

4 結(jié)語

在互聯(lián)網(wǎng)技術(shù)和社交網(wǎng)絡(luò)飛速發(fā)展的時代，通過人工智能技術(shù)探索評論的情感傾向極具意義。針對當(dāng)前情感分析任務(wù)中沒有充分把握情感信息，導(dǎo)致分類精度不高的問題，本文通過Bi-LSTM 學(xué)習(xí)文本的上下文語義信息，建立詞性注意力機(jī)制并賦予情感詞更高的權(quán)值，以強(qiáng)化情感詞的重要性。不同于傳統(tǒng)Bi-LSTM 加注意力機(jī)制的模型，本文采用Bi-LSTM 和詞性注意力并行的網(wǎng)絡(luò)結(jié)構(gòu)，具有更好的模型性能與分類精度。因此，Bi-LSTM 和詞性注意力機(jī)制的結(jié)合在旅游情感分析方面具有實(shí)際應(yīng)用價值。