RoBERTa融合BiLSTM及注意力機(jī)制的隱式情感分析

張 軍，張 麗，沈凡凡，譚 海，何炎祥

1.東華理工大學(xué) 信息工程學(xué)院，南昌 330013

2.東華理工大學(xué) 江西省放射性地學(xué)大數(shù)據(jù)技術(shù)工程實(shí)驗(yàn)室，南昌 330013

3.武漢大學(xué) 計算機(jī)學(xué)院，武漢 430072

4.南京審計大學(xué) 計算機(jī)學(xué)院，南京 211815

文本情感分析是指利用自然語言處理和文本挖掘技術(shù)對帶有情感色彩的主觀性文本進(jìn)行分析、處理和抽取的過程[1]。文本情感分為顯示情感和隱式情感[2]。顯示情感含有明顯的情感詞，使得文本情感容易被區(qū)分；而隱式情感文本中不含有顯示情感詞，這使得文本情感分析變得困難，但是可以表達(dá)出比顯示情感更加豐富多彩的情感，這對當(dāng)今互聯(lián)網(wǎng)時代來說顯得尤為重要。例如，商家可以對用戶評論中隱藏的情感進(jìn)行分析，以此對自己的產(chǎn)品進(jìn)行優(yōu)化，從而更好地滿足用戶需求。但是隱式情感通常表達(dá)比較含蓄、不直觀，導(dǎo)致隱式情感的分析與特征提取比較困難，因此隱式情感分析在自然語言處理中成為亟需解決的難點(diǎn)之一[3]。

近年來，自然語言處理領(lǐng)域中針對文本情感分析的研究層出不窮，王麗亞等人[4]針對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）中同層神經(jīng)元之間特征信息無法充分利用、缺乏句子整體特征表示、限制模型的特征學(xué)習(xí)能力等問題，提出了基于CNN-BiGRU聯(lián)合網(wǎng)絡(luò)并引入注意力機(jī)制的模型，有效地提高了文本分類的準(zhǔn)確率。翟社平等人[5]針對雙語文本情感分析方法稀缺及準(zhǔn)確率較低的問題，根據(jù)同一英文詞匯在不同語境下具有不同文本情感作用這一特點(diǎn)，提出了基于注意力機(jī)制和雙向長短期記憶網(wǎng)絡(luò)（bi-directional long short term memory，BiLSTM）的雙語文本情感分析模型，提高了雙語文本情感分析的準(zhǔn)確率。陶永才等人[6]認(rèn)為單一的文本詞向量不能全面表示文本中的情感特征信息，且無法有效捕獲文本和標(biāo)簽之間的聯(lián)系，提出了一種基于多特征融合的短文本情感分析模型，從多特征矩陣中學(xué)習(xí)到句子中更全面的情感信息，使得短文本情感分析能力得到了有效提升。

目前關(guān)于情感分析的大部分研究以顯示情感分析為主，忽略了對隱晦情感表達(dá)的文本進(jìn)行分析，但不少文本情感分析應(yīng)用場景中又經(jīng)常出現(xiàn)帶有隱式情感的文本。相較于顯示情感分析，隱式情感分析面臨著更多更具復(fù)雜性的挑戰(zhàn)[7]：（1）隱式情感文本不含顯示情感詞，語言表達(dá)比較含蓄，使得基于情感詞典的方法和基于詞袋模型的文本表示不再有效；（2）隱式情感與語境和主觀表達(dá)聯(lián)系密切，缺乏通用性，使得對語義本身的理解更加困難。表1展示了蘊(yùn)含不同情感的隱式情感句示例。

表1 隱式情感句示例Table 1 Samples ofimplicit sentiment sentences

表1中，中性隱式情感句是對客觀事實(shí)進(jìn)行陳述，不摻雜任何隱式情感，相對容易區(qū)分；褒義情感句營造了令人心曠神怡、十分愜意的氛圍；貶義情感句側(cè)面反映了動物園的人流量大，影響游客觀看動物的心情。這些看似普通的文本實(shí)則包含了不同的隱式情感，使得這些文本的情感分析更具挑戰(zhàn)性。

針對隱式情感分析中不含顯示情感詞引起的文本情感識別困難的問題，Zhang等人[8]研究發(fā)現(xiàn)使用一些領(lǐng)域名詞以及名詞短語能夠隱晦表達(dá)情感，針對句子中被忽略的具有隱式情感傾向的名詞短語問題，提出了一種識別具有隱式情感領(lǐng)域名詞特征的方法，通過修改特征的意見詞和上下文語境來確定特征極性。趙容梅等人[9]利用卷積神經(jīng)網(wǎng)絡(luò)對文本進(jìn)行特征提取，并結(jié)合長短期記憶網(wǎng)絡(luò)（long short term memory，LSTM）[10]結(jié)構(gòu)提取上下文信息，并且在網(wǎng)絡(luò)中加入注意力機(jī)制，構(gòu)建了一種新型混合神經(jīng)網(wǎng)絡(luò)中文隱式情感分析模型。隱式情感的識別通常還需要引入其他包含隱式情感的特征和知識。黃山成等人[11]根據(jù)文本的隱式情感極性與句中實(shí)體詞、上下文語境、外部知識相關(guān)的特點(diǎn)，提出一種基于ERNIE2.0-BiLSTM-Attention的隱式情感分析方法，能夠較好捕捉隱式情感句的語義及上下文信息，有效提升了隱式情感的識別能力。陳秋娥等人[12]分析認(rèn)為現(xiàn)有序列化模型的中文隱式情感分析中的特征信息提取不夠準(zhǔn)確，對篇章級的文本信息提取存在梯度爆炸或梯度消失的問題，提出了融合雙向長短時神經(jīng)網(wǎng)絡(luò)和樹形遞歸神經(jīng)網(wǎng)絡(luò)（context-aware tree recurrent neutral network，CA-TRNN）的并行混合模型，有效提高了分類結(jié)果的準(zhǔn)確率，并且時間代價小，具有更好的適用性。

然而，上述研究仍然存在隱式情感特征提取不夠準(zhǔn)確的問題。對此，本文提出了一種基于RoBERTa的融合模型——RoBERTa-BiLSTM-Attention（RBLA）模型，通過優(yōu)化隱式情感分析任務(wù)中隱式情感特征的提取機(jī)制，進(jìn)一步提高隱式情感分類的精確率。本文的主要貢獻(xiàn)如下：

（1）使用RoBERTa模型進(jìn)行語言預(yù)訓(xùn)練，在增加訓(xùn)練數(shù)據(jù)的基礎(chǔ)上使用更大的batch size，同時采用動態(tài)Masking機(jī)制對長句序列進(jìn)行訓(xùn)練，有效捕捉了隱式情感句中詞語的語義特征。

（2）使用BiLSTM對隱式情感文本的上下文進(jìn)行特征提取，彌補(bǔ)了預(yù)訓(xùn)練模型遺忘上下文信息的缺陷，可以更加準(zhǔn)確地捕獲隱式情感文本的上下文特征。

（3）引入Attention機(jī)制，對隱式情感文本中不同分類的隱式情感詞進(jìn)行權(quán)重計算，避免了重要語義信息的丟失，可有效捕捉隱式情感文本中包含的隱式情感特征，并探究了Attention機(jī)制對RBLA模型在不同隱式情感分類中的影響。

1 相關(guān)原理

1.1 RoBERTa預(yù)訓(xùn)練模型

RoBERTa模型[13]是在BERT預(yù)訓(xùn)練模型[14]的基礎(chǔ)上加以改進(jìn)得到的。RoBERTa主要針對BERT做了三點(diǎn)改進(jìn)[13]：（1）采用動態(tài)Masking機(jī)制，每次向模型輸入一個序列時，都會生成一種新的遮蓋方式。（2）刪除了Next Sentence Prediction（NSP）任務(wù)。（3）增加了預(yù)訓(xùn)練過程的語料規(guī)模，擴(kuò)大Batch Size的同時增加了訓(xùn)練時的步長。

與BERT模型一致，RoBERTa模型同樣使用多個雙向Transformer模型[15]的encoder部分堆疊組成主體框架，能更徹底地捕捉文本中的雙向關(guān)系。圖1展示了Transformer模型的encoder邏輯結(jié)構(gòu)。

圖1 Transformer-encoder邏輯結(jié)構(gòu)Fig.1 Logical structure of Transformer-encoder

圖1中，詞向量表示單詞在整個語料庫中的位置信息；位置編碼表示單詞出現(xiàn)在句子中的位置，用于模型感知詞與詞之間的位置信息。詞向量和位置編碼相加作為encoder的輸入X。多頭注意力機(jī)制模塊使用多個獨(dú)立的Attention模塊對輸入層的信息進(jìn)行并行計算，可有效防止產(chǎn)生過擬合現(xiàn)象。殘差連接和層歸一化層是由殘差連接和層歸一化兩部分組成。層歸一化將每一層神經(jīng)元的輸入都轉(zhuǎn)化為均值方差，以增加非線性變化。殘差連接部分將輸入X和一個非線性變換F(X)進(jìn)行線性疊加，并將疊加后的結(jié)果作為輸出。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，F(xiàn)(X)表示殘差，F(xiàn)(X)與X維度一致。

圖2 殘差連接網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Residual connection network structure

前饋神經(jīng)網(wǎng)絡(luò)層利用公式（1）對encoder的輸入進(jìn)行計算，生成相應(yīng)的向量矩陣We。該網(wǎng)絡(luò)層主要包含一個兩層的全連接層，其中，第一層使用了Relu激活函數(shù)，使收斂速度更快，計算更加高效。

公式（1）中，W1與W2表示兩個全連接層之間的權(quán)重矩陣，b1與b2表示兩個全連接層之間的偏置項(xiàng)。

1.2 長短期記憶網(wǎng)絡(luò)（LSTM）

LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）[16]的一個變體，有效緩解了RNN中存在的梯度消失問題。圖3展示了LSTM邏輯結(jié)構(gòu)，該結(jié)構(gòu)中包括遺忘門、輸入門和輸出門，分別實(shí)現(xiàn)LSTM的遺忘階段、選擇記憶階段和輸出階段。

圖3 LSTM邏輯結(jié)構(gòu)Fig.3 Logical structure of LSTM

圖3中，ft、it和ot分別表示遺忘門、輸入門和輸出門；ht-1為上一時刻的輸出，xt表示詞嵌入，二者一起作為LSTM的輸入；Ct表示細(xì)胞狀態(tài)，Ct-1表示上一時刻細(xì)胞狀態(tài)，保留了未被遺忘的歷史信息；ht為t時刻的輸出的隱藏層狀態(tài)。

遺忘門是對上一時刻的輸出進(jìn)行選擇性遺忘，其計算如公式（2）所示。其中，Wf表示權(quán)重矩陣，bf為偏置參數(shù)。

輸入門用于更新細(xì)胞狀態(tài)。上一個時刻的輸出ht-1和當(dāng)前輸入的信息xt通過sigmoid激活函數(shù)計算生成需要更新的信息it，計算如公式（3）所示；它們再通過tanh函數(shù)計算生成一個新的候選值向量C?t，計算如公式（4）；最后，利用公式（5）計算得到新的細(xì)胞狀態(tài)Ct。公式（3）～（5）中，Wi、Wc表示權(quán)重矩陣，bi，bc為偏置參數(shù)。

輸出門用來確定下一個隱藏狀態(tài)ht的值，其輸入為前一個隱藏層狀態(tài)信息ht-1和當(dāng)前輸入xt，通過sigmoid激活函數(shù)對其進(jìn)行計算，篩選出需要記住的重要信息，計算如公式（6）所示；之后利用tanh函數(shù)對輸入門新產(chǎn)生的細(xì)胞狀態(tài)Ct進(jìn)行非線性化處理，輸出t時刻的隱藏層狀態(tài)ht，計算過程如公式（7）所示。公式（6）和（7）中，Wo∈Rdh×dk表示權(quán)重矩陣，bo∈Rdh為偏置參數(shù)。

其中，·和?分別表示矩陣乘法和元素乘法。

2 RBLA模型

2.1 任務(wù)定義

本文的隱式情感分析任務(wù)是對隱式情感句進(jìn)行三分類（中性、褒義、貶義）。隱式情感句的上下文情感對隱式情感句的分類任務(wù)有著重要影響，對此，本文不僅捕捉隱式情感句本身的情感特征，還對隱式情感句上下文的情感特征進(jìn)行提取。

本文對隱式情感句分類任務(wù)可以定義為：對于給定的任意隱式情感句Xt及其對應(yīng)的上下文句子Xc，對其進(jìn)行預(yù)測Xt和Xc對應(yīng)的Pt。公式（8）定義了隱式情感句的分類任務(wù)。

公式（8）中，Xt表示隱式情感句包含的語義情感特征，用矩陣形式表示為Xt=(Xt1,Xt2,…,Xtn)，其中，n表示隱式情感句中包含的詞語數(shù)量，Xtn表示隱式情感句Xt的第n個詞語的情感特征。Xc表示隱式情感句上下文句子中包含的語義情感特征，用矩陣形式表示為Xc=(Vtc1,Vtc2,…,Vtcn)，其中，Vtcn表示隱式情感句Xt對應(yīng)的上下文語句的第n個詞語的情感特征。Pt表示隱式情感句Xt所屬類別的概率，其中pt0表示的是該隱式情感句為中性的概率，pt1表示的是該隱式情感句為褒義的概率，pt2表示的是該隱式情感句為貶義的概率。

2.2 RBLA模型結(jié)構(gòu)

針對隱式情感分析面臨的句中隱藏情感捕捉困難等問題，本文提出了一種基于RoBERTa的RBLA融合模型，利用大規(guī)模預(yù)訓(xùn)練模型RoBERTa學(xué)習(xí)隱式情感句中字詞的語義特征。該模型融合了雙向長短期記憶網(wǎng)絡(luò)和注意力機(jī)制，捕獲句子間的依賴關(guān)系，可有效提取文本中深層次的隱式情感特征，從而可更好地提升隱式情感分析模型的性能。RBLA模型包括輸入層、預(yù)訓(xùn)練模型層、BiLSTM層、Attention層、全連接層和輸出層，其模型結(jié)構(gòu)如圖4所示。

圖4 RBLA模型邏輯結(jié)構(gòu)Fig.4 Logical structure of RBLA model

2.3 輸入層

本文模型的輸入層將輸入文本中的每個詞語通過one-hot編碼表示法轉(zhuǎn)換為相對應(yīng)的向量。首先將分類值映射成整數(shù)值，然后將每個整數(shù)值表示為二進(jìn)制向量，再使用位置編碼保存單詞在序列中的相對或絕對位置、感知詞與詞之間的位置信息，將得到的詞向量與位置編碼相加生成的詞嵌入向量作為預(yù)訓(xùn)練層中的輸入，表示為，其中，E的維度大小為n×d。輸入層邏輯結(jié)構(gòu)如圖5所示。其中，[CLS]表示起始位置分隔符，[SEP]表示句子結(jié)束標(biāo)識符。

圖5 輸入層邏輯結(jié)構(gòu)Fig.5 Logical structure of input layer

2.4 RoBERTa層

本文模型的RoBERTa層采用了12層的Transformer雙向編碼器作為隱式情感句的特征提取器。RBLA模型輸入層中的每個詞嵌入向量經(jīng)過RoBERTa層編碼運(yùn)算后，可實(shí)現(xiàn)詞嵌入向量之間的雙向關(guān)聯(lián)，使得模型能學(xué)習(xí)到不同語境下每個詞嵌入向量包含的語義特征。

RoBERTa層采用動態(tài)Masking機(jī)制對詞嵌入向量進(jìn)行預(yù)訓(xùn)練，其結(jié)構(gòu)如圖6所示。該層需要進(jìn)行兩個預(yù)訓(xùn)練任務(wù)。第一個任務(wù)需將詞嵌入向量復(fù)制10份，每份都隨機(jī)選擇15%的Tokens進(jìn)行動態(tài)遮蓋，使得在大量數(shù)據(jù)不斷輸入的過程中，模型會逐漸適應(yīng)不同的掩碼策略，學(xué)習(xí)到不同的語言表征。第二個任務(wù)則使用FULL-SENTENCES訓(xùn)練方式，從多角度學(xué)習(xí)來自輸入層的詞嵌入向量，豐富語義信息，并將當(dāng)前的輸出輸入到前饋神經(jīng)網(wǎng)絡(luò)層，以加快收斂速度。詞向量E經(jīng)過RoBERTa層編碼后得到隱式情感文本中每個隱式情感詞在不同語境下所包含的情感特征為Xt=(Xt1,Xt2,…,Xtn)。

圖6 RoBERTa層邏輯結(jié)構(gòu)圖Fig.6 Logical structure of RoBERTa layer

2.5 BiLSTM層

在文本情感分類任務(wù)中，當(dāng)前時刻的輸出不僅和當(dāng)前時刻之前的狀態(tài)有關(guān)，還可能和當(dāng)前時刻之后的狀態(tài)有關(guān)系。雙向長短期記憶網(wǎng)絡(luò)BiLSTM是由一個正向處理序列的LSTM和一個反向處理序列的LSTM組成，可對輸入的上下文信息進(jìn)行深層次特征提取，從而有效捕捉隱式情感句上下文中包含的情感特征。因此，本文模型在RoBERTa層后引入了BiLSTM層，利用BiLSTM對隱式情感文本的上下文進(jìn)行特征提取，以更加準(zhǔn)確地捕獲隱式情感文本的上下文全局特征信息，從而彌補(bǔ)RoBERTa層中預(yù)訓(xùn)練模型容易遺忘上下文信息的缺陷。BiLSTM的邏輯結(jié)構(gòu)如圖7所示。在BiLSTM層中，兩個反向的LSTM共同決定了BiLSTM的最終輸出。對于每個時刻t，輸入信息會同時提供給正反兩個方向的LSTM。

圖7 BiLSTM的邏輯結(jié)構(gòu)Fig.7 Logical structure of BiLSTM

雙向長短期記憶網(wǎng)絡(luò)對隱式情感文本進(jìn)行特征提取時，第一層的正向長短期記憶網(wǎng)絡(luò)對t時刻的輸入信息xt與t-1時刻的輸出信息St-1進(jìn)行正向運(yùn)算得到t時刻的正向輸出信息St，其計算如公式（9）所示；第二層反向長短期記憶網(wǎng)絡(luò)對t時刻的輸入信息xt與t+1時刻的輸出信息Lt+1進(jìn)行反向運(yùn)算得到t時刻的反向輸出信息Lt，其計算如公式（10）所示；隱藏層將正反向的運(yùn)算結(jié)果保存下來共同決定雙向長短期記憶網(wǎng)絡(luò)在t時刻最終的輸出結(jié)果Vt，其計算如公式（11）所示：

其中，W、U、V代表正向計算的權(quán)重矩陣，W"、U"、V"代表反向計算的權(quán)重矩陣。通過BiLSTM層輸出隱式情感句上下文中隱式情感詞包含的情感特征，表示為Xc=(Vtc1,Vtc2,…,Vtcn)。

2.6 注意力機(jī)制層

為了有效突出隱式情感文本中隱含的重要信息，本文提出的RBLA模型還引入了注意力機(jī)制，對BiLSTM層的輸出詞向量依據(jù)其重要性分配高低不同的權(quán)重值，可減少預(yù)測所需的可學(xué)習(xí)權(quán)重的數(shù)量，從而更高效地學(xué)習(xí)目標(biāo)詞周圍句子的上下文嵌入語義。同時還可以在對每個輸入詞向量的權(quán)重系數(shù)再次加權(quán)平均時，有效過濾原文本中存在冗余信息和噪聲，從而進(jìn)一步提高分類的精度。

注意力機(jī)制層首先對BiLSTM層輸出的隱式情感句上下文包含的情感特征Xc進(jìn)行計算，得到其隱含表示H，其計算如公式（12）所示；然后計算H與隨機(jī)初始化參數(shù)矩陣WT的相似度，將輸入的每個詞向量在整體語義場景下分配的權(quán)重系數(shù)用softmax函數(shù)進(jìn)行歸一化處理，得到每個詞向量的標(biāo)準(zhǔn)化權(quán)重α，其計算如公式（13）所示；最后將得到的權(quán)重矩陣αT與BiLSTM層輸出的隱式情感句上下文的情感特征信息Xc相乘得到最終的加權(quán)輸出Y，Y即是捕獲到的隱式情感文本中包含的隱式情感特征，其計算如公式（14）所示：

其中，Wa表示注意力層權(quán)重矩陣，ba表示注意力機(jī)制層的偏置項(xiàng)。

2.7 全連接層

本文模型的全連接層將隱式情感傾向相關(guān)的融合分布式特征表示映射到實(shí)例標(biāo)簽空間，對隱式情感文本進(jìn)行分類。將注意力機(jī)制層的輸出Y輸入到全連接層，與全連接層權(quán)重矩陣Wd計算后輸出M，計算如公式（15）所示：

其中，bd表示全連接層的偏置項(xiàng)。

2.8 輸出層

本文模型的輸出層采用softmax函數(shù)對全連接層的輸出信息M進(jìn)行歸一化處理，得到隱式情感文本中每個隱式情感詞的概率值m，通過隱式情感句中m值最大的隱式情感詞判斷隱式情感句的情感傾向。計算過程如公式（16）所示：

其中，Ws表示輸出層參數(shù)矩陣，b為輸出層的偏置項(xiàng)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與預(yù)處理

本文評測使用的數(shù)據(jù)集來源于2021年舉辦的第十屆全國社會媒體處理大會中文隱式情感分析評測數(shù)據(jù)集。該數(shù)據(jù)集主要來源于各大產(chǎn)品論壇、旅游網(wǎng)站、新浪微博，內(nèi)容包括旅游、國考、傳統(tǒng)節(jié)日、春節(jié)聯(lián)歡晚會、霧霾等方面。該數(shù)據(jù)集使用了一個大規(guī)模情感詞典對所有包含顯式情感詞的文本進(jìn)行過濾，并對剩下不含顯式情感詞的數(shù)據(jù)進(jìn)行標(biāo)注。其中，無情感傾向的數(shù)據(jù)被標(biāo)注為標(biāo)簽0、具有褒義隱式情感傾向的數(shù)據(jù)被標(biāo)注為標(biāo)簽1、具有貶義隱式情感傾向的數(shù)據(jù)被標(biāo)注為標(biāo)簽2。該數(shù)據(jù)集相關(guān)信息如表2所示。

表2 數(shù)據(jù)集信息表Table 2 Datasets information

由于數(shù)據(jù)集中的樣本數(shù)量不平衡，本文采用了Easy Ensemble采樣方法[17]對訓(xùn)練數(shù)據(jù)進(jìn)行隨機(jī)下采樣。為了保障采樣質(zhì)量，每次抽樣過程均獨(dú)立采樣，對數(shù)據(jù)量大的類別降低抽樣比例，對數(shù)據(jù)量小的類別提高抽樣比例。實(shí)驗(yàn)過程中，對數(shù)據(jù)集進(jìn)行10次采樣后，生成了相對平衡的測試數(shù)據(jù)集。再結(jié)合CleanLab數(shù)據(jù)清洗方法對生成的新數(shù)據(jù)集進(jìn)行數(shù)據(jù)交叉清洗，去除數(shù)據(jù)集中的異常點(diǎn)。為了增強(qiáng)本文模型的泛化能力，在不改變原文語義的情況下，本文還對數(shù)據(jù)進(jìn)行了增強(qiáng)處理。在下采樣的過程中，本文使用了NLPCDA工具包[18]對數(shù)據(jù)進(jìn)行增強(qiáng)操作，利用隨機(jī)同義詞替換方法對數(shù)據(jù)集進(jìn)行擴(kuò)充。

3.2 參數(shù)設(shè)置

為了在隱式情感分析數(shù)據(jù)集上取得更優(yōu)的分類結(jié)果，本實(shí)驗(yàn)進(jìn)行了一些超參數(shù)設(shè)置，如表3所示。其中，Batch Size表示每個batch中訓(xùn)練樣本數(shù)量，BiLSTM網(wǎng)絡(luò)層的兩層LSTM設(shè)置相同的隱藏層單元數(shù)，Epoch表示訓(xùn)練迭代次數(shù)，LR表示學(xué)習(xí)率。實(shí)驗(yàn)采用了Dropout方法緩解過擬合現(xiàn)象。

表3 參數(shù)設(shè)置Table 3 Parameter settings

考慮到本次實(shí)驗(yàn)使用的計算平臺算力有限，Batch Size值設(shè)為32。BiLSTM網(wǎng)絡(luò)層的隱藏單元數(shù)在實(shí)驗(yàn)過程中分別設(shè)置了64、128、256三個值，當(dāng)其取值128時分類效果最好，因此，將BiLSTM網(wǎng)絡(luò)層的隱藏單元數(shù)設(shè)為128。通過類似的實(shí)驗(yàn)方法確定了LR參數(shù)的取值。參數(shù)Epoch和Dropout的取值分析如3.5.3小節(jié)所述。

3.3 評價方法

實(shí)驗(yàn)采用準(zhǔn)確率P、召回率R以及F1值等3個指標(biāo)評價模型性能，其計算分別如公式（17）～（19）所示。

（1）精確率P表示正樣本預(yù)測為正樣本的數(shù)量占所有預(yù)測為正樣本的比重，計算如公式（17）所示：

（2）召回率R表示正樣本預(yù)測為正樣本的數(shù)量占所有實(shí)際類別為正的樣本數(shù)量的比重，計算如公式（18）所示：

（3）F1值為精確率和召回率的加權(quán)調(diào)和平均值，計算如公式（19）所示：

其中，TP表示將正樣本預(yù)測為正樣本的數(shù)量；FN表示將正樣本預(yù)測為負(fù)樣本的數(shù)量；FP表示將負(fù)樣本預(yù)測為正樣本的數(shù)量。

3.4 對比模型

為了驗(yàn)證RBLA模型在隱式情感分析任務(wù)中的有效性，本文進(jìn)行了兩種類別的對比實(shí)驗(yàn)。第一種是將RBLA模型與幾種典型的現(xiàn)有文本分類模型進(jìn)行比較；第二種是探究注意力機(jī)制對本文模型的影響。本文實(shí)驗(yàn)共與以下六種文本分類模型進(jìn)行了對比。

（1）LSTM：通過學(xué)習(xí)句子的語義信息，獲取句子間依賴關(guān)系的傳統(tǒng)文本分類模型。

（2）LSTM-Attention[19]：在長短期記憶網(wǎng)絡(luò)中引入注意力機(jī)制的隱式情感分析模型。

（3）BERT：使用BERT預(yù)訓(xùn)練模型做隱式情感文本分類任務(wù)。

（4）RoBERTa：使用RoBERTa預(yù)訓(xùn)練模型做隱式情感文本分類任務(wù)。

（5）EBA（ERNIE-BiLSTM-Attention）：使用ERNIE2.0預(yù)訓(xùn)練模型進(jìn)行文本表示，再利用BiLSTM+Attention混合網(wǎng)絡(luò)將其輸出文本表示進(jìn)行隱式情感分析。

（6）CA-TRNN[20]：使用BiLSTM和TRNN兩個模型分別對上下文和目標(biāo)情感語句進(jìn)行建模的隱式情感分析模型。

3.5 實(shí)驗(yàn)結(jié)果與分析

3.5.1 本文模型對比當(dāng)前流行的分類模型

為了驗(yàn)證RBLA模型在隱式情感分類中的整體性能，分別與上述六種模型進(jìn)行了對比實(shí)驗(yàn)，測試了它們的精確率、召回率和F1值，其實(shí)驗(yàn)結(jié)果如表4所示。

表4 實(shí)驗(yàn)結(jié)果對比Table 4 Comparison of experimental results單位：%

從表4可以看出，RBLA模型與LSTM-Attention、LSTM、BERT和RoBERTa四種基線模型中性能表現(xiàn)最好的RoBERTa模型相比，RBLA模型在精確率、召回率和F1值上分別高出了3.07、2.12和1.01個百分點(diǎn)。這說明相較于典型的基線模型，本文提出的RBLA融合模型在隱式情感分析任務(wù)上具有更好的性能。另外，與當(dāng)前主流的CA-TRNN和EBA兩種隱式情感分析模型中分類效果最好的EBA模型相比，RBLA模型在精確率、召回率和F1值上分別高出了EBA模型1.44、2.72和1.42個百分點(diǎn)。這說明相較于主流的融合模型，本文的RBLA融合模型在RoBERTa預(yù)訓(xùn)練模型的基礎(chǔ)上融合雙向長短期記憶網(wǎng)絡(luò)和注意力機(jī)制后，更加準(zhǔn)確地捕獲了隱式情感文本中的隱含情感特征，對隱式情感分析的整體效果得到了有效提升。

3.5.2 探究注意力機(jī)制對本文模型的影響

本文將隱式情感文本的情感傾向類別定義為中性、褒義和貶義三種，分別用標(biāo)簽0、1、2表示。為了探究RBLA模型方法中注意力機(jī)制對情感分類的影響，對RBLA模型和不加注意力機(jī)制的RBL（Roberta-BiLSTM）模型進(jìn)行了隱式情感分類性能對比，實(shí)驗(yàn)結(jié)果如表5所示。

表5 情感分類結(jié)果對比Table 5 Comparison of emotion classification results單位：%

從表5可以看出，本文提出的RBLA模型在中性、褒義和貶義三種情感分類的精確率上分別高出RBL模型1.63、0.71和1.73個百分點(diǎn)。同樣，相較于RBL模型，RBLA模型在中性情感分類和貶義情感分類的F1值上分別高出0.72和0.78個百分點(diǎn)，在褒義情感分類的召回率上高出1.04個百分點(diǎn)。雖然RBLA模型在中性情感和貶義情感分類的召回率及褒義情感分類的F1值上略低于RBL模型，但從整體性能上看，RBLA模型在精確率和F1值上均高于RBL模型。

3.5.3 模型參數(shù)分析

為了進(jìn)一步提高模型預(yù)測精確率，實(shí)驗(yàn)還采用Dropout方法緩解過擬合現(xiàn)象。Dropout取值不同會影響模型的輸出結(jié)果。為了設(shè)置合理的Dropout值，進(jìn)行了多組實(shí)驗(yàn)。從圖8中可以看出，當(dāng)Dropout取值為0.5時，各項(xiàng)指標(biāo)值最高，提高了模型的泛化能力。因此，Dropout參數(shù)取值為0.5。

圖8 Dropout曲線Fig.8 Dropout curve

為了進(jìn)一步展示本文提出的RBLA模型的優(yōu)越性，本文對該模型的訓(xùn)練過程進(jìn)行了進(jìn)一步探究。為了反映實(shí)驗(yàn)在迭代過程中的動態(tài)變化，本次進(jìn)行了10次迭代實(shí)驗(yàn)。先對整體損失率進(jìn)行了動態(tài)刻畫，再對不同的情感的精確率、召回率和F1值分別進(jìn)行了動態(tài)刻畫，實(shí)驗(yàn)結(jié)果如圖9～圖12所示。

圖9 整體損失率變化圖Fig.9 Variation of loss rate

圖12 不同情感的F1值Fig.12 F1 values of different sentiments

圖11 不同情感的召回率Fig.11 Recall rate of different sentiments

圖9展示了RBLA模型訓(xùn)練過程中的loss值整體變化趨勢，在第10次迭代完成時，趨于收斂。因此，將參數(shù)Epoch的值設(shè)為10。

為了驗(yàn)證Epoch參數(shù)取值的有效性，還對RBLA模型的精確率、召回率和F1值的收斂情況進(jìn)行了實(shí)驗(yàn)分析。從圖10～圖12可以看出，當(dāng)Epoch取值為10時，RBLA模型的精確率、召回率和F1值均趨于收斂。

圖10 不同情感的精確率Fig.10 Precision rate of different emotions

另外，從圖10～圖12還可以看出，RBLA模型對中性情感的預(yù)測具有最佳效果。而在預(yù)測褒義情感分類時，精確率、召回率和F1值相較于其他兩種情感整體偏低。褒義情感在三種情感分類中的初始指標(biāo)值最低，說明隱式文本中的褒義情感識別難度更大。但是，在模型訓(xùn)練過程中，RBLA在隱式文本的褒義情感分類性能上也取得了較好的提升，褒義情感的各項(xiàng)指標(biāo)的增長率均高于中性情感和貶義情感。

3.5.4 實(shí)例分析

為了進(jìn)一步分析RBLA模型提取的隱式情感特征在隱式情感分類中的有效性，本文從數(shù)據(jù)集中抽取了幾個隱式情感例句與其他模型進(jìn)行對比分析，如表6所示。其中，“多數(shù)模型”代表本文在3.4節(jié)中選取的對比模型中大部分模型得出的結(jié)果，“少數(shù)模型”代表本文在3.4節(jié)中選取的對比模型中小部分模型得出的結(jié)果。

表6 情感句對比Table 6 Comparison of emotional sentence

從表6中的1、2句可以看出，RBLA模型和大部分對比模型在中性情感句上都已具有較好的分析效果。從3、4句可以看出，對褒義情感句進(jìn)行情感傾向判斷時的準(zhǔn)確率較低，難度較大，但RBLA模型相較于大部分對比模型在褒義情感句上的分析效果最好。從5、6句可以看出，RBLA模型相較于其他對比模型在貶義情感句上的分析效果最優(yōu)。更有力地說明了本文提出的RBLA模型在隱式情感分析任務(wù)上有效提高了隱式情感特征提取的準(zhǔn)確性。

4 結(jié)語

針對隱式情感文本中隱式情感特征捕捉不夠準(zhǔn)確導(dǎo)致的情感傾向分析困難問題，本文提出了基于RoBERTa融合雙向長短期記憶網(wǎng)絡(luò)和注意力機(jī)制的RBLA模型。該模型使用RoBERTa模型捕獲隱式情感句中字詞的語義特征，再使用BiLSTM學(xué)習(xí)句子的正反向語義信息，捕獲句子間的依賴關(guān)系，以此對隱式情感句上下文進(jìn)行深層次的特征提取，最后使用注意力機(jī)制對包含隱式情感的情感詞進(jìn)行權(quán)重計算，突出文本中隱含的重要情感信息，進(jìn)一步提升了隱式情感分析的性能。通過實(shí)驗(yàn)結(jié)果可以看出，與現(xiàn)有的幾種典型的隱式情感文本分類模型相比，本文提出的RBLA模型在隱式情感分析的整體性能上得到了有效提升。

從實(shí)驗(yàn)結(jié)果來看，褒義隱式情感分類效果不如中性隱式情感和貶義隱式情感分類效果好。本文接下來將對隱式情感分析中的褒義情感分類開展更深層次的研究。