基于ERNIE 和雙重注意力機(jī)制的微博情感分析

沈 彬，嚴(yán) 馨**，周麗華，徐廣義，劉艷超

(1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500；2.昆明理工大學(xué) 云南省人工智能重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500；3.云南大學(xué) 信息學(xué)院，云南 昆明 650500；4.云南南天電子信息產(chǎn)業(yè)股份有限公司，云南 昆明 650040；5.湖北工程學(xué)院 信息技術(shù)中心，湖北 孝感 432000)

隨著微博、知乎、Twitter 等社交平臺(tái)的快速發(fā)展和普及，越來越多的用戶可以在這些社交平臺(tái)上發(fā)表自己對(duì)某個(gè)話題的觀點(diǎn)、態(tài)度和情感，由此產(chǎn)生了大量帶有情感色彩的評(píng)論文本數(shù)據(jù).微博評(píng)論文本屬于短文本的范疇，具有口語化、噪聲大、網(wǎng)絡(luò)新詞多以及上下文信息有限等特點(diǎn)，因此給微博情感分析帶來了巨大的挑戰(zhàn)[1].如何針對(duì)微博評(píng)論文本的這些特點(diǎn)進(jìn)行情感分析，挖掘其中蘊(yùn)含的有價(jià)值的信息，對(duì)于政府決策、產(chǎn)品營(yíng)銷和網(wǎng)絡(luò)輿情監(jiān)控等具有重要的意義[2].

情感分析方法主要包括基于情感詞典的方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法.基于情感詞典的方法實(shí)質(zhì)上是一種“詞典+規(guī)則”的方法，該方法需要構(gòu)建一個(gè)領(lǐng)域情感詞典，并結(jié)合人工設(shè)計(jì)的一些規(guī)則來判斷評(píng)論文本的情感傾向性.例如，趙妍妍等[3]通過構(gòu)建副詞、否定詞、情感表情等相關(guān)詞典來擴(kuò)充情感詞典，在微博情感分類的性能上相比基線方法提高了1.13%.Zhang 等[4]使用擴(kuò)展情感詞典來計(jì)算微博文本情感分類的權(quán)重，相比基本情感詞典提高了近10%.Xu 等[5]構(gòu)造了一個(gè)包含基本情感詞、領(lǐng)域情感詞和多義情感詞的擴(kuò)展情感詞典，并利用擴(kuò)展情感詞典和設(shè)計(jì)的評(píng)分規(guī)則進(jìn)行文本情感分類.然而，基于情感詞典的方法嚴(yán)重依賴于情感詞典的構(gòu)建和人工設(shè)計(jì)的規(guī)則，人工干預(yù)大，效果較差.

基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法通過人工設(shè)計(jì)特征，并將這些特征映射為多維特征向量來訓(xùn)練一個(gè)分類器，性能上較基于情感詞典的方法有了很大的提升，常用的分類器有支持向量機(jī)（Support Vector Machine,SVM）、樸素貝葉斯（Naive Bayes,NB）和最大熵（Maximum Entropy,ME）等.例如，楊爽等[6]提出一種基于SVM 多特征融合的微博多級(jí)情感分類方法，通過融合語義、情感、詞性等特征實(shí)現(xiàn)了情感的五級(jí)分類.Naz 等[7]提出了一種利用SVM分類器和n-gram 特征進(jìn)行Twitter 情感分析的方法.然而，基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法依賴于情感特征的提取和分類器的組合選擇，而且不能充分利用文本的上下文語境信息，影響了分類的準(zhǔn)確性.

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，越來越多的研究者將以卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Networks,CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）為代表的深度學(xué)習(xí)模型應(yīng)用于文本情感分析領(lǐng)域中.Kim 等[8]使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)電影評(píng)論進(jìn)行情感分類，驗(yàn)證了其性能優(yōu)于遞歸神經(jīng)網(wǎng)絡(luò).劉龍飛等[9]使用字級(jí)別和詞級(jí)別兩個(gè)不同粒度的文本表示作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，以此來學(xué)習(xí)句子的特征信息，實(shí)驗(yàn)結(jié)果表明字級(jí)別的原始特征好于詞級(jí)別的原始特征.Song 等[10]提出了一種新的位置敏感CNN，它可以通過捕獲3 種不同語言級(jí)別（單詞級(jí)別、短語級(jí)別和句子級(jí)別）的位置特征來提高特征提取的能力.滕磊等[11]提出基于膠囊網(wǎng)絡(luò)的模型（Model based on Asp-Routing and Doc-Routing Capsule,MADC），用來預(yù)測(cè)評(píng)論文本的方面級(jí)情感.Abdi 等[12]提出了一種基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long short-term memory,LSTM）的模型，該模型通過多特征融合的方法將評(píng)論情感分類的準(zhǔn)確率提高了5%以上.為了充分考慮CNN 和RNN的優(yōu)點(diǎn)，杜永萍等[13]提出一種基于CNN-LSTM 的情感分類方法，在對(duì)含有隱含語義信息的短文本評(píng)論情感傾向性識(shí)別中取得了不錯(cuò)的效果.Madasu等[14]提出了一種順序卷積注意遞歸網(wǎng)絡(luò)（Sequential Convolutional Attentive Recurrent Network,SCARN），取得了比傳統(tǒng)的CNN 和LSTM 更好的性能.由于注意力機(jī)制在視覺圖像領(lǐng)域中的成功應(yīng)用，一些研究者也將注意力機(jī)制應(yīng)用到文本情感分析領(lǐng)域中.例如，吳小華等[15]提出了基于字向量表示方法并結(jié)合Self-attention 和BiLSTM 的中文短文本情感分析算法.Lei 等[16]提出一種多情感資源注意力模型，該模型可以從三種情感資源（情感詞典、否定詞、程度副詞）中捕獲更全面的情感信息，并在電影評(píng)論數(shù)據(jù)集（Movie Reviews,MR）和斯坦福情感樹庫（Stanford Sentiment Treebank,SST）上提高1%以上的準(zhǔn)確率.

在深度學(xué)習(xí)中，一個(gè)關(guān)鍵的步驟是對(duì)文本進(jìn)行向量化[17].Word2vec[18]作為自然語言處理（Natural Language Processing,NLP）領(lǐng)域的詞向量工具，通過無監(jiān)督上下文無關(guān)的訓(xùn)練方式，將詞映射為低維、稠密的分布式特征向量，使得訓(xùn)練好的詞向量中攜帶著潛在的語義信息.但是Word2vec 無法表示詞的多義性.針對(duì)這個(gè)問題，研究人員提出了各種預(yù)訓(xùn)練模型，通過對(duì)預(yù)訓(xùn)練模型微調(diào)，可以提高多項(xiàng)NLP 任務(wù)的性能.曾誠(chéng)等[19]提出一種結(jié)合ALBERT預(yù)訓(xùn)練模型與卷積循環(huán)神經(jīng)網(wǎng)絡(luò)（Convolutional Recurrent Neural Network,CRNN）的彈幕文本情感分析方法ALBERT_CRNN，實(shí)驗(yàn)結(jié)果均優(yōu)于傳統(tǒng)方法.2018 年，Peters 等[20]提出了語言模型嵌入（Embeddings from Language Models,ELMo）算法，該算法采用雙向LSTM 語言模型來學(xué)習(xí)具有上下文信息的詞嵌入表示，但是該方法只是將兩個(gè)方向的語言模型進(jìn)行拼接，并不是真正意義上的雙向建模.同年，Google 的Devlin 等[21]提出了基于Transformer 的雙向編碼器表示（Bidirectional Encoder Representation from Transformers,BERT）模型，使用具有強(qiáng)大特征提取能力的雙向Transformer 編碼器，通過遮蔽語言模型（Masked Language Model,MLM）和下一句話預(yù)測(cè)（Next Sentence Prediction,NSP）兩個(gè)無監(jiān)督預(yù)測(cè)任務(wù)來獲得預(yù)訓(xùn)練模型.2019 年，Sun 等[22]提出了基于知識(shí)增強(qiáng)語義表示（Enhanced Representation through Knowledge Integration,ERNIE）模型，相較于BERT，ERNIE 使用更大的中文訓(xùn)練語料，并改進(jìn)了掩碼策略.ERNIE 模型在訓(xùn)練過程中通過對(duì)字、短語和實(shí)體進(jìn)行掩碼，可以讓模型隱式地學(xué)習(xí)到實(shí)體之間的先驗(yàn)語義知識(shí)和長(zhǎng)語義依賴關(guān)系，增強(qiáng)了模型的語義表示能力.

盡管目前的神經(jīng)網(wǎng)絡(luò)模型在情感分析中已經(jīng)取得了巨大的成功，但是情感資源在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用仍存在局限.文獻(xiàn)[9,15]雖然針對(duì)微博評(píng)論文本的相關(guān)特點(diǎn)驗(yàn)證了字級(jí)別特征更適用于微博情感分析，但是并沒有解決多義性的問題.受文獻(xiàn)[9,16,23-24]的啟發(fā)，本文在引入情感資源和注意力機(jī)制的基礎(chǔ)上，結(jié)合ERNIE 預(yù)訓(xùn)練模型能夠根據(jù)上下文語境獲取字級(jí)別的動(dòng)態(tài)特征表示以及具有更豐富的語義表示能力等優(yōu)點(diǎn)，提出了一種基于ERNIE 和雙重注意力機(jī)制的微博情感分析模型.實(shí)驗(yàn)結(jié)果表明，新模型在COAE2014 和weibo_senti_100k 數(shù)據(jù)集上的分類準(zhǔn)確率分別達(dá)到了94.50%和98.23%，同時(shí)也驗(yàn)證了將情感資源運(yùn)用到神經(jīng)網(wǎng)絡(luò)中的有效性.

1 ERNIE-DAM 情感分析模型

1.1 情感信息提取評(píng)論文本中包含著大量的情感信息，如情感詞或者修飾詞與情感詞的搭配組合等，當(dāng)情感詞被修飾詞所修飾時(shí)，有可能伴隨著整句的情感極性發(fā)生變化，如極性反轉(zhuǎn)、加強(qiáng)或者減弱等.修飾詞詞典一般包括連詞、否定詞、程度副詞等.參考文獻(xiàn)[16]構(gòu)建情感資源庫的方法，本文主要將情感詞、程度副詞、否定詞加入到情感資源庫中，并通過設(shè)定的提取規(guī)則從文本中提取出包含的情感信息.設(shè)定的提取規(guī)則如下：

規(guī)則1遍歷整個(gè)文本，若當(dāng)前詞語是情感詞，則將當(dāng)前詞語加入到情感信息集合中.

規(guī)則2遍歷整個(gè)文本，若當(dāng)前詞語是程度副詞或者否定詞，且下一個(gè)詞語是情感詞，則將二者作為一個(gè)整體加入到情感信息集合中，并將情感詞從情感信息集合中刪除.

規(guī)則3遍歷整個(gè)文本，若當(dāng)前詞語是程度副詞，且后面緊依次緊跟否定詞和情感詞，則將三者作為一個(gè)整體加入到情感信息集合中，并將否定詞與情感詞的整體從情感信息集合中刪除；類似的，若當(dāng)前詞語是否定詞，且后面依次緊跟程度副詞和情感詞，則將三者作為一個(gè)整體加入到情感信息集合中，并將程度副詞與情感詞的整體從情感信息集合中刪除.

1.2 模型構(gòu)建本文提出的ERNIE-DAM 模型在縱向結(jié)構(gòu)上包含輸入層、特征提取層、特征融合層和情感輸出層4 個(gè)部分，在橫向結(jié)構(gòu)上包含2 個(gè)處理通道：基于BLSTM 網(wǎng)絡(luò)和注意力機(jī)制的通道負(fù)責(zé)提取評(píng)論文本的上下文關(guān)系特征，基于全連接網(wǎng)絡(luò)和注意力機(jī)制的通道則負(fù)責(zé)提取評(píng)論文本中包含的情感信息的情感特征，并且均采用ERNIE 預(yù)訓(xùn)練模型獲取文本字級(jí)別的動(dòng)態(tài)特征表示.模型的整體架構(gòu)如圖1 所示.

圖1 ERNIE-DAM 模型Fig.1 Model of ERNIE-DAM

1.2.1 輸入層 輸入層包括評(píng)論文本及其包含的情感信息.對(duì)于一條評(píng)論文本，根據(jù)1.1 節(jié)中情感信息的提取規(guī)則，提取出該條評(píng)論文本中包含的情感信息.例如，評(píng)論文本“我超喜歡三星這款手機(jī)”中包含的情感信息為“超喜歡”.將評(píng)論文本和情感信息分別按照字粒度進(jìn)行切分，并在首位置拼接一個(gè)分類標(biāo)志符號(hào)[CLS]，即X={[CLS],x1,x2,···,xn}，E={[CLS],e1,e2,···,em}，其中xi和ei分別表示評(píng)論文本和情感信息中的第i個(gè)字.然后輸入到ERNIE預(yù)訓(xùn)練模型中，經(jīng)過ERNIE 前向計(jì)算后得到評(píng)論文本的特征向量矩陣X和情感信息的特征向量矩陣E：

式中，⊕為拼接操作，n和m分別表示評(píng)論文本和情感信息的長(zhǎng)度.

1.2.2 特征提取層

1.2.2.1 上下文關(guān)系特征 在評(píng)論文本中，不僅要考慮序列內(nèi)部之間的上下文語義依賴關(guān)系，還要關(guān)注到對(duì)于情感分類更加關(guān)鍵的部分，對(duì)于重要的部分應(yīng)該賦予更高的權(quán)重.因此采用BLSTM 網(wǎng)絡(luò)和注意力機(jī)制相結(jié)合的方法對(duì)評(píng)論文本的上下文信息進(jìn)行編碼，以獲取文本的上下文關(guān)系特征.

LSTM 作為循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 的變體，能夠很好地解決RNN 模型在訓(xùn)練過程中存在的梯度消失和梯度爆炸等問題，并且具有較強(qiáng)的長(zhǎng)距離語義捕捉能力，在處理序列化文本中得到廣泛使用[24].LSTM 神經(jīng)網(wǎng)絡(luò)的前向傳播計(jì)算如下所示：

式中，xt為當(dāng)前時(shí)刻的輸入，ht?1為上一時(shí)刻的外部狀態(tài)，Wi、Wf、Wo和Wc為權(quán)重參數(shù)，bi、bf、bo和bc為偏置，σ為sigmoid 激活函數(shù)，tanh為雙曲正切激活函數(shù)，ft表示遺忘門，決定上一時(shí)刻的內(nèi)部狀態(tài)ct?1中哪些信息應(yīng)該被拋棄，it為更新門，決定當(dāng)前時(shí)刻的候選狀態(tài)中哪些信息應(yīng)該被保留，ot為輸出門，決定當(dāng)前時(shí)刻的內(nèi)部狀態(tài)ct哪些信息應(yīng)該輸出給外部狀態(tài)ht.

由于LSTM 只能捕獲文本中的正向語義信息，缺乏對(duì)逆向語義信息的捕獲，因此本文采用BLSTM 來捕獲文本中正反兩個(gè)方向的長(zhǎng)距離語義依賴關(guān)系.在BLSTM中，某一時(shí)刻t的輸出狀態(tài)由正向LSTM的輸出和反向LSTM的輸出相連接組成：

1.2.2.2 情感特征 在評(píng)論文本包含的情感信息中，情感信息之間只是具有情感表示、情感極性的加強(qiáng)和減弱以及反轉(zhuǎn)等功能，不像文本序列中一樣存在較強(qiáng)的語義依賴關(guān)系[30].同時(shí)，評(píng)論文本中可能包含多個(gè)情感詞，不同的情感詞對(duì)于評(píng)論文本的情感傾向性的影響程度也是不一樣的.因此采用全連接網(wǎng)絡(luò)和注意力機(jī)制相結(jié)合的方法對(duì)情感信息進(jìn)行編碼，以獲取最顯著的情感特征.首先使用兩層的全連接網(wǎng)絡(luò)對(duì)情感信息進(jìn)行編碼：

式中，We1、We2和be1、be2為全連接網(wǎng)絡(luò)的權(quán)重參數(shù)和偏置.

式中，Ww和bw為權(quán)重參數(shù)和偏置，uw為softmax函數(shù)的權(quán)重參數(shù)，βt為輸入狀態(tài)的權(quán)重.

1.2.3 特征融合層 特征融合層的目的是將上下文關(guān)系特征向量和情感特征向量進(jìn)行融合，從而構(gòu)造新的特征向量表示.為了簡(jiǎn)化模型的復(fù)雜度和計(jì)算量，采用簡(jiǎn)單的向量拼接方式，將上下文關(guān)系特征向量vc和情感特征向量ve沿維度方向拼接，得到最終的特征向量表示v?，如下所示：

1.2.4 情感輸出層 將特征融合層輸出的特征向量v?通過softmax分類器，從而得到模型最終預(yù)測(cè)該條評(píng)論文本屬于哪個(gè)類別的分類結(jié)果，如下式所示：

式中，w為權(quán)重參數(shù)，b為偏置，為該評(píng)論文本屬于哪個(gè)情感類別的概率分布.

1.2.5 模型訓(xùn)練 在模型訓(xùn)練的過程中，本文使用交叉熵作為損失函數(shù)，并通過端到端的反向傳播算法（back propagation）來更新網(wǎng)絡(luò)參數(shù)，如下所示：

式中，D為訓(xùn)練數(shù)據(jù)集，C為情感標(biāo)簽的類別數(shù)，y為實(shí)際情感類別，為預(yù)測(cè)的情感類別.

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集本文選取兩個(gè)公開的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).數(shù)據(jù)集1 來自COAE2014 任務(wù)2 中文評(píng)測(cè)數(shù)據(jù)集，共有7 000 條已標(biāo)注情感極性的社交評(píng)論數(shù)據(jù)，其中正向評(píng)論3 776 條，負(fù)向評(píng)論3 224 條，本文將數(shù)據(jù)集隨機(jī)打亂后按“7∶3”的比例劃分為訓(xùn)練集和測(cè)試集.數(shù)據(jù)集2 來自weibo_senti_100k 數(shù)據(jù)集，共有119 988 條已標(biāo)注情感極性的社交評(píng)論數(shù)據(jù)，其中正向59 993 條，負(fù)向評(píng)論59 995 條，本文將數(shù)據(jù)集隨機(jī)打亂后按“8∶1∶1”的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.詳細(xì)的數(shù)據(jù)信息如表1 所示.

表1 兩個(gè)數(shù)據(jù)集的相關(guān)信息Tab.1 The relevant information of two data sets

情感資源庫包含情感詞、程度副詞、否定詞，如表2 所示.其中，情感詞來自大連理工大學(xué)情感詞匯本體庫、知網(wǎng)HowNet 和臺(tái)灣大學(xué)NTUSD，并將三者合并去重；程度副詞和否定詞來自知網(wǎng)HowNet.在分詞過程中，本文將情感資源庫作為自定義分詞詞典，使得文本中的情感信息能夠作為一個(gè)完整的語言單元存在.

表2 情感資源庫Tab.2 The data library of emotion resource

2.2 數(shù)據(jù)預(yù)處理評(píng)論文本中存在很多的噪聲數(shù)據(jù)，影響著情感分類模型的性能，因此，在模型輸入前需要對(duì)這些數(shù)據(jù)進(jìn)行清洗，以提高數(shù)據(jù)的質(zhì)量.本文采用正則表達(dá)式匹配的方法對(duì)數(shù)據(jù)進(jìn)行清洗，從評(píng)論文本中刪除URL、@+用戶名、轉(zhuǎn)發(fā)微博等無意義的數(shù)據(jù)，只保留中文、大小寫字母和阿拉伯?dāng)?shù)字.由于話題標(biāo)簽hashtag 中一般包含被評(píng)論的話題或者對(duì)象，于是本文對(duì)這部分?jǐn)?shù)據(jù)進(jìn)行了保留.

2.3 參數(shù)設(shè)置本文使用PyTorch 深度學(xué)習(xí)框架，所有實(shí)驗(yàn)均采用Adam[25]優(yōu)化器，在訓(xùn)練階段采用“Early Stopping”法，并選擇在測(cè)試集上表現(xiàn)最佳的結(jié)果作為最終的實(shí)驗(yàn)結(jié)果.文本最大長(zhǎng)度設(shè)置為140，情感信息集合最大長(zhǎng)度設(shè)置為40.數(shù)據(jù)集1 和數(shù)據(jù)集2 的batch_size 分別設(shè)置為32 和128.在使用傳統(tǒng)詞向量構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型中，Word2Vec 采用Li 等[26]使用中文微博語料訓(xùn)練好的Chinese-Word-Vectors，詞向量維度為300 維，隨機(jī)初始化表示未登錄詞，全零初始化表示句子補(bǔ)齊部分；所有模型的學(xué)習(xí)率為0.001，dropout 為0.5；BLSTM 網(wǎng)絡(luò)的隱藏單元個(gè)數(shù)為128，層數(shù)為2；CNN 中濾波器的尺寸為2、3、4，濾波器的個(gè)數(shù)為256；FastText 中隱藏層單元個(gè)數(shù)為256.在預(yù)訓(xùn)練模型構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型中，ELMo采用哈工大的ELMoForManyLangs，詞向量維度為1024.BERT 采 用Google 的BERT-Base-Chinese 預(yù)訓(xùn)練模型，字向量維度為768.ERNIE 采用百度的ERNIE1.0 預(yù)訓(xùn)練模型，字向量維度為768.學(xué)習(xí)率為1×10?5，dropout 為0.5；BLSTM 網(wǎng)絡(luò)的隱藏單元個(gè)數(shù)為256，層數(shù)為2.

2.4 評(píng)測(cè)指標(biāo)文本分類中通用的評(píng)測(cè)指標(biāo)有精確率P（Precision）、召回率R（Recall）、F1 值（F1-measure）和準(zhǔn)確率A（Accuracy）.由于本文使用的兩個(gè)數(shù)據(jù)集都比較平衡，所以使用測(cè)試集上的F1值和準(zhǔn)確率A作為實(shí)驗(yàn)結(jié)果的評(píng)測(cè)指標(biāo).評(píng)測(cè)指標(biāo)定義如下：

式中，TP表示實(shí)際為正向且預(yù)測(cè)為正向的數(shù)量，F(xiàn)P表示實(shí)際為負(fù)向但預(yù)測(cè)為正向的數(shù)量，TN表示實(shí)際為負(fù)向且預(yù)測(cè)為負(fù)向的數(shù)量，F(xiàn)N表示實(shí)際為正向但預(yù)測(cè)為負(fù)向的數(shù)量.TP、FP、TN、FN的混淆矩陣如表3 所示.

表3 混淆矩陣Tab.3 Confusion matrix

2.5 實(shí)驗(yàn)結(jié)果與分析為了驗(yàn)證本文提出的方法的有效性，本文設(shè)置了3 組實(shí)驗(yàn).第1 組實(shí)驗(yàn)比較不同模型的情感分類性能，其中ERNIE、ERNIEDAM 采用百度發(fā)布的中文預(yù)訓(xùn)練模型ERNIE1.0來進(jìn)行文本向量化表示，其余模型均采用Li 等[31]提出的Chinese-Word-Vectors 構(gòu)建詞向量，并在訓(xùn)練階段進(jìn)行微調(diào).第2 組實(shí)驗(yàn)比較不同詞向量工具對(duì)本文模型情感分類性能的影響.第3 組實(shí)驗(yàn)驗(yàn)證不同情感信息的組合對(duì)于情感分類性能的影響.

2.5.1 分類模 型對(duì)比實(shí)驗(yàn) FastText：文獻(xiàn)[27]提出的文本分類模型，其模型結(jié)構(gòu)類似于Word2Vec中的CBOW 模型，通過對(duì)整個(gè)句子的詞向量和Ngram 向量取平均池化后得到句子表示.

TextCNN：文獻(xiàn)[8]提出的卷積神經(jīng)網(wǎng)絡(luò)，通過卷積和池化操作得到句子表示.

LSTM：文獻(xiàn)[28]提出的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，取最后時(shí)刻的隱層輸出作為句子表示.

BGRU/BLSTM：文獻(xiàn)[28]和文獻(xiàn)[29]提出的門控循環(huán)單元和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的雙向變體，拼接最后時(shí)刻正反兩個(gè)方向的隱層輸出作為句子表示.

RCNN：文獻(xiàn)[30]提出循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，將BLSTM 模型各時(shí)刻的輸入和輸出拼接之后取最大池化得到句子表示.

BLSTM-Att：文獻(xiàn)[31]提出的基于Attention 機(jī)制的雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，采用注意力機(jī)制對(duì)BLSTM 各時(shí)刻的隱層輸出加權(quán)求和得到句子表示.

CNN-LSTM：分別采用CNN 提取局部特征和LSTM 提取全局特征后進(jìn)行拼接，得到句子表示.

ERNIE：取ERNIE 模型[CLS]位置對(duì)應(yīng)的特征向量作為句子表示.

ERNIE-DAM：本文提出的基于ERNIE 和雙重注意力機(jī)制的情感分析模型.

不同模型的分類對(duì)比結(jié)果如表4 所示.從表4可以看出，本文提出的ERNIE-DAM 模型在COAE2014 和weibo_senti_100k 數(shù)據(jù)集上，所有指標(biāo)都取得了最好的結(jié)果.相比FastText、TextCNN、BLSTM、RCNN、BLSTM-Att、Word2Vec-DAM 和ERNIE 模型，ERNIE-DAM 模型在COAE2014 數(shù)據(jù)集上的F1 值分別提高了8.16%、6.94%、7.28%、6.41%、6.26%、5.28%和1.08%，在weibo_senti_100k 數(shù)據(jù)集上的F1 值分別提高了3.23%、1.50%、1.33%、1.03%、1.14%、1.01%和0.51%.由此可以看出，相比于其他基于傳統(tǒng)詞向量構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，ERNIE、ERNIE-DAM 模型在微博評(píng)論文本情感分析任務(wù)上具有較明顯的優(yōu)勢(shì)，也充分說明了預(yù)訓(xùn)練模型能夠根據(jù)文本序列中的上下文語境對(duì)同一個(gè)詞的不同含義進(jìn)行區(qū)分，從而提高情感分類的性能.而基于知識(shí)增強(qiáng)的ERNIE 預(yù)訓(xùn)練模型由于采用了具有強(qiáng)大特征提取能力的雙向Transformer 編碼器，并通過對(duì)海量數(shù)據(jù)中的實(shí)體概念等先驗(yàn)語義知識(shí)進(jìn)行建模，增強(qiáng)了字的語義表示能力，所以僅僅通過微調(diào)的方式就能取得比其他基于傳統(tǒng)詞向量構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型更好的效果.另外，將基于Word2Vec 構(gòu)建的DAM 模型與BLSMT-Att 模型進(jìn)行比較，在兩個(gè)數(shù)據(jù)集上的F1 值分別提高了0.98%和0.13%，說明將評(píng)論文本中的情感詞、程度副詞、否定詞等情感信息提取出來，通過全連接網(wǎng)絡(luò)和注意力機(jī)制挖掘文本中深層次的情感特征，對(duì)于文本的特征向量表示起到情感增強(qiáng)的作用，驗(yàn)證了將情感資源運(yùn)用到神經(jīng)網(wǎng)絡(luò)中的有效性.

表4 不同分類模型的對(duì)比結(jié)果Tab.4 Comparison results of different classification models%

另外，本文還將其他基于傳統(tǒng)詞向量構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了實(shí)驗(yàn)對(duì)比.BGRU 相較BLSTM在減少一個(gè)門函數(shù)的基礎(chǔ)上，不僅減少了訓(xùn)練時(shí)間，而且效果也更佳.相比LSTM、TextCNN 模型，CNN-LSTM 模型結(jié)合了CNN 提取文本局部特征和LSTM 提取文本上下文全局特征的優(yōu)勢(shì)，性能有進(jìn)一步的提升.相比BLSTM 模型，BLSTM-Att 模型在BLSTM 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上增加了注意力機(jī)制，有助于提取出文本中更重要的信息.此外，ERNIEDAM 模型相比ERNIE 模型在微博情感分析中具有更好的表現(xiàn)，證明了DAM 模型能夠充分考慮評(píng)論文本中的上下文信息以及情感信息中更顯著的情感特征，進(jìn)一步提升模型的性能.

2.5.2 詞向量工具對(duì)比實(shí)驗(yàn) Word2Vec-DAM：將詞使用Cinese-Word-Vectors 詞向量進(jìn)行初始化后，輸入到DAM 模型中進(jìn)行訓(xùn)練.

ELMo-DAM：將詞使用ELMoForManyLangs預(yù)訓(xùn)練模型轉(zhuǎn)換為詞向量以后，輸入到DAM 模型中進(jìn)行訓(xùn)練.

BERT-DAM：采用中文預(yù)訓(xùn)練模型BERT 將文本向量化表示后，輸入到DAM 模型中進(jìn)行訓(xùn)練.

ERNIE-DAM：采用中文預(yù)訓(xùn)練模型ERNIE 將文本向量化表示后，輸入到DAM 模型中進(jìn)行訓(xùn)練.

基于不同詞向量模型的分類對(duì)比結(jié)果如表5所示.從表5 可以看出，ELMo、BERT、ERNIE 預(yù)訓(xùn)練模型相比傳統(tǒng)的靜態(tài)詞向量，可以根據(jù)上下文語境對(duì)文本中同一個(gè)詞的不同語義表征進(jìn)行動(dòng)態(tài)調(diào)整，解決了傳統(tǒng)詞向量中存在的一詞多義問題，因而各項(xiàng)評(píng)價(jià)指標(biāo)均有明顯的提升.相比ELMo 采用雙向LSTM 語言模型來提取詞向量特征，BERT 和ERNIE 采用更強(qiáng)大的雙向Transformer 編碼器，因此進(jìn)一步提高了模型的特征提取能力.ERNIE 與BERT 相比，由于對(duì)先驗(yàn)語義知識(shí)建模，實(shí)驗(yàn)結(jié)果有明顯提升.

表5 基于不同詞向量模型的對(duì)比結(jié)果Tab.5 Comparison results based on different word vector models %

2.5.3 消融實(shí)驗(yàn) 為了驗(yàn)證不同情感信息的組合對(duì)于情感分類模型性能的影響，本文進(jìn)行了消融實(shí)驗(yàn)，并選擇在COAE2014 測(cè)試集上的結(jié)果進(jìn)行對(duì)比分析.當(dāng)不包含情感信息時(shí)，本文模型退化為ERNIE-BLSTM-Att 模型，在ERNIE-BLSTM-Att 模型的基礎(chǔ)上設(shè)置了5 組對(duì)照實(shí)驗(yàn)，分別是ERNIEBLSTM-Att（不包含情感信息）、EBA+S（ERNIEBLSTM-Att+情感詞）、EBA+SN（ERNIE-BLSTMAtt+情感詞+否定詞）、EBA+SI（ERNIE-BLSTMAtt+情感詞+程度副詞）、ERNIE-DAM（本文模型，ERNIE-BLSTM-Att+情感詞+否定詞+程度副詞）.實(shí)驗(yàn)結(jié)果如圖2 所示.

圖2 不同情感信息組合的對(duì)比結(jié)果Fig.2 Comparison results of different combinations of emotion information

從圖2 可以看出，在ERNIE-BLSTM-Att 模型的基礎(chǔ)上單獨(dú)添加情感詞時(shí)，模型的性能有了提升；當(dāng)在情感詞的基礎(chǔ)上單獨(dú)添加否定詞和程度副詞時(shí)，模型的性能有了進(jìn)一步的提升，但是程度副詞的提升不如否定詞的明顯.這說明了情感詞、否定詞和程度副詞等先驗(yàn)情感資源的引入可以提高情感分類模型的性能，同時(shí)，否定詞對(duì)于文本情感極性的表現(xiàn)能力要強(qiáng)于程度副詞.

3 結(jié)語

本文提出一種基于ERNIE 和雙重注意力機(jī)制的微博情感分析模型ERNIE-DAM.該模型利用不同的注意力機(jī)制對(duì)評(píng)論文本和文本中包含的情感信息進(jìn)行特征提取，以獲取文本最終的特征向量表示.通過ERNIE 預(yù)訓(xùn)練模型強(qiáng)大的語義表示能力對(duì)文本進(jìn)行動(dòng)態(tài)特征表示，解決了傳統(tǒng)詞向量中同一個(gè)詞在不同上下文語境中表示不同含義的問題.同時(shí)，將情感資源和注意力機(jī)制相結(jié)合的方法能夠有效地提高模型捕獲文本情感語義的能力，進(jìn)而提高文本情感分析模型的性能.實(shí)驗(yàn)結(jié)果表明，本文提出的模型在COAE2014 和weibo_senti_100k 兩個(gè)數(shù)據(jù)集上都取得了較好的分類效果.本文下一步的研究工作中，將進(jìn)一步結(jié)合微博評(píng)論文本本身的語言學(xué)特征，融入表情符號(hào)、淺層語義信息和語義角色信息等特征，探究其對(duì)模型性能的影響.