一種基于LSTM 和ResNet 網(wǎng)絡(luò)的情感極性分析方法?

劉 星，楊 波，郁 云

(南京信息職業(yè)技術(shù)學(xué)院數(shù)字商務(wù)學(xué)院，江蘇 南京 210023)

近年來，黨委政府高度重視新生態(tài)企業(yè)家的思想引領(lǐng)工作，習(xí)近平總書記強(qiáng)調(diào)“要關(guān)注他們的思想”，“同他們交思想上的朋友”。建立思想狀況分析研判與預(yù)測機(jī)制，是促進(jìn)新生代企業(yè)家健康成長、促進(jìn)民營經(jīng)濟(jì)健康發(fā)展的有效途徑。企業(yè)家在社交網(wǎng)絡(luò)平臺(tái)非?；钴S，對(duì)于平臺(tái)文本進(jìn)行情感極性分析，能夠快速掌握民營企業(yè)家的輿論思想走向和觀點(diǎn)。

社交平臺(tái)使用簡單，可隨時(shí)隨地發(fā)布博文，企業(yè)家樂于在社交平臺(tái)上分享自己生活中的點(diǎn)滴，表達(dá)對(duì)某件事的觀點(diǎn)或情感，屬于最流行的溝通方式和情感傾訴工具，多年來已積累了數(shù)量巨大且富含情感色彩的文本數(shù)據(jù)?；诰W(wǎng)絡(luò)文本數(shù)據(jù)的情感分類，可以監(jiān)測社交平臺(tái)用戶的情緒走向，不僅能根據(jù)用戶的情緒變化進(jìn)行針對(duì)性的內(nèi)容推薦，以達(dá)到在必要情況下實(shí)施心理干預(yù)和情緒安撫的目的，還能通過監(jiān)測對(duì)某一事件的大眾情緒來把控輿情走向，降低突發(fā)公共事件發(fā)生的可能性。因此，從社會(huì)層面考慮，基于社交平臺(tái)文本數(shù)據(jù)的情感分類，對(duì)民營企業(yè)家的思想動(dòng)態(tài)研判具有重要研究意義。

1 相關(guān)工作

對(duì)文本數(shù)據(jù)的情感分類大致可分為基于情感詞典、基于機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)的分類方法。情感詞典是一個(gè)具有情感傾向的詞匯集合，在該詞典中，每個(gè)詞匯代表不同的情感色彩，并使用數(shù)值化的方式標(biāo)識(shí)情感的傾向程度。Wu 等[1]提出了一種有效的基于情感程度詞典的中文情感分析方法，將基本情感價(jià)值詞庫和社會(huì)證據(jù)詞庫相結(jié)合，在特定的中文文本情感分析中得到最高的準(zhǔn)確度即88.5%。Zhang 等[2]將情感字典和統(tǒng)計(jì)相結(jié)合，使用逐點(diǎn)互信息和聚類函數(shù)進(jìn)行逐層聚類以預(yù)測情緒。

近年來，隨著機(jī)器學(xué)習(xí)的快速發(fā)展，越來越多的學(xué)者將機(jī)器學(xué)習(xí)的一些算法運(yùn)用到情感分類中，常用的算法有支持向量機(jī)SVM、樸素貝葉斯NB、隨機(jī)森林等[3]。Go 等[4]描述了對(duì)推特文本數(shù)據(jù)進(jìn)行預(yù)處理的過程，能夠有效提高情感分類的準(zhǔn)確率，并使用監(jiān)督學(xué)習(xí)的方式在數(shù)據(jù)集上進(jìn)行模型訓(xùn)練，實(shí)現(xiàn)了超過80%的情感分類準(zhǔn)確率。Mertiya 等[5]使用合并的樸素貝葉斯和形容詞分析方法來找出模糊推文的情感極性，在測試數(shù)據(jù)上達(dá)到了88.5%的準(zhǔn)確率。Zhu 等[6]利用Word2Vec 提取目標(biāo)語句的情感特征，并使用機(jī)器學(xué)習(xí)中的SVM 分類器進(jìn)行分類，在此基礎(chǔ)上加入構(gòu)建好的情感詞典進(jìn)行集成學(xué)習(xí)，并最終用于情緒預(yù)測。

國內(nèi)將深度學(xué)習(xí)應(yīng)用于情感分類的研究剛剛起步，Cao 等[7]采用了連續(xù)詞袋CBOW 模型構(gòu)建詞嵌入，然后輸入到CNN 和SVM 模型進(jìn)行情感分類。段宇翔等[8]提出了結(jié)合詞向量、長短期記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)CNN 模型，在測試集上取得了88.02%和93.03%的微博文本情感分類效果。楊晨等[9]在在最新的預(yù)訓(xùn)練語言模型BERT 基礎(chǔ)上，提出了一種側(cè)重學(xué)習(xí)情感特征的預(yù)訓(xùn)練方法，利用情感詞典改進(jìn)BERT 預(yù)訓(xùn)練任務(wù)，相較于原BERT 模型，提高了1 個(gè)百分點(diǎn)的精度。

但是，研究發(fā)現(xiàn)，目前的情感分類方法仍存在以下問題:①現(xiàn)有的機(jī)器學(xué)習(xí)方法很大 程度上依賴于前期提取的特征，一定程度上限制了分類的準(zhǔn)確率；②未考慮到文本分類中的時(shí)間序列因素，因此分類結(jié)果難以有效融合時(shí)間特征。本文提出了一種基于ResNet 和LSTM 的用戶情感極性分類方法。實(shí)驗(yàn)結(jié)果表明，該模型在分類準(zhǔn)確度上有較顯著提高。

2 基于LSTM-ResNet 的文本情感分析

2.1 LSTM 時(shí)序預(yù)測模型

對(duì)于給定序列x＝(x1，x2，x3，x4，…，xn)，應(yīng)用標(biāo)準(zhǔn)的RNN 模型，可以計(jì)算出一個(gè)隱藏層序列h＝(h1，h2，h3，h4，…，hn)和一個(gè)輸出序列y＝(y1，y2，y3，y4，…，yn)。

式中:W為權(quán)重系數(shù)矩陣，b為偏置向量；fa為激活函數(shù)(激活函數(shù)可以用tanh 函數(shù)，sigmod 函數(shù)等)；下標(biāo)t表示時(shí)刻。

雖然RNN 能對(duì)非線性時(shí)間序列的數(shù)據(jù)進(jìn)行預(yù)測，但是仍然存在梯度消失、爆炸的問題以及需要預(yù)先確定延遲窗口的長度。因此，LSTM 模型應(yīng)運(yùn)而生[10]。如圖1 所示，x為輸入模塊，則隱藏層計(jì)算可以表示為:

式中:i，f，c，o分別為輸入門，遺忘門，細(xì)胞狀態(tài)和輸出門。σ和tanh 分別為sigmoid 和雙曲正切激活函數(shù)。

2.2 ResNet 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)作為2015 年ImageNet 競賽(Image Net Large-Scale Visual Recognition Challenge)的冠軍，其top5 錯(cuò)誤率(預(yù)測的前5 個(gè)類別中不包含正確類別的比例)為3.57%。VGGNet(Visual Geometry Group Net)和GoogLeNet(Google Inception Net)的成功，說明網(wǎng)絡(luò)越深，模型表現(xiàn)越良好。然而，單純堆疊神經(jīng)網(wǎng)絡(luò)層數(shù)會(huì)使網(wǎng)絡(luò)模型退化，導(dǎo)致后面的特征丟失了前邊特征的原本模樣，產(chǎn)生梯度消失或者梯度爆炸等問題，造成訓(xùn)練和測試效果變差。為了解決模型“退化”的問題，何凱明等[11]提出了殘差結(jié)構(gòu)(見圖2)。殘差鏈接為一根跳連線，能夠從全連接層之前直接鏈接到非線性層，即:

圖2 殘差網(wǎng)絡(luò)ResNet 的核心結(jié)構(gòu)

2.3 LSTM-ResNet 融合的網(wǎng)絡(luò)模型

將LSTM 與ResNet 進(jìn)行融合，能夠在加深LSTM 層數(shù)的同時(shí)，避免層數(shù)爆炸和梯度消失的情況，因此該模型經(jīng)常被應(yīng)用到時(shí)間序列的預(yù)測中。如李自立等[12]，結(jié)合了LSTM 和ResNet，取得了很好的預(yù)測效果，展現(xiàn)出較強(qiáng)的特征提取和預(yù)測能力。因此本文同樣將LSTM 與ResNet 進(jìn)行融合，將其應(yīng)用到情感分類中，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 LSTM-ResNet 模型總體結(jié)構(gòu)圖

輸入層為經(jīng)過預(yù)處理的文本向量，隱藏層由LSTM 層、全連接層組成，其中引入了ResNet 殘差網(wǎng)絡(luò)結(jié)構(gòu)，ResNet 加入了一根跳連線，能夠在全連接層之前直接短接到非線性層上，直接連接過來的恒等映射x和非線性輸出F(x)兩路值元素的對(duì)應(yīng)相加。這樣可以有效緩解由模型堆疊引發(fā)的梯度消失的問題。圖3 所示即為ResNet-LSTM 的總體結(jié)構(gòu)，分為輸入層、隱藏層、輸出層。其中，輸入層中輸入的是經(jīng)過預(yù)處理、分詞、去停用詞后的文本向量x1，x2，x3，…，xL。隱藏層為ResNet-LSTM 網(wǎng)絡(luò)。輸出層為預(yù)測向量P1，P2，P3，…，PL。

基于LSTM-ResNet 的文本情感分類算法如算法1 所示。其中，輸入為訓(xùn)練數(shù)據(jù)集、對(duì)應(yīng)情感標(biāo)簽集，驗(yàn)證集比例以及待檢測的樣本集；輸出為待檢測樣本集的情感分類集。主要為預(yù)處理、向量化表示、劃分訓(xùn)練集測試集、訓(xùn)練R-LSTM 模型及測試輸出。其中，訓(xùn)練集和測試集是不能有重疊交叉的，因此，設(shè)置劃分比例參數(shù)θ，可以將數(shù)據(jù)集劃分為訓(xùn)練集和測試集兩部分，訓(xùn)練集主要用來訓(xùn)練模型，而測試集則用來驗(yàn)證模型的效果，如公式model ←RLSTM(DSVT，DSVV，YT，YV，ω)，經(jīng)過R-LSTM 訓(xùn)練后得到模型model，并保存在本地，以備后續(xù)驗(yàn)證集測試使用。

算法1 基于LSTM-ResNet 的文本情感分類模型

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)及參數(shù)

實(shí)驗(yàn)數(shù)據(jù)來源于網(wǎng)絡(luò)社交平臺(tái)以及線下調(diào)研。如新浪微博是中國最大的社交媒體平臺(tái)之一，其內(nèi)容具有很高的及時(shí)性和開放性，對(duì)于一些突發(fā)事件(如此次新冠疫情)，可以提供大量的研究數(shù)據(jù)。線下調(diào)研，主要形式是組織企業(yè)家座談，記錄其對(duì)突發(fā)事件的評(píng)論。在獲得實(shí)驗(yàn)數(shù)據(jù)后，對(duì)數(shù)據(jù)進(jìn)行去重、去除無效值等處理后，對(duì)評(píng)論文本進(jìn)行標(biāo)注，實(shí)驗(yàn)數(shù)據(jù)樣例如表1 所示，情感傾向?yàn)閧消極、中性、積極}，對(duì)應(yīng)的標(biāo)簽為{－1，0，1}。實(shí)驗(yàn)?zāi)Ｐ蛥?shù)如表2 所示，其中為LSTM 和改進(jìn)的R-LSTM 在參數(shù)上保持一致。

表1 實(shí)驗(yàn)數(shù)據(jù)樣例

表2 實(shí)驗(yàn)參數(shù)說明

本文在衡量算法的準(zhǔn)確性時(shí)采用準(zhǔn)確率(Accuracy)和F1 值來度量不同分類模型的性能，相關(guān)定義如下:

式中:FN 為被錯(cuò)分的正樣本數(shù)，F(xiàn)P 為被錯(cuò)分的負(fù)樣本數(shù)，TN 為正確分類的負(fù)樣本數(shù)，TP 為正確分類的正樣本數(shù)。P和R分別為查準(zhǔn)率和召回率，定義如下:

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

本文在對(duì)比情感分類效果時(shí)，評(píng)估數(shù)據(jù)集為TS1 和TS2，評(píng)估參數(shù)分別為F1 值和準(zhǔn)確度Accuracy。

以單獨(dú)使用LSTM 作為基線模型，與所提出的評(píng)估模型(R-LSTM)進(jìn)行對(duì)比。其中基線模型中網(wǎng)絡(luò)參數(shù)與所提出評(píng)估模型中的訓(xùn)練參數(shù)保持一致。

如表3 所示，經(jīng)過ResNet 殘差網(wǎng)絡(luò)改進(jìn)的LSTM 模型的性能要比貝葉斯＋形容詞、LR 以及SVM 方法好一些，也比單獨(dú)使用LSTM 算法的效果稍好些，同時(shí)也論證了本文所提出改進(jìn)模型的有效性和可行性。因此，通過實(shí)驗(yàn)結(jié)果，可以看到RLSTM 一定程度上提升了情感極性分類的精度。

表3 實(shí)驗(yàn)結(jié)果

4 結(jié)論

本文提出一種基于ResNet 殘差網(wǎng)絡(luò)改進(jìn)的LSTM 長短時(shí)間序列分析方法。實(shí)驗(yàn)結(jié)果表明，與支持向量機(jī)、樸素貝葉斯等傳統(tǒng)分類器相比，基于改進(jìn)的ResNet 與LSTM 的文本情感極性分類方法在分類精度上有一定提升；與LSTM、循環(huán)神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法相比，該方法在保證運(yùn)行效率的前提下能獲得更高的分類精度。本方法能夠用來對(duì)社交平臺(tái)的文本情感進(jìn)行情感極性分類和預(yù)測。在實(shí)際應(yīng)用中，可實(shí)時(shí)獲取企業(yè)家發(fā)文所表達(dá)的情感極向，在熱點(diǎn)事件的輿論監(jiān)測方面具有實(shí)用意義。企業(yè)家在社交網(wǎng)絡(luò)平臺(tái)非常活躍，對(duì)于平臺(tái)文本進(jìn)行情感極性分析，能夠快速掌握民營企業(yè)家的輿論思想走向和觀點(diǎn)，并引導(dǎo)其健康成長，促進(jìn)民營經(jīng)濟(jì)健康發(fā)展。