引入雙循環(huán)機(jī)制深度學(xué)習(xí)模型的文本情感分析

胡任遠(yuǎn)，劉建華，王璇，羅逸軒，林鴻輝

(福建工程學(xué)院 計(jì)算機(jī)科學(xué)與數(shù)學(xué)學(xué)院，福建 福州 350118)

早期的情感分析大多使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法來實(shí)現(xiàn)，例如支持向量機(jī)、隨機(jī)森林、決策樹、K鄰近算法等機(jī)器學(xué)習(xí)方法[1]。但是，以傳統(tǒng)機(jī)器學(xué)習(xí)方法為核心的情感分析方法需要依賴復(fù)雜人工規(guī)則的特征選擇策略，模型參數(shù)調(diào)優(yōu)和模型性能表現(xiàn)會(huì)受到較大的影響。

近年來，深度學(xué)習(xí)模型被廣泛應(yīng)用于自然語言處理領(lǐng)域，國內(nèi)外許多學(xué)者將其應(yīng)用到情感分析中[2]。Kim等[3]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于英文文本的語義特征提取任務(wù)中，并提出了一種可以捕捉局部語義相關(guān)性的模型TextCNN[4]，但未能獲取整體文本序列的上下文聯(lián)系。梁軍等[5]使用長短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)提取上下文信息，通過情感極性轉(zhuǎn)移模型進(jìn)行信息提取和分類，雖然提高了分類準(zhǔn)確率，但未提取文本序列的特征。Wang等[6]為解決該問題提出了融合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的CNN-LSTM分類模型，使用LSTM網(wǎng)絡(luò)作為解碼器處理CNN的輸出序列，使模型在一定程度上學(xué)習(xí)到輸入序列的情感極性和上下文信息，但特征選擇能力仍不足。李洋等[7]在Word2Vvec訓(xùn)練模型的詞向量基礎(chǔ)上，使用混合的網(wǎng)絡(luò)模型CNN-BiLSTM進(jìn)行特征提取和語義信息獲取，使模型具有更好的分類性能，但對(duì)特征的處理僅使用不同大小卷積核的CNN網(wǎng)絡(luò)。Lai等[8]提出一種由雙向循環(huán)神經(jīng)網(wǎng)絡(luò)和最大池化層組成的RCNN模型(regions with CNN features)，使用最大池化層做特征提取工作，提高了模型的分類能力，但增加了時(shí)間成本。劉全等[9]使用深度分層網(wǎng)絡(luò)模型，使用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)處理用戶評(píng)論，將其分割為定長的不同區(qū)域來進(jìn)行多特征的提取。

綜上所述，現(xiàn)有文本情感分類模型的特征提取方式更多局限于使用注意力機(jī)制或在模型中添加CNN層。其中，注意力機(jī)制存在抓取的關(guān)系過于單一、無法提取出文本序列中字詞之間聯(lián)系的問題。在模型中添加CNN雖然可以提取出各語塊的主要信息，但僅使用單次卷積池化的模型也無法有效識(shí)別短文本內(nèi)容、含有轉(zhuǎn)折關(guān)系等句子的情感極性。

為減少模型抓取關(guān)系過于單一對(duì)分類結(jié)果產(chǎn)生的影響，本研究將循環(huán)機(jī)制引入進(jìn)卷積神經(jīng)網(wǎng)絡(luò)中，提出一種雙循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型(double recurrent convolutional neural network, DRCNN)，通過改變深度學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重共享模式，各循環(huán)結(jié)構(gòu)之間使用權(quán)重私有化的方法來使模型學(xué)習(xí)到更豐富的情感特征信息。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)采用局部連接、權(quán)值共享等策略有效地解決了網(wǎng)絡(luò)參數(shù)大、訓(xùn)練時(shí)間長等問題。CNN主要包含了輸入層、卷積層、池化層、全連接層和輸出層，將詞嵌入處理的文本向量作為卷積層的輸入。卷積層使用卷積核對(duì)輸入數(shù)據(jù)進(jìn)行卷積計(jì)算來提取文本特征。卷積層輸出如式(1)所示。

A=f(W·X+b)

(1)

式中，X為輸入矩陣，W為權(quán)重矩陣，b為偏置量，f為非線性激活函數(shù)。通過最大池化層來進(jìn)一步提取特征，同時(shí)降低了向量維度，減少了模型參數(shù)，計(jì)算結(jié)果也可以被進(jìn)一步處理。

1.2 雙向長短期記憶網(wǎng)絡(luò)

1.2.1 傳統(tǒng)長短期記憶網(wǎng)絡(luò)

Hochreiter等[10]于1997年提出長短期記憶網(wǎng)絡(luò)模型LSTM，改善了循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)中存在的長期依賴問題，可作為復(fù)雜的非線性單元用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。LSTM采用了細(xì)胞狀態(tài)和門機(jī)制，結(jié)構(gòu)如圖1所示。

圖1 長短期記憶網(wǎng)絡(luò)

圖1中，h為遺留信息的輸出；it為輸入門，決定了有多少t時(shí)刻網(wǎng)絡(luò)的輸入將保存到單元狀態(tài)；ot為輸出門，控制單元狀態(tài)有多少輸出到LSTM的當(dāng)前輸出值；ft代表著遺忘門，決定了t-1時(shí)刻的單元狀態(tài)有多少能保留到t時(shí)刻；σ為非線性的sigmoid函數(shù)。it、ot、ft的計(jì)算分別如式(2)～(4)所示：

it=σ(Wixt+Uiht-1+bi)

(2)

ot=σ(Woxt+Uoht-1+bo)

(3)

ft=σ(Wfxt+Ufht-1+bf)

(4)

式中，xt表示t時(shí)刻的當(dāng)前輸入，ht-1為t-1時(shí)刻遺留的信息向量；Wi和Ui為輸入門的記憶細(xì)胞所對(duì)應(yīng)的權(quán)重矩陣；Uo、Wo為輸出門的記憶細(xì)胞所對(duì)應(yīng)的權(quán)重矩陣；Wf和Uf為遺忘門的記憶細(xì)胞所對(duì)應(yīng)的權(quán)重矩陣；bi、bo、bf分別為輸入門、輸出門和遺留門的偏置量。

(5)

(6)

式中，tanh代表著非線性激活函數(shù)tanh()，網(wǎng)絡(luò)接收到t時(shí)刻的輸入xt和t-1時(shí)刻遺留的信息向量ht-1作為3個(gè)門機(jī)制的輸入，分別為it輸入門、ot輸出門和ft遺忘門在t時(shí)刻所得到的激活向量。最后得到最終輸出ht如式(7)所示：

ht=ottanh(ct)

(7)

1.2.2 雙向長短期記憶網(wǎng)絡(luò)

雙向長短期記憶網(wǎng)絡(luò)BiLSTM是由前向LSTM與后向LSTM組合而成，可以同時(shí)考慮文本的上下文語境、提供更加全面的語義信息，減少因上下文語序問題出現(xiàn)的判斷錯(cuò)誤，顯著提升模型效果。因?yàn)樯窠?jīng)網(wǎng)絡(luò)易存在過擬合的問題，Hinton等[11]在2012年提出了Dropout策略，通過隨機(jī)丟棄部分比例的神經(jīng)元、減小模型參數(shù)從而達(dá)到一定程度上的正則化效果。BiLSTM模型的結(jié)構(gòu)如圖2所示。

圖2 雙向長短期記憶網(wǎng)絡(luò)

2 深度分層網(wǎng)絡(luò)模型

深度分層網(wǎng)絡(luò)模型(BiLSTM-DRCNN模型)是結(jié)合了BiLSTM和DRCNN的情感分析模型，具體結(jié)構(gòu)如圖3所示。BiLSTM-DRCNN模型先利用經(jīng)典BiLSTM網(wǎng)絡(luò)處理序列使得序列中每個(gè)元素都可以包含雙向的時(shí)序信息，并引入注意力機(jī)制使文本序列中帶有情感傾向的信息被高度關(guān)注。BiLSTM-DRCNN模型利用多次不同層面的循環(huán)機(jī)制來處理序列特征，可以高度關(guān)注文本序列中的情感傾向，提高情感特征表達(dá)的準(zhǔn)確性。BiLSTM-DRCNN模型不僅能夠同時(shí)接收上下文信息，還能有效提取語句的情感極性，有助于提升模型對(duì)情感分析的性能。

圖3 BiLSTM-DRCNN網(wǎng)絡(luò)模型

2.1 模型輸入

BiLSTM-DRCNN模型所接收的數(shù)據(jù)是對(duì)原文本序列經(jīng)過處理后的向量表示。對(duì)于中文文本數(shù)據(jù)先用正則表達(dá)式處理和停用詞去除；對(duì)于英文文本數(shù)據(jù)也需要進(jìn)行停用詞去除以及分詞和統(tǒng)一大小寫處理。最后使用最廣泛的方法將詞語用分布式詞向量來表示，作為模型的輸入數(shù)據(jù)。

2.2 DRCNN網(wǎng)絡(luò)

本節(jié)提出的DRCNN為改進(jìn)傳統(tǒng)CNN中卷積運(yùn)算并添加池化層的方式，利用多次卷積操作反復(fù)提取所需要的局部特征之后，最終構(gòu)造了一個(gè)循環(huán)卷積塊(recurrent convolutional block，RCB)。RCB層通過多次的卷積運(yùn)算來處理序列特征，再將輸出傳給池化層進(jìn)行特征提取，使模型可以更好地分析出文本的情感傾向。DRCNN模型更關(guān)注句中含有情感極性信息的內(nèi)容，它擁有多個(gè)不同循環(huán)結(jié)構(gòu)組成的網(wǎng)絡(luò)，其結(jié)構(gòu)主要包含數(shù)個(gè)循環(huán)卷積層、數(shù)個(gè)池化層、展平層以及最終輸出層，如圖4所示。

從圖4可見，DRCNN模型在輸入層之后連接著多個(gè)RCB層(RCB1～RCBm)對(duì)序列進(jìn)行處理，在層與層之間加入池化層，降低數(shù)據(jù)維度，并同時(shí)提取特征；最后使用FLATTEN將多維數(shù)據(jù)展平成一維數(shù)據(jù)輸入給分類器。每一層RCB都是由若干個(gè)卷積層所組建而成，即需要經(jīng)過數(shù)次特征提取的過程，圖5為RCB層的具體展開圖。

圖4 DRCNN的結(jié)構(gòu)分布圖

圖5 RCB展開圖

RCB可看作深度為m的前饋?zhàn)泳W(wǎng)，由多個(gè)卷積層組成，其中f為卷積核激活函數(shù)，A0為經(jīng)過BiLSTM和注意力機(jī)制處理過后的序列信息。f(Ai)只能存在一個(gè)輸入和一個(gè)輸出，其中i=1,2,3，…，m-1。每個(gè)循環(huán)卷積層之后都會(huì)有一個(gè)最大池化層來進(jìn)行數(shù)據(jù)降維，并且每個(gè)RCB層的權(quán)重不共享，從而使模型擁有更高的容錯(cuò)率。其中f(Ai)的計(jì)算如式(8)所示：

f(Ai)=relu(W1Ai+W2(ai?rL))

(8)

式中，Ai為輸入序列，W1,W2分別為權(quán)重矩陣，airL為將ai重復(fù)拼接L次，ai為序列對(duì)應(yīng)的情感標(biāo)簽，L為固定句子長度。

2.3 模型訓(xùn)練

模型對(duì)不同的文本分類數(shù)據(jù)使用不同的激活函數(shù)，接收經(jīng)過DRCNN特征提取和FLATTEN數(shù)據(jù)展平后的輸出，隨后進(jìn)行分類處理。其中二分類數(shù)據(jù)使用了sigmoid函數(shù)如式(9)所示，三分類數(shù)據(jù)采用了softmax函數(shù)計(jì)算待分類句子情感極性，如(10)所示：

(9)

(10)

(11)

2.4 注意力機(jī)制

注意力機(jī)制是一種能夠聚焦于局部信息的機(jī)制。計(jì)算機(jī)視覺領(lǐng)域最早提出了注意力機(jī)制分配權(quán)重的方法，幫助神經(jīng)網(wǎng)絡(luò)具備專注于其輸入特征的能力。Wang等[12]將注意力機(jī)制進(jìn)入LSTM網(wǎng)絡(luò)中，用于處理情感分析任務(wù)，最終結(jié)果證明了注意力機(jī)制在自然語言處理中的有效性。李洋等[6]將CNN與BiLSTM結(jié)合并且引入注意力機(jī)制用于處理情感分析問題中，利用CNN提取局部特征后作為BiLSTM層的輸入，結(jié)合注意力機(jī)制對(duì)特定情感進(jìn)行高度關(guān)注，更有效地關(guān)注輸入序列的句子情感信息，比傳統(tǒng)網(wǎng)絡(luò)的分類效果更佳。本研究在BiLSTM層后加入注意力機(jī)制，可以使模型更好地關(guān)注情感極性等特征，隨后使用DRCNN接收處理好的序列進(jìn)一步進(jìn)行特征提取，在注意力機(jī)制的處理序列的前提下將文本的情感特征更好地提取出來，從而提高模型的分類結(jié)果。注意力機(jī)制的原理如式(12)～(14)所示：

(12)

at′t=softmax(σ(st′-1,ht))

(13)

σ(st′-1,ht)=vTtanh(Wsst′-1+Whht)

(14)

式中ct′代表著輸出變量，ht為隱藏層，at′t表示一個(gè)權(quán)重的概率分布，σ為變換函數(shù)，st′-1為查詢項(xiàng)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

操作系統(tǒng)為Windows 10，CPU為Intel Core i5-8300H，GPU為GeForce GTX 1060，內(nèi)存大小為16 GB，開發(fā)環(huán)境為TensorFlow 2.2.0-GPU，開發(fā)工具使用了JetBrains Pycharm。

3.2 實(shí)驗(yàn)數(shù)據(jù)

采用的情感分類數(shù)據(jù)集如表1所示，其中CN代表中文文本數(shù)據(jù)，EN代表英文文本數(shù)據(jù)。訓(xùn)練集和測(cè)試集是獨(dú)立的兩個(gè)數(shù)據(jù)集，通過不同語言和分類目的來確保本文提出方法的有效性。中文實(shí)驗(yàn)數(shù)據(jù)采用了Data Fountain的開源數(shù)據(jù)o2o商鋪食品相關(guān)評(píng)論數(shù)據(jù)(縮寫為o2o)以及疫情期間網(wǎng)民情緒數(shù)據(jù)(縮寫為Cov19)，英文實(shí)驗(yàn)數(shù)據(jù)則是IMDB和Twitter評(píng)論數(shù)據(jù)。

表1 試驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

3.3 評(píng)價(jià)標(biāo)準(zhǔn)

因?qū)嶒?yàn)數(shù)據(jù)中各情感數(shù)據(jù)分布不均的問題，使用的評(píng)價(jià)模型的指標(biāo)為代表正確預(yù)測(cè)正樣本占實(shí)際預(yù)測(cè)為正樣本的比例精準(zhǔn)率(precision)、代表正確預(yù)測(cè)正樣本的比例召回率(recall)和F1值(F1-score)。F1作為一種綜合指標(biāo)，可以作為模型分類結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)之一，如式(15)～(17)所示：

(15)

(16)

(17)

其中，TP(true positive)是指將原本為正類文本判定為正類文本的個(gè)數(shù)，F(xiàn)P(false positive)是指將原本為負(fù)類的文本判定為正類文本的個(gè)數(shù)，F(xiàn)N(false negative)是指將原本為正類文本判定為負(fù)類文本的個(gè)數(shù)。

3.4 模型參數(shù)設(shè)置

由于模型參數(shù)的選擇對(duì)結(jié)果會(huì)有較大的影響，實(shí)驗(yàn)采用控制變量法，模型采用Adam優(yōu)化器，將卷積層填充模式設(shè)為same。BiLSTM隱層節(jié)點(diǎn)分別取32、64和128，DRCNN隱層節(jié)點(diǎn)數(shù)分別取64、128和256進(jìn)行對(duì)比試驗(yàn)。通過多次實(shí)驗(yàn)發(fā)現(xiàn)取表2參數(shù)時(shí)，BiLSTM-DRCNN深度分層具有最優(yōu)性能。

表2 模型參數(shù)設(shè)置

本研究在設(shè)計(jì)DRCNN循環(huán)機(jī)制時(shí)采用了較少的循環(huán)次數(shù)，主要由于多次卷積特征提取在信息量上的削減會(huì)導(dǎo)致重要特征的遺漏，從而對(duì)結(jié)果造成負(fù)面影響，并且會(huì)增加計(jì)算時(shí)間開銷。在多次試驗(yàn)后得到了RCB層和DRCNN層的最佳參數(shù)，可以得出DRCNN層循環(huán)次數(shù)為2且RCB層深度為2時(shí)，模型效果最優(yōu)。

3.5 對(duì)比實(shí)驗(yàn)

(1)CNN模型：基于文獻(xiàn)[13]作為經(jīng)典網(wǎng)絡(luò)模型具有強(qiáng)大的特征提取能力，但是存在忽略句子長距離依賴關(guān)系以及時(shí)序的問題。

(2)BiLSTM模型：基于文獻(xiàn)[14]提出的經(jīng)典網(wǎng)絡(luò)模型，可以處理時(shí)間序列但輸入的文本序列，但冗余信息過多缺乏特征提取能力，無法有效判別句子的情感極性。

(3)ATT-CNN 模型：基于文獻(xiàn)[15]將注意力機(jī)制引入傳統(tǒng)網(wǎng)絡(luò)模型CNN中，可以關(guān)注特定的情感詞匯，有效的判別出句子所表達(dá)的情感極性。但該模型無法捕捉句子上下文信息。

(4)ATT-BiLSTM模型：基于文獻(xiàn)[16]提出的帶有注意力機(jī)制的雙向長短期記憶網(wǎng)絡(luò)。該模型客克服了CNN無法獲取句子長距離依賴關(guān)系的問題，在情感分析任務(wù)中效果顯著。在高度關(guān)注特定情感詞的同時(shí)，有效識(shí)別用戶不同的情感極性。但該模型未進(jìn)一步提取序列特征，模型效果還有提升空間。

(5)Fusion Model模型：基于文獻(xiàn)[6]提出的結(jié)合CNN和BiLSTM的模型，輸入序列通過該模型用不同大小卷積核的CNN層提取特征后拼接BiLSTM的輸出，用CNN代替注意力機(jī)制運(yùn)作，可以獲取整句評(píng)論的長距離依賴關(guān)系。但該模型沒有融入循環(huán)機(jī)制在CNN中，無法進(jìn)行特征多次提取。

(6)BiLSTM-CNN模型：基于文獻(xiàn)[17]提出的網(wǎng)絡(luò)模型，型結(jié)合了BiLSTM和CNN的優(yōu)點(diǎn)，在全局語義的基礎(chǔ)上進(jìn)行特征提取，模型結(jié)果超過單一模型。

(7)BiLSTM-DRCNN模型：本研究提出的深度網(wǎng)絡(luò)模型，使用BiLSTM可以使每個(gè)字都包含著上下文的信息，同時(shí)結(jié)合適當(dāng)深度的RCNN結(jié)構(gòu)將BiLSTM處理過后的文本序列進(jìn)行特征提取，充分提取情感極性的同時(shí)不會(huì)忽略邊緣詞匯，大大提升了分類結(jié)果的準(zhǔn)確率。

3.6 實(shí)驗(yàn)結(jié)果與分析

本研究使用7個(gè)應(yīng)用在情感分析領(lǐng)域的模型在兩種語言4種的數(shù)據(jù)集上進(jìn)行7組對(duì)比實(shí)驗(yàn)，模型實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同模型在4種數(shù)據(jù)集上的結(jié)果

從表3可見，未引入注意力機(jī)制的基礎(chǔ)網(wǎng)絡(luò)模型的分類效果并不理想，CNN和BiLSTM的平均F1分?jǐn)?shù)只有78.07%和79.54%；而ATT-CNN和ATT-BiLSTM模型的平均F1分?jǐn)?shù)比基礎(chǔ)的CNN和BiLSTM模型總體提高了0.8%和0.68%。與BiLSTM-CNN網(wǎng)絡(luò)模型相比，BiLSTM-DRCNN模型在4個(gè)數(shù)據(jù)集上的平均F1分?jǐn)?shù)提高了0.62%，在Twitter數(shù)據(jù)集上模型效果提高了1.02%；與CNN-BiLSTM模型相比，BiLSTM-DRCNN模型在4個(gè)數(shù)據(jù)集上的平均F1分?jǐn)?shù)提升了0.97%，在o2o數(shù)據(jù)集上模型效果提升了2.27%。因IMDB數(shù)據(jù)集為公開數(shù)據(jù)集，BiLSTM-DRCNN模型相較于SOTA上的CNN-LSTM和CNNu模型，在準(zhǔn)確率指標(biāo)上平均高出0.3%，比S-LSTM模型高出2.05%，收斂速度更快。

BiLSTM-CNN模型在4個(gè)數(shù)據(jù)集上的模型的F1分?jǐn)?shù)比CNN-BiLSTM模型的F1分?jǐn)?shù)高0.39%。因?yàn)橄仁褂肂iLSTM可以使序列很好地學(xué)習(xí)到上下文信息后再通過CNN進(jìn)行特征提取；而CNN-BiLSTM模型存在CNN處理后的語塊信息已經(jīng)缺少部分序列的完整性，再使用BiLSTM便無法很好地抓取上下文信息。在4個(gè)數(shù)據(jù)集上，BiLSTM-DRCNN模型的收斂速度都比其他模型更快。因?yàn)椴煌琑CB層之間的權(quán)重不共享，故研究不同Dropout比例下模型擬合能力的強(qiáng)弱尤為重要，可以看出模型在Dropout比例為0.3時(shí)效果最優(yōu)，過高過過低的Dropout比例都會(huì)影響模型的擬合能力。

本研究設(shè)置了3組消融實(shí)驗(yàn)，通過改變模型的組合方式或代替模型中部分網(wǎng)絡(luò)結(jié)構(gòu)等方法來驗(yàn)證BiLSTM-DRCNN模型的有效性。首先，BiLSTM-DRCNN模型中DRCNN用LSTM代替后組成BiLSTM-LSTM模型來檢測(cè)DRCNN的提取能力。其次，將BiLSTM-DRCNN模型中的注意力機(jī)制剔除組成BiLSTM-DRCNN'模型，驗(yàn)證引入注意力機(jī)制是否會(huì)對(duì)模型的實(shí)驗(yàn)結(jié)果產(chǎn)生影響。最后，將BiLSTM部分用LSTM代替后組成LSTM-DRCNN，如此可以驗(yàn)證使用BiLSTM接收雙向信息是否比LSTM接收單向信息對(duì)模型結(jié)果產(chǎn)生影響。實(shí)驗(yàn)結(jié)果如表4所示。

從表4可見，模型在4個(gè)不同的數(shù)據(jù)集上均取得了最好的F1分?jǐn)?shù)。與BiLSTM-LSTM模型相比，BiLSTM-DRCNN模型在4個(gè)數(shù)據(jù)集上的平均F1分?jǐn)?shù)提高了1.41%，在Twitter數(shù)據(jù)集上提高了2.42%。與BiLSTM-DRCNN'模型相比，BiLSTM-DRCNN模型總體提升了1.26%，體現(xiàn)使用注意力機(jī)制對(duì)模型結(jié)果的有較大影響。從使用LSTM代替本文模型中BiLSTM部分的LSTM-DRCNN模型實(shí)驗(yàn)結(jié)果可以看出，BiLSTM-DRCNN總體提升了0.75%，其中在IMDB數(shù)據(jù)集上總體提升了1.31%。

表4 不同模型在4種數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果

3.7 模型訓(xùn)練時(shí)間分析

對(duì)算法訓(xùn)練時(shí)間進(jìn)行統(tǒng)計(jì)分析，如表5所示，在模型對(duì)比試驗(yàn)中選擇的模型進(jìn)行篩選，共取在4種數(shù)據(jù)集上10個(gè)epoch的總計(jì)訓(xùn)練時(shí)間做對(duì)比，剔除了不包含BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)的模型，因?yàn)锽iLSTM的輸入為時(shí)序輸入，在訓(xùn)練耗時(shí)上遠(yuǎn)遠(yuǎn)超過CNN網(wǎng)絡(luò)，對(duì)比的意義不顯著。

表5 各模型在4個(gè)數(shù)據(jù)集上訓(xùn)練10個(gè)epoch的總共訓(xùn)練時(shí)間

從表5可以看出訓(xùn)練最快的為BiLSTM模型，加入了注意力機(jī)制后訓(xùn)練時(shí)間延長了24 s，提出的BiLSTM-DRCNN雖然耗時(shí)最長，但其收斂速度卻優(yōu)于其他模型，如圖6所示，可以看出BiLSTM-DRCNN對(duì)比另外2個(gè)模型復(fù)雜度相當(dāng)?shù)纳疃葘W(xué)習(xí)模型，均可以更快的收斂到最優(yōu)解附近。

圖6 收斂速度分析圖

4 結(jié)語

本研究提出一種融合雙向長短期記憶網(wǎng)絡(luò)與對(duì)向循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的BiLSTM-DRCNN模型，將其應(yīng)用于情感分析任務(wù)中。通過和多種神經(jīng)網(wǎng)絡(luò)模型在情感分類任務(wù)實(shí)驗(yàn)分板對(duì)比，驗(yàn)證了BiLSTM-DRCNN模型具有更好的性能。所提出的BiLSTM-RCNN模型可以將文本數(shù)據(jù)經(jīng)過BiLSTM與注意力機(jī)制處理，借助BiLSTM的雙向機(jī)制使得每個(gè)詞都包含了上下文信息，消除傳統(tǒng)LSTM無法捕獲下文信息的缺點(diǎn)，并且將處理過后的序列輸入到DRCNN中，利用DRCNN的內(nèi)循環(huán)機(jī)制來充分提取局部情感特征，進(jìn)一步獲取句子的情感極性，有效處理了邊緣詞匯和局部情感詞匯。BiLSTM-DRCNN模型改變深度學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重共享模式，各循環(huán)結(jié)構(gòu)之間使用權(quán)重私有化的方法來使模型學(xué)習(xí)到更豐富的情感特征信息。權(quán)重私有化使模型具有更多參數(shù)，相比使用CNN和注意力機(jī)制的模型，該結(jié)構(gòu)可以更好的提升模型情感分類能力。同時(shí)單個(gè)循環(huán)結(jié)構(gòu)中采用了多卷積的模式，特征提取相比CNN更強(qiáng)。