雙通道的BCBLA情感分類(lèi)模型

萬(wàn)俊杰,任麗佳,單鴻濤,孟金旭,賈仁祥

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201620)

1 引 言

在當(dāng)今互聯(lián)網(wǎng)快速發(fā)展時(shí)期,各種社交媒體應(yīng)運(yùn)而生,目前已經(jīng)廣泛普及,這些網(wǎng)絡(luò)平臺(tái)會(huì)產(chǎn)生大量的帶有情感特征的評(píng)論文本數(shù)據(jù),比如酒店平臺(tái)會(huì)有酒店好壞的評(píng)論,電影平臺(tái)會(huì)有關(guān)于電影好壞的評(píng)論,美食平臺(tái)會(huì)有食物好吃與不好吃的評(píng)論等等,能夠掌握并處理這些情感數(shù)據(jù)對(duì)于企業(yè)了解消費(fèi)者、提高產(chǎn)品質(zhì)量以及競(jìng)爭(zhēng)力提供了新的機(jī)會(huì)[1].

情感分析指從具有情感色彩的文本中挖掘出其中表達(dá)的情感態(tài)度.根據(jù)不同的情感粒度劃分,情感分析可以劃分為粗粒度的句子級(jí)和文檔級(jí)情感分析以及細(xì)粒度的方面級(jí)情感分析,本文針對(duì)的粗粒度級(jí)的情感分析,如針對(duì)中國(guó)科學(xué)院譚松波博士提供的較大規(guī)模的句子級(jí)的中文酒店評(píng)論進(jìn)行情感分析,該數(shù)據(jù)對(duì)酒店設(shè)施、環(huán)境、價(jià)格、服務(wù)等方面進(jìn)行了評(píng)價(jià),包含正面評(píng)價(jià)和負(fù)面評(píng)價(jià),如句子“房間早餐都還不錯(cuò)和價(jià)格成正比也比較安靜大概就這樣吧”是對(duì)酒店服務(wù)以及價(jià)格進(jìn)行了正面評(píng)價(jià),句子“環(huán)境和各方面的設(shè)施都很老舊房間小次所小得離譜服務(wù)態(tài)度也一般實(shí)在連3星級(jí)都算不上”則是對(duì)酒店設(shè)施、環(huán)境、服務(wù)等進(jìn)行了負(fù)面評(píng)價(jià).

常見(jiàn)的情感分析方法可分為3類(lèi),基于情感詞典的情感分析方法,基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法和基于深度學(xué)習(xí)的情感分析方法.基于情感詞典的情感分析方法需要構(gòu)建情感詞典,如對(duì)中文情感分析需要構(gòu)建的中文情感詞典,該方法嚴(yán)重依賴(lài)于情感詞典的構(gòu)建,人工成本高.基于機(jī)器學(xué)習(xí)的情感分析方法不需要嚴(yán)重依賴(lài)于情感詞典庫(kù),基于機(jī)器學(xué)習(xí)的情感分析方法可以通過(guò)對(duì)機(jī)器學(xué)習(xí)模型訓(xùn)練一定的情感分類(lèi)數(shù)據(jù),然后保存其模型參數(shù),對(duì)其他情感分類(lèi)樣本進(jìn)行預(yù)測(cè),如Xue等人[2]采用LDA(潛在的狄利克雷分布)方法對(duì)Twitter用戶發(fā)布的COVID-19數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試,從而對(duì)用戶的情緒進(jìn)行分析,但是該方法對(duì)應(yīng)的情感分析模型泛化能力差,采用的多為one-hot[3],tf-idf[4]等方法生成的詞向量,導(dǎo)致對(duì)文本內(nèi)容進(jìn)行情感分析通常不能很好的利用上下文信息.近年來(lái),因?yàn)樯疃葘W(xué)習(xí)模型泛化能力強(qiáng),同時(shí)能夠很好的學(xué)習(xí)到上下文信息,從而可以對(duì)情感文本進(jìn)行有效的分析,所以基于深度學(xué)習(xí)的情感分析方法被逐漸用于對(duì)情感文本進(jìn)行分析.2014年,Kim[5]將CNN(Convolutional Neural Networks)應(yīng)用于文本分類(lèi)任務(wù),取得了不錯(cuò)的效果,之后就有王煜涵等[6]將CNN模型應(yīng)用到情感分類(lèi)中,在twitter數(shù)據(jù)集上獲得了很好的效果.Santos等[7]提出了一種利用兩個(gè)卷積層提取特征來(lái)解決情感分析的CharSCNN.卷積神經(jīng)網(wǎng)絡(luò)CNN可以提取文本的局部關(guān)鍵特征,但是不能提取全局特征,長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM(Long Short Term networks)[8]可以提取長(zhǎng)序列文本的全局特征,在情感分類(lèi)任務(wù)上取得了不錯(cuò)的效果,如Jelodar等[9]使用LSTM遞歸神經(jīng)網(wǎng)絡(luò)對(duì)COVID-19評(píng)論進(jìn)行情感分類(lèi),從而表明利用公眾意見(jiàn)和合適的計(jì)算技術(shù)來(lái)理解新冠肺炎相關(guān)問(wèn)題并指導(dǎo)相關(guān)決策的重要性.注意力機(jī)制是一種可以關(guān)注重點(diǎn)特征的網(wǎng)絡(luò)模型,彭祝亮等[10]在BiLSTM的基礎(chǔ)上,利用多個(gè)方面注意力模塊同時(shí)對(duì)不同方面進(jìn)行獨(dú)立訓(xùn)練,讓注意力機(jī)制來(lái)重點(diǎn)提取影響情感分類(lèi)的特征,實(shí)現(xiàn)了不錯(cuò)的情感分類(lèi)效果.陳亞茹等[11]在BiGRU網(wǎng)絡(luò)的基礎(chǔ)上融合了自注意力機(jī)制,在3個(gè)微博情感語(yǔ)料庫(kù)上實(shí)現(xiàn)了比較好的效果.上面的情感分類(lèi)方法采用的深度學(xué)習(xí)模型使用的預(yù)訓(xùn)練詞向量基本上都是Word2vec[12]、glove[13]等靜態(tài)詞向量,詞向量是固定的,單詞無(wú)論在哪個(gè)上下文中始終映射的都是相同的向量,不能處理一詞多義問(wèn)題,而ELMO[14]、GPT[15]和BERT[16]等預(yù)訓(xùn)練模型產(chǎn)生的詞向量都是動(dòng)態(tài)的,在不同的上下文單詞映射得到的詞向量是不同的,ELMO采用的是一個(gè)前向和后向的雙向LSTM語(yǔ)言模型構(gòu)成,特征能力提取不夠強(qiáng),訓(xùn)練速度慢,不能并行化處理,GPT和BERT使用的都是transformer網(wǎng)絡(luò)架構(gòu)[17],GPT是從左到右的模型,而B(niǎo)ERT則是多層雙向transformer,同時(shí)考慮了左側(cè)和右側(cè)token的上下文信息,它會(huì)根據(jù)輸入字的周?chē)牟煌舷挛挠成涞玫讲煌脑~向量,能夠更好的學(xué)習(xí)到不同詞的語(yǔ)義.

綜上所述,根據(jù)上面模型存在的缺陷,以及基于深度學(xué)習(xí)的情感分析方法中基于BERT多通道模型融合的情感分析方法研究比較少,本文利用BERT模型與其他模型的優(yōu)勢(shì),提出了一種基于BERT雙通道的情感分類(lèi)模型,該模型融合了CNN網(wǎng)絡(luò),增強(qiáng)了提取文本局部特征的能力,同時(shí)融合了BiLSTM-Attention模型,增強(qiáng)了對(duì)長(zhǎng)序列文本處理和關(guān)鍵情感特征提取的能力.

2 BCBLA模型

如圖1所示,本文BCBLA模型是一個(gè)基于BERT的雙通道情感分類(lèi)模型,通道1是由BERT和CNN模型組成,通道2是由BERT和BiLSTM-Attention模型組成.

圖1 BCBLA模型Fig.1 BCBLA model

2.1 BERT

BERT模型與GPT模型一樣都采用了transformer架構(gòu),transformer架構(gòu)的編碼層如圖2右半部分所示.GPT是從左到右的模型,而B(niǎo)ERT則是多層雙向transformer,模型架構(gòu)如圖2左半部分所示.BERT本質(zhì)上是一個(gè)語(yǔ)言生成模型,同時(shí)考慮了左側(cè)和右側(cè)token的上下文信息,解決了GPT單向約束不足問(wèn)題,同時(shí)提出了兩個(gè)新的預(yù)訓(xùn)練任務(wù):“遮蔽語(yǔ)言模型”(MASKED LM,MLM)和“下一句預(yù)測(cè)”(Next Sentence Prediction,NSP).MLM指BERT以15%的概率會(huì)隨機(jī)對(duì)一個(gè)句子中的字進(jìn)行遮蓋,如對(duì)句子“濟(jì)南最好的酒店服務(wù)也不錯(cuò)”的“酒”、“服”等字被遮蓋,然后以80%的概率用[MASK]去替換掉被遮蓋的詞,如“濟(jì)南最好的酒店服務(wù)也不錯(cuò)”→“濟(jì)南最好的[MASK]店服務(wù)也不錯(cuò)”,接著10%的概率隨機(jī)用一個(gè)詞去替換掉它,如“濟(jì)南最好的酒店服務(wù)也不錯(cuò)”→“濟(jì)南最好的好店服務(wù)也不錯(cuò)”,最后10%的概率保持不變,如“濟(jì)南最好的酒店服務(wù)也不錯(cuò)”→“濟(jì)南最好的酒店服務(wù)也不錯(cuò)”.NSP就是拿屬于上文的句子和不屬于上文的句子進(jìn)行預(yù)測(cè),判斷它們是否屬于上下文,這種屬于上文的句子和不屬于上文的句子的概率各占50%.

圖2 BERT模型Fig.2 BERT model

BERT模型采用的transformer架構(gòu)使用了多頭注意力機(jī)制,能夠并行的計(jì)算句子中的每個(gè)單詞,克服了LSTM只能對(duì)文本串行處理而不能并行處理的缺陷,同時(shí)transformer機(jī)制里面的注意力機(jī)制還可以很好的模擬出一個(gè)詞對(duì)另一個(gè)詞影響的大小.transformer編碼模塊的核心單元是Self-Attention模塊,Self-Attention模塊對(duì)一個(gè)句子進(jìn)行編碼時(shí)會(huì)考慮到句子中的所有其他單詞,并決定如何對(duì)當(dāng)前單詞進(jìn)行編碼,計(jì)算公式表示如下:

(1)

圖3 多頭注意力機(jī)制計(jì)算過(guò)程示意圖Fig.3 Schematic diagram of the calculation process of the multi-head attention mechanism

Z=Concat(head0,head1,…,headh)Wo

(2)

本文采用的是已訓(xùn)練好的BERTBASE模型,該模型由12個(gè)編碼塊,每一個(gè)編碼塊中的多頭自注意力運(yùn)算子模塊由12個(gè)頭部,詞向量的嵌入維度為768.

在輸入層,BERT模型輸入的是k個(gè)字組成的token輸入序列,表示為x1:k=x1,x2,…xi,…,xk,其中xi(1≤i≤k)指的是第i個(gè)單詞,在輸入的token序列中的開(kāi)始位置加上[CLS]標(biāo)記,結(jié)束位置加上[SEP]標(biāo)記,其中,[SEP]標(biāo)志著一個(gè)句子的結(jié)束,[CLS]代表了BERT模型中的全局特征信息.如圖2中的左下角所示,句子“濟(jì)南最好的酒店服務(wù)也不錯(cuò)”被WordPiece分詞后形成了若干個(gè)字,分別是“濟(jì)”,“南”,“最”,“好”,“的”,“酒”,“店”,“服”,“務(wù)”,“也”,“不”,“錯(cuò)”,BERT模型中輸入的每個(gè)字對(duì)應(yīng)的向量都有3部分的向量相加組成,分別是Token Embeddings,Segment Embeddings,Position Embeddings,這3個(gè)向量分別包含了每個(gè)字對(duì)應(yīng)的token值,某個(gè)字所在的句子信息和位置信息.為了保證輸入到BERT模型的向量便于進(jìn)行運(yùn)算,本文對(duì)BERT模型中輸入句子token序列的長(zhǎng)度設(shè)置為128,對(duì)于超出設(shè)置最大序列長(zhǎng)度值的序列,保存前面的序列,長(zhǎng)度序列不足的部分用來(lái)填充.輸入層的計(jì)算公式如下:

E=Concat(EToken,ESegment,EPosition)=
EToken+ESegment+EPosition

(3)

輸入的token序列在BERT編碼的運(yùn)算表示如下:

hi=Trm(hi-1)

(4)

Trm是一個(gè)transformer轉(zhuǎn)換塊,hi,hi-1分別表示當(dāng)前層和上一層的輸出結(jié)果.

2.2 CNN

卷積神經(jīng)網(wǎng)絡(luò)CNN可以有效的捕捉文本局部關(guān)鍵特征信息,在BERT模型基礎(chǔ)上,增加CNN模型,可以在BERT模型輸出的全局特征信息基礎(chǔ)上增加了局部特征的獲取,從而可以獲得更多的特征信息.CNN模型主要有卷積層、池化層組成,如圖4所示.經(jīng)過(guò)BERT模型最后一個(gè)隱藏層輸出的向量H={h1,h2,…,hn}輸入到卷積神經(jīng)網(wǎng)絡(luò)CNN里面,首先對(duì)輸入的特征信息進(jìn)行如下的處理:

hi:n=h1⊕h2⊕…⊕hn

(5)

其中,⊕表示對(duì)CNN輸入的向量進(jìn)行連接的連接符號(hào),hi:n表示對(duì)h1,h2,…,hn的拼接.將拼接后的數(shù)據(jù)輸入到卷積層進(jìn)行卷積操作,卷積層的過(guò)濾器為w∈Rp×k,過(guò)濾器寬度設(shè)置的詞向量維度為k,高度設(shè)置為p,即每次對(duì)句子中p個(gè)相鄰詞之間進(jìn)行卷積操作來(lái)提取文本的n-gram特征.假設(shè)輸入層經(jīng)過(guò)濾器截取詞向量hi:i+p-1后得到的特征為ci,一個(gè)特征的提取表示如下:

ci=f(w·hi:i+p-1+b)

(6)

其中,b∈R表示偏置項(xiàng),f為非線性激活函數(shù).卷積核在輸入層的詞向量矩陣上滑動(dòng),生成的特征映射為:

c=[c1,c2,…,cn-p+1]

(7)

之后,對(duì)c∈Rn-p+1進(jìn)行最大池化操作,使提取的特征向量里面最大的特征代替整個(gè)特征向量.如圖4最右側(cè)的局部放大圖所示,假設(shè)對(duì)方框內(nèi)的4,5,8,7進(jìn)行最大池化操作,那么最大池化操作后獲得的值就是8,池化操作的公式表示如下:

(8)

圖4 CNN模型計(jì)算過(guò)程示意圖Fig.4 Schematic diagram of CNN model calculation process

(9)

2.3 BiLSTM

LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)RNN變體的一種,LSTM中增加了cell,通過(guò)門(mén)控狀態(tài)控制傳輸狀態(tài)實(shí)現(xiàn)了記憶功能,解決了RNN因文本序列過(guò)長(zhǎng),造成了梯度消失和梯度爆炸的問(wèn)題.如圖5所示,LSTM網(wǎng)絡(luò)單元由輸入門(mén)(InputGate)、遺忘門(mén)(ForgetGate)及輸出門(mén)(OutputGate)組成.

圖5 LSTM內(nèi)部單元示意圖Fig.5 Schematic diagram of LSTM internal unit

遺忘門(mén)決定從上一時(shí)刻的細(xì)胞狀態(tài)中丟棄哪些信息,以當(dāng)前時(shí)刻輸入xt和上一時(shí)刻的隱藏層輸出ht-1作為輸入,公式表示如下:

ft=σ(Wf[ht-1,xt]+bf)

(10)

其中,σ代表sigmoid函數(shù),輸出值為1時(shí)表示“完全保留”,0表示“完全舍棄”.Wf為權(quán)重系數(shù),bf為偏置量.

輸入門(mén)決定有多少輸入信息需要保留以及將需要保留的信息更新到當(dāng)前神經(jīng)網(wǎng)絡(luò)單元中,計(jì)算公式表示如下:

it=σ(Wi[ht-1,xt]+bi)

(11)

(12)

(13)

輸出門(mén)控制當(dāng)前神經(jīng)網(wǎng)絡(luò)單元中輸出哪些信息到下一個(gè)神經(jīng)單元.這里采用sigmoid函數(shù)確定哪些信息輸出,然后用tanh函數(shù)處理當(dāng)前單元狀態(tài)并與輸出門(mén)ot相乘得到當(dāng)前時(shí)刻隱藏層狀態(tài):

ot=σ(Wo[ht-1,xt]+bo)

(14)

ht=ot×tanh(Ct)

(15)

BiLSTM使用雙向LSTM架構(gòu)來(lái)捕獲文本長(zhǎng)序列的特征信息,結(jié)構(gòu)簡(jiǎn)單且對(duì)遠(yuǎn)距離依賴(lài)的信息學(xué)習(xí)效果好,可以解決BERT模型不能處理超過(guò)512長(zhǎng)度序列文本的缺陷,同時(shí)在BERT模型的基礎(chǔ)上可以保留更多長(zhǎng)文本序列的特征信息.BERT模型最后隱藏層狀態(tài)H={h1,h2,…,hn}輸入到BiLSTM網(wǎng)絡(luò)架構(gòu)中的運(yùn)算表示如下:

(16)

(17)

(18)

2.4 Attention

注意力機(jī)制是在眾多信息中提取與目標(biāo)相關(guān)的信息,BiLSTM層輸出的向量特征是多種多樣的,每個(gè)向量對(duì)分類(lèi)的結(jié)果影響程度是不一樣的,本文加入注意力機(jī)制,目的就是將影響分類(lèi)結(jié)果的向量信息重點(diǎn)輸出,給影響分類(lèi)結(jié)果的向量信息分配更大的權(quán)重,使其在輸出的向量中占據(jù)絕對(duì)優(yōu)勢(shì),對(duì)BiLSTM層輸出的向量做注意力機(jī)制運(yùn)算,公式表示如下:

ut=tanh(wtlt+bt)

(19)

(20)

(21)

lt表示BiLSTM在t時(shí)刻輸出的特征向量,bt表示偏置,wt表示lt的權(quán)重矩陣,ut表示為lt通過(guò)tanh神經(jīng)網(wǎng)絡(luò)計(jì)算得到的隱層表示,αt表示通過(guò)softmax函數(shù)得到的權(quán)重,記錄了一個(gè)向量對(duì)分類(lèi)結(jié)果影響的大小值,F表示經(jīng)過(guò)加權(quán)運(yùn)算后的特征向量,這個(gè)特征向量重點(diǎn)包含了對(duì)分類(lèi)結(jié)果影響高的特征信息.

2.5 輸出層

BERT模型隱藏層輸出的詞向量信息經(jīng)過(guò)CNN和BiLSTM-Attention兩個(gè)通道后,各自保留了更多的特征信息,這些特征信息擴(kuò)展了BERT模型輸出的特征信息,增加了局部特征信息、長(zhǎng)距離特征信息以及對(duì)分類(lèi)結(jié)果影響大的特征信息,將這些輸出的特征信息拼接起來(lái),然后輸入到全連接層,最后通過(guò)softmax函數(shù)進(jìn)行分類(lèi)操作輸出類(lèi)別信息,公式表示如下:

O=U⊕F

(22)

P(yi|O)=softmax(WoO)

(23)

其中,yi表示分類(lèi)輸出結(jié)果,i=1,2,…,k,k表示分類(lèi)類(lèi)別,Wo為權(quán)重矩陣.

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用的情感分類(lèi)數(shù)據(jù)集采用了中文和英文兩種數(shù)據(jù)集,中文數(shù)據(jù)集采用的是國(guó)內(nèi)中國(guó)科學(xué)院譚松波博士提供的較大規(guī)模的中文酒店評(píng)論(Tan Songbo Hotel Review)語(yǔ)料公開(kāi)數(shù)據(jù)集.該數(shù)據(jù)集可以為中文情感分析提供一定的平臺(tái),共計(jì)6000條數(shù)據(jù),情感極性正負(fù)評(píng)論各3000條,本文對(duì)其進(jìn)行了jieba分詞、去除一些停用詞等預(yù)處理,預(yù)處理后部分樣本如表1所示,預(yù)處理后的數(shù)據(jù)平均長(zhǎng)度約為125.英文數(shù)據(jù)集采用的是來(lái)自2015年Yelp Dataset Challenge數(shù)據(jù)集,該數(shù)據(jù)集中的正負(fù)不同極性分別包含280,000個(gè)訓(xùn)練樣本和19,000個(gè)測(cè)試樣本,平均長(zhǎng)度約為109,英文數(shù)據(jù)集的部分樣例也見(jiàn)表1所示.

表1 部分?jǐn)?shù)據(jù)集樣本Table 1 Partial data set samples

3.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文實(shí)驗(yàn)是在pytorch1.4.0深度學(xué)習(xí)框架上完成的,操作系統(tǒng)采用的是64位的Ubuntu20.04系統(tǒng),GPU是24G 顯存的INVDA Quadro RTX 6000.本文中采用的CNN、BiLSTM等對(duì)比模型對(duì)中文使用搜狗新聞的Word+Character預(yù)訓(xùn)練詞向量,英文使用谷歌的word2vec預(yù)訓(xùn)練詞向量模型,維度均為300d.本文BCBLA模型及含有BERT詞向量嵌入層構(gòu)成的對(duì)比模型中文采用的預(yù)訓(xùn)練模型是bert-base-chinese,英文采用的是bert-base-uncased,本文BCBLA模型實(shí)驗(yàn)參數(shù)的設(shè)置如表2所示.

表2 BCBLA模型實(shí)驗(yàn)參數(shù)Table 2 BCBLA model experimental parameters

3.3 評(píng)價(jià)指標(biāo)

本文采用準(zhǔn)確率(Accuracy)、精準(zhǔn)率(Precision)、召回率(Recall)和F1值來(lái)評(píng)價(jià)模型,這些指標(biāo)可以公平的評(píng)價(jià)模型的性能,它們的定義分別如下所示:

(24)

(25)

(26)

(27)

其中,TP表示在正類(lèi)情感樣本里預(yù)測(cè)也為正類(lèi)的樣本數(shù)量,FP表示在負(fù)類(lèi)情感樣本里預(yù)測(cè)為正類(lèi)的樣本數(shù)量,FN表示在正類(lèi)情感樣本里預(yù)測(cè)為負(fù)類(lèi)的樣本數(shù)量,TN表示在負(fù)類(lèi)情感樣本里預(yù)測(cè)也為負(fù)類(lèi)的樣本數(shù)量.

3.4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文BCBLA模型的有效性,本文進(jìn)行了如下對(duì)比實(shí)驗(yàn):1)與當(dāng)前流行的文本情感分類(lèi)模型進(jìn)行對(duì)比;2)單通道與多通道情感分類(lèi)模型進(jìn)行比較;3)不同預(yù)訓(xùn)練模型下的模型對(duì)比.

不同對(duì)比模型如下所示:

1)CNN[5]:卷積神經(jīng)網(wǎng)絡(luò)模型,有2、3、4這3個(gè)不同大小的卷積核組成,可以捕獲局部關(guān)鍵特征信息.

2)BiLSTM[18]:雙向LSTM,同時(shí)捕捉前后文依賴(lài)關(guān)系的特征.

3)BiLSTM-Attention:在BiLSTM模型的基礎(chǔ)上加入注意力機(jī)制,以此來(lái)捕獲影響情感分類(lèi)結(jié)果的關(guān)鍵特征.

4)RCNN[19]:結(jié)合了RNN和CNN兩種模型,將BiLSTM獲得的隱層輸出和詞向量拼接結(jié)果進(jìn)行最大池化操作,從而獲取情感分類(lèi)的關(guān)鍵特征信息.

5)DPCNN[20]:深層金字塔卷積網(wǎng)絡(luò),采用多個(gè)固定位置的卷積核分層提取文本中所有鄰接詞的語(yǔ)義特征.

6)LDA+Self-Attention[21]:使用LDA獲得每個(gè)評(píng)論的擴(kuò)展信息,采用word2vec模型對(duì)擴(kuò)展信息和原評(píng)論文本進(jìn)行詞向量訓(xùn)練,最后用Self-Attention進(jìn)行動(dòng)態(tài)權(quán)重分配并進(jìn)行分類(lèi).

7)BERT[16]:動(dòng)態(tài)預(yù)訓(xùn)練詞向量模型,采用多層雙向Transformer架構(gòu)捕獲文本上下文特征信息,隱藏層[CLS]獲取全局分類(lèi)特征信息.

8)BERT+CNN:在BERT模型的基礎(chǔ)上,增加CNN網(wǎng)絡(luò)進(jìn)一步提取局部關(guān)鍵特征信息.

9)BERT+BiLSTM-Attention(BBLA):在BERT模型的基礎(chǔ)上,增加BiLSTM-Attention模型進(jìn)一步獲取長(zhǎng)序列和情感分類(lèi)關(guān)鍵特征信息.

10)Word2vec+CBLA:Word2vec-CNN模型和Word2vec-

BiLSTM-Attention模型組成的雙通道情感分類(lèi)模型.

11)BCBLA:本文模型.

不同模型訓(xùn)練過(guò)程中準(zhǔn)確率accuracy值如圖6、圖7所示.

圖6 Tan Songbo Hotel Review數(shù)據(jù)集上訓(xùn)練的accuracy值變化圖Fig.6 Variation diagram of accuracy values trained on Tan Songbo Hotel Review dataset

圖7 Yelp數(shù)據(jù)集上訓(xùn)練的accuracy值變化圖Fig.7 Variation diagram of accuracy values trained on Yelp dataset

3.4.1 與當(dāng)前流行的文本情感分類(lèi)模型進(jìn)行對(duì)比

首先,本文與如下當(dāng)前流行的一些情感分類(lèi)模型對(duì)比,比較模型主要有CNN、BiLSTM、BiLSTM-Attention、RCNN、DPCNN、LDA+Self-Attention等,其中LDA+Self-Attention模型的實(shí)驗(yàn)結(jié)果直接來(lái)自文獻(xiàn)[21].本文BCBLA模型與這些模型的測(cè)試結(jié)果如表3所示.從圖6和圖7中可以看出,本文BCBLA模型與上面這些對(duì)比模型相比,訓(xùn)練過(guò)程中的準(zhǔn)確率accuracy值收斂速度更快,收斂之后變化浮動(dòng)小,受數(shù)據(jù)集數(shù)據(jù)數(shù)量大小等因素的影響,在數(shù)據(jù)量小的中文Tan Songbo Hotel Review數(shù)據(jù)集,CNN、BiLSTM等模型訓(xùn)練的accuracy值收斂之后變化浮動(dòng)仍舊比較大,在數(shù)據(jù)量大的英文Yelp數(shù)據(jù)集,訓(xùn)練的accuracy值收斂之后變化浮動(dòng)比相對(duì)比較小,本文BCBLA模型在兩種數(shù)據(jù)集訓(xùn)練的accuracy值變化浮動(dòng)都比較小,收斂值更大.同樣對(duì)比表3的測(cè)試結(jié)果中可以看出,本文BCBLA模型在4個(gè)評(píng)價(jià)指標(biāo)上均優(yōu)于CNN、BiLSTM、BiLSTM-Attention、RCNN、DPCNN、LDA+Self-Attention模型,在中文Tan Songbo Hotel Review數(shù)據(jù)集上優(yōu)于對(duì)比模型中表現(xiàn)最好的LDA+Self-Attention模型,在準(zhǔn)確率A、召回率R和F1值分別高出3.59%、2.34%和3.16%,英文Yelp數(shù)據(jù)集則比對(duì)比模型中表現(xiàn)最好的BiLSTM-Attention模型分別高出2.74%、2.73%、2.74%和2.74%.綜上,可以看出與當(dāng)前流行的情感分類(lèi)模型相比,本文BCBLA模型在情感分類(lèi)上性能更強(qiáng).

3.4.2 不同通道對(duì)情感分類(lèi)結(jié)果的影響

表3 不同情感分類(lèi)模型的測(cè)試結(jié)果Table 3 Test results of different sentiment classification model

本文在雙通道情感分類(lèi)模型基礎(chǔ)上,同時(shí)也研究了簡(jiǎn)單的BERT和基于BERT的單通道情感分類(lèi)模型,即對(duì)BERT、BERT+CNN(通道1)和BERT+BiLSTM-Attention(BBLA)(通道2)模型上進(jìn)行實(shí)驗(yàn),然后與本文雙通道情感分類(lèi)模型做對(duì)比,測(cè)試結(jié)果如表4所示,從圖6和圖7的訓(xùn)練圖可知,本文雙通道BCBLA模型比單通道BBLA和BERT-CNN模型以及BERT模型在訓(xùn)練的accuracy值收斂值更大,收斂之后變化浮動(dòng)更小.從表4的測(cè)試結(jié)果可知,單通道的BERT+CNN模型和單通道的BBLA模型的4個(gè)評(píng)價(jià)指標(biāo)值都比BERT模型高,其中單通道的BERT+CNN模型在中文Tan Songbo Hotel Review數(shù)據(jù)集和英文Yelp數(shù)據(jù)集上F1值比BERT模型分別高出0.64%、0.18%,這說(shuō)明在BERT模型獲取融合文本語(yǔ)境的詞向量表征后,通過(guò)CNN模型進(jìn)行卷積、最大池化操作提取局部情感分類(lèi)特征,可以在一定程度上提高模型的情感分類(lèi)效果.單通道的BBLA模型在中文Tan Songbo Hotel Review數(shù)據(jù)集和英文Yelp數(shù)據(jù)集上F1值比BERT模型分別高出0.44%、0.13%,這說(shuō)明在BERT模型獲取融合文本語(yǔ)境的詞向量表征后,通過(guò)BiLSTM獲得長(zhǎng)序列文本全局情感分類(lèi)特征,然后采用Attention模型從獲得的特征中提取出重點(diǎn)情感分類(lèi)特征,可以在一定程度上提升模型的情感分類(lèi)效果.另外從表4也可以看出,雙通道BCBLA模型比單通道模型BBLA和BERT+CNN模型以及BERT模型在4個(gè)指標(biāo)的測(cè)試值都高,其中雙通道BCBLA模型在中文Tan Songbo Hotel Review數(shù)據(jù)集和英文Yelp數(shù)據(jù)集上F1值比單通道模型BBLA分別高出0.56%、0.56%,比單通道BERT+CNN模型分別高出0.36%、0.51%,比BERT模型分別高出1.00%、0.69%,這說(shuō)明在BERT模型獲取融合文本語(yǔ)境的詞向量表征后,同時(shí)采用CNN模型進(jìn)行卷積、最大池化操作提取局部特征和BiLSTM-Attention模型獲得長(zhǎng)序列全局文本重點(diǎn)特征,然后將所得特征融合后進(jìn)行情感分類(lèi),在一定程度上分類(lèi)效果要好于單通道的BERT+CNN模型、單通道的BBLA模型和BERT模型.

3.4.3 不同預(yù)訓(xùn)練模型對(duì)分類(lèi)結(jié)果的影響

本文采用了BERT動(dòng)態(tài)預(yù)訓(xùn)練模型作為本文模型的詞向量嵌入層,通過(guò)該模型得到的詞向量是動(dòng)態(tài)的,每個(gè)詞向量都與上下文中的其他詞向量有著動(dòng)態(tài)的緊密的聯(lián)系,不同的詞產(chǎn)生的詞向量可以很好的根據(jù)周?chē)h(huán)境發(fā)生改變,而Word2Vec等模型產(chǎn)生詞向量卻是固定不變的,并不能解決一詞多義問(wèn)題.將本文BCBLA模型的BERT詞向量嵌入層去掉,使用Word2Vec詞向量嵌入層替換,進(jìn)行了研究,測(cè)試的實(shí)驗(yàn)結(jié)果如表5所示,表格中的CBLA代表由CNN和BiLSTM-Attention兩個(gè)通道組成的模型,Word2Vec+CBLA表示CBLA雙通道模型的詞向量嵌入層是Word2Vec模型,從圖6和圖7的訓(xùn)練圖中可以看出,本文采用BERT模型作為詞向量嵌入層的BCBLA模型與采用Word2Vec作為詞向量嵌入層的Word2vec+CBLA模型相比,在訓(xùn)練的accuracy值收斂速度快,收斂之后變化浮動(dòng)小,從表5的測(cè)試結(jié)果中可看出,BCBLA模型比Word2vec+CBLA模型在中文TanSongbo Hotel Review和英文Yelp數(shù)據(jù)集準(zhǔn)確率A、精準(zhǔn)率P、召回率R和F1值測(cè)試結(jié)果明顯高出不少,在中文Tan Songbo Hotel Review數(shù)據(jù)集上4個(gè)指標(biāo)值分別高出3.83%、3.85%、3.83%和3.84%,英文Yelp數(shù)據(jù)集則分別高出2.51%、2.50%、2.51%和2.51%.綜上,可以看出采用BERT動(dòng)態(tài)詞向量的BCBLA模型比采用Word2Vec靜態(tài)詞向量的Word2Vec+CBLA模型情感分類(lèi)效果好,說(shuō)明動(dòng)態(tài)詞向量模型比靜態(tài)詞向量模型訓(xùn)練得到的詞向量具有更豐富的詞向量特征信息.

表4 不同通道模型的測(cè)試結(jié)果Table 4 Test results of different channel models

表5 不同預(yù)訓(xùn)練模型下的測(cè)試結(jié)果Table 5 Test results under different pre-training models

4 結(jié) 論

針對(duì)過(guò)往的情感分類(lèi)模型采取的多為傳統(tǒng)的深度學(xué)習(xí)模型,即使采用多通道模型融合的情感分類(lèi)模型使用的預(yù)訓(xùn)練模型也多為靜態(tài)預(yù)訓(xùn)練模型,本文提出了一種基于BERT的動(dòng)態(tài)預(yù)訓(xùn)練模型作為詞向量嵌入層的雙通道的情感文本分類(lèi)模型BCBLA,設(shè)計(jì)了與當(dāng)前流行的情感分類(lèi)模型對(duì)比、減少通道后的模型對(duì)比和更換預(yù)訓(xùn)練模型后的對(duì)比等3種實(shí)驗(yàn)對(duì)比方式,在中文譚松波酒店評(píng)論數(shù)據(jù)集上和英文Yelp Dataset Challenge 數(shù)據(jù)集進(jìn)行了訓(xùn)練和測(cè)試,最終證明了本文提出的雙通道情感分類(lèi)模型的有效性.在后續(xù)的工作,還可以在BERT預(yù)訓(xùn)練詞向量模型的基礎(chǔ)上引入更多的通道,或者更換其他更好的預(yù)訓(xùn)練詞向量模型,或者更換通道模型中的模塊等方法進(jìn)行研究對(duì)比.