基于膠囊網(wǎng)絡(luò)的中長微博情感分析

吳仁彪 喬 晗 賈云飛 劉閃亮 張振馳 劉 洋

（中國民航大學(xué)天津市智能信號與圖像處理重點(diǎn)實(shí)驗(yàn)室，天津 300300）

1 引言

隨著互聯(lián)網(wǎng)的發(fā)展，人們通過各種社交平臺進(jìn)行溝通交流，發(fā)表各自言論。其中，微博因其操作簡單、時效性強(qiáng)、交流便利等特性，逐漸成為網(wǎng)絡(luò)輿論的重要傳播中心［1］。分析具備情感色彩的微博文本，不但能夠獲得用戶此時的心理狀態(tài)、對各種事物的意見傾向，了解用戶的普遍性觀點(diǎn)與態(tài)度，而且能夠獲取潛在的經(jīng)濟(jì)價值。甚至通過分析，能夠?qū)Σ涣佳哉撨M(jìn)行監(jiān)控，從而保障網(wǎng)絡(luò)安全。

早期的情感分析法主要有兩種方法：基于情感詞典方法和傳統(tǒng)的機(jī)器學(xué)習(xí)方法。前者主要依賴情感詞典的構(gòu)建［2-5］，但微博網(wǎng)絡(luò)中新詞的頻繁出現(xiàn)，特殊用語較多，這種方法的檢測效果較差，領(lǐng)域依賴性較大。而傳統(tǒng)的機(jī)器學(xué)習(xí)方法常常無法充分融合上下文語境信息，影響分類的準(zhǔn)確率［6-8］。隨著計(jì)算機(jī)性能的提升和數(shù)據(jù)量的擴(kuò)增，深度學(xué)習(xí)的方法逐漸在情感分析任務(wù)中發(fā)揮更重要作用。相較于早期的分析方法，深度學(xué)習(xí)方法能夠主動提取文本特征［9-15］，降低文本構(gòu)建特征的復(fù)雜性，并且在情感分析任務(wù)上表現(xiàn)更優(yōu)異。何炎祥等人［16］提出將表情符號映射到情感空間，并融合深度學(xué)習(xí)模型，捕獲更多情感語義信息，這種方法在NLPCC2013數(shù)據(jù)集上的準(zhǔn)確率達(dá)到了79.31%。Xu 等人［17］構(gòu)造融合多種情感詞的擴(kuò)展情感詞典，在酒店、服裝、水果、數(shù)碼、洗發(fā)水等多領(lǐng)域?qū)崿F(xiàn)了有效的文本情感分類。相比傳統(tǒng)方法，上述方法雖然在準(zhǔn)確度上得到提高，但過于依賴外部信息的選取與構(gòu)造，并沒有深入挖掘文本本身的情感特性。

針對情感分析中的短文本分析問題，目前研究學(xué)者普遍表示，文本的特征維度會隨著文本長度的減少而降低，這給短文本的分類造成障礙。楊震等人［18］通過研究中文短評論的情感分類，指出短評論存在數(shù)據(jù)稀疏與上下文缺失的問題。但其對短評論的補(bǔ)充則主要是針對主題，沒有針對情感分類進(jìn)行擴(kuò)充。根據(jù)張林等人［19］的研究表明，短文本的信息缺失主要圍繞著評論主題的識別與抽取方面，并不會影響情感分類任務(wù)。

上述研究者的工作均集中在主題性數(shù)據(jù)領(lǐng)域，而本文則是通過微博文本在情感分析領(lǐng)域進(jìn)行研究。2016 年，微博解除了文本內(nèi)容140 字限制，此后，微博文本平均長度逐年增加。由于微博官方?jīng)]有公布相關(guān)文本長度統(tǒng)計(jì)，因此本文實(shí)驗(yàn)數(shù)據(jù)通過微博爬蟲隨機(jī)獲取20 萬余條微博文本。數(shù)據(jù)清洗后刪除客觀新聞與轉(zhuǎn)發(fā)評論等非原創(chuàng)性信息，保留帶有主觀傾向的文本，最終得到12萬余條微博文本樣本。統(tǒng)計(jì)結(jié)果顯示，60字以上文本約有62339條，占比49.7%，90 字以上文本占32.4%，這一數(shù)據(jù)表明，中長微博已經(jīng)占據(jù)主導(dǎo)地位。但是，目前針對微博的情感分析并沒有伴隨微博文本長度的增加，而深入關(guān)注文本長度對分類效果造成的影響。以“長微博”、“中長微博”為關(guān)鍵詞在CNKI、萬方與IEEE等數(shù)據(jù)庫進(jìn)行檢索，現(xiàn)有文獻(xiàn)主要研究的重點(diǎn)在于輿情傳播或長微博圖片文本化，而缺少針對中長微博的情感分析方面的研究。

因此，本文首先針對公開的中文微博情感分析數(shù)據(jù)集質(zhì)量低的問題，根據(jù)爬蟲采集的真實(shí)數(shù)據(jù)構(gòu)建符合實(shí)際文本長度分布的高質(zhì)量微博情感分析數(shù)據(jù)集。分析表明，微博數(shù)據(jù)中文本長度與分類效果并不呈正相關(guān)，與中長微博相比，短微博情感分類效果更佳。另一方面，針對微博語料句子之間關(guān)聯(lián)弱、情感信息不連貫等特點(diǎn)，本文提出一種基于膠囊網(wǎng)絡(luò)的中長微博情感分析模型。參考圖像處理領(lǐng)域的膠囊網(wǎng)絡(luò)［20-21］，該方法解決了CNN（Convolutional Neural Networks）在學(xué)習(xí)過程中存在的空間不敏感問題，通過向量神經(jīng)元捕獲空間結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果證明，該方法能夠有效降低信息丟失問題。隨后Zhao 等人［22］將膠囊網(wǎng)絡(luò)應(yīng)用在自然語言處理領(lǐng)域，改變動態(tài)路由，增加捕捉噪聲信息的膠囊。實(shí)驗(yàn)證明，在多個不同的文本分類任務(wù)上，該方法都取得較好效果，其中在SST-2情感分類數(shù)據(jù)集上準(zhǔn)確率達(dá)到86.8%。本文模型中，使用膠囊向量代替標(biāo)量神經(jīng)元實(shí)現(xiàn)情感表征，挖掘文本深入的空間特性與上下文特征，提高了中長微博文本的情感建模能力。利用膠囊網(wǎng)絡(luò)再融合卷積神經(jīng)網(wǎng)絡(luò)提取的局部特征與循環(huán)神經(jīng)網(wǎng)絡(luò)捕獲的全局特性，提高模型的情感分析性能。通過將本文提出的模型與已有模型進(jìn)行實(shí)驗(yàn)比較，結(jié)果表明，本文模型準(zhǔn)確率更高。

2 基于膠囊網(wǎng)絡(luò)的中長微博情感分析模型

針對中長微博文本情感分類的問題，本文采用基于膠囊網(wǎng)絡(luò)的中長微博情感分析模型，其模型結(jié)構(gòu)如圖1所示。該模型主要由四部分構(gòu)成：局部特征提取，全局特征提取，基于注意力機(jī)制的特征融合，以及深層次特征提取。該模型首先采用word2vec模型對輸入文本進(jìn)行詞嵌入處理，得到文本表示矩陣。為充分挖掘深層次的語義信息和結(jié)構(gòu)特征，本文將字向量矩陣和詞向量矩陣作為網(wǎng)絡(luò)的輸入，以實(shí)現(xiàn)情感特征抽取。將文本表示矩陣分別輸入到相應(yīng)的Bi-GRU（Bidirectional-Gate Recurrent Unit）網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)中，完成全局和局部的情感表征，經(jīng)過基于注意力機(jī)制的特征融合后，再通過膠囊向量捕獲深層情感特征，最后輸出得到文本的情感傾向。

2.1 局部特征提取

由于微博文本語料存在非結(jié)構(gòu)化、非標(biāo)準(zhǔn)化的特點(diǎn)，因此其特征提取較為困難。為避免此問題，本文首先將輸入文本按字符級別進(jìn)行分詞處理，生成字向量。采用預(yù)訓(xùn)練的word2vec 字向量將分好的字符映射到d維的向量空間中，構(gòu)建微博字符表示矩陣V=[v1，v2，…，vn]n×d，其中n表示詞語數(shù)量。上述過程如圖1詞嵌入（字向量）所示。

卷積神經(jīng)網(wǎng)絡(luò)最初應(yīng)用在圖像處理領(lǐng)域?qū)崿F(xiàn)特征篩選，后來逐漸應(yīng)用在自然語言處理領(lǐng)域，體現(xiàn)出其強(qiáng)大的學(xué)習(xí)能力和表示能力。本文將字符表示矩陣作為網(wǎng)絡(luò)輸入，采用多個不同尺寸、字向量維度一致的卷積核捕獲多維局部特征。設(shè)置卷積核尺寸為h×d，滑動步長為1，對文本表示矩陣V進(jìn)行特征篩選。

其中，W∈Rh×d代表權(quán)重矩陣，b∈R 代表偏置項(xiàng)，f代表激活函數(shù)。

本文選用Relu 函數(shù)學(xué)習(xí)優(yōu)化。為避免特征矩陣中間區(qū)域與邊緣區(qū)域提取次數(shù)不同的問題，采取padding 操作，既避免邊緣區(qū)域特征提取少，又能夠使輸入、輸出維度達(dá)成一致。最終得到特征矩陣C=[c1，c2，c3，…，cn]n×B，其中B為濾波器數(shù)量。同時選用多個不同維度的卷積核，獲取不同文本層的情感特征，有利于提取局部特征。

2.2 全局特征提取

本文模型融合卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，分別從局部和整體兩個層次實(shí)現(xiàn)特征獲取，能夠更全面地提取文本的情感特征，獲得更多樣且有效的情感表征。

為解決文本重要語義特征丟失問題，同時豐富語義特征表示含義。采用預(yù)訓(xùn)練的word2vec 詞向量將分詞后的詞語映射到d維的向量空間中，構(gòu)建微博詞語表示矩陣R=[r1，r2，…，rn]n×d。上述過程如圖1詞嵌入（詞向量）所示。

由于微博文本是一種字符序列，為獲取全局特征，因此考慮采用GRU 網(wǎng)絡(luò)進(jìn)行特征提取，融合前序信息，依靠“門”結(jié)構(gòu)選擇性影響每個時刻的狀態(tài)。GRU網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

GRU 具有隱藏的門控，通過可學(xué)習(xí)的機(jī)制控制隱藏狀態(tài)的更新與重置，具體的計(jì)算方法如下式（2）～（5）。

其中，xt代表當(dāng)前時刻輸入，ht代表當(dāng)前時刻的隱藏狀態(tài)，ht-1代表前一時刻傳遞的隱藏狀態(tài)，包含了之前所有時刻的信息，rt是重置門，融合當(dāng)下時刻與前一時刻狀態(tài)信息，zt為更新門，用以控制前一狀態(tài)被帶入到當(dāng)前狀態(tài)的比例。

雖然GRU 網(wǎng)絡(luò)融合了前項(xiàng)序列的歷史信息，但卻缺失了未來時刻的信息傳遞。因此，采用Bi-GRU網(wǎng)絡(luò)，綜合考慮整個句子的信息，能夠得到更準(zhǔn)確的全局特征。使用兩個GRU 沿著文本序列的前向和后向建模，將每時刻的輸出融合做為最終的輸出層Ht，通過分別獲取上下文情感獲得更精準(zhǔn)的全局特征表示，就可以解決這一問題。

2.3 基于注意力機(jī)制的特征融合

輸出的特征維度通常較高，會造成較大的運(yùn)算壓力。池化是對輸出特征進(jìn)行降維的傳統(tǒng)操作，然而池化會引起重要信息丟失的問題。注意力機(jī)制能夠進(jìn)一步獲取相關(guān)度最大的特征，降低維度的同時避免信息丟失。因此本文采取注意力機(jī)制融合局部特征與全局特征得到語義融合矩陣，具體過程如圖3。

首先利用余弦相似度公式計(jì)算局部特征與全局特征之間的相關(guān)性，相似度越高，意味著該特征包含著更強(qiáng)的語義信息，應(yīng)獲取更高的關(guān)注權(quán)重。利用softmax函數(shù)歸一化處理，得到注意權(quán)重μi與注意矩陣μ=[μ1，μ2，…，μn]，具體計(jì)算方法如下。

其中，ci和分別代表局部特征和全局特征。

融合特征gt由中間語義特征與注意矩陣相乘后累加得到，最終得到融合向量。

基于注意力機(jī)制的特征融合，利用CNN 提取局部抽象特征的能力，調(diào)整Bi-GRU 的特征表達(dá)，增強(qiáng)關(guān)鍵信息權(quán)重，充分捕捉句子內(nèi)部結(jié)構(gòu)。

2.4 深層次特征提取層

膠囊網(wǎng)絡(luò)最初用于計(jì)算機(jī)視覺領(lǐng)域的神經(jīng)網(wǎng)絡(luò)，利用膠囊向量獨(dú)有的空間特性捕獲位置信息，使分類器具備更強(qiáng)的學(xué)習(xí)能力，當(dāng)樣本量較小的情況下也能取得較為理想的分類結(jié)果。將膠囊網(wǎng)絡(luò)應(yīng)用在自然語言處理研究中，可以有效提取上下文中隱含的語義信息，相較傳統(tǒng)分類器具備更強(qiáng)的表達(dá)能力，因此為獲取上下文的情感關(guān)聯(lián)，將膠囊向量應(yīng)用于文本實(shí)現(xiàn)深層次特征提取。

膠囊網(wǎng)絡(luò)由表征不同情感的低層膠囊及高層膠囊組成。低層膠囊通過動態(tài)路由算法的不斷更新計(jì)算得到對應(yīng)的權(quán)重矩陣，并與低層膠囊的輸入共同決定高層膠囊的輸出。權(quán)重矩陣通過壓縮函數(shù)得到高層表示，最終的膠囊表示由所有高層膠囊拼接起來得到。膠囊網(wǎng)絡(luò)通過不斷迭代動態(tài)路由以提取特征的深層次特征。具體實(shí)現(xiàn)如圖4所示。

首先通過非線性激活函數(shù)將融合矩陣轉(zhuǎn)化為膠囊ui。利用權(quán)重矩陣Wij將膠囊ui轉(zhuǎn)換為預(yù)測向量，并定義迭代次數(shù)。定義cij為耦合系數(shù)，通過多次迭代調(diào)整權(quán)值。為確保輸入層與輸出層之間系數(shù)之和為1，采用softmax函數(shù)更新，如式（13）所示。

其中，bij為權(quán)重，設(shè)置初始值為0，ui表示初始膠囊。

其中，sj表示高層膠囊的輸入。

膠囊向量的方向表示內(nèi)部的空間結(jié)構(gòu)，膠囊向量的模長表示特征的重要性。為了不丟失其空間特征，采用壓縮函數(shù)squash 歸一化輸出vj，在不改變輸出向量方向的同時，壓縮模長。

最后，通過更新輸出向量與預(yù)測向量之間的相關(guān)性更新權(quán)重bij，如式（16）所示。

膠囊網(wǎng)絡(luò)能夠有效編碼詞語的位置、語義和結(jié)構(gòu)，針對中長微博語料這種噪聲較多的數(shù)據(jù)，不僅能夠提高文本表達(dá)能力，增強(qiáng)上下文的語義特征提取，還能挖掘文本的深層次情感表征。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

為探尋更符合實(shí)際的微博數(shù)據(jù)分布，本文實(shí)驗(yàn)數(shù)據(jù)集由微博爬蟲隨機(jī)爬取。數(shù)據(jù)集構(gòu)造流程如圖5所示。

首先對關(guān)鍵詞庫中的關(guān)鍵詞進(jìn)行逐一搜索，最終爬取到2018 年后的微博文本20 萬余條。對爬取的微博語料去重后進(jìn)行主客觀分析［23］，采用結(jié)合詞性特征的卷積神經(jīng)網(wǎng)絡(luò)去除新聞報道與事件描述等客觀性微博文本，僅保留具備主觀傾向性的微博文本，并對其進(jìn)行數(shù)據(jù)清洗。隨后實(shí)驗(yàn)員協(xié)同十名志愿者對采集到的微博進(jìn)行帶有正負(fù)情感標(biāo)簽的情感標(biāo)注，為提高數(shù)據(jù)集質(zhì)量，保證分類精度，去除情感傾向?yàn)橹行曰蚰：裏o法確定的微博語料，篩選后最終得到126062條微博文本樣本，數(shù)據(jù)集文本長度與文本數(shù)量關(guān)系如圖6所示。

統(tǒng)計(jì)可得，本文構(gòu)造的微博數(shù)據(jù)集平均字符長度為67.3。保證數(shù)據(jù)同分布的基礎(chǔ)上，按照8∶2 的比例劃分訓(xùn)練集與測試集。文本示例如表1所示。

表1 文本示例Tab.1 Text example

3.2 實(shí)驗(yàn)設(shè)置

3.2.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)環(huán)境設(shè)置如表2所示。

表2 實(shí)驗(yàn)環(huán)境配置Tab.2 Experimental environment configuration

3.2.2 參數(shù)設(shè)置

本文的實(shí)驗(yàn)參數(shù)設(shè)定，具體如表3所示。

表3 模型參數(shù)設(shè)置Tab.3 Model parameter settings

3.2.3 評價指標(biāo)

本文實(shí)驗(yàn)采用三種指標(biāo)：準(zhǔn)確率（Precision）、召回率（Recall）和F1 值（F1-Score）。準(zhǔn)確率表示正確預(yù)測與預(yù)測為正的樣本數(shù)之間的比例，具體如下：

召回率表示正確預(yù)測與實(shí)際樣本的樣本數(shù)之間的比例，具體如下：

其中，TP 為正類預(yù)測為正類的數(shù)量；FP 為負(fù)類預(yù)測為正類的數(shù)量；FN為正類預(yù)測為負(fù)類的數(shù)量。

由于準(zhǔn)確率和召回率指標(biāo)存在相互矛盾的情況，所以引入F1值，綜合考慮準(zhǔn)確率和召回率結(jié)果。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 文本長度對分類結(jié)果的影響分析

為考察文本長度對微博文本情感分類的影響，在相同實(shí)驗(yàn)條件下，進(jìn)行本文模型與LSTM 模型的對比實(shí)驗(yàn)。實(shí)驗(yàn)中，考慮到樣本量的差異會干擾分類結(jié)果，因此根據(jù)數(shù)據(jù)集中實(shí)際數(shù)據(jù)統(tǒng)計(jì)劃分，保持每組樣本量在同一級別，分別測試不同文本長度區(qū)間對微博文本情感分類的影響，實(shí)驗(yàn)結(jié)果如表4所示。

表4 均衡樣本數(shù)的分組分類效果Tab.4 Group classification effect of balanced sample number

從實(shí)驗(yàn)結(jié)果可得，均衡樣本數(shù)量的情況下，準(zhǔn)確率隨微博文本長度的增加而呈現(xiàn)下降趨勢，這是由于隨著微博文本長度的增加，導(dǎo)致與情感分類無關(guān)的噪聲信息逐漸增多，情感分類準(zhǔn)確率逐漸降低。本文模型始終優(yōu)于LSTM 模型，且隨著文本長度的增加，性能優(yōu)越性逐漸體現(xiàn)，在0～40區(qū)間，本文模型相較于LSTM 模型，準(zhǔn)確率僅提升1.6%；在40～90 區(qū)間范圍，準(zhǔn)確率提高3.7%，提升率達(dá)到4.3%；當(dāng)文本長度大于90時，提升率最為顯著，為12.9%。證明了膠囊向量在中長微博文本的特征提取中有重要作用，本文模型在中長微博文本情感分類任務(wù)中具有有效性。

3.3.2 路由迭代次數(shù)與向量維度影響分析

在膠囊網(wǎng)絡(luò)中，路由迭代次數(shù)與向量維度是影響模型好壞的重要因素，因此本文通過調(diào)整二者數(shù)值，分析對模型的影響，實(shí)驗(yàn)結(jié)果如圖7所示。

當(dāng)?shù)螖?shù)較少時，實(shí)驗(yàn)結(jié)果較差，這是因?yàn)檩^少的路由迭代次數(shù)導(dǎo)致耦合系數(shù)無法得到充分學(xué)習(xí)。而過低的膠囊向量維度會使輸出概率存在偏差，所以在維度設(shè)為16、32時準(zhǔn)確率較低。然而當(dāng)路由迭代次數(shù)與向量維度過大時，模型參數(shù)的增加導(dǎo)致過擬合，準(zhǔn)確率也會隨之下降。因此，本文將路由迭代次數(shù)設(shè)置為3，向量維度設(shè)為64，此時性能最高。

3.3.3 對比實(shí)驗(yàn)與分析

為評估本文模型性能，本部分將與以下幾個模型在構(gòu)建的整體微博數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)，其中對照模型分為以下五組：機(jī)器學(xué)習(xí)、CNN、RNN、預(yù)訓(xùn)練模型以及膠囊網(wǎng)絡(luò)模型。本文模型及幾種對比模型的性能如表5所示。

表5 模型實(shí)驗(yàn)對比結(jié)果Tab.5 Model experiment comparison results

（1）SVM［24］通過將數(shù)據(jù)映射到支持向量空間后求出正確劃分?jǐn)?shù)據(jù)集且間隔最大的超平面。

（2）CNN［25］使用文獻(xiàn)中的基礎(chǔ)CNN網(wǎng)絡(luò)結(jié)構(gòu)。

（3）DCNN［26］采用寬卷積層更有效提取句子首尾信息，并利用動態(tài)池化，減少信息缺失。

（4）LSTM［27］是自然語言處理的基礎(chǔ)網(wǎng)絡(luò)，將最后一層的隱含狀態(tài)表示整個句子，訓(xùn)練得到最終權(quán)重。

（5）ATT-Bi-GRU［28］將通過雙向GRU 提取到的特征輸入進(jìn)注意力層以捕獲重要度更大的特征。

（6）CNN-LSTM［29］聯(lián)合了CNN 與LSTM，將多通道卷積網(wǎng)絡(luò)獲取的特征作為LSTM的輸入。

（7）BERT［30］采用雙向Transformer結(jié)構(gòu)，并融合位置信息、字符信息與語義信息作為模型的輸入。

（8）ALBERT［31］在BERT 的基礎(chǔ)上降低了模型參數(shù)，加快模型訓(xùn)練速度。

（9）Capsule-A［22］/Capsule-B［22］將標(biāo)量轉(zhuǎn)換為矢量，進(jìn)一步提取空間特征，應(yīng)用于文本分類任務(wù)。

由上表可得，本文模型在劃分的測試集三個指標(biāo)上均得較好結(jié)果，準(zhǔn)確率為87.3%、召回率達(dá)到87.5%以及F1 值為86.2%。相對于目前得到普遍應(yīng)用的深度學(xué)習(xí)方法，傳統(tǒng)機(jī)器學(xué)習(xí)方法效果較差，這表明神經(jīng)網(wǎng)絡(luò)模型能夠在情感分類任務(wù)上獲得更精準(zhǔn)的情感表達(dá)，有更好的泛化性能。與CNN、DCNN、LSTM 這些經(jīng)典深度學(xué)習(xí)模型相比，準(zhǔn)確率分別提高4.9%、3.2%、6.3%，表明膠囊向量能夠在情感分類任務(wù)取得更好效果。與標(biāo)量神經(jīng)元相比，膠囊向量的情感捕獲能力更強(qiáng)，留存更多情感表征和上下文信息，進(jìn)一步挖掘深層次文本情感特征，從而提高模型的分類性能。

在上述幾種深度學(xué)習(xí)方法的比較中，ATT-Bi-GRU 的準(zhǔn)確率較LSTM 有大幅度的提升，這表明注意力機(jī)制能夠在情感極性分類任務(wù)中重點(diǎn)學(xué)習(xí)到需要關(guān)注的信息，注意力機(jī)制對模型性能的提升具有重要意義。相對于傳統(tǒng)的CNN 與LSTM 網(wǎng)絡(luò)，CNNLSTM 的實(shí)驗(yàn)結(jié)果在準(zhǔn)確率指標(biāo)上分別提升2.6%和4%，表明融合局部特征與全局特征在特征提取上具備優(yōu)越性。預(yù)訓(xùn)練模型已經(jīng)在自然語言處理領(lǐng)域的多個任務(wù)上取得較好的成果，因此將本文模型與預(yù)訓(xùn)練模型BERT 與ALBERT 相比，可以看出，BERT模型在F1值獲得最好的成績，為86.8%，但在另外兩個指標(biāo)上低于本文模型，本文模型整體更好。BERT 模型通過自注意力機(jī)制克服了長距離依賴的問題，所以在中長微博數(shù)據(jù)集上效果不錯，但由于參數(shù)量的增加會導(dǎo)致訓(xùn)練時間過長。膠囊網(wǎng)絡(luò)組相較于傳統(tǒng)深度學(xué)習(xí)，實(shí)驗(yàn)結(jié)果有顯著提高，這代表向量神經(jīng)元具備更強(qiáng)的情感建模能力，能夠提取深層次的情感特征。其中，Capsule-B 模型準(zhǔn)確率高于Capsule-A，是由于其在卷積層引入三個并行網(wǎng)絡(luò)，學(xué)習(xí)更全面的文本表征。因此，為深入挖掘文本隱含的空間位置信息與情感特征，本文所提出的模型結(jié)合情感膠囊，利用向量的空間特性，有效避免特征丟失；并且進(jìn)一步地完善模型，融合了局部特征及全局特征，從而達(dá)到了更高的性能。

4 結(jié)論

本文提出了一種基于膠囊網(wǎng)絡(luò)的中長微博情感分析模型。微博語料主觀性較強(qiáng)，語言習(xí)慣隨意，以往用于主題的文本情感分析算法性能較差，尤其中長語句的檢測效果不理想，不能充分提取上下文的情感信息。因此本文利用情感膠囊代替標(biāo)量神經(jīng)元進(jìn)行情感特征提取，深度挖掘文本的位置特征和空間特性。為捕獲更全面的情感特征，將CNN 獲取的局部特征與雙向GRU 獲取的全局特征融合在一起，并通過注意力機(jī)制選擇性關(guān)注對情感分類任務(wù)貢獻(xiàn)更大的特征，從而提升模型針對中長文本進(jìn)行情感分析的性能。接下來考慮將此模型遷移至其他文本數(shù)據(jù)上，驗(yàn)證模型普適性。未來工作中，將針對文本特征表示部分展開深入探索，通過利用微博的表情符號和特殊句式豐富文本語義表征，使整體模型更加完善。