基于門控機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)的中文文本情感分析模型

楊 璐，何明祥

（山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，山東青島 266590）

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，人們?cè)谥T多平臺(tái)上留下了大量帶有情感觀點(diǎn)的主觀性文本，例如微博私信、微信聊天、淘寶咨詢等，這些文本蘊(yùn)含著豐富的情感信息，通過對(duì)這些文本進(jìn)行分析，可以挖掘出有效的觀點(diǎn)信息［1］；然而，人工提取這類文本數(shù)據(jù)工作量較大，因此如何構(gòu)建自動(dòng)化提取文本情感傾向的模型引起人們的關(guān)注。

文獻(xiàn)［2］提出了文本評(píng)論情感極性分類的概念，并且利用統(tǒng)計(jì)學(xué)的方法對(duì)電影評(píng)論數(shù)據(jù)集進(jìn)行分類。文本情感分析指的是利用自然語言處理（Natural Language Processing，NLP）或者文本分析技術(shù)自動(dòng)識(shí)別文本數(shù)據(jù)的情感極性。情感分析方法包括基于情感詞典和規(guī)則的情感分析方法［2］和基于機(jī)器學(xué)習(xí)技術(shù)的情感分析方法［3］，其中基于情感詞典的方法主要利用情感詞典與分詞后的文本進(jìn)行比較，通過制定規(guī)則來獲取整個(gè)句子的情感分?jǐn)?shù)，達(dá)到識(shí)別情感極性的目的，例如：文獻(xiàn)［4］通過對(duì)HowNet 情感詞典和臺(tái)灣大學(xué)的情感詞典（National Taiwan University Sentiment Dictionary，NTUSD）進(jìn)行擴(kuò)展，建立了一個(gè)具有不同情感傾向程度的情感詞典，并基于此開發(fā)了一個(gè)半自動(dòng)化網(wǎng)絡(luò)輿情分析系統(tǒng)；文獻(xiàn)［5］提出將多個(gè)現(xiàn)有的情感詞典進(jìn)行合并去重作為基于HowNet 和SentiWordNet的中文情感詞典（Sentiment Lexicon based on HowNet and SentiWordNet，SLHS）的基礎(chǔ)詞語集，采用支持向量機(jī)（Support Vector Machine，SVM）的方法對(duì)文本進(jìn)行情感分析，與臺(tái)灣大學(xué)情感詞典方法進(jìn)行對(duì)比可知，該情感詞典具有較優(yōu)的結(jié)果。

基于機(jī)器學(xué)習(xí)技術(shù)的情感分析方法又分為監(jiān)督學(xué)習(xí)的情感分析方法和無監(jiān)督學(xué)習(xí)［6］的情感分析方法，有監(jiān)督學(xué)習(xí)憑借帶標(biāo)簽的數(shù)據(jù)訓(xùn)練分類器，所得到的準(zhǔn)確率和F1值略優(yōu)于無監(jiān)督方法；然而，在應(yīng)對(duì)大規(guī)模數(shù)據(jù)集時(shí)，兩種方法的效果都有所欠缺。深度學(xué)習(xí)的出現(xiàn)，憑借其自動(dòng)表征信息的學(xué)習(xí)功能和較好的識(shí)別效果［7］，引起了學(xué)者的關(guān)注。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)被廣泛地應(yīng)用到各項(xiàng)任務(wù)，其中包括文本情感分析。例如，文獻(xiàn)［8］提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對(duì)文本進(jìn)行分類的算法，利用具有局部特征提取功能的卷積層來提取句子中的關(guān)鍵信息，達(dá)到了理想的效果。針對(duì)提取句子的序列特征，文獻(xiàn)［9］提出了一種深度記憶網(wǎng)絡(luò)，該模型利用雙向長短期記憶網(wǎng)絡(luò)獲取句子的上下文特征，再經(jīng)過多計(jì)算層，從而挖掘句子和目標(biāo)的特征信息。文獻(xiàn)［10］提出了一種多注意力的卷積神經(jīng)網(wǎng)絡(luò)模型，該模型能夠接收平行化的文本信息，并且針對(duì)特定目標(biāo)識(shí)別出其情感極性。盡管神經(jīng)網(wǎng)絡(luò)模型取得了較好的效果，然而中文文本情感分析領(lǐng)域中由于中文文本分詞的特殊性，容易產(chǎn)生噪聲信息，噪聲信息在情感分類時(shí)會(huì)影響分類結(jié)果，而且傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不能挖掘深層的情感信息。門控機(jī)制在長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)中已經(jīng)證明了其可用性，在控制信息傳遞方面能夠發(fā)揮優(yōu)勢(shì)，因此本文利用門控機(jī)制和現(xiàn)有的情感詞典來剔除噪聲信息，挖掘深層情感信息。

本文提出了一種結(jié)合情感詞典的雙輸入通道門控卷積神經(jīng)網(wǎng)絡(luò)（Dual-Channel Gated Convolutional Neural Network with Sentiment Lexicon，DC-GCNN-SL）模型，該模型利用情感詞典對(duì)分詞文本進(jìn)行情感分?jǐn)?shù)標(biāo)記，將情感分?jǐn)?shù)高的詞篩選出來，從而有效地剔除文本中含有的噪聲。為了防止破壞原有語義信息，將分詞的文本和篩選后的文本分別經(jīng)過兩個(gè)通道輸入到卷積神經(jīng)網(wǎng)絡(luò)中，可以使模型學(xué)習(xí)到更多的信息，使用基于GTRU（Gated Tanh-ReLU Unit）的門控層處理特征信息，進(jìn)一步挖掘深層特征信息，控制訓(xùn)練過程中信息在網(wǎng)絡(luò)中的傳遞。通過在不同數(shù)據(jù)集上的實(shí)驗(yàn)，驗(yàn)證了本文模型的有效性。

本文的主要工作如下：

1）提出了一種DC-GCNN-SL 模型用于中文情感分析任務(wù)。該模型將情感詞典和門控卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，有效提高了情感分析的性能。

2）提出了一種使用情感詞典標(biāo)記和篩選句子中的詞的方法。該方法通過使用詞典中的情感分?jǐn)?shù)，提供情感先驗(yàn)知識(shí)，去除情感分?jǐn)?shù)不高的詞，達(dá)到了控制噪聲信息的目的。

3）提出了一種基于GTRU 的門控卷積層，通過與雙通道的卷積核單元相連接，控制信息在網(wǎng)絡(luò)中的傳遞，進(jìn)一步挖掘文本情感特征。

在三個(gè)不同數(shù)據(jù)集上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文提出的DC-GCNN-SL 模型具有更好的情感表達(dá)能力，在中文情感分析任務(wù)中取得了更好的準(zhǔn)確率、召回率和F1值。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種典型的前饋神經(jīng)網(wǎng)絡(luò)，源于生物中感受野［11］的概念。卷積神經(jīng)網(wǎng)絡(luò)憑借強(qiáng)大的特性，逐漸被應(yīng)用在各種領(lǐng)域，其中就包括自然語言處理（Natural Language Processing，NLP）領(lǐng)域。在NLP 領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)涉及的數(shù)據(jù)為文本數(shù)據(jù)，詞向量決定卷積核的寬度，再利用不同高度的卷積核對(duì)詞向量矩陣進(jìn)行卷積操作。因此，卷積神經(jīng)網(wǎng)絡(luò)可以利用不同大小的卷積核自動(dòng)地學(xué)習(xí)到文本不同粒度的隱藏特征，也可以將學(xué)習(xí)到的特征傳遞到其他模型進(jìn)行分類。

文獻(xiàn)［12］提出了一種雙通道的卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)文本特征，將使用Word2Vec訓(xùn)練的詞向量和字向量通過兩個(gè)不同的通道進(jìn)行卷積運(yùn)算，使用不同尺寸的卷積核獲取特征，完成文本分類；然而模型只是簡單地將兩個(gè)通道的特征進(jìn)行合并，不能充分利用提取到的特征。文獻(xiàn)［13］將雙向長短期記憶（Bi-directional Long Short-Term Memory，BiLSTM）網(wǎng)絡(luò)和CNN模型串聯(lián)起來，提取文本的上下文特征和局部語義特征，從而提供文本情感準(zhǔn)確率，但是同時(shí)也帶來了模型不能并行處理數(shù)據(jù)、訓(xùn)練時(shí)間長的問題。文獻(xiàn)［14］提出了一種卷積神經(jīng)網(wǎng)絡(luò)融合圖文信息的情感分析方法，輸入數(shù)據(jù)變成了圖片和文本的結(jié)合，融合了圖文特征進(jìn)行情感分析。

1.2 門控機(jī)制

基于GTU（Gated Tanh Unit）、GLU（Gated Linear Unit）和GTRU 的門控機(jī)制在自然語言處理領(lǐng)域中應(yīng)用廣泛［15］，獲取了較好的效果。文獻(xiàn)［16］提出了一種基于非殘差封裝的門控卷積機(jī)制和層次注意力的方法來解決單一詞變量引發(fā)的歧義問題，該模型利用卷積神經(jīng)網(wǎng)絡(luò)計(jì)算多語義詞向量，構(gòu)建了一種非對(duì)稱語義窗口，利用注意力機(jī)制計(jì)算目標(biāo)單詞語義權(quán)重的方法來合成語義向量；文獻(xiàn)［17］使用帶有方向的門控單元來處理基于aspect 的情感分析任務(wù)，利用非線性門與卷積層連接，進(jìn)行重要特征的篩選，并使用SemEval 數(shù)據(jù)集驗(yàn)證了模型的有效性；文獻(xiàn)［18］針對(duì)遠(yuǎn)程監(jiān)督關(guān)系抽取任務(wù)中存在的噪聲過濾問題，提出了一種融合門控過濾機(jī)制的分段池化卷積神經(jīng)網(wǎng)絡(luò)方法，顯著地提升了模型的整體性能?？梢姡T控卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理所用的效果較好，其中包括利用基于GTRU 的特定目標(biāo)情感分析、基于GLU的事件監(jiān)測(cè)，然而門控卷積神經(jīng)網(wǎng)絡(luò)處理句子層面文本情感分析任務(wù)的模型較少，憑借門控機(jī)制在控制信息傳遞的良好特性，本文提出了一種基于GTRU 的門控卷積網(wǎng)絡(luò)模型，用于處理雙通道的特征信息，完成文本情感分析任務(wù)。

2 結(jié)合情感詞典的雙輸入通道門控卷積神經(jīng)網(wǎng)絡(luò)模型

本文構(gòu)建的模型如圖1 所示，可分為預(yù)處理部分、詞嵌入層、基于GTRU 的門控卷積層、池化層和全連接層及分類層。首先，使用Word2Vec模型訓(xùn)練情感詞典監(jiān)督的數(shù)據(jù)和原始數(shù)據(jù)后得到對(duì)應(yīng)的詞向量，分別通過兩個(gè)不同的通道輸入到卷積層中；然后，利用卷積層的卷積操作來獲取文本的初步特征表示，再使用基于GTRU 的門控機(jī)制對(duì)初步特征進(jìn)行優(yōu)化，并控制信息傳遞；再用池化層對(duì)上一層的特征進(jìn)行池化操作，得到最優(yōu)特征；最后，使用全連接層和分類層處理特征，完成文本的情感分類。

圖1 DC-GCNN-SL模型結(jié)構(gòu)Fig.1 Structure of DC-GCNN-SL model

2.1 情感詞典監(jiān)督算法

中文文本情感分析需要模型對(duì)當(dāng)前的文本進(jìn)行特征提取和情感特征學(xué)習(xí)，完成情感極性的判別。在文本特征提取之前，需要進(jìn)行文本預(yù)處理操作，本文使用jieba 分詞工具（https：//github.com/fxsjy/jieba）對(duì)中文文本進(jìn)行分詞處理，得到組成句子的每一個(gè)詞。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型在分詞后直接訓(xùn)練詞向量，這會(huì)導(dǎo)致在分詞后存在噪聲信息，噪聲信息會(huì)隨著詞向量進(jìn)入網(wǎng)絡(luò)參與訓(xùn)練，導(dǎo)致模型的效果下降；另外，神經(jīng)網(wǎng)絡(luò)模型忽視了現(xiàn)有的一些情感知識(shí)，導(dǎo)致了情感資源的浪費(fèi)。

因此，為了增強(qiáng)網(wǎng)絡(luò)先驗(yàn)知識(shí)、去除噪聲信息、提高模型情感分析的準(zhǔn)確率，本文利用情感詞典對(duì)分詞后的數(shù)據(jù)進(jìn)行標(biāo)記，記錄下詞典中該詞的情感分?jǐn)?shù)，如果詞典中不存在該詞，則分?jǐn)?shù)為0；再根據(jù)詞語的情感分?jǐn)?shù)絕對(duì)值篩選詞語。例如句子“不怎么樣的酒店。我是1 月11 日住的，天氣特別冷，房間空調(diào)根本就不管用，我在房間待了4 個(gè)小時(shí)，手腳冰涼，最后沒有辦法打電話投訴，給我加了個(gè)電暖氣。反正以后不會(huì)在住這里了，青島有好多好酒店，我自己也遺憾為什么選擇這里?！苯?jīng)過分詞處理和情感詞典監(jiān)督后，得到“不怎么樣，的，酒店，，是，的，天氣，特別，冷，空調(diào)，根本，就，不管，用，在，待，最后，沒有，辦法，打電話，投訴，效果，反正，以后，不會(huì)，在，住，這里，了，青島，有，好多，好，酒店，我，自己，遺憾，為什么，選擇，這里”?？梢钥闯?，處理后的句子去除了一定的噪聲，沒有改變句子的極性信息。情感詞典監(jiān)督算法過程如下：

算法1 情感詞典監(jiān)督算法。

輸入 中文文本數(shù)據(jù)X，情感詞典D；

輸出 經(jīng)過詞典篩選的數(shù)據(jù)S。

步驟1 逐步輸入中文文本數(shù)據(jù)，對(duì)文本數(shù)據(jù)進(jìn)行預(yù)處理操作，刪除特殊字符，清洗數(shù)據(jù)。

步驟2 對(duì)中文數(shù)據(jù)進(jìn)行分詞，去除停用詞，得到中文數(shù)據(jù)X'。

步驟3 將中文數(shù)據(jù)X'的情感分?jǐn)?shù)都設(shè)置成0。

步驟4 對(duì)i從1 到n進(jìn)行判斷，對(duì)比中文數(shù)據(jù)第i個(gè)詞是否在情感詞典中出現(xiàn)：若出現(xiàn)，分?jǐn)?shù)設(shè)置成情感詞典中的分?jǐn)?shù)，并將該中文數(shù)據(jù)xi加入S中；否則i+1，重復(fù)步驟4。

步驟5 輸出中文數(shù)據(jù)S。

2.2 DC-GCNN-SL模型構(gòu)建

2.2.1 詞嵌入層

為了將自然語言數(shù)字化，本文使用skip-gram 模型［19］對(duì)分詞后的單詞進(jìn)行詞向量訓(xùn)練，使用三層神經(jīng)網(wǎng)絡(luò)將詞表示為空間向量形式。對(duì)具有n個(gè)詞的句子，經(jīng)詞嵌入表示后可得到S=[x1，x2，…，xn]，xi∈Rd，其中，d表示詞向量的維度，即每個(gè)詞用d個(gè)實(shí)數(shù)表示。則句子S可以用x1：n表示為：

其中：⊕表示拼接操作；x1：n∈Rd×n。

2.2.2 原始句子卷積通道

為了保證情感詞典篩選后不丟失信息，本文所提模型由兩個(gè)輸入通道獲取句子信息，無詞典標(biāo)記的原始通道和帶有詞典監(jiān)督的通道，分別通過兩個(gè)輸入通道使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，利用不同尺寸的卷積核對(duì)詞嵌入層的向量矩陣作卷積操作，提取序列中不同粒度的文本特征，可以獲得較好的特征序列矩陣，生成不同的特征矩陣輸入到下一層。取卷積核為h的濾波器與無詞典標(biāo)記通道的輸入向量進(jìn)行卷積運(yùn)算得到特征序列，生成的特征序列如式（2）所示：

其中：WA表示權(quán)重矩陣；bA表示偏置向量表示句子矩陣中從i到i+h-1的詞語向量矩陣；f(·)表示用于非線性變換的激活函數(shù)。步長為1的卷積，在長度為n的序列上計(jì)算結(jié)束后，可得到n-h+1個(gè)輸出，最終生成的特征集合為：

2.2.3 情感詞典監(jiān)督卷積通道

句子經(jīng)過詞典監(jiān)督后篩選出文本情感傾向最強(qiáng)的特征，對(duì)于該輸入向量使用相同大小的卷積核處理，經(jīng)過卷積操作，來完成輸入句子的情感特征層面特征的提取。對(duì)于窗口大小為h的卷積，得到的特征序列可以表示為式（4）：

其中：WB表示權(quán)重矩陣；bB表示偏置向量表示經(jīng)過詞典監(jiān)督后的句子矩陣，通過卷積操作可得到特征序列矩陣合并后得CB。

2.2.4 基于GTRU的門控卷積層

考慮到充分挖掘文本情感特征，獲取深層次的特征信息，模型使用基于GTRU 的門控卷積層，來結(jié)合兩個(gè)通道得到的特征信息?；贕TRU 的門控運(yùn)算可以獲得與較強(qiáng)情感信息的詞的信息，控制情感信息和噪聲數(shù)據(jù)的傳遞，將兩個(gè)特征序列CA和CB作為門控卷積層的輸入，通過對(duì)位相乘的方法可以得到：

則生成的特征組合可以表示為：

2.2.5 池化層

為了將門控層得到的特征矩陣CG固定在同一維度，解決特征維度過高產(chǎn)生的問題，往往加入池化操作。本文采用最大池化層，提取出句子最重要的特征，生成固定維度的特征向量。最大池化目的是從卷積神經(jīng)網(wǎng)絡(luò)中提取關(guān)鍵特征，降低向量維度，進(jìn)一步縮小網(wǎng)絡(luò)的規(guī)模。對(duì)每個(gè)門控卷積通道單獨(dú)進(jìn)行池化操作，選取特征向量中的最大值來表示這一特征，其計(jì)算式如式（7）所示：

假設(shè)卷積核的數(shù)量為m，則最終生成的池化特征集可以表示為：

2.2.6 輸出層

將池化得到的特征作為全連接層的輸入，使用tanh 函數(shù)作為激活函數(shù)，全連接層可以表示為：

其中：O∈Rq為全連接層的輸出，q表示輸出向量的維度；Wh∈Rq×m為全連接層的權(quán)重矩陣；bh∈Rq為全連接層的偏置向量。通過全連接層可以更好地過濾影響分類性能的特征，為防止過擬合加入dropout 機(jī)制，在每次訓(xùn)練時(shí)舍棄一部分神經(jīng)元，最后將得到的結(jié)果輸入到sigmoid 分類器中，完成情感分類。

其中：j表示類別數(shù)，在二分類中取值為0 或1；θ表示模型的所有參數(shù)。

2.3 模型訓(xùn)練

本文使用帶標(biāo)簽的數(shù)據(jù)，利用反向傳播算法訓(xùn)練模型，訓(xùn)練目標(biāo)是將模型最小化損失函數(shù)，損失函數(shù)使用交叉熵（categorical Cross-entropy）函數(shù)，其計(jì)算式為：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)環(huán)境如下：操作系統(tǒng)為Windows 10，處理器為AMD Ryzen 5 2600 Processor 3.40 GHz，內(nèi)存大小為16 GB，開發(fā)工具使用的是Python 3.6，深度學(xué)習(xí)框架為Keras 2.1.2。

3.2 實(shí)驗(yàn)數(shù)據(jù)

為了評(píng)估模型的有效性，本文使用真實(shí)外賣評(píng)論數(shù)據(jù)集、真實(shí)商品評(píng)論數(shù)據(jù)集和譚松波博士整理的酒店評(píng)論數(shù)據(jù)集（http：//www.searchforum.org.cn/tansongbo/senti_corpus.jsp），如表1～2所示。

表1 實(shí)驗(yàn)所使用的數(shù)據(jù)集Tab.1 Datasets used in experiments

按照8∶2 的比例劃分訓(xùn)練集和測(cè)試集。情感詞典選擇BosonNLP 情感詞典（http：//bosonnlp.com），表3 給出了部分詞典示例。

表2 不同數(shù)據(jù)集的數(shù)據(jù)示例Tab.2 Data samples of different datasets

表3 BosonNLP情感詞典部分示例Tab.3 Some samples of BosonNLP sentiment lexicon

3.3 實(shí)驗(yàn)參數(shù)

本文使用的實(shí)驗(yàn)參數(shù)如表4 所示，為了損失函數(shù)最小化，使用1E-3 學(xué)習(xí)率的Adam 算法訓(xùn)練模型。網(wǎng)絡(luò)訓(xùn)練流程如圖2所示。

表4 實(shí)驗(yàn)參數(shù)配置Tab.4 Experimental parameter setting

圖2 DC-GCNN-SL網(wǎng)絡(luò)訓(xùn)練流程Fig.2 Flowchart of DC-GCNN-SL network training

3.4 評(píng)價(jià)指標(biāo)

采用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1值作為評(píng)價(jià)指標(biāo)，計(jì)算方法如下：

其中：TP（True Positive）表示事實(shí)為正樣本，預(yù)測(cè)也為正樣本的數(shù)量；TN（True Negative）表示事實(shí)為負(fù)樣本，預(yù)測(cè)也為負(fù)樣本的數(shù)量；FP（False Positive）表示事實(shí)為負(fù)樣本，預(yù)測(cè)為正樣本的數(shù)量；FN（False Negative）表示事實(shí)為正樣本，預(yù)測(cè)為負(fù)樣本的數(shù)量。Accuracy 表示所有文本正確識(shí)別情感傾向的比例，Precision 表示正樣本中正確識(shí)別情感傾向的比例，Recall表示正確預(yù)測(cè)的正樣本占所有正樣本的比例，F(xiàn)1 值為Precision 和Recall 的調(diào)和平均值，指標(biāo)的值越大表示分類效果越好。

3.5 結(jié)果分析

本文設(shè)置了3 組不同實(shí)驗(yàn)來測(cè)試模型的性能，選取部分實(shí)驗(yàn)結(jié)果作為展示。

實(shí)驗(yàn)1 為了測(cè)試詞嵌入維度對(duì)DC-GCNN-SL 模型分類性能的影響，本文取詞向量維度為［10，30，50，100，200，300］，測(cè)試不同的取值對(duì)其準(zhǔn)確率的影響。

圖3 是DC-GCNN-SL 模型在3 個(gè)數(shù)據(jù)集上詞嵌入維度不同取值時(shí)的準(zhǔn)確率結(jié)果。

圖3 DC-GCNN-SL模型在三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of DC-GCNN-SL model on three datasets

從圖3 中可以看出，當(dāng)選取的維度值較小，則得到的文本特征不充分；選取的維度值太大，則文本特征冗余。由此可以看出隨著詞向量維度的增加，DC-GCNN-SL 模型的準(zhǔn)確率會(huì)上升；但是當(dāng)詞向量維度取值為300 時(shí)，與詞向量維度取值為200 時(shí)相比，DC-GCNN-SL 模型的準(zhǔn)確率有所下降。從實(shí)驗(yàn)1可以看出，綜合考慮，在后續(xù)所有實(shí)驗(yàn)中，選擇的詞向量維度為100。

實(shí)驗(yàn)2 為了測(cè)試模型的情感分析性能，本文將其與以下神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比，包括：

1）融合卷積神經(jīng)網(wǎng)絡(luò)和注意力的情感分析模型（ADCNN）［20］。輸入為Word2Vec 訓(xùn)練的詞向量，使用卷積神經(jīng)網(wǎng)絡(luò)和K最近鄰（K-NearestNeighbor，KNN）算法，融合注意力機(jī)制，獲取文本更多的信息。網(wǎng)絡(luò)參數(shù)按照文獻(xiàn)［20］設(shè)置。

2）遞歸卷積神經(jīng)（Recursive Convolutional Neural Network，RCNN）［21］。使用遞歸結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)，能捕獲上下文信息，使用自動(dòng)判斷的池化層獲取關(guān)鍵信息。

3）卷積神經(jīng)網(wǎng)絡(luò)（CNN）。普通的卷積神經(jīng)網(wǎng)絡(luò)，實(shí)驗(yàn)參數(shù)設(shè)置與3.3 節(jié)保持一致，使用相同的詞向量作為輸入，經(jīng)過卷積層、池化層、全連接層和分類層輸出結(jié)果。

4）循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［22］。使用流行的循環(huán)神經(jīng)網(wǎng)絡(luò)分析句子的情感，輸入為Word2Vec訓(xùn)練的詞向量，使用RNN結(jié)構(gòu)提取句子特征。

5）長短期記憶（LSTM）網(wǎng)絡(luò)［23］。使用單方向的長短期記憶網(wǎng)絡(luò)進(jìn)行訓(xùn)練，神經(jīng)元數(shù)量為128。

6）雙向長短期記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）網(wǎng)絡(luò)［24］。輸入為Word2Vec訓(xùn)練的詞向量，使用雙向的長短期記憶網(wǎng)絡(luò)進(jìn)行訓(xùn)練，神經(jīng)元數(shù)量為128。

表5～7 給出了不同模型在酒店評(píng)論數(shù)據(jù)集、外賣評(píng)論數(shù)據(jù)集和商品評(píng)論數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。

表5 不同模型在酒店評(píng)論數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比 單位：%Tab.5 Experimental result comparison of different models on hotel review dataset unit：%

表6 不同模型在外賣評(píng)論數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比 單位：%Tab.6 Experimental result comparison of different models on takeaway review dataset unit：%

表7 不同模型在商品評(píng)論數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比 單位：%Tab.7 Experimental result comparison of different models on commodity review dataset unit：%

從表5～7 可以看出，在酒店評(píng)論數(shù)據(jù)集和商品評(píng)論數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果明顯優(yōu)于外賣評(píng)論數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，原因在于外賣評(píng)論數(shù)據(jù)集的樣本數(shù)雖然達(dá)到12 000 條，但是詞典大小明顯小于另外兩個(gè)數(shù)據(jù)集的詞典，導(dǎo)致Word2Vec訓(xùn)練的詞向量表達(dá)能力不佳，這是由輸入所決定的。

通過比較表5～7 的不同模型的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)：RNN模型的結(jié)果相較于LSTM 結(jié)果性能較差，原因在于LSTM 避免了梯度消失或爆炸的問題，能夠捕捉長距離文本特征；BiLSTM模型相較于LSTM模型，采用了雙向結(jié)構(gòu)，能夠捕獲兩個(gè)方向的序列特征，效果更好。在外賣評(píng)論數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，句子長度較短的文本（平均長度為40）更適用CNN模型，CNN 模型提取局部特征的優(yōu)勢(shì)也更容易發(fā)揮。通過進(jìn)一步比較不同模型的實(shí)驗(yàn)結(jié)果，DC-GCNN-SL 模型的實(shí)驗(yàn)結(jié)果均優(yōu)于其他模型，表明使用情感詞典監(jiān)督文本，可以去除文本內(nèi)含有的噪聲信息，使用基于GTRU 的門控卷積機(jī)制能夠增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型的分類能力。

實(shí)驗(yàn)3 為了測(cè)試卷積神經(jīng)網(wǎng)絡(luò)中卷積核大小對(duì)模型準(zhǔn)確率的影響，設(shè)置了不同的卷積核大小來計(jì)算情感分類的準(zhǔn)確率。本文設(shè)置了7 組不同的卷積核大小，卷積核數(shù)量設(shè)置為100，分別在酒店評(píng)論數(shù)據(jù)集、外賣評(píng)論數(shù)據(jù)集和商品評(píng)論數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

表8 為不同卷積核的DC-GCNN-SL 模型在3 個(gè)數(shù)據(jù)集上的準(zhǔn)確率。

表8 不同卷積核的模型在三個(gè)數(shù)據(jù)集上的準(zhǔn)確率對(duì)比 單位：%Tab.8 Accuracy comparison of models with different convolution kernels on three datasets unit：%

從表8 中可知，卷積核尺寸為（3，4，5）的模型的在數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)得到的準(zhǔn)確率均高于其他的卷積核模型，這是因?yàn)椴煌笮〉木矸e核可以獲取到不同粒度的文本特征，得到的局部特征更加豐富，對(duì)分類的準(zhǔn)確率有促進(jìn)效果，比使用單一尺寸的卷積核效果要好。因此，本文使用卷積核為（3，4，5）的模型進(jìn)行實(shí)驗(yàn)，有助于獲得更好的情感分析結(jié)果。

3.6 門控機(jī)制

本文中的門控機(jī)制使用GTRU 控制信息傳遞到池化層，可以有效地獲取情感信息。門控機(jī)制在LSTM 上已經(jīng)被證明是有效的，而在CNN 中，門控機(jī)制的選擇有基于GTU、GLU 和GTRU 的結(jié)構(gòu)，不同結(jié)構(gòu)的區(qū)別在于門函數(shù)的不同：GTU 的門函數(shù)為tanh門和sigmoid門，GLU的門函數(shù)為線性門和sigmoid門，而GTRU 的門函數(shù)為tanh 門和relu 門。為了更好地對(duì)比三種不同結(jié)構(gòu)的結(jié)果，在酒店評(píng)論數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，模型的區(qū)別僅為門控單元的不同，實(shí)驗(yàn)結(jié)果如表9所示。

表9 不同門控單元的模型在酒店評(píng)論數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 單位：%Tab.9 Experimental results of models with different gated units on hotel review dataset unit：%

從表9可以看出，使用GTRU的模型與另外兩個(gè)門控單元的模型進(jìn)行對(duì)比，GTRU 的模型的分類效果略優(yōu)于GTU 的模型，表明GTRU 能夠獲取深層情感特征信息，完成文本的情感極性判別。GLU 的分類效果最差，由于模型結(jié)構(gòu)僅有一層卷積層，可知在單一卷積層的網(wǎng)絡(luò)結(jié)構(gòu)中，GLU在防止梯度消失的作用并不能發(fā)揮出來，反而降低了獲取特征信息的優(yōu)勢(shì)。

4 結(jié)語

針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不能挖掘深層情感信息和中文文本噪聲的問題，本文提出了一種結(jié)合情感詞典的門控卷積神經(jīng)網(wǎng)絡(luò)模型。所提模型避免了文本噪聲信息影響情感極性判斷，利用情感詞典篩選文本有用信息，獲取了情感先驗(yàn)知識(shí)，同時(shí)利用門控卷積操作，捕獲深層情感特征，獲取文本情感極性。在不同的數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文所提模型的有效性。

由于數(shù)據(jù)類型的不同，英文情感分析任務(wù)與中文數(shù)據(jù)相比，英文具有天然優(yōu)勢(shì)，不需要進(jìn)行分詞處理。目前也存在大量的英文情感詞典，下一步的工作重心是研究本文模型在英文數(shù)據(jù)情感分類任務(wù)的有效性，并且將考慮語法結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)的結(jié)合，引入更多文本特征來提升文本情感分析任務(wù)的性能。