融合多特征的分段卷積神經(jīng)網(wǎng)絡(luò)對(duì)象級(jí)情感分類方法

周 武,曾碧卿,徐如陽,楊 恒,韓旭麗,程良倫

(1. 華南師范大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州510631；2. 華南師范大學(xué) 軟件學(xué)院，廣東 佛山 528225;3. 廣東省信息物理融合系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510006)

0 引言

情感分類是自然語言處理領(lǐng)域中一個(gè)常見的任務(wù)，旨在挖掘人們?cè)谖谋局兴磉_(dá)觀點(diǎn)情感傾向的類別[1]。主要研究集中在對(duì)篇章級(jí)別、句子級(jí)別和對(duì)象級(jí)別的情感分類任務(wù)上[2]。其中，對(duì)象級(jí)情感分類是一種相對(duì)比較細(xì)粒度的分類問題，旨在判斷句子中對(duì)某個(gè)特定對(duì)象的情感類別。例如，“這臺(tái)筆記本電腦的功能很強(qiáng)大，但價(jià)格太高了！”，該任務(wù)需要針對(duì)對(duì)象 “功能”判斷正向的情感類別，以及針對(duì)對(duì)象 “價(jià)格”判斷負(fù)向的情感類別。

基于深度學(xué)習(xí)的方法能夠自動(dòng)提取文本的語義特征，避免了人工提取特征繁瑣的過程，因此該方法廣泛應(yīng)用于自然語言處理的各個(gè)研究領(lǐng)域，如詞性標(biāo)注[3]、問答系統(tǒng)[4]、機(jī)器翻譯[5]等。在對(duì)象級(jí)情感分類問題的研究中，以往的方法大多利用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short-term memory network，LSTM)具有捕捉序列特征的能力或者在LSTM的基礎(chǔ)上融入注意力機(jī)制(attention mechanism)來對(duì)分類任務(wù)進(jìn)行建模。其中，Tang 等人[6]提出TD-LSTM模型，該模型使用預(yù)訓(xùn)練詞向量表示單詞，根據(jù)對(duì)象在句子中的位置，利用LSTM提取對(duì)象的上下文特征作為最終的句子表示。Wang等人[7]提出ATAE-LSTM模型，其認(rèn)為不同的詞將會(huì)對(duì)分類的結(jié)果產(chǎn)生不同程度的影響，作者在LSTM的基礎(chǔ)上引入注意力機(jī)制計(jì)算每一個(gè)詞的注意力權(quán)重，為句子中對(duì)情感極性分類起到重要作用的形容詞、詞組等分配較大的權(quán)重。

有研究指出，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)和LSTM在文本分類任務(wù)上效果基本接近[8]，但LSTM在進(jìn)行序列建模時(shí)具有時(shí)間依賴性，需要訓(xùn)練較長(zhǎng)的時(shí)間，而 CNN結(jié)構(gòu)相對(duì)簡(jiǎn)單且可并行化，因此在CNN的基礎(chǔ)上，梁等人[9]提出一種基于詞向量、詞性和位置的多注意力機(jī)制卷積神經(jīng)網(wǎng)絡(luò)模型CATT-CNN來識(shí)別不同對(duì)象的情感極性。Xue等人[10]提出一種基于門控機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型GCAE，該門控機(jī)制可獨(dú)立工作且能根據(jù)給定的對(duì)象有選擇地輸出情感特征，因此模型結(jié)構(gòu)更加簡(jiǎn)單且訓(xùn)練快速。

就人理解的角度而言，在判斷某個(gè)對(duì)象的情感極性時(shí)，對(duì)象的上下文會(huì)對(duì)判斷產(chǎn)生很大的影響。但在現(xiàn)有以CNN為基礎(chǔ)的研究方法中，大多并未考慮到由對(duì)象所劃分出的上下文對(duì)分類效果的影響，在池化層采用最大池化(max-pooling)操作提取句子特征，因此無法得到更細(xì)粒度的上下文特征。針對(duì)該問題，本文提出一種融合多特征的分段卷積神經(jīng)網(wǎng)絡(luò)模型，根據(jù)對(duì)象將句子劃分為包含上下文的兩個(gè)部分，并在池化層分別對(duì)這兩個(gè)部分進(jìn)行最大池化操作，即通過分段的方式提取包含對(duì)象上下文的特征。此外，本文還充分考慮到有利于情感分類的多個(gè)輔助特征，將詞的相對(duì)位置、詞性以及詞在情感詞典中的情感得分融入模型，并通過卷積操作為每個(gè)詞計(jì)算注意力得分，在SemEval 2014數(shù)據(jù)集和Twitter數(shù)據(jù)集的實(shí)驗(yàn)中，結(jié)果表明，本文提出的模型能夠有效地判別句子中對(duì)象的情感極性。

本文的主要貢獻(xiàn)總結(jié)如下:

(1) 提出了一種融合多特征的分段卷積神經(jīng)網(wǎng)絡(luò)模型，模型根據(jù)對(duì)象將句子劃分為包含上下文的兩個(gè)部分，并在模型的池化層采用分段最大池化操作，有效地提取包含對(duì)象上下文信息的細(xì)粒度特征;

(2) 利用詞的相對(duì)位置、詞性以及詞在情感詞典中的情感得分作為輔助特征嵌入到模型中，使模型能夠?qū)W習(xí)到更加豐富且有利于情感分類的特征，同時(shí)使用卷積操作為每個(gè)詞計(jì)算注意力得分，有效地為那些有利于分類的詞分配更大的注意力權(quán)重;

(3) 在SemEval 2014數(shù)據(jù)集和Twitter數(shù)據(jù)集的實(shí)驗(yàn)中，對(duì)比基于傳統(tǒng)機(jī)器學(xué)習(xí)、基于循環(huán)神經(jīng)網(wǎng)絡(luò)以及基于單一最大池化機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)分類模型，本文提出的方法取得了更好的分類效果。

1 相關(guān)工作

1.1 對(duì)象級(jí)情感分類相關(guān)研究

近年來，在深度學(xué)習(xí)領(lǐng)域，學(xué)者們利用LSTM和CNN具有自動(dòng)提取文本的語義特征的能力，避免了傳統(tǒng)機(jī)器學(xué)習(xí)算法人工提取特征的繁瑣過程，對(duì)分類任務(wù)進(jìn)行有效的建模。其中，Tang 等人[6]利用LSTM提取對(duì)象的上下文特征作為句子表示，提出對(duì)象依賴的分類模型TD-LSTM。Wang等人[7]提出一種基于注意力機(jī)制的LSTM模型ATAE-LSTM，該模型利用注意力機(jī)制為句子中的每個(gè)詞計(jì)算注意力權(quán)重，對(duì)詞向量加權(quán)求和以表示句子，取得了較TD-LSTM更好的分類效果。在CNN的基礎(chǔ)上，梁等人[9]根據(jù)詞向量、詞性和位置信息，提出一種基于多注意力的卷積神經(jīng)網(wǎng)絡(luò)模型CATT-CNN來識(shí)別不同對(duì)象的情感極性。Xue等人[10]提出GCAE模型，該模型在CNN上引入一種能夠獨(dú)立工作的門控機(jī)制，其能夠根據(jù)給定的對(duì)象有選擇地輸出情感特征，使分類更加快速和準(zhǔn)確。

1.2 輔助特征

Matsumoto等人[11]在帶情感標(biāo)注的日語和英語語料庫上，提出了一種估計(jì)句子中情感表達(dá)的方法，該方法充分利用詞性和詞之間的位置特征，能更好地識(shí)別出情感詞或者短語。陳等人[12]利用外部情感詞典資源，在句子中提取和情感表達(dá)相關(guān)的序列片段，憑借詞語本身具有的屬性特征來構(gòu)建詞向量以作為CNN的輸入之一，在其研究領(lǐng)域數(shù)據(jù)集上的情感分類效果優(yōu)于未引入詞典資源的CNN模型。顯然，詞性、詞的位置信息以及外部情感詞典的運(yùn)用，在一定程度上對(duì)情感分類問題發(fā)揮了積極影響。

1.3 分段卷積神經(jīng)網(wǎng)絡(luò)

在知識(shí)圖譜關(guān)系抽取領(lǐng)域的研究中，要對(duì)兩個(gè)給定實(shí)體之間的關(guān)系進(jìn)行分類。Zeng等人[13]認(rèn)為句子本質(zhì)上可由給定的兩個(gè)實(shí)體劃分成3個(gè)部分，為了獲取兩個(gè)實(shí)體之間更加豐富的語義特征，作者設(shè)計(jì)了一個(gè)如圖1所示的分段卷積神經(jīng)網(wǎng)絡(luò)模型。其中，兩個(gè)實(shí)體在Word Embedding層用深黑色標(biāo)識(shí)，Convolution層使用3個(gè)不同的過濾器提取局部n-gram特征，Pooling層采用分段最大池化操作，返回每個(gè)分段中的最大值，而不是單個(gè)句子的最大值，與傳統(tǒng)最大池化方法相比，該方法取得了更好的分類效果。類似地，在對(duì)象級(jí)情感分類任務(wù)中，句子可由對(duì)象劃分成上下兩個(gè)部分，其中包含了對(duì)象的上下文信息，若使用分段卷積神經(jīng)網(wǎng)絡(luò)對(duì)上下文進(jìn)行建模，采取分段最大池化策略，將得到更加細(xì)粒度的對(duì)象上下文特征。

圖1 分段卷積神經(jīng)網(wǎng)絡(luò)[13]

2 融合多特征的分段卷積神經(jīng)網(wǎng)絡(luò)模型

考慮到由對(duì)象所劃分上下文的重要性，本文使用分段卷積神經(jīng)網(wǎng)絡(luò)對(duì)上下文進(jìn)行建模。圖2為本文提出的MP-CNN模型的網(wǎng)絡(luò)結(jié)構(gòu)，模型主要分為五個(gè)部分: 詞的多特征向量表示、卷積層、分段池化層、特征連接層以及softmax層。以下將對(duì)這些部分以及注意力計(jì)算方式進(jìn)行詳細(xì)說明。

圖2 MP-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 詞的多特征向量表示

xi=Weei

(1)

Si=Wsei

(2)

Pi=WPei

(3)

位置特征嵌入在對(duì)象級(jí)情感分類任務(wù)中，距離對(duì)象越近的詞越有可能為描述對(duì)象的詞，其所在的位置也就越重要。如圖3所示，一般取詞與對(duì)象的相對(duì)位置作為位置特征，但是該方法使情感詞“horrible”相對(duì)于對(duì)象的距離較非情感詞“was”和“so”要遠(yuǎn)。

圖3 無位置重排

針對(duì)該問題，本文提出一種位置重排算法對(duì)位置進(jìn)行重新排序，算法表示如下:

輸出: 重排后的特征向量(l′1,l′2,…,l′n)。

(1) 根據(jù)詞的相對(duì)位置及其情感得分計(jì)算位置得分向量score，如式(4)所示。

(4)

其中,scorei為第i個(gè)詞對(duì)應(yīng)的位置得分，由softmax函數(shù)對(duì)該詞的原位置值以及情感得分進(jìn)行歸一化，兩部分相加得到。該操作相當(dāng)于在考慮原位置的基礎(chǔ)上引入了情感得分因素，使情感詞能夠分配到更大的位置得分。

(2) 根據(jù)位置得分計(jì)算新的位置值，如式(5)所示。

(5)

其中，top_k為輸出scorei在所有位置得分當(dāng)中排在第幾位的函數(shù),函數(shù)f值取-1表示詞出現(xiàn)在對(duì)象的左邊，取1表示詞出現(xiàn)在對(duì)象的右邊，取0則表示對(duì)象本身。

圖4 有位置重排

Li=WLei

(6)

新興市場(chǎng)一旦被發(fā)現(xiàn)，短時(shí)期內(nèi)將涌入眾多參與者。因此，創(chuàng)業(yè)項(xiàng)目的致命痛點(diǎn)在于對(duì)于商品成本進(jìn)行有效控制和延續(xù)話題熱點(diǎn)。創(chuàng)業(yè)項(xiàng)目在校園階段就應(yīng)主動(dòng)實(shí)現(xiàn)成本控制，嘗試實(shí)現(xiàn)由銷售端轉(zhuǎn)向“生產(chǎn)+銷售”的模式轉(zhuǎn)變，從而實(shí)現(xiàn)經(jīng)營(yíng)的鏈?zhǔn)睫D(zhuǎn)化。同時(shí)，利用網(wǎng)絡(luò)熱點(diǎn)進(jìn)行創(chuàng)業(yè)的項(xiàng)目尤其應(yīng)注意目標(biāo)群體審美意象與注意力的轉(zhuǎn)移，及時(shí)更新商品，并重視對(duì)相關(guān)話題的炒作。由于創(chuàng)業(yè)公司主營(yíng)業(yè)務(wù)將銷售區(qū)域明確界定為大學(xué)城，在業(yè)務(wù)向大學(xué)城外拓展時(shí)，要格外注意運(yùn)輸成本的上升與外地市場(chǎng)改變。

2.2 卷積層

2.3 分段池化層

為了得到包含對(duì)象上下文更加細(xì)粒度的特征，本文將up和down兩個(gè)部分卷積操作的結(jié)果分別做最大池化操作，即分段池化以得到包含上下文特征的結(jié)果zup和zdown，該過程表示如式(11)、式(12)所示。

2.4 注意力計(jì)算

其中，g(·)為sigmod函數(shù)，si即為句中第i個(gè)詞的注意力得分，使用si對(duì)詞向量進(jìn)行加權(quán)得到新的詞向量表示x′i，并對(duì)加權(quán)后的向量采取求和操作，如式(15)、式(16)所示。

(17)

其中，*為兩個(gè)矩陣元素對(duì)應(yīng)相乘相加操作，na為過濾器的數(shù)量，g(·)為tanh函數(shù)。

2.5 softmax層

設(shè)#nw為模型所用卷積過濾器的類型，其值指示一個(gè)特定長(zhǎng)度的卷積過濾器，若模型中使用到3個(gè)不同長(zhǎng)度的過濾器，則#nw的取值為[1,2,3]。將池化操作以及上下兩個(gè)部分單詞注意力計(jì)算結(jié)果zatt_up、zatt_down進(jìn)行串聯(lián)，以豐富句子的特征表示，得到結(jié)果zout，將其交給softmax分類器輸出情感分類的概率P，過程表示如式(18)、式(19)所示。

其中，“⊕”為向量連接操作，Wp和bp為權(quán)重參數(shù)和偏置參數(shù)。2.6 損失函數(shù)在模型反向傳播過程中，本文采用基于Adam的mini-batch梯度下降法，通過最小化交叉熵來優(yōu)化模型，交叉熵?fù)p失函數(shù)如式(20)所示。

(20)

3 實(shí)驗(yàn)

本文將在3個(gè)不同領(lǐng)域的對(duì)象級(jí)情感分類數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并將實(shí)驗(yàn)結(jié)果與現(xiàn)有模型進(jìn)行比較，驗(yàn)證了本文提出的模型具備良好的分類性能。其中，實(shí)驗(yàn)在如表1所示的環(huán)境配置下完成。

表1 實(shí)驗(yàn)環(huán)境配置

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集包括SemEval 2014提供的Restaurant和Laptop兩個(gè)領(lǐng)域的用戶評(píng)論，以及Twitter提供的用戶推文數(shù)據(jù)集。數(shù)據(jù)中包含對(duì)象詞或?qū)ο笤~組，對(duì)象的情感極性被分為消極、中性以及積極。數(shù)據(jù)集被劃分為訓(xùn)練集和測(cè)試集，3個(gè)情感類別在各數(shù)據(jù)集上的數(shù)量統(tǒng)計(jì)結(jié)果如表2所示。

表2 實(shí)驗(yàn)數(shù)據(jù)集情感類別統(tǒng)計(jì)

3.2 參數(shù)設(shè)置

在模型的輸入層，本文使用GloVe預(yù)訓(xùn)練英文詞向量作為模型的輸入之一，維度d設(shè)置為300，對(duì)于未登錄詞，其詞向量用0向量初始化，三個(gè)可訓(xùn)練特征矩陣使用均勻分布U(-1,1)隨機(jī)初始化；在多特征嵌入當(dāng)中，經(jīng)過多次實(shí)驗(yàn)發(fā)現(xiàn)，嵌入維度對(duì)模型的影響不大，考慮到時(shí)間性能因素，本文將3個(gè)特征嵌入的維度m1、m2、m3統(tǒng)一設(shè)置為較低的50維；在卷積層和注意力計(jì)算過程中，模型均采用了多個(gè)卷積過濾器進(jìn)行卷積計(jì)算；為防止模型過擬合，模型在池化層和優(yōu)化損失函數(shù)過程中分別采用了dropout和L2正則化策略，其中模型的參數(shù)設(shè)置如表3所示。

表3 參數(shù)設(shè)置

3.3 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果將和以下10種不同類型的方法進(jìn)行對(duì)比。

(1)SVM[20]: 一種基于可用特征的傳統(tǒng)機(jī)器學(xué)習(xí)算法支持向量機(jī)(support vector machine，SVM)分類模型；

(2)SVM+lexicons: 在上述SVM的基礎(chǔ)上引入了多個(gè)情感詞典優(yōu)化的模型；

(3)TD-LSTM[6]: 根據(jù)對(duì)象將句子劃分成兩個(gè)部分，利用LSTM提取上下文特征進(jìn)行情感分類；

(4)ATAE-LSTM[7]: 將對(duì)象和其上下文表示連接到一起，在LSTM的基礎(chǔ)上引入注意力機(jī)制計(jì)算每一個(gè)詞的注意力權(quán)重而提出的情感分類模型；

(5)IAN[21]: 利用兩個(gè)LSTM對(duì)上下文和對(duì)象進(jìn)行建模，并用注意機(jī)力機(jī)制交互地學(xué)習(xí)上下文和對(duì)象中的關(guān)鍵特征表示，最后將得到的表示連接到一起進(jìn)行情感分類；

(6)TextCNN[22]: 基于CNN提出的最基本的文本分類模型；

(7)Att-CNN[23]: 在CNN基礎(chǔ)上添加多層注意力的文本分類模型；

(8)CATT-CNN[9]: 結(jié)合詞向量、詞性、位置信息計(jì)算注意力得分，提出的基于多注意力CNN對(duì)象級(jí)情感分類模型；

(9)GCAE[10]: 一種基于CNN和門控機(jī)制對(duì)象級(jí)情感分類模型。其中，門控機(jī)制Tanh-ReLU單元可以根據(jù)給定的對(duì)象選擇性地輸出情感特征；

(10)Mul-AT-CNN[24]: 一種利用多層卷積神經(jīng)網(wǎng)絡(luò)對(duì)上下文進(jìn)行多次建模，并使用注意力機(jī)制顯式學(xué)習(xí)情感中間表示，最后將所有特征集成到一起進(jìn)行情感分類。

本文提出的模型如下:

(1)MP-CNN: 融合多特征的分段卷積神經(jīng)網(wǎng)絡(luò)模型，該模型能夠根據(jù)對(duì)象在句子中的位置劃分句子，在模型的池化層采用分段最大池化操作，提取包含對(duì)象上下文信息的細(xì)粒度特征。

(2)MP-CNN-2: 受CNN在圖像處理中應(yīng)用的啟發(fā)，本文認(rèn)為更深層的CNN能夠?qū)W習(xí)到更多有利于分類的特征，實(shí)驗(yàn)發(fā)現(xiàn)2層CNN效果最優(yōu)，即MP-CNN-2。

3.4 實(shí)驗(yàn)結(jié)果

本文提出的兩個(gè)模型MP-CNN和MP-CNN-2在3個(gè)數(shù)據(jù)集上都取得了不錯(cuò)的分類準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表4所示。

表4 不同模型分類準(zhǔn)確率(%)

首先，對(duì)比基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的兩個(gè)模型SVM和SVM+lexicons，引入情感詞典的SVM+lexicons模型較SVM模型在Laptop數(shù)據(jù)集上效果提升了6.88%，這進(jìn)一步說明了引入輔助特征的有效性。因?yàn)樯疃葘W(xué)習(xí)模型具有強(qiáng)大自動(dòng)提取特征的能力，并且又添加了更多的輔助特征，所以與需要手工設(shè)計(jì)特征且只引入了情感詞典的SVM+lexicons模型相比，本文表現(xiàn)較好的模型MP-CNN-2取得了更好的實(shí)驗(yàn)結(jié)果，在Restaurant和Laptop數(shù)據(jù)集上效果分別提升了1.09%和4.07%。

其次，對(duì)比基于LSTM的模型。其中，添加注意力機(jī)制的ATAE-LSTM和IAN模型與只考慮對(duì)象上下文信息的TD-LSTM模型相比，效果都有一定程度的提升，這說明注意力機(jī)制在對(duì)象級(jí)情感分類當(dāng)中起到一定程度上的改進(jìn)作用，但這3種方法都沒有考慮額外的輔助特征，而引入3個(gè)輔助特征的MP-CNN-2模型具有更好的特征學(xué)習(xí)能力。因此，分類效果與基于LSTM的模型中表現(xiàn)較好的IAN模型相比，在Restaurant和Laptop數(shù)據(jù)集上的分類準(zhǔn)確率分別提升了2.65%和2.46%。

最后，對(duì)比基于CNN的分類模型。較最基本的模型textCNN來說，因未考慮對(duì)象的上下文且未引入任何輔助特征，捕獲特征的能力不足，所以分類結(jié)果較差，這也說明了本文分段提取對(duì)象上下文特征的有效性。Att-CNN、CATT-CNN以及本文提出的兩個(gè)模型都分別在CNN模型的基礎(chǔ)上使用了注意力機(jī)制，較未使用注意力機(jī)制的TextCNN模型分類效果都有所提高，所以將注意力機(jī)制應(yīng)用于CNN上亦可改進(jìn)分類效果，但這兩個(gè)模型在池化層都采用最大池化操作，并未考慮更細(xì)粒度的上下文特征，所以本文提出的兩個(gè)模型表現(xiàn)均優(yōu)于這兩個(gè)模型。和GCAE模型相比，MP-CNN-2在Restaurant和Laptop數(shù)據(jù)集上分別取得了1.58%和5.42%的提升，說明上下文特征結(jié)合多個(gè)輔助特征要比單一的門控機(jī)制表現(xiàn)力強(qiáng)； Mul-AT-CNN模型和本文提出的兩個(gè)模型均考慮了對(duì)象的上下文信息，但建模方式不同，由于本文考慮了多個(gè)輔助特征，使模型更具特征表現(xiàn)力，所以在Restaurant和Twitter數(shù)據(jù)集上表示更為出色，分別提高了1.79%和1.56%。而Mul-AT-CNN在Laptop數(shù)據(jù)集上領(lǐng)先0.83%，這反映了該模型的上下文建模方式在Laptop數(shù)據(jù)集上有著更好的效果，但卻不能泛化到其他數(shù)據(jù)集上。

3.5 實(shí)驗(yàn)分析

為驗(yàn)證本文方法的有效性，下面將針對(duì)位置重排算法、注意力機(jī)制以及輔助特征設(shè)計(jì)分析實(shí)驗(yàn)，描述如下。

位置重排算法驗(yàn)證實(shí)驗(yàn)在進(jìn)行位置嵌入時(shí)，將模型設(shè)置為有位置重排和無位置重排進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5(a)和圖5(b)所示。其中with表示有位置重排，without表示無位置重排，從圖的對(duì)比中可以看出，本文提出的兩個(gè)模型MP-CNN和MP-CNN-2，使用位置重排模型的分類效果在所有數(shù)據(jù)集上均優(yōu)于未使用該算法的模型，這是因?yàn)橹嘏藕蟮奈恢檬沟们楦性~處在更重要的位置上，因此模型學(xué)習(xí)到了更有利于情感分類的位置特征，所以位置重排算法在一定程度上能夠改進(jìn)模型的分類效果。

圖5 輔助特征驗(yàn)證實(shí)驗(yàn)結(jié)果

注意力值可視化實(shí)驗(yàn)為驗(yàn)證注意力機(jī)制能夠關(guān)注到與描述對(duì)象有關(guān)的詞，我們?cè)跀?shù)據(jù)集上分別隨機(jī)挑選兩個(gè)句子進(jìn)行測(cè)試，輸出各個(gè)詞的注意力得分，并對(duì)其進(jìn)行可視化，結(jié)果如圖6所示，對(duì)于第一個(gè)句子，描述對(duì)象“bread”的單詞“is”“top”“notch”以及第二個(gè)句子描述對(duì)象“hardware”的單詞“was”“slow”“l(fā)ocked”等都被賦予了較大的權(quán)重，這說明注意力機(jī)制在一定程度上發(fā)揮積極作用。

圖6 注意力可視化

輔助特征驗(yàn)證實(shí)驗(yàn)為驗(yàn)證在本文提出的模型上添加輔助特征的有效性，實(shí)驗(yàn)首先將所有輔助特征從模型中剔除，然后再逐個(gè)添加，實(shí)驗(yàn)結(jié)果如圖7所示。其中，“0”表示剔除所有輔助特征；“1”表示只包含一個(gè)輔助特征，選取實(shí)驗(yàn)中3個(gè)輔助特征得到的最大準(zhǔn)確率作為該實(shí)驗(yàn)的結(jié)果；“2” 表示包含兩個(gè)特征，3個(gè)輔助特征共有3種不同的組合方式，亦選3種組合中取得的最大準(zhǔn)確率作為該實(shí)驗(yàn)的結(jié)果；“3”為添加所有輔助特征?？梢姡S著特征的添加，分類的準(zhǔn)確率在3個(gè)領(lǐng)域的數(shù)據(jù)集上都呈現(xiàn)上升趨勢(shì)，這是因?yàn)殡S著輔助特征的增多，使模型能夠提取到更多有利于情感分類的特征信息，因此特征表現(xiàn)力就越強(qiáng)，所以引入輔助特征能夠改進(jìn)模型的效果。

圖7 輔助特征驗(yàn)證實(shí)驗(yàn)結(jié)果

4 總結(jié)和展望

本文提出了融合多特征的分段卷積神經(jīng)網(wǎng)絡(luò)模型MP-CNN和MP-CNN-2，考慮到由對(duì)象劃分出句子上下文的重要性，選擇分段最大池化策略提取更加細(xì)粒度的對(duì)象上下文特征。此外，根據(jù)情感分類的特點(diǎn)，引入多個(gè)輔助特征，將詞的位置、詞性以及詞在情感詞典中的情感得分特征融合進(jìn)模型，增強(qiáng)了模型的特征表現(xiàn)力。最后模型采用卷積的方式計(jì)算詞的注意力得分，幫助改善模型的分類效果。

雖然本文提出的兩個(gè)模型在3個(gè)不同領(lǐng)域的對(duì)象級(jí)情感分類數(shù)據(jù)集上均取得了較好的分類結(jié)果，但多個(gè)輔助特征+注意力的句子表示方式是否可以泛化到其他更細(xì)粒度的情感分類領(lǐng)域仍然未知，下一步的工作重點(diǎn)將是驗(yàn)證該組合方式在更細(xì)粒度的分類任務(wù)上的有效性。