基于文本特征和語(yǔ)言知識(shí)的神經(jīng)網(wǎng)絡(luò)情感分類

楊善良

(山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山東 淄博 255049)

文本情感傾向性分類在網(wǎng)絡(luò)輿情、危機(jī)公關(guān)、品牌營(yíng)銷等領(lǐng)域有著廣泛應(yīng)用。網(wǎng)絡(luò)媒體上積累了大量的用戶評(píng)論數(shù)據(jù)，這些數(shù)據(jù)集中反映了網(wǎng)民對(duì)社會(huì)熱點(diǎn)事件、政策實(shí)施和產(chǎn)品服務(wù)的情感、態(tài)度和傾向。由于網(wǎng)絡(luò)評(píng)論數(shù)據(jù)分析具有很強(qiáng)的實(shí)用價(jià)值，在業(yè)界和學(xué)術(shù)界得到了深入的研究。Ye等[1]研究旅游博客數(shù)據(jù)中的情感傾向性分類問(wèn)題，幫助旅游者選擇喜歡的旅游目的地。Bollen等[2]通過(guò)判斷Twitter文本的情感傾向來(lái)預(yù)測(cè)道瓊斯工業(yè)指數(shù)的漲跌。

情感傾向性分類把評(píng)論數(shù)據(jù)分成正面、負(fù)面和中性等類別，已成為自然語(yǔ)言處理領(lǐng)域重點(diǎn)研究?jī)?nèi)容之一。在網(wǎng)絡(luò)環(huán)境下，文本表達(dá)具有不規(guī)范的特點(diǎn)，常使用縮略詞、網(wǎng)絡(luò)新詞，具有拼寫錯(cuò)誤、語(yǔ)法錯(cuò)誤等問(wèn)題，給情感傾向性分類帶來(lái)了很大挑戰(zhàn)。解決情感傾向性分類問(wèn)題的方法主要包括基于詞典的方法、傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法等。

為提高網(wǎng)絡(luò)文本情感傾向性分類的準(zhǔn)確率，研究語(yǔ)言知識(shí)和情感知識(shí)在模型中發(fā)揮的作用，本文提出基于文本特征和語(yǔ)言知識(shí)融合的卷積神經(jīng)網(wǎng)絡(luò)MI-CNN(multi-features integrated convolutional neural network)模型，把詞語(yǔ)、詞性、情感詞典等外部知識(shí)融合到情感傾向性分類模型。首先使用詞向量訓(xùn)練模型訓(xùn)練詞向量，加入詞性和情感詞語(yǔ)產(chǎn)生多種特征數(shù)據(jù)，用于消除詞語(yǔ)歧義和表達(dá)情感信息；然后構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)特征層融合和分類層融合的方法將多種特征融合到模型中；最后訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，評(píng)估模型情感傾向性分類效果。

1 相關(guān)研究

神經(jīng)網(wǎng)絡(luò)模型在圖像處理、語(yǔ)音識(shí)別和文本分析等領(lǐng)域得到了廣泛應(yīng)用，取得了比傳統(tǒng)機(jī)器學(xué)習(xí)方法更好的效果。LeCun等[3]提出經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型LeNet5，并應(yīng)用于圖像分類。在文本情感傾向性分類上，神經(jīng)網(wǎng)絡(luò)模型也取得了非常好的效果。Kim[4]最早使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)句子進(jìn)行分類，將深度學(xué)習(xí)引入文本分類領(lǐng)域。Huang等[5]使用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)表達(dá)句子向量，然后再根據(jù)句子向量表達(dá)篇章向量，進(jìn)行篇章級(jí)情感分類。由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在很大程度上決定了模型的效果，學(xué)者對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了更深入的研究。例如Zhang等[6]通過(guò)融合CNN、LSTM、Attention等多種模型的優(yōu)勢(shì)來(lái)解決單個(gè)神經(jīng)網(wǎng)絡(luò)模型的缺陷，提出CCLA情感分類神經(jīng)網(wǎng)絡(luò)模型。劉敬學(xué)等[7]針對(duì)短文本分類的特點(diǎn)，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)CNN和長(zhǎng)短記憶網(wǎng)絡(luò)LSTM，提出一種字符級(jí)神經(jīng)網(wǎng)絡(luò)模型。

在神經(jīng)網(wǎng)絡(luò)模型中使用詞向量表示文本信息，詞向量表示能力是影響模型效果的重要因素。2013年由Google發(fā)布的詞向量訓(xùn)練工具Word2vec實(shí)現(xiàn)了CBOW和Skip-Gram兩個(gè)詞嵌入模型[8-9]，成為在自然語(yǔ)言處理領(lǐng)域使用深度學(xué)習(xí)模型的基礎(chǔ)。根據(jù)情感傾向性分類表達(dá)情感信息的需求，研究者對(duì)詞向量訓(xùn)練模型進(jìn)行了改進(jìn)。例如Tang等[10]使用情感詞嵌入模型SSWE訓(xùn)練詞向量，以提高情感傾向性分類模型效果。Xiong等[11]使用情感詞典和遠(yuǎn)距離監(jiān)督信息訓(xùn)練包含情感信息的詞向量。何鴻業(yè)等[12]使用詞語(yǔ)和詞性拼接，然后訓(xùn)練Word-Pos向量，消除詞語(yǔ)歧義，提高詞向量文本表示能力。

文本情感特征表示和使用對(duì)情感傾向性分類效果起到重要作用，學(xué)者研究了多種情感特征及其組合方法。梁斌等[13]針對(duì)特定目標(biāo)情感分析任務(wù)，提出多注意力卷積神經(jīng)網(wǎng)絡(luò)模型，模型中使用詞語(yǔ)、詞性和詞位置等3種注意力特征矩陣。陳珂等[14]針對(duì)中文微博情感分析任務(wù)，提出多通道卷積神經(jīng)網(wǎng)絡(luò)模型，融合詞語(yǔ)、詞性、詞位置等多種情感信息特征。杜慧等[15]在對(duì)象級(jí)情感分類中使用詞性信息和對(duì)象注意力機(jī)制，提出融合詞性和注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型。

文本情感傾向性分類是自然語(yǔ)言處理領(lǐng)域的重要任務(wù)之一，神經(jīng)網(wǎng)絡(luò)模型在情感分類問(wèn)題上取得了成功，但是關(guān)于文本特征表示、語(yǔ)言知識(shí)表示、情感知識(shí)表示以及多特征融合等問(wèn)題的研究仍不充分。本文在詞向量表示的基礎(chǔ)上，增加詞性信息和情感詞語(yǔ)信息等外部知識(shí)；然后改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，在特征層和分類層融合多種特征，以提高情感傾向性分類效果。使用詞嵌入模型訓(xùn)練詞語(yǔ)向量WV(word vector)，詞語(yǔ)向量能夠表示詞語(yǔ)的上下文信息和語(yǔ)義信息；使用詞語(yǔ)和詞性拼接后訓(xùn)練詞語(yǔ)詞性向量PoSV(part of speech vector)，使用不同向量表示同一詞語(yǔ)的不同詞性，避免了部分詞語(yǔ)歧義問(wèn)題；使用情感詞語(yǔ)和文本情感標(biāo)簽訓(xùn)練情感詞向量SWV(sentiment word vector)，SWV能夠表達(dá)詞語(yǔ)的情感信息。將多種特征融入到神經(jīng)網(wǎng)絡(luò)模型中，以提高卷積神經(jīng)網(wǎng)絡(luò)情感分類模型的效果。

2 文本特征表示

詞向量是神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型中重要的文本特征表示形式，通過(guò)詞向量訓(xùn)練模型得到詞向量表示。本文在詞語(yǔ)特征的基礎(chǔ)上，增加詞性特征和情感特征。使用神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型訓(xùn)練詞語(yǔ)、詞性和情感詞3種特征向量，使用詞嵌入模型訓(xùn)練語(yǔ)料數(shù)據(jù)得到詞語(yǔ)向量WV，在詞性信息的基礎(chǔ)上訓(xùn)練得到詞性向量PoSV，在情感詞典和情感標(biāo)簽等外部知識(shí)的基礎(chǔ)上訓(xùn)練得到情感詞向量SWV。

2.1 詞語(yǔ)特征

神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型在詞語(yǔ)信息表示上發(fā)揮著重要作用。詞語(yǔ)是組成句子的基本單元，反映了評(píng)論文本的基本信息，是最重要的文本特征；詞語(yǔ)特征向量表達(dá)了詞語(yǔ)的語(yǔ)義信息，本文采用連續(xù)詞袋模型CBOW(continue bag of word)[10]訓(xùn)練語(yǔ)料得到。CBOW模型根據(jù)當(dāng)前詞語(yǔ)的上下文預(yù)測(cè)當(dāng)前詞語(yǔ)，模型結(jié)構(gòu)如圖1所示，包括輸入層、投影層和輸出層三層結(jié)構(gòu)。假設(shè)當(dāng)前詞語(yǔ)表示為向量wi∈Rm，m是向量維度，輸入層是當(dāng)前詞語(yǔ)的上下文，選取上下文窗口大小為c，上下文詞語(yǔ)序列表示為context(wi) = [wi-c,wi-c+1,…,wi+c-1,wi+c]；投影層是輸入層上下文詞向量的累加和或求平均，這里使用累加操作，累加計(jì)算如式(1)所示；輸出層使用Hierarchical softmax計(jì)算當(dāng)前詞語(yǔ)出現(xiàn)的概率p(wi|context(wi))。使用對(duì)數(shù)似然函數(shù)作為CBOW模型的目標(biāo)函數(shù)，如式(2)所示，其中W是訓(xùn)練樣本中包含的所有詞語(yǔ)。在CBOW模型上訓(xùn)練語(yǔ)料數(shù)據(jù)，得到包含語(yǔ)義信息和上下文信息的詞語(yǔ)特征向量。

wsum=∑wj∈context(wi)wj,

(1)

L=∑wi∈Wlbp(wi|context(wi))。

(2)

圖1 CBOW模型結(jié)構(gòu)Fig.1 Model structure diagram of CBOW

2.2 詞性特征

詞性是詞語(yǔ)在文本中表現(xiàn)出來(lái)的重要語(yǔ)言知識(shí)，詞性特征向量在詞語(yǔ)特征向量的基礎(chǔ)上加入詞性信息，用于解決詞語(yǔ)表現(xiàn)出不同詞性時(shí)出現(xiàn)的歧義問(wèn)題。使用CBOW模型訓(xùn)練得到的詞向量，一個(gè)詞語(yǔ)使用一個(gè)詞向量表示。但是詞語(yǔ)經(jīng)常存在一詞多義的現(xiàn)象，也就是同一個(gè)詞語(yǔ)在不同的語(yǔ)境下表達(dá)的語(yǔ)義不同，這種情況下就會(huì)出現(xiàn)歧義。例如“員工的新制服非常漂亮。”和“警察制服了歹徒?！?，這兩句話里面都有“制服”一詞，但是其表達(dá)的詞義完全不同。使用詞性可以區(qū)分一詞多義現(xiàn)象，第一個(gè)句子中的“制服”是名詞，表示統(tǒng)一制式的衣服；第二個(gè)句子中的“制服”是動(dòng)詞，表示用武力馴服。

本文使用詞性緩解詞語(yǔ)歧義問(wèn)題，將詞語(yǔ)與詞性拼接后形成“詞語(yǔ)_詞性”字符串。然后使用CBOW模型訓(xùn)練詞向量，將詞性信息編碼到向量中，同一個(gè)詞語(yǔ)的不同詞性使用不同向量表示。例如上述示例中的詞語(yǔ)“制服”，詞性特征向量w11表示“制服_動(dòng)詞”，w12表示“制服_名詞”。當(dāng)同一個(gè)詞語(yǔ)在語(yǔ)境中的詞性不同時(shí)，w11和w12能有效解決詞語(yǔ)歧義問(wèn)題。

2.3 情感特征

情感特征在情感傾向性分類中是重要的信息，文本表達(dá)的情感傾向多由其中包含的情感詞語(yǔ)決定，但是在詞向量訓(xùn)練模型CBOW中沒(méi)有考慮情感信息。本文設(shè)計(jì)能夠?qū)W習(xí)詞語(yǔ)情感信息的特征向量訓(xùn)練模型，即情感特征向量模型。使用情感詞典和情感標(biāo)簽作為情感特征向量模型的監(jiān)督信息，然后使用模型預(yù)測(cè)每個(gè)詞語(yǔ)的情感傾向性，以及預(yù)測(cè)詞語(yǔ)所在上下文的情感標(biāo)簽，最后通過(guò)聯(lián)合訓(xùn)練優(yōu)化模型參數(shù)，得到包含情感信息的情感特征向量。情感特征向量訓(xùn)練模型結(jié)構(gòu)如圖2所示，包含輸入層、全連接層、tanh層和輸出層四層結(jié)構(gòu)。輸入層是當(dāng)前詞語(yǔ)的上下文，選擇上下文窗口大小為k，上下文詞語(yǔ)序列表示為w= [wi-k,wi-k+1,…,wi+k-1,wi+k]；全連接層對(duì)上下文詞向量做線性變換，如式(4)所示；tanh層使用雙曲函數(shù)對(duì)全連接層做非線性變換，如式(5)所示；輸出層使用softmax函數(shù)計(jì)算當(dāng)前詞語(yǔ)在情感傾向性類別上的概率分布，計(jì)算方法如式(6)所示。公式中Wl1、Wl2、bl1、bl2是網(wǎng)絡(luò)模型參數(shù)。使用情感詞典和語(yǔ)料訓(xùn)練模型得到情感特征向量。

input=embedding(w)，

(3)

outputl1=input·Wl1+bl1，

(4)

outputtanh=tanh (outputl1)，

(5)

y=softmax(outputtanh·Wl2+bl2)。

(6)

圖2 情感詞向量訓(xùn)練模型結(jié)構(gòu)Fig.2 The diagram of sentiment word embedding training model

3 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)CNN被廣泛應(yīng)用于圖像處理、語(yǔ)音識(shí)別、文本分析等領(lǐng)域，在情感傾向性分類任務(wù)上也取得了非常好的效果。為了充分利用文本數(shù)據(jù)中的情感信息，提高情感傾向性分類準(zhǔn)確率，本文提出基于多特征融合的卷積神經(jīng)網(wǎng)絡(luò)模型MI-CNN。模型使用詞語(yǔ)特征向量、詞性特征向量和情感詞特征向量作為特征數(shù)據(jù)，然后使用卷積神經(jīng)網(wǎng)絡(luò)處理特征數(shù)據(jù)，最后預(yù)測(cè)文本的情感傾向性類別。

3.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由Hubel和Wiesel于1962年提出，經(jīng)過(guò)多年的發(fā)展演變，目前已經(jīng)是深度學(xué)習(xí)領(lǐng)域重要的網(wǎng)絡(luò)結(jié)構(gòu)。在自然語(yǔ)言處理領(lǐng)域所使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，由輸入層、卷積層、池化層、全連接層和輸出層等組成。輸入層將詞語(yǔ)映射成詞向量輸入到神經(jīng)網(wǎng)絡(luò)模型中，詞向量通過(guò)預(yù)訓(xùn)練模型得到。這里輸入層的數(shù)據(jù)為x(x1,x2,...,xn)，其中xi∈Rk表示語(yǔ)句中第i個(gè)詞語(yǔ)的詞向量，向量維度為k。卷積層使用卷積核對(duì)輸入數(shù)據(jù)進(jìn)行操作，卷積核權(quán)重矩陣W∈Rh,k，其中h為卷積窗口處理詞語(yǔ)的數(shù)量，卷積操作的計(jì)算方法如式(7)所示，其中f為激活函數(shù)，xi:i+h-1表示從第i到第i+h-1個(gè)詞語(yǔ)，b表示偏執(zhí)量。經(jīng)過(guò)單個(gè)卷積核操作后得到特征向量c(c1,c2,...,cn-h+1)，c的維度為n-h+1。

ci=f(w·xi:i+h-1+b)。

(7)

c′=max(c)。

(8)

全連接層將特征向量映射到向量z(zj)上，并輸入分類器進(jìn)行分類。使用邏輯回歸方法進(jìn)行分類，根據(jù)softmax公式得到各個(gè)類別的概率分布p(yi|z;θ)，如式(9)和(10)所示，其中θ為變量參數(shù)，bj為偏置參數(shù)，yi為分類類別。輸出層輸出概率最大的分類類別作為預(yù)測(cè)值。

sθ(yi)=∑zj∈z(zj·θij+bj)，

(9)

p(yi|z;θ)=esθ(yi)/∑yi∈yesθ(yi)。

(10)

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The structure of convolutional neural network

3.2 情感傾向性分類模型

在基于多特征融合的卷積神經(jīng)網(wǎng)絡(luò)模型MI-CNN中分別采用特征層融合和分類層融合兩種融合方法，形成特征層融合模型MI-CNN-F和分類層融合模型MI-CNN-C。特征層融合模型MI-CNN-F先融合特征再使用卷積神經(jīng)網(wǎng)絡(luò)處理，結(jié)構(gòu)如圖4所示。首先對(duì)多種特征向量進(jìn)行組合，輸入詞語(yǔ)向量WV、詞性向量PoSV和情感詞向量SWV，拼接后得到綜合特征向量，然后進(jìn)行卷積層和池化層操作，最后使用全連接層和分類器進(jìn)行情感分類。MI-CNN-F模型結(jié)構(gòu)包括6個(gè)部分。

圖4 特征層融合模型MI-CNN-F網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The network structure of features fusion model MI-CNN-F

1)輸入層，接收詞語(yǔ)特征向量、詞性特征向量和情感詞特征向量，輸入到卷積神經(jīng)網(wǎng)絡(luò)模型。

2)拼接層，將多種特征向量進(jìn)行拼接組合，形成整體特征向量。

3)卷積層，對(duì)特征數(shù)據(jù)使用多個(gè)卷積核進(jìn)行卷積操作，卷積核的寬度為特征向量維度，高度分別設(shè)置為1、2、3，每個(gè)卷積核提取出一組特征向量。

4)池化層，對(duì)每個(gè)卷積核得到的特征向量進(jìn)行最大池化操作，通過(guò)池化操作獲取每組特征向量的重要信息。

5)全連接層，使用全連接層連接全局特征向量和情感類別，通過(guò)權(quán)重矩陣學(xué)習(xí)特征向量和情感類別之間的非線性關(guān)系。

6)輸出層，使用softmax函數(shù)輸出概率最大的情感類別。

在模型中使用線性整流函數(shù)ReLU作為卷積層中的激活函數(shù)，卷積操作的計(jì)算如式(11)所示，其中h為卷積窗口的長(zhǎng)度。

ci=ReLU(w·xi:i+h-1+b)。

(11)

(12)

在經(jīng)過(guò)全連接層處理后，得到長(zhǎng)度為類別數(shù)量的向量，根據(jù)softmax函數(shù)計(jì)算的概率分布得到最后的分類結(jié)果。使用隨機(jī)梯度下降法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，在訓(xùn)練模型過(guò)程中使用交叉熵作為模型的損失函數(shù)。

分類層融合模型MI-CNN-C將在卷積神經(jīng)網(wǎng)絡(luò)處理之后，再將多種特征的處理結(jié)果進(jìn)行拼接融合。模型結(jié)構(gòu)如圖5所示。首先將特征向量輸入到卷積層和池化層進(jìn)行處理，然后通過(guò)拼接層融合多種特征的處理結(jié)果，最后使用全連接層和分類器進(jìn)行情感分類。MI-CNN-C模型同樣包含6個(gè)部分，每個(gè)部分的計(jì)算方法和特征層融合模型類似。

圖5分類層融合模型MI-CNN-C網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The structure of classification level fusion model MI-CNN-C

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

實(shí)驗(yàn)中采用中國(guó)科學(xué)院譚松波整理的酒店評(píng)論語(yǔ)料數(shù)據(jù)集，簡(jiǎn)稱Hoteldata。數(shù)據(jù)集包含重復(fù)數(shù)據(jù)，經(jīng)過(guò)去重處理，得到的酒店評(píng)論數(shù)據(jù)集包含2 296 篇正面評(píng)論和2 435 篇負(fù)面評(píng)論，總共4 731 篇評(píng)論。

4.2 實(shí)驗(yàn)指標(biāo)

評(píng)價(jià)指標(biāo)采用準(zhǔn)確率Precision、召回率Recall和F-score，其計(jì)算如式(13)、(14)、(15)所示。其中TP是分類結(jié)果中正確的數(shù)量，F(xiàn)P是分類結(jié)果中錯(cuò)誤的數(shù)量，F(xiàn)N是該類樣本數(shù)據(jù)集中未被正確分類的數(shù)量。F-score是綜合考慮準(zhǔn)確率和召回率的調(diào)和值，反映了模型的整體效果。

(13)

(14)

(15)

4.3 特征組合比較

MI-CNN模型在文本特征的基礎(chǔ)上，增加了詞性和情感詞語(yǔ)等語(yǔ)言知識(shí)作為輸入數(shù)據(jù)，增強(qiáng)了文本語(yǔ)義信息和情感信息，該實(shí)驗(yàn)通過(guò)調(diào)整輸入特征數(shù)量和組合來(lái)檢驗(yàn)?zāi)Ｐ偷那楦蟹诸愋Ч?。使用詞語(yǔ)向量WV、詞性向量PoSV和情感詞向量SWV等3種特征進(jìn)行組合得到WV、PoSV、SWV、WV+PoSV、WV+SWV和WV+PoSV+SWV等6種特征組合形式。

特征層融合模型MI-CNN-F的特征融合實(shí)驗(yàn)結(jié)果見(jiàn)表1。從表1可以看出，詞語(yǔ)特征、詞性特征和情感詞特征的組合方式WV+PoSV+SWV取得了最好的情感分類結(jié)果，該組合的正面類別F值達(dá)到89.9%，負(fù)面類別F值達(dá)到90.7%，宏平均F值達(dá)到90.3%，高于其他特征組合方式，說(shuō)明多種特征組合能夠提高分類效果。使用單個(gè)特征作為輸入的情況下，情感詞向量SWV的F值為89.4%，高于詞語(yǔ)向量和詞性向量，說(shuō)明情感特征在情感分類任務(wù)中發(fā)揮重要作用。

表1 MI-CNN-F模型特征組合實(shí)驗(yàn)結(jié)果Tab.1 The experiment result of MI-CNN-F with different features combination 單位：%

分類層融合模型MI-CNN-C的特征融合實(shí)驗(yàn)結(jié)果見(jiàn)表2。從表2可以看出，詞語(yǔ)特征、詞性特征和情感詞特征的組合方式WV+PoSV+SWV取得了最好的情感分類結(jié)果，明顯高于其他單個(gè)特征或兩個(gè)特征的組合方式。3種特征組合的正面類別F值達(dá)到92.8%，負(fù)面類別F值達(dá)到93.2%，宏平均F值達(dá)到93.0%，高于其他特征組合方式，說(shuō)明在分類層融合模型中組合多種特征能夠提高分類效果。

實(shí)驗(yàn)驗(yàn)證了在文本特征的基礎(chǔ)上，加入詞性特征和情感詞特征等外部語(yǔ)言知識(shí)，能夠有效地提高卷積神經(jīng)網(wǎng)絡(luò)情感分類模型的準(zhǔn)確率。

表2 MI-CNN-C模型特征組合實(shí)驗(yàn)結(jié)果Tab.2 The experiment result of MI-CNN-C with different features combination 單位：%

4.4 融合方法比較

在MI-CNN模型中使用了特征層融合和分類層融合兩種融合方法。通過(guò)對(duì)比表1和表2 MI-CNN-F和MI-CNN-C兩個(gè)模型的實(shí)驗(yàn)結(jié)果，研究合適的特征融合方式。在WV+PoSV+SWV特征組合數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，MI-CNN-C的宏平均F值比MI-CNN-F模型提高了2.7%。說(shuō)明采用分類層特征融合方式的效果更好。

4.5 模型比較

為了驗(yàn)證所提出的MI-CNN 模型的有效性，和相關(guān)文獻(xiàn)中的多種模型進(jìn)行比較。從情感分析相關(guān)文獻(xiàn)中選擇使用譚松波酒店評(píng)論數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)的研究作為基準(zhǔn)模型，包括LSA-SVM[16]、情感詞典模型[17]、HGSD[18]、W2V-Att-CNN[19]等4種。將本文模型MI-CNN-C的最優(yōu)結(jié)果作為文本特征和語(yǔ)言知識(shí)融合的結(jié)果。各種模型的準(zhǔn)確率、召回率和F值的結(jié)果見(jiàn)表3。從表3可以看出，本文模型的F值均高于其他基準(zhǔn)模型，驗(yàn)證了文本特征和語(yǔ)言知識(shí)融合的卷積神經(jīng)網(wǎng)絡(luò)模型的有效性。

表3 模型對(duì)比試驗(yàn)結(jié)果表 Tab.3 The result of comparative experiment 單位:/%

5 結(jié)束語(yǔ)

本文提出了融合多種特征的卷積神經(jīng)網(wǎng)絡(luò)模型MI-CNN，將文本特征和語(yǔ)言知識(shí)融入情感分類模型中。在酒店評(píng)論數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了本文模型的有效性。該模型探索了在神經(jīng)網(wǎng)絡(luò)模型中融入外部語(yǔ)言知識(shí)的方法，為多特征融合提供了有效形式，并在情感傾向性分析任務(wù)上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。在以后的研究中，將繼續(xù)研究文本情感特征表示方法和注意力機(jī)制在該模型結(jié)構(gòu)上的應(yīng)用，進(jìn)一步提高情感傾向性分類模型的準(zhǔn)確性。