基于多粒度用戶偏好的文檔級(jí)情感分析

陳 潔,王思雨,趙 姝,張燕平,余靜瑩

(1. 計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230601;2. 安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 合肥 230601;3. 信息材料與智能感知安徽省實(shí)驗(yàn)室,安徽 合肥 230601)

0 引言

近些年,Yelp、IMDB等評(píng)論網(wǎng)站的迅速發(fā)展,使得情感分析逐漸成為研究人員和各工業(yè)的關(guān)注熱點(diǎn)。文檔級(jí)評(píng)論的情感分類是情感分析和觀點(diǎn)挖掘領(lǐng)域的一項(xiàng)子任務(wù)[1],其目的是了解用戶的態(tài)度,推斷出用戶為產(chǎn)品撰寫的評(píng)論文本的整體情感極性。這個(gè)任務(wù)逐步發(fā)展成為自然語言處理中最為活躍的研究方向之一,并在許多現(xiàn)實(shí)應(yīng)用中扮演著重要的角色,如錯(cuò)誤檢測(cè)[2]、推薦系統(tǒng)[3]、社交媒體分析[4-5]等。

通常來講,文檔級(jí)情感分析可以看作是傳統(tǒng)的文本分類的一項(xiàng)特例,可以使用機(jī)器學(xué)習(xí)算法來提取文本特征用于訓(xùn)練情感分類器,研究者們開始致力于從文本評(píng)論中提取出有效的特征[6-7]或額外的帶有情感的詞匯[8]來改善分類性能?；谏疃葘W(xué)習(xí)在計(jì)算機(jī)視覺[9]、語音識(shí)別[10]及自然語言處理[11]等領(lǐng)域取得的卓越成果,越來越多的基于神經(jīng)網(wǎng)絡(luò)的情感模型[12-15]也被提出來用于情感分類。這些模型往往將用戶發(fā)表的評(píng)論作為輸入,利用神經(jīng)網(wǎng)絡(luò)生成連續(xù)的語義表示,并根據(jù)其語義表示對(duì)評(píng)論進(jìn)行最終的分類。

現(xiàn)有模型在情感分類中已取得了良好性能,但大都只側(cè)重于評(píng)論文本的內(nèi)容本身,忽略了發(fā)表這些評(píng)論的用戶信息。事實(shí)上,用戶是決定這些評(píng)論情感類別的重要因素。不同的用戶往往用不同的用詞習(xí)慣來表達(dá)自己的態(tài)度和觀點(diǎn)。例如,較為寬容的用戶往往用“好”這個(gè)單詞來表達(dá)對(duì)產(chǎn)品的一個(gè)積極態(tài)度,而其他更為挑剔的用戶來說則可能使用“好”這個(gè)詞來表達(dá)一種諷刺的消極情感;同一個(gè)用戶在撰寫產(chǎn)品評(píng)論文檔時(shí),對(duì)不同的句子也會(huì)賦予不同的情感強(qiáng)度;最后,不同的用戶往往也會(huì)有不同的評(píng)分習(xí)慣,更寬容的用戶往往會(huì)以較高的評(píng)分發(fā)表評(píng)論,而挑剔的用戶總是發(fā)表低評(píng)分的評(píng)論,例如,用戶A對(duì)看過的電影發(fā)表了評(píng)論,均給出較高(低)的評(píng)分,那么對(duì)于即將要發(fā)表的關(guān)于電影的評(píng)論,也往往傾向于給出較高(低)的評(píng)分。

為了將用戶的多粒度偏好有效地整合到情感分類中,以便于更好地處理文檔級(jí)情感分析,本文提出了一種融合多粒度用戶偏好的情感分析模型。首先,在單詞粒度上,將用戶信息融合到注意機(jī)制中來獲取基于用戶單詞偏好的每個(gè)句子的句子表示;然后,在句子粒度上,基于自注意力獲取基于用戶句子偏好的整體的文檔表示;最后,在文檔粒度上,將得到的文檔表示與用戶信息直接進(jìn)行融合來獲取基于用戶文檔偏好的文本特征表示。

本文的主要貢獻(xiàn)如下:

(1) 提出了一種融合多粒度用戶偏好的情感分析模型(MGUP),在不同的粒度上將用戶偏好完全整合到文檔級(jí)情感分類中,即考慮了詞級(jí)用戶偏好、句子級(jí)用戶偏好和文檔級(jí)用戶偏好;

(2) 對(duì)于詞級(jí)用戶偏好,將用戶信息以額外偏差的形式加入到注意層計(jì)算注意權(quán)重,獲取特定于用戶偏好的單詞;對(duì)于句子級(jí)用戶偏好,同樣將用戶信息以偏差的形式融入句子表示中,結(jié)合自注意力機(jī)制賦予每個(gè)句子不同的權(quán)重;而對(duì)于文檔級(jí)用戶偏好,直接將用戶信息與文檔表示進(jìn)行連接獲取最終的文本特征表示;

(3) 在IMDB、Yelp13、Yelp14三個(gè)文檔級(jí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)以驗(yàn)證MGUP的有效性,實(shí)驗(yàn)結(jié)果表明,MGUP模型優(yōu)于基準(zhǔn)方法。

1 相關(guān)工作

近年來,隨著深度學(xué)習(xí)在各領(lǐng)域不斷取得巨大進(jìn)展,利用深度神經(jīng)網(wǎng)絡(luò)的方法來處理情感分類問題也已經(jīng)逐漸成為這一領(lǐng)域的研究熱點(diǎn)。它們可以自動(dòng)提取特征來學(xué)習(xí)文本的表示,在很大程度上推進(jìn)了文本情感分類的發(fā)展。

Yang等人[16]通過結(jié)合文檔的結(jié)構(gòu)特征(文檔可以劃分為句子,句子可以劃分為單詞),將神經(jīng)網(wǎng)絡(luò)模型與注意機(jī)制相結(jié)合,提出了一種分層的注意網(wǎng)絡(luò)(HAN),該網(wǎng)絡(luò)利用注意機(jī)制來提取文檔中重要的句子和句子中重要的單詞。Socher等人[17]引入遞歸神經(jīng)張量網(wǎng)絡(luò),利用樹結(jié)構(gòu)以更準(zhǔn)確地捕獲否定以及不同樹層次上積極和消極短語的影響。Rao等人[18]提出了具有兩個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)模型(SR-LSTM)以解決在對(duì)長(zhǎng)文本建模時(shí)無法從相對(duì)較長(zhǎng)的時(shí)間步中捕獲足夠多的情感信息的問題。Kong等人[19]通過分層融合多種特征(字符、單詞、詞性標(biāo)簽、表情符號(hào))來學(xué)習(xí)文本的表示以增強(qiáng)情感分類的性能。Liu等人[20]利用動(dòng)態(tài)詞嵌入方法(ELMo)考慮多義詞的表示,充分挖掘文檔的深層語義信息。Rhanoui等人[21]將CNN與BiLSTM組合,并嵌入Doc2Vec以應(yīng)用于長(zhǎng)文本的意見分析。Liu等人[22]提出了新的情感分析模型AttDR-2DCNN來解決長(zhǎng)文本難以建模以及句子和特征之間復(fù)雜的依賴關(guān)系等問題。然而,這些方法大都只側(cè)重于評(píng)論文本的內(nèi)容本身,實(shí)際上,用戶也是影響文檔本身情感極性的重要因素。

最近,一些模型開始將用戶屬性納入情感分類中以改善性能,并都取得了不錯(cuò)的效果。Gao等人[23]通過參考測(cè)試期間計(jì)算的用戶的寬容度和產(chǎn)品的流行度來預(yù)測(cè)文本的情感極性。Tang等人[24]以矩陣和向量的形式來表示用戶,并利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)評(píng)論進(jìn)行最終的評(píng)級(jí)預(yù)測(cè)。Dou等人[25]提出了一種用于文檔分類的深度記憶網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶的方法來解決用戶信息有限而難以訓(xùn)練的問題。Li等人[26]將用戶與評(píng)論及其整體評(píng)級(jí)相結(jié)合,并采用多任務(wù)框架對(duì)不同的方面區(qū)別對(duì)待,以預(yù)測(cè)評(píng)論中不同方面的情感極性。Chen等人[27]通過計(jì)算同一用戶發(fā)表的目標(biāo)評(píng)論與歷史評(píng)論之間的相似性來預(yù)測(cè)目標(biāo)評(píng)論的情感類別。Chen等人[28]認(rèn)為評(píng)論的時(shí)間關(guān)系對(duì)于學(xué)習(xí)用戶和產(chǎn)品的嵌入有潛在作用,采用序列模型將時(shí)間關(guān)系嵌入到用戶和產(chǎn)品的表示中。Wu等人[29]使用層次神經(jīng)網(wǎng)絡(luò)在單詞和句子級(jí)別上分別結(jié)合用戶注意機(jī)制來生成句子和文檔表示以進(jìn)行最終的情感預(yù)測(cè)。然而,這些模型都只是部分地考慮了用戶的偏好信息,并未考慮用戶偏好的多粒度特性。為了充分將用戶信息融合到文本評(píng)論中,本文從文檔多粒度的結(jié)構(gòu)出發(fā),同時(shí)在單詞、句子以及文檔層次上考慮用戶的多種偏好以生成最終的文本特征表示,并基于該表示對(duì)評(píng)論進(jìn)行分類。

2 模型描述

本文提出的MGUP模型如圖1所示,該模型由三部分組成: 單詞級(jí)用戶偏好,對(duì)單詞表示進(jìn)行編碼,然后引入用戶注意機(jī)制以獲取句子表示;句子級(jí)用戶偏好,將用戶信息結(jié)合到自注意力機(jī)制中以獲取文檔表示;文檔級(jí)用戶偏好,將文檔表示與用戶信息直接融合來獲取最終的文本特征表示,并利用該表示進(jìn)行分類。

圖1 MGUP模型結(jié)構(gòu)

2.1 單詞級(jí)用戶偏好

在單詞級(jí)用戶偏好這一部分,首先選用BiLSTM對(duì)單詞進(jìn)行編碼得到單詞表示,然后利用注意機(jī)制引入用戶信息,賦予特定于用戶偏好的單詞以更大的權(quán)重。

2.1.1 BiLSTM

假設(shè)一篇文本評(píng)論中包含m個(gè)句子s(i),i∈[1,m],每個(gè)句子中有l(wèi)i個(gè)單詞,w(it)表示第i個(gè)句子中第t個(gè)單詞,t∈[1,li]。首先,將給定句子中的每個(gè)單詞都賦予向量的形式表示w(it),w(it)∈Rew,ew是單詞嵌入的維度。然后,使用BiLSTM對(duì)w(it)的上下文信息進(jìn)行編碼,得到隱藏表示,如式(1)～式(3)所示。

2.1.2 用戶注意層

對(duì)于用戶來說,并非所有的單詞都能平等地表達(dá)出用戶的真實(shí)情感或態(tài)度。為了對(duì)單詞級(jí)用戶偏好進(jìn)行建模,在單詞粒度上,利用注意機(jī)制引入用戶信息來區(qū)別對(duì)待句子中的每個(gè)單詞,以提取出特定于每個(gè)用戶偏好的單詞,進(jìn)而賦予不同情感極性的單詞以不同的權(quán)重,最后聚合成一個(gè)句子表示,如式(4)所示。

其中,hit是第i個(gè)句子中第t個(gè)單詞的隱藏狀態(tài),αit是用來衡量對(duì)于當(dāng)前用戶來說,第i個(gè)句子中第t個(gè)單詞的重要性。本文將每個(gè)用戶以連續(xù)的實(shí)值向量u∈Reu來表示,其中eu定義了用戶嵌入的維度。使用下面的公式計(jì)算αit:

2.2 句子級(jí)用戶偏好

對(duì)于每個(gè)用戶來說,也并非所有的句子都對(duì)構(gòu)成的文檔的整體情感有同樣的貢獻(xiàn),不同的用戶會(huì)賦予每個(gè)句子不同的情感強(qiáng)度。如轉(zhuǎn)折性或過渡性句子,往往對(duì)文檔的情感影響更大?？紤]到自注意力機(jī)制具有可以捕捉長(zhǎng)距離依賴的優(yōu)勢(shì),在句子粒度上,本文將融合了用戶信息的句子表示結(jié)合到自注意力機(jī)制中以區(qū)別對(duì)待文檔中的每個(gè)句子。

2.2.1 位置編碼層

因?yàn)樵谧宰⒁饬C(jī)制中輸入的信息是同時(shí)進(jìn)入并被處理的,沒有考慮輸入信息的順序關(guān)系,所以在將多個(gè)句子表示輸入到自注意力機(jī)制中之前,需要注入句子的位置信息。本文通過位置編碼層將位置信息注入對(duì)應(yīng)的每個(gè)句子表示中。在這里,句子表示和位置嵌入具有相同的維度,以實(shí)現(xiàn)兩者之間的相加,得到新的句子表示s(i),其中位置編碼如式(7)、式(8)所示[30]。

(7)

(8)

其中,po是每個(gè)句子對(duì)應(yīng)的位置表示,1≤i≤d,i是嵌入的維數(shù)。

為了更好地對(duì)句子級(jí)用戶偏好建模,在將句子表示輸入到自注意力機(jī)制前對(duì)其做了一次線性變換,將用戶信息以偏差的形式注入句子表示中,如式(9)所示。

其中,Wws、Wwu、bw是在訓(xùn)練過程中可學(xué)習(xí)的參數(shù)。

2.2.2 自注意力機(jī)制

(10)

其中,S=(s1,s2,...,sm)是長(zhǎng)度為m的句子序列,d為嵌入的維度。

利用自注意力機(jī)制來處理融入了用戶信息的句子表示,考慮在句子粒度上的用戶偏好。

Add &Norm層使用了剩余連接,接著是層均一化。它的處理過程是將每層的輸入信息和輸出結(jié)果相加,然后再經(jīng)過LayerNorm模塊進(jìn)行歸一化處理。

此外,本文還在頂部應(yīng)用了全局平均池化層,以便最終能輸出固定大小的文檔表示向量r。

2.2.3 Feed Forward layer

在得到文檔表示之后,本文還添加了一個(gè)前饋網(wǎng)絡(luò),以便于挖掘更深層次的特征,同時(shí)更新文檔表示r。該網(wǎng)絡(luò)由帶有激活函數(shù)ReLU的隱藏層組成,如式(11)所示。

r=FFN(r)=Max(0,rW1+b1)W2+b2

(11)

2.3 文檔級(jí)用戶偏好

從句子級(jí)用戶偏好部分,就獲得了文檔表示r。為了考慮文檔級(jí)用戶偏好,本文通過將用戶信息和文檔表示直接進(jìn)行融合來獲得最終的特征表示x,如式(12)所示。

x是文檔和用戶信息的高級(jí)表示,將其作為最終分類的特征,并使用一個(gè)線性層和Softmax層將x投影到C類情感分布中,如式(13)所示。

將評(píng)論的真實(shí)情感分布和p之間的交叉熵誤差定義為本文模型的損失函數(shù),如式(14)所示。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 數(shù)據(jù)集

在實(shí)驗(yàn)部分,本文使用了3個(gè)真實(shí)數(shù)據(jù)集來驗(yàn)證MGUP模型的有效性。包括電影評(píng)論數(shù)據(jù)集IMDB、餐館評(píng)論數(shù)據(jù)集Yelp13、Yelp14[24],數(shù)據(jù)集的具體信息如表1所示。

表1 數(shù)據(jù)集詳細(xì)信息

3.2 評(píng)價(jià)指標(biāo)

本文以精度(Accuracy)、均方根誤差(RMSE)作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)。定義如式(15)、式(16)所示。

其中,T是正確預(yù)測(cè)評(píng)論情感類別的數(shù)量,N是評(píng)論文檔的總數(shù)量,gdi、pdi分別表示真實(shí)的情感類別與預(yù)測(cè)的情感類別。

3.3 對(duì)比算法

將模型MGUP與以下兩類文檔級(jí)情感分類模型進(jìn)行對(duì)比:

(1)不考慮用戶信息的方法: AvgWordvec[29]對(duì)文檔中的單詞嵌入進(jìn)行平均,并將得到的文檔表示作為SVM分類器的特征輸入;Majority[29]將訓(xùn)練數(shù)據(jù)中的多數(shù)情感類別分配給測(cè)試數(shù)據(jù)中的每個(gè)評(píng)論樣本;TextFeature[31]提取復(fù)雜的特征(字符、單詞、情感詞典特征等),用于訓(xùn)練SVM分類器;RNTN+Recurrent[17]引入RNTN以獲取句子的表示,然后將其輸入到RNN中,并對(duì)其隱藏向量求平均以生成文檔表示用于最終的分類;NSC[29]利用分層的LSTM網(wǎng)絡(luò)對(duì)文本進(jìn)行分類。

(2)考慮用戶信息的方法: UPF[23]從訓(xùn)練數(shù)據(jù)樣本中提取用戶和產(chǎn)品的特征,并進(jìn)一步將其與TextFeature中的特征連接起來;UPNN[24]在單詞粒度上引入用戶和產(chǎn)品信息,并將通過CNN獲得的文檔表示直接與產(chǎn)品和用戶的嵌入向量連接,最終通過softmax層來進(jìn)行分類;HUSN[27]利用與同一用戶歷史評(píng)論文檔之間的相似度對(duì)目標(biāo)評(píng)論文檔進(jìn)行預(yù)測(cè);LUPDR[28]利用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN將時(shí)間關(guān)系嵌入到用戶和產(chǎn)品的表示中,以提高文檔級(jí)情感分析的性能。

3.4 參數(shù)設(shè)置

在實(shí)驗(yàn)部分按照8∶1∶1來劃分三個(gè)真實(shí)數(shù)據(jù)集為訓(xùn)練集、驗(yàn)證集及測(cè)試集。使用來自Wu等人[29]使用的詞嵌入,詞嵌入通過SkipGram預(yù)訓(xùn)練得到,維數(shù)為200,LSTM中的隱藏狀態(tài)的維數(shù)也被設(shè)置為100,因此BiLSTM將輸出維度為200的單詞表示。同樣將用戶也嵌入為200維的向量,并從均勻分布(-0.01,0.01)中隨機(jī)初始化訓(xùn)練過程中的所有矩陣。設(shè)置評(píng)論文本中的最大句子數(shù)為40,每句話的最大單詞數(shù)為50,初始學(xué)習(xí)率為0.001,并使用Adam來更新參數(shù)。

3.5 實(shí)驗(yàn)結(jié)果分析

3.5.1 參數(shù)分析

3.5.1.1 最大句子長(zhǎng)度和最大文檔長(zhǎng)度分析

為了研究文檔和句子的長(zhǎng)度對(duì)分類結(jié)果的影響,在輸入文檔和句子長(zhǎng)度的不同設(shè)置下比較了它們的分類性能。圖2、圖3分別顯示了在IMDB、Yelp13數(shù)據(jù)集上,在文檔和句子長(zhǎng)度變化期間,各評(píng)價(jià)指標(biāo)的變化。

圖2 IMDB數(shù)據(jù)集上評(píng)價(jià)指標(biāo)隨文檔和句子最大長(zhǎng)度變化圖

圖3 Yelp13數(shù)據(jù)集上評(píng)價(jià)指標(biāo)隨文檔和句子最大長(zhǎng)度變化圖

由圖2、圖3可知,隨著文檔長(zhǎng)度和句子長(zhǎng)度的增加,分類結(jié)果越來越好。在句子長(zhǎng)度確定的條件下,當(dāng)最大文檔長(zhǎng)度為40時(shí),Accuracy和RMSE均取得最佳結(jié)果;在文檔長(zhǎng)度確定的條件下,當(dāng)最大句子長(zhǎng)度為50時(shí),Accuracy和RMSE取得最佳值。當(dāng)最大句子長(zhǎng)度為50～60時(shí),性能反而下降,這是因?yàn)楫?dāng)最大句子長(zhǎng)度過大時(shí),超過最大句子長(zhǎng)度的句子數(shù)會(huì)越來越少,性能也會(huì)有所下降;當(dāng)最大文檔長(zhǎng)度為40～60時(shí), 分類性能也會(huì)下降, 此時(shí)超過最大文檔長(zhǎng)度的文檔數(shù)越來越少,對(duì)最終分類的性能也會(huì)有影響。

3.5.1.2 單詞嵌入維度分析

模型的最初輸入是經(jīng)過處理的單詞嵌入向量,在本節(jié)中討論了不同Embedding維度對(duì)模型性能的影響。圖4顯示了在不同維度上,在IMDB、Yelp13數(shù)據(jù)集上精度的變化。

圖4 不同維度詞嵌入的分類準(zhǔn)確率

從圖4可以看出,隨著單詞嵌入維度的增加,模型的分類性能越來越好,在200維時(shí),模型的精度取得最佳結(jié)果,這意味著詞向量的維度越高,向量中所包含的信息越多,更有利于模型取得更好的分類結(jié)果。

3.5.1.3 單詞嵌入方式的分析

好的單詞嵌入在最終的文本表示獲取中有著非常重要的作用,更有利于模型最終的分類。圖5顯示了在IMDB、Yelp13數(shù)據(jù)集上Glove與Skip-gram兩種單詞嵌入方式對(duì)模型性能的影響。其中使用Glove嵌入方式訓(xùn)練得到的單詞向量是從Twitter中學(xué)習(xí)到的。

圖5 單詞嵌入的影響

從圖5中可以觀察到,在詞向量維度為50維、100維、200維時(shí),Skip-gram嵌入方式在IMDB、Yelp13數(shù)據(jù)集上的精度始終要優(yōu)于Glove嵌入方式,這說明在特定數(shù)據(jù)集上,利用基于上下文信息的Skip-gram方式訓(xùn)練得到的單詞向量更適用于MGUP模型。

3.5.2 對(duì)比結(jié)果

在三個(gè)真實(shí)數(shù)據(jù)集上與基線模型進(jìn)行對(duì)比,結(jié)果如表2所示。

表2 數(shù)據(jù)集上各模型對(duì)比結(jié)果Accuracy

表2是兩種文檔級(jí)分類方法在三個(gè)數(shù)據(jù)集上的分類結(jié)果。第一部分是不考慮用戶信息的基線模型,第二部分是考慮了用戶信息的分類模型。

從表2第一部分結(jié)果可以看出,在不考慮用戶信息的情況下,Majority性能表示最差,因?yàn)槠錄]有利用任何文本信息或其他額外信息。與以SVM為分類器的AvgWordvec、TextFeature方法相比,分層的網(wǎng)絡(luò)模型普遍能取得更好的性能,這說明了分層結(jié)構(gòu)更有利于對(duì)文檔級(jí)評(píng)論進(jìn)行分類。

表2中第二部分列出了只使用用戶信息或同時(shí)考慮用戶和產(chǎn)品屬性的方法的結(jié)果。由表2第一部分和第二部分結(jié)果對(duì)比可以觀察到,考慮了用戶信息的模型,其性能要普遍高于未利用用戶信息的模型。與第一部分相對(duì)應(yīng)的基線方法相比,在加入了用戶信息之后,模型的性能能夠得到或多或少的改進(jìn)。例如,UPNN(CNN)在同時(shí)利用用戶和產(chǎn)品信息的時(shí)候,在IMDB數(shù)據(jù)集上實(shí)現(xiàn)了3%的精度提升,在Yelp13、Yelp14數(shù)據(jù)集上分別實(shí)現(xiàn)了1.9%、2.3%的精度改進(jìn)。這一性能的提升表明在對(duì)文檔級(jí)評(píng)論進(jìn)行情感分類時(shí)有必要考慮額外的附加信息。

實(shí)驗(yàn)表明,本文提出的MGUP模型在三個(gè)數(shù)據(jù)集上都取得了最好的性能。盡管LUPDR、UPNN(NSC)等模型同時(shí)考慮了用戶和產(chǎn)品信息,但MGUP仍要優(yōu)于這些模型,這表明本文提出的模型能以更有效的方式更充分地考慮用戶的信息以進(jìn)行文檔級(jí)評(píng)論的分類。

3.5.3 消融實(shí)驗(yàn)

為了研究在不同粒度上用戶偏好的影響,本文還做了消融實(shí)驗(yàn),結(jié)果如表3所示。

表3 不同粒度上用戶偏好的影響

從實(shí)驗(yàn)結(jié)果中可以觀察到:

(1) 當(dāng)在MGUP模型中不加入任何粒度上的用戶偏好時(shí),MGUP性能表現(xiàn)最差,進(jìn)一步說明了用戶信息對(duì)于提高文檔級(jí)情感分類的重要性;同時(shí),即使這樣,它也比表2中其他不考慮用戶信息的基線模型性能要好。

(2) 當(dāng)只在單個(gè)粒度上考慮用戶的偏好時(shí),與不考慮用戶偏好相比,MGUP至少可以得到4.22%、1.46%、1.71%的精度提升;當(dāng)同時(shí)考慮兩個(gè)粒度上的用戶偏好時(shí),此時(shí)MGUP可以獲得更好的性能,總體上其結(jié)果要優(yōu)于不考慮或只考慮單個(gè)粒度上的用戶偏好。

(3) 當(dāng)同時(shí)在單詞、句子、文檔粒度上考慮用戶的多粒度偏好時(shí),MGUP能夠獲得最好的結(jié)果。對(duì)于Yelp14數(shù)據(jù)集來說,MGUP的結(jié)果也部分優(yōu)于不考慮用戶偏好或在單個(gè)、兩個(gè)粒度上考慮用戶偏好的結(jié)果。

4 結(jié)束語

本文提出了一種融合多粒度用戶偏好的文檔級(jí)情感分類方法。首先,根據(jù)文檔的多粒度結(jié)構(gòu),在單詞粒度上,MGUP利用基本注意機(jī)制融入用戶信息來考慮用戶的單詞偏好,獲取句子表示;然后,在句子粒度上,將自注意力機(jī)制應(yīng)用于多個(gè)融合了用戶信息的句子表示來獲取文檔表示;最后,在文檔粒度上,直接融合用戶和文檔信息來生成最終的文本特征表示。實(shí)驗(yàn)結(jié)果表明,與多個(gè)大型真實(shí)的網(wǎng)絡(luò)模型相比,MGUP取得了較好的結(jié)果。在之后的工作里,可以根據(jù)文檔結(jié)構(gòu)的多粒度特點(diǎn),去探索更有效的、更好的文檔級(jí)情感分類方法。