標(biāo)簽指導(dǎo)的雙注意力深度神經(jīng)網(wǎng)絡(luò)模型

彭展望 朱小飛 郭嘉豐

隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)上購(gòu)物變得越來越普遍.用戶在電商平臺(tái)購(gòu)物的過程中會(huì)留下相關(guān)評(píng)論，這對(duì)于商家提高服務(wù)水平和產(chǎn)品質(zhì)量具有重要價(jià)值.目前，情感分類已成為研究者們重點(diǎn)關(guān)注的研究方向.情感分類的目的是給評(píng)論文本分配一個(gè)情感標(biāo)簽，情感標(biāo)簽反映評(píng)論文本的情感傾向.評(píng)論情感分類任務(wù)可分為文檔級(jí)別的情感分類、句子級(jí)別的情感分類和方面級(jí)別的情感分類[1-2].本文關(guān)注文檔級(jí)別的情感分類，即為輸入文檔分配一個(gè)整體的情感傾向.通常將文檔級(jí)別的情感分類視為一種文檔分類任務(wù)[3-4].

傳統(tǒng)的情感分類方法基于人工提取有效特征，這些特征可用于有監(jiān)督的學(xué)習(xí)方法[5-6]或半監(jiān)督的方法[7].Gao等[5]建模用戶寬容度和產(chǎn)品流行度，提高情感分類性能.Goldberg等[7]提出基于圖的半監(jiān)督算法，在標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)上創(chuàng)建一個(gè)圖，為這項(xiàng)任務(wù)編碼，提高未標(biāo)記樣本的預(yù)測(cè)準(zhǔn)確率.但是，上述方法依賴于人工提取有效特征，在面對(duì)海量數(shù)據(jù)時(shí)，將會(huì)耗費(fèi)大量的時(shí)間與精力.

基于深度學(xué)習(xí)的方法主要采用詞嵌入表示技術(shù)表示文本詞語(yǔ)，利用深層神經(jīng)網(wǎng)絡(luò)從低層的文本表示中學(xué)習(xí)抽象文本語(yǔ)義特征,如將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)[8]和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)[9]應(yīng)用于學(xué)習(xí)文檔表示.相比傳統(tǒng)方法，基于深度學(xué)習(xí)的方法不需要人工提取特征即可取得顯著的分類效果.Tang等[10]提出基于神經(jīng)網(wǎng)絡(luò)的層次編碼模型，學(xué)習(xí)有效的評(píng)論表示.層次注意力機(jī)制[11-13]也廣泛應(yīng)用于構(gòu)建評(píng)論的有效特征.

近些年，研究者們引入摘要生成模塊，提升模型分類性能.Ma 等[14]提出HSSC(Hierarchical Summa-rization and Sentiment Classification)，包含一個(gè)摘要層和一個(gè)情感分類層，同時(shí)優(yōu)化摘要生成任務(wù)和情感分類任務(wù)性能，實(shí)現(xiàn)更好的情感分類效果.Chan等[15]進(jìn)一步提出Dual-view，首先使用編碼器學(xué)習(xí)評(píng)論的上下文表示，摘要解碼器應(yīng)用復(fù)制機(jī)制(Copy Mechanism)[16]逐字生成評(píng)論摘要.然后，摘要視圖情感分類器預(yù)測(cè)生成摘要的情感標(biāo)簽，評(píng)論視圖情感分類器預(yù)測(cè)評(píng)論的情感標(biāo)簽.在訓(xùn)練過程中，引入不一致性損失函數(shù),懲罰這兩個(gè)分類器之間的不一致性.不同于文獻(xiàn)[14]，Chan等[15]將評(píng)論內(nèi)容和生成的摘要作為兩個(gè)不同的視圖，分別在其上輸出分類結(jié)果.相比以往方法，文獻(xiàn)[15]方法雖然取得更好的情感分類結(jié)果，但同時(shí)也面臨模型復(fù)雜程度較高、在訓(xùn)練時(shí)需要消耗更多計(jì)算資源的問題.

上述研究方法只是將類別表示作為標(biāo)簽詞匯表中的索引，模型缺乏關(guān)于分類的細(xì)粒度標(biāo)簽指導(dǎo)信息.近年來，研究者們提出利用標(biāo)簽描述帶有的語(yǔ)義信息顯式指導(dǎo)文本分類，相繼提出一些方法.Du等[17]認(rèn)為基于深度學(xué)習(xí)的模型在分類時(shí)主要依賴文本級(jí)表示，忽略細(xì)粒度(詞與類之間的匹配信息)分類線索.為了解決此問題，他們提出EXAM(Explicit Interaction Model)，利用標(biāo)簽文本信息編碼每類，得到可訓(xùn)練的矩陣(每行表示一類)，再采用點(diǎn)積作為交互函數(shù)，計(jì)算目標(biāo)詞和標(biāo)簽之間的匹配分?jǐn)?shù)，提取更豐富的信息，提高分類效果.但是，此方法未考慮不同的標(biāo)簽可能會(huì)有相似的文本，影響分類性能.Xiao 等[18]提出LSAN(Label-Specific Atten-tion Network)，利用標(biāo)簽語(yǔ)義信息確定標(biāo)簽和文檔之間的語(yǔ)義連接，構(gòu)造特定于標(biāo)簽的文檔表示.同時(shí)，采用自注意力機(jī)制從文檔內(nèi)容中學(xué)習(xí)標(biāo)簽特定的文檔表示.為了實(shí)現(xiàn)上述兩部分的無縫融合，設(shè)計(jì)自適應(yīng)融合策略，有效輸出綜合的文檔表示，構(gòu)建多標(biāo)簽文本分類器.上述兩種方法都依賴于數(shù)據(jù)集帶有標(biāo)簽文本信息描述標(biāo)簽，例如使用“積極”描述簡(jiǎn)單的類別標(biāo)簽“1”.雖然標(biāo)簽“1”不具有情感語(yǔ)義信息，但單詞“積極”具有豐富的情感信息，可用于顯式計(jì)算文本單詞和標(biāo)簽之間的語(yǔ)義關(guān)系.然而, 在一些應(yīng)用場(chǎng)景中,無法獲得相應(yīng)的類別標(biāo)簽表述信息,只含有簡(jiǎn)單的類別標(biāo)簽，標(biāo)簽本身不具有情感語(yǔ)義信息,而且數(shù)據(jù)集沒有關(guān)于標(biāo)簽的描述信息,從而無法應(yīng)用相關(guān)方法.

為了解決上述問題，本文提出標(biāo)簽指導(dǎo)的雙注意力深度神經(jīng)網(wǎng)絡(luò)模型(Label-Guided Dual-Atten-tion Deep Neural Network Model, LGDA).首先，提出基于逆標(biāo)簽頻次(Inverse Label Frequency, ILF)的自動(dòng)類別標(biāo)簽描述生成方法，為每個(gè)標(biāo)簽生成特定的標(biāo)簽描述，用于顯式計(jì)算文本單詞與標(biāo)簽之間的語(yǔ)義關(guān)系.在此基礎(chǔ)上，使用文本編碼器學(xué)習(xí)具有上下文語(yǔ)境信息的評(píng)論文本表示，并提出標(biāo)簽指導(dǎo)的雙注意力網(wǎng)絡(luò)，分別學(xué)習(xí)基于自注意力的文本表示和基于標(biāo)簽注意力的文本表示.然后，使用自適應(yīng)門控機(jī)制融合這兩個(gè)文本表示，得到文本最終表示.最后，使用兩層前饋神經(jīng)網(wǎng)絡(luò)作為分類器，進(jìn)行情感分類.在3個(gè)公開的真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，LGDA的分類效果較優(yōu)，減少訓(xùn)練時(shí)長(zhǎng)和計(jì)算代價(jià).

1 標(biāo)簽指導(dǎo)的雙注意力深度神經(jīng)網(wǎng)絡(luò)模型

標(biāo)簽指導(dǎo)的雙注意力深度神經(jīng)網(wǎng)絡(luò)模型(LGDA)框架包含如下5個(gè)部分：標(biāo)簽描述生成、文本編碼器、標(biāo)簽指導(dǎo)的雙注意力網(wǎng)絡(luò)、自適應(yīng)門控機(jī)制、情感分類器.模型框架如圖1所示.

圖1 標(biāo)簽指導(dǎo)的雙注意力深度神經(jīng)網(wǎng)絡(luò)模型框圖

1.1 標(biāo)簽描述生成

本節(jié)探討如何為每個(gè)情感標(biāo)簽生成有效描述，以學(xué)習(xí)標(biāo)簽指導(dǎo)的文本表示.直觀上，一個(gè)有效的標(biāo)簽描述應(yīng)滿足2個(gè)關(guān)鍵要求.1)相關(guān)性.標(biāo)簽描述中的單詞應(yīng)在語(yǔ)義上表示該標(biāo)簽，即每個(gè)單詞應(yīng)與標(biāo)簽有很強(qiáng)的相關(guān)性.2)區(qū)分力.標(biāo)簽描述應(yīng)具有對(duì)不同標(biāo)簽的高區(qū)分能力，即標(biāo)簽描述中的單詞與該標(biāo)簽的相關(guān)性較強(qiáng)，而與其它標(biāo)簽的相關(guān)性較弱.

為了解決相關(guān)性，測(cè)量一個(gè)單詞對(duì)給定標(biāo)簽的相關(guān)性得分.給定一個(gè)語(yǔ)料庫(kù)D，一個(gè)情感標(biāo)簽c∈{1,2,…,C},其中，C表示標(biāo)簽集合大小，一個(gè)單詞w,一個(gè)評(píng)論文本d∈D，計(jì)算單詞w與標(biāo)簽c的相關(guān)性得分：

其中，Dc表示在D中所有標(biāo)簽為c的文本，sw,d表示單詞w在d中的重要性得分.

值得注意的是，現(xiàn)有多種方法可計(jì)算重要性分?jǐn)?shù)sw,d，鑒于TF-IDF(Term Frequency-Inverse Docu-ment Frequency)[19]的良好性能，本文使用TF-IDF計(jì)算sw,d.單詞w在評(píng)論文本d中的TF-IDF值為

其中，fw,d表示單詞w在d中出現(xiàn)的次數(shù)，|D|表示語(yǔ)料庫(kù)D的大小，fw,D表示語(yǔ)料庫(kù)中包含單詞w的評(píng)論文本的數(shù)量.計(jì)算單詞w與標(biāo)簽c相關(guān)性得分：

為了處理區(qū)分力，需要評(píng)估一個(gè)單詞對(duì)所有情感標(biāo)簽的區(qū)分能力，由此提出逆標(biāo)簽頻次(ILF)，ILF定義如下.受TF-IDF的啟發(fā)，基于與逆文檔頻次(Inverse Document Frequency, IDF)相似的策略衡量一個(gè)單詞的識(shí)別能力,即本文提出的ILF中的標(biāo)簽頻次(Label Frequency, LF)等于單詞w出現(xiàn)在相應(yīng)文本中的不同情感標(biāo)簽的數(shù)量：

其中yd表示文本d對(duì)應(yīng)的情感標(biāo)簽.得到單詞w相對(duì)于標(biāo)簽c的基于ILF的相關(guān)性分?jǐn)?shù)：

得到標(biāo)簽c的表示.

同理，可計(jì)算其它標(biāo)簽的表示.最終得到標(biāo)簽表示矩陣：

QL=(q1,q2,…,qC)∈RC×de.

1.2 文本編碼器

在文本編碼器模塊，可選擇BiGRU(Bi-direc-tional Gated-Recurrent Unit)[20]、BiLSTM(Bi-direc-tional Long Short-Term Memory)[21]、Transformer[22]等作為文本編碼器，學(xué)習(xí)評(píng)論文本的隱藏狀態(tài).本文與Dual-view一致，選擇BiGRU作為文本編碼器.

首先，將評(píng)論文本序列d=(w1,w2,…,wn)輸入編碼器中，使用詞向量矩陣E∈R|V |×de(|V|表示詞匯表大小，de表示詞嵌入的維度)把每個(gè)輸入單詞wi嵌入為詞向量xi∈Rde.為了將評(píng)論文本的上下文信息整合到每個(gè)單詞的表示中，將每個(gè)詞向量xi輸入BiGRU中，學(xué)習(xí)淺層隱藏表示ui∈Rdu.一個(gè)BiGRU由一個(gè)正向GRU(Gated-Recurrent Unit)(從x1到xn讀取詞向量序列)和一個(gè)反向GRU(從xn到x1讀取詞向量序列)組成,前向GRU和后向GRU的隱藏狀態(tài)為：

由此得到評(píng)論文本的淺層隱藏表示

U=(u1,u2,…,un).

然后，把淺層隱藏表示輸入到第2個(gè)BiGRU中，學(xué)習(xí)評(píng)論文本單詞之間更復(fù)雜的交互作用：

其中,γ∈[0,1],表示超參數(shù).

最后得到編碼器輸出的文本表示

1.3 標(biāo)簽指導(dǎo)的雙注意力網(wǎng)絡(luò)

本文提出標(biāo)簽指導(dǎo)的雙注意力網(wǎng)絡(luò),目的是尋找評(píng)論文本中與不同標(biāo)簽相關(guān)的單詞，進(jìn)一步確定整個(gè)評(píng)論文本的情感傾向.事實(shí)上，這個(gè)策略對(duì)于評(píng)論文本情感分類是很直觀的.例如，對(duì)于評(píng)論“…This baby doll is perfect! She loved it as soon as we handed it to her, and she carries it all around with her…”，情感標(biāo)簽為5，表示非常積極的態(tài)度.顯然，單詞perfect與第5類更相關(guān)，we、is等詞偏中性，與第3類更相關(guān)，而整個(gè)文本與第5類最相關(guān).所以，注意力網(wǎng)絡(luò)應(yīng)更關(guān)注單詞perfect.下面將使用注意力網(wǎng)絡(luò)捕獲這個(gè)特征.

1.3.1自注意力機(jī)制

一個(gè)評(píng)論文本中不同單詞對(duì)每個(gè)標(biāo)簽有不同的貢獻(xiàn).為了確定文本中與每個(gè)標(biāo)簽最相關(guān)的單詞，采用自注意力機(jī)制(Self-Attention Mechanism)[24].使用

同理，可計(jì)算評(píng)論文本沿其它標(biāo)簽的新表示.最后整個(gè)矩陣H(s)∈RC×du是由自注意力機(jī)制得到的特定于標(biāo)簽的文本表示.

1.3.2標(biāo)簽注意力機(jī)制

類似于自我注意力機(jī)制，標(biāo)簽指導(dǎo)的特定于標(biāo)簽的文本表示如下：

在標(biāo)簽的指導(dǎo)作用下，評(píng)論文本被重新表示為H(l)∈RC×du.因?yàn)檫@個(gè)表示是基于標(biāo)簽的，所以稱為標(biāo)簽注意力機(jī)制(Label Attention Mechanism).

1.4 自適應(yīng)門控機(jī)制

雖然H(s)和H(l)都是特定于標(biāo)簽的文本表示，但側(cè)重點(diǎn)不同.H(s)更側(cè)重于文本內(nèi)容，而H(l)更注重文本內(nèi)容與標(biāo)簽表示之間的語(yǔ)義關(guān)系.為了更好地利用這兩部分的優(yōu)勢(shì)，使用自適應(yīng)門控機(jī)制，從這兩部分中自適應(yīng)地提取有效信息，用于構(gòu)建全面的標(biāo)簽指導(dǎo)的文本表示.

本文利用2個(gè)權(quán)重向量α∈RC,μ∈RC,決定H(s)和H(l)的重要性,即

α=sigmoid(H(s)W4),μ=sigmoid(H(l)W5),

其中，W4∈Rdu,W5∈Rdu,表示可訓(xùn)練的參數(shù)，αj、μj分別表示沿第j個(gè)標(biāo)簽構(gòu)造最終文本表示時(shí)自注意力和標(biāo)簽注意力的重要性.因此，使用

進(jìn)行正則化.然后，利用αj和μj計(jì)算得到沿第j個(gè)標(biāo)簽的最終文本表示：

所有標(biāo)簽的特定于標(biāo)簽的文本表示可描述為矩陣H′∈RC×du.最后，使用均值池化計(jì)算得到最終評(píng)論文本的表示：

1.5 情感分類器

在得到文本的最終表示后，使用兩層前饋神經(jīng)網(wǎng)絡(luò)作為分類器.在網(wǎng)絡(luò)輸出端應(yīng)用softmax函數(shù)生成情感標(biāo)簽上的概率分布：

其中，W6∈Rdu×du,W7∈RC×du,b1∈Rdu,b2∈RC,都為可訓(xùn)練的模型參數(shù).

最后，將概率最高的情感標(biāo)簽作為評(píng)論文本的預(yù)測(cè)情感標(biāo)簽.

本文使用負(fù)對(duì)數(shù)似然作為損失函數(shù)：

L=-ln(P(z*|d)),

其中z*表示真實(shí)的評(píng)論文本情感標(biāo)簽.

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)置

本文使用Chan等[15]從Amazon 5-core review repository[25]收集的3個(gè)公開數(shù)據(jù)集.采用如下3個(gè)領(lǐng)域的商品評(píng)論作為數(shù)據(jù)集：Sports & Outdoors(表示為Sports); Toys & Games(表示為Toys);Home & Kitchen(表示為Home).實(shí)驗(yàn)中每個(gè)數(shù)據(jù)樣本由一個(gè)評(píng)論文本和一個(gè)評(píng)分組成.把評(píng)分作為情感標(biāo)簽，取整數(shù)，取值范圍是[1,5].

為了公平對(duì)比，在數(shù)據(jù)預(yù)處理時(shí)，遵循Chan等[15]做法：將所有字母轉(zhuǎn)換為小寫并使用Stanford CoreNLP[26]對(duì)文本進(jìn)行分詞.為了減少數(shù)據(jù)集的噪音，過濾評(píng)論文本長(zhǎng)度小于16或大于800的數(shù)據(jù)樣本.把每個(gè)數(shù)據(jù)集隨機(jī)分割為訓(xùn)練集、驗(yàn)證集和測(cè)試集.數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示.在表中，Ave.RL表示訓(xùn)練集中評(píng)論文本的平均長(zhǎng)度，L+c表示情感標(biāo)簽為c的數(shù)據(jù)樣本在訓(xùn)練集中的比例.

表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息

2.2 評(píng)價(jià)指標(biāo)

從表1中可發(fā)現(xiàn),情感標(biāo)簽的類別分布不均衡，所以本文使用Macro-averaged F1(M.F1)和Balan-ced Accuracy(B.Acc)[27]作為評(píng)價(jià)指標(biāo).

M.F1用于評(píng)估所有不同類別標(biāo)簽的平均F1.M.F1賦予每個(gè)標(biāo)簽相同的權(quán)重,定義如下：

其中，

TPi表示預(yù)測(cè)標(biāo)簽為i且真實(shí)標(biāo)簽為i的樣本數(shù),FPi表示預(yù)測(cè)標(biāo)簽為i且真實(shí)標(biāo)簽為非i的樣本數(shù),FNi表示預(yù)測(cè)標(biāo)簽非i且真實(shí)標(biāo)簽為i的樣本數(shù),|C|表示標(biāo)簽集合的大小.

B.Acc為準(zhǔn)確率針對(duì)不平衡數(shù)據(jù)集的一種變體，定義如下：

在每個(gè)數(shù)據(jù)集的訓(xùn)練集上訓(xùn)練一個(gè)128維的word2vec[28]，用于初始化包括基線模型在內(nèi)的所有模型的詞嵌入.定義詞匯表為訓(xùn)練集中出現(xiàn)次數(shù)最頻繁的50 000個(gè)單詞.在實(shí)驗(yàn)中de設(shè)置為128，du設(shè)置為512，γ設(shè)置為0.5，批尺寸大小設(shè)置為32.優(yōu)化器使用自適應(yīng)矩估計(jì)(Adaptive Moment Estimation, Adam)[29]，初始學(xué)習(xí)率設(shè)置為0.001，如果驗(yàn)證集損失停止下降，學(xué)習(xí)率減少一半.

基線模型可分為如下兩組.

1)只做情感分類的模型,包括：

(1)BiGRU+Attention.首先,使用BiGRU單元層[20]將輸入的評(píng)論文本編碼成隱藏狀態(tài).然后利用attention mechanism[30]with glimpse operation[31]，從編碼器生成的隱藏狀態(tài)中聚合信息，生成一個(gè)向量.這個(gè)向量再經(jīng)過一個(gè)兩層前饋神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)情感標(biāo)簽.

(2)BiLSTM+Attention.首先，使用BiLSTM[21]將輸入的評(píng)論文本編碼成隱藏狀態(tài).然后利用attention mechanism[30]with glimpse operation[31]，從編碼器生成的隱藏狀態(tài)中聚合信息，生成一個(gè)向量.這個(gè)向量再經(jīng)過一個(gè)分類器預(yù)測(cè)情感標(biāo)簽.

(3)Transformer+Attention.首先使用一個(gè)標(biāo)準(zhǔn)的Transformer[22]，將輸入的評(píng)論文本編碼成隱藏狀態(tài).然后利用注意力機(jī)制把編碼器生成的隱藏狀態(tài)聚合成一個(gè)向量.這個(gè)向量再經(jīng)過一個(gè)情感分類器預(yù)測(cè)情感標(biāo)簽.

(4)DARLM(Differentiated Attentive Represen-tation Learning Model)[32].試圖緩解句子分類中的注意力偏向問題.模型具有兩個(gè)注意力子網(wǎng)分支和一個(gè)示例鑒別器.這兩個(gè)分支聯(lián)合訓(xùn)練，其中一個(gè)分支盡量對(duì)所有句子進(jìn)行分類，另一個(gè)分支對(duì)前者不能較好處理的句子進(jìn)行分類.最后示例鑒別器選擇合適的注意力子網(wǎng)，進(jìn)行句子分類.

2)聯(lián)合評(píng)論摘要與情感分類的模型,包括：

(1)HSSC[14].聯(lián)合改進(jìn)評(píng)論摘要和情感分類的模型.由一個(gè)摘要層和一個(gè)情感分類層組成.摘要層將原文壓縮成短句，情感分類層進(jìn)一步將文本“概括”成情感類.層次結(jié)構(gòu)在文本摘要和情感分類之間建立緊密聯(lián)系，使這兩個(gè)任務(wù)可以相互改進(jìn).使用摘要壓縮文本后，情感分類器更容易預(yù)測(cè)較短文本的情感標(biāo)簽.

2)Max[14].使用BiGRU單元層[20]將輸入的評(píng)論編碼為隱藏狀態(tài).摘要解碼器和情感分類器共享這些隱藏狀態(tài).情感分類器利用最大池化將編碼器生成的隱藏狀態(tài)聚合成一個(gè)向量，再通過一個(gè)兩層前饋神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)情感標(biāo)簽.

3)HSSC+copy.把copy mechanism[16]應(yīng)用到HSSC中，作為一個(gè)強(qiáng)基線.

4)Max+copy.把copy mechanism[16]應(yīng)用到Max中，作為另外一個(gè)強(qiáng)基線.

5)Dual-view[15].聯(lián)合改進(jìn)評(píng)論摘要和情感分類的模型.首先使用編碼器學(xué)習(xí)評(píng)論的上下文表示，摘要解碼器應(yīng)用copy mechanism[16]逐字生成評(píng)論摘要.然后，評(píng)論視圖情感分類器使用編碼器輸出的上下文表示預(yù)測(cè)評(píng)論的情感標(biāo)簽，而摘要視圖情感分類器使用解碼器的隱藏狀態(tài)預(yù)測(cè)生成摘要的情感標(biāo)簽.在訓(xùn)練過程中引入不一致性損失,懲罰這兩個(gè)分類器之間的不一致.

2.3 情感分類實(shí)驗(yàn)結(jié)果

本文在3個(gè)公開的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，各模型的情感分類結(jié)果如表2所示.表中最優(yōu)結(jié)果使用黑體數(shù)字表示，次優(yōu)結(jié)果使用斜體數(shù)字表示.

表2 各模型在3個(gè)數(shù)據(jù)集上的情感分類結(jié)果對(duì)比

在Toys數(shù)據(jù)集上，LGDA的M.F1值達(dá)到57.55%，B.Acc值達(dá)到57.59%，比次優(yōu)的Dual-view分別提升1.85%和3.53%.在Sports數(shù)據(jù)集上，LGDA的M.F1值達(dá)到56.89%，B.Acc值達(dá)到55.70%，比次優(yōu)的Dual-view分別提升0.58%和1.42%.在Home數(shù)據(jù)集上，LGDA的M.F1值達(dá)到60.95%，B.Acc值達(dá)到59.81%，比次優(yōu)的Dual-view分別提升0.22%和0.18%.由此表明LGDA比基線模型更準(zhǔn)確地預(yù)測(cè)評(píng)論情感標(biāo)簽.另外，Toys、Sports、Home數(shù)據(jù)集上訓(xùn)練樣本數(shù)依次增加，LGDA在3個(gè)數(shù)據(jù)集上的M.F1值和B.Acc值比Dual-view的提升依次減少.這表明訓(xùn)練數(shù)據(jù)越充分，相比Dual-view，LGDA提升越少.

2.4 消融實(shí)驗(yàn)結(jié)果

為了驗(yàn)證LGDA中的自注意力、標(biāo)簽注意力、自適應(yīng)門控機(jī)制及逆標(biāo)簽頻次的有效性，在3個(gè)數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表3所示.在表中：-L表示移除標(biāo)簽注意力；-S表示移除自注意力；-G表示移除自適應(yīng)門控機(jī)制，使用拼接；-ILF表示在生成標(biāo)簽描述時(shí)不使用ILF，只用TF-IDF；-BiGRU(+BiLSTM)和-BiGRU(+Transformer)表示在文本編碼器部分分別使用BiLSTM和Transformer替代BiGRU.

表3 各模型在3個(gè)數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果

考慮到BiGCN(Bi-level Interactive Graph Con-volution Network)更適用于短文本分類[33]，因此在實(shí)驗(yàn)中只新增與BiLSTM和Transformer的對(duì)比.表中黑體數(shù)字表示最優(yōu)結(jié)果.

由表3可看到，分別移除標(biāo)簽注意力、自注意力、逆標(biāo)簽頻次及使用拼接代替自適應(yīng)門控機(jī)制之后，2個(gè)指標(biāo)值都有不同程度的下降，表明這4個(gè)部分都有積極作用.另外，在所有數(shù)據(jù)集上的分類結(jié)果顯示，使用BiLSTM和Transformer代替BiGRU之后,分類性能均有不同程度的下降，因此使用BiGRU比使用BiLSTM和Transformer更適合LGDA.

2.5 參數(shù)敏感性

為了探究生成標(biāo)簽描述時(shí)K值的影響，在3個(gè)數(shù)據(jù)集上進(jìn)行參數(shù)敏感性實(shí)驗(yàn).分別取K=10、30、50、70、90，結(jié)果如表4所示.

表4 K不同對(duì)指標(biāo)值的影響

由表4可看到：在Sports、Toys數(shù)據(jù)集上，K=50時(shí)，分類效果最優(yōu)；在Home數(shù)據(jù)集上,K=70時(shí),分類效果最優(yōu).

另外，隨著K值增大，所有指標(biāo)值都是先升后降.這是因?yàn)楫?dāng)K值過小時(shí)，選取的關(guān)鍵詞較少，信息不充分，無法較好地描述標(biāo)簽，分類性能較差.隨著K值的增加，選取的關(guān)鍵詞增加，信息變得豐富，可更好地描述標(biāo)簽，提升分類效果.當(dāng)K到達(dá)某個(gè)值時(shí)，分類效果最優(yōu).若K值繼續(xù)增大，分類效果開始下降，這是因?yàn)檫x取的關(guān)鍵詞過多，引入噪音，降低分類效果.

2.6 計(jì)算代價(jià)對(duì)比

LGDA與Dual-view的計(jì)算代價(jià)對(duì)比如表4所示.表中GPU內(nèi)存表示訓(xùn)練模型時(shí)，GPU內(nèi)存使用量，訓(xùn)練時(shí)長(zhǎng)表示模型訓(xùn)練所需時(shí)長(zhǎng).在訓(xùn)練過程中，2個(gè)模型的批尺寸大小均設(shè)置為32，采用相同的早停策略.由表可見，LGDA在GPU內(nèi)存消耗及訓(xùn)練時(shí)長(zhǎng)上都顯著低于Dual-view.這是因?yàn)長(zhǎng)GDA沒有聯(lián)合摘要生成進(jìn)行訓(xùn)練，過程更簡(jiǎn)單,消耗GPU內(nèi)存更小,訓(xùn)練時(shí)長(zhǎng)更短.但是LGDA通過生成標(biāo)簽描述指導(dǎo)模型分類，在簡(jiǎn)化模型、降低計(jì)算代價(jià)的同時(shí)，可提高分類效果.

2.7 案例分析

為了更直觀地對(duì)比LGDA與Dual-view之間捕獲情感特征詞的能力，本文將2個(gè)模型對(duì)于同一個(gè)評(píng)論文本單詞的注意力權(quán)重可視化，具體如表6所示，顏色越深表示權(quán)重越大，顏色越淺表示權(quán)重越小.由表5可看到，Dual-view雖然關(guān)注love、good等積極的情感詞，但是分配的權(quán)重較小，同時(shí)對(duì)于與情感無關(guān)的詞buy、product等也分配較大的權(quán)重.而LGDA對(duì)于情感詞love、good、favors、well分配較大的權(quán)重，對(duì)于與情感無關(guān)的詞，分配很少的權(quán)重.所以，LGDA正確預(yù)測(cè)情感標(biāo)簽，而Dual-view預(yù)測(cè)錯(cuò)誤.這表明LGDA擁有更好的捕捉情感特征的能力.

表5 LGDA和Dual-view的計(jì)算代價(jià)對(duì)比

表5 LGDA和Dual-view的注意力權(quán)重可視化對(duì)比

3 結(jié) 束 語(yǔ)

本文提出標(biāo)簽指導(dǎo)的雙注意力深度神經(jīng)網(wǎng)絡(luò)模型(LGDA).首先,提出基于逆標(biāo)簽頻次的自動(dòng)類別標(biāo)簽描述生成方法,為每個(gè)標(biāo)簽生成特定的標(biāo)簽描述，用于顯式計(jì)算文本單詞與標(biāo)簽之間的語(yǔ)義關(guān)系.在此基礎(chǔ)上，使用文本編碼器學(xué)習(xí)有效的評(píng)論上下文表示，并提出標(biāo)簽指導(dǎo)的雙注意力網(wǎng)絡(luò)，分別學(xué)習(xí)基于自注意力的文本表示和基于標(biāo)簽注意力的文本表示.然后，使用自適應(yīng)門控機(jī)制融合這兩個(gè)文本表示，得到文本最終表示.最后，使用兩層前饋神經(jīng)網(wǎng)絡(luò)作為分類器，進(jìn)行情感分類.在3個(gè)公開的真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明，LGDA分類效果較優(yōu)，減少計(jì)算代價(jià)與訓(xùn)練時(shí)長(zhǎng).今后將探索更好的生成標(biāo)簽描述的方法，提高分類性能.