基于多任務(wù)預(yù)訓(xùn)練模型的屬性級(jí)情感分類

周 敏，王中卿，李壽山，周國(guó)棟

(蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

0 引言

文本情感分類(Sentiment Analysis)是指利用自然語(yǔ)言處理技術(shù)對(duì)觀點(diǎn)、情感和主觀性的計(jì)算處理過程[1]。目前，大量涉及情感分類類的論文主要是針對(duì)評(píng)論的整體極性(即粗粒度，包括篇章級(jí)和句子級(jí))進(jìn)行“積極”“中立”“消極”三分類。而在實(shí)際應(yīng)用中，用戶的情感是多維的，不同人對(duì)同一條句子可能會(huì)有截然相反的觀點(diǎn)。例如，不同的消費(fèi)者對(duì)相同的產(chǎn)品也會(huì)有不同的關(guān)注點(diǎn)，為了將產(chǎn)品屬性更詳細(xì)地呈現(xiàn)出來，更好地滿足客戶需求，同時(shí)也有利于電商有針對(duì)性地改進(jìn)產(chǎn)品，提高服務(wù)質(zhì)量?；诖吮尘埃趯傩曰蚬δ艿那楦蟹诸愰_始出現(xiàn)。因此，屬性級(jí)情感分類的研究也具有重大的現(xiàn)實(shí)意義。屬性級(jí)情感分類(Aspect-based Sentiment Analysis)[2-3]是針對(duì)特定屬性細(xì)粒度極性的確定。例如評(píng)論，“塔利亞(Thalia)是一家極佳的餐廳，有許多好的服務(wù)員為您服務(wù)，但是食物并不好吃?！?，就“服務(wù)員”“食物”而言，情感極性分別為積極、消極。在這種情況下，由于句子中包含多種極性，很難判斷出該評(píng)論的整體極性，就需要針對(duì)具體屬性進(jìn)行具體情感分類。因此，屬性級(jí)情感分類又可以表述為預(yù)測(cè)(句子，屬性)對(duì)的極性。

由于屬性級(jí)情感分類樣本的標(biāo)注需要大量的人力和時(shí)間，標(biāo)注成本高，標(biāo)注樣本稀缺，語(yǔ)料難以獲得。比如在SemEval-14數(shù)據(jù)集中，只有4 722條(包括3 602條訓(xùn)練集和1 120條測(cè)試集)有標(biāo)記的句子。與此同時(shí)，我們可獲取的篇章級(jí)標(biāo)注評(píng)論數(shù)據(jù)樣本量卻很充足，Yelp、Amazon、Twitter等電子商務(wù)網(wǎng)站上都帶有對(duì)評(píng)論整體滿意度打分的標(biāo)注數(shù)據(jù)，還包括星級(jí)(stars，根據(jù)stars的分值劃分極性: 積極、中立和消極)、實(shí)用性(Useful)及有趣/俏皮性(Funny/Cool)等評(píng)價(jià)指標(biāo)。但這些語(yǔ)料中相關(guān)的屬性級(jí)情感分類信息是未標(biāo)注的，為了能夠更好地訓(xùn)練模型，我們需要從這些大量的未標(biāo)注數(shù)據(jù)中進(jìn)行學(xué)習(xí)。

為了能夠?qū)Υ罅课礃?biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)，我們提出一種新的基于句子級(jí)預(yù)訓(xùn)練的未標(biāo)注樣本學(xué)習(xí)方式: 基于預(yù)訓(xùn)練模型的屬性級(jí)情感分類模型(PRET+MULTI)。具體來說，我們從Yelp數(shù)據(jù)集中抽取大量篇章級(jí)標(biāo)注語(yǔ)料，結(jié)合多項(xiàng)任務(wù)對(duì)這類數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練構(gòu)建聯(lián)合模型，通過對(duì)于未標(biāo)注樣本的語(yǔ)義和語(yǔ)法等信息進(jìn)行學(xué)習(xí)來獲取未標(biāo)注樣本中的情感信息，從而擴(kuò)展樣本數(shù)目，并達(dá)到提升效果的目的。我們選取SemEval-14Restaurant數(shù)據(jù)集中的幾個(gè)句子作為示例，如表1所示。

表1 評(píng)論示例

表1中的評(píng)論1是來自測(cè)試集的一條評(píng)論，我們可以根據(jù)上下文輕易判斷出對(duì)于屬性詞“莫雷醬”的極性是消極的。然而在單任務(wù)情感分類中可能會(huì)得到相反的預(yù)測(cè)結(jié)果，因?yàn)獒槍?duì)“sweet”這個(gè)形容詞的極性是不定的，如表1中的評(píng)論2和評(píng)論3(來自訓(xùn)練集)所示。全部訓(xùn)練集中，“甜的”作為某個(gè)屬性詞的修飾形容詞僅僅出現(xiàn)了10次，其中有7處被標(biāo)記為積極的，剩余3處被標(biāo)記為消極的。在這種情況下，對(duì)于單個(gè)分類任務(wù)的模型使用這樣數(shù)量的訓(xùn)練集很難學(xué)習(xí)到“甜的”的正確極性，容易根據(jù)先前的判斷得到錯(cuò)誤的預(yù)測(cè)結(jié)果。然而，在本文提出的基于多任務(wù)的預(yù)訓(xùn)練模型中，Yelp數(shù)據(jù)集包含了大量的“甜的”作為屬性詞的修飾詞，并且出現(xiàn)在不同上下文文本中的案例，通過大量數(shù)據(jù)集預(yù)訓(xùn)練調(diào)整模型共享參數(shù)，達(dá)到提高評(píng)論屬性級(jí)情感分類的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，通過擴(kuò)大訓(xùn)練集和結(jié)合多任務(wù)，PRET+MULTI模型有效提高了評(píng)論屬性級(jí)情感分類的能力。

本文的組織結(jié)構(gòu)如下: 第1節(jié)研究背景和意義；第2節(jié)主要介紹屬性級(jí)情感分類的相關(guān)研究工作；第3節(jié)主要介紹本文構(gòu)建的模型的結(jié)構(gòu)和方法；第4節(jié)主要介紹實(shí)驗(yàn)數(shù)據(jù)集處理、評(píng)價(jià)指標(biāo)、基準(zhǔn)模型對(duì)比和實(shí)驗(yàn)結(jié)果分析；最后一節(jié)進(jìn)行總結(jié)與展望。

1 相關(guān)工作

屬性級(jí)情感分類(Aspect Sentiment Classification，ASC)就是給定一個(gè)句子(sentence)和一個(gè)在句子中出現(xiàn)的屬性(aspect)，判斷這個(gè)屬性所對(duì)應(yīng)的情感方向。早期的研究方法主要是手動(dòng)提取特征，Jiang 等人[4]結(jié)合句法特征和評(píng)論的上下文信息來訓(xùn)練SVM分類器。Mohammad等人[5]基于SVM模型，聯(lián)合情感詞典和N-gram特征構(gòu)建分類器。Wagner等人[6]提出了類似的方案，并結(jié)合距離目標(biāo)屬性的距離和依賴路徑距離來提升模型性能。但這樣做需要耗費(fèi)大量的時(shí)間和資源，分類器性能在很大程度上依賴于特征的質(zhì)量。

為了解決這一問題，越來越多的基于深度學(xué)習(xí)[7](Deep Learning)的方法開始出現(xiàn)。Dong等人[8]提出了基于依存樹的遞歸神經(jīng)網(wǎng)絡(luò)模型，構(gòu)造以target單詞為根節(jié)點(diǎn)的經(jīng)過變形的二叉依存樹。Lakkaraju等人[9]將屬性提取和情感分類任務(wù)相結(jié)合，采用了一種基于分層深度學(xué)習(xí)框架的方法。之前的工作大多數(shù)都依賴語(yǔ)法，但這些語(yǔ)法往往受到非正式文本的干擾，Vo和Zhang[10]提出了獨(dú)立于外部語(yǔ)法分析器的方法，通過提取豐富的自動(dòng)特征集，結(jié)合多種嵌入、池化函數(shù)和情感詞典，極大地提高了情感分類的準(zhǔn)確率。

常用的神經(jīng)網(wǎng)絡(luò)模型主要是長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)[11](Long Short Term Memory Network, LSTM)和卷積神經(jīng)網(wǎng)絡(luò)[12](Convolutional Neural Networks, CNN)。Tang等人[13]在LSTM的基礎(chǔ)上綜合考慮目標(biāo)短語(yǔ)信息與上下文本信息完成對(duì)句子的語(yǔ)義建模。為了在引入不同的aspect的時(shí)候讓模型注意到句子不同的部分，注意力機(jī)制與循環(huán)神經(jīng)網(wǎng)絡(luò)[14](Recurrent Neural Network, RNN)的結(jié)合開始發(fā)揮作用。Wang等人[15]通過注意力機(jī)制來捕獲不同上下文信息對(duì)給定屬性的重要性，將注意力和LSTM結(jié)合起來對(duì)句子進(jìn)行語(yǔ)義建模。Yang等人[16]提出了一種基于注意力的雙向LSTM方法，學(xué)習(xí)目標(biāo)短語(yǔ)和最顯著特征之間的對(duì)齊以提高模型性能。但使用LSTM網(wǎng)絡(luò)和注意力機(jī)制來預(yù)測(cè)相關(guān)目標(biāo)短語(yǔ)的情感極性通常比較復(fù)雜且需要較多的訓(xùn)練時(shí)間。Huang和Carley[17]使用參數(shù)濾波器和參數(shù)門將屬性信息與CNN相結(jié)合，取得了顯著進(jìn)步。Xue和Li[18]提出了一種基于CNN和門控機(jī)制的模型，該體系比現(xiàn)有模型中的注意力層更簡(jiǎn)單，同時(shí)門控單元可以獨(dú)立工作，實(shí)現(xiàn)并行化模型計(jì)算。Li等人[19]使用一個(gè)特定目標(biāo)的組件以更好地將目標(biāo)信息整合到單詞表示中，CNN作為特征提取器并結(jié)合上下文信息，模型的準(zhǔn)確率得到了進(jìn)一步提升。

最新的研究表明，預(yù)訓(xùn)練模型在減輕特征工程量方面做出了很大貢獻(xiàn)，尤其是Devlin等人[20]提出的BERT(Bidirectional Encoder Representations from Transformers)為NLP帶來了里程碑式的改變。Sun等人[21]微調(diào)了BERT預(yù)訓(xùn)練模型，構(gòu)造輔助語(yǔ)句將單個(gè)語(yǔ)句分類任務(wù)轉(zhuǎn)換為語(yǔ)句對(duì)分類任務(wù)。Xu等人[22]利用大量的域內(nèi)數(shù)據(jù)集來訓(xùn)練BERT的權(quán)重，然后根據(jù)此任務(wù)對(duì)其進(jìn)行微調(diào)。

基于上述研究，為了進(jìn)一步提高分類準(zhǔn)確率，本文提出一個(gè)基于BERT的多任務(wù)模型(MTB)，使用Yelp 2016數(shù)據(jù)集作為預(yù)訓(xùn)練集，結(jié)合多種分類任務(wù)進(jìn)行預(yù)訓(xùn)練。將該方法應(yīng)用于SemEval-2014[23]中的餐廳數(shù)據(jù)集上，實(shí)驗(yàn)結(jié)果表明，我們聯(lián)合BERT模型和大量的額外的域內(nèi)數(shù)據(jù)集進(jìn)行多任務(wù)預(yù)訓(xùn)練后，與微調(diào)原始BERT模型相比，性能得到了有效提升。

2 基于預(yù)訓(xùn)練模型的屬性級(jí)情感分類

一個(gè)由n個(gè)單詞組成的句子S= {W1，W2…,Wn}，以及一組k個(gè)在句子中出現(xiàn)的屬性詞集合A= {Wi1，Wi2……Wik}，我們?cè)O(shè)置一個(gè)三分類任務(wù): 給定句子S，一組屬性詞A，屬性級(jí)情感分類任務(wù)的目的就是分別判別給定屬性詞A的句子S的極性Y= {positive，negative，neutral}。例如，句子“The price is reasonable although the service is poor.”就“price”方面是積極的，而對(duì)于“service”方面是消極的。模型的整體架構(gòu)如圖1所示，基于BERT模型，由多任務(wù)的預(yù)訓(xùn)練模塊和分類模塊構(gòu)成。

2.1 模型

Bert模型是一種新型語(yǔ)言表征模型，其建立在Transformer的基礎(chǔ)上，是多個(gè)Transformer-encoder的疊加，Bert模型在大量文本語(yǔ)料上訓(xùn)練了一個(gè)通用的“語(yǔ)言理解”模型，然后微調(diào)這個(gè)模型去執(zhí)行想做的NLP任務(wù)。相較于之前的預(yù)訓(xùn)練模型，包括Peters等人[24]提出的ELMo模型和Radford等人[25]提出的OpenAI GPT模型。Bert模型是有優(yōu)勢(shì)的，是第一個(gè)用在預(yù)訓(xùn)練NLP上的無監(jiān)督的、深度雙向系統(tǒng)。ELMo模型使用的是LSTM網(wǎng)絡(luò)，直接拼接了左右的embedding，兩者是相互獨(dú)立的；OpenAI GPT模型雖然也采用了Transformer的編碼器，但是GPT是單向的。

我們結(jié)合多任務(wù)微調(diào)Bert模型應(yīng)用于屬性級(jí)情感分類領(lǐng)域，模型整體結(jié)構(gòu)框架如圖1所示。本文對(duì)已經(jīng)由谷歌團(tuán)隊(duì)預(yù)訓(xùn)練好的Bert模型結(jié)合多任務(wù)進(jìn)行微調(diào)，在訓(xùn)練階段結(jié)合多種任務(wù)組合，將最終隱藏層輸出的特征向量作為輔助分類任務(wù)的輸入，幫助訓(xùn)練共享參數(shù)，從而幫助提升屬性級(jí)情感分類任務(wù)的準(zhǔn)確率。

圖1 模型結(jié)構(gòu)圖

2.2 輸入表示

Bert模型的輸入可以是單個(gè)句子，也可以是句子對(duì)(問題，答案)的形式，本文中的輸入采用句子對(duì)形式。受到Tang等人提出的LSTM模型輸入的啟發(fā)，我們以每句話中的屬性詞作為一個(gè)分割點(diǎn)，構(gòu)造句子對(duì)(L,R)。例如，一個(gè)由n個(gè)單詞組成的句子S = {W1，W2，…，Wt-1，Wt，Wt+1，…，Wn}，其中L表示從句子的第一個(gè)詞W1，到屬性詞的前一個(gè)詞Wt-1依次輸入，R表示從屬性詞的后一個(gè)詞Wt+1，到句子的最后一個(gè)詞Wn依次輸入。以句子“Thalia is a beautiful restaurant with beautiful people serving you, but the food doesn't quite match up.”為例，這個(gè)句子中包括兩個(gè)屬性詞，分別是“food”和“people serving”，那么這里有兩個(gè)句子對(duì)，分別是針對(duì)“food”的句子對(duì)(L1，R1)和針對(duì)“people serving”的句子對(duì)(L2，R2)。L1表示從句子的第一個(gè)詞“Thalia”到屬性詞“food”的前一個(gè)詞“the”，R1表示從屬性詞“food”的后一個(gè)詞“doesn’t”到句子的最后一個(gè)詞“up”。L2表示從句子的第一個(gè)詞“Thalia”到屬性詞“people serving”的前一個(gè)詞“beautiful”，R2表示從屬性詞“people serving”的后一個(gè)詞“you”到句子的最后一個(gè)詞“up”。

我們使用Word Piece子詞化方法[26]，并在每個(gè)句子的開頭都會(huì)加上一個(gè)特殊的Token([CLS]),在句子的結(jié)尾加上一個(gè)[SEP]表示一個(gè)句子結(jié)束,與[CLS]對(duì)應(yīng)的最終隱藏狀態(tài)通常被用于分類任務(wù)的輸入序列表示。本文分類器的輸入是兩個(gè)tokenized序列(L,R),我們將輸入轉(zhuǎn)換為與Bert句子對(duì)分類任務(wù)兼容的格式: “[CLS]L[SEP]R[SEP]”。接著計(jì)算每個(gè)Token的Embedding: 詞的Embedding、位置的Embeddding和Segment Embedding，其中Segment Embedding的作用是讓模型判斷上下句的起始位置，表明每個(gè)Token是屬于句子L還是句子R。對(duì)于分類任務(wù)，經(jīng)過多層雙向Transformer-encoder的堆疊后，我們只要取出最終的隱藏層的計(jì)算結(jié)果:Xhidden: [batch_size，seq_len，embedding_dim]里[CLS]所對(duì)應(yīng)的那一條向量，如式(1)所示。

cls_vector1=Xhidden[: ，0，: ]

(1)

然后初始化一個(gè)權(quán)重，再用Sigmod或者Softmax函數(shù)激活。對(duì)于序列標(biāo)注類型的任務(wù)，除了[CLS]和[SEP]的每個(gè)時(shí)刻都會(huì)有輸出的標(biāo)簽，我們對(duì)單個(gè)Token的輸出向量進(jìn)行處理，如式(2)所示。

cls_vector2=Xhidden[: ，: ，:]

(2)

然后初始化一個(gè)權(quán)重，再用Sigmod或者Softmax函數(shù)激活。

2.3 基于多任務(wù)的Bert模型

由于SemEval-14屬性級(jí)情感分類的數(shù)據(jù)集量較小，我們?cè)谟?xùn)練階段使用大量的Yelp數(shù)據(jù)集數(shù)據(jù)，結(jié)合多任務(wù)幫助Bert模型訓(xùn)練模型參數(shù)，與主任務(wù)“屬性級(jí)情感分類任務(wù)”共享參數(shù)，來提升模型的性能。

我們分別詳細(xì)介紹以下幾種子任務(wù)。

Task1屬性詞識(shí)別本任務(wù)旨在判斷每個(gè)句子中的詞是否為屬性詞，以及區(qū)分它們?yōu)槟囊活悓傩栽~(非屬性詞和屬性詞為單個(gè)單詞、多個(gè)單詞分別對(duì)應(yīng)三個(gè)類別)，如本任務(wù)需要識(shí)別出在句子1“塔利亞是一家極佳的餐廳，有許多好的的服務(wù)員為您服務(wù)，但是食物并不好吃?！敝械膯卧~“服務(wù)員”和“食物”為屬性詞，且為單個(gè)單詞的屬性詞。本實(shí)驗(yàn)中取Token序列中的單個(gè)Token的輸出向量作為Softmax層的輸入,每一維度的數(shù)值就表示該Token詞為某一類屬性詞的概率，Pt表示屬性詞識(shí)別任務(wù)的輸出，如式(3)所示。

Pt=softmax(W·clsvector2+b))

(3)

其中，b∈R3，W∈R3×H。

Task2 屬性級(jí)情感分類本任務(wù)旨在預(yù)測(cè)出每一句話所對(duì)應(yīng)的不同屬性詞的(句子，屬性)對(duì)的極性，如判斷Task1中識(shí)別出來的兩個(gè)屬性詞所對(duì)應(yīng)的(句子1，服務(wù)員)對(duì)的極性和(句子1，食物)對(duì)的極性。本實(shí)驗(yàn)中取Token序列中的單個(gè)Token的輸出向量作為Softmax層的輸入,每一維度的數(shù)值就表示該Token詞屬于某一個(gè)情感方向的概率，Pl表示屬性詞情感分類任務(wù)的輸出，如式(4)所示。

Pl=softmax(W·clsvector2+b))

(4)

其中，b∈R4，W∈R4×H。

Task3 stars分類本任務(wù)旨在預(yù)測(cè)每個(gè)(句子，屬性)對(duì)的星級(jí)(星級(jí)評(píng)分從1到5分別對(duì)應(yīng)五類)。本實(shí)驗(yàn)中取每個(gè)句子Token序列中第一個(gè)特殊的Token[CLS]，對(duì)應(yīng)于該Token的最終隱藏狀態(tài)(即，Transformer的輸出)接上Softmax進(jìn)行stars分類，Ps表示stars分類任務(wù)的輸出，如式(5)所示。

Ps=softmax(W·cls_vector1+b)

(5)

其中，b∈R5，W∈R5×H。

Task4 useful分類本任務(wù)旨在預(yù)測(cè)每個(gè)(句子，屬性)對(duì)是否有意義(根據(jù)useful的值分為二分類: 有意義/無意義)。本實(shí)驗(yàn)中取每個(gè)句子Token序列中第一個(gè)特殊的Token[CLS]，對(duì)應(yīng)于該Token的最終隱藏狀態(tài)(即Transformer的輸出)接上Sigmoid進(jìn)行useful分類，Pu表示useful分類任務(wù)的輸出，如式(6)所示。

Pu=sigmoid(W·cls_vector1+b)

(6)

其中，b∈R2，W∈R2×H。

Task5/6 funny/cool分類本任務(wù)旨在預(yù)測(cè)每個(gè)(句子，屬性)對(duì)的趣味或者俏皮指數(shù)(綜合funny和cool的評(píng)分分成三個(gè)等級(jí): 非常、一般、無趣對(duì)應(yīng)三分類)。本實(shí)驗(yàn)中取每個(gè)句子Token序列中第一個(gè)特殊的Token[CLS]，對(duì)應(yīng)于該Token的最終隱藏狀態(tài)(即Transformer的輸出)接上Softmax進(jìn)行funny/cool分類，Pf表示funny分類任務(wù)的輸出，Pc表示cool分類任務(wù)的輸出，如式(7)所示。

Pf/c=softmax(W·cls_vector1+b)

(7)

其中，b∈R3，W∈R3×H。

本文以不同的幾種方式組合以上4個(gè)任務(wù)，作為模型的輔助任務(wù)對(duì)模型參數(shù)進(jìn)行訓(xùn)練: ①結(jié)合Task1和Task2； ②結(jié)合Task3和Task4； ③結(jié)合Task1、Task2、Task3和Task4； ④結(jié)合Task3、Task4、Task5和Task6。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集和預(yù)處理

本實(shí)驗(yàn)的輔助多任務(wù)部分我們使用Yelp Dataset Challenge 2016數(shù)據(jù)集，主任務(wù)屬性級(jí)情感分類部分我們使用SemEval-14(Restaurant領(lǐng)域)提供的數(shù)據(jù)集。

SemEval-14數(shù)據(jù)集分為兩部分帶有單個(gè)或多個(gè)屬性詞的評(píng)論集合，一部分是訓(xùn)練集包含3 602組評(píng)論，另一部分是測(cè)試集包含1 120組評(píng)論。每組數(shù)據(jù)都包含(句子，屬性)對(duì)的極性標(biāo)注，分為三種情感方向: Positive、Neutral和Negative，具體分布情況如表2所示。

表2 SemEval-14數(shù)據(jù)集分布情況

我們對(duì)Yelp16的數(shù)據(jù)集進(jìn)行一系列的預(yù)處理來訓(xùn)練輔助任務(wù)。首先將篇章級(jí)的數(shù)據(jù)集切割成句子級(jí)的數(shù)據(jù)集(每個(gè)句子的評(píng)價(jià)指標(biāo)和篇章級(jí)的評(píng)價(jià)指標(biāo)保持一致，包括極性、Stars、Useful、Funny、Cool)。具體構(gòu)建輔助任務(wù)數(shù)據(jù)集的方式如下:

?對(duì)于Task 1&2從SemEva-14數(shù)據(jù)集中提取出包含所有屬性詞的集合列表，根據(jù)屬性詞列表提取出Yelp16數(shù)據(jù)集中每句話所包含的屬性詞，如列表中包含“服務(wù)員”和“食物”這兩個(gè)屬性詞，則將會(huì)從句子“塔利亞(Thalia)是一家極佳的餐廳，有許多好的的服務(wù)員為您服務(wù)，但是食物并不好吃?！敝刑崛〕觥胺?wù)員”和“食物”這兩個(gè)目標(biāo)詞。如果目標(biāo)詞為單個(gè)單詞，則句子對(duì)應(yīng)目標(biāo)詞的單詞標(biāo)簽為1；如果目標(biāo)詞為單詞詞組，則句子中目標(biāo)詞的單詞標(biāo)簽為2；其余非目標(biāo)詞的單詞標(biāo)簽為0。每個(gè)屬性詞對(duì)應(yīng)的情感與原評(píng)論的情感一致。

?對(duì)于Task 3極性根據(jù)原數(shù)據(jù)集中每個(gè)評(píng)論的Stars劃分得到，Stars∈[1,5]。Stars<3劃分為Negative類，Stars=3劃分為Neutral類，Stars>3劃分為Positive類。

?對(duì)于Task 4&5&6原數(shù)據(jù)集中Useful、Funny和Cool值的范圍較廣，歸一化在[0,1]連續(xù)區(qū)間內(nèi)，通過Useful是否為0來判定是有用(Useful)信息還是無用(Useless)信息；綜合Funny和Cool的值來判定有趣性，劃分為三類: 值都為1為高級(jí)趣味(High)，值都為0低級(jí)趣味(Low)，剩余的歸為一般趣味(Medium)。

將這些新的(句子，屬性)對(duì)送入由SemEval-14訓(xùn)練好的Bert模型中篩選出1 106 234條符合條件的數(shù)據(jù)集，詳細(xì)的數(shù)據(jù)分布情況如表3所示。

表3 Yelp16數(shù)據(jù)集分布情況

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

本文在谷歌團(tuán)隊(duì)預(yù)先訓(xùn)練好的Bert模型的基礎(chǔ)上進(jìn)行微調(diào)，具體參數(shù)如表4所示。

表4 模型基本參數(shù)信息

3.3 評(píng)估準(zhǔn)則

本文使用準(zhǔn)確率(accuracy,ACC)作為所有模型的性能評(píng)估標(biāo)準(zhǔn)，如式(8)所示。

(8)

其中,correctnum表示分類正確的數(shù)目(將正類預(yù)測(cè)為正,負(fù)類預(yù)測(cè)為負(fù)，中立類預(yù)測(cè)為中立)，totalnum表示總的樣本數(shù)量。

3.4 基準(zhǔn)系統(tǒng)

我們選取以下幾個(gè)比較經(jīng)典的模型作為基準(zhǔn)模型與我們提出的模型進(jìn)行對(duì)比。

TD_LSTMWang等人[15]在LSTM模型的基礎(chǔ)上整合目標(biāo)targets words和context words信息，對(duì)targets words之前和之后的上下文分別建模，左句(從左往右讀入)與右句(從右往左讀入)分別輸入兩個(gè)LSTM網(wǎng)絡(luò)中，target words都作為句末。

MemNetTang等人[27]介紹了一種用于屬性級(jí)情感分類的深層網(wǎng)絡(luò)，通過上下文信息構(gòu)建memory，分別將取出屬性詞的句子和屬性詞進(jìn)行embedding，然后通過多層注意力模型計(jì)算句子中各部分信息與不同屬性詞的重要性，得到關(guān)于不同屬性詞的句子表示。

RAMChen等人[28]非線性地結(jié)合多重注意力機(jī)制和遞歸神經(jīng)網(wǎng)絡(luò)，采用多注意力機(jī)制來捕獲相距較遠(yuǎn)的情感特征。相較于MemNet模型，RAM模型在輸入模塊和注意力模塊之間多加入了一個(gè)記憶模塊，即多加了一層LSTM，外加一個(gè)location位置信息。

CabascLiu等人[29]提出了一種基于context attention的屬性級(jí)情感分類模型，主要是兩種新型注意力機(jī)制(句子級(jí)context注意力機(jī)制和上下文context注意力機(jī)制)，分別從全局角度和單詞角度來考慮有關(guān)給定屬性的信息來提高模型的分類準(zhǔn)確率。

3.5 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證在現(xiàn)有模型中我們模型的優(yōu)越性和結(jié)合多任務(wù)以后的有效性，我們主要進(jìn)行下面幾個(gè)部分的實(shí)驗(yàn): (1)與現(xiàn)有的經(jīng)典基準(zhǔn)模型的準(zhǔn)確率對(duì)比; (2)結(jié)合不同任務(wù)； (3)對(duì)不同數(shù)量級(jí)進(jìn)行對(duì)比。

3.5.1 與基準(zhǔn)模型的對(duì)比分析

各基線模型和我們提出的MTB模型的實(shí)驗(yàn)結(jié)果如表5所示。

表5 與基準(zhǔn)模型進(jìn)行對(duì)比

從表5我們可以得出以下幾條結(jié)論:

(1) 對(duì)比四個(gè)基準(zhǔn)模型，我們發(fā)現(xiàn)MemNet模型、RAM模型和Cabasc模型明顯優(yōu)于TD_LSTM模型，這是因?yàn)镸emNet模型、RAM模型和Cabasc模型都引入了注意力機(jī)制，對(duì)于不同的aspect模型可以注意到句子的不同部分，結(jié)合注意力機(jī)制和神經(jīng)網(wǎng)絡(luò)模型可以有效提升屬性級(jí)情感分類性能。

(2) 表4中的數(shù)據(jù)表明，RAM模型的準(zhǔn)確率高出MemNet模型一個(gè)百分點(diǎn)，只是由于RAM模型相較于MemNet模型多加了一個(gè)記憶模塊，可以使模型合成有用的詞語(yǔ)序列特征，同時(shí)通過非線性的方式將各層的結(jié)果組合在一起，從而幫助模型完成分類任務(wù)。

(3) Cabasc模型同樣是基于Memory Network的方法，相較于之前的方法，構(gòu)建了一個(gè)利用GRU模型去自助學(xué)習(xí)權(quán)重的Memory，并且利用Attention機(jī)制引入了句子特征，對(duì)比RAM模型說明該方法是有效的。

(3) 實(shí)驗(yàn)結(jié)果表明，我們的模型分類精確率遠(yuǎn)遠(yuǎn)超過了TD_LSTM模型、MemNet模型和RAM模型，這是因?yàn)樵撃Ｐ徒Y(jié)合多任務(wù)預(yù)訓(xùn)練，通過學(xué)習(xí)海量數(shù)據(jù)中的語(yǔ)義語(yǔ)法信息訓(xùn)練共享參數(shù)極大提高了模型分類的準(zhǔn)確率。

(4) 我們的模型準(zhǔn)確率相較于所有的基線模型都有了一定的提高，充分說明了本文提出的模型在屬性級(jí)情感分類領(lǐng)域的優(yōu)越性。

3.5.2 結(jié)合不同多任務(wù)的影響

為了驗(yàn)證模型的有效性，我們分析不同任務(wù)對(duì)模型分類性能的影響，具體實(shí)驗(yàn)結(jié)果如表6所示。

表6 結(jié)合不同任務(wù)的實(shí)驗(yàn)結(jié)果對(duì)比

表6中，Bert_tp: 結(jié)合屬性詞識(shí)別和屬性詞情感分類任務(wù)；Bert_su: 結(jié)合Stars和Useful分類任務(wù)；Bert_tpsu: 結(jié)合屬性詞識(shí)別、屬性詞情感分類、Stars和Useful任務(wù)；Bert_sufc: 結(jié)合Stars、Useful、Funny和Cool任務(wù)。從表6的實(shí)驗(yàn)結(jié)果我們可以得到以下幾條結(jié)論:

(1) 在四種任務(wù)構(gòu)建方法中，效果最好的是結(jié)合Stars和Useful任務(wù)，提升幅度最小的是結(jié)合屬性詞識(shí)別和屬性詞情感分類任務(wù)，我們分析出現(xiàn)這種情況的原因是: 極性是由Stars的評(píng)分確定的，Stars分類任務(wù)和最終的情感分類任務(wù)的關(guān)聯(lián)度相對(duì)較大，通過Stars分類任務(wù)的預(yù)訓(xùn)練可以傳遞有用的語(yǔ)義語(yǔ)法信息給情感分類任務(wù)。而屬性詞識(shí)別任務(wù)和屬性級(jí)情感分類任務(wù)的關(guān)聯(lián)度較弱，并且屬性詞識(shí)別和屬性詞情感分類任務(wù)本身比較復(fù)雜，預(yù)訓(xùn)練模型很難學(xué)習(xí)到有用的信息傳遞給主任務(wù)，導(dǎo)致對(duì)模型的幫助比較小。

(2) 相較于簡(jiǎn)單的單任務(wù)微調(diào)Bert模型，我們發(fā)現(xiàn)所有的結(jié)合多任務(wù)的模型(Method1～Method4)分類效果都比Bert_single要好，這表明未標(biāo)注的數(shù)據(jù)集結(jié)合多任務(wù)搭建預(yù)訓(xùn)練模型可以有效提高模型性能，本文提出的模型是有效的。

3.5.3 數(shù)據(jù)量對(duì)同一任務(wù)的影響

為了比較不同大小的預(yù)訓(xùn)練數(shù)據(jù)集對(duì)模型分類結(jié)果的影響，我們選擇3.5.2節(jié)中表現(xiàn)最佳的多任務(wù)組合方式Bert_su作為基準(zhǔn)模型，結(jié)合不同的數(shù)據(jù)量得到相應(yīng)的實(shí)驗(yàn)結(jié)果，如圖2所示。

圖2 不同大小數(shù)據(jù)集對(duì)實(shí)驗(yàn)結(jié)果的影響

由圖2可見，模型的分類性能隨著預(yù)訓(xùn)練集數(shù)據(jù)量的增加而提升。當(dāng)預(yù)訓(xùn)練數(shù)據(jù)集為10萬條時(shí)，我們的聯(lián)合模型(PRET+MULTI模型)性能基本和簡(jiǎn)單微調(diào)Bert模型(Bert_single)的性能差別不大；當(dāng)數(shù)據(jù)量增長(zhǎng)到30萬條時(shí)，PRET+MULTI模型開始比Bert_single模型高出一個(gè)百分點(diǎn)，預(yù)訓(xùn)練集數(shù)據(jù)量越大，我們的模型優(yōu)勢(shì)越突出，當(dāng)數(shù)據(jù)量達(dá)到110萬條時(shí)，分類準(zhǔn)確率達(dá)到0.842。

實(shí)驗(yàn)結(jié)果表明，擴(kuò)大數(shù)據(jù)集可以更好地訓(xùn)練模型，我們采用未標(biāo)注的篇章級(jí)數(shù)據(jù)來擴(kuò)充有限的屬性級(jí)標(biāo)注數(shù)據(jù)集，并結(jié)合多任務(wù)的方式預(yù)訓(xùn)練模型是有效的。

4 總結(jié)

本文對(duì)基于屬性級(jí)的評(píng)論文本進(jìn)行情感分類，考慮到現(xiàn)有公開可獲取的屬性級(jí)情感分類標(biāo)注樣本的稀缺，提出了一種結(jié)合多任務(wù)預(yù)訓(xùn)練的Bert模型。通過獲取大量的未標(biāo)注的篇章級(jí)情感分類標(biāo)注樣本，結(jié)合多種分類任務(wù)預(yù)訓(xùn)練微調(diào)Bert模型，通過學(xué)習(xí)篇章級(jí)文本和屬性級(jí)文本中共享的有用的信息來訓(xùn)練模型共享參數(shù)，從而實(shí)現(xiàn)屬性級(jí)情感分類。對(duì)比其他的相關(guān)模型，我們的模型在準(zhǔn)確率上有了很大的提升。