多任務(wù)交互式學(xué)習(xí)網(wǎng)絡(luò)的方面情感分析

宋 婷，潘理虎，陳戰(zhàn)偉

1.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024

2.中國(guó)移動(dòng)通信集團(tuán)山西有限公司，太原 030001

基于方面的情感分析[1]（aspect-based sentiment analysis，ABSA）旨在針對(duì)文本中特定方面目標(biāo)獲取其情感信息。傳統(tǒng)的文本觀點(diǎn)獲取僅對(duì)整篇文檔進(jìn)行情感分析，不針對(duì)具體對(duì)象[2-3]?；诜矫娴那楦蟹治龇譃閮蓚€(gè)任務(wù)，提取方面詞[4-6]（aspect term analysis，AT），以及分析不同方面的情感極性[7-9]（aspect category sentiment analysis，AS）。例如句子：“Good food but dreadful service at that restaurant”，分析語(yǔ)句評(píng)論的實(shí)體是餐廳，分別對(duì)兩個(gè)方面food和service提取情感信息，分別為積極和消極。

深度學(xué)習(xí)[10-11]方法在自然語(yǔ)言處理中不斷取得新的進(jìn)展，在機(jī)器翻譯[12]、句子對(duì)建模[13]、情感分析中被廣泛應(yīng)用。常用的深度學(xué)習(xí)模型[7-9]最大特點(diǎn)是能對(duì)批量數(shù)據(jù)自動(dòng)學(xué)習(xí)，利用注意力機(jī)制實(shí)現(xiàn)對(duì)目標(biāo)內(nèi)容的特別關(guān)注。

在以往的工作中，方面詞提取和方面詞的情感分類通常分開(kāi)處理，未充分利用兩個(gè)任務(wù)的聯(lián)合信息。研究表明[14-15]，集成模型對(duì)比順序處理方式，情感獲取效果相當(dāng)，以上工作都將問(wèn)題表述為具有統(tǒng)一標(biāo)簽的單個(gè)序列標(biāo)注任務(wù)，沒(méi)有明確建模它們之間的相關(guān)性，僅從方面級(jí)別的實(shí)例中學(xué)習(xí)，這些實(shí)例大小通常有限。

基于以上問(wèn)題，本文提出基于信息傳遞機(jī)制的多任務(wù)交互式學(xué)習(xí)網(wǎng)絡(luò)（multi-task interactive learning network based on information transmission mechanism，MTIITM），進(jìn)行方面情感分析，主要貢獻(xiàn)如下：

模型采用細(xì)粒度屬性級(jí)和篇章級(jí)分類任務(wù)聯(lián)合訓(xùn)練，引入消息傳遞機(jī)制顯式的對(duì)任務(wù)間交互建模，通過(guò)共享隱藏變量迭代傳遞上一輪有用信息，不僅允許共享特征，并且更好的獲取不同任務(wù)間交互信息，有助于特征學(xué)習(xí)和推理。

方面級(jí)任務(wù)引入方面/觀點(diǎn)詞抽取和方面情感預(yù)測(cè)兩個(gè)任務(wù)模塊，設(shè)計(jì)詞級(jí)信息交互機(jī)制，及AT-AS 的信息傳遞通道，實(shí)現(xiàn)基于方面的雙注意力機(jī)制；篇章級(jí)任務(wù)引入情感預(yù)測(cè)和類別預(yù)測(cè)兩個(gè)任務(wù)模塊，設(shè)計(jì)GRUMP網(wǎng)絡(luò)，利用大規(guī)模篇章級(jí)語(yǔ)料庫(kù)的知識(shí)，與方面級(jí)任務(wù)聯(lián)合訓(xùn)練。

設(shè)計(jì)迭代算法在方面級(jí)和篇章級(jí)任務(wù)間交替訓(xùn)練，通過(guò)準(zhǔn)確率、F1 分?jǐn)?shù)在模型整體及分量性能、篇章級(jí)網(wǎng)絡(luò)性能方面的對(duì)比實(shí)驗(yàn)，驗(yàn)證了模型的有效性和可行性。

1 相關(guān)工作

本章從方面情感分析方法、多任務(wù)學(xué)習(xí)方法、消息傳遞機(jī)制三方面討論。

基于方面的情感分析屬于細(xì)粒度分類任務(wù)，早期的機(jī)器學(xué)習(xí)結(jié)合語(yǔ)言學(xué)特征得到的是淺層特征?，F(xiàn)使用較多的是神經(jīng)網(wǎng)絡(luò)模型，文獻(xiàn)[16]基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自然語(yǔ)言處理領(lǐng)域中的任務(wù)分析。循環(huán)神經(jīng)網(wǎng)絡(luò)更適用于序列數(shù)據(jù)的處理；文獻(xiàn)[17-18]基于LSTM和GRU實(shí)現(xiàn)目標(biāo)實(shí)體和上下文間的交互，通過(guò)引入注意力機(jī)制，減少對(duì)次要及無(wú)關(guān)信息的關(guān)注度。模型構(gòu)建集成解決方案中；文獻(xiàn)[19]提出將問(wèn)題建模為具有統(tǒng)一標(biāo)記方案的序列標(biāo)記任務(wù)，但是效果不佳；文獻(xiàn)[20]沿著這個(gè)方向提出了具有更復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)的模型，子任務(wù)間的交互并沒(méi)有明確建模。

多任務(wù)學(xué)習(xí)方法中傳統(tǒng)學(xué)習(xí)框架在各種自然語(yǔ)言處理任務(wù)中取得較好效果[19-20]。通過(guò)使用共享表示并行學(xué)習(xí)語(yǔ)義相關(guān)任務(wù)，并在某些情況下提高模型泛化能力，通過(guò)與篇章級(jí)情感分類任務(wù)的聯(lián)合建模，明顯改善方面級(jí)情感分類效果。然而傳統(tǒng)的多任務(wù)學(xué)習(xí)方法并沒(méi)有明確地對(duì)任務(wù)之間的交互進(jìn)行建模，AT和AS這兩個(gè)任務(wù)會(huì)通過(guò)錯(cuò)誤反向傳播之間的交互獲取學(xué)習(xí)特征，這種隱式交互是不可控的。

消息傳遞機(jī)制已經(jīng)在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理中進(jìn)行研究，若將這些消息傳遞算法建模成網(wǎng)絡(luò)，消息傳遞過(guò)程可以看作是一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)，此類架構(gòu)方法適用于解決多任務(wù)學(xué)習(xí)問(wèn)題。基于以上提出的問(wèn)題，需要一個(gè)更好的網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)進(jìn)一步的任務(wù)交互。

2 基于信息傳遞的多任務(wù)交互式學(xué)習(xí)網(wǎng)絡(luò)

本章介紹基于信息傳遞機(jī)制的多任務(wù)交互式學(xué)習(xí)網(wǎng)絡(luò)（MTIITM），通過(guò)消息傳遞機(jī)制對(duì)不同任務(wù)建模，實(shí)現(xiàn)細(xì)粒度屬性級(jí)分類任務(wù)和篇章級(jí)分類任務(wù)間信息交互。

MTIITM架構(gòu)如圖1所示，具體功能如下：

圖1 多任務(wù)交互式學(xué)習(xí)網(wǎng)絡(luò)Fig.1 Multi-task interactive learning network

（1）方面級(jí)分類任務(wù)。引入方面/觀點(diǎn)詞抽取和方面目標(biāo)情感預(yù)測(cè)兩個(gè)任務(wù)模塊，添加AT向AS的信息傳遞通道實(shí)現(xiàn)自注意力機(jī)制，并設(shè)計(jì)詞級(jí)信息交互機(jī)制，實(shí)現(xiàn)基于方面的雙注意力機(jī)制。

（2）篇章級(jí)分類任務(wù)。引入篇章級(jí)文本情感預(yù)測(cè)和類別預(yù)測(cè)兩個(gè)任務(wù)模塊，設(shè)計(jì)GRU-MP 網(wǎng)絡(luò)獲取預(yù)測(cè)結(jié)果。

（3）消息傳遞機(jī)制。顯式地對(duì)任務(wù)間交互進(jìn)行建模，通過(guò)共享隱藏變量在不同任務(wù)間迭代傳遞信息。

（4）參數(shù)學(xué)習(xí)。設(shè)計(jì)迭代算法，在方面級(jí)和篇章級(jí)任務(wù)間交替訓(xùn)練，利用大規(guī)模文檔級(jí)語(yǔ)料庫(kù)的知識(shí)，與方面級(jí)任務(wù)AT和AS聯(lián)合訓(xùn)練。

2.1 通用特征模塊

給定句子表示s={w1,w2,…,wl,…,wl+m-1,…,wn}，作為基礎(chǔ)特征抽取模塊Ms的輸入，包含n個(gè)單詞，其中wi是句子s的第i個(gè)元素。方面詞表示asp={wl,…,wl+m-1}，包含m個(gè)單詞，以方面詞為界，左邊稱為上文aspL，長(zhǎng)度(l+m-1)，右邊稱為下文aspR，長(zhǎng)度(n-l+1)。模塊Ms由一個(gè)詞嵌入層和幾個(gè)特征提取層組成，特征提取層采用ns層卷積神經(jīng)網(wǎng)絡(luò)。

共享隱藏向量進(jìn)入特定任務(wù)模塊，每個(gè)特定子任務(wù)模塊有自己內(nèi)部的一組隱藏變量和輸出變量，輸出變量相當(dāng)于序列標(biāo)記任務(wù)中的標(biāo)簽序列。在方面/觀點(diǎn)詞提取任務(wù)（AT）中，針對(duì)每個(gè)字符對(duì)應(yīng)一個(gè)標(biāo)簽，表示字符是否屬于某一方面/觀點(diǎn)；在方面級(jí)情感分類任務(wù)（AS）中，針對(duì)每個(gè)標(biāo)記過(guò)的方面目標(biāo)，確定其情感分類標(biāo)簽。在篇章級(jí)文本分類任務(wù)中，輸出對(duì)應(yīng)整體文本的情感標(biāo)簽和類別標(biāo)簽。

2.2 方面級(jí)情感分類任務(wù)

2.2.1 基礎(chǔ)模塊映射表示

AT 任務(wù)模塊Mat和AS 任務(wù)模塊Mas旨在抽取方面/觀點(diǎn)目標(biāo)和預(yù)測(cè)情感分類，建立方面/觀點(diǎn)詞抽取任務(wù)模塊和方面情感預(yù)測(cè)任務(wù)模塊間的信息傳遞通道，信息由AT傳遞到AS，實(shí)現(xiàn)二者信息交互。

AT看作一個(gè)序列標(biāo)記問(wèn)題，采用BIO標(biāo)記方案，定義五個(gè)類標(biāo)簽：oat={BA,IA,BP,IP,O}，分別表示屬于方面詞的主要、次要位置詞語(yǔ)，屬于觀點(diǎn)詞的主要、次要位置詞語(yǔ)，以及其他詞。文中將任務(wù)模塊AS 也定義為一個(gè)序列標(biāo)記問(wèn)題，形式為oas={pos,neg,neu}，分別表示方面詞的正向、負(fù)向和中性情感。

2.2.3 基于詞級(jí)交互的方面注意力機(jī)制

AS編碼器中實(shí)現(xiàn)了結(jié)合模塊間交互信息的基礎(chǔ)映射，設(shè)計(jì)了結(jié)合詞級(jí)交互信息的方面注意力機(jī)制。兩種不同的注意力機(jī)制意味著提取的高層次特征更加豐富，合并兩個(gè)輸出得到各種角度的文本權(quán)重。

分別計(jì)算句子上文、下文以及方面詞的詞向量aspL∈R(l+m-1)、aspR∈R(n-l+1)和asp∈Rm，通過(guò)GRU 網(wǎng)絡(luò)提取各自語(yǔ)義信息，分別得到三部分的隱層向量表示hAL、hAR、hA。詞級(jí)交互注意力實(shí)現(xiàn)如下：

式（4）計(jì)算hAL和hA的成對(duì)交互矩陣PL-A，獲取上文文本和方面詞的交互信息；式（5）通過(guò)計(jì)算PL-A的列式softmax值，獲得方面詞對(duì)左邊文本的相關(guān)性權(quán)重向量ql，抽取左邊文本的關(guān)鍵情感特征；式（6）計(jì)算PL-A的行式softmax值，獲得左邊文本對(duì)方面詞的相關(guān)性權(quán)重向量qla，在qla的列方向計(jì)算均值qˉla，抽取方面詞的關(guān)鍵情感特征，如式（7）；式（8）和（9）通過(guò)兩部分注意力向量計(jì)算方面詞和左邊文本的交互特征向量kla，與hAL加權(quán)求和，求得基于方面的左邊文本表示kl。

按照上述步驟實(shí)現(xiàn)方面詞和右邊文本的詞級(jí)交互注意力機(jī)制，最終得到基于方面的右邊文本表示kr。通過(guò)上文和下文的拼接操作，得到基于方面的向量表示attk，與自注意力機(jī)制合并得到雙注意力輸出：

2.3 篇章級(jí)分類任務(wù)

為了解決方面級(jí)文本訓(xùn)練數(shù)據(jù)不足的問(wèn)題，引入兩個(gè)篇章級(jí)分類任務(wù)，分別是篇章級(jí)情感預(yù)測(cè)（TS）和篇章級(jí)類別預(yù)測(cè)（TC），與AT 和AS 聯(lián)合訓(xùn)練。本節(jié)通過(guò)篇章級(jí)情感預(yù)測(cè)及類別預(yù)測(cè)的語(yǔ)料庫(kù)獲取有用信息。

篇章級(jí)情感模塊Mts和類別模塊Mtc在GRU 網(wǎng)絡(luò)的基礎(chǔ)上采用一個(gè)類似多層感知機(jī)結(jié)構(gòu)的網(wǎng)絡(luò)，并結(jié)合池化操作（GRU-MP），結(jié)構(gòu)如圖2所示。

圖2 GRU-MP網(wǎng)絡(luò)Fig.2 GRU-MP network

同時(shí)采用池化操作提取位置不變特征和關(guān)鍵信息，將語(yǔ)義矩陣轉(zhuǎn)為語(yǔ)義向量。這里采用最大池化操作，對(duì)比平均池化能更好的保留位置信息。最后將文本情感權(quán)重狀態(tài)和文本語(yǔ)義表達(dá)相結(jié)合，過(guò)程如下：

最后使用帶softmax函數(shù)的全連接層作為解碼層。

2.4 消息傳遞機(jī)制

采用消息傳遞機(jī)制顯式地對(duì)任務(wù)間交互進(jìn)行建模，過(guò)程中聚合了上一輪迭代中不同任務(wù)的預(yù)測(cè)信息，以此來(lái)更新當(dāng)輪迭代中的共享隱藏表示。與大多數(shù)通過(guò)學(xué)習(xí)共同特征表示來(lái)共享信息的多任務(wù)學(xué)習(xí)方案相比，本文不僅允許使用共享特征，而且還獲取不同任務(wù)間的交互信息，有助于特征學(xué)習(xí)和推理。這個(gè)操作是迭代執(zhí)行的，隨著迭代次數(shù)的增加，允許在多個(gè)鏈接修改和傳播信息。

在消息傳遞過(guò)程中，第t輪迭代聚合了上一輪隱藏

其中[:] 表示級(jí)聯(lián)操作，采用帶有ReLU激活函數(shù)的全連接層實(shí)現(xiàn)重新編碼功能fθ。式中融合了方面/觀點(diǎn)抽取和方面情感預(yù)測(cè)模塊的輸出，以及篇章級(jí)文本情感預(yù)測(cè)的輸出，它代表的是整個(gè)文本的情感表達(dá)。此外，還融合了來(lái)自篇章級(jí)兩個(gè)任務(wù)中的映射表示，它分別反映了某一元素的情感相關(guān)度和類別相關(guān)度，相關(guān)度越高，則預(yù)測(cè)為方面詞或觀點(diǎn)詞的概率越大。由于任務(wù)模塊AT和AS是最終任務(wù)，因此，在迭代過(guò)程中主要使用兩者的輸出進(jìn)行信息傳遞，篇章級(jí)文本分類任務(wù)主要用于數(shù)據(jù)訓(xùn)練。

2.5 參數(shù)學(xué)習(xí)算法

模型在方面級(jí)和篇章級(jí)實(shí)例間交替訓(xùn)練，設(shè)計(jì)的算法類似于一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)，因?yàn)槊看蔚际褂孟嗤W(wǎng)絡(luò)來(lái)更新共享隱藏變量。方面級(jí)訓(xùn)練實(shí)例的損失函數(shù)定義如下：

Da、Dts、Dtc分別為方面級(jí)預(yù)測(cè)和篇章級(jí)情感及類別預(yù)測(cè)的訓(xùn)練數(shù)據(jù)，Da、Dts來(lái)自同一領(lǐng)域類別，Dtc包含至少兩個(gè)領(lǐng)域類別的評(píng)論文本，其中一個(gè)領(lǐng)域類別和方面級(jí)相似，由此使模塊間語(yǔ)義相近，有價(jià)值的語(yǔ)義信息從篇章級(jí)任務(wù)傳遞到方面級(jí)任務(wù)。因此首先在篇章級(jí)任務(wù)上訓(xùn)練，得到合理的預(yù)測(cè)，再在方面級(jí)和篇章級(jí)間交替訓(xùn)練，利用比率參數(shù)p使損失值最小化，p采用交叉驗(yàn)證方法獲取。算法的時(shí)間復(fù)雜度與maxepochs和batchsize相關(guān)，若用m、n分別代表它們，則上述算法時(shí)間復(fù)雜度為O(m×n)。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

方面級(jí)情感分類任務(wù)采用數(shù)據(jù)集SemEval2014 和SemEval2015 中的3 個(gè)基準(zhǔn)數(shù)據(jù)，如表1 所示，顯示了3個(gè)數(shù)據(jù)集在方面詞和觀點(diǎn)詞預(yù)測(cè)的訓(xùn)練集和測(cè)試集數(shù)量。

表1 數(shù)據(jù)集信息Table 1 Dataset information

篇章級(jí)分類任務(wù)采用兩個(gè)不同領(lǐng)域的數(shù)據(jù)集Yelp restaurant 和Amazon electronics，類別預(yù)測(cè)連接兩個(gè)數(shù)據(jù)集一起訓(xùn)練；情感預(yù)測(cè)采用其中一個(gè)數(shù)據(jù)集，與方面級(jí)任務(wù)采用的數(shù)據(jù)集類別一致。例如方面級(jí)情感預(yù)測(cè)采用表2中的餐飲類，則篇章級(jí)情感預(yù)測(cè)選擇篇章級(jí)訓(xùn)練數(shù)據(jù)中的餐飲類，方面級(jí)情感預(yù)測(cè)采用表2中的電器類，則篇章級(jí)情感預(yù)測(cè)選擇篇章級(jí)訓(xùn)練數(shù)據(jù)中的電器類。

表2 不同模型在3個(gè)數(shù)據(jù)集上的性能指標(biāo)Table 2 Performance indicators of different models on three datasets 單位：%

3.2 參數(shù)設(shè)置和評(píng)價(jià)指標(biāo)

通用基礎(chǔ)特征模塊詞嵌入初始化，連接通用嵌入矩陣和特定類別的嵌入矩陣，通用嵌入矩陣是具有300維的預(yù)訓(xùn)練Glove 向量，類別嵌入矩陣是100 維的餐飲和電器類預(yù)訓(xùn)練fastText向量。訓(xùn)練使用Adam優(yōu)化器，學(xué)習(xí)率和批量尺寸按常規(guī)值設(shè)置，無(wú)需進(jìn)行特定調(diào)整，分別為10-4和32。

消息傳遞機(jī)制迭代次數(shù)及各個(gè)模塊網(wǎng)絡(luò)層數(shù)直接影響訓(xùn)練開(kāi)銷及預(yù)測(cè)效果，一般可通過(guò)設(shè)置閾值類思路避免數(shù)值過(guò)大造成的開(kāi)銷增加及模型過(guò)擬合，以達(dá)到較好效果。本文對(duì)訓(xùn)練中的一系列參數(shù)采用交叉驗(yàn)證的方法計(jì)算，得到較優(yōu)參數(shù)的同時(shí)控制了重復(fù)次數(shù)：其中共享編碼器和特定任務(wù)編碼器卷積層的層數(shù)，使基礎(chǔ)模塊和特定任務(wù)任一模塊卷積層層數(shù)之和等于交叉驗(yàn)證產(chǎn)生值，則ns,nat,nas,nts,ntc可設(shè)置為{2,2,0,0,0} 或{1,3,1,1,1} ；訓(xùn)練中通過(guò)交叉驗(yàn)證在方面級(jí)數(shù)據(jù)集上調(diào)整最大迭代次數(shù)，設(shè)置為2，在方面級(jí)數(shù)據(jù)集和同類別篇章級(jí)數(shù)據(jù)集上調(diào)整參數(shù)p，使損失最小化，設(shè)置為2。

實(shí)驗(yàn)中分別采用不同指標(biāo)評(píng)估模型性能，兩個(gè)用于方面/意見(jiàn)詞抽取模塊，兩個(gè)用于方面情感預(yù)測(cè)性能。方面詞和意見(jiàn)詞預(yù)測(cè)結(jié)果用F1 分?jǐn)?shù)衡量，表示為F1a和F1o，方面情感預(yù)測(cè)結(jié)果采用準(zhǔn)確率和F1 衡量，表示為accs和F1s。

3.3 對(duì)比模型

實(shí)驗(yàn)對(duì)比模型如下所示。

（1）CMLA-AL：基于長(zhǎng)短期記憶網(wǎng)絡(luò)構(gòu)建模型，通過(guò)方面詞和觀點(diǎn)詞間的相互依賴關(guān)系建模，獲取文本方面詞和觀點(diǎn)詞預(yù)測(cè)，在注意力機(jī)制基礎(chǔ)上獲取情感預(yù)測(cè)[6，17]。

（2）DECNN-AL：基于多層卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模型，結(jié)合通用類別和特定領(lǐng)域類別數(shù)據(jù)，獲取文本方面詞和觀點(diǎn)詞預(yù)測(cè)，基于長(zhǎng)短期記憶網(wǎng)絡(luò)上的注意機(jī)制獲取情感預(yù)測(cè)[5，17]。

（3）CMLA-DT：通過(guò)方面詞和觀點(diǎn)詞間的相互依賴關(guān)系建模，獲取文本方面詞和觀點(diǎn)詞預(yù)測(cè)，結(jié)合領(lǐng)域類別數(shù)據(jù)庫(kù)的語(yǔ)義知識(shí)，獲取情感分類[6，18]。

（4）DECNN-DT：基于多層卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模型，結(jié)合領(lǐng)域類別數(shù)據(jù)庫(kù)的語(yǔ)義知識(shí)，基于注意力機(jī)制獲取情感分類[5，18]。

（5）INABSA：是一種多任務(wù)集成模型，將整個(gè)任務(wù)建模為序列標(biāo)記問(wèn)題，具有統(tǒng)一的標(biāo)記方案的方面抽取和情感預(yù)測(cè)模型[19]。

（6）MNN：是一種多任務(wù)集成模型，通過(guò)神經(jīng)網(wǎng)絡(luò)多任務(wù)學(xué)習(xí)實(shí)現(xiàn)方面提取和情感分析任務(wù)[20]。

（7）FT-RoBERTa：同時(shí)比較了分別基于預(yù)訓(xùn)練模型和句法解析器生成的依存句法樹(shù)在ABSA上的性能[21]。

（8）BERTAsp+SCAPT：從域內(nèi)檢索的大規(guī)模情感標(biāo)注語(yǔ)料庫(kù)進(jìn)行了有監(jiān)督的對(duì)比性預(yù)訓(xùn)練，預(yù)訓(xùn)練過(guò)程可以更好地捕捉評(píng)論中隱性和顯性情緒傾向[22]。

3.4 模型有效性分析

除6 種對(duì)比模型，還對(duì)比了MTIITM-t 即未嵌入篇章級(jí)文本語(yǔ)料庫(kù)的網(wǎng)絡(luò)，分析表2數(shù)據(jù)，在3個(gè)數(shù)據(jù)集上數(shù)據(jù)走向基本一致，MTIITM 和MTIITM-t 模型優(yōu)于對(duì)比模型。

針對(duì)方面詞和觀點(diǎn)詞抽取模塊的實(shí)驗(yàn)數(shù)據(jù)，可以看出MTIITM-t 模型結(jié)果最優(yōu)，由此可得未嵌入篇章級(jí)文本語(yǔ)料庫(kù)的模型在這一部分優(yōu)于其他模型；針對(duì)方面情感預(yù)測(cè)模塊部分，方面詞是語(yǔ)料庫(kù)中已標(biāo)注過(guò)的正確標(biāo)簽，在此基礎(chǔ)上，MTIITM模型最優(yōu)，即加入基于詞級(jí)交互和AT-AS 信息交互的雙注意力機(jī)制的模型在方面級(jí)情感預(yù)測(cè)中優(yōu)于單獨(dú)運(yùn)行兩個(gè)模塊的模型。從多任務(wù)整體性能的角度看，實(shí)驗(yàn)中嵌入文檔級(jí)語(yǔ)料分析或句法分析的幾種模型，均有效提高了分類準(zhǔn)確率和F1 分?jǐn)?shù)，未加入篇章級(jí)語(yǔ)料庫(kù)嵌入的MTIITM-t也優(yōu)于其他大部分對(duì)比模型。由此可得通過(guò)模塊間交互信息的獲取和篇章級(jí)大型文本語(yǔ)料庫(kù)的利用有效的提高了模型準(zhǔn)確率，模型適用性更強(qiáng)。

圖3 不同迭代次數(shù)的F1分?jǐn)?shù)Fig.3 F1 scores for different iterations

模型采用不同領(lǐng)域的數(shù)據(jù)集以配合聯(lián)合訓(xùn)練中的篇章級(jí)類別預(yù)測(cè)模塊，模型適用范圍較廣，對(duì)于包含跨領(lǐng)域文本的方面情感分析同樣適用。因此可以作為預(yù)訓(xùn)練模型利用遷移學(xué)習(xí)的思路應(yīng)用到多種任務(wù)中，以減少耗時(shí)，提高模型精確度，進(jìn)一步獲得性能提升。針對(duì)提出模型層數(shù)及功能模塊豐富的特點(diǎn)，復(fù)用時(shí)可采用一些微調(diào)方法，例如：利用預(yù)訓(xùn)練模型體系在大量計(jì)算資源上進(jìn)行訓(xùn)練，較低層適用的是通用特征，而較高層適用的是特殊特征，因此可選擇凍結(jié)部分層或模塊，只訓(xùn)練所需要的部分。若數(shù)據(jù)集較小并擁有大量參數(shù)，則需要凍結(jié)更多的層避免過(guò)度擬合，若數(shù)據(jù)集較大并參數(shù)數(shù)量很少，則通過(guò)對(duì)新任務(wù)訓(xùn)練更多層來(lái)完善模型。

3.5 分量貢獻(xiàn)比較

通用基礎(chǔ)特征模塊、方面詞抽取模塊和方面詞情感預(yù)測(cè)模塊組成模型的原始狀態(tài)，在原始模型基礎(chǔ)上分別加入某一分量，驗(yàn)證模型效果。

如表3所示，分別加入基于詞級(jí)交互和AT-AS信息傳遞的雙注意力機(jī)制；在消息迭代傳遞中傳送方面級(jí)任務(wù)的輸出更新共享變量（M-A）；在消息迭代傳遞中傳遞篇章級(jí)任務(wù)的輸出更新共享變量（M-T）；加入TS/TC 任務(wù)進(jìn)行參數(shù)訓(xùn)練。分析表3 數(shù)據(jù)，每一個(gè)分量的加入都有效提高了模型F1 分?jǐn)?shù)，其中消息傳遞迭代中M-A 和M-T 對(duì)模型性能影響最大，可得消息傳遞機(jī)制的有效性，由于通用基礎(chǔ)特征模塊已嵌入篇章級(jí)文本語(yǔ)料庫(kù)，所以后續(xù)TS/TC 任務(wù)獲取的信息對(duì)模型性能影響稍弱。

表3 分量對(duì)模型性能貢獻(xiàn)對(duì)比Table 3 Components contribution to model performance comparison

3.6 GRU-MP網(wǎng)絡(luò)性能

將方面級(jí)情感預(yù)測(cè)模塊的基本方法運(yùn)用到篇章級(jí)文本分類模塊，對(duì)比文中提出的篇章級(jí)GRU-MP 網(wǎng)絡(luò)，基本方法MTIITM-CNN 采用多層CNN 和自注意力計(jì)算，去除自注意力層BI 操作。對(duì)比結(jié)果如圖4 所示，GRU-MP 網(wǎng)絡(luò)通過(guò)注意力層得到的情感權(quán)重和最大池化操作提取位置不變特征和關(guān)鍵信息，更好地保留文本的語(yǔ)義信息和位置信息，在三個(gè)數(shù)據(jù)集上均比基本方法的F1分?jǐn)?shù)有所提高，有效提高了情感預(yù)測(cè)性能。

圖4 GRU-MP網(wǎng)絡(luò)性能Fig.4 GRU-MP network performance

4 結(jié)語(yǔ)

本文基于方面情感分析，提出基于消息傳遞機(jī)制的多任務(wù)交互式學(xué)習(xí)網(wǎng)絡(luò)，設(shè)計(jì)的消息傳遞機(jī)制顯式地對(duì)任務(wù)間交互進(jìn)行建模，通過(guò)共享隱藏變量迭代傳遞信息，有助于特征學(xué)習(xí)和推理，并提高了模型性能。方面級(jí)任務(wù)中實(shí)現(xiàn)雙注意力信息交互機(jī)制，通過(guò)GRU-MP網(wǎng)絡(luò)實(shí)現(xiàn)篇章級(jí)任務(wù)預(yù)測(cè)，通過(guò)迭代算法在方面級(jí)和篇章級(jí)任務(wù)間交替訓(xùn)練，驗(yàn)證了模型的有效性和可行性。模型適用范圍廣，對(duì)于包含跨領(lǐng)域文本的方面情感分析，模型同樣適用。