基于對抗訓(xùn)練和片段級別的雙向情感三元組抽取模型

關(guān)鍵詞：情感分析;情感三元組抽取;雙仿射;片段;對抗訓(xùn)練

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

情感三元組提供了對文本主觀態(tài)度的結(jié)構(gòu)化理解，可應(yīng)用于輿情監(jiān)測[1-2]、產(chǎn)品評價分析[3-4]等領(lǐng)域，作為情感分析的重要子任務(wù)，其目標(biāo)是從非結(jié)構(gòu)化文本中抽取出語義完整的情感三元組，即“情感詞-情感目標(biāo)-情感極性”。近年來，深度學(xué)習(xí)技術(shù)在自然語言處理領(lǐng)域取得顯著進(jìn)展，為情感三元組抽取提供了新的思路。但是，該任務(wù)仍然面臨一定困難，如情感詞確定的語義模糊性、交叉句子的遠(yuǎn)程依賴關(guān)系等。

目前，應(yīng)用于此類任務(wù)的模型主要分為流水線模型和端到端模型。流水線模型無法解決實(shí)體重疊問題，并且容易導(dǎo)致錯誤傳播;端到端模型無法有效地建立詞與詞之間的聯(lián)系，忽略了元素之間的語義和句法關(guān)系，導(dǎo)致模型無法準(zhǔn)確理解文本的深層含義。此外，目前的模型沒有考慮到多特征交互[5]的情感三元組抽取可能受到訓(xùn)練數(shù)據(jù)集偏向的影響，限制了其泛化能力和適用范圍。因此，本文以SBN（A Span-level BidirectionalNetwork for Aspect Sentiment Triplet Extraction）模型[6]作為基線，提出了基于對抗訓(xùn)練和片段級別的雙向情感三元組抽取模型AD-ASTE （Bidirectional Aspect Sentiment TripletExtraction Model Based on Adversarial Training and SpanLevel）。

1 相關(guān)工作（Related work）

方面級情感分析（Aspect-Based Sentiment Analysis，ABSA）可分為多個細(xì)粒度任務(wù)，例如方面詞抽?。ˋspect TermExtraction，ATE）[7]、觀點(diǎn)詞抽?。∣pinion Term Extraction，OTE）[8]、關(guān)聯(lián)對抽?。ˋspect-Opinion Pair Extraction，AOPE）[9]等。然而，單獨(dú)處理某一子任務(wù)并不能提供完整的情感要素，因此在實(shí)際應(yīng)用中的價值受到了一定的限制。PENG等[10]首次提出了方面情感三元組抽取任務(wù)，并設(shè)計了兩段式流水線模型。該模型在第一階段抽取出評論句中的方面詞、觀點(diǎn)詞和情感極性對，然后在第二階段進(jìn)行配對。該流水線模型用于判斷情感極性時，未充分考慮觀點(diǎn)詞的影響，分割了詞與詞之間的聯(lián)系，同時無法有效地解決方面詞重疊的問題，進(jìn)一步加劇了誤差的積累。

基于此，研究者開始提出一系列端到端的方法。XU等[11]提出了一種端到端的模型JET（Position-Aware Tagging forAspect Sentiment Triplet Extraction）進(jìn)行目標(biāo)和觀點(diǎn)片段的聯(lián)合抽取。該模型采用了一種位置感知的標(biāo)記方案，將目標(biāo)和觀點(diǎn)片段編碼為標(biāo)簽序列。采用端對端的方式直接避免了原有模型因分階段處理導(dǎo)致特征提取出不完整的弊端，根據(jù)三元組之間的關(guān)系計算每個詞的標(biāo)簽，并通過條件隨機(jī)場獲得最佳的標(biāo)簽順序。

以上方法在判斷情感極性時均只利用了字符級別（Token）的信息，沒有充分利用片段級別（Span）的信息，并且嚴(yán)重依賴于方面詞和觀點(diǎn)詞之間的相互作用，不能很好地處理包含多個單詞的方面詞和觀點(diǎn)詞。為此，XU等[12]引入了實(shí)體關(guān)系聯(lián)合抽取領(lǐng)域的方法，提出Span-ASTE（Learning Span-Level Interactions for Aspect Sentiment Triplet Extraction）模型，通過耦合方面詞和觀點(diǎn)詞片段表示，預(yù)測它們之間的情感關(guān)系。模型通過雙通道剪枝策略減少計算成本，并使有效的方面詞和觀點(diǎn)詞片段配對在一起的機(jī)會最大化，充分利用多詞術(shù)語的語義信息。

隨著ASTE任務(wù)的推進(jìn)，越來越多的研究者將其他領(lǐng)域的方法引入該項(xiàng)任務(wù)中。CHEN等[13]將ASTE轉(zhuǎn)化為多輪機(jī)器閱讀理解任務(wù)，提出了BMRC模型，基于雙向機(jī)器閱讀理解框架，設(shè)計了三輪查詢來識別方面情感三元組。ZHANG等[14]提出GAS模型，設(shè)計了注釋式和抽取式建模的范式，通過將ASTE任務(wù)表述為文本生成問題來實(shí)現(xiàn)訓(xùn)練過程。CHEN等[15]提出了一種增強(qiáng)型多通道圖卷積網(wǎng)絡(luò)模型（EMC-GCN），通過將單詞和關(guān)系相鄰張量分別作為節(jié)點(diǎn)和邊，將句子轉(zhuǎn)換成多通道圖，充分利用詞與詞之間的聯(lián)系。

2 研究方法（Research methods）

如圖1所示，本文提出的網(wǎng)絡(luò)主要由編碼層、對抗訓(xùn)練層、候選片段層、雙向抽取網(wǎng)絡(luò)層和輸出推理層5個部分組成。下文先對ASTE任務(wù)進(jìn)行定義，然后詳細(xì)說明網(wǎng)絡(luò)結(jié)構(gòu)。

2.2 基于SpanBERT模型的詞向量編碼

與主流的情感三元組抽取模型不同，本文受文獻(xiàn)[16]的啟發(fā)，將SpanBERT用于詞向量編碼，使用SpanBERT+BiGRU進(jìn)行文本特征提取?；赥ransformer[17]的預(yù)訓(xùn)練模型BERT采用了雙向Transformer結(jié)構(gòu)，可以對句子建模，以獲取上下文語義特征信息，并通過預(yù)測掩碼語言模型任務(wù)學(xué)習(xí)文本表示。然而，BERT是隨機(jī)掩碼輸入序列中的字，這樣做會讓本來有強(qiáng)相關(guān)性的字詞在訓(xùn)練的時候割裂開，難以建立詞與詞之間的關(guān)聯(lián)信息。本文提出將SpanBERT作為詞向量模型，以保持上游任務(wù)與下游任務(wù)的一致性。

SpanBERT是一種基于BERT的改進(jìn)模型，主要在掩碼機(jī)制和訓(xùn)練目標(biāo)上有所差異。具體來說，SpanBERT在訓(xùn)練時對隨機(jī)的鄰接片段添加掩碼，而不是對隨機(jī)的單個詞語（Token）添加掩碼，并通過使用分詞邊界表示，預(yù)測被掩碼的分詞內(nèi)容。此外，SpanBERT還提出了一個新的訓(xùn)練目標(biāo)（Span-BoundaryObjective，SBO）進(jìn)行模型訓(xùn)練。通過這些改進(jìn)，SpanBERT能夠更好地表示和預(yù)測分詞片段，提高模型在片段級別任務(wù)上的性能。圖2為SpanBERT訓(xùn)練圖例。其中，片段“an Americanfootball game”作為掩碼處理，SBO任務(wù)使用邊界標(biāo)記x 和x的輸出表示，用于預(yù)測被掩碼片段中的每個字。

其中：TP 是預(yù)測正確的三元組數(shù)量，F(xiàn)P 是預(yù)測不正確的三元組數(shù)量，F(xiàn)N 是未能預(yù)測出的正確三元組數(shù)量。

3.4 實(shí)驗(yàn)基線

為了評估本文模型的性能，將其與以下基準(zhǔn)模型進(jìn)行比較。

Peng-Two-Stage[10]：該模型以流水線的方式將ASTE任務(wù)分為兩個階段。第一階段預(yù)測所有方面詞和觀點(diǎn)詞以及對應(yīng)的情感極性，第二階段使用關(guān)系分類器與第一階段得到的結(jié)果進(jìn)行配對，獲得有效三元組。

JET-BERT[11]：該模型采用端對端的方式，提出了一種位置感知的標(biāo)注機(jī)制，該機(jī)制充分考慮了情感三元組中各個元素之間的交互信息，根據(jù)條件隨機(jī)場獲得最佳的標(biāo)簽順序。

GTS-BERT[25]：該模型提出一種網(wǎng)格標(biāo)注方式，根據(jù)提取到的令牌的情感特征計算初始預(yù)測概率，并設(shè)計了一種推理策略，利用不同意見詞之間潛在的相互指示進(jìn)行最終預(yù)測。

Span-ASTE[12]：該模型提出了一種基于文本片段的模型，該模型考慮了片段級別的交互，并提出了一種雙通道剪枝策略，以提高時間效率。

SBN[6]：該模型同時從由方面到觀點(diǎn)和由觀點(diǎn)到方面的兩個方向提取信息，并使用KL散度（Kullback-Leibler Divergence）分離相似片段，使用推理策略消除相似片段。

3.5 對比實(shí)驗(yàn)

表2給出了不同的基線模型和本文提出的AD-ASTE模型在ASTE-Data-V2數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出的框架在4個數(shù)據(jù)集上幾乎都達(dá)到了最高的F1分?jǐn)?shù)。對于最優(yōu)結(jié)果，表1中通過加粗方式予以標(biāo)識，*表示該結(jié)果從原文處復(fù)制。

從表2中的數(shù)據(jù)可以看出，相較于流水線模型（Peng-Two-Stage），端到端的模型（JET-BERT、GTS-BERT、Span-ASTE、SBN）在4個數(shù)據(jù)集的各項(xiàng)評測指標(biāo)上都有很大程度上的提高，說明端到端的方法可以捕捉文本中的復(fù)雜情感依賴關(guān)系，避免了流水線方法存在的錯誤傳播的問題，降低了錯誤累計的風(fēng)險，并提高了系統(tǒng)的整體性能，因此可以更好地處理ASTE任務(wù)。

盡管都是端到端的方法，與基于序列標(biāo)注級別的模型（JET-BERT、GTS-BERT）相比較，基于片段級別的模型（Span-ASTE、SBN）顯著超過了基于序列標(biāo)注的方法，這是因?yàn)槠伍L度和首尾特征信息在片段識別過程中起到了重要作用，這兩項(xiàng)信息可以幫助模型更好地確定候選項(xiàng)的邊界，這一結(jié)果證明了完整的文本片段級別的交互信息對ASTE任務(wù)的完成有巨大的促進(jìn)作用。

雖然都采用了基于文本片段的方法，但是本文提出的模型在4個數(shù)據(jù)集上的F1分?jǐn)?shù)均超過了基線的最優(yōu)模型SBN（ASpan-level Bidirectional Network for Aspect Sentiment TripletExtraction）。具體而言，在4個數(shù)據(jù)集上的F1指標(biāo)分別超過了SBN模型0.85百分點(diǎn)、1.42百分點(diǎn)、2.27百分點(diǎn)和2.85百分點(diǎn)，僅在14LAP和15RES上的準(zhǔn)確率指標(biāo)略低于SBN，這可能是因?yàn)橐肓嗽肼?，?dǎo)致模型偏向于某些類別的預(yù)測，但是F1值仍然保持較高水平。并且，模型在RES15和RES16 兩個數(shù)據(jù)集上的F1指標(biāo)有較大幅度的提升，表明了引入FGM 的方法更適應(yīng)數(shù)據(jù)語法結(jié)構(gòu)較強(qiáng)的情況，提高了網(wǎng)絡(luò)的泛化性和魯棒性。

3.6 消融實(shí)驗(yàn)

為驗(yàn)證AD-ASTE模型中不同模塊的有效性，包括對抗訓(xùn)練FGM方法、BiGRU模塊和Biaffine分類器對模型最終效果的影響，本文設(shè)計了消融實(shí)驗(yàn)進(jìn)行進(jìn)一步研究，以F1值為評價指標(biāo)，其中“-”表示未加入該模塊，“-SpanBERT”為僅使用普通的BERT預(yù)訓(xùn)練模型。逐步去掉本文提出的模塊后，消融實(shí)驗(yàn)結(jié)果如表3所示。

從表3中的數(shù)據(jù)可以看出，停止使用FGM 方法訓(xùn)練后，4個數(shù)據(jù)集上的F1值分別降低了0.55百分點(diǎn)、0.58百分點(diǎn)、1.02百分點(diǎn)和1.12百分點(diǎn)，說明使用對抗訓(xùn)練方法為模型添加擾動后，模型的魯棒性和泛化能力均有所提升。去除BiGRU模塊和Biaffine模塊后，4個數(shù)據(jù)集上的F1值略有下降，表明BiGRU能夠有效地捕捉上下文信息，能夠?qū)ι舷挛男畔⑦M(jìn)行更全面的特征提取，Biaffine分類器能夠利用仿射變換捕捉文本中詞對之間的關(guān)系，從而更好地理解文本中的語義信息和對上下文的依賴。使用BERT替換SpanBERT后，4個數(shù)據(jù)集上的F1值分別降低了0.44百分點(diǎn)、0.47百分點(diǎn)、0.88百分點(diǎn)和1.04百分點(diǎn)，表明SpanBERT可以更好地捕捉文本片段層面的信息，處理文本中的復(fù)雜結(jié)構(gòu)和語義信息，實(shí)驗(yàn)結(jié)果證明SpanBERT模型可以更好地處理基于片段級別的下游任務(wù)。

4 結(jié)論（Conclusion）

本文提出了一種端到端的方面情感三元組抽取模型，通過片段級別的方法學(xué)習(xí)多詞術(shù)語之間的語義聯(lián)系，以SpanBERT 為預(yù)訓(xùn)練模型，對輸入句子進(jìn)行編碼，保證了上下游任務(wù)的一致性。在模型的嵌入層添加FGM 對抗訓(xùn)練算法添加擾動，以此提高模型的魯棒性和泛化性。并且，采用BiGRU網(wǎng)絡(luò)進(jìn)行文本特征的提取，以片段級別的方法識別方面詞和觀點(diǎn)詞的邊界，通過雙向解碼模塊實(shí)現(xiàn)更完整的情感三元組提取。實(shí)驗(yàn)表明，本文方法在ASTE任務(wù)上取得了較優(yōu)性能。

雖然本文提出的模型在ASTE任務(wù)中取得了一定的效果，但是在相似片段的識別過程中，依然存在識別不清晰以及重疊三元組識別不完全的問題。接下來，將考慮采用更為有效的自適應(yīng)相似片段分離方法加強(qiáng)對三元組片段的識別，從而進(jìn)一步提升ASTE任務(wù)的整體抽取性能，這將是本文下一步工作的重心。

作者簡介：

周奕（1998-），男，碩士生。研究領(lǐng)域：自然語言處理。

馬漢杰（1982-），男，博士，副教授。研究領(lǐng)域：視頻圖像傳輸與處理，情感計算。本文通信作者。

許永恩（1993-），男，碩士，高級工程師。研究領(lǐng)域：音視頻編解碼。

宗佳敏（1997-），女，本科。研究領(lǐng)域：計算機(jī)視覺。

李少華（1998-），男，碩士生。研究領(lǐng)域：計算機(jī)視覺。