基于BERT融合多模塊的方面級情感分析

黃建民，李 強,2，王雪絨，李聰聰

基于BERT融合多模塊的方面級情感分析

黃建民1，*李 強1,2，王雪絨1，李聰聰1

（1.蘭州財經(jīng)大學信息工程學院，甘肅，蘭州 730020；2.蘭州財經(jīng)大學電子商務綜合重點實驗室，甘肅，蘭州 730020）

現(xiàn)有的BERT模型大多關注初始層到中間層的語法信息，而更高層的語義信息往往被忽略。由于判斷句子情感是需要語義的，本研究在BERT模型的基礎上加入并行聚合和層次聚合兩個模塊，分別用于方面抽取(AspectExtraction, AE)和方面情感分類(Aspect Sentiment Classification, ASC)。同時選擇條件隨機場(Conditional Random Fields,CRF)作為序列標記任務,從而提取到更多的語義信息。在SemEval 2014、SemEval 2016數(shù)據(jù)集上的實驗結果顯示，微調后的模型準確率和F1值均優(yōu)于對比模型，證實了該模型的有效性。

BERT；序列標注；微調；情感分析

與句子級、篇章級情感分析任務[1-2]不同，方面級情感分析是一種細粒度情感分析任務，其目的是確定句子中目標的不同方面（也稱“屬性”，本文用“方面”表示）所表達的情感極性，其兩個主要任務為方面抽取和方面情感分類。方面抽取任務的目標提取產(chǎn)品的特定方面，并在評論中表達一些情感。例如，在“There is a kettle on the table”這個句子中，kettle一詞是被提取的方面。這個任務可以看作是一個序列標記任務，從三個字母集合{B, I, O}中給單詞分配一個標簽，序列中的每個單詞可以是aspect term 的開始詞(B)，也可以屬于aspect term之間 (I)，或者不是aspect term (O)。方面情感分類是對某個對象的情感極性進行分類。任務描述可描述為給定一段文本 S = {w1, w2,…, wn}，文本中包含 K 個 aspect terms（K ≥ 1），每個 aspect term = {wa_1, wa_2,…, wa_m} 都是文本 S 中連續(xù)的子序列。方面情感分類任務目標是預測某一個 aspect term 在文本 S 中的情感極性。

近年來，在自然語言處理中有大量的工作將BERT[3](Bidirectional Encoder Representations from Transformers)模型應用于文本分類[4]、問答系統(tǒng)[5]、摘要生成[6]，特別是在方面級情感分析任務中。 BERT是當前語言建模中最先進的模型之一，BERT主模型由嵌入層、編碼器、池化層構成。BERT模型首先通過預訓練得到主模型的參數(shù)，當應用到下游任務時，就在主模型后接個跟下游任務配套的模塊，然后將預訓練的參數(shù)應用到主模型上，接著下游任務模塊進行隨機初始化，最后根據(jù)參數(shù)進行微調。Zhang等[7]在BERT 模型基礎上引進語義角色標注模型，它以 BERT為基礎骨架網(wǎng)絡，融合上下文語義信息。該模型簡單有效且易于理解。但是，角色標注器標注出的語料本身存在一定的錯誤，這對后續(xù)任務很不友好；同時該模型從外部注入相關信息，有可能使模型內(nèi)部的效果與原始 BERT 相差不大，從而在一些特定任務上引發(fā)欠擬合。為了更好地利用BERT，一些研究將傳統(tǒng)的ABSA任務視作句對分類任務。Sun等[8]設計了四種方法，為原始單句評論構造輔助句，從而構成“原始句-輔助句”的句對。對于有多個方面、多種情感極性的句子，往往可以為其構造多個輔助句，因此作者的方法也起到了數(shù)據(jù)增強的作用。作者在兩個數(shù)據(jù)集上分別進行了方面抽取和情感極性預測的實驗，證明了其方法的有效性。但是該方法的使用需要依賴任務語料良好的結構性，對于一些特定任務仍不能達到良好的效果。

目前許多下游任務的模型都是直接對BERT模型微調得到的。由于下游任務差異性較大，許多模型都沒有特定任務的先驗知識和缺乏對具體任務的適應性。為了提高模型的性能，Xu等[9]減少了由于預訓練大規(guī)模語料帶來的偏差，并且融合具體領域的知識，提出了一個具有一般性的post-training策略來考慮領域知識和任務性質模型（BERT-PT），實驗結果表明該模型性能在方面抽取和方面情感分類任務中都得到較大的提升。由于BERT模型的特殊體系結構，可以在其之上附加額外的模塊，Li 等[10-13]通過添加RNN和CRF層，以端到端方式執(zhí)行情感分析，最終也提升了F1值，其中心思想為采用預訓練和微調方式進行，達到是優(yōu)化下游任務效果的目的。

受以上研究方法啟發(fā)，通過在BERT上加入并行聚合和層次聚合兩個模塊，分別應用于方面抽取和方面情感分類任務，以此獲得高層次的語義信息。為了獲取更多的語義信息，選擇條件隨機場(CRFs)作為序列標記任務，并使用隱藏層進行預測。在SemEval 2014數(shù)據(jù)集上的實驗結果顯示，微調后的模型準確率和F1值均優(yōu)于對比模型，證實了模型的有效性。

1 模型

深度模型的隱藏層可以更多的用來提取特定區(qū)域的信息。我們在BERT的基礎上加入了兩個模塊:并行聚合（BERT-P）和層次聚合(BERT-H)，分別用于方面抽取和方面情感分類。模型結構如圖1、圖2所示。

圖1 BERT-P模型結構框架

圖2 BERT-H模型結構框架

BERT-P模型應用于方面抽取任務。BERT-P模型在BERT的基礎上添加一個額外的BERT層，BERT最后四層的每一層都對額外層進行預測，從而得到更深層次的語義信息。將每層學習到的語義信息經(jīng)過聚合后接入Softmax函數(shù)得到概率分布，最后將這些得到的語義信息組合可以產(chǎn)生更豐富的語義表示。

BERT-H模型應用于方面情感分類任務。兩個模型原則上是相似的，但在實現(xiàn)上略有不同。差異點在于BERT-H模型最后四層在對隱藏層預測后還需要在另外輸出支路進行預測，然后將損失累加。這是因為在方面情感極性的判斷中，需要計算出支路語義信息對抽取方面的權重，保證所抽取信息是特定抽取方面所需要的。

在機器學習中有許多損失函數(shù)可以用，例如歐氏距離，sigmoid函數(shù)，softmax函數(shù)等。對于方面情感分類任務，為了模型在訓練數(shù)據(jù)上學到的預測數(shù)據(jù)分布與真實數(shù)據(jù)分布越相近，采用了交叉熵損失函數(shù)，其計算公式為：

對于方面抽取任務，考慮到序列中之前的標簽是非常重要的，本文采用CRF作為損失函數(shù)。CRF是隨機場的一種，與其他隨機場不同，條件隨機域可以增加細粒度的特征，從而可以應用在后續(xù)自然語言處理任務中。序列標記中各標簽聯(lián)合概率的公式為:

其中是定義在邊上的特征函數(shù)，稱為轉移特征，依賴于前一個和當前位置；是定義在節(jié)點上的特征函數(shù)，稱為狀態(tài)特征，只依賴于當前位置；，是對應的權重。和都依賴于位置，所以都是局部特征，通常取值為0或者1，滿足特征函數(shù)取值1，不滿足取值0。序列詞之間關系可以很強，也可以很弱，或者根本不存在，其完全由特征函數(shù)和權值決定。

CRF層可將方面抽取任務視為序列標記，有助于保存句子中各方面之間的位置關系，從而豐富語義信息，CRF預測句子結構如圖3所示。

圖3 用CRF預測句子

方面抽取任務可以看做一個序列標記任務[11]。將CRF層作為模型最后一層可以得到訓練數(shù)據(jù)中的約束性的規(guī)則，確保最終預測結果是合法的，從而降低序列標記中非法序列出現(xiàn)的概率，提高模型預測準確率。

2 實驗和結果

2.1 實驗數(shù)據(jù)集

本設計在國際語義評測大會提供的SemEval 2014和SemEval 2016數(shù)據(jù)集上驗證模型有效性。分別采用SemEval 2014中的Laptop數(shù)據(jù)集和SemEval 2016中的Restaurant數(shù)據(jù)集進行方面抽取任務，數(shù)據(jù)集訓練、測試樣本劃分情況如表1所列。采用SemEval 2014中的Laptop和Restaurant評論數(shù)據(jù)集進行文本的方面的情感分析，數(shù)據(jù)集訓練、測試樣本劃分情況如表2所列。

表1 用于AE任務的數(shù)據(jù)劃分

表2 用于ASC任務的數(shù)據(jù)劃分

本實驗環(huán)境硬件方面相關配置信息為：Ubuntu18.04系統(tǒng)、i7-7500 CPU、GTX2060Ti顯卡、16G內(nèi)存；軟件環(huán)境方面，使用Python編程語言及Pytorch深度學習框架進行相關模型構建。

2.2 評價指標

準確率Accuracy是反映模型預測正確數(shù)量所占總量的比例，使用準確率Accuracy和F1值來驗證模型性能優(yōu)劣。由于查準率和查全率僅能反映相關應用的傾向于某方面的重要性程度，F(xiàn)1值則是查準率和查全率調和平均數(shù)，能更好地反映出模型預測性能。

其中，為真正例樣本數(shù)，為真負例樣本數(shù)，是數(shù)據(jù)集樣本總數(shù)。

2.3 實驗參數(shù)設置

為使得模型達到最優(yōu)的預測效果，對模型實驗參數(shù)進行設置。模型的輸入為“[CLS]”+上文詞+方面詞+下文詞+“[SEP]”+方面詞+“[SEP]”。使用基于梯度下降算法的Adam優(yōu)化器進行模型的相關訓練，學習速率為3e?5，batch_size=4，epoches=30，同時從訓練數(shù)據(jù)中選取12個例子作為驗證數(shù)據(jù)。為保證評估模型有效，所有模型在同一環(huán)境下運行。

2.4 實驗及結果分析

首先采用SemEval 2014中Laptop數(shù)據(jù)集探究BERT模型的每一層在ASC任務中的表現(xiàn)。

從圖4中可以看到，隨著層次的加深，模型的準確率越高。因此，將并行聚合模塊和層次聚合模塊添加到模型的最后四層上以獲得更優(yōu)性能。不同模型實驗結果數(shù)據(jù)如表3所示。

圖4 BERT模型不同層數(shù)訓練結果

表3 不同模型實驗對比結果

從表3可以看出，BERT-P和BERT-H模型不論是在AE任務還是在ASC任務中比BERT模型都有了較大幅度的提升。在AE任務中，BERT-H模型在Laptop數(shù)據(jù)集中的F1值比次優(yōu)模型BERT-PT還高了0.26，但是在Restaurant16數(shù)據(jù)集比最優(yōu)的BERT-PT上低了0.09，產(chǎn)生這結果的主要原因是這是因為Restaurant16數(shù)據(jù)集上句子的語法信息比較復雜，本模型未能夠很好的獲取文本特征，導致實驗效果差點。在ASC任務中，兩個模型在兩個數(shù)據(jù)集中的F1值均比次優(yōu)模型BERT-PT要高。而在準確率方面，BERT-PT模型在兩個數(shù)據(jù)集的表現(xiàn)卻要比本文模型高一點?？傮w來看，研究設計采用的BERT-P和BERT-H模型在數(shù)據(jù)集上的表現(xiàn)效果好，證明了模型的有效性。

3 總結

考慮到BERT高層所表達的豐富的語義信息，在BERT模型上進行微調，融合了并行聚合和層次聚合兩個模塊、應用到方面級情感分析的下游任務中。一次以并行方式聚合用于方面抽取任務，一次按層次結構聚合應用于層次聚合，微調模型對每個隱藏層進行預測再聯(lián)合計算損失值。最后采用CRF層作為最終最后一層，對處理好的數(shù)據(jù)進行規(guī)制約束，進一步提高模型性能。實驗結果表明，本研究提出的方法對于預測準率有較為明顯的提升。

[1] Peng H, Cambria E, Zou X. Radical-based hierarchical embeddings for chinese sentiment analysis at sentence level[C]. Proceedings of the 13th International Florida Aritificial Intelligence Research Society Conference, California America:AAAI,2017:347-352.

[2] Mishara C, Abhijit M, Kuntal D, et al. Learning cognitive features from gaze data for sentiment and sarcasm classification using convolutional neural network[C]. Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics,Vancouver, Canada:ACL, 2017:377-387.

[3] Devlin J,Chang M W,Lee K,et al. BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding[J].NAACL-HLT, 2018:395-407.

[4] 王思麗,楊恒,祝忠明,等.基于BERT的領域本體分類關系自動識別研究[J].情報科學,2021,39(7):75-82.

[5] 武鈺智,?？『?基于BERT的民事相關問答問句分類[J].電腦知識與技術,2021,17(1):4-7.

[6] 譚金源,刁宇峰,祁瑞華,等.基于BERT-PGN模型的中文新聞文本自動摘要生成[J].計算機應用,2021,41(1):127-132.

[7] Zhang Z, Wu Y, Zhao H, et al. Semantics-aware BERT for language understanding[C]. Association for the Advance of Artificial Intelligence, New York America: AAAI, 2020:9628-9635.

[8] Sun C, Huang L Y, Qiu X P.Utilizingbert for aspect-based sentiment analysis via constructing auxiliary sentence[J].NAACL-HLT,2019:380-385.

[9] Xu H, Liu B, Shu L, et al. BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis[J].NAACL-HLT,2019:2324-2335.

[10] Li X , Bing L D , Zhang W X, et al. Exploiting bert for end-to-end aspect-based sentiment analysis[C]. Proceedings of the 5th Workshop on Noisy User-generated Text.Hong Kong China:EMNLP, 2019:34-41.

[11] Zeng X,Zeng D, He S, et al. Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism[C]. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers).Melbourne Australia, ACL,2018: 506-514.

[12] Xu H, Liu B, Shu L, et al. Double Embeddings and CNN-based Sequence Labeling for Aspect Extraction[C]. Meeting of the Association for Computational Linguistics. Melbourne, Australia:ACL,2018:592-598.

[13] KarimiA,Rossi L, Prati A , et al. Adversarial Training for Aspect-Based Sentiment Analysis with BERT[J].ICPR , 2020:8797-8803.

ASPECT-LEVEL SENTIMENT ANALYSIS BASED ON BERT FUSION MULTI-MODULE

HUANG Jian-min1,*LI Qiang1,2, WANG Xue-rong1, LI Cong-cong1

（1. School of Information Engineering, Lanzhou University of Finance and Economics, Lanzhou, Gansu 730020, China; 2. Key Laboratory of Electronic Commerce, Lanzhou University of Finance and Economics, Lanzhou, Gansu 730020, China）

The existing BERT models mostly focus on the syntactic information from the initial layer to the middle layer, while the higher level semantic information is often ignored. Because of the semantics requirement in judging sentence emotion, two modules as parallel aggregation and hierarchical aggregation were added on the basis of BERT model, which were applied in Aspect Extraction (AE) and Aspect Sentiment Classification (ASC), respectively. At the same time, Conditional Random Fields (CRF) was selected as sequence marking task to extract more semantic information. Experimental results on SemEval 2014 and SemEval 2016 data sets showed that the accuracy and F1 values of the proposed model were better than those of the comparison model, which confirmed the validity of the proposed model.

BERT; sequence annotation; fine-tuning; emotion analysis

1674-8085（2021）06-0064-05

TQ324.3

A

10.3669/j.issn.1674-8085.2021.06.012

2021-09-15；

2021-10-16

甘肅省自然科學基金項目（17JR5RA177）

黃建民(1997-)，男，江西贛州人，碩士生，主要從事自然語言處理研究(E-mail:Huangjm97@163.com)；

*李 強(1973-)，男，甘肅蘭州人，教授，碩士，主要從事電子商務數(shù)據(jù)挖掘，機器學習研究(E-mail:18794809280@163.com)；

王雪絨(1997-)，女，甘肅白銀人，碩士生，主要從事情感分析方面的研究(E-mail：cjdxsys506@163.com)；

李聰聰(1996-)，女，陜西咸陽人，碩士生，主要從事機器學習研究(E-mail:lcc1017416868@163.com)。