基于BERT- HC 的教學評價情感分析模型研究

劉亞楠

（廣州番禺職業(yè)技術(shù)學院 財經(jīng)學院，廣東 廣州 511483）

引言

教學評價是評價主體對教學活動所作的價值認定和判斷活動，具有強烈的目的性[1]。傳統(tǒng)針對教學評價內(nèi)容的分析方法依賴人工分析。然而，隨著學生和課程數(shù)量的逐年增多，導致評價數(shù)據(jù)爆發(fā)式增長。教學管理部門難以對課程評價數(shù)據(jù)進行逐一分析，從而影響課程質(zhì)量的真實反映，不利于提高教學質(zhì)量。隨著人工智能技術(shù)的發(fā)展，通過計算機程序自動地分析教學評價中的內(nèi)容是解決上述問題的有效手段，其中情感分析是最具代表性的技術(shù)之一。

情感分析最早由Nasukawa 等人[2]提出，旨在從文本內(nèi)容中提取出作者的情感或觀點。其技術(shù)分為：基于情感詞典的方法、基于統(tǒng)計機器學習的方法、基于深度學習的方法。其中，基于情感詞典的方法[3]以情感詞典為依據(jù)，通過構(gòu)造匹配規(guī)則來計算情感?；诮y(tǒng)計機器學習的方法[4]利用特征提取算法如詞袋模型（Bag of Words, BOW）[5]從文本中提取統(tǒng)計學特征，再利用不同的分類算法判斷情感傾向，這種方式依賴于特征提取的好壞?；谏疃葘W習的方法是目前的主流方法。該類方法首先將文本進行詞嵌入（Word Embedding）[6]，然后再利用不同的深度神經(jīng)網(wǎng)絡如卷積神經(jīng)網(wǎng)絡（CNN）[7]、長短時記憶網(wǎng)絡（LSTM）[8]等從中自動地提取文本的隱含特征表示，其效果顯著優(yōu)于以往的情感分析算法。近年來，隨著諸如BERT[9]、XLNet[10]、T5[11]等以Transformer[12]為基礎的大型預訓練模型的提出，在這些模型上進行下游任務的微調(diào)是目前情感分析最先進的技術(shù)[13]。

在BERT 等預訓練模型的框架中，直接把文本作為一個整體建模，通過前置一個特殊的“[CLS]”字符來匯總整體的語義表示。這種方式能夠很好的處理具有單一情感純度的句子，如“老師講的太棒了”。然而，在教學評價情感分析的實際中，更多的是包含多種情感傾向的復雜情感句，如“這是第一個拿到成績的在線課程。對于毫無經(jīng)濟學和數(shù)學基礎的人來說，有些知識還是有些吃力。但老師講得深入淺出，非常受益”。在該例句中，既包含了情感無關(guān)句：“這是第一個拿到成績的在線課程”。負向情感句：“對于毫無經(jīng)濟學和數(shù)學基礎的人來說，有些知識還是有些吃力”。以及正向情感句：“但老師講得深入淺出，非常受益”。總體而言，該例句的情感由最后的轉(zhuǎn)折句決定，因此總體情感的正向的，如果直接對這種復雜情感句整體建模將增大模型學習的難度，從而導致模型在復雜情感判斷上效果不佳。

為解決上述問題，本文提出一種層次語義建模的情感分析方法BERT-HC。首先將復雜情感句拆分為具有相對單一情感的子句；其次利用BERT 獨立地提取各個子句的語義表征；最后為了過濾一些無關(guān)情感判斷的子句信息，引入基于Hard Concrete 分布[14]的門控機制。融合后的語義表示通過softmax 實現(xiàn)情感分類。實驗結(jié)果表明：BERT-HC 在兩個數(shù)據(jù)集上的分類準 確 率 和 F1 比 BERT、TextCNN、BiLSTM、BiLSTM+Att、HAN 等模型更優(yōu)。

1 BERT 原理

1.1 Transformer 編碼器結(jié)構(gòu)

BERT[9]是文本預訓練領(lǐng)域最具代表性的工作，其網(wǎng)絡結(jié)構(gòu)基于Transformer[12]編碼器。其結(jié)構(gòu)見圖1。

如圖1 (a) 所示，Transformer 編碼器由N 個塊（Block）堆疊而成，每個塊由多頭注意力層、殘差歸一化層、前饋網(wǎng)絡層、殘差歸一化層按順序構(gòu)成。其中多頭注意力層的內(nèi)部結(jié)構(gòu)如圖1(b)所示。對于輸入X，令X=Q=K=V，其中Q、K、V 分別表示查詢矩陣、鍵矩陣和值矩陣。在多頭注意力層中，先將Q、K、V 拆分為h 個部分，分別對應h 個抽頭。對于第i 個抽頭的輸出headi有：

其中WO為線性層的權(quán)重矩陣。

1.2 BERT

BERT[9]利用多層Transformer 編碼器來逐層提取輸入文本的特征。在預訓練時，BERT 首先對輸入的文本進行了處理，分別在句子的開頭和結(jié)尾添加了特殊的字符“[CLS]”和“[SEP]”，其中“[CLS]”通常用作輸入文本的整體語義表示。其次輸入序列在編碼層中進行編碼，BERT 的編碼層包含三種類型的編碼：詞嵌入、段嵌入、位置嵌入。其中詞嵌入即從詞表中查詢詞的向量表示，段嵌入用于區(qū)分句子對；位置嵌入則為輸入序列添加位置信息。最后通過多層Transformer 編碼器來提取輸入文本的語義信息。BERT 通過兩種自監(jiān)督任務進行學習：遮蔽語言建模（Masked Language Model, MLM） 和 下 一 句 預 測（Next Sentence Prediction, NSP）。前者在輸入序列中隨機的將一部分字符替換為“[MASK]”，模型的訓練目標是要根據(jù)上下文語義來預測“[MASK]”位置的正確字符；后者則是要判斷輸入的句子對是否是連貫的，以挖掘句子間的邏輯關(guān)系。

2 BERT-HC

本文所設計的針對層次語義建模的情感分析模型BERT-HC 其結(jié)構(gòu)見圖2。

其中m 為子句的最大長度。將n 個子句輸入BERT 中，并取每個子句最后一層中“[CLS]”位置對應的隱向量作為子句的特征表示，組成子句級語義特征X：

對于復雜情感句的情感分析而言，并不是所有子句都包含了情感信息，且最終的情感可能僅由部分子句決定。基于softmax 的注意力機制難以為不重要的信息分配精確的零權(quán)重，使得無法完全屏蔽不利于情感判斷的干擾信息。為解決這一問題，本文引入基于Hard Concrete 分布的門控機制，來學習精確的二元門控值。具體而言，首先利用線性變換對X 進行降維：

其中Wγ為d×1 維的權(quán)重矩陣，bγ為偏置項。然后，利用Hard Concrete 分布估計每個子句對應的二元門控值：

式(8)-(9)中，σ 為sigmoid 激活函數(shù)；u 服從(0,1)之間的均勻分布；τ=0.2，l=0.2，r=1.0 均為固定的參數(shù)。得到二元門控向量z 后，對門控值為1 的子句表示進行平均池化操作，以產(chǎn)生最終的整體語義表示fmap：

最后，將fmap降維到分類維度上，并利用softmax預測其類別：

上式中T 為樣本數(shù)量。最后利用L0正則化項來稀疏化所學習的門控向量z：

其中λ 為正則項的權(quán)重，將在實驗中搜索。

3 實驗與分析

3.1 數(shù)據(jù)集

首先本文構(gòu)造了教學評價情感分析數(shù)據(jù)集MOOC Review。數(shù)據(jù)爬取自中國大學慕課在線學習平臺，評價標注為分為正面、中性、負面三類，其中正面11085 條、中性6274 條、負面12561 條，總計數(shù)據(jù)量為29920 條。此外，為了驗證所提模型在其他領(lǐng)域公開數(shù)據(jù)集上的性能，本文還選用了譚松波酒店評價數(shù)據(jù)集進行測試，該數(shù)據(jù)包含7000 條正向評論、3000 條負向評論，共計1 萬條數(shù)據(jù)。數(shù)據(jù)劃分則按照8:1:1 的比例劃分成訓練集、驗證集、測試集，具體見表1。

表1 數(shù)據(jù)集劃分

3.2 實驗設置

本文在基于Pytorh 的深度學習框架中實現(xiàn)模型，所使用的BERT 預訓練模型為bert-base-chinese。學習率設為2e-5，優(yōu)化器采用Adam；丟棄率設置為0.2；子句最大長度設置為30，最大子句數(shù)量為10；訓練步數(shù)為50，訓練時采用早停策略，最大容忍步數(shù)為5。評估指標采用準確率和Macro-F1 值。

3.3 對比模型

本文將BERT-HC 與目前一些主流的文本分類模型進行比較，以下是所涉及模型的介紹。

(1) BiLSTM[8]：利用雙向LSTM 來建模整句模型的上下文語義信息。

(2) BiLSTM+Att[15]：該模型同樣利用雙向LSTM來建模整句模型的上下文語義信息，然后利用注意力機制匯總各個位置的表示以產(chǎn)生整體語義表示。

(3) TextCNN[16]：該模型利用不同大小的一維卷積核提取文本上下文特征，將不同卷積核后的輸出拼接作為整體表示。

(4) HAN[17]：層次語義表示模型，該模型利用雙向GRU 建模低層級的信息，再通過注意力進行融合。

(5) BERT[9]：利用預訓練模型的權(quán)重，在具體數(shù)據(jù)上進行微調(diào)，“[CLS]”位置的隱向量作為整體表示。

(6) BERT-HAN：層次表示模型，利用BERT 對子句進行編碼后，利用HAN 的注意力機制進行融合。

3.4 對比結(jié)果與分析

BERT-HC 與對比模型在兩個數(shù)據(jù)集上的準確率（Acc.）與F1 值見表2。

表2 模型對比結(jié)果（%）

由表2 的結(jié)果可知，BERT-HC 在兩個數(shù)據(jù)集上均取得了最優(yōu)的結(jié)果，證明了BERT-HC 的有效性，該模型不僅適用于教學評價也適用于其它領(lǐng)域，具備一定的通用性。具體分析如下：第一，與現(xiàn)有的模型中最好的BERT 相比，在教學評價數(shù)據(jù)集MOOC 上準確率提升了2.86%，F(xiàn)1 提升了2.27%；在酒店評價數(shù)據(jù)集HOTEL 上準確率提升了1.45%，F(xiàn)1 提升了1.72%。第二，與采用注意力軟融合機制的模型BERT-HAN 相比，在MOOC 上準確率提升了2.17%，F(xiàn)1 提升了1.64%；在HOTEL 上準確率提升了0.95%，F(xiàn)1 提升了0.92%。第三，基于預訓練的模型BERT、BERT-HAN、BERT-HC 比其它非預訓練模型的效果要更好，說明了預訓練有助于更準確的語義建模。

3.5 參數(shù)影響

在BERT-HC 模型中，由于引入了一個額外的L0正則化項來控制二元門控向量的稀疏化程度，因此需要探究其權(quán)重系數(shù)λ 對結(jié)果的影響。將λ 設置為[0,0.2]區(qū)間中的值，步長為0.04，其結(jié)果見圖3。在搜索區(qū)間內(nèi)，MOOC 數(shù)據(jù)集上λ=0.08 時結(jié)果最好，HOTEL數(shù)據(jù)集上λ=0.12 時結(jié)果最好。

4 結(jié)論

準確的教學評價分析，對優(yōu)化教學理念、教學模式和教學方式、提高教學質(zhì)量等具有重要意義。本文提出一種基于BERT 和Hard Concrete 門控機制的層次語義建模情感分析方法BERT-HC，該方法將評價文本層次化的建模，利用BERT 來捕捉更準確的子句語義表示，并引入Hard Concrete 門控機制來使模型自動地篩選與情感判斷相關(guān)的子句。在MOOC 和HOTEL 數(shù)據(jù)集上的實驗結(jié)果表明，該方法與其它對比模型相比能夠更準確的判斷教學評價的情感傾向。本文為復雜情感句的分析提供了一種新的研究思路。