面向情感語言建模的中文預(yù)訓(xùn)練模型探索與改進(jìn)

摘要：文章探討了中文預(yù)訓(xùn)練語言模型在情感分析任務(wù)中的應(yīng)用與改進(jìn)。提出了一種新的預(yù)訓(xùn)練方法，通過引入情感詞典和情感分類任務(wù)，提高了模型對情感語義的理解能力。在多個情感分析數(shù)據(jù)集上的實驗表明，該模型相比現(xiàn)有方法取得了顯著的性能提升，驗證了所提出方法的有效性。該研究為中文情感分析任務(wù)提供了新的思路和參考。

關(guān)鍵詞：中文預(yù)訓(xùn)練模型；情感分析；情感詞典；多任務(wù)學(xué)習(xí)

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）23-0028-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，預(yù)訓(xùn)練語言模型已經(jīng)成為自然語言處理領(lǐng)域的重要工具。通過在大規(guī)模無標(biāo)注語料上進(jìn)行預(yù)訓(xùn)練，語言模型可以學(xué)習(xí)到豐富的語義知識，并可以方便地應(yīng)用到下游任務(wù)中。近年來，中文預(yù)訓(xùn)練模型取得了長足的進(jìn)步，在閱讀理解、信息抽取等任務(wù)上展現(xiàn)出良好的性能。然而，現(xiàn)有的中文預(yù)訓(xùn)練模型大多只關(guān)注通用語義表示的學(xué)習(xí)，缺乏對情感語義的捕捉和建模能力，這在一定程度上限制了其在情感分析等任務(wù)上的應(yīng)用。

為了解決上述問題，本文探索了面向情感語義建模的中文預(yù)訓(xùn)練模型改進(jìn)方法。通過在預(yù)訓(xùn)練階段引入外部情感知識和多任務(wù)學(xué)習(xí)策略，提高了模型對情感語義的理解和表示能力。此外，還研究了預(yù)訓(xùn)練模型在下游情感分析任務(wù)中的微調(diào)和應(yīng)用技術(shù)。在3個情感分析數(shù)據(jù)集上的實驗表明，本文提出的情感增強(qiáng)預(yù)訓(xùn)練模型顯著優(yōu)于現(xiàn)有的基于通用預(yù)訓(xùn)練模型的方法，證明了該方法的有效性。

1 研究現(xiàn)狀與問題

1.1 中文預(yù)訓(xùn)練語言模型

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展和計算資源的增強(qiáng)，以BERT、RoBERTa為代表的預(yù)訓(xùn)練語言模型取得了顯著成功。通過在大規(guī)模無標(biāo)注語料上進(jìn)行自監(jiān)督預(yù)訓(xùn)練，這些模型能夠?qū)W習(xí)到富含語義信息的通用語言表示，并可以方便地應(yīng)用到各種下游自然語言處理任務(wù)中。在中文領(lǐng)域，也涌現(xiàn)出一批優(yōu)秀的預(yù)訓(xùn)練模型，如BERT-wwm、ERNIE、MacBERT等。這些模型通過引入全詞遮罩（Whole Word Masking） 、句間關(guān)系預(yù)測、知識增強(qiáng)等策略，進(jìn)一步提升了中文語言理解和建模的效果。然而，現(xiàn)有的中文預(yù)訓(xùn)練模型主要關(guān)注通用語義表示的學(xué)習(xí)，對于情感語義的捕捉和建模能力仍有待加強(qiáng)[1]。

1.2 情感分析技術(shù)現(xiàn)狀

情感分析旨在自動識別和歸納文本中蘊(yùn)含的情感傾向和觀點(diǎn)，是自然語言處理領(lǐng)域的重要研究課題。傳統(tǒng)的情感分析方法主要基于詞典和規(guī)則，但難以應(yīng)對復(fù)雜多變的語言現(xiàn)象。隨著深度學(xué)習(xí)的崛起，一系列神經(jīng)網(wǎng)絡(luò)模型被用于情感分析任務(wù)，如CNN、RNN、Attention等，顯著提升了情感分類的性能。近年來，大型預(yù)訓(xùn)練語言模型為情感分析帶來了新的突破。通過在海量語料上學(xué)習(xí)通用語言表示，預(yù)訓(xùn)練模型能夠更好地理解語句的語義信息，并提供更加豐富的特征。然而，由于缺乏對情感信息的顯式建模，現(xiàn)有的預(yù)訓(xùn)練模型在情感分析任務(wù)上的表現(xiàn)仍有較大提升空間。因此，如何在預(yù)訓(xùn)練階段有效融入情感知識，提高模型對情感語義的理解和表示能力，是本文研究的重點(diǎn)[2]。

2 面向情感建模的預(yù)訓(xùn)練模型

2.1 模型結(jié)構(gòu)

本文提出的面向情感建模的中文預(yù)訓(xùn)練模型以BERT為基礎(chǔ)，在其架構(gòu)上進(jìn)行了一系列改進(jìn)和擴(kuò)展。模型的總體結(jié)構(gòu)如圖1所示。首先，沿用了BERT的基本編碼器結(jié)構(gòu)，即基于多層Transformer的雙向編碼器。輸入文本首先經(jīng)過詞塊化（Tokenization） 處理，然后通過詞嵌入（Word Embedding） 、位置嵌入（Position Embedding） 和段嵌入（Segment Embedding） 的加和得到輸入表示。接下來，這些輸入表示通過多層Transformer編碼器進(jìn)行特征提取和語義建模，得到每個詞塊的上下文表示。在此基礎(chǔ)上，在模型頂層引入了情感分類器和情感詞典注意力機(jī)制。情感分類器通過全連接層和Softmax函數(shù)，對文本的情感傾向進(jìn)行分類[3]。情感詞典注意力機(jī)制則利用外部情感詞典知識，為每個詞塊生成情感權(quán)重，并與上下文表示進(jìn)行加權(quán)融合，得到蘊(yùn)含情感信息的文本表示。最后，這些表示被用于預(yù)訓(xùn)練階段的目標(biāo)任務(wù)學(xué)習(xí)，以及下游情感分析任務(wù)的微調(diào)。

2.2 預(yù)訓(xùn)練任務(wù)設(shè)計

為了有效地將情感知識引入預(yù)訓(xùn)練語言模型，本文設(shè)計了兩個預(yù)訓(xùn)練任務(wù)：情感詞典增強(qiáng)的掩碼語言建模和情感分類任務(wù)。

情感詞典增強(qiáng)的掩碼語言建模（Sentiment-Enhanced Masked Language Modeling，SEMLM） ：傳統(tǒng)的掩碼語言建模任務(wù)通過隨機(jī)掩碼輸入文本中的部分詞塊，并讓模型預(yù)測被掩碼詞塊的原始標(biāo)記，以學(xué)習(xí)上下文語義信息。在此基礎(chǔ)上，利用外部情感詞典對掩碼策略進(jìn)行優(yōu)化[4]。具體而言，以更高的概率掩碼情感詞典中的詞塊，迫使模型重點(diǎn)學(xué)習(xí)這些詞塊的情感語義信息。同時，也保留一定比例的隨機(jī)掩碼，以維持模型學(xué)習(xí)通用語言知識的能力。通過這種掩碼策略的優(yōu)化，模型能夠更好地捕捉和理解文本中蘊(yùn)含的情感信息。

情感分類任務(wù)（Sentiment Classification，SC） ：為了進(jìn)一步增強(qiáng)模型對情感語義的建模能力，引入情感分類任務(wù)作為預(yù)訓(xùn)練的另一個目標(biāo)任務(wù)。對于帶有情感標(biāo)簽的文本數(shù)據(jù)，利用模型頂層的情感分類器，對文本的情感傾向進(jìn)行分類。通過這個過程，模型能夠直接學(xué)習(xí)情感分類知識，并與掩碼語言建模任務(wù)形成互補(bǔ)，提升對情感語義的理解和表達(dá)能力。

同時，采用多任務(wù)學(xué)習(xí)的策略，將兩個預(yù)訓(xùn)練任務(wù)的損失函數(shù)進(jìn)行加權(quán)求和，以平衡不同任務(wù)對模型學(xué)習(xí)的貢獻(xiàn)。

2.3 預(yù)訓(xùn)練數(shù)據(jù)構(gòu)建

為了進(jìn)行有效的預(yù)訓(xùn)練，本文構(gòu)建了一個大規(guī)模的中文情感語料庫。該語料庫包括以下數(shù)據(jù)來源：

1） 情感分析數(shù)據(jù)集：收集了多個公開的中文情感分析數(shù)據(jù)集，如ChnSentiCorp、Weibo_senti、NLPCC2014等，并對其進(jìn)行了數(shù)據(jù)清洗和標(biāo)注統(tǒng)一。這些數(shù)據(jù)集涵蓋了不同領(lǐng)域和體裁的文本，如新聞、評論、微博等，為模型提供了豐富多樣的情感標(biāo)注數(shù)據(jù)。

2） 情感詞典：為了引入外部情感知識，整合了多個中文情感詞典，包括知網(wǎng)Hownet情感詞典、臺灣大學(xué)NTUSD情感詞典等。這些情感詞典提供了大量的情感關(guān)鍵詞及其對應(yīng)的情感極性和強(qiáng)度信息，為模型學(xué)習(xí)情感語義提供了重要的先驗知識[5]。

3） 無標(biāo)注語料：為了進(jìn)一步擴(kuò)充預(yù)訓(xùn)練語料的規(guī)模和多樣性，從多個來源收集了大量無標(biāo)注的中文文本數(shù)據(jù)，如新聞、百科、小說等（如表1所示）。這些無標(biāo)注語料雖然沒有情感標(biāo)簽，但可以提供豐富的語言環(huán)境和語義信息，有助于模型學(xué)習(xí)通用的語言表示。

在數(shù)據(jù)預(yù)處理階段，對所有文本數(shù)據(jù)進(jìn)行了分詞、詞性標(biāo)注等操作，并利用情感詞典對文本中的情感關(guān)鍵詞進(jìn)行了標(biāo)注。最終，得到了一個包含數(shù)億個詞塊的大規(guī)模中文情感預(yù)訓(xùn)練語料庫，為模型的訓(xùn)練提供了充足的數(shù)據(jù)支持。

3 實驗?zāi)Ｐ驮u估

3.1 數(shù)據(jù)集

為了全面評估本文提出的面向情感建模的中文預(yù)訓(xùn)練模型的效果，在3個公開的中文情感分析數(shù)據(jù)集上進(jìn)行了實驗，分別為：

1） ChnSentiCorp數(shù)據(jù)集：該數(shù)據(jù)集由譚松波等人從酒店、筆記本電腦和書籍3個領(lǐng)域的用戶評論中收集而成，包含12 000條正向情感樣本和12 000條負(fù)向情感樣本。隨機(jī)選擇80%的數(shù)據(jù)作為訓(xùn)練集，10%作為驗證集，10%作為測試集。

2） Weibo_senti數(shù)據(jù)集：該數(shù)據(jù)集由Xiang Lian等人基于新浪微博平臺構(gòu)建，包含180 000條微博文本，并標(biāo)注了正向、負(fù)向和中性3種情感極性。隨機(jī)選擇70%的數(shù)據(jù)作為訓(xùn)練集，10%作為驗證集，20%作為測試集。

3） NLPCC2014數(shù)據(jù)集：該數(shù)據(jù)集源自NLPCC2014公開評測任務(wù)，由網(wǎng)易新聞的用戶評論構(gòu)成，包括12 000條正向評論和12 000條負(fù)向評論。采用官方提供的數(shù)據(jù)劃分，其中訓(xùn)練集、驗證集和測試集的比例分別為80%、10%和10%。

以上3個數(shù)據(jù)集涵蓋了不同的文本體裁和領(lǐng)域，對模型的泛化能力提出了考驗。在每個數(shù)據(jù)集上進(jìn)行獨(dú)立的實驗，并報告模型在測試集上的準(zhǔn)確率（Accuracy） 、精確率（Precision） 、召回率（Recall） 和F1值（F1-score） 。

3.2 實驗設(shè)置

在實驗中，將本文提出的情感增強(qiáng)預(yù)訓(xùn)練模型（以下簡稱SEPT） 與以下基線模型進(jìn)行了比較：1） BERT：使用中文BERT-Base模型作為基線，該模型在大規(guī)模通用語料上進(jìn)行了預(yù)訓(xùn)練，并在下游任務(wù)上進(jìn)行微調(diào)。2） RoBERTa：使用中文RoBERTa-Base模型作為另一個基線，該模型在訓(xùn)練過程中優(yōu)化了BERT的一些超參數(shù)，并去除了下一句預(yù)測（NSP） 任務(wù)。3） BERT+SC：為了驗證情感分類任務(wù)對預(yù)訓(xùn)練的貢獻(xiàn)，在BERT的基礎(chǔ)上加入情感分類任務(wù)進(jìn)行預(yù)訓(xùn)練，記為BERT+SC。4） BERT+SEMLM：為了驗證情感詞典增強(qiáng)掩碼語言建模任務(wù)的效果，在BERT的基礎(chǔ)上加入SEMLM任務(wù)進(jìn)行預(yù)訓(xùn)練，記為BERT+SEMLM。

對于所有模型，使用相同的詞塊化方式和詞表，并在預(yù)訓(xùn)練和微調(diào)階段使用相同的超參數(shù)設(shè)置。在預(yù)訓(xùn)練階段，使用AdamW優(yōu)化器，學(xué)習(xí)率設(shè)為2e-5，批大小設(shè)為64，訓(xùn)練輪數(shù)為10。在下游任務(wù)微調(diào)階段，使用AdamW優(yōu)化器，學(xué)習(xí)率設(shè)為3e-5，批大小設(shè)為32，訓(xùn)練輪數(shù)為5。所有實驗都在NVIDIA Tesla V100 GPU上進(jìn)行。

3.3 實驗結(jié)果與分析

表2展示了各個模型在3個數(shù)據(jù)集上的情感分類性能。從結(jié)果可以看出，本文提出的SEPT模型在所有數(shù)據(jù)集上都取得了最佳表現(xiàn)，相比基線模型有顯著的性能提升。具體而言，與BERT和RoBERTa相比，SEPT的準(zhǔn)確率平均提高了2.1%和1.4%，F(xiàn)1值平均提高了2.3%和1.6%。這表明，通過在預(yù)訓(xùn)練階段引入情感知識和多任務(wù)學(xué)習(xí)策略，SEPT能夠更好地捕捉和理解文本中蘊(yùn)含的情感信息，從而在下游情感分析任務(wù)上取得更優(yōu)的性能。

進(jìn)一步分析了不同預(yù)訓(xùn)練任務(wù)對模型性能的影響。相比單獨(dú)使用情感分類任務(wù)的BERT+SC，SEPT在3個數(shù)據(jù)集上的準(zhǔn)確率平均提高了0.8%，F(xiàn)1值平均提高了1.0%。這說明情感詞典增強(qiáng)掩碼語言建模任務(wù)能夠提供與情感分類任務(wù)互補(bǔ)的語義信息，兩個任務(wù)的結(jié)合可以更好地提升模型的情感建模能力。

為了進(jìn)一步分析SEPT模型的情感建模能力，對測試集中的樣本進(jìn)行了案例研究（Case Study） 。圖2展示了幾個具有代表性的樣本及其預(yù)測結(jié)果。可以看出，SEPT能夠準(zhǔn)確地判斷出文本的情感傾向，即使在一些含有隱晦情感表達(dá)或出現(xiàn)負(fù)面詞匯的中性文本中，也能做出正確的預(yù)測。這得益于模型在預(yù)訓(xùn)練階段學(xué)習(xí)到的豐富情感語義知識和語境理解能力。

綜上所述，本文提出的面向情感建模的中文預(yù)訓(xùn)練模型SEPT能夠有效地將外部情感知識引入預(yù)訓(xùn)練過程，并通過多任務(wù)學(xué)習(xí)策略增強(qiáng)模型對情感語義的理解和表示能力。實驗結(jié)果表明，SEPT在多個情感分析數(shù)據(jù)集上均取得了顯著的性能提升，證明了該方法的有效性。未來工作將探索將情感預(yù)訓(xùn)練模型應(yīng)用到其他情感相關(guān)任務(wù)，如觀點(diǎn)提取、情感原因識別等，進(jìn)一步拓展模型的應(yīng)用范圍。

4 結(jié)束語

本文針對中文預(yù)訓(xùn)練語言模型在情感分析任務(wù)中的局限性，提出了面向情感建模的改進(jìn)方法。通過引入外部情感知識和多任務(wù)學(xué)習(xí)策略，提高了模型對情感語義的理解能力。在3個情感分析數(shù)據(jù)集上的實驗表明，本文提出的方法取得了顯著的性能提升。未來工作將探索將情感預(yù)訓(xùn)練模型應(yīng)用到其他情感相關(guān)任務(wù)，如觀點(diǎn)提取、情感原因識別等，進(jìn)一步拓展模型的應(yīng)用范圍。

參考文獻(xiàn)：

[1] 張韜政，蒙佳健，李康.基于模型不可知元學(xué)習(xí)與對抗訓(xùn)練的中文情感分析研究[J].中國傳媒大學(xué)學(xué)報（自然科學(xué)版），2023，30（3）：31-40.

[2] 孫凱麗，羅旭東，羅有容.預(yù)訓(xùn)練語言模型的應(yīng)用綜述[J].計算機(jī)科學(xué)，2023，50（1）：176-184.

[3] 王麗.基于MacBERT的互聯(lián)網(wǎng)新聞情感分析[J].信息記錄材料，2023，24（1）：148-152.

[4] 丁美榮，馮偉森，黃榮翔，等.基于預(yù)訓(xùn)練模型和基礎(chǔ)詞典擴(kuò)展的酒店評論情感分析[J].計算機(jī)系統(tǒng)應(yīng)用，2022，31（11）：296-308.

[5] 王東，李佩聲.融合膠囊網(wǎng)絡(luò)的中文短文本情感分析[J].重慶理工大學(xué)學(xué)報（自然科學(xué)），2023，37（5）：178-184.

【通聯(lián)編輯：謝媛媛】