基于句法依存和注意力機(jī)制的多特征多重融合情感分類模型

摘 要：針對(duì)現(xiàn)有的深度學(xué)習(xí)模型難以提取在線評(píng)論的豐富語義信息，從而難以準(zhǔn)確提取文本情感的問題，提出了一種基于句法依存關(guān)系和注意力機(jī)制的多特征多重融合情感分類模型MF-SDAM（multi-feature multiple fusion sentiment classification model based on syntactic dependency and attention mechanism）。該模型首先利用句法依存關(guān)系提取在線評(píng)論的屬性-觀點(diǎn)對(duì)信息，然后利用動(dòng)態(tài)詞嵌入模型BERT獲取文本的動(dòng)態(tài)特征向量表示；接著，基于雙通道的特征提取策略，分別利用卷積神經(jīng)網(wǎng)絡(luò)（TextCNN）和融入注意力機(jī)制的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（Att-BiLSTM）提取文本的局部和全局語義特征，為進(jìn)一步提取特征的全局語義信息，將文本特征與Att-BiLSTM的輸出特征進(jìn)行拼接，并結(jié)合注意力機(jī)制對(duì)情感特征進(jìn)行加權(quán)；最后，基于多融合方式互補(bǔ)的特征融合策略對(duì)局部語義特征和全局語義特征進(jìn)行特征融合，減少關(guān)鍵信息丟失的問題。選取外賣、酒店領(lǐng)域的三個(gè)真實(shí)公開的在線評(píng)論數(shù)據(jù)集進(jìn)行效果驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，MF-SDAM針對(duì)在線評(píng)論情感分類任務(wù)的性能表現(xiàn)優(yōu)異，其準(zhǔn)確率和F₁值在大多數(shù)情況下都優(yōu)于10個(gè)基準(zhǔn)模型，且對(duì)于不平衡數(shù)據(jù)集具有較好的魯棒性。

關(guān)鍵詞：情感分類；在線評(píng)論；多特征多重融合；句法依存；注意力機(jī)制

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）11-013-3295-08

doi：10.19734/j.issn.1001-3695.2024.04.0104

Multi-feature multiple fusion sentiment classification model based on syntactic dependency and attention mechanism

Xia Jiali^a， Yu Zikai^a?， Deng Qingshan^a， Liu Dexi^b， Peng Wenzhong^b， Luo Wenjun^a

（a.School of Software amp; Internet of Things Engineering， b.School of Information Management， Jiangxi University of Finance amp; Economics， Nanchang 330013， China）

Abstract：In response to the difficulty of existing deep learning models in extracting rich semantic information from online review， which hinders accurate sentiment extraction， this paper proposed a multi-feature multiple fusion sentiment classification model based on syntactic dependencies and attention mechanisms called MF-SDAM. Firstly， this model utilized syntactic dependency relationships to extract the aspect-opinion pairs of information from the text. Then， it employed the dynamic word embedding model BERT to obtain dynamic feature vector representations of online review. Next， based on a dual-channel feature extraction strategy， the model utilized a convolutional neural network （TextCNN） and a bidirectional long short-term memory network with attention mechanism （Att-BiLSTM） to extract local and global semantic features of the text. To further extract global semantic information， it concatenated the text features and the output features of Att-BiLSTM， and used the attention mechanism to weight the sentiment features. Finally， it employed a complementary feature fusion strategy with multiple fusion methods to fuse the local and global semantic features， reducing the problem of key information loss. It selected three real publicly available online review datasets from the food delivery and hotel domains for performance verification. Experimental results indicate that the performance of MF-SDAM in sentiment classification tasks for online review is outstanding， with its accuracy and F₁-score are superior to the 10 baseline models in most cases. Moreover， it exhibits good robustness for imbalanced datasets.

Key words：

sentiment classification; online review; multi-feature multiple fusion; syntactic dependency; attention mechanism

0 引言

在線評(píng)論不僅是用戶購買決策的重要參考依據(jù)，也是商家了解用戶需求以改進(jìn)服務(wù)質(zhì)量的重要數(shù)據(jù)來源。因此，如何更加準(zhǔn)確地對(duì)在線評(píng)論進(jìn)行情感分析以挖掘有用信息，對(duì)于商業(yè)決策尤為重要。

在線評(píng)論作為用戶在互聯(lián)網(wǎng)上針對(duì)特定內(nèi)容發(fā)表的觀點(diǎn)或態(tài)度，直接抒發(fā)了用戶個(gè)人情感，其情感成分較為復(fù)雜，行文隨意且不規(guī)范，導(dǎo)致難以對(duì)其情感信息進(jìn)行準(zhǔn)確提取，加大了情感分類的難度。針對(duì)在線評(píng)論情感分類任務(wù)，在對(duì)在線評(píng)論文本進(jìn)行特征提取時(shí)，不可避免地會(huì)造成大量關(guān)鍵文本信息的損失。因此如何更準(zhǔn)確地提取在線評(píng)論文本的語義信息，減少特征提取過程中的關(guān)鍵信息損失，對(duì)于在線評(píng)論情感分類任務(wù)的性能提升起著至關(guān)重要的作用。

近年來，深度學(xué)習(xí)在情感分類任務(wù)中取得了顯著的進(jìn)展，相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)模型可以更好地捕獲文本的語義信息，提高情感分類的準(zhǔn)確率。然而，已有的基于深度學(xué)習(xí)的情感分類模型仍然存在一些限制：

首先，在文本特征提取過程中難以提取文本的豐富語義信息，會(huì)造成一部分信息的損失，進(jìn)而導(dǎo)致提取的文本語義信息不足。Zhang等人^［1］利用BiLSTM提取文本語義信息，并通過注意力機(jī)制對(duì)特征進(jìn)行賦權(quán)，所提取特征的語義信息不足，導(dǎo)致情感分類任務(wù)的準(zhǔn)確率不高。Rani等人^［2］采用單通道的方式，首先利用TextCNN提取文本的語義特征，再用LSTM進(jìn)一步提取語義特征，在一定程度上提取了更加豐富的語義信息，但隨著單通道模型深度的增加，文本語義信息會(huì)不同程度地丟失，仍會(huì)造成大量關(guān)鍵語義信息的損失。

另外，在特征融合過程中也存在大量關(guān)鍵信息丟失的問題。Kiran等人^［3］將TextCNN和BiLSTM整合到單一架構(gòu)中，將提取到的TextCNN特征和BiLSTM特征進(jìn)行處理后，采用拼接的方式進(jìn)行特征融合，然而簡(jiǎn)單拼接難以實(shí)現(xiàn)文本各特征的有效利用與融合^［4］，模型無法識(shí)別出特征中的重要信息。Jia等人^［5］為提取更豐富的文本語義信息，分別利用TextCNN、BiLSTM和BiGRU提取文本的局部和全局語義特征，并采用注意力機(jī)制進(jìn)行特征融合，但僅采用注意力機(jī)制進(jìn)行融合易造成關(guān)鍵信息的丟失，影響情感分類的最終性能。

針對(duì)以上問題，本文提出了一種基于句法依存和注意力機(jī)制的多特征多重融合情感分類模型。通過句法依存關(guān)系提取文本的屬性-觀點(diǎn)對(duì)信息，利用注意力機(jī)制和多次特征融合等方式提取文本更加豐富的語義信息，減少特征提取與融合過程中的關(guān)鍵信息損失。本文的主要貢獻(xiàn)如下：

a）利用句法依存關(guān)系提取文本的屬性-觀點(diǎn)對(duì)信息作為情感分類任務(wù)中文本的關(guān)鍵信息。原文本作為背景信息，使模型能更好地識(shí)別出文本的關(guān)鍵信息，通過關(guān)鍵信息的提取使模型更好地理解文本中的情感傾向，有助于更好地識(shí)別和理解文本中的情感信息，提高情感分類的準(zhǔn)確率。

b）采取雙通道的特征提取策略對(duì)文本進(jìn)行特征提取，針對(duì)單一語義特征提取通道提取語義信息不足的問題，充分利用局部語義特征提取通道和全局語義特征提取通道的優(yōu)勢(shì)，從多方面提取文本語義信息。在全局語義特征提取過程中，進(jìn)行特征的二次拼接操作，將Att-BiLSTM提取的文本特征與文本的動(dòng)態(tài)特征向量進(jìn)行二次拼接，減少特征提取過程中的關(guān)鍵信息損失，豐富語義特征。

c）采取多融合方式互補(bǔ)的特征融合策略進(jìn)行特征融合，綜合特征拼接和注意力融合的優(yōu)點(diǎn)，減少特征融合過程中關(guān)鍵信息丟失的問題。

1 相關(guān)研究現(xiàn)狀

目前國(guó)內(nèi)外針對(duì)在線評(píng)論文本的情感分類主要分為基于詞典的情感分類、基于機(jī)器學(xué)習(xí)的情感分類和基于深度學(xué)習(xí)的情感分類。

基于詞典的情感分類方法利用構(gòu)建好的情感詞典計(jì)算文本中情感詞的情感值，再通過加權(quán)計(jì)算出文本的情感極性^［6］。Zubair等人^［7］通過整合詞典中的表情符號(hào)、修飾語和特定領(lǐng)域術(shù)語來分析在線評(píng)論的情感極性，提高了情感分類的性能。Ahmed等人^［8］構(gòu)建了特定領(lǐng)域的情感詞典，針對(duì)特定領(lǐng)域進(jìn)行情感分類，以獲得更好的性能。此類方法的不足之處在于過度依賴于情感詞典的構(gòu)建，且無法考慮上下文信息和語境。

基于機(jī)器學(xué)習(xí)的情感分類方法通常先提取文本的情感特征，再訓(xùn)練機(jī)器學(xué)習(xí)分類模型，最終由分類模型輸出情感分類結(jié)果^［6］。Zhao等人^［9］基于樸素貝葉斯（naive Bayes， NB）、支持向量機(jī)（support vector machine， SVM）等機(jī)器學(xué)習(xí)算法，利用術(shù)語加權(quán)和特征選擇的方法對(duì)在線評(píng)論進(jìn)行情感分類，性能相較于普通機(jī)器學(xué)習(xí)方法有較大的提升。Budhi等人^［10］結(jié)合不同的文本預(yù)處理和特征提取方法對(duì)在線評(píng)論進(jìn)行情感分類，最終提高了機(jī)器學(xué)習(xí)分類器的性能。此類方法依舊不能充分利用文本的上下文語境信息，且較依賴于人工設(shè)計(jì)的特征，模型泛化能力較差。

基于深度學(xué)習(xí)的情感分類方法通過從文本中學(xué)習(xí)語義詞向量，基于語義合成得到文本更高層次的特征表達(dá)^［11］。當(dāng)前深度學(xué)習(xí)情感分類模型主要基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN）實(shí)現(xiàn)^［12］。季陳等人^［13］提出BiLSTM-CapsNet混合模型，使用CaosNet提取文本位置語義信息后，再接入BiLSTM提取文本的上下文語義信息。Liu等人^［14］提出BiGRU-Att-CNN模型，結(jié)合BiGRU和注意力機(jī)制提取全局信息后，再利用CNN提取多尺度特征信息。然而，上述研究?jī)H針對(duì)文本特征進(jìn)行單通道的語義特征提取，隨著模型深度的增加，文本語義信息會(huì)不同程度地丟失，造成大量語義信息的損失。為彌補(bǔ)單通道信息提取不足的問題，韓普等人^［15］基于TextCNN和BiLSTM構(gòu)建多通道層，以提取更加豐富的文本語義特征，其情感分類性能相較單通道特征提取模型提升9.71%，但其采用拼接的方式對(duì)多通道的輸出特征進(jìn)行融合，未充分利用提取的多通道特征。

上述方法一般基于word2vec^［16］或GloVe^［17］獲取靜態(tài)詞嵌入，限制了模型的性能。2018年，Google提出BERT模型^［18］，該模型具有強(qiáng)大的文本表示能力，目前已成為自然語言處理領(lǐng)域的首選。為了得到具有上下文語義的動(dòng)態(tài)詞嵌入表示，Wang等人^［19］利用BERT的自注意力機(jī)制捕獲單詞之間的語義關(guān)系，并通過TextCNN提取文本特征；諶志群等人^［20］利用BERT-BiLSTM模型對(duì)微博評(píng)論進(jìn)行情感分類；Jain等人^［21］利用BERT作為詞嵌入模型，基于改進(jìn)的DCNN網(wǎng)絡(luò)和全局平均池化層提取文本特征，結(jié)合情感知識(shí)庫對(duì)社交媒體文本進(jìn)行情感分類，上述研究所提取的文本語義特征仍不足。與此同時(shí)，注意力機(jī)制在情感分類模型中得到了廣泛的應(yīng)用。李衛(wèi)疆等人^［22］提出一種基于多通道特征和自注意力機(jī)制的雙向LSTM情感分類方法，利用自注意力機(jī)制重點(diǎn)關(guān)注各特征通道的情感信息。謝玉惠等人^［23］通過CNNs-BiLSTM-Att模型，使用多通道CNNs-BiLSTM抽取多尺度文本特征，并利用注意力機(jī)制調(diào)整各通道特征權(quán)重。Zhu等人^［24］利用ALBERT作為詞嵌入模型，基于TextCNN和BiGRU進(jìn)行雙通道的特征提取，并利用注意力機(jī)制來增強(qiáng)BiGRU的特征提取能力。胥桂仙等人^［25］利用BERT和超圖對(duì)偶注意力網(wǎng)絡(luò)提取文本多通道特征。上述研究均采取拼接的方式對(duì)多通道特征進(jìn)行融合，難以對(duì)模型提取的各通道文本特征進(jìn)行有效利用與融合。本文針對(duì)在線評(píng)論情感分類研究中存在的上述問題，所做的主要改進(jìn)如下：

a）針對(duì)詞嵌入過程，將文本經(jīng)動(dòng)態(tài)詞嵌入處理后得到文本的動(dòng)態(tài)特征向量表示，相較傳統(tǒng)靜態(tài)詞嵌入方法，可以克服文本的一詞多義問題。然而上述研究中，多數(shù)直接將文本輸入動(dòng)態(tài)詞嵌入模型中，模型并不能區(qū)分出文本的重要信息，限制了情感分類任務(wù)性能的進(jìn)一步提升。本文通過構(gòu)建屬性-觀點(diǎn)對(duì)模板，利用句法依存關(guān)系提取文本的屬性-觀點(diǎn)對(duì)信息作為文本關(guān)鍵信息，便于情感分類性能的進(jìn)一步提升。

b）對(duì)于特征提取，多通道的特征提取方式可以提取更加豐富的文本語義信息，已經(jīng)被證明對(duì)于情感分類任務(wù)是有效的。本文采用雙通道的特征提取策略提取文本的局部和全局語義信息，并在全局語義特征提取過程中，進(jìn)行特征的二次拼接操作，提取更加豐富的語義特征。

c）對(duì)于特征融合，上述研究通常是將多個(gè)特征直接進(jìn)行拼接或注意力融合，難以實(shí)現(xiàn)文本各特征的有效利用與融合，會(huì)不可避免地造成部分信息的損失。本文利用多融合方式互補(bǔ)的特征融合策略，分別對(duì)局部語義特征和全局語義特征進(jìn)行拼接和注意力融合，減少特征融合過程中關(guān)鍵信息丟失的問題。

2 MF-SDAM模型的構(gòu)建與分析

2.1 MF-SDAM模型結(jié)構(gòu)設(shè)計(jì)

句法依存關(guān)系是句子中各詞的相互依賴關(guān)系，通過識(shí)別句子中的句法依存關(guān)系提取文本的屬性-觀點(diǎn)對(duì)信息，可以作為在線評(píng)論情感分類任務(wù)中文本的關(guān)鍵信息。BERT作為預(yù)訓(xùn)練的動(dòng)態(tài)詞嵌入模型，可以提取文本更豐富的語義信息。Text-CNN的卷積層可以有效捕獲文本的局部特征，而BiLSTM的循環(huán)結(jié)構(gòu)可以捕獲文本中的長(zhǎng)距離依賴關(guān)系，從而更好地理解整個(gè)文本的上下文信息和語義依賴，因此選用TextCNN和BiLSTM對(duì)文本信息分別進(jìn)行局部和全局特征提取，以獲取更豐富的語義信息。在全局語義特征提取過程中，由于全局語義特征更為復(fù)雜，為了獲取更全面的全局語義特征，考慮從不同維度提取全局特征，進(jìn)行特征的二次拼接操作，將Att-BiLSTM提取的文本特征與文本的動(dòng)態(tài)特征向量進(jìn)行二次拼接，減少特征提取過程中的文本關(guān)鍵信息損失。注意力機(jī)制可以突出文本的重要特征，應(yīng)用于特征融合中可以提高特征融合的效果，將注意力融合和特征拼接兩種特征融合方式互補(bǔ)，建立多融合方式互補(bǔ)的特征融合策略，減少特征融合時(shí)關(guān)鍵信息丟失的問題。

基于上述分析，本文提出一種基于句法依存關(guān)系和注意力機(jī)制的多特征多重融合情感分類模型MF-SDAM（multi-feature multiple fusion sentiment classification model based on syntactic dependency and attention mechanism， MF-SDAM），模型結(jié)構(gòu)如圖1所示。該模型主要由關(guān)鍵信息提取層、詞嵌入層、特征提取層、特征融合層和輸出層構(gòu)成。

a）關(guān)鍵信息提取層基于句法依存分析，提取文本的屬性-觀點(diǎn)對(duì)信息，旨在通過關(guān)鍵信息的提取，使模型更好地理解文本中的情感傾向，有助于更好地識(shí)別和理解文本中的情感信息，提高情感分類的準(zhǔn)確率。

b）詞嵌入層以原文本作為背景信息，屬性-觀點(diǎn)對(duì)作為關(guān)鍵信息，利用動(dòng)態(tài)詞嵌入模型BERT獲取文本的動(dòng)態(tài)特征向量表示，克服傳統(tǒng)靜態(tài)詞嵌入模型無法解決一詞多義的問題，能夠更好地獲取文本豐富的語法、語義特征。

c）特征提取層采取雙通道的特征提取策略，分別提取局部語義特征和全局語義特征，以便提取更加豐富的語義信息。具體地，利用TextCNN提取文本的局部語義特征，利用Att-BiLSTM提取文本的全局語義信息，為進(jìn)一步提取特征的全局語義信息，將文本的動(dòng)態(tài)特征向量表示與Att-BiLSTM輸出的全局語義特征進(jìn)行拼接，經(jīng)注意力機(jī)制加權(quán)和平均池化降維后，得到最終的全局語義特征，豐富了語義特征，強(qiáng)化了特征的重要信息，從而提高了特征的表達(dá)能力。

d）特征融合層采取多融合方式互補(bǔ)的特征融合策略，分別對(duì)局部語義特征和全局語義特征進(jìn)行拼接和注意力融合。其中拼接操作綜合了全局和局部語義信息，而注意力融合操作針對(duì)重要的特征賦予更大的權(quán)重，將注意力集中于對(duì)任務(wù)更有幫助的特征上，將拼接和注意力融合特征進(jìn)一步使用注意力機(jī)制進(jìn)行特征融合，利用平均池化減少模型過擬合，得到全面語義特征。融合后的全面語義特征綜合了局部和全局信息，強(qiáng)化了重要信息，特征表達(dá)更為豐富，減少特征融合關(guān)鍵信息丟失的問題。

e）輸出層將全面語義特征輸入dropout層中，隨機(jī)地丟棄模型的一些神經(jīng)元，減少神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，最終由全連接層將輸出映射到相應(yīng)的類別中，得到情感分類結(jié)果。

MF-SDAM模型通過句法依存提取屬性-觀點(diǎn)對(duì)信息、雙通道的特征提取策略、全局特征提取的二次拼接操作、多融合方式互補(bǔ)的特征融合策略提取更加豐富的文本語義特征，減少特征提取過程中的信息損失，有利于減少關(guān)鍵信息的丟失。

2.2 基于MF-SDAM模型的處理策略

針對(duì)MF-SDAM模型，設(shè)計(jì)的基于MF-SDAM模型的處理策略如圖2所示?；陉P(guān)鍵信息提取策略，提取文本的屬性-觀點(diǎn)對(duì)信息作為文本的關(guān)鍵信息；基于動(dòng)態(tài)特征向量獲取策略，將關(guān)鍵信息與原文本進(jìn)行拼接后，獲取文本的動(dòng)態(tài)特征向量表示；基于局部語義特征提取策略和全局語義特征提取策略，提取動(dòng)態(tài)特征向量的局部和全局語義特征；最后，基于多融合方式互補(bǔ)的特征融合策略對(duì)局部和全局語義特征進(jìn)行特征融合，減少特征融合過程中關(guān)鍵信息丟失的問題。

2.2.1 關(guān)鍵信息提取策略

屬性在文本中通常以名詞的形式出現(xiàn)，用來描述實(shí)體或事物的具體特征。觀點(diǎn)是指對(duì)某個(gè)實(shí)體或事物的態(tài)度、看法或評(píng)價(jià)，在文本中通常以形容詞或動(dòng)詞的形式出現(xiàn)，用來表達(dá)對(duì)屬性的態(tài)度或評(píng)價(jià)。如文本“服務(wù)挺好，味道不錯(cuò)”中的屬性為“服務(wù)”“味道”，觀點(diǎn)為“好”“不錯(cuò)”，可提取出的屬性-觀點(diǎn)對(duì)為“〈服務(wù)，好〉”“〈味道，不錯(cuò)〉”。屬性-觀點(diǎn)對(duì)信息作為文本內(nèi)容中的關(guān)鍵，對(duì)于在線評(píng)論情感分類任務(wù)中情感極性的判定起著重要作用。準(zhǔn)確提取出文本中的屬性-觀點(diǎn)對(duì)，可以使情感分類模型明確文本中的關(guān)鍵信息，有助于提升在線評(píng)論情感分類任務(wù)的性能。

給定一個(gè)句子X={w₁，w₂，…，w_n}，該序列包含屬性-觀點(diǎn)對(duì)集合P={（a₁，o₁），…，（a_i，o_i），…，（a_l，o_l）}，其中（a_i，o_i）二元組的屬性詞a_i和觀點(diǎn)詞o_i均為句子X的文本跨度，例如a_i={w_b，w_b+1，…，w_e}，其中b表示跨度開始的索引下標(biāo)，e表示跨度結(jié)束的索引下標(biāo)，w_i∈X，觀點(diǎn)詞o_i同理。在句子“服務(wù)挺好，味道不錯(cuò)”中，屬性詞a₁={w₁，w₂}={服務(wù)}，a₂={w₆，w₇}={味道}，觀點(diǎn)詞o₁={w₄}={好}，o₂={w₈，w₉}={不錯(cuò)}，包含的屬性-觀點(diǎn)對(duì)集合為｛（服務(wù)，好），（味道，不錯(cuò)）｝。

策略1 抽取屬性-觀點(diǎn)對(duì)的策略

本策略包含以下步驟和內(nèi)容：

a）詞性及句法依存關(guān)系提取。

在抽取屬性-觀點(diǎn)對(duì)時(shí)，基于各詞的詞性及句法依存關(guān)系，通過構(gòu)建的屬性-觀點(diǎn)對(duì)模板，最終抽取出文本中的屬性-觀點(diǎn)對(duì)信息。

句法依存分析的作用是識(shí)別出句子中各詞的相互依賴關(guān)系，通過各詞的依存關(guān)系來進(jìn)一步識(shí)別句子的句法結(jié)構(gòu)，如“服務(wù)挺好，味道不錯(cuò)”的句法依存關(guān)系如圖3所示。運(yùn)用哈工大語言技術(shù)平臺(tái)（LTP）^［26］可分析文本中各詞的詞性以及句法依存關(guān)系。

b）屬性-觀點(diǎn)對(duì)模板構(gòu)建。

借鑒文獻(xiàn)［27］，構(gòu)建如表1所示的屬性-觀點(diǎn)對(duì)抽取模板，其中依存關(guān)系代表各詞之間可能存在主謂關(guān)系（SBV）、動(dòng)賓關(guān)系（VOB）、定中關(guān)系（ATT）、狀中關(guān)系（ADV）、動(dòng)補(bǔ)關(guān)系（CMP）、并列關(guān)系（COO）、介賓關(guān)系（POB）和前置賓語（FOB）。

c）文本屬性-觀點(diǎn)對(duì)信息抽取

根據(jù)抽取模板建立文本屬性-觀點(diǎn)對(duì)抽取規(guī)則，將詞性與句法依存關(guān)系與抽取規(guī)則進(jìn)行匹配，若符合抽取模板1～11的規(guī)則，則進(jìn)行相應(yīng)的屬性-觀點(diǎn)對(duì)抽取，最終完成抽取任務(wù)。

2.2.2 動(dòng)態(tài)特征向量獲取策略

一詞多義是指一個(gè)詞語在不同語境下具有不同意義或解釋，可能會(huì)導(dǎo)致歧義或誤解。為了保存詞匯在當(dāng)前語境中的語義，以獲得更加豐富的文本語義特征，本文考慮文本的上下文信息，利用動(dòng)態(tài)詞嵌入模型BERT（bidirectional encoder representations from Transformers）獲取文本的動(dòng)態(tài)特征向量表示。

策略2 動(dòng)態(tài)特征向量獲取策略

本策略包含以下步驟和內(nèi)容：

a）文本詞嵌入向量獲取。

圖4展示了“服務(wù)挺好，味道不錯(cuò)”這句話的詞嵌入，設(shè)詞元嵌入向量為TE，片段嵌入向量為SE，位置嵌入向量為PE，BERT的輸入為向量E_i（i=1，2，…，n），其中：

E_i=TE_i+SE_i+PE_i

i=1，2，…，n（1）

將提取的屬性-觀點(diǎn)對(duì)集合P作為關(guān)鍵信息，原文本X作為背景信息，構(gòu)建詞嵌入的輸入文本Input，處理過程如式（2）所示。

Input=〈P〉［SEP］〈X〉（2）

其中：［SEP］代表分隔屬性觀點(diǎn)對(duì)集合和原文本的特殊標(biāo)記。對(duì)Input進(jìn)行詞嵌入，得到文本的向量化表示E_i。

b）文本動(dòng)態(tài)特征向量獲取。

將E_i作為BERT模型的輸入，通過BERT模型進(jìn)行處理：

T_i=BERT（E_i）（3）

輸出矩陣T=［T₁，T₂，…，T_n］即為文本經(jīng)BERT處理后的動(dòng)態(tài)特征向量表示。

2.2.3 基于雙通道的特征提取策略

基于特征提取策略進(jìn)行雙通道的特征提取，分別提取文本的局部語義特征和全局語義特征，從多方面提取文本語義信息。其中，局部語義特征是指文本中較小范圍即局部片段（如單個(gè)詞、短語）的語義信息，這些特征能夠捕獲文本詞匯層面的信息，如詞性、局部上下文和語法結(jié)構(gòu)等；全局語義特征則涉及整個(gè)句子的語義信息，更突出文本的上下文信息，這些信息有利于幫助模型理解文本的整體含義。

策略3 局部語義特征提取策略

本策略包含以下步驟和內(nèi)容：

a）基于卷積的局部特征提取。

卷積操作在文本的不同位置上滑動(dòng)一個(gè)固定大小的窗口，提取局部特征。通過多個(gè)不同大小的卷積核，可以提取不同的局部特征。卷積操作可以捕捉到文本中的局部模式和特征。TextCNN所具有的局部感受野和權(quán)值共享的優(yōu)點(diǎn)，可使模型的訓(xùn)練參數(shù)減少，適用于提取局部語義特征。卷積計(jì)算的公式為

c_i=f（ω·T_i：i+h-1）（4）

其中：c_i為卷積結(jié)果；ω為卷積核；T_i：i+h-1為第i個(gè)單詞到第i+h-1個(gè)單詞所組成的特征向量矩陣； f（·）為非線性激活函數(shù)。

b）基于池化的特征降維。

通過池化層減少特征維度并保留最重要的信息。池化層采取最大池化的方法，對(duì)特征尺寸進(jìn)行縮減，提取出最顯著的特征，并將這些特征進(jìn)行拼接處理，最終得到局部語義特征l。

策略4 全局語義特征提取策略

本策略包含以下步驟和內(nèi)容：

a）基于Att-BiLSTM的全局特征提取。

將詞嵌入層提取的動(dòng)態(tài)特征向量T輸入BiLSTM中，計(jì)算過程為式（5）～（7）所示。

h_t=f（ω₁T_t+ω₂h_t-1）（5）

h_t=f（ω₃T_t+ω₅h_t+1）（6）

y_t=g（ω₄h_t+ω₆h_t）（7）

其中：h_t為t時(shí)刻前向LSTM層的狀態(tài)；h_t為t時(shí)刻后向LSTM層的狀態(tài)；T_i為輸入的文本特征向量；ω₁～ω₆為權(quán)重參數(shù)； f（·）和g（·）為激活函數(shù)；y_t為BiLSTM的最終輸出。

為了區(qū)分不同特征詞的重要程度，將BiLSTM的輸出特征經(jīng)注意力機(jī)制進(jìn)行特征賦權(quán)，其計(jì)算過程如式（8）～（10）所示。

u_t=tanh（y_t）（8）

α_t=softmax（w^T·u_t）（9）

υ=∑nt=1α_ty_t（10）

其中：u_t為y_t經(jīng)激活函數(shù)后的向量表示；w^T為隨機(jī)初始化矩陣；α_t為對(duì)應(yīng)權(quán)重；υ為經(jīng)注意力機(jī)制加權(quán)后的特征向量。

b）基于特征向量υ與T的二次拼接。

由于全局語義特征更為復(fù)雜，為了獲取更全面的全局語義特征，減少關(guān)鍵語義丟失，考慮從不同維度提取全局特征，進(jìn)行特征的二次拼接操作。將Att-BiLSTM輸出的全局語義特征υ與文本的動(dòng)態(tài)特征向量表示T進(jìn)行拼接，操作過程如式（11）所示。

H_Tυ=Concat（T，υ）（11）

其中：Concat（·）是拼接操作，將υ和T沿向量最后一個(gè)維度進(jìn)行拼接；H_Tυ為拼接后的特征。

c）對(duì)拼接特征進(jìn)行注意力加權(quán)和平均池化。

將H_Tυ輸入注意力層，對(duì)輸入特征中不同位置的信息進(jìn)行加權(quán)，計(jì)算方法同式（8）～（10）。對(duì)處理后的特征向量進(jìn)行平均池化操作，對(duì)特征進(jìn)行降維處理，突出特征的整體信息，得到最終的全局語義特征向量q。

2.2.4 多融合方式互補(bǔ)的特征融合策略

針對(duì)單一融合方式易丟失關(guān)鍵信息的問題，本文提出一種多融合方式互補(bǔ)的特征融合策略。針對(duì)特征提取層提取到的文本全局語義特征與局部語義特征進(jìn)行多融合方式互補(bǔ)的特征融合，策略示意如圖5所示。

策略5 多融合方式互補(bǔ)的特征融合策略

本策略包含以下步驟和內(nèi)容：

a）對(duì)全局語義特征q和局部語義特征l進(jìn)行特征拼接和注意力融合。

特征拼接操作如式（12）所示。

H_cat=Concat（q，l）（12）

其中：q、l分別是特征提取層提取的全局語義特征和局部語義特征；Concat（·）是拼接操作；H_cat為拼接后的特征。

使用注意力融合的操作如式（13）～（15）所示。

u_i=tanh（q_i）（13）

α^k_i=softmax（u^T_i·l_k）（14）

H_att=∑ni=1 ∑Kk=1α^k_i·l_k（15）

其中：tanh表示激活函數(shù)；u_i為q_i經(jīng)激活函數(shù)后的向量表示；α^k_i表示對(duì)應(yīng)權(quán)值；H_att表示注意力融合后的特征向量。

拼接操作綜合了提取的全局語義信息和局部語義信息，而注意力融合操作針對(duì)重要的特征賦予更大的權(quán)重，將注意力集中于對(duì)任務(wù)更有幫助的特征上。

b）二次注意力融合。

將H_cat和H_att兩個(gè)特征進(jìn)一步使用注意力機(jī)制進(jìn)行特征融合，得到全面語義特征H，計(jì)算方法如式（13）～（15）所示。

c）對(duì)全面語義特征進(jìn)行平均池化。

將融合后的全面語義特征H輸入平均池化層中，降低模型過擬合風(fēng)險(xiǎn)，提高模型的泛化能力。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證所提模型的有效性，本章首先介紹了實(shí)驗(yàn)環(huán)境、所用數(shù)據(jù)集及模型超參數(shù)設(shè)置，并針對(duì)3個(gè)公共的中文在線評(píng)論情感分類數(shù)據(jù)集分別進(jìn)行了對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)，分析實(shí)驗(yàn)結(jié)果。

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文實(shí)驗(yàn)環(huán)境如下：操作系統(tǒng)為L(zhǎng)inux服務(wù)器，CPU為Intel Xeon Silver 4310，GPU為NVIDIA TESLA A40 48 GB，PyTorch 1.7.1+cu110，Python 3.9。

本文針對(duì)在線評(píng)論情感分類任務(wù)，共選用3個(gè)公共的中文在線評(píng)論情感二分類數(shù)據(jù)集，如下所示：

a）waimai_10k數(shù)據(jù)集。該數(shù)據(jù)集為外賣評(píng)論數(shù)據(jù)集，共11 987條外賣評(píng)論，平均長(zhǎng)度為25字

（https：//github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/waimai_10k/waimai_10k.csv）。

b）ChnSentiCorp_6k數(shù)據(jù)集。該數(shù)據(jù)集為酒店評(píng)論數(shù)據(jù)集，共6 000條酒店評(píng)論，平均長(zhǎng)度為137字

（https：//github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/ChnSentiCorp_htl_all/intro.ipynb）。

c）ChnSentiCorp_7k數(shù)據(jù)集。該數(shù)據(jù)集為酒店評(píng)論數(shù)據(jù)集，共7 766條酒店評(píng)論，平均長(zhǎng)度為129字

（https：//github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv）。

分別將數(shù)據(jù)集按8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，數(shù)據(jù)集的詳細(xì)信息如表2所示。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

MF-SDAM模型在3個(gè)中文評(píng)論數(shù)據(jù)集中的超參數(shù)設(shè)置如表3所示。為防止模型過擬合，使用早停法進(jìn)行模型訓(xùn)練，當(dāng)模型經(jīng)過1 000個(gè)batch訓(xùn)練無提升時(shí)，則提前結(jié)束訓(xùn)練。

3.3 模型對(duì)比分析

本文采用準(zhǔn)確率（accuracy， Acc）和F₁值（F-score）作為情感極性分類的評(píng)價(jià)指標(biāo)。為了驗(yàn)證MF-SDAM模型在在線評(píng)論情感分類任務(wù)上的優(yōu)越性，將MF-SDAM模型與以下10個(gè)模型做對(duì)比實(shí)驗(yàn)。

a）word2vec-TextCNN^［28］：使用word2vec作為詞嵌入模型，利用TextCNN提取文本的語義特征。

b）word2vec-BiLSTM^［29］：使用word2vec作為詞嵌入模型，利用BiLSTM提取文本的語義特征。

c）BERT^［18］：使用預(yù)訓(xùn)練模型BERT提取文本特征。

d）BERT-TextCNN^［19］：使用BERT作為詞嵌入模型，利用TextCNN提取文本的語義特征。

e）BERT-BiLSTM^［20］：使用BERT作為詞嵌入模型，利用BiLSTM提取文本的語義特征。

f）BERT-BiLSTM-ATT^［1］：使用BERT作為詞嵌入模型，利用BiLSTM提取文本的語義特征，并結(jié)合注意力機(jī)制對(duì)特征進(jìn)行加權(quán)。

g）BERT-CNN-LSTM^［2］：使用BERT作為詞嵌入模型，先利用TextCNN提取文本的語義特征，再用LSTM提取由TextCNN輸出的特征信息。

h）AlDCBAT^［24］：使用ALBERT作為詞嵌入模型，利用BiGRU和TextCNN提取文本的語義特征，并結(jié)合注意力機(jī)制對(duì)BiGRU提取的特征進(jìn)行加權(quán)，最后對(duì)提取的特征進(jìn)行拼接融合。

i）BERT-CBLBGA^［5］：使用BERT作為詞嵌入模型，利用TextCNN、BiLSTM和BiGRU提取文本的全局和局部語義特征，并結(jié)合自注意力機(jī)制進(jìn)行特征融合。

j）OSLCFit^［3］：使用BERT作為詞嵌入模型，將TextCNN和BiLSTM提取的文本語義特征進(jìn)行有機(jī)結(jié)合，特征輸入全連接層進(jìn)行情感極性的預(yù)測(cè)。

各模型對(duì)比結(jié)果如表4所示。

由實(shí)驗(yàn)結(jié)果可知，在waimai_10k數(shù)據(jù)集上，MF-SDAM模型在準(zhǔn)確率上優(yōu)于所有基準(zhǔn)模型，在F₁值上僅比最優(yōu)模型OSLCFit低0.21%。采用傳統(tǒng)靜態(tài)詞嵌入的word2vec-TextCNN模型的性能最差，與MF-SDAM模型相比分別下降3.93%、4.96%。由于waimai_10k數(shù)據(jù)集正負(fù)類別不平衡，所以傳統(tǒng)模型在分類時(shí)容易受到影響，分類結(jié)果會(huì)偏向于樣本更多的類別，實(shí)驗(yàn)結(jié)果說明了MF-SDAM模型在處理不平衡數(shù)據(jù)時(shí)具有較好的魯棒性?？傮w而言，動(dòng)態(tài)詞嵌入模型BERT相比于傳統(tǒng)靜態(tài)詞嵌入模型word2vec，克服了傳統(tǒng)靜態(tài)詞嵌入模型無法解決一詞多義的問題，因此性能有所提升。MF-SDAM模型基于句法依存、雙通道提取特征、多融合方式互補(bǔ)的特征融合策略充分提取了文本的情感特征信息，因此在線評(píng)論情感分類性能優(yōu)于大多數(shù)對(duì)比模型。

在ChnSentiCorp_6k數(shù)據(jù)集上，由于數(shù)據(jù)集類別平衡，所以各模型的性能都有所提升，其中MF-SDAM模型的性能提升最為明顯，F(xiàn)₁值達(dá)到了95.00%。相較于模型中表現(xiàn)最好的OSLC-Fit，MF-SDAM模型通過屬性-觀點(diǎn)對(duì)提取、額外的全局特征提取通道及多融合方式互補(bǔ)的特征融合策略提取到更加豐富的文本語義信息，減少了特征提取過程中的關(guān)鍵信息損失，在F₁上比OSLCFit高出了1.83%。

在ChnSentiCorp_7k數(shù)據(jù)集上，相較于ChnSentiCorp_6k數(shù)據(jù)集增加了一定量的樣本，并且最終的正負(fù)樣本數(shù)量不平衡，這也導(dǎo)致了模型的整體性能下降較為明顯。其中，基準(zhǔn)模型中F₁值最低的是word2vec-TextCNN，其F₁值為82.72%，F(xiàn)₁值最高的是BERT-CBLBGA，為86.78%，MF-SDAM在數(shù)據(jù)不平衡的情況下F₁值仍達(dá)到了87.47%，相比于最好的BERT-CBLBGA提升0.69%，說明MF-SDAM模型在處理不平衡數(shù)據(jù)集時(shí)具有一定優(yōu)勢(shì)，且多特征融合充分提取了文本的情感特征信息，提高了模型的分類性能。

綜上，通過MF-SDAM與基準(zhǔn)模型在3個(gè)公共數(shù)據(jù)集上的表現(xiàn)可以得出，MF-SDAM模型通過屬性-觀點(diǎn)對(duì)提取、雙通道的特征提取策略、多融合方式互補(bǔ)的特征融合策略提取了更加豐富的文本語義信息，減少了特征提取過程的關(guān)鍵信息損失，其性能在大多數(shù)情況下均優(yōu)于10個(gè)基準(zhǔn)模型，且對(duì)于不平衡數(shù)據(jù)集具有較好的魯棒性。

3.4 案例分析

為進(jìn)一步分析本文MF-SDAM模型相對(duì)于BERT-CNN-LSTM、ALDCBAT、BERT-CBLBGA和OSLCFit的優(yōu)勢(shì)，本文使用經(jīng)過訓(xùn)練的MF-SDAM、BERT-CNN-LSTM、ALDCBAT、BERT-CBLBGA和OSLCFit來預(yù)測(cè)在線評(píng)論典型樣例并進(jìn)行分析，進(jìn)一步驗(yàn)證MF-SDAM模型的在線評(píng)論情感分類性能。

樣例分類結(jié)果如表5所示。

對(duì)于樣例1和2，這類帶“但是”等轉(zhuǎn)折詞的文本，往往前面部分和后面部分的情感極性不一致，因此情感分類的難度較大。在對(duì)比模型中，BERT-CNN-LSTM、ALDCBAT和BERT-CBLBGA都出現(xiàn)了兩次誤分類的情況，其原因在于以上模型并不能準(zhǔn)確提取該類文本的豐富語義信息，往往會(huì)遺漏小部分全局或局部語義，造成關(guān)鍵信息的損失。對(duì)于情感分類難度更大的樣例2，則只有本文提出的MF-SDAM模型可以分類成功，這得益于MF-SDAM可以通過關(guān)鍵信息提取策略提取出在線評(píng)論的關(guān)鍵信息。在樣例2中提取到的文本關(guān)鍵信息為{（螺螄粉，不錯(cuò)），（綠豆沙，好喝），（送餐，無語），（不認(rèn)識(shí)，路），（地址，寫錯(cuò)）}，較為準(zhǔn)確地提取了文本的關(guān)鍵信息，并通過全局語義提取的二次拼接、多融合方式互補(bǔ)的特征融合等策略提取了更加豐富的文本語義信息，減少特征提取和融合過程中的關(guān)鍵信息損失。

對(duì)于樣例3，這類篇幅較長(zhǎng)且內(nèi)容較雜的文本，一般的單通道模型如BERT-CNN-LSTM及常規(guī)的雙通道模型如ALDCBAT容易丟失部分信息，以及錯(cuò)誤地關(guān)注非重點(diǎn)內(nèi)容，因此造成誤分類。而本文提出的MF-SDAM通過多重注意力加權(quán)，可以關(guān)注到更重要的信息，使情感特征信息更加突出，因此情感分類性能更好。

綜上，對(duì)于在線評(píng)論這類行文不規(guī)范且情感成分較為復(fù)雜的文本，本文模型可以提取更豐富的文本語義信息，減少特征提取與融合過程中的關(guān)鍵信息損失，因此在在線評(píng)論情感分類任務(wù)中相較于基準(zhǔn)模型更有優(yōu)勢(shì)。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證MF-SDAM模型中各模塊對(duì)情感分類準(zhǔn)確率的影響，進(jìn)行了消融實(shí)驗(yàn)（w/o代表without）。

a）w/o 句法依存：表示在MF-SDAM模型中減去關(guān)鍵信息提取層中提取的屬性-觀點(diǎn)對(duì)信息。

b）w/o 局部語義提取通道：表示在MF-SDAM模型中減去特征提取層中TextCNN提取的局部語義特征。

c）w/o 二次拼接：表示在MF-SDAM模型中減去特征提取層中Att-BiLSTM與文本特征的二次拼接，該通道僅保留Att-BiLSTM提取的特征。

d）w/o 全局語義提取通道：表示在MF-SDAM模型中減去特征提取層最終提取的全局語義特征。

e）w/o 注意力融合特征：表示在MF-SDAM模型中減去特征融合層的注意力融合特征，僅保留拼接特征。

f）w/o 拼接特征：表示在MF-SDAM模型中減去特征融合層的拼接特征，僅保留注意力融合特征。

實(shí)驗(yàn)結(jié)果如表6所示。

由實(shí)驗(yàn)結(jié)果可知，MF-SDAM模型中基于句法依存的文本屬性-觀點(diǎn)對(duì)提取、雙通道特征提取及全局特征提取的二次拼接、多融合方式互補(bǔ)的特征融合策略對(duì)于模型的性能提升都有明顯作用。在相同條件下，利用句法依存關(guān)系提取文本屬性-觀點(diǎn)對(duì)信息作為關(guān)鍵信息、原文本作為背景信息的模型，相比于僅使用原文本信息的模型，F(xiàn)₁值有較大提升，說明提取的屬性-觀點(diǎn)對(duì)信息作為在線評(píng)論情感分類任務(wù)中文本的關(guān)鍵信息，對(duì)于模型的情感分類效果具有良好的促進(jìn)作用。

模型的雙通道特征提取均有利于模型性能的提升，其中移除TextCNN提取的局部語義特征會(huì)使得F₁值顯著下降，體現(xiàn)了局部語義特征對(duì)于情感分類模型的重要作用；全局語義特征捕獲了文本的長(zhǎng)距離依賴和上下文信息，其中Att-BiLSTM與文本特征的二次拼接操作豐富了全局語義特征，減少了關(guān)鍵語義的丟失；模型的拼接特征和注意力融合特征均對(duì)模型性能提升有著重要作用，將拼接特征和注意力融合特征進(jìn)行進(jìn)一步的特征融合操作，綜合了局部和全局信息，特征表達(dá)更為豐富?；诙嗳诤戏绞交パa(bǔ)的特征融合策略有助于減少特征融合時(shí)關(guān)鍵信息丟失的問題，使得最終模型的性能有顯著的提升。

4 結(jié)束語

為了提取更加豐富的在線評(píng)論文本語義信息，本文提出了一種基于句法依存和注意力機(jī)制的多特征多重融合情感分類模型。該模型聚焦于減少文本語義信息提取過程中的關(guān)鍵信息損失，更好地提取文本的關(guān)鍵語義信息，通過句法依存提取屬性-觀點(diǎn)對(duì)信息、雙通道特征提取及全局特征提取的二次拼接操作、多融合方式互補(bǔ)的特征融合策略提取了更加豐富的文本語義信息。實(shí)驗(yàn)結(jié)果表明，基于句法依存和注意力機(jī)制的多特征多重融合情感分類模型在3個(gè)公共的中文在線評(píng)論數(shù)據(jù)集上的表現(xiàn)相較于其他基準(zhǔn)模型性能更優(yōu)，能夠有效地提取更加豐富的語義信息。由于本模型的結(jié)構(gòu)更加復(fù)雜，特征提取的步驟更加繁瑣，所以本模型雖然在一定程度上提高了情感分類的準(zhǔn)確率，但必然會(huì)增加模型的運(yùn)行時(shí)間。因此，下一階段的研究工作是在保證模型性能的同時(shí)，簡(jiǎn)化模型結(jié)構(gòu)以縮短模型的運(yùn)行時(shí)間。

參考文獻(xiàn)：

［1］Zhang You， Wang Jin， Zhang Xuejie. YNU-HPCC at semeval-2018 task 1： BiLSTM with attention based sentiment analysis for affect in tweets ［C］//Proc of the 12th International Workshop on Semantic Evaluation. Stroudsburg， PA： ACL Press， 2018： 273-278.

［2］Rani S， Bashir A K， Alhudhaif A， et al. An efficient CNN-LSTM model for sentiment detection in #BlackLivesMatter ［J］. Expert Systems with Application， 2022， 193： 116256.

［3］Kiran R， Kumar P， Bhasker B. OSLCFit （organic simultaneous LSTM and CNN fit）： a novel deep learning based solution for sentiment polarity classification of reviews ［J］. Expert Systems with Applications， 2020， 157： 113488.

［4］吳旭旭， 陳鵬， 江歡. 基于多特征融合的微博細(xì)粒度情感分析 ［J］. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2023， 7（12）： 102-113. （Wu Xuxu， Chen Peng， Jiang Huan. Micro-blog fine-grained sentiment analysis based on multi-feature fusion ［J］. Data Analysis and Knowledge Discovery， 2023， 7（12）： 102-113.）

［5］Jia Keliang，Meng Fanxu，Liang Jing， et al. Text sentiment analysis based on BERT-CBLBGA ［J］. Computers and Electrical Engineering， 2023， 112： 109019.

［6］王穎潔， 朱久祺， 汪祖民， 等. 自然語言處理在文本情感分析領(lǐng)域應(yīng)用綜述 ［J］. 計(jì)算機(jī)應(yīng)用， 2022， 42（4）： 1011-1020. （Wang Yingjie， Zhu Jiuqi， Wang Zumin， et al. Review of the application of natural language processing in text emotional analysis ［J］. Journal of Computer Applications， 2022， 42（4）： 1011-1020.）

［7］Zubair A M， Aurangzeb K， Shakeel A， et al. Lexicon-enhanced sentiment analysis framework using rule-based classification scheme ［J］. PLoS One， 2017， 12（2）： e0171649.

［8］Ahmed M， Chen Qun， Li Zhanhuai. Constructing domain-dependent sentiment dictionary for sentiment analysis ［J］. Neural Computing amp; Applications， 2020， 32（18）： 14719-14732.

［9］Zhao Huiliang，Liu Zhenghong，Yao Xuemei， et al. A machine lear-ning-based sentiment analysis of online product reviews with a novel term weighting and feature selection approach ［J］. Information Processing amp; Management， 2021， 58（5）： 102656.

［10］Budhi G S， Chiong R， Pranata I， et al. Using machine learning to predict the sentiment of online reviews： a new framework for comparative analysis ［J］. Archives of Computational Methods in Engineering， 2021， 28（4）： 2543-2566.

［11］陳龍， 管子玉， 何金紅， 等. 情感分類研究進(jìn)展 ［J］. 計(jì)算機(jī)研究與發(fā)展， 2017， 54（6）： 1150-1170. （Chen Long， Guan Ziyu， He Jinhong， et al. Progress in emotional classification research ［J］. Computer Research and Development， 2017， 54（6）： 1150-1170.）

［12］袁健， 董光文. 多維特征融合的混合神經(jīng)網(wǎng)絡(luò)文本情感分析模型 ［J］. 小型微型計(jì)算機(jī)系統(tǒng)， 2023， 44（10）： 2137-2143. （Yuan Jian， Dong Guangwen. A hybrid neural network model for text emotion analysis based on multidimensional feature fusion ［J］. Journal of Chinese Computer Systems， 2023， 44（10）： 2137-2143.）

［13］季陳， 葉慧雯， 王子民， 等. 基于BiLSTM-CapsNet混合模型的社交文本情感分析 ［J］. 南京理工大學(xué)學(xué)報(bào)， 2022， 46（2）： 205-210. （Ji Chen， Ye Huiwen， Wang Zimin， et al. Emotional analysis of social text based on BiLSTM-CapsNet hybrid model ［J］. Journal of Nanjing University of Technology， 2022， 46（2）： 205-210.）

［14］Liu Jin， Yang Yihe， Lyu Shiqi， et al. Attention-based BiGRU-CNN for Chinese question classification ［J/OL］. Journal of Ambient Intelligence and Humanized Computing. （2019-06-13）. https：//doi.org/10.1007/s12652-019-01344-9.

［15］韓普， 張偉， 張展鵬， 等. 基于特征融合和多通道的突發(fā)公共衛(wèi)生事件微博情感分析 ［J］. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2021， 5（11）： 68-79. （Han Pu， Zhang Wei， Zhang Zhanpeng， et al. Sentiment analysis of Weibo posts on public health emergency with feature fusion and multi-channel ［J］. Data Analysis and Knowledge Discovery， 2021， 5（11）： 68-79.）

［16］Mikolov T， Chen Kai， Corrado G， et al. Efficient estimation of word representations in vector space ［EB/OL］. （2013）. https：//arxiv.org/abs/1301. 3781.

［17］Pennington J， Socher R， Manning C. GloVe： global vectors for word representation ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL Press， 2014： 1532-1543.

［18］Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： ACL Press， 2019： 4171-4186.

［19］Wang Yujie， Shen Xianjun， Yang Yujuan. The classification of Chinese sensitive information based on BERT-CNN ［C］// Proc of Artificial Intelligence Algorithms and Applications. London： Sprin-ger， 2020： 269-280.

［20］諶志群， 鞠婷. 基于BERT和雙向LSTM的微博評(píng)論傾向性分析研究 ［J］. 情報(bào)理論與實(shí)踐， 2020， 43（8）： 173-177. （Chen Zhiqun， Ju Ting. Research on Weibo review tendency analysis based on BERT and bidirectional LSTM ［J］. Intelligence Theory and Practice， 2020， 43（8）： 173-177.）

［21］Jain P K， Quamer W， Saravanan V， et al. Employing BERT-DCNN with sentic knowledge base for social media sentiment analysis ［J］. Journal of Ambient Intelligence and Humanized Computing， 2023， 14： 10417-10429.

［22］李衛(wèi)疆， 漆芳， 余正濤. 基于多通道特征和自注意力的情感分類方法 ［J］. 軟件學(xué)報(bào)， 2021， 32（9）： 2783-2800. （Li Weijiang， Qi Fang， Yu Zhengtao. A sentiment classification method based on multi-channel features and self attention ［J］. Journal of Software Science， 2021， 32（9）： 2783-2800.）

［23］謝玉惠， 肖桂榮. 融合注意力機(jī)制的多通道CNNs-BiLSTM情感極性分析方法 ［J］. 小型微型計(jì)算機(jī)系統(tǒng)， 2023， 44（6）： 1140-1145. （Xie Yuhui， Xiao Guirong. Multi-channel CNNs-BiLSTM sentiment polarity analysis method integrating attention mechanism ［J］. Journal of Chinese Computer Systems， 2023， 44（6）： 1140-1145.）

［24］Zhu Yulei， Luosai B， Zhou Liyuan， et al. Research on sentiment analysis of Tibetan short text based on dual-channel hybrid neural network ［C］//Proc of the 4th IEEE International Conference on Pattern Recognition and Machine Learning. Piscataway，NJ：IEEE Press， 2023： 377-384.

［25］胥桂仙， 劉蘭寅， 王家誠(chéng)， 等. 基于BERT和超圖對(duì)偶注意力網(wǎng)絡(luò)的文本情感分析 ［J］. 計(jì)算機(jī)應(yīng)用研究， 2024， 41（3）： 786-793. （Xu Guixian， Liu Lanyin， Wang Jiacheng， et al. Text emotion analysis based on BERT and hypergraph dual attention network ［J］. Application Research of Computers， 2024， 41（3）： 786-793.）

［26］Che Wanxiang， Feng Yunlong， Qin Libo， et al. N-LTP： an open-source neural language technology platform for Chinese ［C］// Proc of Conference on Empirical Methods in Natural Language Processing： System. Stroudsburg， PA： ACL Press， 2021： 42-49.

［27］包乾輝， 文娟， 石淑珍， 等. 融合句法依存與BERT-Att-BiLSTM的屬性分類 ［J］. 北京郵電大學(xué)學(xué)報(bào)， 2023， 46（4）： 123-128. （Bao Qianhui， Wen Juan， Shi Shuzhen， et al. Fusion of syntactic dependency and attribute classification of BERT-Att-BiLSTM ［J］. Journal of Beijing University of Posts and Telecommunications， 2023， 46（4）： 123-128.）

［28］Kim Y. Convolutional neural networks for sentence classification ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL Press， 2014： 1746-1751.

［29］Yue Wang， Li Lei. Sentiment analysis using word2vec-CNN-BiLSTM classification ［C］//Proc of the 7th International Conference on Social Networks Analysis， Management and Security. Piscataway，NJ：IEEE Press， 2020： 1-5.