基于注意力機制和CNN-BiLSTM模型的在線協(xié)作討論交互文本自動分類

李淑紅　鄧明明　孫社兵　任濟洲

摘? 要：針對當前的在線協(xié)作討論交互文本分類僅采用深度學習方法時，存在無法充分獲取上下文語義關聯(lián)以及忽略關鍵特征詞，造成分類結(jié)果準確率下降的問題，文中提出一種結(jié)合注意力機制的深度學習網(wǎng)絡模型—CNN-BiLSTM-Attention，進一步強化文本的語義特征。利用該模型對在線協(xié)作討論活動中產(chǎn)生的12 000條交互文本進行分類，分類結(jié)果表明，CNN-BiLSTM-Attention的分類準確率整體上可達到82.40%，有效提升了文本分類的效果。

關鍵詞：深度學習；卷積神經(jīng)網(wǎng)絡；長短時記憶網(wǎng)絡；注意力機制

中圖分類號：TP18? 文獻標識碼：A? 文章編號：2096-4706（2023）13-0026-07

Automatic Classification of Interactive Texts in Online Collaborative Discussion Based on Attention Mechanism and CNN-BiLSTM Model

LI Shuhong1， DENG Mingming1， SUN Shebing1， REN Jizhou2

（1.Henan University of Economics and Law， Zhengzhou? 450046， China;

2.Australian National University， Zhengzhou? 450046， China）

Abstract： In response to the problem of insufficient contextual semantic association and neglect of key feature words in current online collaborative discussion interactive text classification using only deep learning methods， resulting in a decrease in classification accuracy， this paper proposes a deep learning network model that combines attention mechanism - CNN-BiLSTM-Attention， to further strengthen the semantic features of the text. Using this model to classify 12 000 interactive texts generated in online collaborative discussion activities， the classification results show that the overall classification accuracy of CNN-BiLSTM-Attention can reach 82.40%， effectively improving the effectiveness of text classification.

Keywords： deep learning; Convolutional Neural Network; Long Short-Term Memory Network; attention mechanism

0? 引? 言

在線協(xié)作討論場景中基于討論的學習能夠為學生提供重要的益處[1]。通過技術(shù)支持的在線協(xié)作討論使得學習者能夠跨越時空的局限，更大程度上詢問問題，彼此交換觀點，進行意義協(xié)商，最終提升學習者的協(xié)作討論能力、促進其認知技能和批判性思維的發(fā)展[2，3]。交互是協(xié)作學習的基本活動單元，在協(xié)作學習過程中具有非常重要的作用[4]。學習者在交互的過程中產(chǎn)生大量文本語料，分析這些交互文本中的語義信息，對于識別在線討論過程中的認知發(fā)展、情感交流、爭論過程，協(xié)商模式等特征行為具有重要作用。香港大學研究者Law[5]指出，如何分析和理解由學生產(chǎn)生的大量對話語料對于教師和研究者是一個嚴峻的挑戰(zhàn)。

通過學習者的交互文本識別言語意圖本質(zhì)上是一個文本分類問題。傳統(tǒng)言語意圖識別多采用基于研究者的人工標注方法和基于協(xié)作討論參與者的自我標注行為[6]。人工標注方法需要耗費大量時間及人力，且僅支持事后分析，無法滿足在線協(xié)作學習過程的動態(tài)實時分析。自我標注行為在協(xié)作者發(fā)表交互言語時要求協(xié)作者報告自己的行為意圖，這種強制標簽的形式打斷了交互過程的自然連續(xù)性，為研究而研究，阻礙了協(xié)作過程的順利開展。

因而，發(fā)展針對該情境下的自動化文本分類方法，自動識別學習者在交流中表達的陳述、提問、情感和管理等行為意圖，對于明確學習者的參與模式和交互策略，并進一步預測學習效果、挖掘協(xié)作問題解決規(guī)律及協(xié)作知識演變規(guī)律等問題具有重要價值[7]。然而，在線協(xié)作學習場景的交互討論具有自己的特殊性，如在面對某課后問題，是否采取小組協(xié)作討論方式時，本研究收集的學生討論文本為“我們需要利用小組合作，縮小個體之間的差異”“應該提議咱們就一人來一段嘛”“建議直接留一個人發(fā)言就好了，不需要team”“希望自主找到解決問題的方法”。在線協(xié)作討論交互文本具有較多地使用短文本語言，常用縮略詞、使用網(wǎng)絡化流行語和強對話邏輯特征等，因而直接采用傳統(tǒng)深度學習方法難以取的較好的分類效果。如何結(jié)合協(xié)作交互文本特征實施更為細致的數(shù)據(jù)預處理、特征詞抽取、分類模型構(gòu)建等成為當前重要的研究挑戰(zhàn)。

1? 相關研究

使用機器學習方法是當前計算機領域內(nèi)自動文本分類采用的主流方法，主要包括支持向量機、樸素貝葉斯、決策樹、K最近鄰等。如Dhanalakshmi等[8]采用SVM和樸素貝葉斯模型對學生評論的極性進行分類，探索學生對教學質(zhì)量的滿意度。Sivakumar等人[9]結(jié)合K-means聚類與樸素貝葉斯方法作為分類模型，對收集到的學生反饋文本進行預測分類，用以提高學生學習技巧。Zheng等人[10]利用四種機器學習分類算法（決策樹、樸素貝葉斯、支持向量機和隨機森林）對學生在計算機支持的協(xié)作學習環(huán)境中產(chǎn)生的在線聊天記錄分類，識別自我和社會共享調(diào)節(jié)活動。這些機器學習方法通常將文本表示為高維度高稀疏的向量，其特征表達能力較弱，需要人工進行特征工程，在處理大量數(shù)據(jù)和語料庫時會帶來較高的代價[11]。

隨著計算能力的提高、大數(shù)據(jù)集的可用性以及算法的不斷創(chuàng)新，深度學習技術(shù)得到了迅速的發(fā)展，并在自然語言處理（NLP）領域取得了巨大的成功[12]。和傳統(tǒng)機器學習方式不同，深度學習可以自動地在輸入數(shù)據(jù)中提取高層語義特征，因此表征能力也更強。常用的深度學習算法模型有卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks， CNN）、循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network， RNN）、長短時記憶網(wǎng)絡（Long short-Term memory， LSTM）等。Kim[13]提出基于卷積神經(jīng)網(wǎng)絡的句子級文本分類模型，該模型在訓練詞向量時，利用CNN進行預訓練，優(yōu)化特征表達，得到由靜態(tài)向量表示的句子，提高了分類效果。Xu等[14]利用BiLSTM神經(jīng)網(wǎng)絡模型對評論文本情感進行研究，有效地捕獲上下文信息，結(jié)果表明BiLSTM情感分析模型要優(yōu)于RNN、CNN和LSTM。Sharfuddin等人[15]提出基于BiLSTM的孟加拉文本情感分類模型，準確度可以達到85.67%。隨著文本分類任務越來越復雜，對文本分類模型的性能要求也越來越高，部分研究人員開始嘗試在BiLSTM神經(jīng)網(wǎng)絡模型中加入其他模塊，利用集成模型來構(gòu)建文本分類模型。如郭浩等[16]提出一種基于CNN和BiLSTM相結(jié)合的短文本分類模型，利用CNN與BiLSTM相結(jié)合的孿生神經(jīng)網(wǎng)絡結(jié)構(gòu)，在聯(lián)系上下文的同時，提取句子不同粒度的特征，對句子進行深層語義編碼，有效地提高了短文本分類的準確率。以上的研究都對文本分類任務中上下文聯(lián)系提出了有效的解決方法，但仍未考慮文本中關鍵信息的特征提取問題。

注意力機制的引入，讓神經(jīng)網(wǎng)絡模型在眾多的輸入信息中聚焦于對當前任務更為關鍵的信息，過濾掉無關信息，從而解決信息過載問題，并提高任務處理的準確性。Du等[17]提出了一種基于CNN的注意力模型，能夠提取句子中的關鍵部分，提高模型的預測能力。Xie等[18]利用基于自我注意力的BiLSTM模型，用于對短文本的情感極性分析，利用自我注意力機制對隱藏向量和局部向量進行融入，降低了矢量拼接帶來的計算復雜度，提升了短文本分類的效率。

文本分類任務是自然語言處理中最為重要的一個任務，在線協(xié)作討論交互文本分類任務的核心問題之一就是特征選擇[19]。注意力機制能針對原始數(shù)據(jù)集中的局部數(shù)據(jù)篩選出關鍵信息，并對關鍵信息賦予相應的權(quán)重，最終在全局角度對每個局部關鍵信息的權(quán)重加權(quán)平均，得到全局關鍵信息的權(quán)重，以此提高數(shù)據(jù)分類的準確率。CNN模型能夠自動提取交互文本中的局部特征信息，BiLSTM從全局角度考慮文本的上下文語義關系，非常適合于具有上下文依賴關系的文本分類問題的解決。基于此，本研究結(jié)合注意力機制與CNN-BiLSTM構(gòu)建交互文本分類模型，采用Word2Vec詞嵌入向量對輸入文本進行表示，結(jié)合CNN和BiLSTM提取文本特征的優(yōu)點，采用注意力機制重點關注文本中和任務相關的關鍵特征，以此達到更高的文本分類精度。最后，利用softmax分類器對處理后的信息進行分類，得到分類結(jié)果。

2? CNN-BiLSTM-Attention交互文本分類模型

本研究采用CNN-BiLSTM-Attention模型進行文本分類任務，CNN-BiLSTM-Attention模型一方面利用CNN提取交互文本局部關鍵特征信息，利用BiLSTM模型保留文本序列信息，獲得文本序列上下文語義特征信息，充分挖掘上下文語義時序的依賴關系。另一方面，能夠重點關注文本中的關鍵內(nèi)容，加大模型對關鍵信息特征向量的注意力，優(yōu)化文本表示。本研究采用的模型結(jié)構(gòu)如圖1所示。

.1? 詞嵌入層

在獲得輸入層的輸出數(shù)據(jù)后，本文在詞嵌入層利用Word2Vec技術(shù)將完成停用詞和分詞處理的非結(jié)構(gòu)化交互文本數(shù)據(jù)轉(zhuǎn)換成為結(jié)構(gòu)化的詞向量。本文選用的Word2Vec技術(shù)可以考慮上下文之間的聯(lián)系，相比與傳統(tǒng)機器學習的特征工程，轉(zhuǎn)換得到的詞向量是低緯度且稠密的向量，更加適合于在線協(xié)作討論交互文本分類任務。

2.2? CNN神經(jīng)網(wǎng)絡層

由于傳統(tǒng)的特征提取采用人工提取的方式，對于研究者的專業(yè)水平要求高，同時由于交互文本常是縮略詞和網(wǎng)絡化流行語，會造成特征提取過程費時費力的情況出現(xiàn)。為了克服人工提取的弊端，本研究采用卷積神經(jīng)網(wǎng)絡的方法提取交互文本的局部關鍵特征。

CNN由卷積層、池化層和全連接層組成，以經(jīng)過Word2Vec預訓練所獲得的詞向量wi ∈ R d作為CNN網(wǎng)絡的輸入，其中d表示詞向量維度。CNN根據(jù)不同大小的卷積核建立多個卷積層，用來提取交互文本的局部特征信息。卷積計算公式：

ci = f （ωwi：i+h-1） + b

其中，wi：i+h-1表示每次卷積操作的取詞數(shù)；b ∈ R表示偏置項；f表示一個非線性激活函數(shù)，如tanh函數(shù)或者校正線性單元（ReLU）函數(shù)。目前，大部分的卷積神經(jīng)網(wǎng)絡基本上都是使用ReLU函數(shù)，因為它可以使卷積神經(jīng)網(wǎng)絡取得更好的效果。經(jīng)過卷積層特征矩陣作為池化層的輸入，池化層用于壓縮數(shù)據(jù)和參數(shù)的數(shù)量，篩選有效特征，減少特征總數(shù)量；在篩選特征的同時，池化層保證了數(shù)據(jù)特征的不變性和魯棒性。這里使用最大池化層降低維度，經(jīng)過池化層后的合并向量作為CNN網(wǎng)絡層的最終輸出。

2.3? BiLSTM神經(jīng)網(wǎng)絡層

CNN神經(jīng)網(wǎng)絡層將局部特征向量數(shù)據(jù)輸入BiLSTM層后，本文采用Hochreiter等[20]提出的LSTM模型作為參考，構(gòu)建出BiLSTM模型，用于提取輸入數(shù)據(jù)中的上下文語義特征。LSTM模型是一種為了解決RNN長期依賴問題、梯度消失和梯度爆炸問題的特殊循環(huán)神經(jīng)模型。LSTM模型加入了自適應的門控機制，來保證LSTM神經(jīng)單元能保存先前狀態(tài)和記憶當前輸入神經(jīng)單元的特征抽取，從而獲取文本中的長期依賴關系，達到更理想化地從文本整體角度理解文本語義。

LSTM模型記憶單元中的門結(jié)構(gòu)由3部分組成：輸入門it（input gate）、遺忘門ft（forget gate）和輸出門ot（output gate），LSTM門控機制的結(jié)構(gòu)如圖2所示。

門結(jié)構(gòu)用于記憶和更新記憶神經(jīng)單元的信息。其中，在當前t時刻，更新各個門控機制及單元狀態(tài)的算式如下：

其中，x表示輸入的交互文本詞向量，t表示當前時刻，t-1表示上一時刻，h表示LSTM的單元輸出，ht-1表示上一層的生成狀態(tài)，c表示記憶單元值，б表示Sigmoid函數(shù)，Wi、Wf、Wo、bi、bf、bo分別表示輸入門it、遺忘門ft和輸出門ot的權(quán)重和偏置量。式（1）表示對記憶單元的更新，作用為遺忘部分信息并且更新當前輸入信息中需要更新到當前記憶單元中的信息。式（2）表示計算當前的輸出結(jié)果，最終由輸出門ot決定輸出的信息。

當前記憶單元值由上一層的記憶單元值和當前單元產(chǎn)生的信息所得到。然而，標準的LSTM網(wǎng)絡在處理時間序列任務時，忽略了下文語義特征信息。本文在LSTM模型的基礎上，采用兩層LSTM模型分別作為CNN-BiLSTM-Attention模型中BiLSTM層的正向傳播通道和反向傳播通道。利用正向傳播通道提取文本序列的上文語義特征，利用反向傳播通道提取文本序列的下文語義特征，最終將兩個通道所提取的語義特征相結(jié)合，得到上下文語義特征。

2.4? Attention層

本文采用CNN-BiLSTM模型結(jié)合注意力機制來進行交互文本分類，利用注意力機制從全局角度獲取文本聯(lián)系并關注局部關鍵文本聯(lián)系的特點和優(yōu)秀的處理冗余信息和信息丟失問題的能力，從而進一步強化文本的語義特征。

本研究采用Attention機制中的Attention函數(shù)對輸入的數(shù)據(jù)按照不同的權(quán)重參數(shù)進行組合。利用鍵值對（Key-Value）查詢的方式來設計Attention函數(shù)，其工作結(jié)構(gòu)如圖3所示。

注意力機制可以用如下的算式進行表示：

ui = tanh （Whi + b）

其中，hi表示輸入隱向量，tanh表示雙曲正切激活函數(shù)，uT表示訓練所得參數(shù)向量的轉(zhuǎn)置，t表示語句序列長度，v表示利用tanh激活函數(shù)計算得到的最終句子表示。

2.5? 輸出層

在經(jīng)過BiLSTM獲取文本上下文深度語義依賴關系和Attention機制加強局部關鍵信息文本語義特征后，本研究利用Softmax函數(shù)作為分類器進行文本分類。將輸出值yi使用Softmax函數(shù)進行計算，得到相應的概念分布，計算過程為：

其中：θ = {E，Wi，Wf，Wo，bi，bf，bo}，E = [e1，e2，e3，…，en]，公式中，D表示輸入文檔，θ表示模型訓練學習得到的參數(shù)，ki表示文本所屬分類，i ∈{1，2，3，4，5，6}。Attention-BiLSTM模型最終預測分類輸出表示p （ki | D， θ ）概率最大的分類。

3? 實驗與分析

3.1? 數(shù)據(jù)集

本研究采用的數(shù)據(jù)集來自中國某高校面對大二學生所開設的四門在線協(xié)作學習課程，利用收集到的課程中各小組在線協(xié)作討論交互文本作為本次研究的實驗數(shù)據(jù)集。其中包括12 000條語料。為保證交互文本數(shù)據(jù)最大程度保留真實在線交互學習場景下的討論交互文本特點，以保證本文模型在實際應用中的泛化能力，采用的分類表基于鄭婭峰[21]對在線討論交互文本分析的研究，將在線討論交互文本分為陳述類、協(xié)商類、提問類、管理類、情感類和其他類這六類。具體分類類別如表1所示。

本研究通過人工標注的方法對原始語料進行手工分類，之后按照8：2的數(shù)據(jù)劃分比例，將每一類數(shù)據(jù)劃分為訓練集與測試集。陳述類、協(xié)商類、提問類、管理類、情感類和其他類六類討論交互文本的分布情況如表2所示。

在獲得到相應的在線協(xié)作討論交互文本后，將收集到的交互文本數(shù)據(jù)集按表2所示的類別標注為C1、C2、C3、C4、C5、C6這6類。例如，“C語言規(guī)定每個語句的后面都要加分號結(jié)束的”屬于陳述類，類型序號標注為C1；“數(shù)學好難?。　睂儆谇楦蓄?，類型序號標注為C5。

3.2? 實驗設置

為了驗證本文采用模型的可行性，設計出以下實驗進行測試。實驗環(huán)境：實驗平臺為Google TensorFlow，編程語言為Python，開發(fā)工具為Jupyter Notebook。如表3所示。

其中，kernel size代表詞向量卷積窗口；embedding_size代表詞向量的維度；hidden_size代表BiLSTM的隱藏層節(jié)點數(shù)；learning_rate代表學習率；dropout代表丟失率；batch_size代表單次迭代訓練批處理樣本的個數(shù)。

3.3? 評價指標

本研究使用準確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1值評價在線協(xié)作討論交互文本分類模型的分類效果，其計算方法如下所示：

3.4? 實驗結(jié)果與分析

本研究選擇幾種在自然語言處理領域中廣泛應用的文本分類算法，作為評價本文所提方法有效性的基準，比較結(jié)果如表4所示。其中，NB和SVM為傳統(tǒng)的機器學習算法，CNN、RNN、BiLSTM為深度學習算法，選取同一實驗數(shù)據(jù)局進行對照實驗。

實驗結(jié)果表明CNN-BiLSTM-Attention模型的分類效果最佳，其準確率達到82.40%，在陳述類、協(xié)商類、提問類、管理類、情感類以及其他類討論交互文本分類方面的F1值分別達到了88.46%、72.90%、94.78%、80.10%、72.15%、88.57%。由表4可以得到，在交互文本數(shù)據(jù)集上，與傳統(tǒng)機器學習支持向量機（SVM）與樸素貝葉斯（NB）模型相比，CNN-BiLSTM-Attention模型在交互文本分類任務中的性能優(yōu)于SVM和NB，與SVM相比，CNN-BiLSTM-Attention模型準確率提高了8.25%，相對于NB，CNN-BiLSTM-Attention模型準確率提高了12.07%。這是因為SVM和NB都是淺層結(jié)構(gòu)模型，其特征學習和分類器優(yōu)化是分開的兩個步驟，不能最大限度地發(fā)揮二者聯(lián)合協(xié)作的優(yōu)勢，其次，深度學習模型具有提取全局特征和上下文信息的能力，傳統(tǒng)機器學習模型很難有效地捕捉全局特征，因此CNN-BiLSTM-Attention模型在文本分類上的性能要優(yōu)于SVM模型和NB模型。

在交互文本分類任務中CNN的準確率要比CNN-BiLSTM-Attention模型低7%，這是因為CNN是利用卷積核通過局部感知域的特點對局部數(shù)據(jù)進行卷積處理，但面對文本數(shù)據(jù)時，由于CNN只能針對局部消息進行學習，很難聯(lián)系到上下文信息，因此，CNN-BiLSTM-Attention模型在交互文本分類上的性能要優(yōu)于CNN模型。CNN-BiLSTM-Attention模型和RNN模型相比，RNN的準確度相對較低（低3.48%）的原因在于RNN在處理長期記憶時存在缺陷，而CNN-BiLSTM-Attention模型通過增加對過去狀態(tài)的過濾，可以選擇一定的過去狀態(tài)來對當前狀態(tài)更有影響，不是簡單的選擇最近的狀態(tài)，從而解決了RNN模型在長期記憶方面的缺陷，因此，CNN-BiLSTM-Attention模型在交互文本分類任務中的性能優(yōu)于RNN模型。與BiLSTM模型相比，CNN-BiLSTM-Attention模型準確率提高了2.98%，這是因為BiLSTM缺少了注意力機制對文本關鍵詞特征的加權(quán)表示，因此，CNN-BiLSTM-Attention模型要優(yōu)于BiLSTM模型。從整體角度進行分析，CNN-BiLSTM-Attention模型在陳述類、提問類和其他類交互文本的分類結(jié)果較好；而對協(xié)商類、管理類以及情感類交互文本在分類結(jié)果上較差。

4? 結(jié)? 論

針對在線協(xié)作討論交互文本特點，結(jié)合CNN、BiLSTM和Attention網(wǎng)絡的優(yōu)點，本文提出了一種基于CNN-BiLSTM-Attention的在線協(xié)作討論交互文本分類模型，通過CNN模型捕捉交互文本的局部信息利用BiLSTM獲得交互文本上下文語義特征，使用注意力機制加大關鍵信息的語義特征表達。最后，在數(shù)據(jù)集上進行實驗，并與六種基線模型進行比較，結(jié)果表明本文提出的CNN-BiLSTM-Attention模型能夠有效地區(qū)分交互文本類型。但是，本文的模型依然存在一定缺陷，實驗結(jié)果顯示模型在區(qū)分協(xié)商類、管理類、情感類交互文本時，準確率較低。在未來的研究中，我們將嘗試設計更為復雜高效的深度神經(jīng)網(wǎng)絡模型，并進一步擴大交互本文的數(shù)據(jù)集規(guī)模來優(yōu)化交互文本分類模型的分類效果，從而提高交互文本分類的準確率。

參考文獻：

[1] CHERNEY M R，F(xiàn)ETHERSTON M，JOHNSEN L J. Online Course Student Collaboration Literature：A Review and Critique [J].Small Group Research，2018，49（1）：98-128.

[2] WISE A F，SPEER J，MARBOUTI F，et al. Broadening the notion of participation in online discussions：examining patterns in learners online listening behaviors [J].Instructional Science，2013，41（2）：323-343.

[3] LI Y Y，DONG M K，HUANG R H. Toward a Semantic Forum For Active Collaborative Learning [J].Journal of Educational Technology & Society，2009，12（4）：71-86.

[4] QIU M Z，HEWITT J，BRETT C. Online class size，note reading，note writing and collaborative discourse [J].International journal of Computer-Supported Collaborative Learning，2012，7：423-442.

[5] LAW N，YUEN J，LENG J. Understanding Learners Knowledge Building Trajectory Through Visualizations of Multiple Automated Analyses [M].[S.I.]：Springer US，2011（49）：47-82.

[6] ZHENG L，YANG K. Analyzing Interactions by an IIS-Map-Based Method in Face-to-Face Collaborative Learning： An Empirical study [J].Journal of Educational Technology & Society，2012，15（3）：116-132.

[7] JOKSIMOVIC S，JOVANOVIC J，KOVANOVIC V，et al. Comprehensive Analysis of Discussion Forum Participation：From Speech Acts to Discussion Dynamics and Course Outcomes [J].IEEE Transactions on Learning Technologies，2020，13（1）：38-51.

[8] DHANALAKSHMI V，BINO D，SARAVANAN A M. Opinion mining from student feedback data using supervised learning algorithms [C]//2016 3rd MEC International Conference on Big Data and Smart City.Muscat：IEEE，2016：1-5.

[9] SIVAKUMAR M，REDDY U S. Aspect based sentiment analysis of students opinion using machine learning techniques [C]//2017 International Conference on Inventive Computing and Informatics （ICICI）.Coimbatore：IEEE，2017：726-731.

[10] ZHENG J，XING W L，ZHU G X. Examining sequential patterns of self- and socially shared regulation of STEM learning in a CSCL environment [J].Computers & Education，2019，136：34-48.

[11] 楊鋒.基于線性支持向量機的文本分類應用研究 [J].信息技術(shù)與信息化，2020（3）：146-148.

[12] 奚雪峰，周國棟.面向自然語言處理的深度學習研究 [J].自動化學報，2016，42（10）：1445-1465.

[13] KIM Y. Convolutional Neural Networks for Sentence Classification [J/OL].arXiv：1408.5882 [cs.CL].[2022-09-20].http：//de.arxiv.org/pdf/1408.5882.

[14] XU G X，MENG Y T，QIU X Y，et al. Sentiment Analysis of Comment Texts Based on BiLSTM [J].IEEE Access，2019，7：51522-51532.

[15] SHARFUDDIN A A，TIHAMI M N，ISLAM M S. A Deep Recurrent Neural Network with BiLSTM model for Sentiment Classification [C]//2018 International Conference on Bangla Speech and Language Processing（ICBSLP）.Sylhet：IEEE，2018：1-4.

[16] 郭浩，許偉，盧凱，等.基于CNN和BiLSTM的短文本相似度計算方法 [J].信息技術(shù)與網(wǎng)絡安全，2019，38（6）：61-64+68.

[17] DU J C，GUI L，XU R F，et al. A Convolutional Attention Model for Text Classification Course [C]//Natural Language Processing and Chinese Computing：6th CCF Conference，2017：183-195.

[18] XIE J，CHEN B，GU X L，et al. Self-Attention-Based BiLSTM Model for Short Text Fine-Grained Sentiment Classification [J].IEEE Access，2019，7：180558-180570.

[19] DENG X L，LI Y Q，WENG J，et al. Feature selection for text classification：A review [J].Multimedia Tools and Applications，2019，78：3797-3816.

[20] HOCHREITER S，SCHMIDHUBER J. Long Short-Term Memory [J].Neural Computation，1997，9（8）：1735-1780.

[21] 鄭婭峰，張巧榮，李艷燕.協(xié)作問題解決討論活動中行為模式自動化挖掘方法研究[J].現(xiàn)代教育技術(shù)，2020，30（2）：71-78.

作者簡介：李淑紅（1972—），女，漢族，河南鄭州人，教授，博士，研究方向：數(shù)字圖像處理、人工智能；鄧明明（1995—），女，漢族，河南駐馬店人，碩士在讀，研究方向：自然語言處理；孫社兵（1996—），女，漢族，河南濮陽人，碩士在讀，研究方向：數(shù)據(jù)挖掘。

收稿日期：2023-10-12

基金項目：國家自然科學基金青年項目（61907011）；國家自然科學基金青年項目（62077005）；河南省科技攻關項目（222102210326）