基于BERT及雙向GRU模型的慕課用戶評(píng)論情感傾向性分析

尼格拉木·買斯木江，艾孜爾古麗·玉素甫

(新疆師范大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，新疆 烏魯木齊 830054)

0 引 言

隨著信息技術(shù)在學(xué)習(xí)、生活方式的影響下，人們也迎來(lái)了教育信息化的新時(shí)代。慕課(MOOC)網(wǎng)作為交互式互聯(lián)網(wǎng)IT技能免費(fèi)學(xué)習(xí)網(wǎng)站，能夠使操作性較強(qiáng)的教學(xué)得以在互聯(lián)網(wǎng)上開展。由于其學(xué)習(xí)的便捷性及公開性吸引了眾多的教師與學(xué)習(xí)者在這個(gè)平臺(tái)上開展相應(yīng)教學(xué)活動(dòng)，并且學(xué)習(xí)者可以對(duì)學(xué)習(xí)的課程進(jìn)行評(píng)論，使其成為了教育學(xué)中多元評(píng)價(jià)方式的重要方式之一?；诖?，對(duì)該平臺(tái)上積累的課程評(píng)論數(shù)據(jù)進(jìn)行分析研究，能夠反映學(xué)習(xí)者對(duì)該課程的情感態(tài)度。

近年來(lái)，在自然語(yǔ)言處理和數(shù)據(jù)挖掘領(lǐng)域中，已經(jīng)進(jìn)行了許多關(guān)于情緒分析的研究。國(guó)內(nèi)外學(xué)者主要是從情感詞典分析的方法、基于機(jī)器學(xué)習(xí)分析的方法及基于深度學(xué)習(xí)分析的方法進(jìn)行情感分析。中文較為常用的情感詞典是HowNet[1]，通過(guò)分別建立不一樣的情感詞典進(jìn)行分類。文獻(xiàn)[2-3]挖掘客戶評(píng)價(jià)信息，對(duì)客戶意見進(jìn)行審查，找出客戶意見句子中各類別情感詞。趙妍妍等人[4]將評(píng)論中情感詞對(duì)應(yīng)的情感值合并取均值作為評(píng)論的情感值。

基于情感詞典分析方法的重點(diǎn)在于借助構(gòu)建情感詞典，通過(guò)一些規(guī)則計(jì)算語(yǔ)義相關(guān)性來(lái)判斷用戶性感傾向。此方法存在手工提取特征方法操作繁瑣、耗時(shí)多且準(zhǔn)確度低等問題。

為了改進(jìn)情感詞典分析方法的不足，文獻(xiàn)[5-6]對(duì)ME、CRF、SVM等方法分別進(jìn)行比較，使用電影評(píng)論作為數(shù)據(jù)集，最終給出了用支持向量機(jī)的方式分類情感傾向性分類最佳的結(jié)果。Li等人[7]提出了一種SVM結(jié)合PMI的情感分析方法對(duì)商品屬性進(jìn)行擴(kuò)展，根據(jù)商品屬性針對(duì)評(píng)論進(jìn)行情感傾向性分析和統(tǒng)計(jì)。鐘將等人[8]提出了矩陣投影和歸一化向量的文本分類算法與KNN(K-Nearest Neighbor)算法，對(duì)商品評(píng)價(jià)進(jìn)行情感傾向分析，情感分類準(zhǔn)確率提高，分類的時(shí)間縮短。

基于機(jī)器學(xué)習(xí)的情感分析方法的重點(diǎn)在于能有效地克服人工數(shù)據(jù)標(biāo)注構(gòu)建情感詞典的繁瑣過(guò)程，在特征提取分析處理方面細(xì)致，語(yǔ)義分解更為精細(xì)。然而，部分文本特征標(biāo)注還是需要進(jìn)行人工標(biāo)注，沒有真正實(shí)現(xiàn)學(xué)習(xí)與預(yù)測(cè)。

針對(duì)上述機(jī)器學(xué)習(xí)方法存在的不足，運(yùn)用基于深度學(xué)習(xí)的方法進(jìn)行文本信息處理、文本分類等任務(wù)獲得了不錯(cuò)的效果。Kim[9]提出了用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型進(jìn)行傾向性分析。Zhu等人[10]提出基于LSTM的注釋句建模而解決了情感分類問題。LSTM比起卷積神經(jīng)網(wǎng)絡(luò)更高效地完成了模型訓(xùn)練。趙勤魯?shù)热薣11]提出LSTM-attention模型完整提取了語(yǔ)義結(jié)構(gòu)相關(guān)信息，使用預(yù)先訓(xùn)練的單詞向量作為網(wǎng)絡(luò)模型的輸入，并介紹了在基于多層LSTM進(jìn)行文本情感分析的Attention機(jī)制。張玉環(huán)等人[12]使用LSTM和GRU構(gòu)建文本情感分類模型，以便該模型可以獲得較高的準(zhǔn)確性。文獻(xiàn)[13-14]使用的模型是把最大卷積池及神經(jīng)BiGRU網(wǎng)絡(luò)進(jìn)行組合并且提取相關(guān)屬性，最后在Softmax層中執(zhí)行文本分類。王偉等人[15]結(jié)合Attention機(jī)制與GRU模型，以提高對(duì)文本數(shù)據(jù)上下文語(yǔ)義特征提取。文獻(xiàn)[16-17]提出了BERT預(yù)訓(xùn)練模型，使用多層雙向Transformer對(duì)海量語(yǔ)料進(jìn)行訓(xùn)練，并且進(jìn)行情感分類。文獻(xiàn)[18-20]提出采用BERT模型來(lái)提取微博評(píng)論文本的語(yǔ)義特征表示，然后將獲取的詞語(yǔ)語(yǔ)義特征輸入雙向LSTM模型中進(jìn)行傾向性分類，準(zhǔn)確率相對(duì)BERT模型也有一定的提高。

深度學(xué)習(xí)的分類模型在文本分類任務(wù)中取得了較高的準(zhǔn)確率，開始注重結(jié)構(gòu)層次，解決分類器正確率低下的問題，提高了特征維度的擴(kuò)展及分析，達(dá)到了優(yōu)化分類的效果。然而針對(duì)文本特征表示的準(zhǔn)確率則不高，有遇到噪音文本時(shí)無(wú)法進(jìn)行特定處理等缺陷，多數(shù)分類算法只是實(shí)現(xiàn)文本的二分類。本文提出一種基于BERT的門控循環(huán)單元網(wǎng)絡(luò)方法，主要探討慕課評(píng)論文本的傾向性三元分類，深層提取評(píng)論文本的情感特征進(jìn)行情感傾向性分析。

為優(yōu)化特征提取與表示方法，本文提出一種利用基于雙向編碼器(BERT)來(lái)提取慕課MOOC網(wǎng)用戶評(píng)論文本中的特征表示，使用雙向門控循環(huán)單元網(wǎng)絡(luò)，根據(jù)用戶對(duì)課程的評(píng)論提取文本的情感特征和用戶對(duì)課程喜好，對(duì)該課程進(jìn)行情感傾向性分析，并且對(duì)比實(shí)驗(yàn)結(jié)果驗(yàn)證方法的有效性。

1 基于BERT-BiGRU的慕課用戶評(píng)論情感傾向性分析方法

為了進(jìn)一步提高用戶評(píng)論情感傾向性分析的準(zhǔn)確性，本文提出一種基于BERT和雙向GRU模型的用戶評(píng)論情感傾向性分類方法。

采取基于BERT模型來(lái)提取課程評(píng)論文本的特征表示，然后將獲取的詞語(yǔ)特征輸入BiGRU網(wǎng)絡(luò)實(shí)現(xiàn)用戶評(píng)論的情感特征的提取，最后用Softmax邏輯回歸的方式進(jìn)行情感傾向性分類，該方法的具體流程如圖1所示。

圖1 基于BERT和雙向GRU模型的用戶評(píng)論情感傾向性分類方法流程圖

1.1 基于BERT模型的文本向量化方法

BERT(Bidirectional Encoder Representations from Transformer)模型，采用雙向Transformer的結(jié)構(gòu)進(jìn)行編碼，是Transformer模型的Encoder部分，主要通過(guò)查詢字向量表將文本中的字轉(zhuǎn)換為模型可識(shí)別的向量。該向量可作為該層輸入，輸入由一維向量表示，輸入每個(gè)詞對(duì)應(yīng)的語(yǔ)義全文信息后，模型的輸出用向量表示。為了表達(dá)語(yǔ)言的精髓，建構(gòu)BERT者提出了2種預(yù)訓(xùn)練方式，即Masked LM和Next Sentence Prediction。Masked LM是在原始句子中被抹去一些詞匯，使用特殊符號(hào)[MASK]進(jìn)行替換，在少數(shù)情況下，使用隨機(jī)詞進(jìn)行替換，在其他情況下，原始詞匯保持不變。Next Sentence Prediction是句子預(yù)測(cè)任務(wù)，是段落重新排序的簡(jiǎn)化版本。在整個(gè)模型預(yù)訓(xùn)練過(guò)程中，需要從數(shù)據(jù)集中隨機(jī)選擇一半正確的句子對(duì)和一半錯(cuò)誤的句子對(duì)進(jìn)行訓(xùn)練，以便模型可以更準(zhǔn)確地描述句子甚至章節(jié)級(jí)別的語(yǔ)義信息。

在圖2中E1,E2,…,En表示字的文本輸入，經(jīng)過(guò)雙向Transformer編碼器，就可以得到評(píng)論文本的向量化表示T1,T2,…,Tn，即評(píng)論文本的向量化表示主要是通過(guò)Transformer編碼器而實(shí)現(xiàn)的。

圖2 BERT模型圖

1.2 基于BiGRU情感特征提取

GRU是LSTM網(wǎng)絡(luò)的一種效果更好的改變形式，在模型LSTM中運(yùn)用了3個(gè)門函數(shù)：輸入門、遺忘門、輸出門，分別用來(lái)表示輸入值、記憶值和輸出值。在簡(jiǎn)化版的GRU模型中用到了2個(gè)門：更新門、重置門，減少了參數(shù)提高了效率。具體結(jié)構(gòu)如圖3所示。

圖3 GRU模型圖

z為更新門，表示取sigmoid以前的信息是否需要更新，如果需要，zt則更新上一條信息。zt是模型更新activation時(shí)的邏輯門。計(jì)算公式如下：

zt=σ(wz·[ht-1,xt])

(1)

其中，σ為sigmoid激活函數(shù)，w為權(quán)值矩陣。

r為重置門，取sigmoid類似于LSTM的遺忘門，代表以前的信息是否需要重置。rt決定candidate activation時(shí)，是否要放棄以前的activationht。計(jì)算公式下：

rt=σ(wr·[ht-1,xt])

(2)

(3)

其中，tanh為雙曲正切激活函數(shù)，ht是activation，是隱層，計(jì)算過(guò)程中接收[ht-1,ht]，計(jì)算公式如下：

(4)

(5)

(6)

最后將特征向量hijt輸入到全連接層，在該模型中用ReLU函數(shù)，在這里起到激活函數(shù)的作用，通過(guò)全連接神經(jīng)網(wǎng)絡(luò)獲取文本的語(yǔ)義特征。

1.3 模型求解

如圖1所示，整個(gè)BERT-BiGRU模型主要分為5層：第1層為輸入層，將爬取到的中文慕課在線課程評(píng)論文本輸入到模型中；第2層使用BERT模型將課程評(píng)論文本向量化表示；第3層將獲取的詞語(yǔ)特征輸入BiGRU網(wǎng)絡(luò)實(shí)現(xiàn)用戶評(píng)論的情感特征的提??；第4層使用Softmax函數(shù)進(jìn)行分類；第5層將輸出最終文本標(biāo)簽2(積極)、1(中立)、0(消極)。前2層的計(jì)算方法及公式如1.1、1.2節(jié)所示，最后一層將特征向量hijt輸入到全連接層，起激活函數(shù)的作用。最后一層的輸入作為全連接層的輸出，本文用常見的Softmax函數(shù)對(duì)其進(jìn)行分類，計(jì)算公式如下：

yj=Softmax(w1hijt,b1)

(7)

其中，b為偏置項(xiàng)。

最終得到情感傾向分類文本標(biāo)簽，分類結(jié)果為(0/1/2)。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)收集及預(yù)處理

本文以最大的IT網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)慕課MOOC網(wǎng)作為數(shù)據(jù)來(lái)源，通過(guò)開源爬取框架Scrapy爬取前100門熱門課程評(píng)論信息共51977條數(shù)據(jù)記錄。同時(shí)采用結(jié)巴分詞系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行去重、過(guò)濾、去停用詞等文本預(yù)處理。此外，運(yùn)用情感三元組的方式對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，評(píng)論結(jié)果標(biāo)注為3類：0表示消極評(píng)論，1表示中立評(píng)論，2表示積極評(píng)論。爬取數(shù)據(jù)集樣例見表1。

表1 實(shí)驗(yàn)數(shù)據(jù)樣例

整個(gè)實(shí)驗(yàn)數(shù)據(jù)集采用7∶3的比例進(jìn)行實(shí)驗(yàn)測(cè)試，前70%作為訓(xùn)練集訓(xùn)練整個(gè)模型，后30%作為測(cè)試集，測(cè)試模型性能。使用本文提出的模型在訓(xùn)練集上進(jìn)行訓(xùn)練，再用測(cè)試集進(jìn)行測(cè)試。數(shù)據(jù)集中共包含積極的評(píng)語(yǔ)26516條、消極的評(píng)語(yǔ)15230條、中性評(píng)語(yǔ)10231條。

2.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)與實(shí)驗(yàn)環(huán)境

在實(shí)驗(yàn)效果評(píng)價(jià)上本文使用4項(xiàng)指標(biāo)：準(zhǔn)確率A(Accuracy)、精確率P(Precision)、召回率R(Recall)和F1(F-score)值。準(zhǔn)確率是指在所有收集到的評(píng)論文本中分類準(zhǔn)確的評(píng)論所占的比例，精確率是指實(shí)驗(yàn)中所有預(yù)測(cè)為正的樣本中實(shí)際為正樣本所占的比例，召回率是指在所有真實(shí)評(píng)論的樣本中分類正確的評(píng)論所占的比例，F(xiàn)1值是指算數(shù)平均數(shù)除以幾何平均數(shù)的值。

實(shí)驗(yàn)環(huán)境為x86平臺(tái)：Intel CPU、內(nèi)存16 GB、硬盤100 GB、AI Studio GPU，操作系統(tǒng)為Windows 10、Pycharm 2017?？蚣苁鞘褂没赥ensorFlow的深度學(xué)習(xí)庫(kù)Keras進(jìn)行測(cè)試。

實(shí)驗(yàn)基于TensorFlow框架實(shí)現(xiàn)，使用Adam優(yōu)化器，學(xué)習(xí)率為0.001，模型具體參數(shù)設(shè)置如表2所示。

表2 實(shí)驗(yàn)參數(shù)設(shè)置

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 BERT方法與基準(zhǔn)文本表示方法效果對(duì)比

文本向量化主要是把文本進(jìn)行編碼與詞嵌入處理，為模型后續(xù)的計(jì)算提供實(shí)數(shù)域空間連續(xù)向量。目前主要有Word2Vec、Doc2Vec、FastText、ELMo、BERT等方法，為了驗(yàn)證BERT方法的文本表示能力，試驗(yàn)中分別選取Word2Vec、Doc2Vec、BERT這3種方法將預(yù)處理好的數(shù)據(jù)訓(xùn)練出詞向量表示，并將其作為特征輸入到GRU中進(jìn)行情感傾向性分析。

各方法的實(shí)驗(yàn)結(jié)果對(duì)比如表3所示，從中可以看出，文本向量化方法的性能從低到高排序如下：Word2Vec、Doc2Vec、BERT。從表3可以看出，比起Word2Vec、Doc2Vec，BERT的文本向量化方法準(zhǔn)確率達(dá)到了0.925。相比Word2Vec，Doc2Vec方法的準(zhǔn)確率提高了1.6%，這是因?yàn)閃ord2Vec方法處理較長(zhǎng)語(yǔ)句時(shí)不夠注重上下文語(yǔ)義完整性，沒有考慮詞本身的語(yǔ)境信息，因此對(duì)本文采用的數(shù)據(jù)集，Doc2Vec方法的文本表示能力更強(qiáng)。BERT作為Transformer的雙向編碼表示，能夠有效學(xué)習(xí)每個(gè)詞語(yǔ)的語(yǔ)義信息，從而能獲得更理想的向量表示，相對(duì)前2種方法準(zhǔn)確率分別提高了12.4%、10.6%。在不同文本特征提取算法的基礎(chǔ)上，即使用同一種分類算法進(jìn)行文本情感分類，其分類準(zhǔn)確率也會(huì)根據(jù)特征提取算法的不同而呈現(xiàn)不同的結(jié)果，從而驗(yàn)證了BERT方法的有效性。

表3 文本向量化實(shí)驗(yàn)結(jié)果對(duì)比

2.3.2 BERT-BiGRU與基準(zhǔn)方法情感分析結(jié)果對(duì)比

在用戶評(píng)論情感傾向性分析中，SVM、CNN[21]、Bi-LSTM[22]、MC-CNN-GRU[23]等方法都是情感分類中具有代表性的模型。為了驗(yàn)證本文提出的深度學(xué)習(xí)方法BERT-BiGRU在MOOC網(wǎng)用戶評(píng)論情感傾向分析任務(wù)中的有效性，選取SVM以及其他幾種深度學(xué)習(xí)的方式與BERT-BiGRU模型進(jìn)行對(duì)比：

1)SVM模型：該模型對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理及數(shù)據(jù)集去噪處理后，用BERT進(jìn)行文本向量化處理，最終用支持向量機(jī)方法進(jìn)行文本分類。

2)CNN模型：該模型主要是經(jīng)過(guò)輸入層、卷積層、池化層和輸出層，自動(dòng)獲取用戶評(píng)論文本的關(guān)鍵特征，進(jìn)而進(jìn)行情感傾向性分析。

3)Bi-LSTM模型：首先對(duì)數(shù)據(jù)進(jìn)行詞嵌入處理，得到相應(yīng)的詞向量，以此作為輸入到全連接神經(jīng)網(wǎng)絡(luò)獲取文本的語(yǔ)義特征，最后用Softmax函數(shù)對(duì)其進(jìn)行最終文本分類。

4)MC-CNN-GRU模型：堯磊波[23]用CNN和GRU的注意力機(jī)制復(fù)合模型，運(yùn)用CBOW訓(xùn)練出文本向量，用GRU模型提取文本的內(nèi)容特征及主題特征，最后用Softmax函數(shù)進(jìn)行分類。

實(shí)驗(yàn)結(jié)果對(duì)比如表4所示。

表4 情感分析實(shí)驗(yàn)結(jié)果對(duì)比

通過(guò)對(duì)各種方法的實(shí)驗(yàn)結(jié)果對(duì)比可以得出，情感傾向性分析性能從低到高依次為：SVM、CNN、Bi-LSTM、MC-CNN-GRU、BERT-BiGRU。通過(guò)對(duì)數(shù)據(jù)進(jìn)行分析可以得出在相同文本粒度、相同比例數(shù)據(jù)測(cè)試環(huán)境下，機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)算法的分類準(zhǔn)確率逐步提升，運(yùn)用機(jī)器學(xué)習(xí)的算法分類準(zhǔn)確率為82.1%，使用卷積神經(jīng)網(wǎng)絡(luò)的方式準(zhǔn)確率達(dá)到了85.3%，使用Bi-LSTM模型的準(zhǔn)確率達(dá)到了87.5%，作為卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)模式的結(jié)合模型MC-CNN-GRU方法的準(zhǔn)確率達(dá)到了88.9%，這說(shuō)明隨著模型復(fù)雜度增大，學(xué)習(xí)到的數(shù)據(jù)特征越多，分類越準(zhǔn)確。

本文中提出的BERT-BiGRU方法在慕課網(wǎng)用戶評(píng)論數(shù)據(jù)集上的準(zhǔn)確率到達(dá)了92.5%，情感傾向性分析性能略高于卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)模式的結(jié)合模型MC-CNN-GRU，準(zhǔn)確率提高了4.0%。其主要原因在傳統(tǒng)的單向循環(huán)神經(jīng)網(wǎng)絡(luò)只考慮過(guò)去的信息，而雙向的GRU網(wǎng)絡(luò)能夠同時(shí)結(jié)合過(guò)去和未來(lái)的文本表示生成當(dāng)前時(shí)刻的輸出。通過(guò)2.3.1節(jié)實(shí)驗(yàn)可知，文本表示方法也會(huì)直接影響情感分析模型的分類效果，本文使用的BERT模型有效地表示出了每個(gè)詞語(yǔ)的語(yǔ)義信息，相比CNN模型與Bi-LSTM模型準(zhǔn)確率分別提高了8.4%、5.7%，有效驗(yàn)證了本文提出的模型研究的理論價(jià)值和實(shí)踐意義。模型結(jié)果對(duì)比如圖4所示。

圖4 模型結(jié)果對(duì)比圖

實(shí)驗(yàn)數(shù)據(jù)中51.0%為積極評(píng)語(yǔ)、29.3%為消極評(píng)語(yǔ)、19.7%為中性評(píng)語(yǔ)，數(shù)據(jù)表明了學(xué)習(xí)者對(duì)課程以及授課老師的肯定。其次，通過(guò)實(shí)驗(yàn)詞頻權(quán)重統(tǒng)計(jì)結(jié)果可以得出，慕課網(wǎng)課程評(píng)論中，出現(xiàn)“老師”“項(xiàng)目”“課程”“實(shí)用”“易懂”“及時(shí)”等高頻詞匯。通過(guò)總體評(píng)論傾向、詞頻權(quán)重，可以反映出學(xué)習(xí)者主要是對(duì)教師授課方式、課程內(nèi)容操作性、課程管理模式等3個(gè)方面的情感傾向。通過(guò)對(duì)分類后的積極評(píng)論深層次主題提取，教師授課方式的積極評(píng)語(yǔ)比上總評(píng)論個(gè)數(shù)，占比達(dá)到85.2%，高于課程內(nèi)容操作性及課程管理模式情感。對(duì)教師授課方式的積極情緒主要是對(duì)授課教師講課水平、教學(xué)方法等滿意度評(píng)價(jià)，這也說(shuō)明在線課程的授課老師是學(xué)習(xí)者表達(dá)積極情感的主要原因。基于上述方法計(jì)算得出，學(xué)習(xí)者對(duì)課程內(nèi)容操作性、課程管理模式的積極情緒與消極情緒基本持平，分別占48.65%、46.81%，說(shuō)明多數(shù)消極評(píng)論來(lái)自學(xué)生對(duì)課程內(nèi)容及課程管理(如課程資源、課程作業(yè)、課程更新進(jìn)度、課程平臺(tái)建設(shè))等因素的消極情緒。這些實(shí)驗(yàn)結(jié)果有助于完善慕課平臺(tái)的建設(shè)與改進(jìn)，同時(shí)也有助于提供更好的用戶體驗(yàn)，在已有的研究基礎(chǔ)上，本文提出如下建議：

1)注重教師授課方式，提高語(yǔ)言表達(dá)清晰度，注重與學(xué)習(xí)者互動(dòng)環(huán)節(jié)。

2)注重課程內(nèi)容設(shè)置，多添加實(shí)際操作性強(qiáng)、具有實(shí)踐可操作的課程，課程內(nèi)容保持與最新方法的銜接。

3)注重課程管理建設(shè)，注重平臺(tái)課程模塊更新，及時(shí)上傳學(xué)習(xí)資料，注重課程作業(yè)管理等內(nèi)容。

2.3.3 迭代次數(shù)對(duì)文本情感分析效果的影響

在本文中設(shè)置了20組迭代次數(shù)，用來(lái)分析實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練的迭代次數(shù)對(duì)實(shí)驗(yàn)效果的影響。在慕課網(wǎng)用戶評(píng)論數(shù)據(jù)集上用每組迭代次數(shù)分別對(duì)Bi-LSTM模型與本文提出的模型進(jìn)行訓(xùn)練和測(cè)試，并根據(jù)測(cè)試集上準(zhǔn)確率、評(píng)論數(shù)據(jù)的F1值評(píng)價(jià)指標(biāo)繪制了如圖5所示的折線圖。從折線圖中可以看出，當(dāng)?shù)螖?shù)為1時(shí)，2個(gè)模型的準(zhǔn)確率和F1值都處于相對(duì)較低的數(shù)值，此時(shí)的模型無(wú)法有效地學(xué)習(xí)課程文本中隱含語(yǔ)義信息特征，情感傾向性分析效果相對(duì)較低。在此之后，隨著訓(xùn)練的迭代次數(shù)的增加，2個(gè)模型的評(píng)價(jià)指標(biāo)都在逐步提升，然后在最優(yōu)值附近逐漸趨于平穩(wěn)。

在本文使用的數(shù)據(jù)集上，隨著迭代次數(shù)從1次逐漸增加至9次，2個(gè)模型的評(píng)價(jià)指標(biāo)都出現(xiàn)了快速提升；在迭代次數(shù)從9次逐漸增加至25次的過(guò)程中2個(gè)模型的評(píng)價(jià)指標(biāo)都表現(xiàn)出上下波動(dòng)并緩慢上升的狀態(tài)，波動(dòng)的幅度也在逐漸減小；在迭代次數(shù)增加至25次以上之后，2個(gè)模型的評(píng)價(jià)指標(biāo)均已基本達(dá)到最優(yōu)值并趨于穩(wěn)定狀態(tài)。

(a) Bi-LSTM模型

(b) BERT-BiGRU模型

綜上，模型訓(xùn)練的迭代次數(shù)對(duì)慕課網(wǎng)用戶的情感傾向性分析結(jié)果有非常重要的影響。情感傾向性分析的效果會(huì)隨著迭代次數(shù)增加而逐步地提升，達(dá)到Loss值平滑之后不再變化，并在達(dá)到一定迭代次數(shù)后趨于穩(wěn)定，此時(shí)模型的情感分析能力將是最優(yōu)的。

3 結(jié)束語(yǔ)

本文提出了基于BERT和雙向GRU模型的用戶評(píng)論情感傾向性分類方法，采取基于BERT模型來(lái)提取課程評(píng)論文本的特征表示，將獲取的詞語(yǔ)特征輸入BiGRU網(wǎng)絡(luò)實(shí)現(xiàn)用戶評(píng)論的情感特征的提取，在慕課網(wǎng)用戶傾向性分析中準(zhǔn)確率較高。針對(duì)每個(gè)詞語(yǔ)的語(yǔ)義信息進(jìn)行深層挖掘和表示，通過(guò)雙向的GRU網(wǎng)絡(luò)能夠同時(shí)結(jié)合過(guò)去和未來(lái)的文本表示，更注重重點(diǎn)情感表示語(yǔ)句，減少了分類中非重點(diǎn)分析詞語(yǔ)的影響。

本文方法的不足之處在于本文提出的情感傾向性分析模型只針對(duì)慕課網(wǎng)用戶評(píng)論信息，沒有考慮評(píng)論時(shí)間、用戶特點(diǎn)等因素。在今后的工作中，將在現(xiàn)有模型的基礎(chǔ)上，通過(guò)獲取相關(guān)數(shù)據(jù)集，調(diào)整優(yōu)化模型，考慮時(shí)間序列及用戶特點(diǎn)等因素，使其表現(xiàn)出更優(yōu)越的性能。