基于ELMO-TextCNN-Reformer的bilibili評論情感分析

摘" 要：面向bilibili短視頻評論數(shù)據(jù)的情感分析，旨在挖掘視頻觀看者對短視頻的看法，使視頻作者也可以快速得到自己想要的評價(jià)，進(jìn)而對后續(xù)作品做出改進(jìn)。針對短視頻評論更新快、詞匯新穎、評論過長、一詞多義等因素造成的短視頻評論情感分析準(zhǔn)確率低的問題，文章構(gòu)建了bilibili短視頻評論數(shù)據(jù)集，并提出了ELMO（Embedding From Language Model）用以構(gòu)建動(dòng)態(tài)詞向量解決一詞多義及新詞的問題，通過構(gòu)建TextCNN和Reformer雙通道神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來提取局部、全局特征。由于Reformer采用了局部敏感哈希的特殊注意力機(jī)制，更能聯(lián)系全局特征，之后將兩者得到的結(jié)果拼接送入分類器得出情感分析的結(jié)果，并將得出的結(jié)果與多個(gè)深度學(xué)習(xí)模型進(jìn)行對比。

關(guān)鍵詞：情感分析；ELMO；雙通道；短視頻；注意力機(jī)制

中圖分類號(hào)：TP391" 文獻(xiàn)標(biāo)識(shí)碼：A" 文章編號(hào)：2096-4706（2024）12-0146-06

Sentiment Analysis of bilibili Comment Based on ELMO-TextCNN-Reformer

ZENG Mengjia1，2，3， GUO Weiqiang1， HUANG Xu1，2，3

（1.School of Information Engineering， Huzhou University， Huzhou" 313000， China; 2.School of Electronic Information，

Huzhou College， Huzhou" 313000， China; 3.Huzhou Key Laboratory of Urban Multidimensional Perception and Intelligent Computing， Huzhou" 313000， China）

Abstract： Sentiment analysis of bilibili short video comment data aims to explore viewers' opinions on short videos， enabling video creators to quickly obtain the feedback they desire and improve their subsequent works. In response to the low accuracy of sentiment analysis in short video comments caused by factors such as fast updates， novel vocabulary， long comments， and polysemy， this paper constructs the bilibili short video comment dataset and proposes ELMO （Embedding From Language Model） to construct dynamic word vectors to solve the problem of polysemy and new words. Local and global features are extracted by constructing a TextCNN and Transformer dual-channel neural network structure. Due to the use of a special attention mechanism with locally sensitive hashing in the Transformer， it can better connect global features. Then， the results obtained from both are concatenated and fed into the classifier to obtain the results of sentiment analysis， and the results obtained are compared with multiple Deep Learning models.

Keywords： Sentiment Analysis; ELMO; dual-channel; short video; Attention Mechanism

0" 引" 言

《2023中國網(wǎng)絡(luò)視聽發(fā)展研究報(bào)告》顯示，截至2022年12月，我國網(wǎng)絡(luò)視聽用戶規(guī)模達(dá)10.40億[1]，超過即時(shí)通信（10.38億），成為第一大互聯(lián)網(wǎng)應(yīng)用。近年來，互聯(lián)網(wǎng)與短視頻的迅速發(fā)展使諸多短視頻軟件（如bilibili短視頻、抖音短視頻、快手短視頻等）擁有龐大的用戶量。隨著眾多短視頻創(chuàng)作者陸續(xù)發(fā)布短視頻作品，用戶對短視頻的評論也撲面而來，這使短視頻平臺(tái)產(chǎn)生大量的評論數(shù)據(jù)。在短視頻評論的情感分析中發(fā)現(xiàn)，短視頻的評論數(shù)據(jù)中很容易出現(xiàn)黑詞、新詞等新穎難懂的詞匯，這與短視頻的流行與超前不無關(guān)系，也會(huì)出現(xiàn)評論過短特征不足難以提供情感語義信息，或是評論過長難以提取上下文特征的問題。同時(shí)短視頻的內(nèi)容也是五花八門的，從書本閱讀、街談美食到國家政事、外星探索，包羅萬象，相應(yīng)地所產(chǎn)生的評論也是千匯萬狀，不少評論還會(huì)一詞多義，同時(shí)對數(shù)據(jù)的標(biāo)注也是一項(xiàng)煩瑣耗時(shí)的工作。因此本文提出ELMO解決短視頻評論中新詞、一詞多義等問題[2]，即利用雙向BiLSTM獲取bilibili短視頻評論數(shù)據(jù)集中句子的語法特征及詞特征，進(jìn)而得到動(dòng)態(tài)的詞向量以判別一個(gè)詞語在不同語境中的確切意思。針對下游任務(wù)中因單個(gè)模型而導(dǎo)致的特征提取不足的問題，本文提出了TextCNN-Reformer的雙通道神經(jīng)網(wǎng)絡(luò)，通過拼接TextCNN與Reformer獲取文本全面的特征，最后輸入到分類器中實(shí)現(xiàn)情感的分析。

1" 相關(guān)工作

Kim等[3]設(shè)計(jì)一種針對文本處理優(yōu)化過的CNN模型——TextCNN [4]。此模型通過調(diào)整嵌入層來適配文本數(shù)據(jù)，但仍然面臨無法有效捕獲全局特征的挑戰(zhàn)。隨后，LSTM網(wǎng)絡(luò)[5]被引入，它克服了傳統(tǒng)RNN的長期依賴問題和梯度消失的困擾。Graves等[6]進(jìn)一步發(fā)展了BiLSTM，它通過結(jié)合前向和后向LSTM層，提高了模型對上下文文本信息的推理能力。谷歌的研究者們引入了Transformer [7]，這是一個(gè)基于自注意力機(jī)制的模型，盡管它仍然面臨著結(jié)構(gòu)復(fù)雜和訓(xùn)練緩慢的問題，但它解除了RNN的并行計(jì)算限制[8]，尤其在情感分析任務(wù)中表現(xiàn)得更加優(yōu)異。為了應(yīng)對這些挑戰(zhàn)，Kitaev等[9]對Transformer進(jìn)行改進(jìn)，提出了Reformer模型，這是一個(gè)可以更加高效地處理長文本的模型，雖然它在局部特征學(xué)習(xí)方面還存在一些不足，但它減少了內(nèi)存使用，提升了訓(xùn)練速度。另外，盡管靜態(tài)詞向量技術(shù)（如Word2Vec [10]和GloVe [11]）已經(jīng)廣泛應(yīng)用，但它們在處理短視頻評論中多義詞和新詞的適應(yīng)性仍有不足。

綜上所述，現(xiàn)階段對短視頻評論的情感分析還是存在準(zhǔn)確率低下、對多義詞和新詞難以適應(yīng)、局部特征提取速度受限等諸多問題，為此本文提出一種基于雙通道模型及動(dòng)態(tài)詞向量的短視頻評論情感分析，旨在有效提高預(yù)測準(zhǔn)確率。

2" ELMO與雙通道模型

2.1" ELMO模型

詞嵌入技術(shù)是自然語言處理領(lǐng)域一種用來表征單詞的流行方法。起初，人們使用獨(dú)熱編碼，后來發(fā)展為通過神經(jīng)網(wǎng)絡(luò)語言模型獲得分布式詞向量。這些方法通常都是靜態(tài)的，比如Word2Vec，它為每個(gè)單詞分配一個(gè)固定的向量，而不考慮上下文。這意味著無論上下文如何變化，每個(gè)詞的向量表示都保持不變，導(dǎo)致出現(xiàn)無法有效處理多義詞的情況。ELMO是一種雙層雙向的LSTM結(jié)構(gòu)，它包含一個(gè)向前和一個(gè)向后的LSTM，這兩個(gè)LSTM分別通過計(jì)算給定前序上下文當(dāng)前詞的概率和給定后續(xù)上下文當(dāng)前詞的概率進(jìn)行訓(xùn)練。前向LSTM預(yù)測序列中每個(gè)詞的概率依賴于它之前的詞，而后向LSTMLSTM預(yù)測序列中每個(gè)詞的概率則依賴于它之后的詞。ELMO結(jié)構(gòu)如圖1所示，ELMO模型的核心組成部分是將文本數(shù)據(jù)轉(zhuǎn)換成詞向量的“E”。通過在龐大的文本數(shù)據(jù)集上實(shí)施訓(xùn)練，可以得到一個(gè)經(jīng)過預(yù)訓(xùn)練的ELMO模型。通過ELMO獲得動(dòng)態(tài)詞向量就可以把這些詞向量送入下游任務(wù)進(jìn)行訓(xùn)練了。

2.2" TextCNN模型

TextCNN模型結(jié)構(gòu)如圖2所示，包括以下四大部分：

1）嵌入層（Embedding）。該層的主要功能是將文本轉(zhuǎn)化為向量，以便計(jì)算機(jī)可以進(jìn)行處理。通常是采用訓(xùn)練好的詞向量模型（比如Word2Vec或GloVe）來完成，它能夠把單詞轉(zhuǎn)換成對應(yīng)的向量表示，也可以將ELMO的動(dòng)態(tài)詞向量當(dāng)作嵌入層輸入。

2）卷積層（Convolutional Layer）。TextCNN中的一個(gè)關(guān)鍵部分是卷積層，它利用各種尺寸的過濾器對輸入的詞向量序列執(zhí)行滑動(dòng)窗口的卷積。每個(gè)過濾器負(fù)責(zé)從其窗口范圍內(nèi)抽取特定的局部特征。通過結(jié)合多個(gè)這樣的過濾器，系統(tǒng)能夠識(shí)別和提取不同長度的局部文字特性。

3）池化層（Pooling Layer）。池化層在卷積層之后對特征集進(jìn)行下采樣，并且保留了最突出的特征。常用的技術(shù)包括最大池化和平均池化，最大池化是指從每個(gè)卷積核的輸出中取最大值，平均池化是指計(jì)算輸出的平均值，這樣可以減少特征向量的大小。

4）全連接層（Fully Connected Layer）。全連接層作為神經(jīng)網(wǎng)絡(luò)的一部分，負(fù)責(zé)處理池化層傳來的特征向量。它是由眾多相互連接的神經(jīng)元構(gòu)成的，每個(gè)神經(jīng)元都與前層所有的神經(jīng)元相連接，并將這些信息映射到輸出類別上。在網(wǎng)絡(luò)的最終階段，可以采用Softmax激活函數(shù)來實(shí)現(xiàn)多類別的分類。

2.3" Reformer模型

Reformer模型的提出解決了原始Transformer在處理長文本時(shí)內(nèi)存占用過大和訓(xùn)練緩慢的問題，在改善其結(jié)構(gòu)的同時(shí)令其擁有不遜于Transformer的性能。Reformer保留了Transformer的編碼器-解碼器結(jié)構(gòu)，其中包括注意力機(jī)制（Attention）和前饋網(wǎng)絡(luò)。但它在三個(gè)關(guān)鍵方面進(jìn)行了創(chuàng)新：

1）采用局部敏感哈希注意力機(jī)制（LSH Attention）替代傳統(tǒng)的點(diǎn)乘注意力。點(diǎn)乘注意力機(jī)制的表達(dá)式為：

（1）

而局部敏感哈希注意力機(jī)制與傳統(tǒng)注意力機(jī)制相類似，采用了局部敏感哈希算法，去掉了查詢向量q，并以鍵向量k的函數(shù)來替代原來的注意力權(quán)重，從而創(chuàng)建一種新型的局部敏感哈希注意力機(jī)制。

2）引入可逆殘差網(wǎng)絡(luò)替代標(biāo)準(zhǔn)殘差網(wǎng)絡(luò)，通過在編碼器與解碼器中使用可逆殘差網(wǎng)絡(luò)，可實(shí)現(xiàn)訓(xùn)練時(shí)只在編碼器或解碼器的首層保存一次激活即可，這樣大幅減少了內(nèi)存使用，其解碼器結(jié)構(gòu)如圖3所示。

假設(shè)前饋網(wǎng)絡(luò)和注意力機(jī)制分別為FFN和Att，通過圖3可看出在正向傳播時(shí)，

（2）

在反向傳播時(shí)，

（3）

所以，在采用了可逆殘差網(wǎng)絡(luò)的情況下訓(xùn)練時(shí)只需保存一次激活即可，這極大地降低了內(nèi)存消耗。

3）使用了分塊的前饋網(wǎng)絡(luò)，在Transformer中前饋網(wǎng)絡(luò)的輸入是獨(dú)立的，采用分塊的前饋網(wǎng)絡(luò)之后可以對不同塊的前饋網(wǎng)絡(luò)進(jìn)行單獨(dú)計(jì)算，每次只需計(jì)算一個(gè)，其計(jì)算式為：

（4）

其中，n為前饋網(wǎng)絡(luò)塊的數(shù)量。

這三大改進(jìn)有助于提高處理效率和降低內(nèi)存需求，且保留了Transformer強(qiáng)大的全局特征獲取能力。

3" ELMO-TextCNN-Reformer模型

3.1" 詞嵌入層

本文的模型結(jié)構(gòu)圖如圖4所示，先對文本數(shù)據(jù)進(jìn)行清理等預(yù)處理工作，再通過CharCNN構(gòu)建初始化單詞向量。

單詞向量構(gòu)建如式（5）所示：

（5）

其中，Ti中的i為文本數(shù)據(jù)中的第i條數(shù)據(jù)， 為第i條數(shù)據(jù)的第n個(gè)單詞或字的詞向量。接下來，這些詞向量被送入一個(gè)雙層雙向的LSTM網(wǎng)絡(luò)，每一層的LSTM單元被分成正向和反向兩個(gè)部分，用以捕獲每個(gè)單詞的前文和后文信息。正向LSTM擁有雙層LSTM結(jié)構(gòu)，第一層的LSTM結(jié)構(gòu)如式（6）所示：

（6）

其中，m為當(dāng)前時(shí)刻，σ為sigmoid函數(shù)，WO為輸出門的權(quán)重，bo為其偏置值， 為輸入的詞向量， 為LSTM第一層m時(shí)刻隱藏層的狀態(tài)，Cm為m時(shí)刻的記憶信息，Cm的記憶信息可以由Cm-1通過遺忘門與輸入門的權(quán)重及偏置值推出。

第二層的LSTM結(jié)構(gòu)與第一層的LSTM結(jié)構(gòu)相同，如式（7）所示：

（7）

其中的輸入為第一層的 ，通過殘差連接得到正向LSTM的詞向量，如式（8）所示：

（8）

逆向LSTM與正向原理相同，其得到的逆向詞向量同樣如式（8）所示，最終，通過將詞向量相結(jié)合可以獲得ELMO的詞表示，如式（9）所示。在這種情況下，即使是相同的單詞，在不同的上下文中也可能承載有區(qū)分度甚至是完全相反的含義，以服務(wù)于后續(xù)的任務(wù)。

（9）

3.2" 雙通道深度學(xué)習(xí)層

在大語料庫中訓(xùn)練過的ELMO形成的動(dòng)態(tài)詞向量，分別當(dāng)作TextCNN與Reformer的嵌入層輸入。在TextCNN中，該卷積層使用四個(gè)不同尺寸的濾波器來提煉多層次的特征。同時(shí)，該層還應(yīng)用ReLU函數(shù)作為其激活函數(shù)，以增強(qiáng)非線性特性。卷積層的構(gòu)造如式（10）所示：

（10）

其中，f為ReLU的激活函數(shù)，Ch×w為高h(yuǎn)和寬w的卷積核，高的取值為2、3、4、5，寬的取值對應(yīng)于ELMO的詞向量維度，b為偏置值， 為第i條數(shù)據(jù)第m到第m + h - 1個(gè)單詞的ELMO詞向量組成的矩陣，Ci為第i條數(shù)據(jù)從語序" 中提煉的特征圖。

通過最大池化法對卷積后的特征進(jìn)行降維，如式（11）所示：

（11）

其中，mi為第i條文本的特征最大池化層提取的特征向量。

經(jīng)過雙通道深度學(xué)習(xí)層之后，將訓(xùn)練后的特征進(jìn)行拼接并輸入到分類層中。

3.3" 分類層

將兩個(gè)獨(dú)立通道的特征數(shù)據(jù)合并，隨后將這些合并后的數(shù)據(jù)傳遞給全連接層。為了解決過度擬合的問題，在全連接層之前加入Dropout方法。最后，運(yùn)用Softmax函數(shù)對文本的情緒類別進(jìn)行判定，計(jì)算式如式（12）所示：

（12）

其中，a和b分別為全連接層的權(quán)重和偏差，x為雙通道合并后的向量，X為經(jīng)過Dropout技術(shù)處理過的向量結(jié)果，Y為Softmax判別情感類型后的結(jié)果。

4" 實(shí)驗(yàn)測試

4.1" 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

通過Python爬蟲爬取bilibili近期各個(gè)板塊熱度高的短視頻評論數(shù)據(jù)30 000條，其中訓(xùn)練集與測試集的比例為8：2，具體為24 000條訓(xùn)練數(shù)據(jù)和6 000條測試數(shù)據(jù)，實(shí)驗(yàn)環(huán)境如表1所示，實(shí)驗(yàn)文本數(shù)據(jù)如表2所示。

實(shí)驗(yàn)文本數(shù)據(jù)的標(biāo)簽類型如表3所示，本文將bilibili評論數(shù)據(jù)情感分為4大類，分別為重度惡意情感、輕度惡意情感、中立情感及善意情感，對數(shù)據(jù)進(jìn)行清理以及進(jìn)行jieba分詞，利用ELMO將分詞之后的文本轉(zhuǎn)化為動(dòng)態(tài)詞向量分別輸入到Reformer模型和TextCNN模型經(jīng)過訓(xùn)練后，將結(jié)果合并并最終傳入分類器進(jìn)行情緒判定。

4.2" 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)的參數(shù)設(shè)置如表4所示，本文將學(xué)習(xí)率設(shè)置為0.000 1，防止過擬合的Dropout值設(shè)置為0.5，詞向量維度為300，迭代的次數(shù)為20，最大文本長度為128，對超過此長度的文本進(jìn)行截?cái)嗖僮?，在TextCNN中將卷積層卷積核尺寸設(shè)置為2、3、4，將Reformer中的哈希桶設(shè)置為10。

4.3" 評價(jià)參數(shù)

本文采用準(zhǔn)確率Acc作為bilibili評論數(shù)據(jù)集情感分析的評論標(biāo)準(zhǔn)，對比多個(gè)模型的Acc值，Acc值更高的模型擁有更高的準(zhǔn)確率，模型的分類結(jié)果如表5所示，Acc的計(jì)算式如式（13）所示：

（13）

其中， 為模型判別情感類型正確的4個(gè)相加， 為模型判別情感類型錯(cuò)誤的相加。

4.4" 結(jié)果分析

將ELMO-TextCNN-Reformer有預(yù)訓(xùn)練動(dòng)態(tài)詞向量的ELMO雙通道模型與ELMO-TextCNN單通道模型以及TextCNN-Reformer沒有經(jīng)過預(yù)訓(xùn)練的雙通道模型進(jìn)行訓(xùn)練對比。如圖5所示，經(jīng)過多次實(shí)驗(yàn)，發(fā)現(xiàn)迭代次數(shù)超過20后準(zhǔn)確率提升微乎其微，故將迭代次數(shù)設(shè)置為20。

從圖5中可以看出，ELMO-TextCNN-Reformer模型在第一次訓(xùn)練之后就擁有了不錯(cuò)的準(zhǔn)確率，其準(zhǔn)確率為70%以上，并且迭代準(zhǔn)確率隨著迭代次數(shù)的增加而穩(wěn)步上升，在前10次迭代訓(xùn)練中準(zhǔn)確率上升得比較平穩(wěn)，后10次迭代訓(xùn)練后準(zhǔn)確率提升迅速，甚至為90%以上。ELMO-TextCNN雖然在第一次訓(xùn)練之后擁有比TextCNN-Reformer模型更高的準(zhǔn)確率，為64.13%，但后續(xù)其準(zhǔn)確率提升反而比較緩慢，ELMO-TextCNN對于特征提取不夠全面，雖然有預(yù)訓(xùn)練模型的加持，但是準(zhǔn)確率是三者之中最低的。TextCNN-Reformer雙通道模型的初始準(zhǔn)確率是最低的，但它卻擁有良好的特征提取能力，雖然對于一些新穎、一詞多義的句子準(zhǔn)確率低，但是這些數(shù)據(jù)畢竟只占一小部分，所以總體上說其仍擁有不錯(cuò)的準(zhǔn)確率。

ELMO-TextCNN-Reformer與其他模型的準(zhǔn)確率對比表如表6所示，從表6中可以看出ELMO-TextCNN-Reformer模型憑借91.82%的準(zhǔn)確率表現(xiàn)最為突出，這表明模型的組合優(yōu)化可能會(huì)對性能提升有顯著的正面效應(yīng)。其次，單獨(dú)的TextCNN模型雖然最為基礎(chǔ)，但準(zhǔn)確率達(dá)到了78.37%，這為其他模型提供一個(gè)基線性能。而將TextCNN與Reformer結(jié)合使用時(shí)，性能提升到88.71%，顯示出這兩種架構(gòu)的互補(bǔ)性。此外，單獨(dú)的LSTM模型以81.25%的成績超過了TextCNN。最后，Transformer模型的表現(xiàn)優(yōu)于TextCNN和LSTM，達(dá)到了83.17%的準(zhǔn)確率。這表明雖然Transformer架構(gòu)在很多任務(wù)中有優(yōu)異表現(xiàn)，但對于某些特定任務(wù)，結(jié)合了多種特性的模型可能會(huì)實(shí)現(xiàn)更優(yōu)的性能。總之，ELMO-TextCNN-Reformer能夠在bilibili評論數(shù)據(jù)集中擁有良好的準(zhǔn)確率。

5" 結(jié)" 論

針對bilibili評論數(shù)據(jù)集文本長短不一，新詞、黑詞多，容易出現(xiàn)一詞多義等情況，本文提出了動(dòng)態(tài)詞向量ELMO以及TextCNN-Reformer雙通道模型，該模型相比傳統(tǒng)模型準(zhǔn)確率有一定的提升，證明了該方法對bilibili評論數(shù)據(jù)集情感分析的準(zhǔn)確率提升是可行的。后續(xù)會(huì)把該方法應(yīng)用到別的數(shù)據(jù)集中，測評其對其他數(shù)據(jù)集的影響，并繼續(xù)深化算法，優(yōu)化模型，以達(dá)到更好的效果。

參考文獻(xiàn)：

[1] 邊鈺.我國網(wǎng)絡(luò)視聽用戶規(guī)模達(dá)10.40億 [N].四川日報(bào)，2023-03-30.

[2] PETERS M E，NEUMANN M，IYYER M，et al. Deep Contextualized Word Representations [J/OL].arXiv：1802.05365v1 [cs.CL].[2024-01-08].http：//arxiv.org/abs/1802.05365v1.

[3] KIM Y. Convolutional Neural Networks for Sentence Classification [J/OL].arXiv：1408.5882v2 [cs.CL].[2024-01-16].http：//arxiv.org/pdf/1408.5882.

[4] KALCHBRENNER N，GREFENSTETTE E，BLUNSOM P. A Convolutional Neural Network for Modelling Sentences [J/OL].arXiv：1404.2188v1 [cs.CL].[2024-01-09].http：//arxiv.org/abs/1404.2188v1.

[5] HOCHREITER S，SCHMIDHUBER J. Long Short-Term Memory [J].Neural Computation，1997，9（8）：1735-1780.

[6] GRAVES A，SCHMIDHUBER J. Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures [J].Neural Networks，2005，18（5/6）：602-610.

[7] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is All You Need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach：Curran Associates Inc，2017：6000-6010.

[8] IRSOY O，CARDIE C. Opinion Mining With Deep Recurrent Neural Networks [C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）.Doha：Association for Computational Linguistics，2014：720-728.

[9] KITAEV N，KAISER ?，LEVSKAYA A. Reformer： The Efficient Transformer [J/OL].arXiv：2001.04451v1 [cs.LG].[2024-01-13].http：//arxiv.org/abs/2001.04451v1.

[10] MIKOLOV T，SUTSKEVER I，CHEN K，et al. Distributed Representations of Words and Phrases and Their Compositionality [J/OL].arXiv：1310.4546v1 [cs.CL].[2024-01-14].http：//arxiv.org/pdf/1310.4546.

[11] PENNINGTON J，SOCHER R，MANNING C. GloVe： Global Vectors for Word Representation [C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）.Doha：Association for Computational Linguistics，2014：1532-1543.

作者簡介：曾孟佳（1980—），女，漢族，湖州荊州人，副教授，碩士研究生，研究方向：智能計(jì)算及其應(yīng)用。