基于Reformer模型的文本情感分析

王 珊，黃海燕，喬偉濤

(華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237)

0 引 言

傳統(tǒng)的文本情感分析[1]大多采用機器學(xué)習(xí)和情感詞典的方法。隨著深度學(xué)習(xí)的不斷發(fā)展，越來越多深度學(xué)習(xí)技術(shù)被用于情感分析任務(wù)中，目前，已經(jīng)提出卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)、長短時記憶法(long short-term memory，LSTM)、雙向長短時記憶法(bi-directional LSTM，Bi-LSTM)等多種神經(jīng)網(wǎng)絡(luò)模型及改進(jìn)方法來解決此類問題[2-5]。但這些方法還存在著訓(xùn)練時間長、復(fù)雜度大的問題。在已有工作的基礎(chǔ)上，本文提出了基于Reformer模型的文本情感分析方法，該模型在Transformer模型的基礎(chǔ)上，引入局部敏感哈希注意力和可逆殘差網(wǎng)絡(luò)，既能克服傳統(tǒng)CNN、RNN網(wǎng)絡(luò)梯度爆炸或梯度消失的問題，同時簡化了情感分析模型結(jié)構(gòu)，提高了文本訓(xùn)練的速度。

1 相關(guān)工作

近年來，互聯(lián)網(wǎng)+的快速發(fā)展使評論文本情感分析在基于用戶的大數(shù)據(jù)分析中占有一定的比重，相對于傳統(tǒng)機器學(xué)習(xí)方法的不靈活性等特點，深度學(xué)習(xí)的方法可以更加高效、準(zhǔn)確地判斷文本所蘊含的情感信息，因此通過深度學(xué)習(xí)的方法獲取文本情感信息是目前較為熱門的一個研究領(lǐng)域，并取得了良好的研究成功。例如，曹宇等利用Word2vec對文本進(jìn)行向量化處理，然后利用雙向門控循環(huán)單元進(jìn)行訓(xùn)練并取得了較好的效果[6]。殷昊等利用多組LSTM對經(jīng)過欠采樣處理的多組數(shù)據(jù)分別進(jìn)行訓(xùn)練，最后將各組訓(xùn)練結(jié)果融合進(jìn)行文本情感分析，很好實現(xiàn)了不均衡數(shù)據(jù)集的情感分析[7]。王麗亞等利用CNN網(wǎng)絡(luò)和CNN-BGRU網(wǎng)絡(luò)針對字符級文本分別進(jìn)行特征學(xué)習(xí)，最后引入Attention機制(注意力機制)對文本情感進(jìn)行分類[8]。

利用CNN和RNN以及兩者結(jié)合進(jìn)行文本情感分析已經(jīng)取得了良好的效果，但仍存在一定的問題，利用使用RNN進(jìn)行文本情感分析存在長期依賴的問題并且難以并行計算，CNN則不能直接處理序列較長的文本樣本。因此谷歌團(tuán)隊拋棄了具有解碼-編碼(encoder-decoder)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型必須結(jié)合CNN或RNN的固有概念，將輸入序列中任意兩個詞語之間的距離縮小為常量，提出了完全由注意力機制構(gòu)成的Transformer模型[9]，并在自然語言處理領(lǐng)域得到了廣泛利用并取得了較好成績。例如，陳珂等利用Transformer模型對文本進(jìn)行訓(xùn)練得到文本語義、位置特征，然后根據(jù)情感詞典提取包含文本情感特征的詞語并利用自注意力機制進(jìn)行訓(xùn)練獲得文本情感特征，最后將兩種不同訓(xùn)練方法得到的文本特征進(jìn)行融合并進(jìn)行情感分類[10]。王明申等利用詞級權(quán)重模型獲得不同詞語的權(quán)重，然后將得到的權(quán)重與 Transformer 模型相結(jié)合進(jìn)行文本情感分析[11]。盡管利用Transformer模型進(jìn)行文本情感分析已經(jīng)取得了較好的成績，但Transformer模型仍存在復(fù)雜度高、訓(xùn)練時間長的問題。因此，優(yōu)化Transformer模型結(jié)構(gòu)，降低模型復(fù)雜度，對提高文本情感分析準(zhǔn)確率，加快訓(xùn)練時間具有重要意義。

2 Reformer模型

Reformer模型是Nikita Kitaev等在Transformer模型的基礎(chǔ)上提出的一種變體，它克服了Transformer模型處理長文本時占用內(nèi)存大，訓(xùn)練速度慢的問題[12]。同Transformer模型結(jié)構(gòu)類似，Reformer模型也采用由注意力機制和前饋網(wǎng)絡(luò)組成Encoder-Decoder(解碼-編碼)結(jié)構(gòu)，其總體結(jié)構(gòu)如圖1所示。與Transformer模型相比Reformer模型主要進(jìn)行了3點改變：局部敏感哈希注意力機制(locality sensitive hashing attention，LSH Attention)取代點乘注意力(dot-product attention)，可逆殘差(reversible residual layers)代替標(biāo)準(zhǔn)殘差(standard residuals)以及采用分塊的前饋網(wǎng)絡(luò)[12]。

圖1 Reformer模型結(jié)構(gòu)

2.1 局部敏感哈希注意力機制

注意力機制是文本情感分析中常用的一種方法，它可以根據(jù)不同詞語所在的位置賦予其不同權(quán)重，從而更好實現(xiàn)分類效果。傳統(tǒng)Transformer模型中主要采用放縮點積注意力機制[9]。對于放縮點積注意力機制，其表達(dá)式為

(1)

其中，Q(query)是向量化的輸入文本，K(key)和V(value)則是輸入文本中單個詞語的詞向量。通過式(1)可以看出，當(dāng)輸入文本的長度為L時，放縮點積注意力機制的復(fù)雜度為Ο(L2)。為了降低注意力機制的復(fù)雜度，Reformer模型引入局部敏感哈希算法，舍棄Q值并將注意力權(quán)重替換為K的函數(shù)，構(gòu)建了局部敏感哈希注意力機制。

局部敏感哈希(locality sensitive hashing，LSH)是Indyk提出的一種改進(jìn)哈希算法，其主要思想是，設(shè)計一種哈希函數(shù)對高維空間中任意兩點進(jìn)行計算，當(dāng)兩點間隔很近時，則這兩個點大概率有相同的哈希值，反之，當(dāng)兩點間隔很遠(yuǎn)時，它們哈希值相同的概率會很小[13]。根據(jù)兩點之間相似度計算方式的不同，LSH算法有許多不同的hash算法。在Reformer模型中，采用的hash算法是基于向量之間夾角計算相似度的隨機投影法[14]。該方法首先將向量投影到一個單位球的球面上，然后應(yīng)用一系列的旋轉(zhuǎn)操作，最后找到每個旋轉(zhuǎn)向量所屬的切片。這樣一來就需要找到最近鄰的值，這就需要局部敏感哈希，它能夠快速在高維空間中找到最近鄰的點。假設(shè)空間中存在3個點A,B,C,其中A,B兩點距離很近，A,B與C距離很遠(yuǎn)，則這3個點投影到一個單位圓上，并隨機旋轉(zhuǎn)3次，其變換過程如圖2所示，其中旋轉(zhuǎn)正角度時為逆時針，反之為順時針。

圖2 哈希變換過程

因此，在注意力機制中引入局部敏感哈希后，LSH Attention的計算過程如圖3所示。

圖3 LSH Attention工作流程

如圖3所示，局部敏感哈希注意力機制的工作流程為：

(1)對輸入序列進(jìn)行處理，令Q=K；

(2)利用哈希函數(shù)，將Q和K中的序列分為不同的哈希桶(圖3中，不同背景表示不同的哈希桶)；

(3)根據(jù)哈希桶的不同對序列進(jìn)行重新排序，同個哈希桶中，按照原本位置進(jìn)行排序；

(4)對步驟(3)得到的新序列，進(jìn)行分塊；

(5)對分塊后序列進(jìn)行并行化處理，利用注意力機制對每個qi(qi∈Q)對同一哈希桶中當(dāng)前位置及之前位置序列進(jìn)行訓(xùn)練。

2.2 可逆殘差網(wǎng)絡(luò)

雖然在注意力機制中引入局部敏感哈希算法解決了Transformer模型復(fù)雜度高的問題，但模型仍然存在內(nèi)存占用大的問題。將Transformer模型的內(nèi)部進(jìn)行展開，其結(jié)構(gòu)如圖4所示。通過圖4可以看出，Transformer模型的每個注意力層和前饋層都被包裝成一個殘差塊的形式，因此，在模型訓(xùn)練過程中，需要存儲每一層激活函數(shù)的輸入來計算反向傳播期間的梯度，導(dǎo)致大量的內(nèi)存消耗。因此，在Reformer模型中，采用可逆殘差網(wǎng)絡(luò)對反向傳播中激活函數(shù)的輸入重新計算，從而減少內(nèi)存的占用。以編碼器為例，引入可逆殘差網(wǎng)絡(luò)后，其結(jié)構(gòu)如圖5所示。

圖4 Transformer模型內(nèi)部結(jié)構(gòu)

圖5 Reformer模型解碼器內(nèi)部結(jié)構(gòu)

假設(shè)注意力機制和前饋網(wǎng)絡(luò)分別用Att，F(xiàn)FN表示，則通過圖5可以看出，正向傳播時

y1=x1+Att(x2)

y2=x2+FFN(y1)

(2)

反向傳播時

x1=y1-Att(x2)

x2=y2-FFN(y1)

(3)

因此，引入可逆殘差網(wǎng)絡(luò)后，訓(xùn)練過程中只需要在第一層編碼器或解碼器存儲激活一次，極大節(jié)約了內(nèi)存的占用。

2.3 前饋網(wǎng)絡(luò)分塊化

對于前饋神經(jīng)網(wǎng)絡(luò)，當(dāng)其隱含層非常大時，其內(nèi)存占用也是非常大的。但是在Transformer模型中，由于前饋網(wǎng)絡(luò)的輸入是獨立的，因此，可以對其進(jìn)行分塊劃分，每次只對一個模塊進(jìn)行計算，從而極大降低了內(nèi)存的使用，其計算公式如下所示

(4)

其中，m為分的塊數(shù)。

3 基于Reformer模型的文本情感分析模型

本文提出的基于Reformer的情感分析模型如圖6所示，主要包括文本預(yù)處理、文本詞向量轉(zhuǎn)化及分類3個部分，其中v1v2v3v4…vn為文本預(yù)處理后得到的詞語，w1w2w3w4…wn為文本向量化后得到的詞語向量，n為詞語個數(shù)。當(dāng)評論文本輸入時，首先通過文本預(yù)處理層對輸入數(shù)據(jù)進(jìn)行分詞、去停用詞，再利用文本詞向量轉(zhuǎn)化層將輸入文本映射成對應(yīng)的詞向量，得到W=[w1,w2,…,wn]T，其中wn為文本中第n個詞語的詞向量，然后經(jīng)過Reformer模型的編碼層，獲得文本的情感特征，最后將獲得的文本情感特征輸入全連接層進(jìn)行文本情感傾向計算。

圖6 基于Reformer模型的文本情感分析模型

Reformer模型完全繼承了Transformer 模型可以充分提取文本語義特征的能力，同時通過引入局部敏感哈希注意力機制，可逆殘差等改進(jìn)辦法，使模型可以更快處理長文本，提高了文本情感分析的效率。

3.1 文本預(yù)處理

分詞是中文文本處理的一個必要步驟，與英文文本不同，中文的字與字之間不存在空格符進(jìn)行分割，因此需要預(yù)先進(jìn)行文本分詞處理。本文主要采用分詞工具jieba來實現(xiàn)文本中詞語的劃分。除分詞外，去停用詞也是中文文本預(yù)處理必不可少的步驟。在文本中，經(jīng)常存在一些對其所蘊含的情感傾向不存在影響的詞語或字，這些字或詞即被稱為停用詞，因為這些詞和字不會對情感分析產(chǎn)生影響，因此在信息檢索中，為節(jié)省存儲空間和提高搜索效率，在處理文本數(shù)據(jù)過程中會自動過濾掉這些停用詞。本文在去停用詞過程中采用的是自然語言處理領(lǐng)域常用的“哈工大停用詞表”。

3.2 文本詞向量轉(zhuǎn)化

由于機器不能直接識別純文本輸入，需要對文本進(jìn)行向量化操作，將文本轉(zhuǎn)化為機器可以識別的數(shù)值形式。因此，本文采用Word2Vec的CBOW模型將文本預(yù)處理后得到的單詞轉(zhuǎn)化為向量形式，假設(shè)詞向量維度設(shè)置為j，則單詞vi經(jīng)過訓(xùn)練后，得到詞向量

wi=[wi1,wi2,wi3…wij]

(5)

假設(shè)輸入文本S經(jīng)過文本預(yù)處理后長度為n，則該文本向量化后可以表示為，W∈Rn×j，其中W=[w1,w2,…,wn]T。

3.3 分 類

在Reformer模型中，解碼器是生成式模型，主要用于自然語言的生成，因此，在本文中情感分析任務(wù)中，僅采用編碼器結(jié)構(gòu)。在Reformer模型的Encoder模型中，注意力機制采用由多個局部敏感哈希注意力機制組成的多頭注意力(multi-head attention layer)，當(dāng)輸入為x時，多頭注意力層通過h個不同的線性變換輸入進(jìn)行投影，最后將不同的注意力機制結(jié)果拼接起來，因此，當(dāng)經(jīng)過預(yù)處理和向量化的文本輸入Reformer模型的多頭注意力層時，得到輸出為

MultiHead(Q,K,V)=Concat(head1,head2,…,headh)WO

(6)

其中，WO為多頭注意力層的權(quán)重矩陣，head1,head2,…,headh為局部敏感哈希注意力機制的輸出，其表達(dá)式為

headi=Attention(Qi,Ki,Vi)

(7)

Attention(Qi,Ki,Vi)=

(8)

(9)

(10)

前饋神經(jīng)網(wǎng)絡(luò)是解碼器子層的第二層，通過該層可以得到句子的特征向量，由于Reformer模型采用的是分塊化前饋神經(jīng)網(wǎng)絡(luò)，因此,當(dāng)輸入文本時，首先將文本劃分成m個模塊，然后依次對各個模塊進(jìn)行計算，最后，將各模塊計算結(jié)果進(jìn)行拼接，得到前饋網(wǎng)絡(luò)層輸出，其計算公式為

C=Concat(chunk1,chunk2,…chunkm)=

Concat(max(0,Z1W1+b1)W2+b2,

max(0,Z2W1+b1)W2+b2,…,

max(0,ZmW1+b1)W2+b2)

(11)

其中，m為前饋神經(jīng)網(wǎng)絡(luò)輸入所分的塊數(shù)，W1,W2為前饋網(wǎng)絡(luò)的權(quán)重，b1,b2為前饋網(wǎng)絡(luò)的偏置。

本文使用的編碼器是由6個編碼模塊組成，因此，最后，采用Softmax函數(shù)對輸入進(jìn)行計算，進(jìn)而實現(xiàn)文本分類，計算方法為

y=Softmax(WH+B)

(12)

其中，W為權(quán)重系數(shù)矩陣，B為相對應(yīng)的偏置。

4 實驗設(shè)計與結(jié)果分析

本文利用Reformer神經(jīng)網(wǎng)絡(luò)對評論文本所蘊含的情感傾向進(jìn)行判斷分類。首先word2vec算法將利用jieba分詞后的文本轉(zhuǎn)化為詞向量形式，然后輸入Reformer模型進(jìn)行訓(xùn)練，最后由Softmax分類器進(jìn)行計算和情感分類。實驗的環(huán)境見表1。

表1 實驗平臺設(shè)置

4.1 數(shù)據(jù)來源

表2 語料庫基本信息

表3 語料庫數(shù)據(jù)樣例

4.2 評價指標(biāo)

本文使用準(zhǔn)確率Acc和訓(xùn)練時長Time作為分類的評價指標(biāo)，針對同一語料庫，Acc越大，代表模型預(yù)測越準(zhǔn)確，Time越小，代表訓(xùn)練速度越快

(13)

其中，TP、TN、FP、FN分別為情感分類中幾種分類結(jié)果，其具體分類見表4。

表4 文本分類混淆矩陣

4.3 實驗參數(shù)設(shè)置

表5是實驗所用一些參數(shù)的具體說明，其中詞向量的維度vocab_dim設(shè)為100維，局部敏感哈希注意力機制的哈希桶數(shù) buck設(shè)為10。優(yōu)化算法使用自適應(yīng)矩估計算法Adam來調(diào)整參數(shù)的學(xué)習(xí)率，并利用Dropout機制來避免過擬合現(xiàn)象的出現(xiàn)。

表5 實驗參數(shù)

4.4 實驗結(jié)果與分析

本文將Reformer模型與CNN、LSTM等模型進(jìn)行對比，實驗結(jié)果見表6。通過表6可以看出，相對于CNN、LSTM等模型，本文提出的利用Reformer模型進(jìn)行文本情感分析不僅可以取得更高的準(zhǔn)確率，在時間上也明顯優(yōu)于其它幾種神經(jīng)網(wǎng)絡(luò)模型。本文提出的基于Reformer的情感分析模型在3種數(shù)據(jù)集上準(zhǔn)確率達(dá)到92.21%、98.38%、99.94%，相對于與其它深度學(xué)習(xí)模型在對應(yīng)數(shù)據(jù)集上的最高準(zhǔn)確率分別提高了2.92%、3.27%、3.83%,從時間角度來說，本文提出的基于Reformer的情感分析模型相對于其它模型在這3種數(shù)據(jù)集上最快速度來說，分別提高了52.43%、55.36%、41.52%，可以看出本文提出的模型結(jié)構(gòu)在3種數(shù)據(jù)集上的實驗結(jié)果，較本文其它幾種對比模型有較大幅度的提升。同時，本文所采用的3種數(shù)據(jù)集在大小、文本長度及是否為平衡數(shù)據(jù)集上都存在區(qū)別，由此也可以看出，在應(yīng)用上，本文提出的基于Reformer的情感分析模型有較好的普遍適用性。

表6 Reformer模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)實驗結(jié)果

以os數(shù)據(jù)集為例，繪制實驗對比曲線圖，如圖7所示。通過圖7可以看出，Reformer模型第一個Epoch的準(zhǔn)確率就達(dá)到了90%以上，同時，當(dāng)?shù)?個Epoch結(jié)束，模型情感分類準(zhǔn)確率增長速度變慢，逐漸接近收斂，驗證Reformer模型的收斂速度明顯快于其它幾組實驗對比模型。

圖7 模型實驗對比曲線圖

為了進(jìn)一步驗證Reformer模型的有效性，本文將Reformer模型與Transformer模型及其變體進(jìn)行比較，實驗結(jié)果見表7，其中，LAT為Linear-Attention Transformer?！啊睘槲催M(jìn)行實驗。通過表7，可以看出相對于Transformer等模型，Reformer模型在文本情感分析任務(wù)上有更好的效果。

表7 Reformer模型與Transformer模型及其變體實驗結(jié)果

5 結(jié)束語

針對傳統(tǒng)情感分析訓(xùn)練時間長、準(zhǔn)確率低的問題，本文提出了一種利用Reformer神經(jīng)網(wǎng)絡(luò)模型解決中文文本情感傾向分析的有效方法。該方法利用Reformer模型對輸入的向量化的文本進(jìn)行訓(xùn)練及分類。實驗結(jié)果表明了使用該方法處理中文評論情感分析問題是可行的，相比CNN、LSTM、Transformer等模型能夠更好實現(xiàn)中文文本情感的分類。在下一步的工作中，將繼續(xù)對算法進(jìn)行更加深入的研究，優(yōu)化模型的結(jié)構(gòu)，以期達(dá)到更好的情感分析結(jié)果。