基于Transformer模型的商品評論情感分析

杜 朋,盧益清,韓長風

(北京信息科技大學 信息管理學院，北京 100192)

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上的信息量日益增多，各大門戶網(wǎng)站、電商網(wǎng)站、視頻網(wǎng)站等逐步成為網(wǎng)民表達情感與交流思想的線上平臺[1]。

近年來，電子商務平臺呈現(xiàn)百花齊放、百家爭鳴的景象，在阿里巴巴、京東商城、唯品會、蘇寧易購等電商平臺的激烈競爭下，拼多多也強勢崛起。2018年全國電子商務的總交易額為31.63萬億元，比上年增長8.5%。其中商品、服務類電商交易額30.61萬億元，增長14.5%。在龐大交易額的背后，電商企業(yè)保留了大量的用戶評論數(shù)據(jù)。這些評論數(shù)據(jù)反映了用戶對平臺、商家、物流及商品的態(tài)度，如何從這些海量的數(shù)據(jù)中提取有用的信息，并給不同的用戶提供個性化的服務正在成為業(yè)界與學術界關注的重點[2]。

消費者在網(wǎng)上發(fā)表個人的評論信息表達自己觀點和態(tài)度己經(jīng)成為一種習慣，例如，在相關網(wǎng)站上發(fā)表影評、書評、酒店住宿體驗等。商家也可以根據(jù)用戶在自己平臺上發(fā)表的評論，了解競爭過程中自己的優(yōu)勢與劣勢，取長補短，進而達到吸引更多消費者的目的；潛在消費者可以從評論中獲取其他消費者對該商品的態(tài)度及使用體驗，幫助自己做出決策[1]。

在電商平臺上，消費者網(wǎng)購后發(fā)表的評論包含了用戶對平臺、賣家、物流、客服、商品質(zhì)量的看法，對電商平臺來說，可以利用這些數(shù)據(jù)監(jiān)測入駐商家的商品質(zhì)量、真?zhèn)吻闆r；對商家來說，可以借此分析當前市場環(huán)境，了解消費者的需求及自己與競爭對手的差距，及時找到自己的弱勢，取長補短，并預測市場下一階段的紅利點，便于商家明確自己的定位，降低退貨率，把握庫存量和進貨量；對消費者來說，通過評論可以更加客觀地了解商家的情況，進而幫助消費者理性消費[3]。

從用戶在互聯(lián)網(wǎng)上發(fā)表的評論信息中挖掘其潛在的商業(yè)價值是十分困難的，因為評論信息數(shù)量過于龐大，使用人工方式對海量評論信息進行挖掘是不切實際的。文本情感分析技術可以幫助我們從海量數(shù)據(jù)中挖掘有價值的信息，有效提高效率[4]。

文本情感傾向性分析任務在學術界和業(yè)界都一直備受關注[5]，近年來，結合深度學習的自然語言處理使得情感分析領域有了突破性的發(fā)展，但該領域仍面臨著巨大挑戰(zhàn)，特別是中文商品評論數(shù)據(jù)的分析。這些挑戰(zhàn)具體表現(xiàn)在:

(1) 商品種類復雜。針對不同的商品，用戶的關注點會不同，所發(fā)表評論的情感體現(xiàn)在文字上就會有所不同。

(2) 語法不規(guī)范，分析困難。商品評論數(shù)據(jù)的不規(guī)范性，使得基于語法/規(guī)則模型的分析方法遇到了瓶頸[6]。

(3) 情感詞分布廣。在中文語料中，除了形容詞、動詞和副詞外，名詞類型的情感詞所占的比例也很大[7]。例如，“這本書就是垃圾，一點用處都沒有，典型的偽科學，讀此書一點價值也沒有。”中的負面情感，除了體現(xiàn)在形容詞“偽”和副詞“沒”上，還體現(xiàn)在“垃圾”這個名詞之中。而在中文語料中，大部分名詞并非情感詞，像這些低頻卻很關鍵的名詞性情感詞很容易被其他高頻詞所淹沒，使得基于單純情感詞抽取的方法或基于特征提取的機器學習模型難以發(fā)現(xiàn)這類情感詞在文本中的作用[8]。

本文以商品評論文本為情感分析的研究對象，以谷歌在2017年提出的用于機器翻譯的Transformer[9]模型為核心，構建出一種基于多頭自注意力機制和卷積神經(jīng)網(wǎng)絡相結合的商品評論情感分析模型。該模型首先在詞向量的基礎上添加了詞語的位置信息，然后使用多頭自注意力機制發(fā)現(xiàn)文本中詞語的關聯(lián)關系及語義信息，最后使用卷積和全連接的方式作為輸出層。實驗表明，該模型在情感分類上取得了較好的效果。

本文組織結構如下，第1節(jié)簡要介紹情感分析領域的相關工作；第2節(jié)介紹本文所構建模型的結構及原理；第3節(jié)進行實驗，并對結果進行對比分析；最后一節(jié)對本文的主要工作進行總結，并提出下一步的優(yōu)化思路。

1 相關工作

當下基于情感分析的分類方法主要包含以下三種: 基于情感詞提取的方法、基于特征提取的機器學習方法和基于神經(jīng)網(wǎng)絡的深度學習方法?；谇楦性~提取的方法需要人工構建情感詞典并設立一定的規(guī)則才能實現(xiàn)對文本的情感分析，優(yōu)點是如果情感詞足夠完善，可以很好地判斷文本的情感傾向，但缺點也很明顯，情感詞典無法覆蓋商品評論文本里含有的大量不規(guī)則用詞和未登錄詞，而且這種方法也沒有考慮到文本的上下文語義信息。

基于特征提取的機器學習方法是首先從評論文本中選取特征，然后使用決策樹、支持向量機等機器學習算法進行分類[10]。該方法對經(jīng)驗要求較高，如果特征的選取不當，會嚴重影響模型的分類結果[11]。

隨著人工智能領域的發(fā)展，基于神經(jīng)網(wǎng)絡的深度學習方法在文本處理方面所展現(xiàn)的效果也越來越突出，各種神經(jīng)網(wǎng)絡結構更是層出不窮，常見的深度神經(jīng)網(wǎng)絡模型，如卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNN)、循環(huán)神經(jīng)網(wǎng)絡(recurrent neural networks，RNN)等在文本分析上的應用也越來越廣。

由于短文本包含的信息量較少，并且同一個詞在不同的語境下表達的情感也有所不同，使用基于情感詞提取和傳統(tǒng)機器學習的方法無法挖掘出深層次的信息，所以深度學習逐漸成為情感分析研究的主流方法[12]。

2 Transformer模型

Transformer是由谷歌在2017年提出的用于機器翻譯的模型。機器翻譯模型通常以編碼器—解碼器為基本架構，即編碼端建模源語言中詞與詞之間的邏輯關系，而解碼端則通過編碼端提取的語義向量生成新的文本。傳統(tǒng)的基于深度學習的機器翻譯模型，其編碼器和解碼器由循環(huán)神經(jīng)網(wǎng)絡組成，然而采用循環(huán)神經(jīng)網(wǎng)絡會導致模型需要進行序列化計算，即當前時刻的計算需要依賴上一時刻計算的輸出，這使得模型無法進行大規(guī)模并行化計算。而為了減少序列化計算，業(yè)界開始更多地以卷積神經(jīng)網(wǎng)絡為基礎構建編碼器—解碼器，但以卷積神經(jīng)網(wǎng)絡為基礎構建的機器翻譯模型很難去建模句子中的長距離依賴關系。與傳統(tǒng)的機器翻譯模型不同， Transformer模型在構建編碼器和解碼器的時候，使用了多頭自注意力機制[13]，也是Transformer模型的核心，這使得 Transformer建模句子中任意兩個詞之間關系時，均只需要常數(shù)的計算操作，與兩個詞在句子中的距離無關。同時， Transformer在實現(xiàn)速度性能最優(yōu)的情況下，也是效果最佳的模型[14-15]。

隨著Transformer模型的優(yōu)勢逐漸被學術界及業(yè)界認可[16]，其在文本理解、語義分析等方面的表現(xiàn)也逐漸超越了傳統(tǒng)的LSTM網(wǎng)絡，所以在自然語言理解的生成式任務，如標題生成、機器翻譯、文本復述、信息抽取中，傳統(tǒng)的LSTM加注意力機制的方式也逐漸遷移到了基于Transformer模型的網(wǎng)絡結構上。而在分類式任務，如主題分類、情感分析中也有一定的應用，如aspect-term sentiment analysis (ATSA) 是自然語言理解方面的長期挑戰(zhàn)，其需要對文本中出現(xiàn)的目標實體進行精細的語義推理。而Xu W等人通過Transformer模型在該任務上取得了不錯的成績[17]。這說明Transformer模型適合用于情感分析任務之中。

本文采用基于Transformer模型的多頭自注意力機制和卷積神經(jīng)網(wǎng)絡相結合的方式，整體結構如圖1所示，使用位置嵌入層表示文本的語序信息，使用多頭自注意力層提取文本的語義信息，最后使用卷積層和全連接層進行特征的再提取和融合。

圖1 模型結構

2.1 詞嵌入層

詞是模型處理的基本單元，首先需要將詞進行向量化表示，所以每句評論經(jīng)過向量化表示后如式(1)所示。

X=[x1,x2,x3,…,xn]T∈Rn×d

(1)

其中，n表示每條商品評論文本中的分詞個數(shù)，d表示詞向量維度，xi表示文本中第i個詞的詞向量(i=1,2,3,…,n)。

2.2 位置嵌入層

模型理解一個句子有兩個要素: 一是單詞的含義；二是單詞在句中所處的位置。每個單詞的嵌入向量會學習單詞的含義，所以我們需要輸入一些位置信息，讓神經(jīng)網(wǎng)絡知道單詞在句中所處的位置。

因為模型不包括RNN網(wǎng)絡結構，因此它無法捕捉到詞語間的序列或位置信息，如果我們將評論中的詞序打亂，得到的結果是一樣的。而詞語的位置信息非常重要，代表著全局的結構，因此必須將序列分詞的位置信息利用起來。

為了解決這個問題，Transformer模型為每個輸入的詞向量添加了一個位置向量。位置向量用于確定每個單詞在句中所處的位置，然后將位置向量添加到詞向量中，這樣可以使得它們在接下來的運算中，能夠更好地表達詞與詞之間的位置信息。每個分詞的位置向量的計算如式(2)、式(3)所示。

其中，pos表示詞語在句中所處的位置索引，i表示詞嵌入向量的維度索引。

最后每個分詞的向量化表示如式(4)所示。

rei=wei+pei

(4)

其中，wei表示句子中第i個詞語的詞向量，pei表示句子中第i個詞語的位置向量，rei表示最終輸入到注意力層的向量。

2.3 多頭自注意力層

自注意力機制用于計算詞語之間的相關程度，通?？梢杂貌樵兿蛄?Q)、鍵向量(K)和值向量(V)這三個向量進行描述，其中，Q、K向量和V向量是通過每條評論的向量矩陣X乘以3個不同的權值矩陣WQ，WK，WV得到，如式(5)～式(7)所示[18]。

在獲取自注意力信息時，首先利用Q向量去查詢所有的候選位置，每個候選位置會有一對K和V向量，查詢的過程就是Q向量和所有候選位置的K向量做點積的過程，點積結果經(jīng)過softmax函數(shù)后加權到各自的V向量上，求和就得到了最終的自注意力結果，具體過程如下。

(1) 計算Q和K的相似度，如式(8)所示。

f(Q,Ki)=Q·Ki

(8)

(2) 對得到的相似度進行softmax操作，進而得到權重系數(shù)，如式(9)所示。

(9)

(3) 針對計算出的權重，所有V向量進行加權求和計算，得到最終的注意力向量，如式(10)所示。

(10)

(4) 對上一步得到的結果進行放縮以提升收斂速度，如式(11)所示。

(11)

多頭自注意力相當于h個不同的自注意力的集成，在本文中，h取值為8，即加入位置信息后的詞向量矩陣X分別輸入到8個自注意力模塊中，得到8個加權后的新矩陣Zi，i∈{1,2,…，8}，然后按列進行向量拼接，得到一個大小為 256 維的文本特征矩陣Z，如式(12)所示。

Z=(Z1,Z2,…,Z8)

(12)

多頭自注意力層是整個模型的核心，其豐富了詞語之間的關聯(lián)關系，甚至能夠理解句子的語義和句法結構信息。

2.4 輸出層

輸出層首先使用卷積操作進行特征的再提取，其中l(wèi)表示總卷積層數(shù)L的序號，kl表示第l個卷積核，bl表示偏置，*表示一維卷積操作[19]，如式(13)所示。

Cl=Z*kl+bl

(13)

最后通過全連接操作進行特征的融合。該模型使用數(shù)據(jù)的真實值和模型的預測值的交叉熵作為損失函數(shù)，從而利用反向傳播算法對模型中的參數(shù)進行更新。

3 實驗與分析

3.1 數(shù)據(jù)

數(shù)據(jù)采用中文自然語言處理語言資源項目(ChineseNLPcorpus)推出的online_shopping_10_cats數(shù)據(jù)集，數(shù)據(jù)的標注與采集均由該數(shù)據(jù)平臺完成，共10 個類別，總計 6 萬多條評論數(shù)據(jù)，其中正、負向評論各3萬余條，具體如表1所示。然后從語料中隨機選取1 000條作為驗證數(shù)據(jù)，1 000條作為測試數(shù)據(jù)。

表1 各類商品評論數(shù)據(jù)量

隨機從源數(shù)據(jù)中抽取10條評論如表2所示，可以看出，對于不同類別的商品，用戶評論中表達情感的用詞也是不同的，例如，對于水果而言，“新鮮”和“口感”是很重要的決定用戶情感的屬性；而對于平板而言，“電量”和“卡頓”情況就更為重要。但不同類別的商品也有共同的屬性，如快遞速度、質(zhì)量等。

表2 商品評論數(shù)據(jù)樣例

續(xù)表

3.2 數(shù)據(jù)預處理

3.2.1 分詞

實驗語料使用字節(jié)對編碼(byte pair encoding，BPE)算法進行分詞，該算法原本是為了數(shù)據(jù)壓縮，原理是字符串里頻率最高的一對字符被一個沒有在這個字符中出現(xiàn)的字符代替的層層迭代過程[20]。由于在商品評論數(shù)據(jù)里出現(xiàn)大量未登錄詞，未登錄詞的種類繁多，主要包括店鋪名、地名、縮略詞、派生詞、描述特定商品的專業(yè)用詞，以及各種網(wǎng)絡新詞，BPE算法在一定程度上可以很好地識別這些未登錄詞，故而選擇BPE對文本進行分詞處理。分詞后句子的長度如圖2所示。

圖2 句子長度(詞數(shù))分布

3.2.2 數(shù)據(jù)清洗

由圖2可以看出，句子長度(詞數(shù))95%以上處在0至200之間，有極少數(shù)句子高達1 000詞，經(jīng)分析實例發(fā)現(xiàn)，這些詞數(shù)過多的評論大多是書籍類評論，往往摘抄了該書的一段內(nèi)容放入評論中，考慮到書籍本身的內(nèi)容會對評論的情感傾向造成干擾，在數(shù)據(jù)清洗時，將這類評論去除。

3.3 評測標準

本實驗采用準確率(acc)，精確率(precision，P)、召回率(recall，R)、f_beta(F1)值作為評價標準。

TP:正確分類中的正面評論條數(shù);

FP:錯誤分類中的正面評論條數(shù);

TN:正確分類中的負面評論條數(shù);

FN:錯誤分類中的負面評論條數(shù)。

(14)

(15)

(16)

(17)

3.4 實驗對比模型及參數(shù)

文本的最大長度為100個詞，超出的截取前100個詞，不足的用0補齊，每個詞的詞嵌入向量維度是200，優(yōu)化器采用Adam，學習率是0.001，批處理個數(shù)是128。

(1)BILSTM使用雙向長短期記憶網(wǎng)絡，提取文本的語義和語序信息，其中LSTM網(wǎng)絡層設置為256。

(2)BILSTM+ATTEN結合雙向長短期記憶網(wǎng)絡和注意力機制，提取文本的語義和語序信息，其中LSTM網(wǎng)絡層設置為256。

(3)TEXTCNN將卷積神經(jīng)網(wǎng)絡應用到文本分類任務，利用多個不同的卷積核來提取文本中不同位置的重要信息，捕捉文本局部之間的相關性[21]，其中卷積核設置為128。

(4)Mult-Head+CNN本文所使用的基于Transformer的多頭自注意力機制和卷積操作相結合的方式提取文本的語義信息，其中多頭的個數(shù)設置為8，自注意力層設置為1，前饋網(wǎng)絡(充當全連接層)設置為128。

3.5 實驗結果分析

本實驗在阿里云服務器上進行，CPU型號是英特爾Xeon(R) CPU E5-2682 v4，主頻是2.50 GHz。

各模型的P值、R值和F1值與訓練步數(shù)的關系如圖3～圖6所示。

圖3 BILSTM模型迭代性能

圖4 BILSTM+ATTEN模型迭代性能

圖5 TEXTCNN模型迭代性能

圖6 Mult-Head+CNN模型迭代性能

對比圖3和圖4可知，通過在LSTM網(wǎng)絡上加入注意力機制，能使模型的評測結果迅速穩(wěn)定下來并且P值、R值和F1值都明顯提高，說明僅僅使用LSTM網(wǎng)絡捕獲文本信息的能力較差，而注意力機制可以自動學習影響文本情感傾向的分詞權重，從而說明注意力對模型分類效果的重大作用，而本文使用的Mult-Head+CNN模型更是顯著增大了網(wǎng)絡模型中的注意力層的作用，從而使得模型在表現(xiàn)良好的同時也大大縮減了訓練用時。

對比圖4、圖5可知，這兩種模型的情感分類效果差別不大，而且TEXTCNN模型R值還稍高于BILSTM+ATTEN模型，這是因為TEXTCNN在短文本分類問題上更加有優(yōu)勢。直觀上的理解，TEXTCNN使用的卷積是一維卷積，類似于獲取句子中n-gram的特征表示，而短文本對上下文語義的要求不是很高，所以對短文本的特征抽取能力很強，模型收斂速度也很快[21]；本文提出的Mult-Head+CNN網(wǎng)絡結構首先使用多頭自注意力層建模句子中的分詞關系，同時利用一維卷積在短文本處理上的優(yōu)勢來充當全連接層，從而提高了對文本的情感分析能力。

整體來看，BILSTM模型效果是最差的，雖然BILSTM+ATTEN模型的P值稍優(yōu)于Mult-Head+CNN模型，但Mult-Head+CNN模型的R值卻明顯優(yōu)于其他模型。

根據(jù)準確率(acc)選取各模型最優(yōu)的訓練結果及所耗時間,如表3所示。

根據(jù)表3的結果，Mult-Head+CNN模型的最優(yōu)分類效果不僅比其他模型的最優(yōu)分類效果好，用時也是最短的。這是因為LSTM網(wǎng)絡的當前輸入要建立在上一步的輸出上，在訓練時非常緩慢，其循環(huán)結構加大了訓練難度，CNN也是同樣的道理，需要利用多個卷積核對一句話的各個片斷不停使用卷積操作，如果卷積核設置過少，無法有效捕捉文本中的語義信息。而多頭自注意力機制不需要循環(huán)，在訓練文本時是并行處理的，同時利用位置層將詞語的位置信息結合起來，最后的卷積操作更多的是為了充當全連接層的作用，卷積核的設置不必過多，所以用時非常短。

表3 各模型最優(yōu)訓練結果

為進一步提高模型在該文本上情感分析的可信度，將采用5折交叉驗證的方法，從而增加模型的可靠性，將數(shù)據(jù)均分為5份，輪流將其中4份作為訓練數(shù)據(jù)，1份作為驗證數(shù)據(jù)進行實驗，最終實驗結果取5次實驗的平均值，實驗結果如表4所示。

表4 5折交叉驗證結果

由于5折交叉驗證使得每次實驗的訓練數(shù)據(jù)大大減少而評測數(shù)據(jù)增多，雖在準確率上不如隨機選取1 000條數(shù)據(jù)進行評測的實驗結果高，但更具有一般性，也同樣驗證了上述結論。

4 總結與展望

Transformer模型在文本生成領域，特別是機器翻譯方面應用廣泛，是因為該模型對文本的語義理解及序列建模能力很強，便由此聯(lián)想到運用該模型到情感分類任務中，并且經(jīng)查資料發(fā)現(xiàn)在中文文本的情感分析中很少有提到該模型，大多還是使用LSTM結合注意力機制的方式。

本文通過商品評論正向、負向情感識別任務，對比了TEXTCNN、BILSTM、BILSTM+ATTEN和Mult-Head+CNN等方法。實驗證明，本文所使用的基于Transformer的Mult-Head+CNN網(wǎng)絡模型準確率最高，同時訓練用時也大大縮減。

在未來工作中，我們將繼續(xù)探索新方法、新思路，如通過加大情感詞的權重進一步提高模型的情感分析效果，并探索新模型，比如BERT[22]，通過引入句子級向量進一步加強模型對語義方面的理解，進而提高分類的精度。