基于BiLSTM-CNN-MultiHeadAttention-Dropout 的物流評論情感分析

靳 寧，蔣洪偉

0 引 言

隨著互聯(lián)網(wǎng)的迅猛發(fā)展，電商行業(yè)也隨之快速成長，網(wǎng)上購物的用戶量逐漸增多，這使得物流行業(yè)蓬勃發(fā)展起來。而與此同時，物流也在深深地影響著人們的生活。據(jù)統(tǒng)計，在淘寶、京東、拼多多以及唯品會等電商平臺進行購物的用戶數(shù)達9.82億。在這種如此大的購物規(guī)模上，很多用戶會在購物平臺上進行評論，包括但不限于個人喜好，使用感想，價格以及物流服務(wù)等各個評論信息。用戶網(wǎng)上的評論是目前消費者對購物體驗感、物品滿意度發(fā)表意見的重要渠道，這也是商家根據(jù)評價進行采長補短的信息來源。同時隨著政府對于網(wǎng)絡(luò)平臺的監(jiān)管，在線評論的真實性、可靠性也一直在提升；更便利的一點在線評論相比較傳統(tǒng)調(diào)研市場而言，不受時間、地域、行業(yè)的限制，可以最大程度的展現(xiàn)客觀、真實、全面的市場需求。

而隨著電商行業(yè)的發(fā)展、市場競爭的加劇及經(jīng)濟上的迅速成長使得顧客在商品的選擇上愈加多元化，因此如何留住顧客是每個商家都要思考的問題。而方法上除了提供更佳優(yōu)質(zhì)的商品，還需提供適時、適量的物流服務(wù)來進行購物體驗的滿意度提升。更多的企業(yè)開始注重物流體驗，但由于網(wǎng)絡(luò)上的信息量大且雜，更新迅速，人工難以實時監(jiān)控并精準(zhǔn)處理如此龐大的信息海洋，因此使用技術(shù)進行情感分析成為當(dāng)前的主流方法。

1 國內(nèi)外研究現(xiàn)狀

文本情感分析可以按分析粒度分為篇章級情感分析、句子級情感分析和方面級情感分析。為了能夠站在某一具體方面判斷評論文本的情感傾向，方面級（Aspect-level） 文本情感分析被提出。作為細粒度情感分析，它能夠站在某一具體方面判斷評論文本的情感傾向，更深入的挖掘用戶情感信息，比如“物品包裝的不錯，但是物流太慢了。”這條評論，從“包裝”的角度來看，該評論的情感傾向是正面的，而從“時效”的角度來看，該評論的情感傾向是負面的。諸如此類的評論文本，如果只給出一條評論的整體情感傾向，對用戶來說不具有參考價值，甚至還有可能會誤導(dǎo)用戶。

在以往研究中，大多采用機器學(xué)習(xí)的情感分析方法，主要是基于統(tǒng)計機器學(xué)習(xí)算法對大量有標(biāo)注或無標(biāo)注的語料進行特征抽取，最后進行情感分析輸出結(jié)果。馬夢曦等[1]將文本通過TF-IDF 方法進行特征獲取后再以支持向量機進行分類。劉楠[2]以基于樸素貝葉斯分類器方法進行微博發(fā)文者的情感分析，并進一步分析大眾情感的分布。梁海天[3]以京東生鮮為例，通過SnowNLP 機器學(xué)習(xí)的方法對用戶評論的情感進行打分，從而對京東自營物流服務(wù)過程中出現(xiàn)的問題進行修正、建議，使得京東物流服務(wù)質(zhì)量得到改善。

近年來，深度學(xué)習(xí)在傳統(tǒng)特征選擇與提取框架上取得巨大突破，通過對隱藏層的訓(xùn)練，可以自動學(xué)習(xí)結(jié)構(gòu)關(guān)系，在情感分類中具有極大優(yōu)勢。

Hinton[4]在數(shù)據(jù)評論文本中使用卷積和池化操作來提取特征；Huang 等[5]將CNN 與門控結(jié)構(gòu)結(jié)合；Fan 等[6]將卷積神經(jīng)網(wǎng)絡(luò)與注意力機制相結(jié)合，使得該模型可以同時捕獲句子中的單詞和多單詞表達特征；文獻[7-9]，采集用戶評論信息，通過情感分析將用戶在網(wǎng)絡(luò)上的評論處理，用數(shù)據(jù)方法進行呈現(xiàn)。Wang[10]提出基于目標(biāo)嵌入的基于注意力的LSTM 模型，使模型注意句子中的重要部分，該方法相較于傳統(tǒng)的機器學(xué)習(xí)方法和單一的卷積神經(jīng)網(wǎng)絡(luò)方法效果更佳。薛雨[11]使用的CNN-Softmax 模型引入了更深層次的卷積結(jié)構(gòu)，該模型比傳統(tǒng)二叉樹的模型在性能上有所提升，具有較強的實用價值。陳旭、潘峰等[12]使用雙向GRU與Attention 并行的方法對接種新冠疫苗人群在微博上的評論進行情感分析，相較傳統(tǒng)方法的模型效率有了一定提高，對于新冠疫苗的接種工作起到了監(jiān)督作用。李春雨[13]以Yelpzip 數(shù)據(jù)集中的評論文本為背景，采用Bi-GRU+Attention 的方法充分考慮了上下文對分類的影響，提高了模型效率以及模型識別的精確度。

在情感分析方面，情感特征是比較難以捕獲的。雖然卷積神經(jīng)網(wǎng)絡(luò)能夠獲取局部特征，Attention 機制能夠?qū)植刻卣鬟M行信息進一步抽取，但是情感分析是一個全局語義信息的分析，因此需要考慮全局信息在里邊。針對上述問題，本文提出基于BiLSTM-CNN-MultiHeadAttention-Dropout 的網(wǎng)絡(luò)結(jié)構(gòu)進行文本情感分析，并爬取某電商平臺的物流評論數(shù)據(jù)對本文提出的模型進行驗證與評估。

2 基于BiLSTM-CNN-MultiHeadAttention-Dropout 的情感分析模型

2.1 BiLSTM-CNN-MultiHeadAttention-Dropout 模型框架

模型主要由BiLSTM、CNN、MultiHeadAttention、Dropout 機制構(gòu)成，模型結(jié)構(gòu)如圖1所示。

圖1 模型結(jié)構(gòu)圖

本文通過Word2vec 模型對爬取的物流評論文本數(shù)據(jù)進行訓(xùn)練以實現(xiàn)詞語的語義信息與詞語特征的分布式表示，將物流評論數(shù)據(jù)輸入BiLSTM 模型并進行降維處理，使得數(shù)據(jù)中的文本句子形成一個詞向量矩陣S=[W1,W2,…,Wi]，其中句子當(dāng)中的第i個詞語表示為詞向量Wi，句子長度為l；在BiLSTM 層完成上下文語義特征提取后得到上下文隱藏矩陣，并通過MultiHeadAttention 機制對上下文矩陣進行特定優(yōu)化處理；由于特定方面缺少對句子信息的關(guān)注，為了得到包含句子信息的特定方面表示，采用MultiHeadAttention 機制優(yōu)化給定方面。優(yōu)化后的特定方面矩陣A如式（1） 所示，其中，A∈Rn×2dh。

將優(yōu)化后的特定方面和上下文進行連接，通過CNN 網(wǎng)絡(luò)來抽取這些局部情感信息，并加入Dropout 機制進行優(yōu)化處理，防止過度擬合，獲取最終特征表示并用softmax分類器對注意力得分進行數(shù)值轉(zhuǎn)換，計算出分類結(jié)果，即將輸出維度轉(zhuǎn)換為標(biāo)簽向量的維度，完成分類任務(wù)。

2.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN），本質(zhì)是一個多層感知機，最早應(yīng)用到圖像識別領(lǐng)域?qū)ω堃曈X皮層細胞進行研究。CNN 包含卷積層、池化層、全連接層，結(jié)構(gòu)如圖2 所示。

圖2 CNN 結(jié)構(gòu)圖

將句子以向量的形式表示在輸入層，對于數(shù)據(jù)集中的長度是n的句子，其矩陣表達式可表示為：E∈Rn×4dh，其中d為詞向量維度；卷積層進行局部特征提取，使用卷積核進行卷積操作，得到卷積層特征矩陣，如式（2） 所示。

其中：W為權(quán)重矩陣，b為偏置量，f為卷積函數(shù)。之后經(jīng)過池化層提取出重要特征，在全連接層進行組合輸出。

2.3 長短期記憶網(wǎng)絡(luò)（LSTM）

長短期記憶網(wǎng)絡(luò)（Long-Short Term Memory, LSTM） 是為了解決長依賴問題而衍生出的一種特殊的RNN 網(wǎng)絡(luò)，其核心在于細胞狀態(tài)及“門”結(jié)構(gòu)。“門”結(jié)構(gòu)分遺忘門、輸入門和輸出門，首先，將前一個隱藏狀態(tài)和當(dāng)前輸入：Xt傳遞到sigmoid函數(shù)中，然后將新得到的細胞狀態(tài)傳遞給tanh 函數(shù)，最后將tanh 的輸出與sigmoid 的輸出相乘，以確定隱藏狀態(tài)應(yīng)攜帶的信息。再將隱藏狀態(tài)作為當(dāng)前細胞的輸出，把新的細胞狀態(tài)和新的隱藏狀態(tài)傳遞到下一個時間步長中去。具體結(jié)構(gòu)如圖3 所示。

圖3 LSTM 結(jié)構(gòu)圖

2.4 MultiHeadAttention 機制

MultiHeadAttention 機制借鑒了人類注意力的說法，在訓(xùn)練過程中，輸入的權(quán)重是不同的，對比Attention 機制，MultiHeadAttention 擴展了模型專注于不同位置的能力。MultiHeadAttention 機制的計算主要涉及到以下三個階段，如圖4 所示。

圖4 MultiHeadAttention 機制結(jié)構(gòu)圖

第一步：V、K、Q是固定的單個值，計算Query 和Key 的相似度，得到對應(yīng)權(quán)重系數(shù)。后對權(quán)重系數(shù)進行加權(quán)計算得到注意力得分si，如式（3） 所示。

第二步：使用softmax函數(shù)對注意力得分進行數(shù)值轉(zhuǎn)換，進行歸一化處理，得到權(quán)重系數(shù)，如式（4） 所示。

第三步：根據(jù)權(quán)重系數(shù)對Value 進行加權(quán)求和，如式（5） 所示。

2.5 Dropout 機制

Hinton 等在2012 年提出Dropout 機制，來解決神經(jīng)網(wǎng)絡(luò)過擬合的問題，使用Dropout 機制前后情況如圖5 所示，左圖為標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，右圖為使用Dropout 機制修改后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖5 Dropout 使用前后對比圖

Dropput 機制的工作流程大致如下：

第一步：在保持輸入輸出神經(jīng)元不變的情況下，將隱藏的神經(jīng)元隨機刪除一半，之后將輸入神經(jīng)元通過修改后的網(wǎng)絡(luò)進行正向傳播；隨后再將得到的損失結(jié)果反向傳播回來；

第二步：通過小批量的樣本訓(xùn)練后，使用隨機梯度下降法對沒有刪除的神經(jīng)元更新參數(shù)（W, ）b。未刪除的神經(jīng)元已更新，并將已刪除的無變化神經(jīng)元恢復(fù)；

第三步：不斷重復(fù)以上兩步驟。

3 實驗與分析

3.1 實驗環(huán)境

本文所需要的實驗環(huán)境如表1 所示。

表1 實驗環(huán)境

3.2 實驗數(shù)據(jù)

本文選取的數(shù)據(jù)集是爬蟲采集的某電商平臺的商品評論數(shù)據(jù)，該數(shù)據(jù)集中爬取到有效數(shù)據(jù)樣本量64 816 條，樣本信息如表2 所示。

表2 物流評論數(shù)據(jù)集樣本信息

利用結(jié)巴分詞完成詞性標(biāo)注后利用TF-IDF 模型進行關(guān)鍵詞抽取工作，在對文本完成文本數(shù)據(jù)的清洗、分詞、詞頻統(tǒng)計等預(yù)處理工作后，然后利用Word2vec 模型構(gòu)建物流關(guān)鍵詞庫，提取出的部分物流詞庫詞頻如表3 所示。然后利用深度學(xué)習(xí)模型對物流評論進行情感識別。對于情感類別標(biāo)簽數(shù)據(jù)：負面消極情緒用-1 表示；客觀中立情緒以0 表示；正面積極情緒則記為1。

表3 物流關(guān)鍵詞及詞頻樣本信息

負面消極情緒的評論包括對對物流時效性、包裝完整性、配送服務(wù)、第三方快遞選擇等物流相關(guān)問題提出的意見或抱怨；客觀中立情緒的評論包括對一些事物的客觀評價，或者對其他方面滿意但對物流方面提出了意見等；正面積極情緒的評論包括對物流相關(guān)方面提出的贊揚或滿意的態(tài)度、描述自己的喜悅，或者對他人的鼓勵和正面的建議等。

3.3 評價指標(biāo)

本文通過準(zhǔn)確率與其他深度學(xué)習(xí)的模型進行對比，相同條件下，模型訓(xùn)練后的準(zhǔn)確率越高，模型效果越好。

混淆矩陣是判斷分類好壞程度的方法之一。二分類的混淆矩陣如表4 所示。

表4 評測指標(biāo)（metric）

如表4 所示，可以將結(jié)果分為四類：

真正例（True Positive,TP）：真實類別為正例，預(yù)測類別為正例；

假反例（False Negative,FN）：真實類別為正例，預(yù)測類別為反例；

假正例（False Positive,FP）：真實類別為反例，預(yù)測類別為正例；

真反例（True Negative,TN）：真實類別為反例，預(yù)測類別為反例；

準(zhǔn)確率（Accuracy）：分類正確的樣本數(shù)/所有樣本數(shù)量，具體如式（6） 所示。

AUC：可理解為ROC 曲線下的面積，AUC越大代表模型的性能越好；其中，m為總樣本個數(shù)，具體詳見式（7） 所示。

3.4 模型參數(shù)

由于模型參數(shù)不同會使得最后運行結(jié)果不同，找到合適的模型參數(shù)也是實驗中重要的一個環(huán)節(jié)。在本文模型中，BiLSTM模型其隱藏層維度為128，參數(shù)大小為128，CNN 卷積核窗口大小為[3,4,]5 ，Dropout 為0.75，學(xué)習(xí)率為0.001，L2 正則化參數(shù)為0.000 1；模型輸入批次的大小決定了模型的效果，本文采用了參數(shù)的大小分別為64,128,256,512 做了對比，由表5 所示，參數(shù)的大小為128 的loss 值最低，且訓(xùn)練時間更短。

表5 輸入批次對比

模型當(dāng)中CNN 的卷積核大小對模型準(zhǔn)確性影響比較大。本文針對此數(shù)據(jù)集進行了參數(shù)調(diào)優(yōu)，對不同的卷積核大小的設(shè)定進行比對，對比結(jié)果如表6 所示。

表6 各卷積核取值的實驗結(jié)果

3.5 實驗結(jié)果與分析

為了驗證模型的有效性，本文另擇CNN，BiLSTM，Attention-CNN，Attention-BiLSTM，Attention-BiLSTM-CNN 模型與本文提出的模型進行對比，具體對比結(jié)果如表7 所示。

表7 各分類算法的實驗結(jié)果

本文實驗中，AUC曲線圖如圖6 所示。

圖6 AUC 結(jié)果圖

由表7 中的結(jié)果數(shù)據(jù)可以看出CNN，BiLSTM，Attention-CNN，Attention-BiLSTM，Attention-BiLSTM-CNN 模型準(zhǔn)確率分別為85.14%，86.07%，87.50%，89.08%，90.06%。本文模型在準(zhǔn)確率上較其他模型提高到了90.62%，充分證明了本文模型的適用性以及有效性。本文模型使用的BiLSTM 可以對長序列文本信息能夠進行長短記憶，利用的CNN 模塊可以捕捉有效特征，并且本文所加的MultiHeadAttention 機制能夠?qū)τ杏锰卣鬟M行加強，并通過Dropout 機制對模型進行隱藏單元的過濾使模型能夠避免過擬合，使模型預(yù)測更加準(zhǔn)確。

4 結(jié)束語

本文爬取商品的物流文本評論于BiLSTM-CNN-MultiHeadAttention-Dropout 模型上進行情感分析。主要貢獻如下：

（1） 在研究方法方面，使用深度學(xué)習(xí)方法進行語料類別分類，融合構(gòu)建基于MultiHeadAttention 并結(jié)合BiLSTM 和CNN 的網(wǎng)絡(luò)模型，并為防止過擬合加入Droupout 機制，提高分析的準(zhǔn)確率，使得模型更具有泛化性。

（2） 在物流領(lǐng)域?qū)δＰ托阅苓M行評估，可用于后續(xù)物流領(lǐng)域的情感分析研究。爬取了某電商平臺的物流評論數(shù)據(jù)來驗證本文模型的有效性，通過對比實驗，較其他模型取得了更好效果。

在未來的改進工作中，需要考慮模型的訓(xùn)練速度問題以及在數(shù)據(jù)特征分布方面去選擇合適的模型參數(shù)進一步訓(xùn)練優(yōu)化，從而提高模型的訓(xùn)練成本。