融合BiLSTM 和注意力機制的卷煙消費者評價情感分類方法

王 銳，鄭新章，宗國浩，王 迪，王永勝，賈 楠，胡 斌，馮偉華

中國煙草總公司鄭州煙草研究院，鄭州高新技術產(chǎn)業(yè)開發(fā)區(qū)楓楊街2 號 450001

情感分類是對帶有感情色彩的文本進行分析、推理的過程，通過分析人的情感傾向可幫助用戶準確定位所需信息。隨著互聯(lián)網(wǎng)和移動通信技術的快速發(fā)展，通過獲取用戶評論數(shù)據(jù)并對其情感傾向進行挖掘和分析，對于開展經(jīng)濟活動預測、輿情監(jiān)控等研究具有重要意義。何炎祥等［1］利用深度學習模型研究了中文微博的情感分類。林明明等［2］結(jié)合HowNet 方法和Google 相似距離方法對消費數(shù)據(jù)情感分類進行了分析。劉一伊等［3］提出了基于詞嵌入與記憶網(wǎng)絡的情感分類算法。劉定一等［4］建立了融合微博熱點分析和長短期記憶神經(jīng)網(wǎng)絡的輿情預測方法。近年來煙草行業(yè)也開展了較多卷煙消費者評價的情感分類研究，幫助煙草工商企業(yè)精準感知消費者的需求，對產(chǎn)品規(guī)格進行有效整合。蔡波等［5］將消費者評價中的感官描述詞與中式卷煙消費體驗感官評價指標詞相匹配，驗證了中式卷煙消費體驗感官評價指標的實用性和適用性，并得到消費者較為關注的感官評價指標；楊春曉等［6］通過人工篩選出卷煙在線評論中的常用情感詞匯，構(gòu)建了卷煙在線評論情感詞典，并建立了卷煙評價文本情感分析模型，以考察卷煙在線評論中的情感表達；蘇凱等［7］利用統(tǒng)計學方法和關聯(lián)規(guī)則挖掘算法，分析了消費者對斗煙的產(chǎn)品品牌、香味類型、配方類型及配方組成的偏好性。由于缺少帶標注的消費者評價數(shù)據(jù)集，上述研究普遍采用基于詞典和規(guī)則的無監(jiān)督學習方法構(gòu)建模型，難以量化評價情感分析結(jié)果的準確性。此外，由于中文語法復雜且表達方法的多樣性，依靠人工構(gòu)建的情感詞典進行情感詞匹配，存在無法識別領域新詞、難以顧及上下文語義關系等問題，特別是在句子結(jié)構(gòu)復雜、無情感詞出現(xiàn)等情況下，無法有效識別情感傾向。而采用復雜機器學習或深度學習方法，通過深層次的特征學習可以提高情感分析的準確性。雙向長短期記憶神經(jīng)網(wǎng)絡（Bi-directional Long Short-Term Memory，BiLSTM）采用雙向門函數(shù)解決長距離依賴問題，適用于對包含時序信息的數(shù)據(jù)建模，在圖像識別［8］、新詞發(fā)現(xiàn)［9］、文本分類［10］等方面應用效果良好。而注意力機制［11］可以使模型更加關注關鍵特征，已廣泛應用于圖像分類［11］、機器翻譯［12］等領域。為此，通過構(gòu)建有標注的消費者評價數(shù)據(jù)集，基于BiLSTM和注意力機制建立卷煙消費者評價情感分類模型，旨在準確分析消費者對卷煙產(chǎn)品的情感傾向，為卷煙產(chǎn)品研發(fā)和精準營銷提供支持。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)集構(gòu)建

使用Python的BeautifulSoup庫采集并解析了煙悅網(wǎng)、中國香煙網(wǎng)等平臺上2 066 個國內(nèi)卷煙品牌規(guī)格2006—2021 年的消費者評價數(shù)據(jù)，共114 214條。運用正則表達式匹配、字符串匹配等方法去除廣告、重復評論、網(wǎng)頁標簽以及只包含數(shù)字或特殊字符等無效數(shù)據(jù)，通過大小寫轉(zhuǎn)換、簡繁體轉(zhuǎn)換、數(shù)字歸一化等方法完成數(shù)據(jù)清洗，并按正向、中性、負向3 種情感傾向?qū)υu價數(shù)據(jù)進行人工標注，構(gòu)建了包含78 226 條數(shù)據(jù)的卷煙消費者評價數(shù)據(jù)集，將數(shù)據(jù)集按4∶1 的比例隨機劃分為訓練集和測試集。各情感類別的樣本數(shù)量分布見表1。

表1 各情感類別的樣本數(shù)量分布Tab.1 Sample quantity distribution of each emotion category

1.2 煙草領域?qū)Ｓ性~匯提取

由于中文語境下詞與詞之間無明顯邊界，因此如何分詞對文本分析的準確性影響較大，通用分詞工具應用于特定領域往往因缺少領域未登錄詞而難以取得理想效果［13-15］。因不同地區(qū)、不同消費者群體對同一種卷煙產(chǎn)品有不同的稱呼，卷煙消費者評價中存在大量煙草領域約定俗成的短語，如產(chǎn)品名、產(chǎn)品別名、抽吸感受等。本研究中綜合考慮了詞的內(nèi)部聚合程度以及所處語境的豐富程度，利用詞頻、點間互信息（Pointwise Mutual Information，PMI）［16］和左右信息熵提取煙草領域的專有詞匯，建立分詞補充詞典，以提高文本分詞的準確性。點間互信息體現(xiàn)了詞與詞之間的相互依賴程度，PMI值越高，詞與詞之間的相關性越高，共同組成短語的可能性越大。PMI計算公式為：

式中：P（X）和P（Y）分別代表詞X和詞Y出現(xiàn)的概率；P（X，Y）代表詞X與詞Y共同出現(xiàn)的概率。

信息熵是衡量信息不確定程度的指標，左右信息熵代表了一個詞左右可搭配詞的多樣性，計算公式為：

式中：A為詞X的左鄰字集合；B為詞X的右鄰字集合。取左右信息熵中的較小值min（EL（X），ER（X））代表詞X的自由程度，該值越大，說明該詞周圍可搭配的詞越豐富，獨立成詞的可能性也越大。

提取語料庫中所有長度為7 位及以下的字符串作為候選詞，計算各候選詞的詞頻、點間互信息和自由程度，綜合考慮提取的時間復雜度和準確性，最終將詞頻的閾值設為4，點間互信息的閾值設為10，自由程度的閾值設為4。提取能夠同時滿足各閾值要求的候選詞作為領域?qū)Ｓ性~匯，人工篩選出軟云、軟玉、黃芙、軟藍樓等詞語構(gòu)建卷煙產(chǎn)品別名表，見表2。將提取出的領域?qū)Ｓ性~匯作為分詞補充詞典，采用jieba分詞工具對消費者評價數(shù)據(jù)進行分詞?；跇?gòu)建的卷煙產(chǎn)品別名表，統(tǒng)一評價數(shù)據(jù)中產(chǎn)品名稱的不同表述方式。

表2 部分卷煙產(chǎn)品別名表Tab.2 Aliases of some cigarette products

1.3 模型構(gòu)建

基于雙向長短時記憶神經(jīng)網(wǎng)絡和注意力機制構(gòu)建BiLSTM-Att情感分類模型。模型由輸入層、詞嵌入層、BiLSTM 層、注意力層以及輸出層構(gòu)成，架構(gòu)見圖1。

圖1 情感分類模型架構(gòu)圖Fig.1 Architecture diagram of emotion classification model

1.3.1 輸入層和詞嵌入層

因分詞后的文本序列長度不一致，需要對序列長度進行統(tǒng)一。假設文本序列最大長度為L，對低于最大長度的序列在其前方用0 補齊，以此統(tǒng)一輸入序列長度。根據(jù)數(shù)據(jù)集特征，將L設置為200。對于預處理后的文本序列，采用word2vec［17］的CBOW算法進行詞嵌入，將詞匯轉(zhuǎn)換成向量形式。

1.3.2 BiLSTM層

長短期記憶神經(jīng)網(wǎng)絡（Long Short-Term Memory，LSTM）［18］是在循環(huán)神經(jīng)網(wǎng)絡的基礎上，通過設置遺忘門、輸入門和輸出門，選擇性地遺忘過去無意義的信息，保留新的有用信息。相較于循環(huán)神經(jīng)網(wǎng)絡，LSTM 可以更好地捕捉較長距離的依賴關系。LSTM的網(wǎng)絡更新規(guī)則［18］見公式（4）～（9），根據(jù)輸入數(shù)據(jù)xt和t-1 時刻記憶單元的輸出ht-1，遺忘門ft控制要丟棄的狀態(tài)信息，輸入門it控制要保留的輸入信息，通過tanh層得到候選記憶單元t；在遺忘門、輸入門的共同作用下，得到當前單元的狀態(tài)Ct；最后由輸出門ot和單元狀態(tài)Ct得到當前記憶單元的輸出ht。

式中：Wf、Wi、WC、Wo分別為遺忘門、輸入門、控制門和輸出門的權重矩陣；bf、bi、bC、bo分別為對應的偏置矩陣；σ（·）為sigmoid 激活函數(shù)；tanh 為雙曲正切函數(shù)；*為哈達瑪乘積。

LSTM可以根據(jù)之前時刻的信息預測下一時刻的輸出，但在文本數(shù)據(jù)中一個詞通常由上下文環(huán)境共同決定，特別是卷煙評價數(shù)據(jù)中存在情感詞、程度副詞、否定詞之間的交互。例如，“有蘇煙的味道。香得很！！”中“很”用于修飾情感詞“香”的程度；“之前的口糧，勁道還是可以的，現(xiàn)在感覺抽完嘴干得不行”中“不行”用于表達情感詞“干”的程度。BiLSTM 由正向LSTM 與反向LSTM 組合而成，可以較好地捕捉這種雙向語義。BiLSTM 的網(wǎng)絡結(jié)構(gòu)如圖2 所示，將詞嵌入向量分別傳入正向LSTM和反向LSTM，通過拼接正向LSTM產(chǎn)生的隱向量與反向LSTM 產(chǎn)生的隱向量htR，得到句子的編碼向量ht=］。

圖2 BiLSTM網(wǎng)絡結(jié)構(gòu)圖Fig.2 Structure of BiLSTM network

1.3.3 注意力層和輸出層

由于句子中的每個詞對評論情感的判斷貢獻不同，在BiLSTM模塊中引入注意力機制，以減少或忽略無關信息，突出評論中與情緒相關的特征，進一步提升情感分類的準確性。將BiLSTM的編碼結(jié)果h=（h1，h2，……，hn）作為注意力層的輸入，根據(jù)公式（10）和（11）計算不同特征的權重系數(shù)和注意力值［11］，對輸入信息加權求和，得到目標詞的上下文特征。輸出層的激活函數(shù)采用softmax，針對三分類問題，輸出層設置3個神經(jīng)元。

1.4 模型訓練

采用Python 語言編程，使用Tensorflow GPU

2.5.0 和keras 2.5.0 構(gòu)建神經(jīng)網(wǎng)絡模型，顯卡采用NVIDIA GeForce RTX 3090。使 用Gensim 中 的word2vec 訓練詞向量，訓練窗口大小為5，詞向量維度為300。通過網(wǎng)格搜索確定優(yōu)化器Adam 的學習率為0.000 2。批樣本大小為64，采用Dropout在訓練過程中隨機忽略20%的特征檢測器，提高模型泛化性能，防止模型過擬合，損失函數(shù)為交叉熵損失函數(shù)。

1.5 模型評估

將BiLSTM-Att模型與基于情感詞典方法［19］、傳統(tǒng)機器學習方法（使用tfidf 構(gòu)造特征的SVM［20］和使用詞向量構(gòu)造特征的SVM［21］）、通用文本情感分析工具（調(diào)用百度AI 開放平臺中的情感傾向分析接口）、LSTM［18］、BiLSTM 進行對比，通過優(yōu)化參數(shù)使各方法達到最佳效果，并采用精確率（Precision）、召回率（Recall）和F1值評價分類結(jié)果的準確性。

2 結(jié)果與分析

2.1 統(tǒng)一產(chǎn)品名稱表述對模型的影響

統(tǒng)一產(chǎn)品名稱和未統(tǒng)一產(chǎn)品名稱的情感傾向三分類結(jié)果見表3?？梢姡y(tǒng)一產(chǎn)品名稱后模型的精確率、召回率和F1 值分別提高1.88、1.70、1.78 百分點，分類準確性顯著提升。

表3 統(tǒng)一產(chǎn)品名稱對模型的影響Tab.3 Influence of product alias unifying （%）

2.2 情感分類結(jié)果對比

情感傾向二分類（正向、負向）和三分類（正向、中性、負向）結(jié)果見表4?？梢?，與其他方法相比，BiLSTM-Att 的分類準確性均有一定提升。在二分類中，BiLSTM-Att的F1值比LSTM和BiLSTM分別提高3.20 和1.51 百分點；在三分類中，BiLSTM-Att的F1 值比LSTM 和BiLSTM 分別提高2.22 和0.71百分點，表明本研究中建立的方法具有有效性。對于較易區(qū)分的二分類問題，基于詞典方法的F1值為89.08%，優(yōu)于傳統(tǒng)機器學習方法，接近百度AI 和LSTM，說明在有明顯區(qū)別特征情況下，通過足夠多的規(guī)則匹配可以取得較好分類效果。由于中性情感的文本處于兩極分類的邊緣地帶，區(qū)分難度大，因此在三分類問題中各方法的準確性均有下降?；谠~典方法和百度AI 的準確性下降明顯，F(xiàn)1 值分別為72.46%和64.08%，說明這兩種方法無法有效識別煙草領域評論的復雜情感。兩種SVM 方法中，使用tfidf提取文本特征的SVM分類準確性較高。

表4 情感傾向二分類和三分類結(jié)果對比Tab.4 Comparison of results of binary and ternary emotion classification （%）

根據(jù)情感分類結(jié)果分別繪制正向、中性、負向評價的詞云圖，見圖3?？梢姡頍熛M者的關注重點是產(chǎn)品的口味、價格和包裝。正向評價中“喜歡”“口糧”“適合”“值得”“好看”“飽滿”等關鍵詞的出現(xiàn)頻率較高，負向評價中“不值”“假煙”“惡心”“不行”“垃圾”“炒作”等關鍵詞的出現(xiàn)頻率較高，中性評價中的情感詞相對較少。不同類別評價的關鍵詞與所表達的情感一致，再次驗證了本研究方法的有效性。

圖3 不同情感類別評價詞云圖Fig.3 Word cloud map of comments in different emotion categories

3 結(jié)論

基于2006—2021 年2 066 個卷煙品牌規(guī)格消費者評價數(shù)據(jù)，建立了融合雙向長短時記憶網(wǎng)絡和注意力機制的BiLSTM-Att 情感分類模型，并與基于詞典方法、傳統(tǒng)機器學習方法、通用文本情感分析工具、LSTM、BiLSTM 進行分類效果對比，結(jié)果表明：①BiLSTM-Att在卷煙消費者評價情感分類中具有較高準確性。二分類中，F(xiàn)1 值達到92.89%，比BiLSTM、LSTM和基于詞典方法分別提高1.51、3.20和3.81 百分點；三分類中，F(xiàn)1 值達到80.12%，比BiLSTM、LSTM和基于詞典方法分別提高0.71、2.22和7.66百分點。②在三分類中統(tǒng)一產(chǎn)品名稱可使模型的F1 值提高1.78 百分點。未來將進一步開展細粒度的情感分析研究，以更好地掌握消費者對卷煙產(chǎn)品口味、價格、包裝等方面的需求。