多模態(tài)藏語情感分類的研究＊

拉桑吉，安見才讓

（1.青海民族大學(xué)計算機(jī)學(xué)院，青海 西寧 810007；2.青海省藏文信息處理與機(jī)器翻譯重點實驗室；3.省部共建藏語智能信息處理及應(yīng)用國家重點實驗室）

0 引言

近年來，深度學(xué)習(xí)體現(xiàn)出較為優(yōu)異的學(xué)習(xí)表現(xiàn)，越來越多的研究人員開始傾向使用神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)文本或者圖像的特征用于情感分類。但是單一模態(tài)的信息量容易受到其他因素干擾。通常情況下，對于一個雖然帶有情感色彩但情感傾向不明顯的藏文句子，如果配上表情和圖，其情感傾向相對會清晰很多。在社交平臺中圖像與文本存互補(bǔ)性，圖文兩種模態(tài)的信息往往比單一模態(tài)表達(dá)的情感更明確。所以多模態(tài)數(shù)據(jù)能有效地預(yù)測藏族網(wǎng)民所表達(dá)的情感傾向。

1 相關(guān)研究

多模態(tài)情感分類的目標(biāo)是識別帶有情感色彩的文本及圖像內(nèi)容的情感極性。本文將情感極性分為三大類，即為積極情感傾向和消極情感傾向、中性等三種極性。積極情感極性由{1}來表示、消極由{-1}表示、中性由{0}表示。

1.1 單模態(tài)情感分類研究

⑴文本情感分類

本文是基于深度學(xué)習(xí)的方法。孫旺本等將深度學(xué)習(xí)算法的CNN-LSTM（convolutional neural networklong short-term memory，CNN-LSTM）等模型引入藏文的情感傾向分析中；訓(xùn)練了藏文微博詞向量模型，提高了特征向量對文本語義信息的表達(dá)。

一些藏文語料分詞存在不統(tǒng)一的問題。普次仁等將藏文用詞向量表示詞語，利用無監(jiān)督遞歸自編碼算法對矩陣向量化，預(yù)測藏文語句的情感傾向，其不足點是并未探究語料庫大小對深度學(xué)習(xí)算法性能的影響，以及深度學(xué)習(xí)中參數(shù)較多引起的過擬合現(xiàn)象。曲塔吉將基于注意力機(jī)制和LSTM 的神經(jīng)網(wǎng)絡(luò)對藏文多極情感句子做了情感分析實驗，建立藏文多極情感數(shù)據(jù)集，使用注意力機(jī)制和BiLSTM 神經(jīng)網(wǎng)絡(luò)模型來實驗，正確率很高。

本課題先收集藏文情感數(shù)據(jù)集，對其進(jìn)行數(shù)據(jù)預(yù)處理。由于目前在藏民族居住地區(qū)沒有公開的情感數(shù)據(jù)資源，在數(shù)據(jù)預(yù)處理時將藏文分詞、情感標(biāo)注等工作都按照藏文傳統(tǒng)文法結(jié)構(gòu)，由人工進(jìn)行完成。

⑵圖像情感分類

論文選用情感特征提取方法研究圖像情感數(shù)據(jù)集。Chen等提出一個包含多個CNN的深度神經(jīng)網(wǎng)絡(luò)對圖片情感進(jìn)行分類，模型性能顯著優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)模型。Yang等提出了圖片局部區(qū)域信息和整體信息的圖片情感識別模型，取得良好的效果。曹建芳等提出了基于Adaboost-BP 的圖像情感分析方法，使用Adaboost 算法結(jié)合BP 神經(jīng)網(wǎng)絡(luò)的弱分類器，構(gòu)成一個強(qiáng)分類器，取得了良好的實驗效果。

首先收集圖像情感數(shù)據(jù)集，這些圖像數(shù)據(jù)集都是在各種社交平臺中使用藏文的網(wǎng)民平時所使用的評論表情圖像，然后對其進(jìn)行情感標(biāo)注及數(shù)據(jù)預(yù)處理工作。

1.2 多模態(tài)情感分類研究

多模態(tài)情感分類研究可分為特征融合好、中間層融合和決策融合，本課題選擇特征融合。在多模態(tài)情感分類研究方面，各專家和學(xué)者都選用適合各種課題的技術(shù)來研究。

Jindal 和Singh使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)構(gòu)建圖像情感預(yù)測框架，使用于對象的識別與遷移學(xué)習(xí)當(dāng)中，在人工標(biāo)注的圖像數(shù)據(jù)集上進(jìn)行實驗。多模態(tài)情感分類有著很大的研究空間。謝豪等提出了一種基于多層語義融合的圖文情感分類模型對社交媒體圖文數(shù)據(jù)進(jìn)行情感分類，以提高情感分類性能、為政府、企業(yè)決策提供科學(xué)依據(jù)。

綜上所述，目前在藏民族居住地區(qū)對情感分類的研究尚未涉及多模態(tài)情感分類。所以，本文選擇對多模態(tài)藏語情感分類進(jìn)行研究，以期得到更準(zhǔn)確的藏民族情感分析數(shù)據(jù)。

2 模型設(shè)計

對本課題的研究選用一種即適合藏文文法結(jié)構(gòu)，又適合圖像情感特征提取的神經(jīng)網(wǎng)絡(luò)模型是對多模態(tài)情感分類及識別的重要基礎(chǔ)。從多模態(tài)藏文文本及圖像情感分類的角度出發(fā)對神經(jīng)網(wǎng)絡(luò)模型的選擇進(jìn)行了分析研究，將深度學(xué)習(xí)的算法模型引入多模態(tài)藏語情感分類當(dāng)中。接下來會簡單的將兩種單個模態(tài)的模型以及融合后的結(jié)果進(jìn)行分析。

2.1 基于全連接神經(jīng)網(wǎng)絡(luò)的藏文情感分類模型

在藏文文本的情感分類任務(wù)中，對藏文句子提取特征的時候應(yīng)該要增大對藏文關(guān)鍵詞的影響力，從而提高藏文情感分類的神經(jīng)網(wǎng)絡(luò)模型識別率。

圖1 藏文文本情感分類的全連接神經(jīng)網(wǎng)絡(luò)模型（FCNNMSCTT）

FCNNMSCTT 模型主要目的是識別出不同藏文句子的情感的類別和極性，有3種分類極性，分類任務(wù)數(shù)據(jù)集表示為D=(S,S,…,S,…,S)。公式如下：

FCNNMSCTT 模型把輸入數(shù)據(jù)分成兩個部分：詞和字符，并將詞和字符都表示成嵌入向量。其表達(dá)形式如式⑵中兩個公式：

其中，W表示第i 個的詞S詞向量，C表示第i 詞的第j 個字符嵌入向量。

在收集的情感語料中，其訓(xùn)練句子樣本的長度不同，包含的詞與字符的長度也不同。在藏文情感分類上我們需要考慮怎樣把藏文的字符向量和詞向量的維度大小一致，長度大小一致等問題，因此，我們把藏文情感語料的字符向量和詞向量設(shè)置為512，句子長度統(tǒng)一設(shè)置為80，模型的輸入向量Tc計算方法如式⑶所示：

句子S的向量表示為：

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的藏語情感分類表情圖像模型

藏語情感分析表情圖像的深度學(xué)習(xí)我們采用了卷積神經(jīng)網(wǎng)絡(luò)，模型如圖2所示。

圖2 藏語情感分類中表情圖像的卷積神經(jīng)網(wǎng)絡(luò)模型(CNNMEITSA)

使用CNNMEITSA 模型中，輸入層圖像大小為256×128×1。使用卷積核對此進(jìn)行特征提取和特征映射，第一個卷積層深度為32，卷積了四次池化了四次之后，全連接三次把第五層的輸出數(shù)據(jù)全部做拼接成維度為512 的張量YC，再做全連接處理，激活函數(shù)ReLu，輸出維度為3的張量Y，表達(dá)式為：

輸出結(jié)果Y計算出每一個圖像情感繼續(xù)極性。

2.3 基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)圖文融合的網(wǎng)絡(luò)模型

多模態(tài)圖文情感分類中每一張積極圖像的特征和一條積極的藏文情感文本的特征相對應(yīng)，一張消極圖像的特征和一條消極的藏文情感文本的特征相對應(yīng)，中性圖像的特征和中性句子的特征對應(yīng)的存在。在最后結(jié)果輸出時，對比圖像標(biāo)簽和文本標(biāo)簽的權(quán)重哪個模態(tài)正確率高，就會取出那一方的正確率來輸出分類結(jié)果。

3 實證研究

3.1 實驗概述

基于神經(jīng)網(wǎng)絡(luò)情感分類模型的實驗平臺是基于Python 編程語言的Anaconda 平臺中環(huán)境選擇了TensorFlow 和Keras。實驗數(shù)據(jù)為多模態(tài)藏語圖文情感分類數(shù)據(jù)共6000多條，主要運(yùn)用的神經(jīng)網(wǎng)絡(luò)算法的知識有全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等。

3.2 實驗環(huán)境介紹

本課題的所有實驗都是在同一個的硬件配置下的計算機(jī)上完成的，下面硬件及軟件的實驗環(huán)境進(jìn)行介紹，具體如表1、表2所示。

表1 計算機(jī)硬件配置表

表2 計算機(jī)軟件配置

4 實驗結(jié)果分析

4.1 測試數(shù)據(jù)

本課題是以藏文情感句子當(dāng)中的情感極性以及圖像中文的情感特征為研究對象，從而建立起6000多條藏文情感句子及情感圖像的數(shù)據(jù)集。

⑴藏文文本的三種情感極性：積極情感數(shù)據(jù)有表示滿意句子、表示一般滿意句子、表示非常滿意的句子；消極情感數(shù)據(jù)有表示不滿意的句子、表示一般不滿意的句子、表示非常不滿意的句子；中性句子不表達(dá)任何帶有情感色彩及情感傾向的句子。每一種情感數(shù)據(jù)都會按照句子本身所表達(dá)的情感極性做與之相對應(yīng)的標(biāo)注。其數(shù)據(jù)示例表3所示。

表3 情感文本數(shù)據(jù)示例

⑵情感圖像的三種情感極性：積極圖像數(shù)據(jù)有表示吉祥、開心、高興、興奮等圖；消極圖像數(shù)據(jù)表示不開心、不討喜、難過、傷心、孤獨、流淚等圖；中性圖像表面看不出任何內(nèi)心活動的圖像、面無表情的圖。每一張圖都會根據(jù)圖片本身所表達(dá)的情感傾向為出發(fā)點進(jìn)行標(biāo)注。其數(shù)據(jù)示例圖3所示。

圖3 情感表情圖像數(shù)據(jù)集

本課題采用了基于深度學(xué)習(xí)全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，在數(shù)據(jù)相同的驗證集上提高識別精度。此外，在測試集中選擇不同情感極性的2400 條句子、2400 張圖片作為訓(xùn)練樣本，600 條句子和圖像作為測試樣本來驗證識別效果。

4.2 結(jié)果分析

基于神經(jīng)網(wǎng)絡(luò)的模型在圖像情感分類上的表現(xiàn)優(yōu)異。本次實驗的數(shù)據(jù)共有3000 條文本情感數(shù)據(jù)和3000多張圖像情感數(shù)據(jù)其實驗結(jié)果如圖4所示。

圖4 三個模型訓(xùn)練結(jié)果示例

其中圖4（左）表示文本模型的結(jié)果，圖4（中）表示圖像模型的結(jié)果圖4（右）表示融合后的結(jié)果，各個模型實驗結(jié)果數(shù)據(jù)如表4所示。

表4 各模型實驗結(jié)果示例

表4 中文本模型FCNNMSCTT 最終正確率56%、表情圖像模型CNNMEITSA 正確率88.75%、融合模型FUSIONMODEL 正確率96.98%。實驗分析可知數(shù)據(jù)在計算機(jī)識別后的結(jié)果跟人想要表達(dá)的情感是十分吻合的。證明了多模態(tài)對人類日常生活中情感表達(dá)的影響程度比單個模態(tài)強(qiáng)很多。

本文對多模態(tài)情感分類識別的模塊進(jìn)行了實驗。最終的實驗結(jié)果表明模型框架損失值低、識別率高、分類性能優(yōu)。得出實驗過程中樣本數(shù)據(jù)越多，其算法對情感分類的識別準(zhǔn)確率也會逐步提升趨于穩(wěn)定，損失值也會隨之降低的結(jié)論。后期還會增加數(shù)據(jù)查看此模型實驗相對于其他模型是否更具穩(wěn)定性，增加語料之后的準(zhǔn)確率會不會也隨之上升。

5 總結(jié)與展望

針對當(dāng)前多模態(tài)藏語情感分類的不足，提出了基于神經(jīng)網(wǎng)絡(luò)FCNNMSCTT、CNNMEITSA 情感分類模型。實驗結(jié)果表明，基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)情感分類模型具較高的準(zhǔn)確率。但現(xiàn)有的多模態(tài)圖文情感分類的數(shù)據(jù)少、也沒有公開的數(shù)據(jù)，只能花費(fèi)大量的人工進(jìn)行采集和標(biāo)注。在未來的研究中，多模態(tài)圖文情感分類語料庫需要進(jìn)一步的建立、提高語料標(biāo)注效率。