一種基于圖文融合的跨模態(tài)社交媒體情感分析方法

申自強(qiáng)

摘 要：情感分析是目前人工智能與社交媒體研究的熱門領(lǐng)域，具有重要的理論意義和實(shí)用價(jià)值。為了解決由于社交媒體具有隨意性、情感主觀性等特點(diǎn)造成文本與圖像之間的情感互斥問(wèn)題，提出一種基于圖文融合的跨模態(tài)社交媒體情感分析方法。該方法不僅可以學(xué)習(xí)到文本與圖像之間的情感互補(bǔ)特性，而且通過(guò)引入模態(tài)貢獻(xiàn)計(jì)算，可避免情感表達(dá)不一致問(wèn)題。在Veer和Weibo數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，相比于現(xiàn)有融合方法，采用該方法的情感分類準(zhǔn)確率平均提高了約4%?；趫D文融合的跨模態(tài)社交媒體情感分析方法能夠很好地處理模態(tài)間的情感互斥問(wèn)題，具有較強(qiáng)的情感識(shí)別能力。

關(guān)鍵詞：社交媒體;情感分析;圖文融合;貢獻(xiàn)計(jì)算;跨模態(tài)

DOI：10. 11907/rjdk. 181783

中圖分類號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）001-0009-05

Abstract： Sentiment analysis is a hot field in artificial intelligence and social media research， which has a very important theoretical and practical value. In order to solve the problem of emotional mutual exclusion between texts and images caused by the randomness and emotional subjectivity of social media， a cross-modal social media sentiment analysis method based on the fusion of image and text is proposed. This method can not only learn the emotional complementarity between texts and images， but also avoid the problem of the inconsistency of emotional expression by introducing the modal contribution calculation. Experimental results on Veer and Weibo datasets show that this method is about 4% more accurate than the existing fusion methods. The cross-modal social media sentiment analysis method based on the fusion of image and text can deal with the problem of modal mutual emotional exclusion well， and has strong recognition ability.

Key Words： social media; sentiment analysis; fusion of image and text; contribution calculation; cross-modal

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展與普及，公眾參與社會(huì)活動(dòng)的機(jī)會(huì)也逐漸增加。如今人們不僅從網(wǎng)上獲取信息，而且積極參與信息傳播和輿論表達(dá)，如QQ、微信、微博、百度貼吧、知乎等社交媒體已成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?，也是互?lián)網(wǎng)信息傳播的重要途徑。每天，數(shù)以億計(jì)的人們?cè)谶@些社交媒體平臺(tái)上發(fā)布自己的心情、狀態(tài)、觀點(diǎn)及評(píng)價(jià)等數(shù)據(jù)信息[1]。對(duì)這些媒體數(shù)據(jù)進(jìn)行有效的情感分析可以幫助企業(yè)機(jī)構(gòu)掌握用戶對(duì)于某產(chǎn)品的評(píng)價(jià)，了解公眾的情感與意見(jiàn)傾向，為產(chǎn)品改進(jìn)與商業(yè)決策提供科學(xué)依據(jù)[2]。此外，對(duì)于政府機(jī)關(guān)，分析公眾在某個(gè)事件或重大熱點(diǎn)問(wèn)題上持有的態(tài)度有利于政府領(lǐng)導(dǎo)體察民情，從而及時(shí)、有效地進(jìn)行輿論引導(dǎo)，積極主動(dòng)地預(yù)防各種突發(fā)事件和危機(jī)[3]。因此，對(duì)于社交媒體情感分析的研究具有重要意義。

目前，對(duì)于社交媒體情感分析的研究大多集中在對(duì)文本數(shù)據(jù)的情感分析上，主要方法可分為兩類：基于詞典的方法與基于機(jī)器學(xué)習(xí)的方法?；谠~典的方法以情感詞典作為判斷情感傾向的主要依據(jù)，同時(shí)兼顧語(yǔ)法結(jié)構(gòu)，設(shè)計(jì)對(duì)應(yīng)的判別規(guī)則。陳國(guó)蘭[4]基于開源情感詞典與微博文本的語(yǔ)義規(guī)則特點(diǎn)提出微博文本的情感計(jì)算方法，對(duì)于微博情感分析具有較強(qiáng)的適應(yīng)性;李晨等[5]采用一種將情感詞典與語(yǔ)義規(guī)則相結(jié)合的情感關(guān)鍵句抽取方法，對(duì)段落內(nèi)的句子進(jìn)行情感分析?；谠~典的方法雖然操作簡(jiǎn)單，但其效果很大程度上取決于人工設(shè)計(jì)與先驗(yàn)知識(shí)，適用范圍較窄?；跈C(jī)器學(xué)習(xí)方法的思路是首先采集一個(gè)規(guī)模龐大的訓(xùn)練集，由人工對(duì)文本樣本進(jìn)行情感標(biāo)簽標(biāo)注，然后從文本中提取特征，輸入到模型中進(jìn)行訓(xùn)練學(xué)習(xí)，最后利用訓(xùn)練好的模型預(yù)測(cè)新文本的情感傾向;趙剛等[6]通過(guò)研究情感分析領(lǐng)域若干機(jī)器學(xué)習(xí)模型設(shè)計(jì)了餐飲領(lǐng)域網(wǎng)上評(píng)論情感分析模型，用于判斷客戶情感傾向;Giatsoglou等[7]提出一種快速、靈活、通用的情感檢測(cè)方法，其中文本文檔由向量表示，并采用機(jī)器學(xué)習(xí)方法進(jìn)行模型訓(xùn)練。此外，隨著社交媒體的多元化發(fā)展，人們?cè)谏缃幻襟w上已不滿足于僅采用文字形式發(fā)布自己的狀態(tài)，而更傾向于采用文本與圖像相結(jié)合的方式表達(dá)情感。在情感分析中，圖像中往往蘊(yùn)含著用戶情感信息，與文本情感可起到互補(bǔ)作用。例如張耀文等[8]首先提取文本特征和圖像的顏色及紋理特征，然后將兩模態(tài)特征映射到同一特征空間里進(jìn)行情感類別預(yù)測(cè);蔡國(guó)永等[9]則利用卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)文本和圖像特征進(jìn)行情感極性預(yù)測(cè)，然后再將兩者結(jié)果進(jìn)行決策融合;羅杰波等[10]提出一種跨模態(tài)一致性回歸（Cross-modality Consistent Regression，CCR）模型用于圖文融合情感分析，其主要思想是對(duì)相關(guān)但不同的模態(tài)特征進(jìn)行一致性約束。這些方法主要集中于將兩種模態(tài)信息進(jìn)行融合，或?qū)煞N模態(tài)之間的相關(guān)性進(jìn)行學(xué)習(xí)融合，但均未考慮實(shí)際應(yīng)用中由于社交媒體的隨意性、情感主觀性等因素造成的文本和圖像之間的情感互斥問(wèn)題。針對(duì)該問(wèn)題，本文提出一種基于圖文融合的跨模態(tài)社交媒體情感分析方法，該方法不僅可以學(xué)習(xí)到不同模態(tài)之間共同的情感特征，還能對(duì)模態(tài)間的情感互斥問(wèn)題進(jìn)行分析處理。具體而言，在模型訓(xùn)練中，可通過(guò)計(jì)算每個(gè)模態(tài)對(duì)整體的貢獻(xiàn)判別最終情感傾向，從而避免情感表達(dá)不一致的問(wèn)題。

1 社交媒體情感分析方法

近年來(lái)，隨著社交媒體的廣泛應(yīng)用，針對(duì)社交媒體的情感分析已成為研究熱點(diǎn)。其中，文本與圖像數(shù)據(jù)是社交媒體情感分析研究中兩種重要的模態(tài)數(shù)據(jù)。圖文融合社交媒體情感分析的一般過(guò)程可分為：文本與圖像情感特征提取、融合特征學(xué)習(xí)以及情感分類3個(gè)過(guò)程。

1.1 情感特征提取

文本的情感特征提取方法主要有兩種模型：傳統(tǒng)模型與深度學(xué)習(xí)模型。傳統(tǒng)模型一般是基于簡(jiǎn)單的統(tǒng)計(jì)學(xué)技術(shù)，而深度模型則是基于神經(jīng)網(wǎng)絡(luò)技術(shù)。常用的傳統(tǒng)模型主要包括TF-IDF（Term Frequency-Inverse Document Frequency）、詞性標(biāo)注（Part-of-Speech Tagging）與N-gram模型。此外，一些研究還表明，通過(guò)對(duì)傳統(tǒng)文本特征提取方法進(jìn)行改進(jìn)，可以獲得更好的結(jié)果。如Martineau等[11]使用正反兩個(gè)訓(xùn)練語(yǔ)料庫(kù)中TF-IDF分?jǐn)?shù)的差異衡量單詞，將評(píng)論分為正和負(fù)，其實(shí)驗(yàn)結(jié)果顯示，采用Delta TF-IDF特征顯然比采用TF-IDF或單詞頻數(shù)特征效果更好;神經(jīng)概率語(yǔ)言模型是由Bengio等[12]基于神經(jīng)網(wǎng)絡(luò)思想創(chuàng)建而成的，學(xué)者們對(duì)其作了大量研究，目的是通過(guò)學(xué)習(xí)一種分布式詞向量表示，以對(duì)抗由于訓(xùn)練數(shù)據(jù)增大而產(chǎn)生的維數(shù)災(zāi)難問(wèn)題;Mikolov等[13]于2013提出兩個(gè)新模型CBOW和Skip-gram，用于學(xué)習(xí)大規(guī)模語(yǔ)料庫(kù)的詞向量特征表示。

關(guān)于圖像情感特征的提取，一直以來(lái)都是圖片情感分析領(lǐng)域的研究熱點(diǎn)。圖像特征一般分為：低級(jí)特征、中級(jí)特征與高級(jí)特征。低級(jí)特征主要指顏色、形狀、線條、紋理、亮度等特征，中級(jí)特征一般指圖像中存在的對(duì)象、目標(biāo)等特征，而高級(jí)特征則是指行為、場(chǎng)景與情感等語(yǔ)義特征。顯然，圖像情感特征屬于高級(jí)語(yǔ)義特征。為了提取圖像情感特征，需要提取圖像相關(guān)特征后建立模型，以學(xué)習(xí)圖像本身與情感之間的情感鴻溝映射關(guān)系。例如，Mayank Amencherla等[14]通過(guò)心理學(xué)理論中色彩與情感之間的相關(guān)性對(duì)圖像中的色彩進(jìn)行檢測(cè)分析，用于圖像情感預(yù)測(cè);Stuti Jindal等[15]則是利用遷移學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)方法建立圖像情感預(yù)測(cè)框架。

1.2 融合方法

在情感計(jì)算領(lǐng)域已有許多關(guān)于圖文融合情感分析的研究成果，其中大多集中于將兩種模態(tài)信息進(jìn)行融合，此外還有一些研究集中于對(duì)兩種模態(tài)之間的相關(guān)性進(jìn)行學(xué)習(xí)融合。其常用融合策略可分為3種：特征層融合、決策層融合以及一致性回歸融合。例如，林鴻飛等[16]利用Logistic回歸分別對(duì)文本與相關(guān)圖像進(jìn)行情感預(yù)測(cè)，最后將兩個(gè)預(yù)測(cè)概率進(jìn)行加權(quán)平均，得出最終結(jié)果。無(wú)論是特征層融合還是決策層融合方法，都忽視了文本與圖像兩模態(tài)特征之間的相互關(guān)系，而一致性回歸融合則充分考慮了模態(tài)之間的相關(guān)性。

一致性回歸融合模型的主要思想是認(rèn)為不同模態(tài)在描述同一事物時(shí)所表達(dá)的情感應(yīng)該是一致的[10]。在圖文融合社交媒體情感分析中，首先采用不同的特征提取方法分別對(duì)文本與圖像進(jìn)行特征提取，然后將兩模態(tài)串在一起作為初始融合特征，接著把文本和圖像特征以及初始融合特征輸入一致性回歸模型中進(jìn)行訓(xùn)練學(xué)習(xí)，采用KL散度度量不同特征預(yù)測(cè)標(biāo)簽分布之間的相關(guān)性，最后將學(xué)習(xí)到的模型參數(shù)用于情感判斷。KL散度的計(jì)算公式其實(shí)是熵的變形計(jì)算，在原有概率分布p上，加入近似概率分布q，計(jì)算它們每個(gè)取值對(duì)應(yīng)的對(duì)數(shù)差，具體公式如下：

其中，[Dkl（p||q）]的值越大，表明兩概率分布的差異性越大，反之表示差異性越小，差異相同時(shí)值為0。雖然一致性回歸融合模型可以很好地學(xué)習(xí)到不同模態(tài)間的一致性情感，但沒(méi)有考慮實(shí)際應(yīng)用中由于社交媒體的隨意性、情感主觀性等特點(diǎn)造成的模態(tài)間情感互斥問(wèn)題。

2 跨模態(tài)社交媒體情感分析方法

本文提出一種跨模態(tài)社交媒體情感分析方法（Cross-modal Social Media Sentiment Analysis Method，CSMSA），其完整框架如圖1所示，該框架分別由以下4個(gè)階段組成：數(shù)據(jù)輸入、特征提取、特征融合以及情感分類。首先利用CBOW和CNN提取文本與圖像特征，接著通過(guò)計(jì)算各模態(tài)對(duì)整體的貢獻(xiàn)選擇合適的融合策略，然后利用跨模態(tài)回歸模型訓(xùn)練學(xué)習(xí)模態(tài)之間的情感相關(guān)權(quán)重，最后通過(guò)訓(xùn)練好的分類器進(jìn)行情感分類。

2.1 文本與圖像特征提取

輸入樣本是指從微博、Veer社交媒體平臺(tái)抓取到的文本和圖像數(shù)據(jù)，每個(gè)樣本被定義為[S（ti，vi）]，[ti]、[vi]分別表示第[i]個(gè)樣本的文本和圖像。通過(guò)CBOW與CNN分別學(xué)習(xí)提取到文本及圖像的情感特征[Xt（xt1，xt2，？，xtm）]和[Xv（xv1，][xv2，？，xvn）]，式中[m]、[n]分別代表文本與圖像特征的維度。

2.2 模態(tài)特征融合

對(duì)于文本和圖像的特征融合，本文通過(guò)計(jì)算每個(gè)模態(tài)對(duì)整體的貢獻(xiàn)選擇合適的模態(tài)融合策略。首先，采用[pθ（Xi）]表示輸入特征[Xi]在參數(shù)[θ]下的預(yù)測(cè)函數(shù)，使用Sigmoid函數(shù)計(jì)算概率分布，公式如下：

2.3 跨模態(tài)回歸模型訓(xùn)練

經(jīng)過(guò)綜合考慮融合特征預(yù)測(cè)概率與真實(shí)標(biāo)簽之間的損失，以及圖文兩個(gè)特征分別與融合特征預(yù)測(cè)概率之間的損失構(gòu)建損失函數(shù)，其公式為：

3 實(shí)驗(yàn)及結(jié)果分析

為了評(píng)估與驗(yàn)證所提方法的有效性，本文分別在Veer和Weibo兩個(gè)媒體數(shù)據(jù)庫(kù)上對(duì)幾種方法進(jìn)行對(duì)比實(shí)驗(yàn)。接下來(lái)將從實(shí)驗(yàn)數(shù)據(jù)庫(kù)、實(shí)驗(yàn)設(shè)置、結(jié)果分析以及可視化4個(gè)方面介紹具體實(shí)驗(yàn)過(guò)程。

3.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)

雖然從社交媒體平臺(tái)上可以輕松獲取到大量文本與圖像數(shù)據(jù)，但公開的可用于實(shí)驗(yàn)研究，且?guī)в姓鎸?shí)情感標(biāo)簽的圖文數(shù)據(jù)樣本非常稀少。本文利用文獻(xiàn)[17]中的相關(guān)技術(shù)和思路建立了兩個(gè)圖文組合的情感分析數(shù)據(jù)庫(kù)：Veer和Weibo，如表1所示。

其中，Veer平臺(tái)可在線提供正版照片、插畫、矢量圖等優(yōu)質(zhì)圖像資料。首先通過(guò)平臺(tái)搜索功能，利用帶有積極與消極情感的關(guān)鍵詞進(jìn)行搜索，并下載對(duì)應(yīng)圖像，以及圖片描述與標(biāo)題數(shù)據(jù)，即可獲得帶有弱標(biāo)簽的文本與圖片數(shù)據(jù)集;然后請(qǐng)3名專業(yè)研究生通過(guò)情感標(biāo)簽投票方式對(duì)這些弱標(biāo)簽數(shù)據(jù)進(jìn)行情感投票;最終保留情感票數(shù)統(tǒng)一的數(shù)據(jù)樣本。Veer數(shù)據(jù)庫(kù)總共包括8 650個(gè)積極樣本與8 674個(gè)消極樣本。對(duì)于Weibo數(shù)據(jù)庫(kù)的建立，首先利用爬蟲技術(shù)在Weibo平臺(tái)上采集大量文本與圖像數(shù)據(jù);然后通過(guò)張華平博士及其團(tuán)隊(duì)研發(fā)的NLPIR漢語(yǔ)分詞系統(tǒng)中的情感分析功能對(duì)文本情感進(jìn)行打分，即為這些數(shù)據(jù)加上弱標(biāo)簽;接下來(lái)選取并整合其中評(píng)分排名靠前的數(shù)據(jù)，建立弱標(biāo)簽數(shù)據(jù)集;最后請(qǐng)3名專業(yè)研究生對(duì)這些弱標(biāo)簽數(shù)據(jù)進(jìn)行情感標(biāo)簽投票。Weibo數(shù)據(jù)庫(kù)總共包括4 572個(gè)積極樣本與4 415個(gè)消極樣本。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)分別采用CBOW和CNN對(duì)文本與圖像進(jìn)行特征提取。在文本特征提取中，設(shè)置詞向量維度為300，句子長(zhǎng)度為140，學(xué)習(xí)率為0.025;在圖像特征提取中，圖片初始化大小為227*227，卷積核個(gè)數(shù)為32個(gè)，大小是11*11，Pooling層大小為2*2。此外，模型中超參數(shù)[γ]、[λ]的取值分別為1和3。

3.3 實(shí)驗(yàn)結(jié)果分析

（1）基于文本和圖像的單模態(tài)與多模態(tài)情感分類結(jié)果比較。表2展示了單模態(tài)的文本和圖像以及多模態(tài)圖文融合情感分類的結(jié)果比較。其中，對(duì)于單模態(tài)，分別使用CNN和Logistics Regression對(duì)其進(jìn)行模型訓(xùn)練與分類[18-19]。由表2可以看出，文本模態(tài)的情感分析結(jié)果普遍高于圖像模態(tài)的情感分析結(jié)果，這是由社交媒體的特點(diǎn)決定的，雖然圖像也蘊(yùn)含發(fā)布者的情感，但其主觀性和隨意性較強(qiáng)，因此僅從單一圖像模態(tài)預(yù)測(cè)發(fā)布者情感傾向的結(jié)果并不理想。圖文融合情感分類的結(jié)果高于單模態(tài)文本和圖像的情感分類結(jié)果，說(shuō)明本文所提方法可以有效結(jié)合文本和圖像兩個(gè)模態(tài)特性，在情感上進(jìn)行互補(bǔ)，從而提高了情感分類效果。

3.4 可視化

圖2、圖3分別展示了本文提出模型在Veer和Weibo數(shù)據(jù)庫(kù)的分類結(jié)果中，排名靠前的部分消極與積極數(shù)據(jù)預(yù)測(cè)結(jié)果可視化圖，其中使用淺色矩形標(biāo)記消極樣本，深色矩形標(biāo)記積極樣本。從圖中可以清晰看出樣本的情感分類結(jié)果，消極圖像多與“哭”、“一個(gè)人”有關(guān)，且色調(diào)偏灰暗，積極圖像則相反。其中，有些文本與圖像的分類結(jié)果相反，這是由于模態(tài)間的內(nèi)容差異以及社交媒體具有主觀性、隨意性等因素導(dǎo)致的，但根據(jù)各模態(tài)的貢獻(xiàn)度選擇合適的融合策略，可以在一定程度上提高識(shí)別準(zhǔn)確率。

4 結(jié)語(yǔ)

本文對(duì)社交媒體情感分析現(xiàn)狀進(jìn)行了研究，針對(duì)由于社交媒體具有隨意性、情感主觀性等特點(diǎn)造成文本與圖像之間的情感互斥問(wèn)題，提出一種基于圖文融合的跨模態(tài)社交媒體情感分析方法。其核心思想是在訓(xùn)練跨模態(tài)回歸模型時(shí)，通過(guò)計(jì)算每個(gè)模態(tài)對(duì)整體的貢獻(xiàn)選擇合適的融合策略，從而避免情感表達(dá)不一致問(wèn)題。為了驗(yàn)證所提方法的有效性，分別在Veer和Weibo兩個(gè)社交媒體數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明，本文方法的情感分類準(zhǔn)確率優(yōu)于現(xiàn)有融合方法。此外，由于社交媒體數(shù)據(jù)過(guò)于隨意且不規(guī)范，單一模態(tài)的情感分析可能無(wú)法從中挖掘出足夠的信息。通過(guò)綜合考慮文本、圖像及音視頻等多種模態(tài)信息進(jìn)行分析，則可能有效地彌補(bǔ)單模態(tài)的缺陷。社交用戶的情感傾向也與個(gè)人性格、生活習(xí)慣、社交關(guān)系及周圍環(huán)境等因素有關(guān)，在進(jìn)行情感分析的同時(shí)，融入個(gè)性化分析也是一個(gè)重要研究方向。

參考文獻(xiàn)：

[1] SEVERYN A，MOSCHITTI A. Twitter sentiment analysis with deep convolutional neural networks[C]. 38th Annual International ACM SIGIR Conference on Research and Development on Information Retrieval， 2015： 959-962.

[2] 肖紅，許少華. 基于句法分析和情感詞典的網(wǎng)絡(luò)輿情傾向性分析研究[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2014，35（4）： 811-813.

[3] YANG Y. Research and realization of internet public opinion analysis based on improved TF-IDF algorithm [C]. Vienna： International Symposium on Distributed Computing and Applications to Business， Engineering and Science，2017.

[4] 陳國(guó)蘭. 基于情感詞典與語(yǔ)義規(guī)則的微博情感分析[J]. 情報(bào)探索，2016（2）：1-6.

[5] 李晨，朱世偉，魏墨濟(jì)，等. 基于詞典與規(guī)則的新聞文本情感傾向性分析[J]. 山東科學(xué)，2017，30（1）：115-121.

[6] 趙剛，徐贊. 基于機(jī)器學(xué)習(xí)的商品評(píng)論情感分析模型研究[J]. 信息安全研究，2017，3（2）：166-170.

[7] GIATSOGLOU M，VOZALIS M G，DIAMANTARAS K，et al. Sentiment analysis leveraging emotions and word embeddings [J]. Expert Systems with Applications，2017，69：214-224.

[8] ZHANG Y， LIN S， JIA X. Sentiment analysis on Microblogging by integrating text and image features[C]. Pacific-Asia Conference on Knowledge Discovery and Data Mining，2015： 52-63.

[9] 蔡國(guó)永，夏彬彬. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖文融合媒體情感預(yù)測(cè)[J]. 計(jì)算機(jī)應(yīng)用，2016，36（2）： 428-431.

[10] YOU Q，LUO J，JIN H，et al. Cross-modality consistent regression for joint visual-textual sentiment analysis of social multimedia[C]. San Francisco： ACM International Conference on Web Search and Data Mining， 2016.

[11] MARTINEAU J，F(xiàn)ININ T. Delta TFIDF： an improved feature space for sentiment analysis[C]. California： International Conference on Weblogs and Social Media， 2009.

[12] BENGIO Y， DUCHARME R， VINCENT P， et al. A neural probabilistic language model[J]. Journal of Machine Learning Research， 2003， 3： 1137-1155.

[13] MIKOLOV T，CHEN K，CORRADO G，et al. Efficient estimation of word representations in vector space[J]. Computer Science，2013（1）：1-12.

[14] AMENCHERLA M，VARSHNEY L R. Color-based visual sentiment for social communication[C]. Taiwan： Information Theory，2017.

[15] JINDAL S， SINGH S. Image sentiment analysis using deep convolutional neural networks with domain specific fine tuning[C]. International Conference on Information Processing，2015：447-451.

[16] YU Y， LIN H， MENG J， et al. Visual and textual sentiment analysis of a Microblog using deep convolutional neural networks[J]. Algorithms， 2016， 9（2）： 41.

[17] CORCHS S， FERSINI E， GASPARINI F. Ensemble learning on visual and textual data for social image emotion classification[J]. International Journal of Machine Learning & Cybernetics，2017（4）：1-14.

[18] XIAO K， ZHANG Z， WU J. Chinese text sentiment analysis based on improved convolutional neural networks [C]. IEEE International Conference on Software Engineering and Service Science，2017： 922-926.

[19] TRUONG Q T， LAUW H W. Visual sentiment analysis for review images with item-qriented and user-oriented CNN[C]. Mountain View： ACM on Multimedia Conference，2017：1274-1282.

[20] CHEN F， JI R， SU J， et al. Predicting Microblog sentiments via weakly supervised multi-modal deep learning[J]. IEEE Transactions on Multimedia， 2017， 99： 1.

[21] PORIA S， CAMBRIA E， HOWARD N， et al. Fusing audio， visual and textual clues for sentiment analysis from multimodal content[J]. Neurocomputing， 2016， 174： 50-59.