融合圖像元數(shù)據(jù)的用戶情感分類

吳彥文，嚴(yán) 巍，何華卿，冉茂良

(1.華中師范大學(xué) 國家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心，湖北 武漢 430079； 2.華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院 信息處理與人工智能研究所，湖北 武漢 430079)

0 引 言

對社交網(wǎng)絡(luò)上用戶進(jìn)行情感分析是個性化推薦、輿情監(jiān)測等多個應(yīng)用領(lǐng)域的重要手段。現(xiàn)有的情感分析大多從用戶在網(wǎng)絡(luò)上生產(chǎn)的文本入手，運用自然語言處理等技術(shù)進(jìn)行分析[1,2]。隨著卷積神經(jīng)網(wǎng)絡(luò)處理圖像信息能力的大幅提升，通過上傳的圖像來分析用戶情感的研究[3-5]也越來越多，取得了不錯的情感分類效果。李志義等[5]利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)對圖像的紋理、顏色作為輸入，經(jīng)過多層的網(wǎng)絡(luò)自動提取圖像的情感特征，構(gòu)造出準(zhǔn)確率更高的圖像情感特征提取模型。LiL等[6]提出層次卷積神經(jīng)網(wǎng)絡(luò)，利用不同級別特征之間的依賴關(guān)系，對高低刺激進(jìn)行學(xué)習(xí)表示后建模，基于融合刺激預(yù)測情感，同樣取得了不錯的效果。但是用戶對圖像情感具有一定主觀性，而且人的情感是與人當(dāng)時所處環(huán)境、所拍攝內(nèi)容等多方面因素相關(guān)，以上單從圖像層面進(jìn)行情感分類的方法忽略圖像背后的情境信息，而情境中卻隱含了豐富的情感信息[7]，因此很難對用戶細(xì)粒度情感進(jìn)行精準(zhǔn)捕捉。

基于以上問題，本文在現(xiàn)有的基于深度學(xué)習(xí)圖像情感分析的基礎(chǔ)上，融入圖像元數(shù)據(jù)中的情境信息，希望能夠綜合圖像特征和圖像背后的情境特征，從而擴(kuò)大數(shù)據(jù)的特征域，利用卷積神經(jīng)網(wǎng)絡(luò)、embedding特征嵌入，多特征融合等深度學(xué)習(xí)方法提升情感識別的效果。

1 相關(guān)研究

1.1 圖像情感分析

圖像情感分析由于其主觀性的原因，一直是圖像領(lǐng)域的難點問題之一。其發(fā)展分成了兩個階段，其一是基于圖像視覺低層次特征的提取，包括顏色、線條、紋理和形狀等不具有語義信息的特征。周云蕾等[8]在風(fēng)景類圖像上，根據(jù)不同顏色特征和情感特點，建立圖像顏色特征與用戶評價之間的關(guān)系，結(jié)合圖像的顏色直方圖對風(fēng)景圖像的顏色特征進(jìn)行提取，利用SVM進(jìn)行情感分類，取得了較好的準(zhǔn)確率。蔡國永等[9]考慮到圖像整體和局部對于突顯情感色彩的差異性，提出了嵌入圖像整體特征和圖像局部特征來預(yù)測圖像情感極性的方法。其二是以卷積神經(jīng)網(wǎng)絡(luò)為代表的一系列深度學(xué)習(xí)方法，在圖像分類和視頻分析取得了巨大成功。研究證實[10]神經(jīng)網(wǎng)絡(luò)提取的特征比手動設(shè)計表現(xiàn)更好，原因在于神經(jīng)網(wǎng)絡(luò)能夠?qū)W到在特定任務(wù)上的特征應(yīng)該如何表示，這個選取特征的結(jié)果是網(wǎng)絡(luò)學(xué)習(xí)的過程。Acar等[11]研究了如何通過可視化與其情感相關(guān)的局部圖像模式，將CNN專門應(yīng)用于視覺情感預(yù)測任務(wù)。Xu等[12]運用遷移學(xué)習(xí)的思路，首先在Image-Net數(shù)據(jù)集上訓(xùn)練好卷積神經(jīng)網(wǎng)絡(luò)，然后在情感圖像分類任務(wù)上對模型參數(shù)進(jìn)行微調(diào)，加快了模型的訓(xùn)練速度。

因此可見，低層次特征受限于人為主觀意識的判斷和手動設(shè)計特征提取的繁瑣，分類效果不如端到端的神經(jīng)網(wǎng)絡(luò)方法，但是深度學(xué)習(xí)的方法目前只針對圖像單一特征域進(jìn)行分析，忽略了圖像背后的情境信息，因此本文將利用圖像元數(shù)據(jù)中的情境特征來增強(qiáng)圖像情感分類的效果。

1.2 用戶情境建模

情境是描述事物所處的位置、環(huán)境(包括溫度、噪聲、光照等)的一種客觀的上下文信息。用戶情境建模的目的是建立用戶情境在該環(huán)境中統(tǒng)一的數(shù)字化表示，這方面的工作可以追溯到很早，移動設(shè)備還沒大量流行時，主要依靠一些人工制定的規(guī)則，通過GPS等進(jìn)行觸發(fā)。隨著移動情境數(shù)據(jù)開始豐富，一些學(xué)者運用機(jī)器學(xué)習(xí)的模型進(jìn)行情境建模，吳書等[13]在進(jìn)行用戶行為預(yù)測的場景中，采取了基于表示學(xué)習(xí)的情境建?？蚣?。K Luddecke等[14]利用面向?qū)ο蟮谋硎痉椒ㄩ_發(fā)了CML(context modelling language)語言快速從數(shù)據(jù)庫進(jìn)行情境數(shù)據(jù)建模。利用圖像元數(shù)據(jù)進(jìn)行情境建模的應(yīng)用和研究也有一些，Subudhi等[15]基于照片的位置信息分析游客的情緒活動，繪制出“情緒地圖”，Hossain等[16]考慮到人們回憶照片的特點(場景式記憶)，融合圖像內(nèi)容和照片位置等元數(shù)據(jù)打造場景式搜索平臺，用戶可以通過一場景式描述(比如：下午在武漢東湖騎車，天氣晴朗)，快速檢索自己相冊的相關(guān)照片，很大程度提高了檢索體驗和檢索效率。

可見情境建模的方式比較靈活，不同場景、不同數(shù)據(jù)格式的側(cè)重點不同，由于本文拍照場景中主要數(shù)據(jù)來源于圖像元數(shù)據(jù)，利用圖像元數(shù)據(jù)建模來增強(qiáng)圖像情感分析的效果也是本文的創(chuàng)新點之一。

2 關(guān)鍵技術(shù)

本研究的思路和研究過程如下：在對用戶的情感狀態(tài)建模的過程中，一方面利用圖像元數(shù)據(jù)進(jìn)行情境-情感的特征embedding，得到情境特征fe， 另一方面，運用當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)在圖像處理的優(yōu)勢，從vgg19預(yù)訓(xùn)練模型獲取高維度特征feature map，再根據(jù)feature map計算gram矩陣以表示圖像紋理特征fs， 最后與原始feature map中圖像內(nèi)容特征向量fc進(jìn)行拼接得到最終圖像特征f3。 情感識別網(wǎng)絡(luò)結(jié)構(gòu)較為簡單，只含有一個隱層的神經(jīng)網(wǎng)絡(luò)，來進(jìn)行情感分類，從而達(dá)到對用戶情感狀態(tài)精準(zhǔn)捕捉的目的。本文研究流程如圖1所示。

圖1 本文研究流程

接下來從情境-情感embedding特征選取、數(shù)據(jù)預(yù)處理、特征編碼，feeling-CNN的結(jié)構(gòu)設(shè)計，gram矩陣表示紋理特征以及特征向量拼接的細(xì)節(jié)進(jìn)行詳細(xì)闡述。

2.1 用戶拍照情境建模

該部分主要圍繞了拍照場景的兩個維度進(jìn)行特征選取，分別為用戶行為特征、上下文特征。其信息形式化表示為： UC={Behaviour_info,Context_info}。 為了研究的可行性，本節(jié)選取的特征都是可以通過移動設(shè)備或者社交軟件直接或間接獲取，Exif 是圖像元數(shù)據(jù)的一種，能告訴我們這張照片完成時，在何時何處，用了什么參數(shù)、什么設(shè)備。它記錄了照片的分辨率大小、拍攝時間、感光度(ISO)、快門時間、焦距大小、曝光等數(shù)據(jù)，通過經(jīng)緯度還能查詢出具體的位置信息，其中有些特征是連續(xù)值，比如ISO值，需要進(jìn)行離散編碼。情境建模工作流如圖2所示，在進(jìn)行本研究時應(yīng)該考慮保護(hù)用戶的隱私安全問題。

圖2 情境建模工作流

2.1.1 用戶行為特征

行為特征維度為了刻畫出用戶拍攝圖像時的拍照模式，光圈大小，濾鏡風(fēng)格，比如小光圈的照片通常是使用在拍攝自然風(fēng)景的遠(yuǎn)景上，能夠推測用戶在拍攝的時候想要表現(xiàn)的內(nèi)容和情感，更有可能存在敬畏的正向情感。悲傷一類的消極情感的光線較暗，ISO感光度偏高，再比如濾鏡風(fēng)格是暖色調(diào)，通常預(yù)示著用戶此時可能更多的感受是溫馨一類的情感。

用戶行為的信息化表示為： Behaviour_info={Photo_model,ISO,Aperture,Exposure-time,Filter_model}, 其中本文中選取Photo_model表示相機(jī)拍照模式(選取廣角、夜景、慢拍、人像、微距等6個常用模式)，ISO，Exposure_time和Aperture分別代表感光度，曝光時間和光圈大小，F(xiàn)ilter_model表示用戶對圖像加以濾鏡修飾的類別，由于濾鏡風(fēng)格太多，本文將濾鏡分類簡化成冷和暖兩類，為了驗證以上行為特征對于情感分類的有效性，對本文使用的IEST數(shù)據(jù)集中8種情感分類圖像的這3個特征進(jìn)行統(tǒng)計分析，對值進(jìn)行歸一化處理，結(jié)果如圖3所示，不同情感的圖像，這些特征的分布具有差異性，比如敬畏類的風(fēng)景圖居多，光圈值明顯低于其它類別，說明這3個特征對于情感具有一定區(qū)分能力。因為接下來需要將這些特征通過embedding層，所以需要將連續(xù)值特征離散化，比如感光度，曝光時間和光圈大小離散化，然后進(jìn)行類別編碼，用戶行為特征按照表1進(jìn)行編碼。

該部分還包括了用戶的基本特征，比如用戶的姓名、年齡、性別等。用戶基本信息的標(biāo)簽信息化表示為： User_info={Uuid,Name,Sex,Age}， 其中Uuid為用戶唯一標(biāo)識，name是用戶的姓名，sex為用戶性別(本文劃分為男/女)，Age為用戶年齡大小(本文劃分為18以下、18～25、25～40、40～60、60以上5個區(qū)間)，因此基本信息特征的編碼分為3層layer分別嵌入，特征嵌入之后的維度為3，見表1。

表1 特征Embedding細(xì)節(jié)

2.1.2 上下文特征

該部分包括了時間信息、位置信息和天氣信息3個方面。

(1)時間從日期“年月日”到具體一天中時間段中的早中晚，比如人們在深夜更容易流露真實情感。形式化表示為： Time_info={datetime,season,parttime}, 其中datetime表示具體日期(2019年12月1日星期日)，season表示季節(jié)(春夏秋冬)，parttime表示一天中的時間段(早上、中午、下午、深夜)。

圖3 不同情感類別行為特征分布

(2)位置特征劃分成6個類別，分別是景點、餐館、運動場、游樂場等。比如用戶來到一些比較壯闊的景點，像黃果樹瀑布，可能會充滿對自然的敬畏之心，在游樂場更有可能產(chǎn)生積極的情感。信息位置標(biāo)簽形式化表示為： Location_info={city,position,pos_type}， 其中city代表城市，position代表城市中某個區(qū)域，可以是具體景點或者區(qū)域，pos_type表示該地點屬于什么類型，本文選取了(景點、餐館、運動場、游樂場等6個地點類型)作為特征進(jìn)行embedding。

(3)天氣特征，包括了具體天氣、溫度、濕度，比如在陰天、32 ℃、相對濕度60%的夏天，用戶感到煩躁的可能性會增大。形式化表示為： Weather_info={weather，temperature，humidity}， 其中天氣的類別有晴天、陰天、雨天、下雪，溫度按照從低到高分成5個等級，濕度按同樣規(guī)則劃分。

綜合上述特征，如表1所示，對不同的特征進(jìn)行embedding嵌入，根據(jù)特征類別多少，選取不同的嵌入向量長度。

總的來說，以上情境特征選取的原則是盡可能捕捉用戶在特定情境中的情感狀態(tài)信息，從而為后面融合圖像情感，綜合對用戶情感狀態(tài)建模，其中某些情境信息(天氣、地點類型等)不能直接獲取，但通過位置和時間信息能夠從氣象臺等網(wǎng)站或查詢工具API 間接獲取，最終得到更加精準(zhǔn)的分析結(jié)果。

2.1.3 情境-情感embedding層

上面3小節(jié)我們通過對圖像元數(shù)據(jù)進(jìn)行標(biāo)簽編碼，由于深度學(xué)習(xí)對于稀疏特征的訓(xùn)練會有收斂慢的問題，因此使用一層embedding層作為特征映射，詞向量作為embedding的代表產(chǎn)物，在NLP(自然語言處理)領(lǐng)域的很多任務(wù)大放異彩，其可以通過學(xué)習(xí)的方式得到每個詞語在低維度的向量表示形式，這是一種分布式的表示方式。后來廣泛應(yīng)用于深度學(xué)習(xí)的各個領(lǐng)域，作為神經(jīng)網(wǎng)絡(luò)的輸入映射層，在眾多應(yīng)用中能夠得到更好的分類效果[16]，其核心思想是將高維特征通過訓(xùn)練學(xué)習(xí)的方式得到低維的向量表示。通過從圖像元數(shù)據(jù)中抽取到的特征，一共組成了12種特征，相當(dāng)于自建的詞典，然后通過下面的embedding層映射到稠密低維向量，embedding層的設(shè)計如圖4所示。

圖4 嵌入層網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)圖像元數(shù)據(jù)直接和間接獲取的特征包含了用戶基本特征、用戶行為特征、上下文特征共12種特征，其形式化表示為

(1)

li表示的是特征i的one-hot編碼向量，embedding層Mi是一個Rk×h的矩陣，k表示特征i的維度，h表示特征i經(jīng)過embedding之后新的維度，得到的ei是一個h維的向量，也就是特征i新的向量表示，接下來對12種特征進(jìn)行向量拼接形成Ldense， 因為拼接方式是Concatenate，最終得到Ldense的大小是36維的向量。

因此可見，情境-情感embedding的作用在于，將原本稀疏的圖像元數(shù)據(jù)的one-hot情境特征經(jīng)過embedding的方式映射成了稠密的低維向量形式，這樣做的目的是為了神經(jīng)網(wǎng)絡(luò)訓(xùn)練更快地收斂，也提高了最終的情感分類效果。

2.2 基于CNN的視覺情感分析

卷積神經(jīng)網(wǎng)絡(luò)通過卷積核共享操作使得神經(jīng)網(wǎng)絡(luò)在圖像分類領(lǐng)域取得了前所未有的成果，其中經(jīng)典的vgg19網(wǎng)絡(luò)由3部分組成，特征提取層、自適應(yīng)池化以及最后全連接層構(gòu)成分類器，很多后續(xù)關(guān)于圖像的研究都是用在Image-Net上預(yù)訓(xùn)練的vgg19網(wǎng)絡(luò)的特征提取層，固定其參數(shù)，根據(jù)需求重新構(gòu)建然后微調(diào)全連接層參數(shù)，本文也是采取這個策略。但本文還單獨抽取conv5_1的feature map，構(gòu)建gram矩陣作為紋理特征的表示，前面研究已經(jīng)證實，紋理特征也隱藏了圖像的情感信息[3]，最終實驗也驗證了，引入gram矩陣的確對分類效果有一定提升。圖5是本文根據(jù)vgg19的基礎(chǔ)架構(gòu)改進(jìn)得到的feeling-CNN架構(gòu)圖。

圖5 feeling-CNN的網(wǎng)絡(luò)結(jié)構(gòu)

從上面的結(jié)構(gòu)可以看出，feeling-CNN包含了兩個階段，第一階段是特征提取，通過已經(jīng)在ImageNet上預(yù)訓(xùn)練的vgg19的feature extraction模塊，固定其模型參數(shù)，能夠得到feature map,該feature map代表了圖像的高層次語義特征。第二個階段是對feature map進(jìn)行兩種處理，一個是紋理特征提取模塊，通過對feature map 進(jìn)行channel-wise的矩陣運算，得到了gram矩陣，表示圖像的紋理特征，然后feature map原本就是圖像內(nèi)容特征的表示，最后通過Concatenate(向量拼接)的方式進(jìn)行內(nèi)容特征和紋理特征的融合，并且加入了融合系數(shù)進(jìn)行兩部分基本結(jié)構(gòu)CNN采用的是聯(lián)合學(xué)習(xí)的方式進(jìn)行訓(xùn)練。

第二個階段中，gram矩陣的計算由feature map通過channel-wise 維度的矩陣相乘得來，feature map的形狀為RC×H×W, 其中C表示通道數(shù)，W和H表示寬和高，C的真正含義是上一層卷積核的個數(shù)，也就是代表了C種不同的特征，先將feature map變成RC×N的形狀，于是，feature map可以重新表示成如下式所示

f=[α1,α2,α3,…,αc]

(2)

其中，αc表示的是通道c中每個神經(jīng)元組成的N維向量，其中N等于H與W的乘積，gram矩陣的表示如下式所示

(3)

其中， 〈αi,αj〉 表示向量內(nèi)積，得到的是一個標(biāo)量，根據(jù)gram矩陣的計算公式得出，gram矩陣的大小是RC×C， 而且是對稱實矩陣，G(i,j) 的含義是通道i與通道j的相關(guān)性，不同的通道代表不同的濾波方式，表示不同的特征，這里的feature map的通道數(shù)為512，為了使網(wǎng)絡(luò)訓(xùn)練收斂更加快速，對每一行的元素的值進(jìn)行softmax操作，歸一化0-1的范圍。考慮到重復(fù)的元素以及對角線的元素，對gram矩陣進(jìn)行flatten操作，將其reshape成512×512/2的向量。至此得到了關(guān)于圖像的紋理特征的向量表示方式。

對于圖像內(nèi)容特征的表示，則是直接對feature map 進(jìn)行flatten操作，類似cnn模型全連接層的作用一樣，對所有特征進(jìn)行全局的融合，得到了形狀為512×8×8長度的向量。

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)集

3.1.1 情感標(biāo)注圖片數(shù)據(jù)集

為了對本文模型和算法進(jìn)行驗證，選取Flickr社交網(wǎng)站上的照片整理的數(shù)據(jù)集作為圖像情感訓(xùn)練數(shù)據(jù)集。對于圖片情感標(biāo)注的方式有3種，一是采取搜索圖片時的情感關(guān)鍵詞作為標(biāo)注，二是人工標(biāo)注，但是人工標(biāo)注的工作量巨大，三是通過每張圖片下面的用戶評論文本分析來標(biāo)注圖片情感，Zhao等[7]已經(jīng)用第3種方式將把標(biāo)注的數(shù)據(jù)集開源出來。本文選用Image-Emotion-Social-Net(IEST)的圖像作為實驗數(shù)據(jù)集。

該數(shù)據(jù)集情感分類包括有趣(Amusement)、敬畏(Awe)、滿足(Contentment)、興奮(Excitement)、生氣(Anger)、惡心(Disgust)、恐怖(Fear)、悲傷(Sadness)8種情感類別。

3.1.2 圖像元數(shù)據(jù)獲取

本文中，圖像元數(shù)據(jù)是獲取情境信息的重要途徑，但是在社交網(wǎng)絡(luò)上越來越多的用戶隱私安全越來越重視，因此對于表2中的圖片，有很多圖片存在元數(shù)據(jù)缺失的情況，針對這一問題，我們重新對數(shù)據(jù)進(jìn)行了篩選，剔除掉沒有EXIF的圖片，各情感類別的圖片數(shù)量減少了近2/3，見表3，對于地理位置，天氣等需要通過第三方API查詢的信息，實驗中位置信息使用百度地圖開放平臺-反Geocoding，給定圖片EXIF中的經(jīng)緯度參數(shù)，天氣信息通過百度地圖開放平臺-天氣查詢獲取，如圖6所示。

表2 各情感類別圖片數(shù)量

表3 各情感類別圖片數(shù)量(with EXIF)

圖6 Flickr網(wǎng)站上圖像元數(shù)據(jù)以及 通過API查詢的位置、天氣信息

3.2 實驗設(shè)計與結(jié)果分析

3.2.1 模型參數(shù)設(shè)置

根據(jù)前面對本文模型的敘述，模型分為3個部分，情境特征的embedding，feeling-CNN對圖像內(nèi)容特征和紋理特征的提取，以及最后綜合3種特征進(jìn)行分類的情感識別網(wǎng)絡(luò)。由于整個模型包含的參數(shù)非常多，而且數(shù)據(jù)集的量還不夠大，對于深度學(xué)習(xí)的訓(xùn)練來說是很大的挑戰(zhàn)。為了解決這個問題，本文也借鑒遷移學(xué)習(xí)的思想，通過遷移圖像分類的模型參數(shù)(相似領(lǐng)域)到圖像情感分類當(dāng)中，以提高模型的泛化能力以及加快收斂速度，具體做法是通過固定vgg19在Image-Net上訓(xùn)練好的參數(shù)，去掉其全連接層，然后在情感識別網(wǎng)絡(luò)隱層中設(shè)置了1000個神經(jīng)元，以及全連接層中修改為8個神經(jīng)元，對于新的情感類別8類，并且用零均值，0.01標(biāo)準(zhǔn)差的高斯分布初始化網(wǎng)絡(luò)參數(shù)。

模型訓(xùn)練的batch選擇為32，即每一批次輸入32張圖片進(jìn)行訓(xùn)練，激活函數(shù)選用Relu，為了防止過擬合，采用dropout，dropout參數(shù)設(shè)置為0.5，使用的深度學(xué)習(xí)框架為pytorch，模型的訓(xùn)練和測試均在Google colab深度學(xué)習(xí)平臺進(jìn)行實驗，顯卡為Tesla K80內(nèi)存為11 G。

3.2.2 圖像情感分類實驗

根據(jù)本文中情感分類所使用到的特征的種類，分為來自圖像元數(shù)據(jù)的情境特征、圖像內(nèi)容特征、圖像紋理特征3種。為了驗證本文提出的融合圖像元數(shù)據(jù)對于圖像情感分類效果的有效性，分類進(jìn)行橫向和縱向的實驗進(jìn)行比較。

縱向?qū)Ρ葘嶒?，選取了不同的模型，包括低維度圖像特征+SVM分類器的方法、DeepSentiBank方法[17]，以及基于CNN的各種基本模型以及對應(yīng)的微調(diào)模型，這里選取準(zhǔn)確率作為性能指標(biāo)。通過表4可以看出本文方法對比之前模型的分類效果均有不小的提升，圖7是把分類結(jié)果通過混淆矩陣的形式可視化出來。

表4 模型分類效果對比

圖7 多類別情感分類混淆矩陣

橫向?qū)Ρ葘嶒?，針對本文使用的不同的特征組合方式進(jìn)行實驗，驗證研究的有效性。為了讓比較結(jié)果更加細(xì)致全面，這里性能指標(biāo)選取了精準(zhǔn)率、召回率、和F值，實驗結(jié)果如圖8所示。

圖8 不同特征組合的分類效果

3.2.3 結(jié)果分析

由表4可知，加入情境特征和紋理特征后比之前的方法有明顯的提升，具有更高的準(zhǔn)確率，直接使用vgg19模型進(jìn)行微調(diào)的準(zhǔn)確率是58.63%，加入拍照情境特征和圖像紋理特征后均有小幅度的提升，分別有2%和3%的提升，在圖8中，更加詳細(xì)的展示出了兩種新的特征的融合對于精準(zhǔn)率、召回率、F值的提升效果。說明圖像元數(shù)據(jù)和圖像紋理對于圖像情感分類的有效性，而且特征組合的方式比單一的特征效果也更好。由圖7可知，對于積極和消極的情感分類的類間效果較好，但是對于類內(nèi)分類，比如消極情感中的悲傷和害怕的誤分率較高，這也是情感分類中難點之一，細(xì)粒度情感分類效果也是本文后續(xù)研究之一。

4 結(jié)束語

社交網(wǎng)絡(luò)上用戶情感分析是一項具有挑戰(zhàn)的任務(wù)，本文考慮到圖像元數(shù)據(jù)中,不同情感類別情境特征分布的差異，并融合到現(xiàn)有的深度學(xué)習(xí)的圖像分析方法來增強(qiáng)情感分類效果，該方法首先遷移預(yù)訓(xùn)練的vgg19網(wǎng)絡(luò)參數(shù)構(gòu)建feeling-CNN進(jìn)行特征提取，并利用得到的feature map計算gram矩陣來表示圖像紋理特征，然后結(jié)合embedding方法將圖像元數(shù)據(jù)中的拍照情境特征融合進(jìn)來，最后將多種特征向量進(jìn)行拼接后，輸入到只含一個隱層的情感識別網(wǎng)絡(luò)進(jìn)行情感分類。最終在Image-Emotion-Social-Net(IEST)數(shù)據(jù)集上進(jìn)行實驗，實驗結(jié)果表明，本文提出的融合圖像元數(shù)據(jù)的方法可以獲得更高的情感分類準(zhǔn)確率。

該方法雖然通過增加新的特征域來更精準(zhǔn)的捕捉用戶情感信息，但同時也帶來了跨領(lǐng)域特征的問題，讓深度學(xué)習(xí)訓(xùn)練難度增大，再加上用戶隱私保護(hù)意識導(dǎo)致圖像元數(shù)據(jù)不完整，部分特征存在數(shù)據(jù)稀疏問題，影響分類效果，如何更好處理這些問題有待進(jìn)一步研究。