基于多視圖關(guān)注網(wǎng)絡(luò)的圖文多模態(tài)情感分析模型

摘" 要： 針對(duì)現(xiàn)有多模態(tài)情感分類模型無(wú)法全面、準(zhǔn)確地捕獲復(fù)雜的情感信息，以及融合過(guò)程中沒(méi)有充分挖掘兩者之間的潛在關(guān)聯(lián)，導(dǎo)致模型結(jié)構(gòu)冗余復(fù)雜、計(jì)算效率低下的問(wèn)題，提出一種多視圖關(guān)注網(wǎng)絡(luò)（MPF?Net）模型。該模型通過(guò)引入多維感知特征捕獲機(jī)制，全面而精確地獲取圖像和文本中蘊(yùn)含的情感信息；其次，采用增強(qiáng)的記憶互動(dòng)學(xué)習(xí)機(jī)制，使模型能夠更加有效地提取和融合單模態(tài)特征，并在多輪迭代中不斷更新和優(yōu)化這些特征，從而捕捉到更深層次的情感細(xì)節(jié)；再構(gòu)建一個(gè)高級(jí)深度學(xué)習(xí)框架，該框架采用生成對(duì)抗網(wǎng)絡(luò)（GAN）與池化技術(shù)的深度融合單元，以實(shí)現(xiàn)復(fù)雜數(shù)據(jù)特征的高效提取與整合；最后，在保留原有特征信息的基礎(chǔ)上進(jìn)行特征整合，同時(shí)通過(guò)降維技術(shù)降低模型的復(fù)雜性，提高計(jì)算效率。在公開數(shù)據(jù)集MVSA?Single和MVSA?Multiple以及自建數(shù)據(jù)集上通過(guò)實(shí)驗(yàn)驗(yàn)證所提模型的準(zhǔn)確性，結(jié)果表明，與多個(gè)基線模型對(duì)比，所提模型的準(zhǔn)確率和F1值均有所提高。

關(guān)鍵詞： 多模態(tài)情感分析； 對(duì)抗學(xué)習(xí)； 多視圖網(wǎng)絡(luò)； 生成對(duì)抗網(wǎng)絡(luò)； 文本特征提??； 特征融合

中圖分類號(hào)： TN911.25?34； TP391.1" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " 文章編號(hào)： 1004?373X（2024）12?0157?08

A graphic text multimodal sentiment analysis model based on multiview

attention network

CONG Zihan1， ZHANG Sijia1， 2， 3

（1. Liaoning Provincial Key Laboratory of Marine Information Technology， College of Information Engineering， Dalian Ocean University， Dalian 116023， China;

2. MOE Key Laboratory of Environment Controlled Aquaculture， Dalian Ocean University， Dalian 116023， China;

3. Dalian Key Laboratory of Smart Fisheries， Dalian 116023， China）

Abstract： In allusion to the problems that the existing multimodal emotion classification models cannot comprehensively and accurately capture the complex emotion information as well as the fusion process does not fully explore the potential correlation between the two， which leads to the redundant and complex model structure and computational inefficiency， a multi?view concern network （MPF?Net） model is proposed. In this model， multidimensional perceptual feature capture mechanism is introduced to comprehensively and accurately acquire the emotional information embedded in images and texts. An enhanced memory?interactive learning mechanism is employed to make the model effectively extract and fuse single modal features， and continuously update and optimize these features in multiple iterations， thereby capturing deeper emotional details. An advanced deep learning framework is constructed， which can employ a deep fusion unit of generative adversarial network （GAN） and pooling techniques for efficient extraction and integration of complex data features. The feature integration is performed on the basis of retaining the original feature information， while the complexity of the model is reduced and the computational efficiency is improved by means of the dimensionality reduction techniques. The accuracy of the proposed model was verified by experiments on public datasets MVSA?Single， MVSA?Multiple， and self?built datasets. The results show that， in comparison with multiple baseline models， the accuracy and F1 value of the proposed model is improved.

Keywords： multi?modal sentiment analysis; adversarial learning; multi?view network; generating adversarial networks; text feature extraction; feature fusion

0" 引" 言

多模態(tài)情感分析是一項(xiàng)前沿且高效的技術(shù)，通過(guò)整合不同來(lái)源的信息和視角，深入挖掘文本數(shù)據(jù)中的情感傾向，從而提供更全面和準(zhǔn)確的情感識(shí)別服務(wù)。隨著互聯(lián)網(wǎng)和數(shù)字媒體的快速發(fā)展，每天都會(huì)產(chǎn)生大量包含豐富情感色彩和用戶觀點(diǎn)的數(shù)據(jù)，因此，如何準(zhǔn)確地從這些龐大的數(shù)據(jù)中抽取和分析情感傾向成為了自然語(yǔ)言處理領(lǐng)域的一個(gè)重要研究方向。

傳統(tǒng)的情感分析方法往往依賴于手工制定的規(guī)則或是簡(jiǎn)單的機(jī)器學(xué)習(xí)模型，這在處理復(fù)雜、多樣的語(yǔ)言表達(dá)時(shí)顯得力不從心[1?2]。深度學(xué)習(xí)技術(shù)的崛起為處理這一問(wèn)題提供了新的思路[3?4]，特別是注意力機(jī)制（Attention Mechanism）的引入，使得模型能夠關(guān)注到文本中重要的情感信息，顯著提高了情感分析的準(zhǔn)確性[5?6]。在此基礎(chǔ)上，多視圖關(guān)注網(wǎng)絡(luò)應(yīng)運(yùn)而生。多視圖學(xué)習(xí)（Multi?View Learning）是一種集成學(xué)習(xí)策略，通過(guò)融合來(lái)自不同視角的信息來(lái)構(gòu)建更具有魯棒性的模型。這種方法認(rèn)為，不同的特征或信息源可以提供數(shù)據(jù)的不同“視圖”，通過(guò)整合這些“視圖”，模型可以獲得一個(gè)更全面的數(shù)據(jù)表示[7?8]。

多視圖學(xué)習(xí)逐漸被應(yīng)用于情感分析任務(wù)中。J. Pennington等人提出了一種基于圖像標(biāo)題的分層語(yǔ)義關(guān)注網(wǎng)絡(luò)模型（HSAN）[9]。I. Sutskever等使用具有視覺(jué)和文本特征的一致回歸模型來(lái)訓(xùn)練最終情感分類器的模型[10]。D. Kingma等利用具有注意力機(jī)制的基于樹的RNN進(jìn)行圖像文本情感分析，在多模態(tài)情感分類中，圖像對(duì)應(yīng)的標(biāo)題被用作信息中的附加信息[11]。Lai等人將圖像情感與文本情感相結(jié)合，構(gòu)建了多模態(tài)情感分析深度神經(jīng)網(wǎng)絡(luò)[12]。Liu等人提出一種了跨模態(tài)一致性回歸（CCR）[13]。Xu等人提出一種MultiSentiNet模型，提取圖像的深層語(yǔ)義特征用于訓(xùn)練文本[14]。Zhang等人提出了一種深度多模態(tài)注意力融合模型（DMAF），該模型使用多種注意力機(jī)制和混合融合方法進(jìn)行圖像?文本情感分析，構(gòu)建了一個(gè)大規(guī)模的圖像?文本多模態(tài)模型[15]。

多視圖網(wǎng)絡(luò)為情感分類提供了一個(gè)強(qiáng)大而靈活的框架，但也存在著如視圖構(gòu)建的主觀性、計(jì)算復(fù)雜度高等挑戰(zhàn)。未來(lái)的研究需要在多個(gè)方向上進(jìn)行深入，包括設(shè)計(jì)更高效的網(wǎng)絡(luò)結(jié)構(gòu)、探索更多樣化的視圖組合方式，以及將模型應(yīng)用于更廣泛的語(yǔ)言和領(lǐng)域等[16]。多視圖模型的性能高度依賴于可用數(shù)據(jù)的質(zhì)量和數(shù)量，在數(shù)據(jù)有限或者數(shù)據(jù)質(zhì)量低下的情況下，模型可能無(wú)法形成有效的視圖表示，導(dǎo)致性能下降。其次，融合策略也具有復(fù)雜性，確定如何有效地融合來(lái)自不同視圖的信息是一個(gè)挑戰(zhàn)，過(guò)于簡(jiǎn)單的融合策略可能無(wú)法捕捉視圖之間的復(fù)雜關(guān)系，而過(guò)于復(fù)雜的策略可能導(dǎo)致過(guò)擬合，特別是在數(shù)據(jù)稀缺的情況下。為此，本文提出一種多視圖關(guān)注網(wǎng)絡(luò)（MPF?Net）模型來(lái)解決這一問(wèn)題。

1" 多視圖關(guān)注網(wǎng)絡(luò)模型（MPF?Net）

首先對(duì)圖文結(jié)合的多模態(tài)情感分類問(wèn)題進(jìn)行了定義，然后描述了用于多模態(tài)情感分類的多視圖關(guān)注網(wǎng)絡(luò)（MPF?Net）模型的構(gòu)成框架，包括模態(tài)特征同化模塊、交互式深度探索模塊和融合特征綜合模塊三個(gè)；最后給出了算法模型。

1.1" 圖文多模態(tài)情感分類任務(wù)定義

在多模態(tài)情感預(yù)測(cè)問(wèn)題中，需要處理的是來(lái)自兩種不同模態(tài)的數(shù)據(jù)，即文本[T]和圖像[M]。本文定義樣本空間[T]為文本數(shù)據(jù)的集合，一個(gè)實(shí)例[x]可以表示為一個(gè)包含文本和圖像的組合，即[x=（t，m）]。其中[t∈T]代表一段文字，[m∈M]代表對(duì)應(yīng)的的圖像。每個(gè)實(shí)例[x]都與一個(gè)特定的情感標(biāo)簽[y]相關(guān)聯(lián)，這個(gè)情感標(biāo)簽描述了實(shí)例的情緒傾向，如正面、負(fù)面或中性。因此，每個(gè)實(shí)例都是一個(gè)三元組[（t，m，y）]，包括文本、圖像及其情感標(biāo)簽。

本文的目標(biāo)是構(gòu)建一個(gè)模型[f]，該模型能夠預(yù)測(cè)給定文本和圖像組合的情感標(biāo)簽。[f：T×M→Y]，其中[Y]是情感標(biāo)簽的集合。[f（t，m）]公式如下：

[f（t，m）=g（hT（t），hM（m））] " " " " "（1）

式中：[hT（t）]和[hM（m）]分別是從文本T和圖像M提取的特征向量；[g（·）]是一個(gè)融合函數(shù)，它將文本和圖像的特征向量合并，以產(chǎn)生最終的情感預(yù)測(cè)。這種形式的模型結(jié)構(gòu)允許分別處理每種模態(tài)的數(shù)據(jù)，然后通過(guò)一個(gè)合適的機(jī)制將它們結(jié)合起來(lái)，以進(jìn)行情感分類。

1.2" MPF?Net模型構(gòu)建

為了挖掘文本和圖像信息的互補(bǔ)性，本文提出一種基于多視圖關(guān)注網(wǎng)絡(luò)模型（MPF?Net），用以對(duì)文本與圖像間的相互作用進(jìn)行深入建模。如圖1所示，多視圖關(guān)注網(wǎng)絡(luò)模型主要包括三個(gè)階段：模態(tài)特征同化階段、交互式深度探索階段以及融合特征綜合階段。

1.2.1" 模態(tài)特征同化階段

對(duì)于文本數(shù)據(jù)，首先將一個(gè)預(yù)訓(xùn)練的BERT模型應(yīng)用于Twitter數(shù)據(jù)集，以獲取詞嵌入。詞嵌入的公式如下：

[E=Wt+Wp+Ws] （2）

式中：[E]為最終的嵌入向量，它將作為Transformer的輸入；[Wt]為詞匯嵌入向量，來(lái)自于詞標(biāo)記的預(yù)訓(xùn)練詞匯表；[Wp]為位置嵌入向量，根據(jù)詞在序列中的位置生成；[Ws]為段嵌入向量，用于區(qū)分不同句子或文本片段的詞標(biāo)記。

文本特征和文本信息對(duì)于情感分類是相對(duì)存在的，本文使用CNN和BiLSTM來(lái)捕獲文本的相關(guān)信息。采用最大池化獲取最顯著的局部特征，公式如下：

[FiCNN=FCNN（Ei;θct）] （3）

式中：[FCNN]表示[CNN]操作，包括卷積和最大池化操作；[θct]為CNN參數(shù)。通過(guò)BiLSTM得到文本的上下文特征表示，公式如下：

[HiR=fBiEi，θBit，" Hi∈RlT×d] （4）

式中：[Hi=hi0，hi1，hi2，…，hij，…，hid-1]，表示BiLSTM的輸出；[θBit]是BiLSTM的參數(shù)，在BiLSTM中有[d2]個(gè)隱藏單元。文本特征提取的流程如圖2所示。

文本特征[FiT=ti0，ti1，ti2，…，tij，…，tiT-1]公式如下：

[FiT=fconcatFiCNN，Hi，" FiT∈RlT×DT] （5）

式中DT為所連接文本特征的維數(shù)。

圖像中的物體和場(chǎng)景往往能夠反映和嵌入特定的情感，例如：向日葵通常與積極、快樂(lè)的情感相關(guān)聯(lián)，而火焰則可能象征消極和憤怒。同樣，圖像所描繪的場(chǎng)景也能傳達(dá)情感，如婚禮場(chǎng)景通常表達(dá)積極和幸福的感覺(jué)，而垃圾堆積的海灘則可能引發(fā)消極和悲傷的情感。因此，為了捕捉圖像中的情感信息，需要從對(duì)象和場(chǎng)景兩個(gè)角度提取特征。圖像情感特征的提取過(guò)程如圖3所示。

不同感知渠道的信息經(jīng)過(guò)融合處理后的最終結(jié)果為[Ffinal]，公式如下：

[Ffinal=G（T（ε（Image，Wenc），Wtrans），Wcls）] （6）

式中：[Image]代表輸入的圖像集合；[ε]是一個(gè)編碼函數(shù)，用于從圖像中提取特征；[Wenc]代表該編碼器的權(quán)重，例如，這可以是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）；[T（·）]是特征變換函數(shù)，它進(jìn)一步處理編碼后的特征，以提高其表達(dá)能力；[Wtrans]是這一變換步驟的權(quán)重，這個(gè)步驟可以是一系列的卷積層、池化層或者注意力機(jī)制等；[G（·）]是最終的分類或回歸函數(shù)；用于變換后的特征映射到預(yù)測(cè)標(biāo)簽或值上，其權(quán)重為[Wcls]。

1.2.2" 交互式深度探索階段

記憶網(wǎng)絡(luò)的交互式學(xué)習(xí)模塊主要探索文本與圖像之間的輔助信息，以提高多模態(tài)情緒分析的質(zhì)量。該模塊通過(guò)使用下一個(gè)多跳存儲(chǔ)系統(tǒng)，利用原始存儲(chǔ)矩陣迭代查詢圖像和文本特征，以探索文本和圖像之間的關(guān)系。增強(qiáng)記憶互動(dòng)學(xué)習(xí)網(wǎng)絡(luò)分為三個(gè)部分：文本和圖像的一般對(duì)抗記憶部分、文本引導(dǎo)圖像對(duì)抗記憶網(wǎng)絡(luò)部分和圖像引導(dǎo)文本對(duì)抗記憶網(wǎng)絡(luò)部分。

增強(qiáng)記憶互動(dòng)學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)圖如圖4所示。

對(duì)于文本，采用高維堆疊來(lái)自BiLSTM和CNN的文本特征作為外部存儲(chǔ)器，然后將[T]和查詢向量[qt]輸入到文本中記憶網(wǎng)絡(luò)。首先通過(guò)單層感知器對(duì)每個(gè)文本字符串進(jìn)行文本處理，得到一個(gè)隱藏的表示：

[g1j=tanhw1Texttj+b1Text] （7）

然后，使用Softmax函數(shù)計(jì)算注意力文本向量的權(quán)重：

[α1j=expg1jTqti=0lT-1expg1iTqt] （8）

最后，得到一個(gè)加權(quán)文本向量，公式如下：

[v1Text=j=0lT-1α1jtj] （9）

將提取的圖像特征堆疊到外部圖像特征內(nèi)存矩陣X，再將X和[qt]圖像對(duì)象查詢向量輸入到圖像記憶網(wǎng)絡(luò)。對(duì)于每個(gè)圖像，通過(guò)單層感知器獲得圖像一個(gè)隱藏的表示：

[x1j=tanhw1xmj∥mj′+b1x] （10）

然后，使用Softmax函數(shù)計(jì)算注意力圖像特征的權(quán)重：

[β1j∥β1j′=expx1jTqxk=0lV-1expx1kTqx] （11）

最后得到加權(quán)圖像特征：

[v1x=j=0lV-1β1j∥β1j′mj∥mj′] （12）

式中：[v1x]表示面向視圖的加權(quán)特征，包括面向?qū)ο蠛兔嫦驁?chǎng)景特性。

1.2.3" 特征融合

采用中間融合方法，通過(guò)生成對(duì)抗網(wǎng)絡(luò)與池化技術(shù)的深度融合單元來(lái)融合多模態(tài)特征，具體過(guò)程如圖5所示。

通過(guò)最小化目標(biāo)函數(shù)來(lái)訓(xùn)練生成器（G）和判別器（D）。生成器的目標(biāo)是生成逼真的數(shù)據(jù)，而判別器的目標(biāo)是區(qū)分真實(shí)數(shù)據(jù)和生成的數(shù)據(jù)，公式如下：

[minGmaxDV（D，G）=Ex～Pdata（x）[logD（x）]+" " " " " " " " " " " " " " " " " " " " Ez～Pz（z）[log（1-D（G（z）））]] （13）

式中：[Pdata]為真實(shí)數(shù)據(jù)的分布；[Pz]為生成器輸入噪聲的部分；[x]為真實(shí)數(shù)據(jù)樣本；[z]表示噪聲樣本；[D（?）]為判別器網(wǎng)絡(luò)；[G（?）]為生成器網(wǎng)絡(luò)。

使用深層池化聚合來(lái)自不同層的特征，多層特征表示為[F（l）Ll=1]，其中[F（l）]是第[l]層的特征。深層池化公式如下：

[FPool=Pool（F（l）Ll=1）] （14）

式中[Pool]為池化操作。

使用對(duì)抗訓(xùn)練提取具有魯棒性的特征，并通過(guò)深層池化來(lái)融合這些特征。特征融合公式如下：

[minG，DmaxVV（V，D，G）=Ex～Pdata（x）[logV（x，G（z））]+Ez～Pz（z）[log（1-V（x，D（FPool）））]] （15）

式中[V（?）]為特征融合網(wǎng)絡(luò)。

在這個(gè)過(guò)程中，生成器（G）致力于產(chǎn)生與真實(shí)數(shù)據(jù)分布相似的樣本，而判別器（D）則嘗試區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)。這種對(duì)抗性訓(xùn)練可以增強(qiáng)特征的表達(dá)能力，使得特征在面對(duì)各種變換時(shí)仍能保持穩(wěn)定性。同時(shí)，深層池化技術(shù)通過(guò)在多層網(wǎng)絡(luò)中聚合特征，捕捉更加全局的信息，有助于減少過(guò)擬合的風(fēng)險(xiǎn)。

特征融合的目標(biāo)是將這些經(jīng)過(guò)對(duì)抗性訓(xùn)練的特征與深層池化得到的特征進(jìn)行有效結(jié)合，這樣不僅能夠保留局部的詳細(xì)信息，還能夠獲得全局的上下文信息。在實(shí)際應(yīng)用中，可以通過(guò)設(shè)計(jì)一個(gè)特征融合網(wǎng)絡(luò)（V）來(lái)實(shí)現(xiàn)，該網(wǎng)絡(luò)學(xué)習(xí)如何將不同來(lái)源的特征進(jìn)行最優(yōu)組合，以提高最終任務(wù)的性能，無(wú)論是分類、回歸還是其他任務(wù)?？梢詷?gòu)建一個(gè)更加強(qiáng)大和靈活的深度學(xué)習(xí)系統(tǒng)，從而能夠更好地適應(yīng)各種復(fù)雜和多變的數(shù)據(jù)環(huán)境。特征融合不僅提高了模型的性能，也提供了更深層次的數(shù)據(jù)理解，為未來(lái)的研究和應(yīng)用開辟了新的可能性。

2" 實(shí)" 驗(yàn)

2.1" 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

進(jìn)行多模態(tài)情感分類任務(wù)是為了從社交媒體圖像?文本數(shù)據(jù)中獲取有價(jià)值的信息。在實(shí)驗(yàn)中，本文采用2個(gè)公開數(shù)據(jù)集和1個(gè)自建數(shù)據(jù)集：MVSA?Single數(shù)據(jù)集、MVSA?Multiple數(shù)據(jù)集和self?data自建數(shù)據(jù)集。如表1所示，self?data原始數(shù)據(jù)集非常龐大，而且類別分布嚴(yán)重不平衡，因此使用隨機(jī)下采樣來(lái)解決數(shù)據(jù)不平衡問(wèn)題。

2.2" 實(shí)驗(yàn)參數(shù)與評(píng)價(jià)指標(biāo)

在本研究中，將數(shù)據(jù)集按8∶1∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。MVSA?Single的批大小為32，MVSA?Multiple的批大小為128，自建數(shù)據(jù)集的批大小為512。二維運(yùn)算卷積核為1，并進(jìn)行池化。在實(shí)驗(yàn)中使用的指標(biāo)是準(zhǔn)確率和F1值。

2.3" 實(shí)驗(yàn)結(jié)果與分析

將本文提出的MPF?Net模型與基線模型進(jìn)行比較。為了突出多模態(tài)特征融合的優(yōu)勢(shì)，先對(duì)單模態(tài)情感分類方法進(jìn)行了評(píng)估，結(jié)果如表2所示。

表1實(shí)驗(yàn)結(jié)果表明，本文模型在準(zhǔn)確性和F1值方面優(yōu)于其他模型。該模型通過(guò)增強(qiáng)的記憶互動(dòng)學(xué)習(xí)機(jī)制提取到了更為深層次的情感細(xì)節(jié)，在此基礎(chǔ)上，通過(guò)使用生成對(duì)抗網(wǎng)絡(luò)（GAN）與池化技術(shù)的深度融合單元融合多模態(tài)特征，從而改進(jìn)了多模態(tài)情感分類的準(zhǔn)確性。

為了驗(yàn)證本文方法的有效性，設(shè)計(jì)消融實(shí)驗(yàn)，結(jié)果如表3所示。其中，EMI為對(duì)抗互動(dòng)學(xué)習(xí)模塊，GDF為深度融合模塊。實(shí)驗(yàn)結(jié)果表明，與其他模型相比，MPF?Net的準(zhǔn)確率和F1值均取得了最好的效果，證明了本文方法在多模態(tài)情感分類任務(wù)中的有效性。

本文對(duì)HOP超參數(shù)也進(jìn)行了實(shí)驗(yàn)，不同的HOP設(shè)置如圖6所示。由圖6可知，當(dāng)HOP=3時(shí)，在MVSA數(shù)據(jù)集和self?data數(shù)據(jù)集上的準(zhǔn)確率和F1值都達(dá)到最優(yōu)。因此，對(duì)于本文之前所做的實(shí)驗(yàn)，HOP參數(shù)均取為3。

3" 結(jié)" 論

本文針對(duì)現(xiàn)有多模態(tài)情感分類模型無(wú)法全面準(zhǔn)確地捕獲復(fù)雜的情感信息，以及融合過(guò)程中沒(méi)有充分挖掘兩者之間的潛在關(guān)聯(lián)，導(dǎo)致模型結(jié)構(gòu)冗余復(fù)雜，計(jì)算效率低下的問(wèn)題，提出一種基于多視圖關(guān)注網(wǎng)絡(luò)的多模態(tài)情感分類模型。利用圖像的不同視圖（即對(duì)象視圖和場(chǎng)景視圖）有效地捕獲多模態(tài)情感分類任務(wù)所需信息；再利用生成對(duì)抗網(wǎng)絡(luò)（GAN）與池化技術(shù)的深度融合單元融合特征，有效地保留來(lái)自不同模態(tài)的原始特征信息，提高模型的計(jì)算效率，提升情感分析的準(zhǔn)確率。最后，在公開數(shù)據(jù)集上驗(yàn)證了該方法的有效性。

對(duì)于未來(lái)交互式學(xué)習(xí)的研究，將考慮場(chǎng)景引導(dǎo)的對(duì)象以及對(duì)象引導(dǎo)的場(chǎng)景對(duì)多模態(tài)情感所造成的影響。

注：本文通訊作者為張思佳。

參考文獻(xiàn)

[1] ZHANG Z， WANG P. Sentiment analysis using hierarchical deep learning models： a survey [J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2023，13（2）： e1789.

[2] WANG C， ZHANG Z， LI Y. Sentiment analysis using transfer learning： a survey [J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2023， 13（1）： e98.

[3] LIANG Y， ZHANG Z， LI X. Comparative study of deep learning algorithms for sentiment analysis in social media [J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2022， 12（5）： e3174.

[4] DEVLIN J， CHANG M W， LEE K， et al. BERT： pre?training of deep bidirectional transformers for language understanding [EB/OL]. [2024?01?12]. https：//www.xueshufan.com/publication/2896457183.

[5] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need [C]// Advances in Neural Information Processing Systems. Cambridge， MA， MIT Press， 2017： 5998?6008.

[6] XU P， BARBOSA L， WANG X. Multi?view attention networks for visual question answering [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： AAAI， 2019： 8448?8455.

[7] XU A， LIU Z， GUO Y， et al. A new chatbot for customer service on social media [C]// Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. [S.l.]： ACM， 2018： 3506?3510.

[8] YANG Z， YANG D， DYER C， et al. Hierarchical attention networks for document classification [C]// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Montreal： ACM， 2016： 1480?1489.

[9] PENNINGTON J， SOCHER R， MVANNING C D. GloVe： Global vectors for word representation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. [S.l.]： IEEE， 2014： 1532?1543.

[10] SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks [C]// Advances in Neural Information Processing Systems. Cambridge， MA： MIT Press， 2017： 3104?3112.

[11] KINGMA D， BA J. Adam： a method for stochastic optimiz?ation [EB/OL]. [2024?02?17]. http：//de.arxiv.org/pdf/1412.6980.

[12] LAI S， XU L， LIU K， et al. Recurrent convolutional neural networks for text classification [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： ACM， 2015： 2267?2273.

[13] LIU P， QIU X， HUANG X. Recurrent neural network for text classification with multi?task learning [C]// Proceedings of the International Joint Conference on Artificial Intelligence. Hyderabad， India： AAAI， 2016： 2873?2879.

[14] XU N， MAO W. Multisentinet： a deep semantic network for multimodal sentiment analysis [C]// Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. Singapore： ACM， 2017： 2399?2402.

[15] ZHANG X， ZHAO J， LECUN Y. Character?level convolutional networks for text classification [C]// Advances in Neural Information Processing Systems. Cambridge， MA： MIT Press， 2017： 649?657.

[16] ZHAO J， WANG T， YATSKAR M， et al. Men also like shopping： Reducing gender bias amplification using corpus?level constraints [C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen， Denmark： EMNLP， 2017： 2979?2989.

[17] MULYO B M， WIDYANTORO D H. Aspect?based sentiment analysis approach with CNN [C]// 2018 5th International Conference on Electrical Engineering， Computer Science and Informatics. [S.l.]： IEEE， 2018： 142?147.

[18] VIDYABHARATHI D， MOHANRAJ V. Hyperparameter tuning for deep neural networks based optimization algorithm [J]. Intelligent automation amp; soft computing， 2023， 36（3）： 21?28.

[19] LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification [J]. Proceeding of the AAAl conference on artificial intelligence， 2015， 29（1）： 2267?2273.

[20] SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington： ACM， 2016： 2818?2826.

[21] XU N. Analyzing multimodal public sentiment based on hierarchical semantic attentional network [C]// 2017 IEEE International Conference on Intelligence and Security Informatics （ISI）. [S.l.]： IEEE， 2017： 152?154.

[22] XU N， MAO W. Multisentine T： a deep semantic network for multimodal sentiment analysis [C]// Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. [S.l.]： ACM， 2017： 2399?2402.

[23] XU N， MAO W， CHEN G. A co?memory network for multimodal sentiment analysis [C]// the 41st International ACM SIGIR Conference on Research amp; Development in Information Retrieval. [S.l.]： ACM， 2018： 929?932.