基于多模態(tài)融合的情感分析算法研究綜述

郭 續(xù)，買日旦·吾守爾，古蘭拜爾·吐爾洪

新疆大學(xué) 信息科學(xué)與工程學(xué)院，烏魯木齊 830046

情緒是人們對特定話題、人或?qū)嶓w所持有的情感體驗和反應(yīng)。情感分析可以識別多模態(tài)包含的情感信號，例如憤怒、喜悅、悲傷等。這項技術(shù)在商業(yè)和政治等領(lǐng)域中具有廣泛的應(yīng)用，比如商家若能了解消費者對其品牌或產(chǎn)品的評價，便能夠找到改進(jìn)其產(chǎn)品和服務(wù)的方向，從而提高客戶滿意度；政治家可以通過民意調(diào)查和對社交媒體上的情感進(jìn)行分析，了解選民的態(tài)度和偏好，以制定更符合公眾利益的政策。

早期的情感分析主要聚焦于文本數(shù)據(jù)，如今，在許多行業(yè)中，基于文本的情感分析已經(jīng)成為了一種常見的解決方案。它被廣泛應(yīng)用于電影票房業(yè)績預(yù)測[1]、股市業(yè)績預(yù)測[2]、選舉結(jié)果預(yù)測[3]等領(lǐng)域，但依靠文本數(shù)據(jù)是不能完全提取人類表達(dá)的所有情感，例如：模型對文本中“優(yōu)秀”一詞的分析通常是積極的，但是如果加上夸張或帶有諷刺的表情，就很可能變成消極的情緒，這時候多模態(tài)情感分析就被提出來解決這個問題。2015 年發(fā)布的一項多模態(tài)情感分析調(diào)查報告顯示，多模態(tài)系統(tǒng)始終比最好的單模態(tài)系統(tǒng)更準(zhǔn)確[4]。

近年來，在社交多媒體平臺（YouTube、Bilibili）上發(fā)布的視頻博客（Vlog）或口頭評論，包含了用戶情感的表達(dá)，例如描述用戶談?wù)摦a(chǎn)品或電影的視頻，視頻不僅提供文本信息，還提供豐富的視覺和音頻信息。如圖1給出了一個典型的多模態(tài)情感分析系統(tǒng)的總體框架，該框架可分為單模態(tài)數(shù)據(jù)處理和多模態(tài)數(shù)據(jù)融合兩部分。首先，特征提取器分別應(yīng)用于文本、視覺和聲學(xué)數(shù)據(jù)提取特征；然后將提取的特征信息轉(zhuǎn)化到融合模型中進(jìn)行情感預(yù)測，這兩個組件對整個模型的性能都很重要。僅進(jìn)行單模態(tài)情感分析會導(dǎo)致對模態(tài)內(nèi)相互作用的理解不足，從而降低多模態(tài)系統(tǒng)的性能，此外，低效率的多模態(tài)融合也會使各模態(tài)之間的相互作用得不到充分利用，從而影響多模態(tài)系統(tǒng)的穩(wěn)定性和性能提升。因此，為了提高多模態(tài)系統(tǒng)的性能和穩(wěn)定性，需要進(jìn)行充分的模態(tài)間交互分析和高效的多模態(tài)融合。

圖1 多模態(tài)情感分析系統(tǒng)總體框架Fig.1 General framework of multimodal sentiment analysis system

隨著對多模態(tài)情感分析的研究越來越多，了解該領(lǐng)域最新的研究方法變得尤為重要。在2017 年，Poria 等人[5]就提出了從單模態(tài)到多模態(tài)融合的情感計算綜述，闡述了情感分析的一些基本特征提取方法和模型框架，并對多模態(tài)情感分析的潛在性能提出了一些改進(jìn)方法。同年，Soleymani等人[6]定義了情感和多模態(tài)情感分析的問題，并總結(jié)了多模態(tài)情感分析在不同領(lǐng)域的最新進(jìn)展。雖然這些綜述論文對當(dāng)時的多模態(tài)發(fā)展進(jìn)行了全面的概述，但在過去的幾年里，有許多豐富的數(shù)據(jù)集和先進(jìn)的模型被提出，例如，該領(lǐng)域最流行的兩個數(shù)據(jù)集CMU-MOSI[7]和CMU-MOSEI[8]在這些早期的論文中并未提及，也很少提及基于注意力機制（attention）的模型。2019年，Huddar等人[9]闡述了多模態(tài)情感分析中存在的問題和挑戰(zhàn)，回顧了近年來使用多模態(tài)情感分析的一些計算方法。2021年，Gkoumas等人[10]利用CMU-MOSI和CMU-MOSEI 對11 個最先進(jìn)的模型進(jìn)行了詳細(xì)的實驗分析，作者發(fā)現(xiàn)，使用注意力機制的模型通常能獲得更好的結(jié)果。Chandrasekaran等人[11]研究了多模態(tài)情感分析在社交媒體上的應(yīng)用，并提出了大量的方法?；谝陨暇C述論文都沒有從融合方法的角度對該領(lǐng)域中存在的模型進(jìn)行詳細(xì)的描述，且近幾年少量標(biāo)注數(shù)據(jù)的少樣本場景更為常見，因此，本文的工作詳細(xì)分析了現(xiàn)有模型的融合方式，建立了五種融合方法的分類框架，并詳細(xì)介紹了近年來表現(xiàn)較好的模型算法，此外，對少樣本場景下的多模態(tài)情感分析進(jìn)行了討論。

1 多模態(tài)情感分析數(shù)據(jù)集

基于多模態(tài)的情感數(shù)據(jù)集大多都來源于社交媒體發(fā)布的視頻或根據(jù)自己的需求建立數(shù)據(jù)集。表1 總結(jié)了當(dāng)前多模態(tài)情感分析領(lǐng)域的常用數(shù)據(jù)集，并給出了數(shù)據(jù)集的名稱、數(shù)據(jù)集中所包含的語言、數(shù)據(jù)來源、數(shù)據(jù)所含模態(tài)（T 代表文本，V 代表圖像，A 代表音頻）、數(shù)據(jù)集標(biāo)注的情感標(biāo)簽以及提供了對該數(shù)據(jù)集的訪問，其中一些數(shù)據(jù)集可以直接從網(wǎng)站下載，一些數(shù)據(jù)集可以通過電子郵件聯(lián)系作者。

表1 多模態(tài)情感分析數(shù)據(jù)集Table 1 Multimodal sentiment analysis datasets

CMU-MOSI數(shù)據(jù)集[7]：該數(shù)據(jù)集是第一個用于在線視頻中情緒和主觀性分析的意見級標(biāo)注語料庫，數(shù)據(jù)集包含93個關(guān)于電影評論的視頻博客，共包含3 702個視頻片段，其中2 199 個片段為評論部分，擁有從-3 到+3的情緒標(biāo)簽。

CMU-MOSEI數(shù)據(jù)集[8]：該數(shù)據(jù)集包括來自1 000個不同演講者（57%男性、43%女性）的23 453 個注釋視頻剪輯，情感標(biāo)注從-3到+3。

CMU-MOSEAS數(shù)據(jù)集[12]：該數(shù)據(jù)集共包含4 000個獨白視頻，其中每種語言各1 000 個，涵蓋了1 645 個說話者，并且使用20 個標(biāo)簽來標(biāo)注句子，其中包括情感、主觀性和屬性等，情感標(biāo)簽的取值范圍在-3到+3之間。

ICT-MMMO數(shù)據(jù)集[13]：該數(shù)據(jù)集包括來自YouTube和ExpoTV 中的370 個關(guān)于電影評論的真實影評視頻。視頻的長度在1～3 min 之間。情緒標(biāo)簽包括強烈消極、弱消極、中性、弱積極和強烈積極5種。

CH-SIMS 數(shù)據(jù)集[14]：該數(shù)據(jù)集收集了60 個原創(chuàng)視頻，共2 281個視頻片段，每個視頻片段都有多模態(tài)注釋和3 個單模態(tài)注釋，情緒被分為消極、弱消極、中性、弱積極和積極5種。

MOUD 數(shù)據(jù)集[15]：該數(shù)據(jù)集由隨機選擇的80 個視頻組成，從每個視頻中人工選擇一個30 s 的意見片段，平均分成6個話語，共得到498個話語數(shù)據(jù)集，每個話語被標(biāo)記-1到+1之間。

IEMOCAP 數(shù)據(jù)集[16]：該數(shù)據(jù)集由大約12 小時的視聽數(shù)據(jù)組成，10 位演員（5 位男演員和5 位女演員）按照選定的情感劇本表演，也即興創(chuàng)作了一些假想的場景，旨在誘發(fā)特定類型的情緒，包括快樂、憤怒、悲傷、沮喪和中立狀態(tài)。情感標(biāo)簽共有10 個，包括憤怒、快樂、悲傷、中立等。

YouTube 數(shù)據(jù)集[17]：該數(shù)據(jù)集是在三模態(tài)情感分析任務(wù)中使用的第一個數(shù)據(jù)集，數(shù)據(jù)集共包含47個（13個積極、22 個中性和12 個消極）視頻序列，它們由不同年齡和不同種族背景的人通過英語來講述關(guān)于產(chǎn)品的觀點，每個視頻都為30 s，并被切分成3到11個話語，并賦予消極、中性和積極的情感極性。

2 特征提取

單模態(tài)特征提取是多模態(tài)情感分析系統(tǒng)的重要組成部分。在本章中，將分別介紹文本、音頻和視覺的特征提取方法，并列出了一些使用本文所提到的特征提取方法的模型，如表2所示。

表2 模型所使用的特征提取方法Table 2 Feature extraction methods used by models

2.1 文本特征提取

在文本特征提取中，常用的技術(shù)包括詞袋模型（bagof-words）、詞頻和逆向文檔頻率（TF-IDF）[28]、N-grams和詞嵌入等，這些技術(shù)都是為了將文本轉(zhuǎn)化為機器學(xué)習(xí)算法可以處理的數(shù)值特征。Mikolov等人[29]在2013年提出的Word2Vec是最常用的詞嵌入方法。

最近的研究使用GloVe[30]來提取文本特征，GloVe添加了基于統(tǒng)計的信息，這使得GloVe可以同時使用語料庫的全局信息和本地上下文特征。卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）最初是為圖像處理任務(wù)設(shè)計的，近年來它在文本特征提取中也被廣泛應(yīng)用。在文本分類任務(wù)中，經(jīng)過CNN 處理后的文本特征通常被饋送到全連接層進(jìn)行分類，由于CNN 的并行性質(zhì)，它在文本處理中具有快速和高效的計算能力。Poria等人[31]的工作證明了基于卷積神經(jīng)網(wǎng)絡(luò)的方法在提取文本特征方面非常有效，該方法為每個文本構(gòu)建包含重要特征的特征向量，該向量集合能夠表示整個文本的特征。此外，像BERT[32]這樣的大型預(yù)訓(xùn)練模型也經(jīng)常被使用，BERT 是一種基于Transformer[33]架構(gòu)的預(yù)訓(xùn)練模型，它在大量無標(biāo)注文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，然后在有標(biāo)注數(shù)據(jù)上進(jìn)行微調(diào)以適應(yīng)各種任務(wù)。相比于傳統(tǒng)的文本特征提取方法，BERT能夠更好地處理語境、多義詞和文本中的復(fù)雜關(guān)系。Munikar 等人[34]使用BERT 模型在一個大規(guī)模情感分類數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，對其進(jìn)行微調(diào)以實現(xiàn)更細(xì)粒度的情感分類。Araci等人[35]提出一種基于BERT 的FinBERT 語言模型來處理金融領(lǐng)域的任務(wù)，該模型能夠?qū)鹑陬I(lǐng)域的語言和術(shù)語進(jìn)行理解，并能夠在不同的金融任務(wù)中進(jìn)行微調(diào)。表3 總結(jié)了文本特征提取常用技術(shù)的優(yōu)點和不足之處。

表3 文本特征提取技術(shù)Table 3 Text feature extraction techniques

2.2 音頻特征提取

盡管深度神經(jīng)網(wǎng)絡(luò)在計算機視覺中被廣泛應(yīng)用于自動特征提取，但其在語音領(lǐng)域的應(yīng)用仍然存在一些挑戰(zhàn)。這是因為音頻信號具有時間序列性質(zhì)，需要對其進(jìn)行序列建模，同時需要考慮語音信號的時變性質(zhì)。因此，對于音頻信號的處理需要采用一些特殊的技術(shù)，如CNN、長短期記憶網(wǎng)絡(luò)（long short-term memory network，LSTM），雙向LSTM[36-37]和注意力機制等。目前，大多數(shù)多模態(tài)情感分析模型都使用開源庫OpenEAR[38]、openSMILE[39]、LibROSA[40]、COVAREP[41]等來提取聲學(xué)特征。其中，OpenEAR是一個基于MATLAB的開源庫，用于情感識別、情感表達(dá)和情感辨別任務(wù)。OpenEAR自動計算一組聲學(xué)特征，包括韻律、能量、聲音概率、頻譜和倒譜特征，并使用z 標(biāo)準(zhǔn)對說話人進(jìn)行標(biāo)準(zhǔn)化。openSMILE是一個用于音頻特征提取的開源庫，提取頻率為30 Hz，帶有滑動窗口。具體來說，openSMILE提取的特征由幾個低級描述符（LLD）組成，比如MFCC、音調(diào)和聲音強度以及它們的統(tǒng)計函數(shù)。LibROSA 是Python中常用的音頻分析庫，可以用于提取22 050 Hz 的聲學(xué)特征，包括MFCC、色度頻率CQT、STFT、調(diào)頻譜、功率譜、熵等。COVAREP 聲學(xué)分析框架可以用于提取聲學(xué)特征，包括12個MFCC、聲門源參數(shù)、峰值斜率參數(shù)、最大色散商（MDQ）和Liljencrants-Fant（LF）。文獻(xiàn)[42-43]指出基于音頻的情感分析對于人機交互非常重要。目前，可以提取的語音相關(guān)特征分為局部特征和全局特征兩組。Ayadi 等人[44]更傾向于使用全局特征，因為它們比其他特征具有更多的優(yōu)勢。表4 總結(jié)了音頻特征提取常用技術(shù)的優(yōu)點及不足。

表4 音頻特征提取技術(shù)Table 4 Audio feature extraction techniques

2.3 視覺特征提取

視覺特征提取技術(shù)是計算機視覺領(lǐng)域中的一項重要技術(shù)，其目的是從圖像或視頻中提取出具有代表性的特征，以便于后續(xù)的圖像處理和分析。常用的視覺特征提取技術(shù)包括尺度不變特征變換（scale-invariant feature transform，SIFT）[45]、加速穩(wěn)健特征（speeded-up robust features，SURF）、方向梯度直方圖（histogram of oriented gradients，HOG）、CNN、生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）、區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（region-based convolutional neural network，RCNN）。其中，CNN 可以自動地從圖像中學(xué)習(xí)特征表示，通過多層卷積層和池化層的組合能夠提取出具有高度語義信息的特征表示。Tran等人[46]提出了一種3D卷積神經(jīng)網(wǎng)絡(luò)（3D-CNN）學(xué)習(xí)時空特征的方法，可用于動作識別、相同動作判斷、動態(tài)場景識別等不同任務(wù)。GAN 是一種生成模型，通過訓(xùn)練生成器和判別器兩個模型的對抗學(xué)習(xí)，可以生成逼真的圖像，并從中提取出具有代表性的特征。RCNN是一種基于區(qū)域的CNN，可以在圖像中提取出具有代表性的目標(biāo)區(qū)域，并對這些區(qū)域進(jìn)行分類和檢測。此外，還有一些特征提取工具，計算機表情識別工具箱CERT[47]提供了多種視覺特征，包括面部表情、姿態(tài)、手勢等，支持多種語言和平臺。MultiComp OpenFace 2.0工具包[48]可以提取68個面部標(biāo)志、17個面部動作單元、頭部方向和眼睛凝視，其中Facet 庫能提取一組視覺特征，包括面部特征跟蹤、頭部姿勢、HOG特征等。表5總結(jié)了常用的視覺特征提取技術(shù)的優(yōu)點及不足。

表5 視覺特征提取技術(shù)Table 5 Visual feature extraction techniques

3 多模態(tài)情感分析

在多模態(tài)情感分析中，模態(tài)融合的效果會直接影響結(jié)果的準(zhǔn)確性。本章先根據(jù)不同的模態(tài)融合方式進(jìn)行歸納總結(jié)，接著討論了表現(xiàn)較好的模態(tài)融合算法，然后針對近幾年在多模態(tài)領(lǐng)域中小樣本場景進(jìn)行了簡單的介紹和討論，最后對不同算法的性能進(jìn)行了分析討論。

3.1 基于融合方法的多模態(tài)情感分析

利用有效的方法融合來自不同模態(tài)的特征信息是多模態(tài)情感分析的主要挑戰(zhàn)。在本節(jié)中，將根據(jù)其融合方法分為5大類，并詳細(xì)描述了每個方法和模型的優(yōu)點及不足。

3.1.1 特征級融合

特征級融合是指將來自不同模態(tài)（如文本、圖像、音頻等）的特征進(jìn)行組合，形成一個統(tǒng)一的特征向量，以進(jìn)行情感分析任務(wù)。在融合過程開始前，將不同模態(tài)（例如音頻、圖像和文本）中提取的特征轉(zhuǎn)換為相同的格式，將其進(jìn)行簡單的拼接，這種方式廣泛出現(xiàn)在多模態(tài)情感任務(wù)中[49]。表6總結(jié)了基于特征級融合不同方法的優(yōu)點及不足。

表6 特征級融合方法Table 6 Feature-level fusion methods

Morency 等人[17]首次提出了三模態(tài)情感分析任務(wù)，并采用自動提取多模態(tài)特征的方法進(jìn)行情感分析。他們通過自動識別話語文本中的情感線索，生成語篇特征，從視頻序列中自動提取視覺特征和音頻特征。在提取每個模態(tài)的特征后，將它們串聯(lián)在一起，并使用三模態(tài)HMM分類器來學(xué)習(xí)輸入信號的隱藏結(jié)構(gòu)。Pérez-Rosas等人[15]提出了一種基于話語級別的情感分析方法，并構(gòu)建了首個在話語層面進(jìn)行情感分析的MOUD 數(shù)據(jù)集。該方法通過構(gòu)建詞匯表和使用簡單的加權(quán)圖特征作為文本情感特征，使用OpenEAR進(jìn)行語音特征提取，使用CERT 進(jìn)行面部特征提取，隨后將其進(jìn)行特征級融合并輸入到支持向量機（support vector machine，SVM）分類器中以得到情感極性。Park 等人[50]則采用支持向量機（SVM）進(jìn)行分類，支持向量回歸進(jìn)行回歸實驗，并使用徑向基函數(shù)核作為預(yù)測模型。

Poria等人[18]在提取三模態(tài)特征后，使用兩種不同的特征選擇器來減少特征數(shù)量。一種是基于循環(huán)相關(guān)的特征子集選擇（CFS），另一種是基于主成分分析（PCA）。該特征選擇方法除了提高了模型的處理時間外，對實驗結(jié)果也有一定的改善。隨后將處理后的特征向量串聯(lián)起來，利用多核學(xué)習(xí)（MKL）算法對分類器進(jìn)行訓(xùn)練。第二年，文獻(xiàn)[51]在其工作的基礎(chǔ)上提出了卷積遞歸多核學(xué)習(xí)（CRMKL）模型，具體使用卷積RNN進(jìn)行視覺情感檢測，進(jìn)一步改善了實驗結(jié)果。

3.1.2 決策級融合

決策級融合首先對每個模態(tài)進(jìn)行情感分析，然后將單模態(tài)情感決策納入最終決策的不同機制。這種方法的優(yōu)點是，每個模式都可以使用其最適合的分類器來學(xué)習(xí)其特征。但是，由于每個模態(tài)都建立了獨立的分類器，模態(tài)間的交互往往不能有效地建模，且分類器的學(xué)習(xí)過程會變得繁瑣且耗時[5]。表7總結(jié)了決策級融合不同方法的優(yōu)點及不足。

表7 決策級融合方法Table 7 Decision-level fusion methods

Nojavanasghari 等人[52]針對這3 種模式（視覺、聽覺和文本）中的每一種訓(xùn)練了一個單峰分類器，然后對單個單峰分類器的置信度進(jìn)行平均，從而做出最終預(yù)測。Yu等人[53]利用預(yù)訓(xùn)練好的詞向量訓(xùn)練CNN進(jìn)行文本情感分析，使用DNN和廣義缺失進(jìn)行視覺情感分析，采用平均策略和權(quán)重融合最終的結(jié)果。Hussain等人[54]提出了基于加權(quán)多數(shù)投票技術(shù)的混合融合方法來完成情感分類。

由于一些數(shù)據(jù)集中注釋的內(nèi)容較少，一些人物的身份特征會對結(jié)果產(chǎn)生影響，Wang 等人[55]提出了selectadditive learning方法，該方法通過選擇性地學(xué)習(xí)個體特定的特征和共享特征，改善了多模態(tài)情感分析中的跨個體泛化性能。隨后，又在其基礎(chǔ)上提出了一個SAL-CNN模型[19]，在對CNN模型進(jìn)行充分訓(xùn)練后，利用SAL提高模型的通用性和預(yù)測情緒。

3.1.3 基于張量融合

基于張量的方法主要是通過計算單模態(tài)句子表示的張量積來得到多模態(tài)句子表示。這需要首先將輸入表示轉(zhuǎn)換為高維張量，然后將其映射回低維輸出向量空間，這是一種典型的非串聯(lián)特征融合方法。張量的強大之處在于，它能夠捕捉跨越時間、特征維度和多種形式的重要高階相互作用[56]。然而，這種方法的缺點是計算復(fù)雜度呈指數(shù)增長，并且在不同模態(tài)之間缺乏細(xì)粒度的字級交互。表8 總結(jié)了基于張量融合不同方法的優(yōu)點及不足。

表8 基于張量融合方法Table 8 Tensor fusion based methods

Zadeh 等人[20]提出了一種張量融合網(wǎng)絡(luò)（TFN）模型，通過使用張量表示和張量操作，TFN 模型能夠更好地捕捉多模態(tài)數(shù)據(jù)中的動態(tài)特性和模態(tài)間的相互關(guān)系。該模型分為三個部分：模態(tài)嵌入子網(wǎng)絡(luò)、張量融合層和情感子網(wǎng)絡(luò)。模態(tài)嵌入子網(wǎng)絡(luò)使用帶有遺忘門的LSTM網(wǎng)絡(luò)來學(xué)習(xí)與時間相關(guān)的語言表示，然后將這些表示連接到一個全連接網(wǎng)絡(luò)來獲得語言嵌入。對于聲學(xué)和視覺特征，分別使用FACET 和COVAREP 提取特征，然后經(jīng)過平均池化處理后連接到深度神經(jīng)網(wǎng)絡(luò)以獲得嵌入。在張量融合層中，對嵌入層的三個輸出向量使用三階笛卡爾積，充分結(jié)合了張量融合中的單峰、雙峰和三峰相互作用。將得到的多模態(tài)張量傳遞給一個完全連通的深度神經(jīng)網(wǎng)絡(luò)——情感推理子網(wǎng)絡(luò)，從而得到預(yù)測結(jié)果。良好的多模態(tài)時間序列通常展現(xiàn)出時間和模態(tài)之間的相關(guān)性，這種相關(guān)性可以通過低秩張量表示來捕捉[57]。為了解決將輸入轉(zhuǎn)換為張量時計算復(fù)雜度呈指數(shù)級增加的問題，Liu 等人[21]提出了一種低秩多模態(tài)融合（low-rank multimodal fusion，LMF）方法，該方法使用低秩張量進(jìn)行多模態(tài)融合，大大降低了計算復(fù)雜度。該模型與TFN相似，但將權(quán)值分解為低秩因子，減少了參數(shù)的數(shù)量。實驗結(jié)果表明，該模型在大范圍的低秩情況下具有良好的魯棒性，在訓(xùn)練和推理方面比其他張量表示方法更有效。由于存在不完美的模態(tài)、缺失的條目以及受噪聲干擾的情況，這可能會破壞這些自然相關(guān)性并導(dǎo)致高階張量表示的出現(xiàn)，為了解決此類問題，文獻(xiàn)[58]提出了一種基于張量秩最小化正則化方法的時間張量融合網(wǎng)絡(luò)（T2FN）模型。該模型可以學(xué)習(xí)多模態(tài)數(shù)據(jù)中真實關(guān)聯(lián)和潛在結(jié)構(gòu)的張量表示，并對其秩進(jìn)行有效的歸一化，T2FN 在TFN 的基礎(chǔ)上添加了時間分量，增強了捕獲高階張量表示的能力，從而提高了預(yù)測性能，此外，T2FN 還能夠適應(yīng)不完整數(shù)據(jù)，反映了其魯棒性。

3.1.4 基于上下文融合

之前的方法通常將每個話語視為一個獨立的實體，忽略了視頻中話語之間的依賴性[59]?；谡Z境的融合則考慮了語境中其他話語與目標(biāo)話語之間的聯(lián)系，從而獲得了更好的融合效果，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的模型通常用于整合上下文信息。表9 總結(jié)了基于上下文融合方法的優(yōu)點及不足。

表9 基于上下文融合方法Table 9 Contextual fusion based methods

Majumder 等人[25]提出了一種感知上下文的分層融合（CHFusion）模型，如圖2 所示，該模型使用分層結(jié)構(gòu)不斷融合多模態(tài)信息，并在每層融合后更新上下文信息。首先，通過不同的特征提取器得到3種模態(tài)話語的單模態(tài)特征，利用GRU提取語境感知的篇章特征，將包含上下文信息的單峰特征通過全連接層成對組合，融合后形成雙峰特征向量，與單峰情況一樣，GRU也用于感知上下文。最后，通過全連接層將3個雙模態(tài)融合向量組合成一個三模態(tài)融合向量，并使用GRU 來傳遞上下文信息，模型的輸出由softmax層生成。

圖2 感知上下文的分層融合模型（CHFusion）Fig.2 Hierarchical fusion model for perceptual context (CHFusion)

Poria等人[23]提出了BC-LSTM模型來捕獲相同視頻環(huán)境下話語的語境信息，如圖3為其結(jié)構(gòu)框圖。該模型首先使用不同的特征提取器提取不包含上下文信息的單峰特征，在提取單模態(tài)特征時，使用text-CNN提取文本特征，openSMILE 提取音頻特征，3D-CNN 提取視覺特征，然后將這些特征輸入到LSTM網(wǎng)絡(luò)中。

圖3 基于上下文相關(guān)的多模態(tài)話語特征的層次結(jié)構(gòu)Fig.3 Hierarchy of multimodal discourse features based on contextual relevance

為了更好地捕獲上下文信息，將常規(guī)的LSTM替換為雙向LSTM，這樣一個話語就可以從前面和后面的話語中獲得信息。最后，將得到的包含上下文信息的單峰特征串聯(lián)起來，并傳遞給類似的獨立BC-LSTM 進(jìn)行訓(xùn)練，最后輸出情感分類結(jié)果。

3.1.5 基于注意力機制

基于注意力機制的融合方法通過計算每個模態(tài)的注意力分?jǐn)?shù)來進(jìn)行加權(quán)融合。注意力分?jǐn)?shù)反映了每個模態(tài)在情感分類中的重要性。這些分?jǐn)?shù)是從每個模態(tài)的特征中計算出來的，并通過一個歸一化函數(shù)進(jìn)行標(biāo)準(zhǔn)化。在計算完注意力分?jǐn)?shù)之后，每個模態(tài)的特征向量會乘以其對應(yīng)的注意力分?jǐn)?shù)，然后將它們相加以得到融合特征向量。最后，融合特征向量被送入分類器進(jìn)行情感分類?；谧⒁饬C制的融合方法有多種變體，如多頭注意力機制、自注意力機制等。表10 總結(jié)了基于注意力機制不同方法的優(yōu)點及不足。

表10 基于注意力機制融合方法Table 10 Attention-based mechanism fusion methods

Tsai 等人[22]提出了一種名為MulT（multimodal Transformer）的多模態(tài)模型。該模型利用定向的雙向跨模態(tài)注意力機制來實現(xiàn)不同時間步長的多模態(tài)序列之間的交互，并潛在地將信息從一種模態(tài)傳遞到另一種模態(tài)。為了捕捉時間信息，模型還引入位置嵌入（positional embedding），將時間信息融入序列中。此外，還引入了跨模態(tài)Transformer模塊使不同模態(tài)之間可以通過跨模態(tài)注意力相互交互，每個模態(tài)都與其他兩個模態(tài)進(jìn)行交互，接收低級別的跨模態(tài)信息，并持續(xù)更新序列表示。最后，使用自注意力機制對具有相同目標(biāo)模態(tài)的跨模態(tài)Transformer進(jìn)行時間信息聚合，將輸入信號連接到全連接層以進(jìn)行情感或情緒的預(yù)測。受Transformer結(jié)構(gòu)和MulT[22]在多模態(tài)應(yīng)用的啟發(fā)，Zhang 等人[27]提出了一種集成一致性與差異網(wǎng)絡(luò)（integrated consistency and difference network，ICDN）的方法。該模型由多個映射注意模塊組成，以每個模態(tài)的低級特征為基礎(chǔ)進(jìn)行更深層次的模態(tài)融合。首先，ICDN使用映射轉(zhuǎn)換器（MT）將剩余兩種模式的低級特征映射到第三種模式，以彌補該模式缺失部分造成的損失。與MulT不同，MT模塊放棄了解碼器，并改進(jìn)了編碼器，以使用自我注意技術(shù)獲得更豐富的模態(tài)相關(guān)信息。其次，Transformer被用來提取模態(tài)特征，改善模態(tài)之間的長期依賴關(guān)系和對上下文信息的注意。最后，對SELF-MM[60]中的自監(jiān)督方法進(jìn)行改進(jìn)，獲取單模態(tài)情感標(biāo)簽，在多任務(wù)學(xué)習(xí)指導(dǎo)下使多模態(tài)特征最終融合。Kumar 等人[26]提出了一種改進(jìn)多模態(tài)情感分析的方法。利用自我注意捕捉長期語境和門控機制選擇性地學(xué)習(xí)交叉參與特征。當(dāng)單模態(tài)信息不足以判斷情緒時，門控函數(shù)強調(diào)交叉交互作用;當(dāng)單模態(tài)信息足以預(yù)測情緒時，門控函數(shù)對交叉模態(tài)信息的權(quán)重較低?，F(xiàn)有的方法大多將情感與情緒分開研究，沒有充分挖掘二者之間的互補知識，基于此，Hu等人[61]提出了一個多模態(tài)情感知識共享框架（UniMSE），該框架將多模態(tài)情感分析（multimodal sentiment analysis，MSA）和對話中的情緒識別（emotion recognition in conversations，ERC）任務(wù)從特征、標(biāo)簽和模型中統(tǒng)一起來，在句法和語義層面進(jìn)行模態(tài)融合，并在模態(tài)和樣本之間引入對比學(xué)習(xí)，以更好地捕捉情感和情緒之間的差異和一致性。BERT 是一種有效的預(yù)訓(xùn)練語言表示模型，以往的研究大多只對文本數(shù)據(jù)進(jìn)行了微調(diào)，但并沒有引入多模態(tài)信息來學(xué)習(xí)更好的表示，Yang等人[62]提出了跨模態(tài)的BERT（cross-modal BERT，CM-BERT），該模型依賴于文本和音頻模態(tài)的相互作用來微調(diào)預(yù)先訓(xùn)練好的BERT模型。掩蔽多模態(tài)注意作為CM-BERT 的核心單元，通過結(jié)合文本和音頻的模態(tài)信息動態(tài)調(diào)整詞的權(quán)重。由于現(xiàn)有的語音文本預(yù)訓(xùn)練方法未能挖掘?qū)υ捴械恼Z境信息來豐富話語表征，Yu等人[63]提出了語音文本對話理解的顯式跨模態(tài)對齊預(yù)訓(xùn)練模型（SPECTRA），如圖4為其結(jié)構(gòu)框圖。具體來說，考慮語音模態(tài)的時間性，設(shè)計了一種新的時間位置預(yù)測任務(wù)來捕獲語音-文本對齊。該預(yù)訓(xùn)練任務(wù)的目的是預(yù)測每個文本單詞在相應(yīng)語音波形中的開始和結(jié)束時間。此外，為了解語音對話的特點，將文本對話預(yù)訓(xùn)練的響應(yīng)選擇任務(wù)推廣到語音文本對話預(yù)訓(xùn)練場景。

圖4 SPECTRA整體框架Fig.4 SPECTRA overall framework

3.2 多模態(tài)融合相關(guān)算法

由于多模態(tài)技術(shù)的發(fā)展，也相繼出現(xiàn)了很多相關(guān)算法。在模態(tài)融合技術(shù)早期，大多數(shù)研究者使用基于機器學(xué)習(xí)的方法訓(xùn)練模態(tài)的分類器，比如SVM、Logistic 回歸以及K-近鄰分類器等，還有一些使用基于規(guī)則的方法，如平均和多數(shù)投票等。由于深度學(xué)習(xí)的發(fā)展，研究者將深度學(xué)習(xí)的方法引入到模態(tài)融合中，近年也提出了一些表現(xiàn)較好的算法。本節(jié)將對當(dāng)前表現(xiàn)較好的模型算法進(jìn)行詳細(xì)的討論。

受TFN[20]和LMF[21]的啟發(fā)，Barezi 等人[64]提出了一種基于模態(tài)的冗余減少融合（MRRF）模型，以理解和調(diào)節(jié)各模態(tài)在多模態(tài)推理任務(wù)中的相對貢獻(xiàn)，模型如圖5所示。MRRF 使用Tucker[65-66]張量分解，它允許每種模態(tài)有不同的壓縮率，使模型能夠適應(yīng)不同模態(tài)之間有用信息量的變化。該壓縮方法在信息損失最小的情況下降低了模型復(fù)雜度和參數(shù)數(shù)量，可以作為正則化器來避免過擬合。具體來說，該方法首先從輸入模態(tài)D形成一個外積張量，通過張量W將其投射到特征向量H，并將其作為輸入傳遞給神經(jīng)網(wǎng)絡(luò)，由于可訓(xùn)練投影張量W代表了大量的參數(shù)，為了減少這個參數(shù)，使用Tucker的張量分解。公式如下：

圖5 基于模態(tài)的冗余減少多模態(tài)融合圖Fig.5 Mode-based redundancy reduction multimodal fusion diagram

其中，×k算子是張量R和矩陣W的k模積。

由于話語之間存在相互依賴和聯(lián)系，Jiang等人[67]提出了基于注意的雙向門控循環(huán)單元（AT-BiGRU）模型，整體框架如圖6 所示。該模態(tài)考慮了話語之間的語境關(guān)系，并采用一種新的框架-信息增強融合AT-BiGRU（IEFAT-BiGRU）來融合每個話語的多模態(tài)特征來進(jìn)行多模態(tài)情感分析，IEFAT-BiGRU的架構(gòu)如圖7所示。具體來說，3 種模態(tài)的數(shù)據(jù)通過CT-BiLSTM 得到了文本、音頻和視覺的上下文相關(guān)的單模態(tài)特征，并且它們都具有相同的維數(shù)，隨后計算多模態(tài)信息增強融合特征Z，為了考慮周圍話語對目標(biāo)話語的影響，利用AT-BiGRU模型來放大與目標(biāo)話語高度相關(guān)的語境信息，隨后送入softmax 進(jìn)行情感分類。通過實驗可以得出，該框架在CMU-MOSI 和IEMOCAP 兩種不同的基準(zhǔn)數(shù)據(jù)集上分別獲得了82.85%和65.77%的精度。多模態(tài)信息增強融合特征Z計算公式如下：

圖6 AT-BiGRU整體框架Fig.6 AT-BiGRU overall framework

圖7 IEFAT-BiGRU架構(gòu)Fig.7 IEFAT-BiGRU architecture

其中，Za代表音頻特征，Zv代表視覺特征，Zt代表文本特征。在實驗中，Za、Zv、Zt的值被設(shè)置為[1，10]之間的整數(shù)。

Ghosal 等人[24]提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的多模態(tài)多話語-雙模態(tài)注意框架（MMMU-BA），如圖8 為其結(jié)構(gòu)框圖。首先將文本，視覺和音頻輸入3個獨立的雙向門控循環(huán)單元（Bi-GRU），通過一個全連接層對輸出應(yīng)用多模態(tài)注意，接著采用了一種雙模態(tài)注意框架，其中注意函數(shù)被應(yīng)用到兩兩形式表征（T+V，T+A，V+A），最后，將兩兩注意的輸出與表示形式連接并傳遞到softmax 層進(jìn)行分類。具體來說，在兩兩模態(tài)的表示計算上，先計算一對匹配矩陣M1和M2，接著使用softmax函數(shù)計算雙模態(tài)注意矩陣M1和M2每個話語的概率分?jǐn)?shù)N1(i,j)和N2(i,j)，其實是計算了語境話語的注意權(quán)重，隨后在多模態(tài)多話語注意矩陣上應(yīng)用軟注意力來計算模態(tài)上的注意表示O1、O2，接著在每個模態(tài)和其他模態(tài)的多模態(tài)話語特征表征之間計算一個乘法門控函數(shù)A1、A2，最后將注意矩陣A1和A2串聯(lián)起來得到V和T之間的MMMU-BAVT，以同樣的方法計算MMMU-BATA和MMMU-BAAV，MMMU-BAVT的計算方式如下。

圖8 多模態(tài)多話語-雙模態(tài)注意框架Fig.8 Multimodal multidiscourse-bimodal attention framework

3.3 基于小樣本場景下的多模態(tài)情感分析

近年來，對于某些應(yīng)用程序來說，收集足夠的訓(xùn)練樣本通常很昂貴或很困難，許多深度學(xué)習(xí)模型在使用大量標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練時表現(xiàn)良好，但有限的數(shù)據(jù)可能會降低深度學(xué)習(xí)模型的能力。小樣本學(xué)習(xí)的核心思想是創(chuàng)建合成任務(wù)來模擬只給出少量標(biāo)記數(shù)據(jù)的場景，并利用元學(xué)習(xí)等算法對模型進(jìn)行訓(xùn)練以避免過擬合。MAML[68]和Reptile[69]是基于梯度的方法，它們將元學(xué)習(xí)器設(shè)計成一個優(yōu)化器，可以在給定新例子的幾個優(yōu)化步驟內(nèi)學(xué)習(xí)更新模型參數(shù)。另一種方法使用度量學(xué)習(xí)方法優(yōu)化輸入數(shù)據(jù)的特征嵌入，如ProtoNet[70]、關(guān)系型網(wǎng)絡(luò)[71]、匹配網(wǎng)絡(luò)[72]和DeepEMD[73]。一些研究使用基于圖的方法解決小樣本問題，對于每個任務(wù)，它們將實例設(shè)置為節(jié)點，并將實例之間的關(guān)系設(shè)置為邊。然后，基于圖的方法GNN、TPN[74]和DPGN[75]通過遞歸聚合和轉(zhuǎn)換相鄰節(jié)點來細(xì)化節(jié)點表示。MetaOptNet[76]提倡使用線性分類器，它可以優(yōu)化為凸學(xué)習(xí)問題，而不是最近鄰方法。LEO[77]利用編碼器-解碼器架構(gòu)來挖掘潛在的生成表示，并在極低數(shù)據(jù)狀態(tài)下預(yù)測高維參數(shù)。

由于先前的模型不能很好地處理低資源情緒，特別是看不見的情緒，因此，Dai等人[78]提出了一個帶有情感嵌入的模態(tài)可轉(zhuǎn)移模型來解決上述問題，該模型如圖9所示。首先，使用預(yù)先訓(xùn)練好的詞嵌入來表示文本數(shù)據(jù)的情感類別。然后，學(xué)習(xí)兩個映射函數(shù)，將這些嵌入轉(zhuǎn)換為視覺和聽覺空間。對于每個模式，該模型計算輸入序列和目標(biāo)情緒之間的表示距離，并根據(jù)距離進(jìn)行預(yù)測。這樣模型可以直接適應(yīng)任何模態(tài)中看不到的情緒，因為我們有它們預(yù)先訓(xùn)練好的嵌入和模態(tài)映射功能。實驗表明，在零樣本和小樣本場景下，該模型優(yōu)于先前的基線。具體來說，該模型由三部分組成：模態(tài)內(nèi)編碼器網(wǎng)絡(luò)、模態(tài)映射模塊和多模態(tài)融合模塊。在模態(tài)內(nèi)編碼器網(wǎng)絡(luò)中，每一種模態(tài)都使用雙向長短期記憶作為編碼器來處理序列并得到向量表示，在模態(tài)映射中，使用情感詞嵌入來將情感的語義信息注入到模型中，對于文本模態(tài)，使用預(yù)先訓(xùn)練好的GloVe 嵌入K個情感詞，對于另外兩種模式，由于沒有現(xiàn)成的預(yù)訓(xùn)練好的情感嵌入，該模型學(xué)習(xí)了兩個映射函數(shù)，將文本空間的向量投射到聲學(xué)Ea和視覺空間Ev，在模態(tài)融合階段，計算每個模態(tài)的序列表示和情緒嵌入之間的相似度得分、，并融合模態(tài)進(jìn)行加權(quán)求和所有向量。計算公式如下：

圖9 基于情感嵌入的模態(tài)可轉(zhuǎn)移模型Fig.9 Modal transferable model based on emotional embedding

由于文本提示忽略了來自其他形式的信息，Yang等人[79]提出了多模態(tài)概率融合提示用于小樣本場景下的圖文情感檢測，為多模態(tài)情感檢測提供了多樣化的線索，模型的結(jié)構(gòu)如圖10 所示。作者首先設(shè)計了一個統(tǒng)一的多模態(tài)提示，以減少不同模態(tài)提示的差異，為了提高模型的穩(wěn)健性，在每個輸入中利用了多個不同的提示。具體來說，首先分別為不同的模式設(shè)計提示，對于文本模態(tài)，在LM-BF[80]的推動下，使用預(yù)先訓(xùn)練的T5模型[81]，該模型能夠為數(shù)據(jù)集自動生成多個文本模板，接著，對生成的模板進(jìn)行排序，并選擇top-Nt 模板作為候選文本提示，對于圖像模態(tài)，為了緩解不同模態(tài)之間的差距，通過ClipCap[82]生成圖像的文本描述C，并將其作為圖像提示符，接著利用NF-ResNet[83]提取原始圖像表示并將其投影到文本特征空間中，接著，設(shè)計多個多模式提示Pm，最后將多模態(tài)分類任務(wù)看作完形填空問題，接著在給出多個提示的情況下進(jìn)行多模態(tài)情感檢測，最后，基于概率融合不同n個多模態(tài)提示中獲得標(biāo)簽l的融合分布。計算公式如下所示：

圖10 多模態(tài)概率融合提示（MultiPoint）模型Fig.10 Multimodal probabilistic fusion prompts（MultiPoint）model

其中，I代表圖像，Ni是超參數(shù)，表示多模態(tài)提示符中初始圖像表示的槽數(shù)，dt表示文本嵌入預(yù)訓(xùn)練語言模型的維數(shù)；T為原始文本序列，“It was”為文本提示符。

在研究多模態(tài)情感分析時，小樣本場景與數(shù)據(jù)量充足場景中存在著一些共性及差異性。首先，在共性方面主要體現(xiàn)在特征提取、遷移學(xué)習(xí)及模型選擇和調(diào)優(yōu)上。在小樣本場景和數(shù)據(jù)量充足場景下，都需要設(shè)計有效的特征提取方法來捕捉多模態(tài)數(shù)據(jù)中的情感信息，這對于數(shù)據(jù)量較少的小樣本場景變得更為重要；其次，在小樣本場景和數(shù)據(jù)量充足場景下都使用遷移學(xué)習(xí)作為一種常用策略，其能夠幫助提高模型的性能和泛化能力；選擇適合的模型架構(gòu)和算法，并對模型進(jìn)行合適的調(diào)優(yōu)對小樣本場景和數(shù)據(jù)量充足情況下都起著至關(guān)重要的作用。小樣本場景與數(shù)據(jù)量充足場景下同樣也存在著一些差異性，結(jié)果如表11 所示。這些共性和差異性揭示了在小樣本場景和數(shù)據(jù)量充足場景下研究多模態(tài)情感分析時的關(guān)鍵考慮因素。研究者應(yīng)根據(jù)具體情況選擇適當(dāng)?shù)姆椒ê筒呗詠砜朔?shù)據(jù)量限制，并提高情感分析的性能和泛化能力。

表11 小樣本場景和數(shù)據(jù)量充足場景下的差異性Table 11 Differences between few-shot scenarios and scenarios with sufficient data volume

3.4 不同算法實驗分析對比

本節(jié)將前文中對視頻信息進(jìn)行情感分析所提到的算法進(jìn)行對比研究，對比結(jié)果如表12 所示。表中的評價指標(biāo)都為accuracy，表中的模態(tài)信息A、V、T分別代表Audio、Video、Text。

表12 MOSI數(shù)據(jù)集上不同算法accuracy比較Table 12 Comparison of different algorithm accuracy on MOSI dataset 單位：%

通過表12可以看出，在進(jìn)行單模態(tài)情感分析時，文本要高于視覺和音頻，此外，在進(jìn)行雙模態(tài)情感分析時，T+V 和T+A 相比于V+A 有更好的表現(xiàn)，說明在進(jìn)行情感分析時，文本信息是非常重要的線索。基于上下文融合的方法要高于基于張量融合的方法，說明對話語之間的上下文相關(guān)性建模可以改善分類，同時，IEFAT-BIGRU在同種類別中準(zhǔn)確率最高，證明了引入AT-BiGRU模型可以進(jìn)一步放大與目標(biāo)話語高度相關(guān)的語境信息?？梢钥闯?，基于注意力機制的融合方法在所提出的融合方法中表現(xiàn)出了優(yōu)異的結(jié)果，其中MMMU-BA 使用雙模態(tài)組合（即雙模態(tài)注意框架）的注意計算比單模態(tài)組合的自我注意計算更有效。Gated mechanism for attention使用注意力機制以及門控單元選擇性地學(xué)習(xí)不同模式之間的噪聲魯棒交互和利用視頻中出現(xiàn)的長期上下文依賴關(guān)系并使用自我注意對提高性能是有幫助的。CM-BERT 和SPECTRA 都使用了預(yù)訓(xùn)練語言模型來作為文本編碼器，并結(jié)合音頻數(shù)據(jù)進(jìn)行多模態(tài)融合，在MOSI 數(shù)據(jù)集上表現(xiàn)出了非常優(yōu)異的準(zhǔn)確率，說明在文本特征提取中，使用預(yù)訓(xùn)練語言模型能夠提取出更加豐富的情感信息，同時也說明文本和音頻形態(tài)之間的互動可以提供更加全面的信息，捕捉更多的情感特征。SPECTRA 在以往的文本-音頻預(yù)訓(xùn)練語言模型的基礎(chǔ)上考慮了對話中的語境信息，并在MOSI數(shù)據(jù)集上進(jìn)一步提高了準(zhǔn)確率，說明語境信息對于提高準(zhǔn)確率是有幫助的。UniMSE 將多模態(tài)情感分析（MSA）和對話中的情緒識別（ERC）任務(wù)從特征、標(biāo)簽和模型中統(tǒng)一起來并表現(xiàn)出了較為優(yōu)異的準(zhǔn)確率，說明在多模態(tài)情感分析中，捕捉情感和情緒之間的差異和一致性對其性能是有提升的。通過上述分析，使用兩種或兩種以上模態(tài)進(jìn)行情感分析時能得到最佳的效果，并且在多種模態(tài)進(jìn)行交互時，考慮上下文和語境信息，使用預(yù)訓(xùn)練語言模型作為文本編碼器以及利用注意力機制對提升性能是非常重要的。

4 多模態(tài)情感分析的應(yīng)用

通過自動化的情感分析，可以以低成本和高效率的方式獲取客戶的情感反饋，有助于改善產(chǎn)品的設(shè)計和提高用戶滿意度。如圖11列出了多模態(tài)情感分析的各種應(yīng)用。

圖11 多模態(tài)情感分析應(yīng)用Fig.11 Multimodal sentiment analysis applications

4.1 商業(yè)分析

多模態(tài)情感分析在商業(yè)智能領(lǐng)域有著廣泛的應(yīng)用，尤其在分析顧客對產(chǎn)品或品牌的評價方面最為典型。這些研究不僅為產(chǎn)品的生產(chǎn)者提供了參考意見，還讓消費者能夠準(zhǔn)確評估所購商品的質(zhì)量，做出更理性的購買決策[84]。比如，企業(yè)可以利用多模態(tài)情感分析了解客戶的需求并對產(chǎn)品不斷改進(jìn)，同時也能制定創(chuàng)新的營銷策略[85]。

4.2 預(yù)測和趨勢分析

情感分析可以被用來追蹤民意，并且可以幫助預(yù)測市場的一些情景。舉例來說，通過分析電影評論，可以預(yù)測電影的票房表現(xiàn)。Apala 等人[86]使用Weka 中的KMeans 聚類工具，對Twitter、YouTube 和IMDB 電影數(shù)據(jù)庫中的電影進(jìn)行票房預(yù)測。

4.3 推薦系統(tǒng)

許多應(yīng)用程序會根據(jù)用戶的歷史搜索體驗來提供相應(yīng)的推薦服務(wù)。例如，淘寶使用推薦系統(tǒng)在主頁上向客戶推薦相關(guān)產(chǎn)品，YouTube使用自動播放的方式推薦相關(guān)視頻。Dang 等人[87]提出將情感分析引入推薦系統(tǒng)可以顯著提高推薦質(zhì)量，特別是在數(shù)據(jù)稀疏的情況下。

4.4 多媒體情感分析

多媒體情感分析是情感分析領(lǐng)域的一個新興分支。Ellis等人[88]構(gòu)建了一個多模態(tài)情感分析系統(tǒng)，可以自動分析廣播視頻新聞并生成電視節(jié)目摘要，多模態(tài)情感分析技術(shù)還可以用于識別具有政治說服力的內(nèi)容。

4.5 人機交互

人機交互領(lǐng)域通過分析用戶的語音、面部表情、手勢等多種模態(tài)的情感，可以提高人機交互的效率和準(zhǔn)確性。例如，在智能客服領(lǐng)域，可以使用多模態(tài)情感分析來更好地理解用戶的需求和情感狀態(tài)，從而提供更加個性化和優(yōu)質(zhì)的服務(wù)。另外，在虛擬現(xiàn)實和增強現(xiàn)實等領(lǐng)域，多模態(tài)情感分析也可以提高用戶體驗和交互效果。

5 多模態(tài)情感分析的挑戰(zhàn)

在進(jìn)行多模態(tài)情感分析時，需要確定哪個模式的信息更具有分量，并且需要減少異質(zhì)輸入數(shù)據(jù)之間的噪聲。為了達(dá)到這個目的，需要設(shè)計更好的融合方法和融合模型，以提高多模態(tài)情感分析的準(zhǔn)確性和效率。除此之外，在多模態(tài)情感分析領(lǐng)域還有一些其他的挑戰(zhàn)，本章將介紹這些挑戰(zhàn)，如圖12所示。

圖12 多模態(tài)情感分析挑戰(zhàn)Fig.12 Multimodal sentiment analysis challenges

5.1 領(lǐng)域依賴性

將一個在特定領(lǐng)域訓(xùn)練好的模型遷移到其他不同領(lǐng)域時，通常會出現(xiàn)性能顯著下降的情況。例如，采用一個在產(chǎn)品評論中培訓(xùn)過的情感分析模型來分析微博中蘊含的情感。針對這一問題，基于提示學(xué)習(xí)的方法是一個值得研究的方向。Mao 等人[89]對基于提示學(xué)習(xí)的情感分析進(jìn)行了系統(tǒng)的實證研究，以考察PLMs對情感計算的偏向程度。

5.2 比喻性語言

在多模態(tài)情感分析領(lǐng)域，歧義、反諷和隱喻等比喻性語言的分析一直是一項具有挑戰(zhàn)性的任務(wù)，例如，表面上贊揚一個產(chǎn)品的評論可能是為了表達(dá)消極的情緒，但傳統(tǒng)的情感分析方法卻認(rèn)為它們是積極的。人們已經(jīng)提出了一些方法來檢測文本中的反語[90-91]，但是這個問題還沒有完全解決。許多因素會影響反諷的理解，如語氣、情境、背景信息以及流行語等，而這些幽默因素是機器難以理解的。Poria等人[92]的研究表明，將聲音和面部表情結(jié)合到多模態(tài)情感分析中，可以提高識別諷刺評論的成功率。

5.3 數(shù)據(jù)集質(zhì)量

社交媒體是一個十分豐富的數(shù)據(jù)倉庫，為本文研究提供了大量的數(shù)據(jù)。然而，所收集的數(shù)據(jù)集在質(zhì)量和領(lǐng)域上各不相同，有些數(shù)據(jù)僅供互聯(lián)網(wǎng)上特定人群或特定領(lǐng)域使用。為了提高數(shù)據(jù)集的質(zhì)量和可用性，Grosman等人[93]提出了一種新的基于Web的文本標(biāo)注工具ERAS。該工具不僅實現(xiàn)了主流標(biāo)注系統(tǒng)的主要功能，而且還集成了隨機文檔選擇、重新標(biāo)注階段、預(yù)熱標(biāo)注等一系列機制來提高標(biāo)注過程和標(biāo)注數(shù)據(jù)集本身的質(zhì)量。

5.4 口語

口語是一個具有挑戰(zhàn)性的任務(wù)，因為口語充滿了口音、語速變化等語音信號的差異，并且常常帶有語氣和音調(diào)，甚至包含口頭禪、縮略語、方言等非正式的語言形式，例如“我覺得…嗯…是的…好”，這些特點都使得口語情感分析變得更加困難。Zhang等人[94]提出了一種深度強化學(xué)習(xí)機制來選擇有效的情感相關(guān)詞，并對每個模態(tài)去除無效詞。

5.5 計算成本

為了獲得更高的精度和更好的結(jié)果，需要增加數(shù)據(jù)集的大小，并設(shè)計更高效的模型[84]。一方面，訓(xùn)練具有巨大語料庫的模型需要高端GPU設(shè)備，另一方面，高復(fù)雜度的模型很難適應(yīng)某些特定場景。傳統(tǒng)的SVM 和NB 模型計算量不大，但其結(jié)果并不理想，相反，現(xiàn)在流行的神經(jīng)網(wǎng)絡(luò)和注意力模型在計算上很昂貴。Han 等人[95]提出了一種結(jié)合分層注意力機制和前饋神經(jīng)網(wǎng)絡(luò)來檢測抑郁個體的新型編碼器，它使用的訓(xùn)練參數(shù)比傳統(tǒng)編碼器更少。

5.6 情感強度和原因

同一種情感可能具有不同的強度水平，舉例來說，可以觀察以下幾句話：“我好喜歡今天的天氣?！薄拔艺J(rèn)為這部電影真好看?！薄拔蚁矚g現(xiàn)在的生活。”這3句話都被標(biāo)記為表達(dá)了“快樂”情緒。但在這3種表述中，快樂的強度是不同的，這樣的細(xì)微差別對于深入理解文本的情感內(nèi)容非常重要。考慮到情緒產(chǎn)生的原因可以提高對文本或語音中正確情緒的準(zhǔn)確性。舉個例子：“我太高興了！因為下雨了！”在這種情況下，系統(tǒng)能夠檢測到他快樂的原因是下雨。通過關(guān)注情緒產(chǎn)生的原因，可以更深入地理解情感表達(dá)背后的動機和情境。

5.7 低資源語言

低資源語言指的是語言資源稀缺的語言類型，為了克服資源匱乏的問題，可以采用半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)等方法從零開始構(gòu)建語言資源[96]，這些方法可以利用少量標(biāo)注數(shù)據(jù)和大量未標(biāo)注數(shù)據(jù)來提高模型性能。

6 結(jié)語

本文綜述了近年來多模態(tài)情感分析領(lǐng)域的研究進(jìn)展，討論了該領(lǐng)域中最流行的數(shù)據(jù)集和特征提取方法，并重點分析了基于不同融合方法的框架和特點，對主流的模型算法進(jìn)行了詳細(xì)說明，并對當(dāng)前小樣本場景中多模態(tài)情感分析所用的方法進(jìn)行了討論，對不同方法的實驗結(jié)果進(jìn)行了分析討論，最后介紹了多模態(tài)情感分析的應(yīng)用和現(xiàn)有方法面臨的挑戰(zhàn)。該綜述表明，多模態(tài)情感分析利用互補信息渠道進(jìn)行情感分析，通常優(yōu)于單模態(tài)方法，它還有潛力增強目前受益于單模態(tài)情感分析的其他工具，如實體識別和主觀性分析。希望這一綜述將鼓勵這一跨學(xué)科領(lǐng)域的進(jìn)一步發(fā)展。

在未來的工作中，一個值得探索的領(lǐng)域是理解對話中的情緒，在談話中，一個人表達(dá)的情緒會影響到其他人。相關(guān)研究表明，話語語境有助于理解人類語言，如果多模態(tài)系統(tǒng)能夠模擬人類的情感依賴，則多模態(tài)情感研究將取得重大進(jìn)展。利用多模態(tài)和多語言特征進(jìn)行情感分析，可以進(jìn)一步支持跨學(xué)科研究，這些研究可以影響從商業(yè)到政治、教育到醫(yī)療保健領(lǐng)域的技術(shù)進(jìn)步。