基于改進(jìn)的FGM-CM-BERT模型多模態(tài)情感分析方法

DOI：10.3969/j.issn.10001565.2025.02.010

摘" 要：針對(duì)語(yǔ)音文本多模態(tài)情感分析方法中泛化能力弱和特征融合效率低的問(wèn)題，提出了一種改進(jìn)的FGM-CM-BERT模型，改進(jìn)快速梯度法（FGM）以對(duì)抗訓(xùn)練提升模型泛化能力，并采用多頭注意力機(jī)制提取融合多模態(tài)特征，以提升算法準(zhǔn)確度.首先，根據(jù)多模態(tài)數(shù)據(jù)特征，通過(guò)一種基于輸入數(shù)據(jù)特征的自適應(yīng)參數(shù)調(diào)整策略來(lái)改進(jìn)FGM權(quán)重函數(shù)，在embedding層增加自適應(yīng)擾動(dòng)提升模型泛化能力；其次，在跨模態(tài)交互層提出利用多頭自注意力機(jī)制，通過(guò)將文本查詢和音頻鍵值對(duì)交叉融合，在特征融合效率與模型復(fù)雜度之間達(dá)到了較好的平衡；最后，實(shí)驗(yàn)采用CMU-MOSI和CMU-MOSEI數(shù)據(jù)集，對(duì)比了常用的15個(gè)基線模型，結(jié)果表明：該模型在七類(lèi)情緒評(píng)分分類(lèi)及二元情緒分類(lèi)的準(zhǔn)確率較基線模型均有所提升，分別達(dá)到了48.2%和87.5%，驗(yàn)證了該方法的有效性.

關(guān)鍵詞：多模態(tài)情感分析；快速梯度法；多頭注意力機(jī)制；對(duì)抗訓(xùn)練；自適應(yīng)擾動(dòng)；跨模態(tài)特征融合

中圖分類(lèi)號(hào)：TP391.1""" 文獻(xiàn)標(biāo)志碼：A""" 文章編號(hào)：10001565（2025）02019212

Multimodal sentiment analysis method based on improved FGM-CM-BERT model

LI Renzheng1， GAO Guandong2， SONG Shengzun3， XIAO Ke1

（1. College of Information Science，Hebei Agricultural University， Baoding 071001， China;

2. Department of Information Management，The National Police University for Criminal Justice， Baoding 071000，China;

3. Department of Penology， The National Police University for Criminal Justice， Baoding 071000， China）

Abstract： In response to the challenges of weak generalization ability and inefficient feature fusion in multimodal sentiment analysis methods using speech-text data， an improved FGM-CM-BERT model was proposed. The Fast Gradient Method （FGM） was enhanced for adversarial training to improve model generalization and a multi-head attention mechanism was employed to extract and fuse multimodal features for enhanced algorithm accuracy. Firstly， based on the features of multimodal data， an adaptive parameter adjustment strategy for the FGM weight function was introduced， using an input-data-based approach to enhance the models generalization ability at the embedding layer through adaptive perturbations. Secondly，

收稿日期：20241012;修回日期：20241211

基金項(xiàng)目：

國(guó)家自然科學(xué)基金資助項(xiàng)目（31801782）；河北省社會(huì)科學(xué)基金資助項(xiàng)目（HB21ZZ002）

第一作者：李仁正（1998—），男，河北農(nóng)業(yè)大學(xué)在讀碩士研究生，主要從事自然語(yǔ)言處理方向研究.E-mail：1064149655@qq.com

通信作者：高冠東（1979—），男，中央司法警官學(xué)院教授，博士，主要從事機(jī)器視覺(jué)、大數(shù)據(jù)分析技術(shù)方向研究.E-mail：gaoguandong@sina.com

情感在人類(lèi)溝通中起著重要作用［1］.情感分析作為人機(jī)交互的關(guān)鍵技術(shù)之一，影響著人工智能的發(fā)展，已經(jīng)被廣泛應(yīng)用于許多應(yīng)用場(chǎng)景，如人機(jī)對(duì)話、自動(dòng)驅(qū)動(dòng)等［2］.文本是日常生活中不可或缺的一種形式，它通過(guò)詞語(yǔ)和短語(yǔ)表達(dá)情感［3］.然而，文本模態(tài)所包含的信息是有限的，很難通過(guò)文本信息準(zhǔn)確判斷情緒.在日常生活中，文本情態(tài)往往伴隨著有聲情態(tài).多模態(tài)情感分析作為越來(lái)越廣泛的情感計(jì)算領(lǐng)域已經(jīng)引起了廣泛注意［4］.

多模態(tài)情感分析涉及多種感官或數(shù)據(jù)類(lèi)型的系統(tǒng)或任務(wù).常見(jiàn)的模態(tài)包括視頻、音頻和文本，這些模態(tài)可以單獨(dú)使用或結(jié)合在一起，以提取更豐富的信息.Geetha等［5］針對(duì)最前沿的多模態(tài)模型進(jìn)行了綜述，其中音頻模態(tài)處理音頻信號(hào)，文本模態(tài)關(guān)注預(yù)訓(xùn)練模型、跨模態(tài)融合與多模態(tài)文本分析.最前沿的一些跨模態(tài)融合中，Rasipuram等［6］提出了一種通過(guò)門(mén)控制單元（gated recurrent unit，GRU）和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（long short term memory，LSTM）結(jié)合音頻和視覺(jué)特征的雙峰方法，來(lái)預(yù)測(cè)情感維度.Miao等［7］在視頻和文本的模態(tài)中，提出了一種基于多模態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）和共同關(guān)注的端到端多輸出深度學(xué)習(xí)模型，用于美學(xué)和情感的聯(lián)合分析.Singh等［8］結(jié)合音頻和文本特征開(kāi)發(fā)了一種多模態(tài)語(yǔ)音情感識(shí)別系統(tǒng).文本和音頻的組合表現(xiàn)更好，因其語(yǔ)義信息相似，更易融合.然而，目前由于多模態(tài)數(shù)據(jù)集的混雜和有限的計(jì)算資源，會(huì)導(dǎo)致泛化能力降低的問(wèn)題［9］，并且多模態(tài)特征的融合也存在跨模態(tài)融合效率低的問(wèn)題［10］.

針對(duì)以上問(wèn)題，本文提出了一種改進(jìn)的（fast gradient method cross-modal bidirectional encoder representations from transformers， FGM-CM-BERT）模型.首先，該模型在文本數(shù)據(jù)通道BERT預(yù)訓(xùn)練階段，采用改進(jìn)的FGM對(duì)抗訓(xùn)練算法自適應(yīng)生成對(duì)詞向量的擾動(dòng)，以提升文本特征的泛化能力；然后，在文本和音頻特征融合時(shí)引入多頭注意力機(jī)制，通過(guò)預(yù)先計(jì)算文本的查詢和音頻的鍵值對(duì)以及音頻的查詢和文本的鍵值對(duì)，在不引入過(guò)多噪聲的情況下提供有意義的交叉注意力信息，進(jìn)而幫助對(duì)齊模型并找到最優(yōu)的對(duì)齊參數(shù)；最后，構(gòu)建了用于預(yù)測(cè)文本和音頻多模態(tài)數(shù)據(jù)集的情感分析模型，通過(guò)改進(jìn)的FGM算法實(shí)現(xiàn)模型更好的魯棒性和泛化性，引入多頭注意力機(jī)制來(lái)實(shí)現(xiàn)模型更高的跨模態(tài)處理效率.

1" 多模態(tài)情感分析中的預(yù)訓(xùn)練與優(yōu)化技術(shù)

1.1" 預(yù)訓(xùn)練模型

預(yù)訓(xùn)練模型在多模態(tài)情感分析中也起到了關(guān)鍵作用.Kenton等［11］提出BERT模型，采用了基于Transformer架構(gòu)的雙向多層編碼器，通過(guò)預(yù)訓(xùn)練的詞向量模型在下游NLP任務(wù)中對(duì)BERT模型進(jìn)行微調(diào)，實(shí)現(xiàn)不同語(yǔ)義環(huán)境下詞向量的動(dòng)態(tài)表示.CM-BERT模型［12］通過(guò)結(jié)合文本和音頻模態(tài)進(jìn)行預(yù)訓(xùn)練，在捕捉跨模態(tài)特征方面取得了一定的效果.CM-BERT在處理不同模態(tài)的干擾以及適應(yīng)未見(jiàn)過(guò)的數(shù)據(jù)上仍然面臨挑戰(zhàn)，其泛化能力和對(duì)噪聲的魯棒性有待提升.因此，優(yōu)化預(yù)訓(xùn)練模型，使其更好地適應(yīng)多模態(tài)數(shù)據(jù)中的復(fù)雜性和變異性，是當(dāng)前研究的重點(diǎn).

1.2" 對(duì)抗訓(xùn)練方法

對(duì)抗訓(xùn)練本質(zhì)是為了提高模型的魯棒性，Goodfellow等［13］提出了快速梯度符號(hào)法（fast gradient sign method，F(xiàn)GSM）通過(guò)計(jì)算輸入數(shù)據(jù)的梯度符號(hào)生成對(duì)抗樣本，具有生成速度快的特點(diǎn)，但其對(duì)梯度信息的利用有限，生成的樣本較為簡(jiǎn)單.為提升對(duì)抗樣本的豐富性和攻擊效果，提出了快速梯度法（fast gradient method，F(xiàn)GM）采用了更加全面的梯度歸一化方法，更加全面地利用了輸入數(shù)據(jù)的梯度信息.因此，基于其在計(jì)算效率、靈活性和資源需求方面相較其他方法的優(yōu)勢(shì)，F(xiàn)GM能夠以較低的計(jì)算開(kāi)銷(xiāo)增強(qiáng)模型的魯棒性.

1.3" 多頭注意力機(jī)制

多頭注意力（multi-head attention，MHA）能夠提高模型對(duì)輸入序列的建模能力和表達(dá)能力.Vaswani等［14］提出了Transformer模型同時(shí)提出自注意力（self-attention）機(jī)制作為模型的核心組件.自注意力機(jī)制在序列中的每個(gè)位置對(duì)其他位置進(jìn)行加權(quán)，從而實(shí)現(xiàn)全局建模.然而，自注意力機(jī)制在表達(dá)能力上仍有局限，尤其在捕捉序列中特定特征時(shí)表現(xiàn)不足.為了提高自注意力的表達(dá)能力，Vaswani等［14］將注意力機(jī)制擴(kuò)展為多頭注意力機(jī)制，通過(guò)引入多個(gè)獨(dú)立的注意力頭，分別學(xué)習(xí)不同的注意力權(quán)重，從而增加模型對(duì)不同特征的捕捉能力.因此，本研究選用多頭注意力機(jī)制，以更好地捕捉多模態(tài)情感分析中的復(fù)雜特征和跨模態(tài)關(guān)聯(lián).

2" 基于對(duì)抗訓(xùn)練和多頭注意力機(jī)制的FGM-CM-BERT模型

2.1" 模型框架及流程

為了解決模型泛化能力弱和特征融合效率低的問(wèn)題，本文提出基于多頭注意力機(jī)制的FGM-CM-BERT模型結(jié)構(gòu)，如圖1所示.

首先，在特征提取模塊提取文本和音頻數(shù)據(jù)的底層特征.在文本數(shù)據(jù)通道數(shù)據(jù)經(jīng)分詞和token embedding層映射為對(duì)應(yīng)的詞向量，采用改進(jìn)自適應(yīng)權(quán)重函數(shù)的FGM算法對(duì)詞向量進(jìn)行擾動(dòng)，生成對(duì)抗性詞向量表示，經(jīng)過(guò)與segment embedding層和position embedding層的信息結(jié)合，輸入數(shù)據(jù)被轉(zhuǎn)換為具有豐富語(yǔ)義信息的詞向量.在音頻數(shù)據(jù)通道，使用聲學(xué)分析框架（collaborative voice analysis repository， COVAREP）來(lái)提取音頻特征.

其次，在注意力機(jī)制模塊中，采用多頭注意力機(jī)制，文本的查詢（Qt）與音頻的鍵值對(duì)（KaVa）及音頻的查詢（Qa）與文本的鍵值對(duì)（KtVt）結(jié)合，實(shí)現(xiàn)跨模態(tài)特征融合.通過(guò)殘差連接保留數(shù)據(jù)原始結(jié)構(gòu)，并利用線性層和標(biāo)準(zhǔn)化層進(jìn)一步優(yōu)化特征，得到情感極性層的輸出.最后，對(duì)模型性能進(jìn)行評(píng)估，使用測(cè)試集評(píng)估多分類(lèi)或二分類(lèi)的準(zhǔn)確性、召回率、F1值等指標(biāo).

2.2" FGM算法融合模塊

傳統(tǒng)靜態(tài)的擾動(dòng)方式在一定程度上限制了FGM算法［15］的魯棒性和泛化能力.針對(duì)文本情感分析模塊訓(xùn)練模型的過(guò)程中會(huì)出現(xiàn)數(shù)據(jù)過(guò)擬合、泛化能力較差的問(wèn)題，本文提出了一種自適應(yīng)調(diào)整權(quán)重函數(shù)的FGM算法，如圖2所示.

首先，詞向量提取階段（word embedding），BERT模型輸入文本進(jìn)行分詞，并將每個(gè)詞轉(zhuǎn)換為對(duì)應(yīng)的詞向量（embedding）.其次，將改進(jìn)的FGM算法應(yīng)用于token embedding層的這些詞向量上.根據(jù)詞向量的梯度信息和每個(gè)詞向量的特征長(zhǎng)度token，自適應(yīng)添加對(duì)抗性擾動(dòng)，生成對(duì)抗性的詞向量表示.最后，經(jīng)過(guò)FGM處理后的對(duì)抗性詞向量與segment embedding層和position embedding層的編碼信息結(jié)合起來(lái)被用作BERT模型的輸入，進(jìn)行下一步的分詞處理.

改進(jìn)后的FGM算法通過(guò)輸入的token長(zhǎng)度來(lái)自適應(yīng)調(diào)整對(duì)抗性擾動(dòng)的大小，相較于原算法中基于固定權(quán)重或參數(shù)生成擾動(dòng)的靜態(tài)方式，此改進(jìn)通過(guò)設(shè)計(jì)與token長(zhǎng)度相關(guān)的約束函數(shù)，自適應(yīng)調(diào)整擾動(dòng)大小，提升了模型的泛化能力，其流程如圖3所示.

首先，獲取token的embedding表示token xi，通過(guò)BERT的token embedding層得到其對(duì)應(yīng)的embedding向量ei.其次，根據(jù)輸入token序列的長(zhǎng)度|x|計(jì)算自適應(yīng)調(diào)整后的擾動(dòng)大小1，通過(guò)函數(shù)來(lái)進(jìn)行約束

1=0×|x|max_length，（1）

其中：0是基礎(chǔ)擾動(dòng)的大小;|x|是輸入token序列的長(zhǎng)度;max_length是輸入序列的最大長(zhǎng)度，將其設(shè)置為512.

0沿著梯度方向的公式為

0=·sign（g）（2）

g=xL（x，y;θ）（3）

其中：為一常數(shù)表示擾動(dòng)程度的超參數(shù);sign（）為符號(hào)函數(shù);為梯度符號(hào);L（x，y;θ）是針對(duì)單個(gè)樣本的損失函數(shù).

由式（2）、 （3）可以得出0的添加公式

0=·g/‖g‖2.（4）

最后，對(duì)每個(gè)token的embedding應(yīng)用自適應(yīng)調(diào)整后的對(duì)抗性擾動(dòng)Δx

Δx=ei+1sign（eiL（θ，x）），（5）

其中：ei L（θ，x）是損失函數(shù)L（θ，x）對(duì)當(dāng)前token embedding ei的梯度；sign（）是取梯度的符號(hào)函數(shù)；L（θ，x）中θ表示模型的參數(shù)；x表示token序列.

改進(jìn)后的FGM算法能夠根據(jù)輸入數(shù)據(jù)的不同長(zhǎng)度動(dòng)態(tài)調(diào)整擾動(dòng)強(qiáng)度，避免了固定擾動(dòng)可能導(dǎo)致的過(guò)擬合問(wèn)題.這一改進(jìn)使得模型不僅在已見(jiàn)數(shù)據(jù)上表現(xiàn)優(yōu)異，同時(shí)在面對(duì)未見(jiàn)過(guò)的數(shù)據(jù)時(shí)也能保持較高的魯棒性.通過(guò)在embedding層引入自適應(yīng)擾動(dòng)，模型能夠更好地適應(yīng)多樣化的數(shù)據(jù)，減少對(duì)特定模態(tài)或數(shù)據(jù)類(lèi)型的依賴(lài)，從而顯著提升了整體的泛化能力.

2.3" 多頭注意力機(jī)制融合模塊

針對(duì)原模型文本特征和音頻特征跨模態(tài)的關(guān)聯(lián)性問(wèn)題［16］，本文將原有的文本和音頻特征直接輸入的交互方式更改為多頭注意力機(jī)制［14］，提高了音頻和文本特征的對(duì)齊效率，更好地解決了跨模態(tài)的關(guān)聯(lián)性問(wèn)題.

多頭注意力機(jī)制（MHA）的輸入包括查詢向量（query）、鍵向量（key）和值向量（value）.MHA通過(guò)計(jì)算查詢向量與鍵向量的相似度確定權(quán)重，并對(duì)鍵向量加權(quán)求和，結(jié)果再與值向量結(jié)合輸出.相似度的計(jì)算通常采用點(diǎn)積（dot product）或雙線性（bilinear）方法.

多頭注意力機(jī)制通過(guò)將輸入序列分成多個(gè)頭進(jìn)行獨(dú)立計(jì)算，學(xué)習(xí)多樣化和復(fù)雜特征，提升模型的表達(dá)能力.各頭的輸出最終拼接形成整體輸出.

MHA的計(jì)算可以表示為以下的公式：

MultiHead（Q，K，V）=Concat（head1，head2，…，headh）Wo，（6）

其中：Q、K、V分別表示查詢向量、鍵向量和值向量;h表示頭的數(shù)量;headi表示第i個(gè)頭的輸出;Wo是輸出變換矩陣.每個(gè)頭的輸出headi可以表示為

headi=Attention（QWQi，KWKi，VWVi）（7）

其中：WQi、WKi、WVi分別是第i個(gè)頭的查詢、鍵、值變換矩陣；Attention是注意力計(jì)算函數(shù).在MHA中，一般使用自注意力機(jī)制（Self-Attention）來(lái)計(jì)算注意力.

自注意力機(jī)制的計(jì)算可以表示為

Attention（Q，K，V）=softmaxQKTdkV，（8）

其中：dk是鍵向量的維度;T表示矩陣轉(zhuǎn)置;通過(guò)應(yīng)用softmax函數(shù)對(duì)相似度進(jìn)行歸一化，可以計(jì)算每個(gè)鍵向量的權(quán)重，并與對(duì)應(yīng)的值向量相乘，加權(quán)求和得到注意力機(jī)制的輸出.

改進(jìn)后的注意力機(jī)制模塊如圖4所示.

通過(guò)多頭注意力機(jī)制獲得的文本特征定義為Ut，音頻特征定義為Ua.文本模態(tài)的QueryQt和KeyKt定義為Qt=Kt=Ut.Query查詢向量，表示要關(guān)注或檢索的目標(biāo).Key鍵向量表示要與查詢向量進(jìn)行匹配或比較的源，基本原理是：給定一個(gè)Query，計(jì)算Query與Key的相關(guān)性.對(duì)于音頻模態(tài)的QueryQa和KeyKa被定義為Qa=Ka=Ua，將文本注意矩陣αt和音頻注意矩陣βa定義為Q和K同源且使用Relu進(jìn)行計(jì)算權(quán)重.

αt=Relu（QtKTt），（9）

βa=Relu（QaKTa），（10）

其中：Relu函數(shù)（rectified linear Unit）是一種常用的非線性激活函數(shù).為了通過(guò)文本與音頻模態(tài)的交互來(lái)調(diào)整每個(gè)詞的權(quán)重，本文對(duì)文本注意矩陣和音頻注意矩陣進(jìn)行權(quán)重加和，計(jì)算出加權(quán)融合注意矩陣.

通過(guò)加權(quán)計(jì)算出2個(gè)模態(tài)的融合表示如式（11）所示.

Wf=wt*αt+wa*βb+b，（11）

其中：wt表示每個(gè)單詞的權(quán)重;wa表示聲音的權(quán)重；b表示偏差.為了解決填充序列的問(wèn)題，引入了一個(gè)名為mask矩陣M的概念.在該矩陣中，使用0表示token的位置，而使用-∞表示填充位置（在應(yīng)用softmax函數(shù)后，填充位置的注意分?jǐn)?shù)將為0）.隨后，根據(jù)式（12），定義了多模態(tài)注意矩陣

Wm=softmax（Wf+M），（12）

其中：M為mask矩陣，是一個(gè)由0和1組成的矩陣.下面給出softmax的定義：

softmax（zi）=ezi∑Cc=1ezc，（13）

其中：Zi為第i個(gè)節(jié)點(diǎn)的輸出值；C為節(jié)點(diǎn)數(shù)目，可能輸出結(jié)果的總數(shù)（分類(lèi)類(lèi)別數(shù)），最后，將BERT得到的單詞向量進(jìn)行加權(quán).如式（14）所示.

UAtt=WmVm，（14）

其中：Vm是BERT最后一個(gè)encoder層的輸出，定義為Vm=Ut.

3" 實(shí)驗(yàn)及分析

3.1" 數(shù)據(jù)集

為了驗(yàn)證本文模型的有效性，本文采用CMU多模態(tài)意見(jiàn)級(jí)情緒強(qiáng)度（CMU-MOSI）數(shù)據(jù)集［17］進(jìn)行了實(shí)驗(yàn)評(píng)估.CMU-MOSI由來(lái)自YouTube電影評(píng)論的93個(gè)觀點(diǎn)視頻組成，涵蓋了2199個(gè)話語(yǔ).每個(gè)話語(yǔ)的標(biāo)簽由5個(gè)不同的工作者標(biāo)注，在-3到+3內(nèi)，-3表示高度否定，3表示高度肯定.在訓(xùn)練集、驗(yàn)證集和測(cè)試集中分別分割了52、10、31個(gè)視頻數(shù)據(jù)，分別對(duì)應(yīng)1 284、229和686條音頻數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換成1284、229和686條文本數(shù)據(jù).CMU-MOSEI數(shù)據(jù)集［18］在CMU-MOSI數(shù)據(jù)集的基礎(chǔ)上增加了情感維度和強(qiáng)度標(biāo)注，引入了更多模態(tài)數(shù)據(jù)、擴(kuò)展了數(shù)據(jù)覆蓋范圍.本文實(shí)驗(yàn)使用了文本類(lèi)型的數(shù)據(jù)和音頻類(lèi)型的數(shù)據(jù)如表1和表2所示.

3.2" 實(shí)驗(yàn)環(huán)境、參數(shù)設(shè)置及評(píng)價(jià)指標(biāo)

本文使用的實(shí)驗(yàn)平臺(tái)為Pycharm 2021.3.2，網(wǎng)絡(luò)模型搭建使用Python3.6、Pytorch1.3.2深度學(xué)習(xí)框架，硬件為Intel i7-12700處理器，32GB內(nèi)存，RTX3070ti顯卡.

為了提高模型的穩(wěn)定性，本文對(duì)CM-BERT模型的2個(gè)參數(shù)進(jìn)行了優(yōu)化調(diào)整.實(shí)驗(yàn)驗(yàn)證，表明設(shè)置“hidden size=1024”，“num hidden layers=24”.同時(shí)，需要將model中的BertEncoder類(lèi)中的config.num attention heads修改為config.num hidden layers，避免因模型size過(guò)大導(dǎo)致的問(wèn)題，實(shí)驗(yàn)參數(shù)設(shè)置如表3所示.

在實(shí)驗(yàn)中，使用相同的評(píng)估度量來(lái)比較本文模型和基線模型的性能表現(xiàn).情緒評(píng)分分類(lèi)任務(wù)采用7類(lèi)精度（Acch7），二元情緒分類(lèi)任務(wù)采用2類(lèi)精度（Acch2）和F1評(píng)分（F1）.回歸任務(wù)采用模型預(yù)測(cè)與真實(shí)標(biāo)簽的相關(guān)性（Corrh）和平均絕對(duì)誤差（MAEl）.在這些評(píng)估指標(biāo)中，除MAE外，各指標(biāo)值越高表示性能越優(yōu).為提高結(jié)果可靠性，實(shí)驗(yàn)隨機(jī)選擇5顆種子運(yùn)行5次，取最佳結(jié)果作為最終實(shí)驗(yàn)結(jié)果.

3.3" 實(shí)驗(yàn)結(jié)果與分析

為了與以往的多模態(tài)情感分析工作進(jìn)行比較，同時(shí)驗(yàn)證本文提出基于改進(jìn)的多頭注意力機(jī)制的FGM-CM-BERT模型的能力.基于此，選取了15種基線模型，這些模型涵蓋了從傳統(tǒng)LSTM結(jié)構(gòu)到Transformer的復(fù)雜架構(gòu)，代表了多模態(tài)情感分析的不同研究思路和技術(shù)手段.這些基線模型的選擇依據(jù)是其在文獻(xiàn)中得到廣泛認(rèn)可.本文選取的15種具有代表性的相關(guān)基線模型為：

1） EF-LSTM［19］.2） TFN［20］.3） LMF［21］.4） MFN［22］.5） MAG-BERT［23］.6） MFM［24］.7） MISA［25］.8） MulT［26］.9） ICDN［27］.10） DG-MCM［28］.11） Self-MM［29］.12） CubeMLP［30］.13） MM-SS-HDFN［31］.14） T-BERT［11］.15） CM-BERT［12］.在數(shù)據(jù)集CMU-MOSI上的實(shí)驗(yàn)結(jié)果如表4所示，其中T代表文本模態(tài)，A代表音頻模態(tài).

實(shí)驗(yàn)結(jié)果顯示：基于改進(jìn)的多頭注意力機(jī)制的FGM-CM-BERT模型在CMU-MOSI數(shù)據(jù)集上取得了一個(gè)較好的結(jié)果，并提高了所有評(píng)估指標(biāo)的性能.在二元情感分類(lèi)任務(wù)中，F(xiàn)GM-CM-BERT模型在Acch2上達(dá)到了87.5%，與基線相比提高了約3%～12.3%.與Acch2類(lèi)似，模型在F1上實(shí)現(xiàn)了0.030～0.093的提升.在情感評(píng)分分類(lèi)任務(wù)中，F(xiàn)GM-CM-BERT模型在Acch7上達(dá)到了48.2%，與基線相比提高了3.3%～14.6%.在回歸任務(wù)中，F(xiàn)GM-CM-BERT模型在MAEl上減少了大約0.036～0.331，在Corrh上提高了大約0.036～0.224.

FGM-CM-BERT模型在二元情感分類(lèi)任務(wù)和情感評(píng)分分類(lèi)任務(wù)中，相較于原模型CM-BERT有3%左右的提升，同時(shí)，相比于近2年提出的多模態(tài)情感分析模型MM-SS-HDFN，在各個(gè)方面也表現(xiàn)出明顯的優(yōu)勢(shì).這些結(jié)果表明，對(duì)抗訓(xùn)練使模型不斷提高抵御攻擊的能力，多頭注意力機(jī)制使模型更好地捕捉數(shù)據(jù)之間的關(guān)聯(lián)性和語(yǔ)義信息，從而提高情感分類(lèi)和回歸任務(wù)的準(zhǔn)確性和穩(wěn)定性.

同時(shí)，在CMU-MOSEI數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，為了方便比較，根據(jù)之前的基線模型，選擇準(zhǔn)確率排名靠前的5個(gè)模型進(jìn)行實(shí)驗(yàn)，結(jié)果如表5所示.

由表5可以看出，在CMU-MOSEI數(shù)據(jù)集上FGM-CM-BERT也有明顯提升，證明了本文方法的泛化性.

為了驗(yàn)證跨模態(tài)特征融合的效率，通過(guò)實(shí)驗(yàn)來(lái)對(duì)比模型多模態(tài)特征融合方式、參數(shù)量以及模型的推理時(shí)間，從而更全面地評(píng)估本文模型在推理效率上的優(yōu)勢(shì).實(shí)驗(yàn)結(jié)果如表6所示.

由表6可以看出，本文通過(guò)CMU-MOSEI數(shù)據(jù)集對(duì)14個(gè)多模態(tài)情感分析模型進(jìn)行了實(shí)驗(yàn)，展示了每個(gè)模型的推理時(shí)間（s/樣本）、模型參數(shù)量以及其采用的特征融合方式.因保持各模型的原始架構(gòu)以保證實(shí)驗(yàn)公平性，模型參數(shù)量有所差異，體現(xiàn)推理時(shí)間與參數(shù)量的權(quán)衡.

EF-LSTM、LMF、MFN等模型因結(jié)構(gòu)相對(duì)簡(jiǎn)單，推理時(shí)間維持在0.120～0.140 s/樣本，但這種設(shè)計(jì)限制了多模態(tài)特征融合的精度，難以充分捕捉復(fù)雜模態(tài)間的交互信息.相比之下，TFN、MFM、MISA等模型通過(guò)復(fù)雜特征融合機(jī)制，在推理時(shí)間上增加至0.140～0.150 s/樣本，計(jì)算開(kāi)銷(xiāo)相應(yīng)增加.MAG-BERT和ICDN等大型模型結(jié)合多模態(tài)融合與復(fù)雜注意力機(jī)制（如自適應(yīng)門(mén)機(jī)制和Transformer架構(gòu)），盡管顯著增強(qiáng)了多模態(tài)特征關(guān)聯(lián)性的捕捉能力，但推理時(shí)間超過(guò)0.180 s/樣本，復(fù)雜性顯著提高.

本文提出的FGM-CM-BERT模型的推理時(shí)間為0.165 s/樣本，盡管其參數(shù)量達(dá)到125×106，但

在推理效率上依然優(yōu)于一些大型模型.但相較于一些更簡(jiǎn)單的模型，其推理時(shí)間稍長(zhǎng).不過(guò)，F(xiàn)GM-CM-BERT在推理效率與模型復(fù)雜度之間達(dá)到了較好的平衡，這一效率提升得益于本文模型中

引入的多頭注意力機(jī)制和自適應(yīng)擾動(dòng)策略.首先，多頭注意力機(jī)制通過(guò)并行處理機(jī)制有效減少了跨模態(tài)特征對(duì)齊過(guò)程中的等待時(shí)間，顯著提升了特征融合的效率.其次，改

進(jìn)的FGM算法通過(guò)生成自適應(yīng)擾動(dòng)，動(dòng)態(tài)調(diào)整擾動(dòng)大小，減少了模型對(duì)特定模態(tài)或數(shù)據(jù)類(lèi)型的過(guò)擬合現(xiàn)象提高了泛化能力，從而進(jìn)一步提升了模型的推理效率.

另外，為了探究FGM-CM-BERT模型在CMU-MOSI數(shù)據(jù)集和CMU-MOSEI數(shù)據(jù)集上不同epoch對(duì)應(yīng)的loss變化，選擇5個(gè)epoch中的數(shù)據(jù)，如圖5所示.

由圖5可以看出，F(xiàn)GM-CM-BERT模型的loss值在穩(wěn)步下降，這說(shuō)明模型在訓(xùn)練過(guò)程中逐漸減少了預(yù)測(cè)值和真實(shí)值之間的差距，使模型能夠更好地?cái)M合數(shù)據(jù)的分布和特征接近最佳訓(xùn)練狀態(tài)，從而更好地應(yīng)對(duì)新數(shù)據(jù).

3.4" 消融實(shí)驗(yàn)

為了深入分析基于改進(jìn)的多頭注意力機(jī)制的FGM-CM-BERT模型中每個(gè)模塊的有效性，進(jìn)行消融實(shí)驗(yàn)，從表7可以看出本文所提模型效果最好.為了驗(yàn)證模型中每個(gè)模塊的有效性，首先對(duì)基礎(chǔ)模型CM-BERT只增加FGM模塊，使其增強(qiáng)了泛化能力，與FGM-CM-BERT模型的結(jié)果相比，Acch7下降了1.1%，Acch2下降0.8%，F(xiàn)1下降了0.8%，可以看出加入FGM模塊以后對(duì)效果有所提升但是提升不夠明顯.然后對(duì)基礎(chǔ)模型只增加MHA模塊使其更加穩(wěn)定，與FGM-CM-BERT模型的結(jié)果相比，Acch7下降了1.4%，Acch2下降1.2%，F(xiàn)1下降了1.2%，因此，模型中任意一個(gè)模塊都會(huì)降低模型的性能，充分證明了本文模型達(dá)到的一個(gè)最佳效果.

4" 結(jié)語(yǔ)

為了能提高模型情感分析的準(zhǔn)確性，本文提出了基于改進(jìn)的多頭注意力機(jī)制的FGM-CM-BERT模型.首先，在BERT微調(diào)階段embedding層改進(jìn)FGM算法，從而增強(qiáng)了模型的泛化能力，解決了原模型泛化能力差.容易受噪聲干擾的問(wèn)題.其次，改進(jìn)文本和音頻特征融合的階段的交互方式為多頭注意力機(jī)制來(lái)增強(qiáng)跨模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)性，解決了對(duì)齊效率低和關(guān)聯(lián)性弱的問(wèn)題.

通過(guò)實(shí)驗(yàn)與之前的基線相比，基于改進(jìn)的多頭注意力機(jī)制的FGM-CM-BERT模型在CMU-MOSI數(shù)據(jù)集上的性能有了顯著提高，模型的F1值提高了0.03，再次驗(yàn)證本文方法的有效性.本文提出的方法雖然達(dá)到了一定的效果，但是也有一些缺陷：使用多頭注意力機(jī)制進(jìn)行結(jié)合會(huì)增加計(jì)算成本，尤其是在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí).在多模態(tài)模型中，通常已經(jīng)存在大量的復(fù)雜計(jì)算，進(jìn)一步增加計(jì)算成本可能會(huì)導(dǎo)致訓(xùn)練時(shí)間和資源消耗的增加.下一步工作將會(huì)考慮這些不足，對(duì)模型進(jìn)行更細(xì)粒度的研究.

參" 考" 文" 獻(xiàn)：

［1］" 王穎潔，朱久祺，汪祖民，等.自然語(yǔ)言處理在文本情感分析領(lǐng)域應(yīng)用綜述［J］.計(jì)算機(jī)應(yīng)用， 2022， 42（4）： 1011-1020. DOI： 10.11772/j.issn.1001-9081.2021071262.

［2］" 徐月梅，胡玲，趙佳藝，等.大語(yǔ)言模型的技術(shù)應(yīng)用前景與風(fēng)險(xiǎn)挑戰(zhàn)［J］.計(jì)算機(jī)應(yīng)用， 2024， 40（5）： 1-10. DOI： 10.11772/j.issn.1001-9081.2023060885.

［3］" LI R N， WU Z Y， JIA J， et al. Towards discriminative representation learning for speech emotion recognition［C］//Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. August 10-16， 2019. Macao， China. California： International Joint Conferences on Artificial Intelligence Organization， 2019. DOI： 10.24963/ijcai.2019/703.

［4］" HOLLER J， LEVINSON S C. Multimodal language processing in human communication［J］. Trends Cogn Sci， 2019， 23（8）： 639-652. DOI： 10.1016/j.tics.2019.05.006.

［5］" GEETHA A V， MALA T， PRIYANKA D， et al. Multimodal Emotion Recognition with Deep Learning： Advancements， challenges， and future directions［J］. Information Fusion， 2024， 105： 102218. DOI： 10.1016/j.inffus.2023.102218.

［6］" RASIPURAM S， BHAT J H， MAITRA A. Multi-modal expression recognition in the wild using sequence modeling［C］//2020 15th IEEE International Conference on Automatic Face and Gesture Recognition （FG 2020）. Buenos Aires， Argentina. IEEE， 2020： 629-631. DOI： 10.1109/FG47880.2020.00096.

［7］" MIAO H T， ZHANG Y F， WANG D L， et al. Multi-output learning based on multimodal GCN and co-attention for image aesthetics and emotion analysis［J］. Mathematics， 2021， 9（12）： 1437. DOI： 10.3390/math9121437.

［8］" SINGH P， SRIVASTAVA R， RANA K P S， et al. A multimodal hierarchical approach to speech emotion recognition from audio and text［J］. Knowledge-Based Systems， 2021， 229： 107316. DOI： 10.1016/j.knosys.2021.107316.

［9］" ZHANG Q Y， WEI Y K， HAN Z B， et al. Multimodal fusion on low-quality data： a comprehensive survey［EB/OL］. 2024： arXiv： 2404.18947. http：//arxiv.org/abs/2404.18947

［10］" ZHANG S Q， YANG Y J， CHEN C， et al. Deep learning-based multimodal emotion recognition from audio， visual， and text modalities： a systematic review of recent advancements and future prospects［J］. Expert Systems with Applications， 2024， 237： 121692. DOI： 10.1016/j.eswa.2023.121692.

［11］" DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［EB/OL］. 2018： arXiv： 1810.04805. http：//arxiv.org/abs/1810.04805

［12］" YANG K C， XU H， GAO K. CM-BERT： cross-modal BERT for text-audio sentiment analysis［C］//Proceedings of the 28th ACM International Conference on Multimedia. Seattle WA USA. ACM， 2020. DOI： 10.1145/3394171.3413690.

［13］" GOODFELLOW I J， SHLENS J， SZEGEDY C. Explaining and harnessing adversarial examples［EB/OL］. 2014： arXiv： 1412.6572. http：//arxiv.org/abs/1412.6572

［14］" VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［EB/OL］. 2017： arXiv： 1706.03762. http：//arxiv.org/abs/1706.03762

［15］" 趙子天，詹文翰，段翰聰，等.基于SVD的深度學(xué)習(xí)模型對(duì)抗魯棒性研究［J］.計(jì)算機(jī)科學(xué)， 2023， 50（10）： 362-368. DOI： 10.11896/jsjkx.220800090.

［16］" 冼廣銘，招志鋒，陽(yáng)先平.基于注意力融合網(wǎng)絡(luò)的方面級(jí)多模態(tài)情感分類(lèi)［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用， 2024， 33（2）： 94-104. DOI： 10.15888/j.cnki.csa.009385.

［17］" ZADEH A， ZELLERS R， PINCUS E， et al. Multimodal sentiment intensity analysis in videos： facial gestures and verbal messages［J］. IEEE Intelligent Systems， 2016， 31（6）： 82-88. DOI： 10.1109/MIS.2016.94.

［18］" BAGHER ZADEH A， LIANG P P， PORIA S， et al. Multimodal language analysis in the wild： CMU-MOSEI dataset and interpretable dynamic fusion graph［C］//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Melbourne， Australia. Stroudsburg， PA， USA： Association for Computational Linguistics， 2018. DOI： 10.18653/v1/p18-1208.

［19］" ABDU S A， YOUSEF A H， SALEM A. Multimodal video sentiment analysis using deep learning approaches， a survey［J］. Information Fusion， 2021， 76： 204-226. DOI： 10.1016/j.inffus.2021.06.003.

［20］" ZADEH A， CHEN M H， PORIA S， et al. Tensor fusion network for multimodal sentiment analysis［C］//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen， Denmark. Stroudsburg， PA， USA： Association for Computational Linguistics， 2017. DOI： 10.18653/v1/d17-1115.

［21］" LIU Z， SHEN Y， LAKSHMINARASIMHAN V B， et al. Efficient low-rank multimodal fusion with modality-specific factors［C］//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Melbourne， Australia. Stroudsburg， PA， USA： Association for Computational Linguistics， 2018. DOI： 10.18653/v1/p18-1209.

［22］" ZADEH A， LIANG P P， MAZUMDER N， et al. Memory fusion network for multi-view sequential learning［C］//Proceedings of the AAAI Conference on Artificial Intelligence. 2018. DOI： 10.1609/aaai.v32i1.12021.

［23］" RAHMAN W， HASAN M K， LEE S W， et al. Integrating multimodal information in large pretrained transformers［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Online. Stroudsburg， PA， USA： Association for Computational Linguistics， 2020. DOI： 10.18653/v1/2020.acl-main.214.

［24］" TSAI Y H H， LIANG P P， ZADEH A， et al. Learning factorized multimodal representations［C］//Proceding of the 7th International Conference on Learning Representations. Appleton： ICLR， 2018： 1-20. DOI： 10.1109/ICLR.2018.0018.

［25］" HAZARIKA D， ZIMMERMANN R， PORIA S. MISA： modality-invariant and-specific representations for multimodal sentiment analysis［C］//Proceedings of the 28th ACM International Conference on Multimedia. Seattle WA USA. ACM， 2020. DOI： 10.1145/3394171.3413678.

［26］" TSAI Y H H， BAI S J， LIANG P P， et al. Multimodal transformer for unaligned multimodal language sequences［C］//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence， Italy. Stroudsburg， PA， USA： Association for Computational Linguistics， 2019. DOI： 10.18653/v1/p19-1656.

［27］" ZHANG Q A， SHI L， LIU P Y， et al. Retraction Note： ICDN： integrating consistency and difference networks by transformer for multimodal sentiment analysis［J］. Applied Intelligence， 2023， 53（16）： 19808. DOI： 10.1007/s10489-023-04869-x.

［28］" 王香，毛力，陳祺東，等.融合動(dòng)態(tài)梯度和多視圖協(xié)同注意力的情感分析［J］.計(jì)算機(jī)科學(xué)與探索， 2024， 18（5）： 1328-1338. DOI： 10.3778/j.issn.1673-9418.2301042.

［29］" YU W M， XU H， YUAN Z Q， et al. Learning modality-specific representations with self-supervised multi-task learning for multimodal sentiment analysis ［C］//Proceedings of the AAAI Conference on Artificial Intelligence. 2021. DOI： 10.1609/aaai.v35i12.17289.

［30］" SUN H， WANG H Y， LIU J Q， et al. CubeMLP： an MLP-based model for multimodal sentiment analysis and depression estimation［C］//Proceedings of the 30th ACM International Conference on Multimedia. Lisboa Portugal. ACM， 2022. DOI： 10.1145/3503161.3548025.

［31］" 丁健，楊亮，林鴻飛，等.基于多模態(tài)異質(zhì)動(dòng)態(tài)融合的情緒分析研究［J］.中文信息學(xué)報(bào)， 2022， 36（5）： 112-124. DOI： 10.3969/j.issn.1003-0077.2022.05.012.

（責(zé)任編輯：孟素蘭）