基于模態(tài)交互學(xué)習(xí)的屬性級情感分析

張紹武，崔席郡，伊博樂，楊亮

（大連理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024）

0 引言

情感分析是利用自然語言處理、文本分析、計算語言學(xué)和生物統(tǒng)計學(xué)來系統(tǒng)地識別、提取、量化和研究人類的情感狀態(tài)和主觀信息的窗口。人們在互聯(lián)網(wǎng)上發(fā)布的帶有情感特征的信息以指數(shù)級增長，情感分析系統(tǒng)廣泛應(yīng)用于幾乎所有商業(yè)和社會領(lǐng)域。意見是大多數(shù)人類活動的核心，是我們行為的關(guān)鍵影響因素，而我們的思想與對現(xiàn)實的感知以及我們所做的選擇，在很大程度上受制于他人對世界的看法和評價［1］。因此，情感分析對研究個人與社會發(fā)展非常重要。

其中，面向文本的情感分析可以分為三個層面，即文檔層面、句子層面和屬性層面［2］。文檔層面的情感分析中假設(shè)整個文檔中只包含一個主題。這很明顯在很多情況下是不合理的。通常的情況為一個句子將會包含多個主題（即屬性），在同一個句子中，這些主題表達(dá)的情感可能是相反的。屬性級情感分析的目的是判斷討論每個主題所表達(dá)的情感極性，在此之上利用評論/推文提供的更多信息進(jìn)行更詳細(xì)的分析。

基于文本的情感分析模型已經(jīng)在近幾年得到了較大的發(fā)展并趨近成熟，且互聯(lián)網(wǎng)上大部分的信息往往是文本與其他媒介（即模態(tài)）共存的。模態(tài)交互的情感分析依賴一種以上模態(tài)（如文本和圖像）獲得的信息進(jìn)行分析［3］。模態(tài)交互學(xué)習(xí)即在文本模態(tài)的基礎(chǔ)上，引入其他模態(tài)的信息，對多個模態(tài)進(jìn)行交互學(xué)習(xí)。對文獻(xiàn)的調(diào)查顯示，與文本情感分析相比，模態(tài)交互的情感分析能使得計算機能夠以更加全面而立體的方式分析人類的情感，也使情感分析進(jìn)入到了全新的領(lǐng)域。

以圖像-文本雙模態(tài)為例，模態(tài)本身為信息的渠道，來自多個源的數(shù)據(jù)大部分在語義上是相關(guān)的，互補的［4］。在擁有圖片信息的基礎(chǔ)上，對文字中情感的判別將起到更加積極的作用，如給出文本：“My ［mother］ is looking at the kitchen VS My ［father］ is looking at the kitchen.”我們很難從文本中分別判斷屬性詞“mother”和“father”的情感極性，而若以圖片信息加以輔助，如圖1 所示，則很容易得到他們正確的情感極性，即“mother”的情感極性為Negative，“father”的情感極性為Positive。而基于另一模態(tài)能得到的信息遠(yuǎn)不止于此，它能發(fā)現(xiàn)單一模態(tài)無法發(fā)現(xiàn)的更多屬性關(guān)系。因此，模態(tài)交互的屬性級情感分析也正在成為一個值得深入研究的子課題，得到國內(nèi)外研究者的廣泛關(guān)注［5］。

圖1 模態(tài)交互的屬性級情感分析用例Fig.1 An example of modality interaction aspect-based sentiment analysis

目前模態(tài)交互任務(wù)所存在的問題在于：

（1）引入圖像模態(tài)可能會引入一些噪聲，如一些與文本模態(tài)無關(guān)的圖片信息，可能會導(dǎo)致模型性能的下降。

（2）圖文模態(tài)之間的交互如何進(jìn)行，如何更好地讓模型將圖像模態(tài)中的信息引入到文本模態(tài)之中。

基于以上問題，本文基于目前先進(jìn)的方法首先對文字、圖像雙模態(tài)分別使用BERT，ResNet 預(yù)訓(xùn)練模型進(jìn)行特征提取工作，在關(guān)系提取模型決定文本與圖像模態(tài)融合方法的前提下，使用Self-Attention 機制與跨模態(tài)Attention機制得到文本與圖像模態(tài)之間的關(guān)系概率值并將其應(yīng)用于屬性詞提取、情感極性分類兩個下游任務(wù)中。本文在Twitter15 和Twitter17 兩個數(shù)據(jù)集上對模型進(jìn)行了測試，得到了較為理想的實驗結(jié)果。

1 相關(guān)工作

多模態(tài)屬性級情感分析是多模態(tài)情感分析中一項重要的、細(xì)化的任務(wù)［6］。以前的研究通常將社交媒體中的多模態(tài)屬性級情感分析視為兩個獨立的子任務(wù)——屬性詞提取和屬性級情感分類。首先，屬性詞提取旨在從自由文本及其附帶的圖像中檢測出所有潛在的一組屬性詞。其次，屬性級情感分類的目的是對特定屬性的情感極性進(jìn)行分類。

對于多模態(tài)屬性詞提取任務(wù)，Ma 等［7］，Karamanolakis 等［8］提出了序列標(biāo)記的方法。在實體識別的相關(guān)研究基礎(chǔ)上，Moon 等［9］在RNN 上提出了ResNet 模型進(jìn)行屬性詞提取，并利用圖像模態(tài)的信息來增強文本模態(tài)的表示。在此之后Yu 等［10］在Transformer 上建立了模型，為了捕捉模態(tài)內(nèi)的動態(tài)，Yu 等利用一種有效的Attention 機制來生成屬性詞敏感的文本表示法，然后將它們與文本特征聚合并對圖像模態(tài)進(jìn)行了視覺環(huán)境的噪音清洗，在此基礎(chǔ)上進(jìn)行了模態(tài)融合與屬性詞的位置預(yù)測。Zhang等［11］在GNN 上，針對基于圖的模型分析句法結(jié)構(gòu)時忽略語料庫級別的單詞共現(xiàn)信息的缺點提出了使用全局詞匯圖來編碼語料庫級別的單詞共現(xiàn)信息模型，在句法圖和詞法圖上建立了一個概念層以區(qū)分含各類型依賴關(guān)系的詞對，并在此基礎(chǔ)上，設(shè)計了一個雙級交互圖卷積網(wǎng)絡(luò)，該模型在任務(wù)評估中并取得了優(yōu)秀的結(jié)果。

對于多模態(tài)屬性級情感分類任務(wù)，與Liang等［12］研究的基于文本的屬性級情感分類不同，所用模態(tài)的增多也代表了模型復(fù)雜度的上升。其中，在多模態(tài)的任務(wù)上，Xu 等［13］第一個從數(shù)字產(chǎn)品評論平臺標(biāo)注了一個中文數(shù)據(jù)集用于多模態(tài)屬性級情感分析，并為這一任務(wù)提出了多交互式記憶網(wǎng)絡(luò)模型，其中使用了兩個交互式記憶網(wǎng)絡(luò)來監(jiān)督文本和圖像信息的屬性，同時學(xué)習(xí)跨模態(tài)數(shù)據(jù)間的交互影響與單模態(tài)數(shù)據(jù)的自我影響。在最近的研究中，Yu 和Jiang［14］在Twitter 中標(biāo)注了兩個數(shù)據(jù)集Twitter15 與Twitter17 用于多模態(tài)的情感分類任務(wù)，在此基礎(chǔ)上，Yu 和Jiang［14］利用BERT 作為基線模型，建立了模態(tài)內(nèi)的動態(tài)模型，該研究中使用BERT獲得目標(biāo)屬性詞敏感的文本表征，并使用Self-Attention 的思想設(shè)計屬性詞Attention 機制來進(jìn)行屬性詞和圖像的匹配，以獲得屬性詞敏感的圖像模態(tài)表征，在此基礎(chǔ)上該研究建立了模態(tài)間的動態(tài)模型，進(jìn)一步使用跨模態(tài)Attention 層捕捉多種模態(tài)之間的互動并最終得到了可觀的結(jié)果。

在文本和圖像模態(tài)的交互任務(wù)中，模態(tài)融合為研究的核心與關(guān)鍵所在。在Alakananda等［15］標(biāo)注Twitter 文本圖像關(guān)系數(shù)據(jù)集（本研究所應(yīng)用的數(shù)據(jù)集）前，多模態(tài)文本與圖像關(guān)系方面的工作沒有集中在Twitter 等社交媒體的數(shù)據(jù)上。Alikhani 等［16］在食譜數(shù)據(jù)集上圍繞以下維度對教學(xué)文本和圖像之間的關(guān)系進(jìn)行注釋并訓(xùn)練模型，而Chen 等［17］使用社交媒體數(shù)據(jù)研究文本與圖像關(guān)系，利用預(yù)測關(guān)系類型的文本和圖像內(nèi)容建立模型，其研究重點是區(qū)分圖像在整體上與文本內(nèi)容視覺上相關(guān)或不相關(guān)。本實驗使用的關(guān)系數(shù)據(jù)集關(guān)注了推文語義重疊和對整個推文意義的貢獻(xiàn)。而在文本與圖像的提取任務(wù)方面，F(xiàn)eng 等［18］實現(xiàn)了在圖像基礎(chǔ)上生成相應(yīng)的文本，Mahajan 等［19］使用推文等來源的嘈雜圖像文本對進(jìn)行訓(xùn)練，在此大型訓(xùn)練數(shù)據(jù)集的基礎(chǔ)上建立了模型并實現(xiàn)了圖像標(biāo)簽預(yù)測的任務(wù)。Moon 等［20］的多模態(tài)命名實體模糊化任務(wù)則利用社交媒體圖像的視覺背景向量來實現(xiàn)命名實體的模糊化處理。Sorodoc 等［21］所實現(xiàn)的多模態(tài)（文本與圖像）主題標(biāo)簽任務(wù)則側(cè)重于為給定的主題生成候選標(biāo)簽，并根據(jù)相關(guān)性對其進(jìn)行排序。這些任務(wù)前提是數(shù)據(jù)集中的文本與圖像的意義必然有關(guān)聯(lián)，而在Alakananda 等［15］的研究中表明這種關(guān)聯(lián)性并不是一定存在的，這也為本研究的文本圖像關(guān)系挖掘打下了基礎(chǔ)，提高了文本與圖像模態(tài)進(jìn)行融合時的可行性與有效性。而關(guān)于本研究中所用到的標(biāo)注數(shù)據(jù)集（Alakananda 等［15］），將會在下文中進(jìn)行詳細(xì)闡述。

2 ReBERT模型

2.1 關(guān)系提取模型

本研究在文本圖像模態(tài)融合時主要選用Attention 機制進(jìn)行模態(tài)融合，其流程圖如圖2所示。

圖2 關(guān)系提取模型模態(tài)融合Fig.2 Modal fusion of relation extraction model

與Ju 等［6］使用的方法類似，本研究首先對文本與圖像模態(tài)分別使用Self-Attention 捕捉各模態(tài)內(nèi)部的信息并進(jìn)行特征表示，該模塊采用了多頭Attention 模型來進(jìn)行實現(xiàn)。多頭Attention 即當(dāng)給定相同的Q，K，V（查詢，鍵，值）的組合時，為了令模型可以基于相同的Attention機制學(xué)習(xí)到不同的行為，不單單使用一個Attention 池化，該模型通過線性投影來變換Q，K，V，將變換后的Q，K，V并行進(jìn)行Attention池化。將不同線性投影的Attention 池化輸出進(jìn)行concat 后，通過線性變換即可產(chǎn)生最終輸出。該模型的主要框架如公式（1）—（4）所示。

（1） 字向量與位置編碼

（2） Self-attention 機制，其中WQ，WK，WV均為可學(xué)習(xí)參數(shù)

（3） 殘差連接與歸一化處理

（4） 每個Attention 頭的計算方法，其中WQ，Wk，WV均為可學(xué)習(xí)參數(shù)，而f(x) 為Attention 池化函數(shù)。

基于這種設(shè)計，每個Attention 頭都能夠關(guān)注輸入的不同部分。可以表示比簡單加權(quán)平均值更復(fù)雜的函數(shù)結(jié)構(gòu)，更多角度地實現(xiàn)其特征表示。每個文字經(jīng)過多頭Attention 機制之后會得到一個R矩陣，這個R矩陣表示這個字與其他字在N個角度（Attention 頭）的關(guān)聯(lián)。Transformer 結(jié)構(gòu)依賴于Attention 機制，以優(yōu)異的性能取代了基于Encoder-Decoder 的循環(huán)層，并引入了位置嵌入，本研究的多頭Attention 總數(shù)為8，能夠較好地捕捉模態(tài)內(nèi)的聯(lián)系。

而后進(jìn)行跨模態(tài)交互，分別對文本圖像模態(tài)進(jìn)行跨模態(tài)Attention 以捕捉文本圖像模態(tài)之間的信息，其有關(guān)跨模態(tài)Attention 如以下公式（5）所示，最后再分別對其Self-Attention 與跨模態(tài)Attention 的特征進(jìn)行concat 操作，再將其送入前饋神經(jīng)網(wǎng)絡(luò)中進(jìn)行預(yù)測，從單模態(tài)以及多模態(tài)多個層面更加全面地得到其預(yù)測結(jié)果，其預(yù)測分?jǐn)?shù)將表示為Sr。

如公式（5）所示，跨模態(tài)Attention 模型同樣為多頭Attention 模型，其大體模型結(jié)構(gòu)與上文中的單模態(tài)下自Attention 的框架類似，該模型利用Transformer 從跨模態(tài)交互中捕捉每個序列間的互動。設(shè)其中一模態(tài)為α，另一模態(tài)為β，則模態(tài)（β→α）之間的跨模態(tài)Attention 則為Zα，CMβ→α為跨模態(tài)Attention 機制，其中兩模態(tài)的輸入為Xα，Xβ，d為輸入維度，在此基礎(chǔ)上進(jìn)行跨模態(tài)運算。

2.2 ReBERT模態(tài)交互屬性詞提取模型

本研究提出基于關(guān)系提取的屬性詞提取模型，即ReBERT，其關(guān)鍵是利用上文關(guān)系提取模型對圖像模態(tài)輸入進(jìn)行控制，并在此基礎(chǔ)上使用Attention 機制，在數(shù)據(jù)集進(jìn)行跨度（Span）標(biāo)注的前提下進(jìn)行屬性詞預(yù)測，其主要模型結(jié)構(gòu)如圖3 所示。

圖3 屬性詞提取的ReBERT模型結(jié)構(gòu)Fig.3 Overall architecture of ReBERT for aspect term extraction

基于關(guān)系提取模型的輸出結(jié)果Sr，在進(jìn)行模態(tài)間融合前應(yīng)進(jìn)行輸入圖像模態(tài)的控制，其控制方式如公式（7）所示：

Re函數(shù)為前文關(guān)系提取模型的概括函數(shù)，當(dāng)其輸入為T，I即文本模態(tài)與圖像模態(tài)后，將其得到的關(guān)系概率值與從ResNet 模型中新訓(xùn)練的圖像模態(tài)In進(jìn)行點乘，以得到被賦予關(guān)系概率的與文本模態(tài)進(jìn)行交互的圖像模態(tài)特征。

應(yīng)用上文中的跨模態(tài)Attention，將文本模態(tài)與圖像模態(tài)進(jìn)行交互，如公式（8）所示：

其中 ⊕ 為元素的哈達(dá)瑪積（Hadamard product），對輸入向量T給定的“權(quán)重”也就是經(jīng)處理后的圖像模態(tài)Inr進(jìn)行列縮放，wa和ba分別為可學(xué)習(xí)的權(quán)重和偏置。

而hL將用于接下來的預(yù)測任務(wù)中，與RAN 與UMT 等使用BIO 標(biāo)簽的模型不同，該模型采用了Ju 等［6］與Hu 等［22］的SPAN 標(biāo)簽方法，即基于跨度（Span）的提取框架，在屬性詞跨度邊界的監(jiān)督下，直接從句子中提取多個屬性詞并利用其跨度表示對相應(yīng)的情感極性進(jìn)行分類。

如上文Twitter15/17 數(shù)據(jù)集的標(biāo)記方法，本研究根據(jù)Hu 等［22］的研究引入了其提取框架用于屬性詞的提取。該算法要求其使用啟發(fā)式多段編碼來提?。ǘ鄠€）屬性詞，并用其跨度表示對其進(jìn)行分類解碼。采用該方法的優(yōu)點是屬性詞提取的搜索空間可以隨著句子長度的增加而線性減少，遠(yuǎn)遠(yuǎn)低于RAN，UMT 所用的BIO 標(biāo)簽法的復(fù)雜度。

其中，ws與we為其可訓(xùn)練參數(shù)，得到Ps與Pe則分別為SPAN 標(biāo)記法所標(biāo)注的屬性詞的開始位置與終止位置。在Twitter15 與Twitter17 數(shù)據(jù)集中為“T-NEG/POS/NEU-B”到“T-NEG/POS/NEU”且下一標(biāo)記為“O”的位置。

該模型的損失函數(shù)Losse如下公式（10）所示：

其中，若每個句子中有多個屬性詞，則其判別結(jié)果將存儲于一個新的向量中。對于所記錄的屬性詞開始位置，則在ys中存儲；對于所記錄屬性詞的結(jié)束位置，則在ye中存儲。

2.3 ReBERT模態(tài)交互屬性級情感識別模型

本研究提出基于關(guān)系提取的屬性級別情感識別模型即ReBERT，其關(guān)鍵是利用關(guān)系提取模型控制圖像模態(tài)的輸入，并在此基礎(chǔ)上使用Attention 機制來進(jìn)行模態(tài)內(nèi)與模態(tài)間的交互，其主要模型結(jié)構(gòu)如圖4 所示。

圖4 情感分析的ReBERT模型結(jié)構(gòu)Fig.4 Overall architecture of ReBERT for sentiment analysis

令M為一組多模態(tài)數(shù)據(jù)，每一個多模態(tài)數(shù)據(jù)mi∈M由以下三部分組成：推文文本Si=(w1，w2，…，wn)，其中n為文本的詞數(shù)；推文相關(guān)的圖像Ii；推文屬性詞Ti，其中Ti為Si的子集。

其中推文屬性詞的情感標(biāo)簽可以分為yi∈ {Negative，Neutral，Positive}.而本研究的目標(biāo)是訓(xùn)練一個模型能夠計算函數(shù)f：(Ti，Si，Ii) →yi，即做到屬性詞情感極性的預(yù)測。

基于關(guān)系提取模型的輸出結(jié)果Sr，在進(jìn)行模態(tài)間融合前應(yīng)進(jìn)行輸入圖像模態(tài)的控制，其控制方式如公式（11）所示，與前文屬性詞提取任務(wù)采用相同的方法對模態(tài)進(jìn)行交互與連接。

在此基礎(chǔ)上應(yīng)用上文中的跨模態(tài)Attention，而根據(jù)Yu 等［14］的研究，對多模態(tài)進(jìn)行最終池化的方法有三類。其一為多模態(tài)輸入序列的第一個標(biāo)記總是區(qū)域圖像特征的加權(quán)和，該隱藏狀態(tài)作為一個圖像模態(tài)的多模態(tài)表現(xiàn)，包含了比較豐富的模態(tài)信息，因此可以作為輸出。即Out=H0；其中H為經(jīng)Attention 操作之后用于進(jìn)行分類操作的多模態(tài)特征。其二為[CLS]，特殊標(biāo)記（即句子輸入中的[CLS]標(biāo)記）的最終隱藏狀態(tài)作為一個文本模態(tài)的多模態(tài)表現(xiàn)，包含了比較豐富的模態(tài)信息，因此可以作為輸出。即Out=H[CLS]；其三為將文本圖像雙模態(tài)的隱藏狀態(tài)進(jìn)行concat 后混合輸出，即Out= [H0，H[CLS]]。此后將Out送入一個線性函數(shù)則可以得到情感的預(yù)測值，其計算如公式（12）所示：

其中，wp為其可訓(xùn)練參數(shù)，該模型的損失函數(shù)Lossc如公式（13）所示：

3 實驗

3.1 實驗數(shù)據(jù)

3.1.1 關(guān)系數(shù)據(jù)集

該實驗進(jìn)行圖像與文本模態(tài)關(guān)系模型訓(xùn)練時所用的Twitter 數(shù)據(jù)集為Alakananda 等［15］所標(biāo)注的Twitter 文本圖像關(guān)系數(shù)據(jù)集。在對2016 年的推文進(jìn)行注釋后使用langid.py 過濾非英文推文，最終用于本實驗的關(guān)系數(shù)據(jù)集包含4471 條推文。該數(shù)據(jù)集使用 Figure Eight（CrowdFlower）平臺對4471 條從推文中收集的文本圖像進(jìn)行注釋。

表1 關(guān)系數(shù)據(jù)集中各類型數(shù)據(jù)Table 1 Statistics of the relationship dataset

3.1.2 Twitter數(shù)據(jù)集

Twitter2015 與Twitter2017 數(shù)據(jù)集由Yu等［10］從TwitterAPI 上集中獲取，包含了從2016年5 月，2017 年1 月和2017 年6 月提取的推文及其相關(guān)圖像。該數(shù)據(jù)集在數(shù)據(jù)篩取時未考慮不含有圖片的信息，且若推文有一個以上的圖片與之相關(guān)，則該數(shù)據(jù)集僅隨機選取了其中一個圖像作為其關(guān)聯(lián)圖像。

數(shù)據(jù)集將被隨機分割為train（60%），development（20%）與test（20%）部分，分割后的Twitter2015 與Twitter2017 各情感標(biāo)簽下的數(shù)據(jù)如表2 所示。

表2 Twitter 2015和Twitter 2017數(shù)據(jù)集數(shù)據(jù)量表Table 2 Statistics of the Twitter 2015 and Twitter 2017

3.2 實驗參數(shù)

實驗參數(shù)如表3 所示。

表3 實驗參數(shù)設(shè)置Table 3 Experiment parameters settings

3.3 評價指標(biāo)

情感識別任務(wù)中，常用的評價指標(biāo)是精確率（Precision），召回率（Recall）與F1 值。其對應(yīng)的計算公式如（14），（15）與（16）所示：

對于多標(biāo)簽分類任務(wù)（如本研究屬性級別情感預(yù)測中的三標(biāo)簽POS/NEU/NEG 分類任務(wù)），應(yīng)對F1 值的算法進(jìn)行一些調(diào)整。Macro-F1 的計算方法如公式（17）所示：

3.4 對比模型

（1）LSTM + InceptionNet 模型：Alakananda等［15］用了concat 的特征融合方法與全連接層的預(yù)測方法。

（2）RAN 模型：RAN 是由Wu 等［23］提出的首個多模態(tài)屬性詞提取模型，其重點在于從圖像模態(tài)捕捉正確的信息并加入對屬性詞位置的分析中。

（3）UMT 模型：UMT 是Yu 等［24］提出的多模態(tài)屬性詞提取模型。

（4）TomBert 模型：TomBERT 是由Yu 等［14］提出的基于BERT 的多模態(tài)屬性級情感識別模型。

（5）ESAFN 模型：ESAFN 是由Yu 等［10］基于LSTM 提出的多模態(tài)屬性級情感識別模型。

3.5 實驗結(jié)果與分析

3.5.1 關(guān)系提取模型實驗結(jié)果

Alakananda 等［15］的研究模型為LSTM +InceptionNet，本研究的模型則為BERT +ResNet，其中LSTM + InceptionNet 模型的超參數(shù)設(shè)置與Alakananda 等進(jìn)行實驗時所設(shè)置的相同，而本研究BERT + ResNet 基礎(chǔ)上的關(guān)系提取模型中使用的超參數(shù)列表如表3 所示，其參數(shù)初值主要參考了Khan 等［25］同樣基于BERT的多模態(tài)屬性級情感識別任務(wù)，在本研究基礎(chǔ)上進(jìn)行微調(diào)即得到模型較優(yōu)的參數(shù)設(shè)置。

本研究用訓(xùn)練集的十折交叉驗證來調(diào)整參數(shù)以測試算法的準(zhǔn)確性。其訓(xùn)練結(jié)果可表示為Ei。最后對訓(xùn)練后的10 個模型的結(jié)果求均值，如公式（18）所示，該結(jié)果即可作為最后交叉驗證的結(jié)果。

經(jīng)十折交叉驗證取平均后，本研究中使用BERT + ResNet 模型的實驗結(jié)果與Alakananda等［15］LSTM +InceptionNet 的實驗結(jié)果如下表4所示。

表4 關(guān)系提取模型實驗結(jié)果Table 4 Experimental results of relation extraction model

通過對比關(guān)系提取模型可以看出，在文字與圖像模態(tài)的特征提取模型變化后，其對圖片是否會對文本產(chǎn)生增益的判斷效果沒有任何影響?；陉P(guān)系數(shù)據(jù)集構(gòu)造的關(guān)系提取模型能夠較好地預(yù)測圖像模態(tài)的數(shù)據(jù)是否需要與文本模態(tài)進(jìn)行融合，在已有模型的基礎(chǔ)上對下游任務(wù)的效率與預(yù)測結(jié)果進(jìn)行了優(yōu)化。

3.5.2 屬性詞提取模型實驗結(jié)果

在屬性詞提取這一子任務(wù)上，本研究提出的模型ReBERT 分別與上文中提及的經(jīng)典模型UMT 與RAN 分別進(jìn)行了對比實驗，并進(jìn)行了消融實驗。以上實驗均在Twitter 2015/2017 兩數(shù)據(jù)集上分別進(jìn)行測試，其使用方法為上文關(guān)系提取模型中所用到的十折交叉驗證方法，從10 次結(jié)果中取平均值得出可靠性強的實驗結(jié)果。其各模型上的實驗結(jié)果如表5—表8 所示，分別展示了各任務(wù)下各實驗?zāi)Ｐ偷木_率，召回率與其判斷重要標(biāo)準(zhǔn)F1 值。

表6 Twitter2017屬性詞提取對比實驗結(jié)果Table 6 Comparative experimental results of aspect extraction on Twitter 2017

表7 Twitter2015屬性詞提取消融實驗結(jié)果Table 7 Ablation experimental results of aspect extraction on Twitter 2015

表8 Twitter2017屬性詞提取消融實驗結(jié)果Table 8 Ablation experimental results of aspect extraction on Twitter 2017

由以上實驗結(jié)果，可以看出本研究模型在原基線模型上的進(jìn)步，在消融實驗基礎(chǔ)上與RAN 與UMT 模型進(jìn)行比較，可以發(fā)現(xiàn)當(dāng)關(guān)系模型或圖像模態(tài)從ReBERT 模型中去除時其模型效果的下降十分明顯，甚至在模型表現(xiàn)上劣于基線模型。而對比將圖像模態(tài)去除時的實驗結(jié)果，可以發(fā)現(xiàn)ReBERT 模型的效果下降比除去關(guān)系模型時的程度小。因此可以得出關(guān)系模型對ReBERT 實驗結(jié)果的影響較大，文本圖像模態(tài)的融合是該任務(wù)得到提升的關(guān)鍵之一。

3.5.3 屬性級情感分析模型實驗結(jié)果

在屬性級情感分析這一子任務(wù)上，本研究提出的模型ReBERT 分別與上文中提及的經(jīng)典模型TomBERT 與ESAFN 分別進(jìn)行了對比實驗，并進(jìn)行了消融實驗。

其實驗設(shè)置同上述章節(jié)。其各模型上的實驗結(jié)果如表9—表12 所示，分別展示了各任務(wù)下各實驗?zāi)Ｐ偷木_率、召回率與F1 值。

表9 Twitter2015屬性級情感分析對比實驗結(jié)果Table 9 Comparative experimental results of sentiment analysis on Twitter 2015

表10 Twitter2017屬性級情感分析對比實驗結(jié)果Table 10 Comparative experimental results of sentiment analysis on Twitter 2017

表11 Twitter2015屬性級情感分析消融實驗結(jié)果Table 11 Ablation experimental results of sentiment analysis on Twitter 2015

表12 Twitter2017屬性級情感分析消融實驗結(jié)果Table 12 Ablation experimental results of sentiment analysis on Twitter 2017

在消融實驗基礎(chǔ)上與TomBERT 和ESAFN模型進(jìn)行比較，可以發(fā)現(xiàn)當(dāng)關(guān)系模型或圖像模態(tài)從ReBERT 模型中去除時其模型效果下降明顯，且在少數(shù)情況下模型表現(xiàn)上劣于對比實驗?zāi)Ｐ?。消融實驗的結(jié)果表明去除關(guān)系模型與去除圖像模態(tài)對ReBERT 模型的影響幾乎相當(dāng)。由此可以推斷，與屬性詞識別不同，屬性級別情感識別任務(wù)對圖像模態(tài)更加敏感，受圖像模態(tài)影響更大。

4 結(jié)論

本文分別介紹了關(guān)系提取模型，屬性詞提取模型，屬性級情感識別模型的實驗結(jié)果，分別在Twitter 15/17 數(shù)據(jù)集上進(jìn)行了多重驗證，在已有研究的基礎(chǔ)上進(jìn)行了對比試驗，論證了實驗的可行性；在本研究模型的基礎(chǔ)上進(jìn)行了消融實驗，論證了實驗的必要性；本研究的所有模型結(jié)果均在十折交叉驗證的基礎(chǔ)上得出，保證了實驗結(jié)果的準(zhǔn)確性。由此得出本研究建立的基于關(guān)系提取的屬性級情感識別模型能夠較好地完成任務(wù)，根據(jù)本研究的評價標(biāo)準(zhǔn)，本研究的研究成果符合要求。