融合大語言模型的三級聯(lián)合提示隱式情感分析方法

摘 要：隱式情感分析作為情感分析任務(wù)的挑戰(zhàn)性分支，面臨著缺乏明確情感特征、文本語義復(fù)雜等問題。受到思維鏈（chain of thought，CoT）的啟發(fā)，提出了一種融合大語言模型的三級聯(lián)合提示隱式情感分析方法（three-level joint prompt-tuning implicit sentiment analysis method incorporating LLMs，TPISA），將大語言模型與本地預(yù)訓(xùn)練模型相結(jié)合，使用多級推理的方式逐級得出目標的方面、潛在觀點，使模型能夠更輕松地推理出最終的情感極性。前兩級提示利用大型語言模型豐富的世界知識，豐富情感語句的情感信息；然后，將前兩級提示得到的方面和潛在意見與上下文連接起來，作為第三級提示的輸入。同時構(gòu)建情感標簽詞，使預(yù)訓(xùn)練的模型能夠從標簽詞匯中獲得豐富的語義知識，增強模型的學(xué)習(xí)能力。實驗證明，提出的模型在SemEval14 Laptop和Restaurant數(shù)據(jù)集上對比當前主流的隱式情感分析模型，取得了5.65和6.72百分點的提升，驗證了該方法的先進性。

關(guān)鍵詞：隱式情感分析；提示調(diào)優(yōu)；大語言模型；多級推理

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2024）10-003-2900-06

doi：10.19734/j.issn.1001-3695.2024.01.0021

Three-level joint prompt-tuning implicit sentiment analysis method incorporating LLMs

Zhang Xiaoyan， Yan Zhuang

（School of Computer Science & Technology， Xi’an University of Science & Technology， Xi’an 710600， China）

Abstract：Implicit sentiment analysis as a challenging branch of sentiment analysis tasks faces issues such as lacking explicit sentiment cues and complex text semantics. Inspired by CoT， this paper proposed the TPISA. This method combined large language models with local pre-trained models， employing multi-level reasoning to extract sentiment elements such as aspects and potential opinions， which enables to more easily infer the final sentiment polarity. In the first two levels， it leveraged the extensive world knowledge embedded in LLMs to augment the sentiment information of sentiment sentences. Subsequently， the aspects and potential opinions acquired from these initial levels are interconnected with the context， forming inputs for the third level prompt. Concurrently， it constructed sentiment label words to empower the pre-trained model to assimilate profound semantic insights from the labeled vocabulary， thereby enhancing the model’s learning capacity. The experimental results demonstrate that the proposed model achieves improvements of 5.65 and 6.72 percentage points on the SemEval14 Laptop and Restaurant datasets， respectively， compared to the state-of-the-art models， verifying the progressiveness of this method.

Key words：implicit sentiment analysis; prompt tuning; large language models; multi-level reasoning

0 引言

情感分析長期以來一直是自然語言處理領(lǐng)域的熱門研究任務(wù)［1～3］，廣泛應(yīng)用于輿情監(jiān)控等領(lǐng)域。該任務(wù)面臨的主要挑戰(zhàn)包括分析需求的多樣性和文本語義的復(fù)雜性以及輿情信息的時效性。經(jīng)過十多年的高速發(fā)展，情感分析領(lǐng)域產(chǎn)生了多種類型的子任務(wù)和主題。到現(xiàn)在，情感分析模型已經(jīng)可以相當準確地基于給定的情感特征詞進行顯式情感分析（explicit sentiment analysis，ESA），但由于隱藏的意見特征，隱式情感分析（implicit sentiment analysis，ISA）仍然十分棘手［4，5］。與ESA不同，ISA的研究更具挑戰(zhàn)性，因為在ISA任務(wù)中，輸入文本只包含幾乎類似于“中性的”事實描述，沒有直接給出明確的觀點態(tài)度表達。例如，給定一個句子“快去嘗嘗那個新品吧！”，句子中不會出現(xiàn)任何顯式的情感線索詞。然而對于這種隱式情感場景，由于不包含任何顯式的情感特征詞，在ESA任務(wù)中取得過優(yōu)異性能表現(xiàn)的RGAT［6］、BERT-ADA［7］和TransEncAsp+SCAPT［8］等模型都無法取得令人滿意的表現(xiàn)［9］。這是因為目前幾乎所有的情感分析模型的工作原理基本都是面向特征詞的預(yù)測，即必須要找準情感特征詞才能準確得到預(yù)測。因此，如何挖掘出情感語句中隱藏的情感元素，共同構(gòu)建出一個完整的情感圖譜，以此降低隱式情感分析的難度成為了本文研究的方向。

隨著對人類推理過程研究的深入，Wei等人在2022年首次提出了CoT的概念，通過一系列中間的推理步驟，使模型在生成推理結(jié)果之前先構(gòu)建出任務(wù)的思維邏輯，使模型學(xué)會一步一步地輸出推理步驟，直至獲得最終答案。圖1展示了CoT prompting與標準的prompting在ISA任務(wù)上的設(shè)計流程示例。受此啟發(fā)，本文認為隱式情感的推理應(yīng)該是一個漸進的過程，逐步推斷情感元素，最終以從容易到難的方式理解情感的極性。

綜合上述研究，本文基于prompt的微調(diào)方法，設(shè)計了一種三級聯(lián)合提示推理方法（TLJP），從而使模型實現(xiàn)對情感語句的聯(lián)合推理，在每一級推理過程中分別推斷出給定目標的細粒度方面、對該方面的潛在觀點，以上最終的極性。通過這種從簡單到困難的層級推理，可以逐步引導(dǎo)出整體情感的隱藏上下文，從而更容易地實現(xiàn)對最終極性的預(yù)測。為了實現(xiàn)三級聯(lián)合提示推理方法，豐富的常識知識和強大的分步多級推理的能力是必不可少的。然而，現(xiàn)有的模型并不具備這樣的能力，直接將三級聯(lián)合提示推理方法應(yīng)用于隱式情感分析任務(wù)很可能無法滿足性能上的要求。幸運的是，隨著自然語言處理領(lǐng)域的預(yù)訓(xùn)練模型的發(fā)展，通用大語言模型 （large language models，LLMs） 開始展現(xiàn)出卓越的性能［10］。LLMs擁有非常豐富的世界知識，在常識理解方面表現(xiàn)出非凡的能力［11，12］。在此基礎(chǔ)上，本文使用大語言模型實現(xiàn)了TLJP中的前兩級提示調(diào)優(yōu)，為情感語句標注方面和潛在觀點信息，構(gòu)建了一種融合LLM的兩級提示標注架構(gòu)，有效地減輕了隱式情感分析任務(wù)的困難。為了控制模型的搜索空間，實現(xiàn)標簽詞與情感極性的準確映射，本文的第三級提示采用了一種融合情感知識的情感分析模型進行最終的情感極性分析，該模型設(shè)計了由覆蓋范圍廣泛的同義詞組成的標簽映射詞表，使模型充分利用標簽詞表中豐富的語義特征，從而提升模型的性能［13］。綜上所述，本文提出了一個融合大語言模型的三級聯(lián)合提示隱式情感分析方法（TPISA），該方法的主要貢獻有以下三點：

a）本文提出的TLJP為隱式情感分析提供了一種分步多級推理情感極性的解決方案，使用類人腦思維鏈的方式逐級獲取語句三個關(guān)鍵的情感元素，彌補了隱式情感語句情感特征不足的問題。

b）本文充分利用了大語言模型豐富的世界知識和強大的推理能力，以此來推理情感語句的方面和潛在觀點，從而增強了模型對多標簽情感語句的理解。

c）本文使用prompt-tuning并利用可訓(xùn)練的連續(xù)模板微調(diào)情感分析任務(wù)，同時提出了一種設(shè)計方法，通過建立一個包含廣泛同義詞的標簽映射詞典，使模型能夠更有效地運用這些標簽中的豐富語義特征，實現(xiàn)標簽詞與情感極性的準確映射，進而提高其性能表現(xiàn)。

1 相關(guān)工作

在情感分析領(lǐng)域，根據(jù)是否有明確的情感特征詞，可以將情感分析任務(wù)劃分為顯示情感分析和隱式情感分析。在情感分析任務(wù)的實際應(yīng)用中，顯示情感分析仍然是日常生活中主流的分析場景，其中情感相關(guān)的表述詞在文本中是明確存在的。而在社交媒體平臺上，網(wǎng)民的語言表達十分含蓄、不直觀，有著大量的隱式情感表達。根據(jù)相關(guān)研究表明，文本類語句中的隱式情感語句在情感表達中的比例已經(jīng)超過了30%，是情感表達中十分重要的組成部分［1］。這意味著對ISA研究有著明確且廣泛的應(yīng)用場景，如網(wǎng)絡(luò)輿情分析、電子商務(wù)評論和網(wǎng)絡(luò)防詐騙等。

針對ISA中缺少情感特征詞而造成情感分析難度大的問題，研究人員利用注意力機制、圖神經(jīng)網(wǎng)絡(luò)和知識增強等方法進行了大量的研究和嘗試。Balahur等人［14］基于常識知識庫和上下文信息進行隱式情感分析。Shutova等人［15］通過聚類詞來識別相應(yīng)的隱式情感，在此基礎(chǔ)上，采用弱監(jiān)督和無監(jiān)督的方法來學(xué)習(xí)隱喻的分布信息，從而識別句子中的隱喻表達。Deng等人［16］應(yīng)用循環(huán)信念傳播在實體之間傳播情感，并引入了四個規(guī)則方案來揭示情感約束。2019年Xiang等人［17］提出了一種基于注意力的神經(jīng)網(wǎng)絡(luò)模型，從多個方面來識別隱式極性，而不是傳統(tǒng)的注意力機制那樣只關(guān)注句子的一個特定方面。Wei等人［18］提出了一個具有多極性正交注意的BiLSTM模型來捕捉單詞與情緒極性之間的差異，并設(shè)計了正交限制來保持優(yōu)化過程中的差異。Zuo等人［19］結(jié)合隱式情感語句的完整語境提出了一種特定語境的異構(gòu)化圖卷積網(wǎng)絡(luò)框架，通過上下文語義信息來提高隱式情感語句分析的準確性。Li等人［4］引入了大規(guī)模的外部知識來研究基于方面的隱式情感分析任務(wù)。

作為情感分析的一個關(guān)鍵分支，隱式情感分析已經(jīng)得到了充分的探索，如上述提到的研究方法，在特定類型的隱式情感分析問題上有著一定的效果提升，但仍然存在著如分類精度低等缺陷，無法實際應(yīng)用于所有的隱式情感語句。與顯示情感分析任務(wù)相比，實際的性能表現(xiàn)也不盡人意。與這些方法不同的是，本文提出了融合大語言模型的三級聯(lián)合提示隱式情感分析方法（TPISA），將大語言模型與本地預(yù)訓(xùn)練模型相結(jié)合，使用多級推理的方式逐級得出情感語句中隱含的情感元素，從而增強語句中的情感特征，使模型能夠更輕松地推理出最終的情感極性，提高隱式情感分析的性能。

2 模型

通過對人腦思維過程的研究分析，本文產(chǎn)生了這樣的思考：對于例如“這個新手機可以直接放到我的口袋里。”這樣的句子，如果情感分析模型能像人類一樣，將推斷情感極性的過程分解，首先分析出語句可能描述的情感方面“便攜性”，然后判斷其潛在觀點是“好的”，那樣最終語句“積極”的極性也可以輕松預(yù)測了。根據(jù)這樣的推理思想，本文設(shè)計了三級聯(lián)合提示推理方法。該方法為情感分析模型處理隱式情感分析任務(wù)提供了新思路，以此為基礎(chǔ)，本文提出了一種融合大語言模型的三級聯(lián)合提示隱式情感分析模型。如圖1所示，該模型的框架主要包括融合了大語言模型的用于獲取情感元素的第一級提示和第二級提示，以及使用了預(yù)訓(xùn)練模型進行情感極性分析的第三級提示。在本文中，情感分析任務(wù)的定義如下：給定一個句子S，它包含具有給定的目標tT。本文模型的目的是預(yù)測目標t在句子S中的情感極性y，即積極的、消極的和中性的（positive， negative and neutral）。

2.1 三級聯(lián)合提示設(shè)計流程

受到人類思維推理過程和思維鏈式提示（CoT-style prompt）［20，21］的多步推理方法的啟發(fā)，本文提出了三級聯(lián)合提示推理方法來逐級推斷出情感語句潛在方面、觀點和最終的情感極性，圖2中展示了該方法的示例。

在本文中，基于prompt機制，每一級提示都會融入前一級的情感知識。這樣構(gòu)造的提示文本不僅增強了模型理解上下文和方面詞的能力，而且還實現(xiàn)了情感分析上下游任務(wù)的統(tǒng)一，并最大限度地發(fā)揮掩碼語言模型（masked language model，MLM）的性能。因此本文研究的核心在于在語義上設(shè)計一個與情感分析緊密相關(guān)的提示模板。具體地，本文首先定義了情感語句可能的方面a和潛在的意見表達式o。詳細的三級聯(lián)合提示文本構(gòu)造如下：

a）第一級。這一級的目標是得到語句S中給定目標t可能的細粒度方面a，將原始輸入句子S的上下文語義信息和給定的目標t作為情感知識，根據(jù)情感知識構(gòu)造提示文本。第一級提示的文本模板設(shè)計流程如圖3所示。

C1是第一級提示的上下文，xp1是根據(jù)第一級的情感知識構(gòu)造的提示文本。這一步可以用式（1）表示。

A=argmax p（a|S，t）（1）

b）第二級?；贑1和第一級提示得到的可能的方面a，繼續(xù)構(gòu)造模板，得到語句S中關(guān)于目標t的潛在觀點o。具體的文本模板設(shè)計流程如圖4所示。

C2是連接S、t和a的第二級提示的上下文，xp2是根據(jù)第二級的情感知識構(gòu)造的提示文本。通過這一步可以得到語句S中屬于方面a的目標t的潛在觀點o。這一步可以公式化為

O=argmax p（o|S，t，a）（2）

c）第三級。以完整的情感框架（S、t、a和o）作為上下文，構(gòu)造提示模板，利用模型推斷出極性t的最終答案，第三級提示的文本模板設(shè)計流程如圖5所示。

圖5 第三級提示文本模板設(shè)計流程

Fig.5 Design process of third-level prompt text template

C3是第三級提示的上下文，xp3是根據(jù)第三級的情感知識構(gòu)造的提示文本。這一步驟可以表示為

=argmax p（y|S，t，a，o）（3）

從三級聯(lián)合提示的文本模板的設(shè)計流程可以看出，針對不同領(lǐng)域數(shù)據(jù)集，提示文本會設(shè)計為不同的組成形式，表1中展示了針對SemEval2014 Restaurant數(shù)據(jù)集的三級聯(lián)合提示文本模板的部分設(shè)計示例。

2.2 融合大語言模型的兩級情感元素推理

在任務(wù)實現(xiàn)過程中，使用提示微調(diào)的模型進行三級聯(lián)合提示的方案并沒有帶來模型性能上的提升，反而有了明顯的下降。這可能是三級聯(lián)合提示使模型變得過于龐雜，同時情感語句經(jīng)過多次構(gòu)建提示模板變得更為復(fù)雜，模型難以理解。而三級聯(lián)合提示又需要強有力的常識推理和多級分步推理的能力。針對上述問題，本文將前兩級提示推理過程與第三級提示推理過程分離開來，借助大語言模型LLMs的卓越性能實現(xiàn)對給定情感語句的推理。圖6展示了融合大語言模型的前兩級情感元素推理結(jié)構(gòu)。

2.2.1 構(gòu)建大語言模型的提示模版

在融合了LLMs的情況下，本文通過對原三級聯(lián)合提示模板的改造，構(gòu)建了新的適應(yīng)于大語言模型的提示模板，從而相當于為第三級模型構(gòu)建一個初始的注釋數(shù)據(jù)集。具體的兩級提示模板設(shè)計流程如下：

第一級。構(gòu)造提示模板，直接詢問LLMs語句S中提及的目標t的方面a是什么：

C1［S］. Which specific aspect of t is possibly mentioned？

第二級。基于S、t和a，構(gòu)造如下模板，向LLMs詢問由第1級提示得到的關(guān)于方面a的潛在觀點：

C2［C1， A］. Based on the common sense， what is the implicit opinion towards the mentioned aspect of t？

2.2.2 情感元素的推理增強

一個問題越需要深思熟慮的思考和分析，則通往最終答案的推理路徑的多樣性就越大［22］。而本文研究的隱式情感分析需要的就是復(fù)雜的思考和分析過程，因此，隱式情感分析的推理路徑應(yīng)是多樣的，而非單一的。本文在模型中引用了Wang等人［23］提出的自一致性機制來保障大語言模型推理的正確性。首先，從模型的解碼器中采樣，生成不同的推理路徑。每個推理路徑都可能給出方面a和觀點o的不同預(yù)測，保留其中置信度高的答案。最后將其應(yīng)用到下一步的文本輸入之中。

2.3 融合情感知識的第三級提示模型

第三級提示是三級聯(lián)合提示隱式情感分析方法的最后一步，目標是根據(jù)前兩級提示得到的情感知識，通過構(gòu)造相應(yīng)的提示模板，將獲得的方面詞、潛在觀點和提示文本等語義信息進行融合，增強預(yù)訓(xùn)練語言模型對輸入語句的情感信息的理解，最后經(jīng)過情感標簽詞的映射，得出最終的情感極性。盡管大語言模型已經(jīng)在數(shù)據(jù)標注、特征提取和嘗試推理等領(lǐng)域展現(xiàn)出了強大的性能。但是，大語言模型高昂的運算成本對大規(guī)模的文本內(nèi)容分析構(gòu)成了巨大的阻礙。同時，本地的預(yù)訓(xùn)練語言模型在處理輿情分析等敏感和涉密領(lǐng)域的任務(wù)上有著不可替代的優(yōu)勢。因此，本文在第三級提示中，選擇使用預(yù)訓(xùn)練語言模型進行情感極性的推理。圖7展示了第三級提示的模型結(jié)構(gòu)。

深度學(xué)習(xí)模型與外部知識的結(jié)合越來越緊密，利用外部知識可以提高深度學(xué)習(xí)模型的效果［24］。在第三級提示中，首先基于prompt機制構(gòu)造提示文本，將它與前兩級提示獲得的情感元素和情感語句進行融合，然后通過預(yù)訓(xùn)練模型獲得輸入序列的文本向量表示，再經(jīng)過情感標簽詞映射層進行情感極性的映射，獲得最終的情感分類結(jié)果。

在輸入中添加提示文本，提升模型對下游任務(wù)的感知能力，可充分激發(fā)預(yù)訓(xùn)練模型的潛力［13］。因此，結(jié)合本文提出的三級聯(lián)合提示的推理流程，本文中亟待解決的問題就是設(shè)計一個在語義上能夠滿足隱式情感分析任務(wù)要求的提示模板。按照圖5的第三級提示文本設(shè)計流程，本文為SemEval14 Laptop和Restaurant數(shù)據(jù)集［25］設(shè)計了如表1所示的提示文本模板。例如原始句子S=“Go and taste that new pro-duct”，則在本模塊中經(jīng)過模型處理后的語句為C3= “Go and taste that new pro-duct”， food， good， it was ［MASK］。其中［MASK］位置對應(yīng)方面詞“food”及其潛在觀點“good”的情感極性標簽詞。

在進行情感分析任務(wù)時，常用的預(yù)訓(xùn)練模型有 ELMo［26］、BERT［27］、XLNet［28］、ALBERT［29］、CGBERT［30］等。特別是 BERT 模型，因其基于雙向Transformer［31］結(jié)構(gòu)，能動態(tài)地表征文本向量并捕獲句子中的雙向語義關(guān)系，因此在情感分析任務(wù)中的表現(xiàn)更為突出。鑒于此，本文方法選用了 BERT 預(yù)訓(xùn)練模型來處理輸入文本的詞嵌入表示。

為了更好地實現(xiàn)標簽詞到情感極性的映射，本文設(shè)計情感標簽詞表v，根據(jù)詞表與情感極性標簽的映射關(guān)系進行情感極性預(yù)測。此前，Schick等人［32］提出過一種人工構(gòu)建一一對應(yīng)的詞表映射器的方法，但該方法限制了標簽詞的覆蓋范圍，具有較大的局限性。為了解決上述問題，本文受一種基于情感知識的標簽映射詞表構(gòu)造方法［24］的啟發(fā)，為積極、校級、中性三種情感極性分別構(gòu)建了由不同粒度的同義詞組成的情感標簽詞集，每一種情感極性對應(yīng)多個表達相關(guān)情感傾向的標簽詞，如“bad”“chagrin”“regret”都對應(yīng)“negative”。當預(yù)訓(xùn)練語言模型預(yù)測［MASK］部分在標簽詞集上的概率分布時，將標簽詞集v中的單詞概率映射為原始標簽集合的概率［33］，其中某個標簽的概率可由式（4）表示。

P（v|C3）=g（P（［MASK］=v|C3）|v∈vy）（4）

其中：g表示將標簽詞集中每個單詞在［MASK］位置的預(yù)測概率轉(zhuǎn)換為原始標簽預(yù)測概率的函數(shù)；vy表示原始標簽集合中某個特定類別標簽y所對應(yīng)的詞集。然后使用softmax函數(shù)對其作歸一化，獲得每個候選標簽詞的概率P=（［MASK］=vi|xP），其中vi代表標簽候選詞集v的第i個詞。最后，將候選標簽詞的概率通過求和置信度分數(shù)的方式映射到情感極性上，具體公式如下：

P（y|x）=∑i∈vyλiP（［MASK］=vi|C3）（5）

其中：λi表示候選標簽詞是vi的概率的置信度；vy表示候選標簽詞中屬于情感極性y的所有詞的集合。本文的損失函數(shù)使用交叉熵，通過最小化交叉熵誤差訓(xùn)練模型，具體公式如下：

Loss=－∑j∈|X| ∑i∈|Y|yiP（yi|x）（6）

其中：|X|表示樣本數(shù)量；|Y|表示情感極性數(shù)量。

3 實驗

為了驗證本文提出的融合大語言模型的三級聯(lián)合提示隱式情感分析方法的有效性，本文根據(jù)Li等人［4］的研究，將基準的SemEval14 Laptop和Restaurant數(shù)據(jù)集的所有實例分為顯式和隱式情感，表2展示了數(shù)據(jù)集劃分的詳細信息。同時，得益于 Fan 等人［34］的工作，本文選擇的數(shù)據(jù)集包含了為目標方面注釋的意見詞。本實驗通過將TLJP模型與目前最先進的模型進行對比，以驗證該模型的情感分析能力。

3.1 實驗配置

本文實驗使用了Python 3.8的深度學(xué)習(xí)庫Torch 1.11.1+CUDA113實現(xiàn)。實驗使用了ChatGPT［35］作為主干LLM，并通過提示的方式調(diào)用API來進行實驗測試。為了驗證本文提出的方法在隱式情感分類任務(wù)上的性能表現(xiàn)，本文采用宏平均值（macro F1）和準確率（accuracy，Acc）作為實驗的評價指標；對比模型參考了隱式情感分析領(lǐng)域的相關(guān)文獻，選取了其中基于注意力機制的模型、基于圖神經(jīng)網(wǎng)絡(luò)的模型、基于知識增強的模型、基于大規(guī)模語料庫的預(yù)訓(xùn)練模型、其他基于大語言模型的情感分析五類模型中的一些公開的基礎(chǔ)模型以及常用的基線模型進行對比實驗，它們包括RGAT［6］、ASGCN［36］、BERT+PT［37］、CapsNet+ BERT［38］、BERT+SPC［27］、BERT+ADA［27］、BERT+RGAT［6］、TransEncAsp+ SCAPT［8］、BERTAsp+SCAPT［8］和Flan-T5［39］。

3.2 實驗結(jié)果與分析

為了驗證TPISA模型在隱式情感分析任務(wù)上的效果，本文在SemEval14 Laptop和Restaurant數(shù)據(jù)集上進行了詳細的對比實驗，表3中展示了具體的實驗數(shù)據(jù)和結(jié)果。

從表3中的實驗數(shù)據(jù)分析可以得出，在所有比較模型中，多個基于圖神經(jīng)網(wǎng)絡(luò)的模型（RGAT、ASGCN）與基于知識增強的模型（BERT+PT、CapsNet+BERT、BERT+SPC、BERT+ADA、BERT+RGAT）的性能均要低于最優(yōu)性能基線BERTAsp+SCAPT。BERTAsp+SCAPT對大規(guī)模的情感方面語料庫進行了重新預(yù)訓(xùn)練，因此對情感分析表現(xiàn)出了較強的能力。而TPISA模型在SemEval14 Laptop和Restaurant數(shù)據(jù)集的隱性情感分析任務(wù)上，準確率分別達到了77.93%和82.31%，與當前最先進的模型BERTAsp+SCAPT相比，提高了5.65和6.72百分點，這是因為本文模型通過分級推理添加提示文本的方式，由易到難地挖掘輸入語句的情感信息，并充分利用了大語言模型豐富的世界知識和強大的推理能力，有效地減輕了隱式情感分析任務(wù)的困難。此外，在飲食情感分析任務(wù)上，F(xiàn)lan-T5模型表現(xiàn)也十分出色，但仍略遜于本文提出的TPISA，這表明，本文使用GPT獲取情感元素的選擇是正確的。上述實驗結(jié)果驗證了經(jīng)過三級提示增強的預(yù)訓(xùn)練模型在隱式情感分析任務(wù)上的效果表現(xiàn)更加優(yōu)異，證明了融合大語言模型的方法能降低模型捕獲情感信息的難度，說明了本文提出的TPISA方法的有效性。

3.3 消融實驗

為了驗證本文提出的三級聯(lián)合提示推理方法和融合了大語言模型來獲取情感元素的有效性，本文進行了消融實驗，實驗的具體結(jié)果如表4所示。其中，TLJP表示模型中不使用LLMs，僅將三級聯(lián)合提示推理方法運用到基礎(chǔ)的基于prompt的預(yù)訓(xùn)練模型中；TPISA-TLJP表示不使用三級聯(lián)合提示推理方法的模型；TLJP+Aspect表示僅保留第一級和第三級的兩級聯(lián)合提示推理方法的模型；TPISA-SV表示在TPISA模型的基礎(chǔ)上，去除掉情感標簽詞映射（sentiment verbalizer，SV）模塊。從表4中可以看出，在不使用三級聯(lián)合提示方法的模型基礎(chǔ)上僅增加一級針對方面的提示推理模型，在最終性能表現(xiàn)有了一定的提高，分別為72.89%和73.94 %，這證明本文通過提示推理增加情感語句的思路是有效的。而僅使用了TLJP，不融合大語言模型的方法在性能上的表現(xiàn)僅為65.06%和6748%，甚至低于只有一級提示的基于prompt的預(yù)訓(xùn)練模型TPISA-TLJP的65.27%和69.74%。這可能是因為多級的提示增強雖然增加了情感語句的特征信息，同時也增加了語句結(jié)構(gòu)的復(fù)雜度，反而增加了基礎(chǔ)模型在情感分析任務(wù)上的難度，所以整體上的效果與當前的情感分析模型相比有著明顯的下降。因此，本文模型利用大語言模型豐富的常識知識和強大的推理能力進行模型的前兩級提示，某種程度上簡化了模型整體的復(fù)雜性。TPISA-SV的實驗結(jié)果表明，在去除了SV模塊后，模型的性能表現(xiàn)略有下降，這證明了SV模塊的有效性。通過多個模塊的消融實驗，證明了本文方法和模型在隱式情感分析任務(wù)上能夠有效提升模型的性能，在隱式情感分析任務(wù)中有著一定的優(yōu)勢。

3.4 實例分析

為了進一步分析本文提出的融合大語言模型的三級聯(lián)合提示隱式情感分析方法在隱式情感分析任務(wù)上的有效性，本文在對比模型未正確分析出極性的情感語句中分別選取了情感為積極、消極和中性的六條樣例，并對它們在TPISA中的分析過程進行實例分析，具體的對比結(jié)果如表5所示。

從表5中可以看出，選取的例句都是缺少直接的情感特征詞的語句，這也是它們沒有被其他對比模型準確分析出情感極性的重要因素。例如表5中的例句“When asked， we had to ask more detailed questions so that we knew what the specials were.”，TPISA充分利用了大語言模型豐富的世界常識和強大的推理能力，可以十分容易地獲取到例句的可能方面“service”和潛在觀點“unsatisfactory”，這兩點情感元素與原語句形成了帶有明顯情感特征詞的新的情感語句，達到了引入情感知識的效果。進一步到第三級提示中，模型就可以很輕松地分析出情感語句最終“negative”的情感極性了。

通過以上實例分析可以清晰地看到，本文提出的TPISA方法，將語句進行分步分析、逐級挖掘出其中的可能方面和潛在觀點，從而豐富情感實例的情感元素，降低最后一級模型處理隱式情感分析任務(wù)的難度，最終得到正確的情感極性，在隱式情感分析任務(wù)上有著可靠且有效的性能表現(xiàn)。

4 結(jié)束語

本文提出了一種融合大語言模型的三級聯(lián)合提示隱式情感分析方法。該方法旨在通過多級推理的方式，由易到難地逐級推理，并最終得出情感極性。首先利用大語言模型強大的推理能力，通過構(gòu)建兩級提示分兩步獲得輸入語句的方面詞和潛在觀點；然后構(gòu)建第三級提示文本，并將其與前兩步中獲得的情感元素進行拼接，構(gòu)成新的融合了情感知識的輸入，將該語句輸入到預(yù)訓(xùn)練模型，最終分析得出情感極性，完成隱式情感分析任務(wù)。

為了驗證該方法的有效性，本文在SemEval14 Laptop和Restaurant數(shù)據(jù)集上進行了充分的實驗。實驗結(jié)果表明，TPISA比現(xiàn)有的最佳性能基線表現(xiàn)出了更令人印象深刻的性能。總的來說，本文的TPISA為隱式情感分析提供了一種優(yōu)秀的解決方案。通過精心設(shè)計的三級聯(lián)合提示推理過程，TPISA方法能夠更全面、更準確地理解文本中的情感傾向。實驗結(jié)果也充分證明了本文方法在隱式情感分析任務(wù)中的有效性，為未來的情感分析研究提供了新的思路和方法。

參考文獻：

［1］Pang Bo， Lee L. Opinion mining and sentiment analysis ［J］. Foundations and Trends in Information Retrieval， 2008，2（1-2）：1-135.

［2］Dong Li， Wei Furu， Tan Chuanqi，et al. Adaptive recursive neural network for target-dependent twitter sentiment classification ［C］// Proc of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics，2014： 49-54.

［3］Shi Wenxuan， Li Fei， Li Jingye，et al. Effective token graph modeling using a novel labeling strategy for structured sentiment analysis ［C］// Proc of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2022： 4232-4241.

［4］Li Zhengyan， Zou Yicheng， Zhang Chong，et al. Learning implicit sentiment in aspect-based sentiment analysis with supervised contrastive pre-training ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2021： 246-256.

［5］Wang Siyin， Zhou Jie， Sun Changzhi，et al. Causal intervention improves implicit sentiment analysis ［C］// Proc of the 29th International Conference on Computational Linguistics. ［S.l.］： International Committee on Computational Linguistics， 2022： 6966-6977.

［6］Wang Kai， Shen Weizhou， Yang Yunyi，et al. Relational graph attention network for aspect-based sentiment analysis ［C］// Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 3229-3238.

［7］Rietzler A， Stabinger S， Opitz P，et al. Adapt or get left behind： domain adaptation through BERT language model finetuning for aspect-target sentiment classification ［C］// Proc of the 12th Language Resources and Evaluation Conference. ［S.l.］： European Language Resources Association， 2020： 4933-4941.

［8］SCAPT-ABSA ［EB/OL］. （2022-02-03）. https：//github.com/tribleave/scapt-absa.

［9］王昱婷， 劉一伊， 張儒清， 等. 基于提示學(xué)習(xí)的文本隱式情感分類 ［J］. 山西大學(xué)學(xué)報， 2023， 46（3）： 509-517. （Wang Yuting， Liu Yiyi， Zhang Ruqing，et al. Learning implicit sentiment via prompt tuning ［J］. Journal of Shanxi University：Natural Science Edition， 2023， 46（3）： 509-517.）

［10］Ye Junjie， Chen Xuangting， Xu Nuo，et al. A comprehensive capabi-lity analysis of GPT-3 and GPT-3. 5 series models ［EB/OL］. （2023-03-18） ［2024-03-19］. https：//doi.org/10.48550/arXiv.2303.10420.

［11］Paranjape B， Michael J， Ghazvininejad M，et al. Prompting contrastive explanations for commonsense reasoning tasks ［C］// Findings of the Association for Computational Linguistics： ACL-IJCNLP 2021. Stroudsburg， PA： Association for Computational Linguistics， 2021： 4179-4192.

［12］Liu Jiacheng， Liu Alisa， Lu Ximing，et al. Generated knowledge prompting for commonsense reasoning ［C］// Proc of the 60th Annual Meeting of the Association for Computational Linguistics. 2022： 3154-3169.

［13］張心月， 劉 蓉， 魏馳宇， 等. 融合提示知識的方面級情感分析方法 ［J］. 計算機應(yīng)用， 2023， 43（9）： 2753-2759. （Zhang Xinyue， Liu Rong， Wei Chiyu，et al. Aspect-based sentiment analysis method with integrating prompt knowledge ［J］. Journal of Computer Applications， 2023 （9）： 2753-2759.）

［14］Balahur A， Hermida J M， Montoyo A. Detecting implicit expressions of emotion in text： a comparative analysis［J］. Decision Support Systems， 2021， 53（4）： 742-753.

［15］Shutova E， Teufel S， Korhonen A. Statistical metaphor processing ［J］. Computational Linguistics， 2013， 39（2）： 301-353.

［16］Deng Lingjia， Wiebe J. Sentiment propagation via implicature constraints ［C］// Proc of the 14th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2014： 377-385.

［17］Xiang Chunli， Ren Yafeng， Ji Donghong. Identifying implicit polarity of events by using an attention-based neural network model ［J］. IEEE Access， 2019， 7： 133170-133177.

［18］Wei J， Liao J， Yang Z， et al. BiLSTM with multi-polarity orthogonal attention for implicit sentiment analysis ［J］. Neurocomputing， 2020， 383： 165-173.

［19］Zuo Enguang， Zhao Hui， Chen Bo，et al. Context-specific heterogeneous graph convolutional network for implicit sentiment analysis ［J］. IEEE Access， 2020， 8： 37967-37975.

［20］Wei J， Wang Xuezhi， Schuurmans D，et al. Chain-of-thought promp-ting elicits reasoning in large language models ［J］. Advances in Neural Information Processing Systems， 2022， 35： 24824-24837.

［21］Fu Yao， Peng Hao， Sabharwal A，et al. Complexity-based prompting for multi-step reasoning ［EB/OL］. （2023-01-30） ［2024-03-19］. https：//doi.org/10.48550/arXiv.2210.00720.

［22］Evans J S B T. Intuition and reasoning： a dual-process perspective ［J］. Psychological Inquiry， 2010， 21（4）： 313-326.

［23］Wang Xuezhi， Wei J， Schuurmans D，et al. Self-consistency improves chain of thought reasoning in language models ［C］ // Proc of International Conference on Learning Representations. 2023.

［24］Bengio Y， Others. From system 1 deep learning to system 2 deep learning［EB/OL］.（2019）. https：//neurips.cc/virtual/2019/invited-talk/15488.

［25］Pontiki M， Galanis D， Pavlopoulos J，et al. SemEval-2014 task 4： aspect based sentiment analysis ［C］// Proc of the 8th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2014： 27-35.

［26］Peters M E， Neumann M， Iyyer M，et al. Deep contextualized word representations ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2018： 2227-2237.

［27］Devlin J， Chang M W， Lee K，et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186.

［28］Yang Zhilin， Dai Zihang， Yang Yiming，et al. XLNet： generalized autoregressive pretraining for language understanding ［EB/OL］. （2019）［2024-03-19］. https：//doi.org/10.48550/arXiv.1906.08237.

［29］Lan Zhenzhong， Chen Mingda， Goodman S，et al. ALBERT： a lite BERT for self-supervised learning of language representations ［EB/OL］. （2019） ［2024-03-19］. https：//doi.org/10.48550/arXiv.1909.11942.

［30］Wu Zhengxuan， Ong D C. Context-guided BERT for targeted aspect-based sentiment analysis［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 14094-14102.

［31］Vaswani A， Shazeer N， Parmar N，et al. Attention is all you need ［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000-6010.

［32］Schick T， Schütze H. Exploiting cloze-questions for few-shot text classification and natural lbzWXur5oeHnabt1+uuWwCA==anguage inference ［C］// Proc of the 16th Conference of the European Chapter of the Association for Computational Linguistics： Main Volume. Stroudsburg， PA： Association for Computational Linguistics， 2021： 255-269.

［33］Hu Shengding， Ding Ning， Wang Huadong，et al. Knowledgeable prompt-tuning： incorporating knowledge into prompt verbalizer for text classification ［EB/OL］.（ 2021） ［2024-03-19］. https：//doi.org/10.48550/arXiv.2108.02035.

［34］Fan Zhifang， Wu Zhen， Dai Xinyu，et al. Target-oriented opinion words extraction with target-fused neural sequence labeling ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2509-2518.

［35］Ouyang Long， Wu J， Jiang Xu，et al. Training language models to follow instructions with human feedback ［J］. Advances in Neural Information Processing Systems， 2022， 35： 27730-27744.

［36］Zhang Chen， Li Qiuchi， Song Dawei. Aspect-based sentiment classification with aspect-specific graph convolutional networks ［C］// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4567-4577.

［37］Xu Hu， Liu Bing， Shu Lei，et al. BERT post-training for review rea-ding comprehension and aspect-based sentiment analysis ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2324-2335.

［38］Jiang Qingnan， Chen Lei， Xu Ruifeng，et al. A challenge dataset and effective models for aspect-based sentiment analysis ［C］// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Proces-sing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 6280-6285.

［39］Chung H W， Hou Le， Longpre S，et al. Scaling instruction-finetuned language models ［EB/OL］. （2022） ［2024-03-19］. https：//doi.org/10.18653/arXiv.2210.11416.