基于動(dòng)態(tài)常識(shí)推理與多維語(yǔ)義特征的幽默識(shí)別

吐妮可·吐?tīng)栠d,閔昶榮,林鴻飛,張冬瑜,楊 亮

(1. 大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,遼寧 大連 116024;2. 大連理工大學(xué) 軟件學(xué)院,遼寧 大連 116620)

0 引言

幽默作為一種修辭手法,是人類(lèi)交際中不可或缺的一部分,在使得人與人之間的溝通更加流暢的同時(shí),營(yíng)造了輕松愉悅的交流氛圍。得益于社交媒體飛速發(fā)展所帶來(lái)的海量文本數(shù)據(jù),自然語(yǔ)言處理領(lǐng)域的文本幽默識(shí)別研究在近年來(lái)取得了長(zhǎng)足進(jìn)展。文本幽默識(shí)別的主要目標(biāo)是通過(guò)計(jì)算方法來(lái)理解文本中的幽默表達(dá)并判斷該文本是否為幽默。幽默識(shí)別不僅能夠應(yīng)用于文本生成、機(jī)器翻譯以及隱喻識(shí)別等任務(wù),還能夠賦予機(jī)器理解幽默的能力,提升現(xiàn)實(shí)中人機(jī)交互的效果。因此,從文本中理解幽默產(chǎn)生的機(jī)制并識(shí)別幽默文本變得尤為重要。

從語(yǔ)言學(xué)與心理學(xué)的角度,主要存在三種觀點(diǎn)來(lái)解釋幽默的產(chǎn)生,分別是: 優(yōu)越論[1]、寬慰論[2]以及乖訛論[3]。其中,優(yōu)越論認(rèn)為幽默是一種表達(dá)并強(qiáng)調(diào)自我價(jià)值與地位的方式,它強(qiáng)調(diào)通過(guò)取笑、諷刺或嘲笑他人來(lái)獲取優(yōu)越感;寬慰論認(rèn)為幽默有助于緩解人們的壓力和緊張情緒;乖訛論又稱(chēng)為不一致性理論,它的表達(dá)中通常會(huì)包含一些出人意料的不一致性,通過(guò)產(chǎn)生違背人們常識(shí)和期望的事物的感知,來(lái)引發(fā)人們的笑聲和關(guān)注?；谏鲜隼碚?研究者們從多個(gè)角度提取文本中的幽默特征,同時(shí)通過(guò)設(shè)計(jì)不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型來(lái)學(xué)習(xí)幽默的深層次語(yǔ)義,基于此判斷該文本是否為幽默。例如,Chauhan等人[4]認(rèn)為幽默與情感和情緒密切相關(guān),提出了利用Transformer和情緒感知嵌入(SE-Embedding)的多任務(wù)框架來(lái)進(jìn)行幽默檢測(cè)。Liu等人[5]基于“優(yōu)越論”和“寬慰論”的觀點(diǎn),結(jié)合情感特征對(duì)語(yǔ)篇單元中的情感關(guān)系建模,證明了情感信息能更有效地解決對(duì)話(huà)幽默識(shí)別問(wèn)題。Li等人[6]使用“樂(lè)觀幽默類(lèi)型”和“悲觀幽默類(lèi)型”的情感極性來(lái)標(biāo)注數(shù)據(jù)集中“積極”和“消極”情緒類(lèi)別,采用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)結(jié)合注意力網(wǎng)絡(luò)的方法,捕捉俚語(yǔ)和微博表情符號(hào)在情感分析中的影響,為深入了解俚語(yǔ)和微博表情符號(hào)對(duì)中文情感分析提供了新視角。

從上述工作中可知,文本內(nèi)蘊(yùn)含的情感特征對(duì)于識(shí)別幽默表達(dá)十分重要,這些工作主要通過(guò)外部詞典匹配的方式來(lái)捕捉文本內(nèi)的情感特征。然而,本文發(fā)現(xiàn)在幽默表達(dá)中很多情緒往往是隱式表達(dá)的,如表1所示,其中第二個(gè)幽默樣本表達(dá)了“悲傷”或者“憤怒”的情緒,但是該樣本并沒(méi)有包含直接表達(dá)情緒的詞匯,而是通過(guò)短語(yǔ)“got fired”來(lái)表達(dá),這種方式稱(chēng)為隱式情感表達(dá)?，F(xiàn)存的幽默識(shí)別方法主要采用外部情感詞典來(lái)捕捉文本內(nèi)的情感信息。顯然,這種方式無(wú)法有效識(shí)別出這些隱式情感表達(dá),降低了模型識(shí)別文本幽默的能力。

表1 幽默樣本以及包含的情緒信息

從認(rèn)知角度,理解這些隱式情緒表達(dá)不僅需要結(jié)合上下文信息,還需要充分利用外部常識(shí)。盡管現(xiàn)有的預(yù)訓(xùn)練語(yǔ)言模型(PLM)能夠高效地捕捉文本的上下文信息, 但是由于其是在大規(guī)模通用語(yǔ)料上訓(xùn)練,因此無(wú)法有效感知這些文本背后的隱式情緒。

為了解決這一問(wèn)題,本文提出一種動(dòng)態(tài)常識(shí)與多維語(yǔ)義特征驅(qū)動(dòng)的幽默識(shí)別方法(Commonsense and Multi-dimensional Semantics Based Humor Detector,CMSOR)。該方法主要是利用外部常識(shí),根據(jù)文本的上下文信息,動(dòng)態(tài)地推斷文本中的隱式情緒,并將其作為文本情緒特征的一部分,參與幽默識(shí)別。

具體地,該方法首先根據(jù)文本內(nèi)容利用預(yù)訓(xùn)練常識(shí)推理工具COMET[7]根據(jù)上下文信息動(dòng)態(tài)推斷文本的內(nèi)蘊(yùn)情感信息,然后將文本內(nèi)容與推斷出的情感信息拼接融合,通過(guò)預(yù)訓(xùn)練語(yǔ)言模型BERT進(jìn)一步將顯式情感融入到文本語(yǔ)義當(dāng)中,形成顯式情感增強(qiáng)的文本表示。同時(shí),利用外部詞典WordNet[8]計(jì)算語(yǔ)義距離以及同義詞數(shù)量,分別形成文本的不一致性特征以及模糊性特征。最后,將上述三種特征進(jìn)行結(jié)合,形成多維幽默語(yǔ)義表示,輸入到分類(lèi)器中,得到幽默預(yù)測(cè)結(jié)果。

本文研究工作主要內(nèi)容如下:

(1) 提出了一種動(dòng)態(tài)常識(shí)驅(qū)動(dòng)的幽默識(shí)別方法CMSOR,利用外部常識(shí)動(dòng)態(tài)捕捉文本的隱式情感特征,同時(shí)利用外部詞典建模模糊性與不一致性特征,從多個(gè)維度構(gòu)建幽默語(yǔ)義,實(shí)現(xiàn)幽默識(shí)別。

(2) 在Pun of the Day、SemEval21以及ColBERT三個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,本文所提出的CMSOR模型相比于現(xiàn)有方法在四項(xiàng)評(píng)價(jià)指標(biāo)上有明顯提升,證明了方法的有效性。

1 相關(guān)工作

由于幽默表達(dá)本身的復(fù)雜性,幽默識(shí)別在近些年來(lái)一直是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。早期的幽默識(shí)別方法主要是基于特征工程,將統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法作為分類(lèi)器,在幽默理論的基礎(chǔ)上設(shè)計(jì)不同的幽默特征提取方案。這些人工提取的特征包括通用語(yǔ)言學(xué)特征以及面向幽默的文本特征。例如,Mihalcea和Strapparova[9]定義了頭韻、反義詞和成人俚語(yǔ)三種幽默特征,通過(guò)實(shí)驗(yàn)證明了他們?cè)趏ne-liner數(shù)據(jù)集中幽默識(shí)別的有效性。Mihalcea等人[10]將幽默文本分為“鋪墊”和“笑點(diǎn)”兩部分,通過(guò)計(jì)算兩者的語(yǔ)義相關(guān)性進(jìn)行幽默識(shí)別。Yang等人[11]深入探討幽默潛在語(yǔ)義特征,構(gòu)造了四種幽默特征,分別是語(yǔ)音特征、歧義特征、不一致性特征和情感特征。Morales 和Zhai[12]針對(duì)Yelp評(píng)論使用概率模型結(jié)合背景文本資源進(jìn)行幽默識(shí)別。Cattle和Ma[13]利用單詞關(guān)聯(lián)的語(yǔ)義關(guān)聯(lián)特征進(jìn)行幽默識(shí)別。上述這些工作大多是利用統(tǒng)計(jì)或者匹配的方法來(lái)提取文本中的淺層幽默特征,無(wú)法對(duì)幽默的深層次潛在語(yǔ)義進(jìn)行表示,從而限制了幽默識(shí)別的性能。

隨著計(jì)算能力的提高以及社交媒體數(shù)據(jù)的增長(zhǎng),深度學(xué)習(xí)在不同領(lǐng)域被廣泛用于輔助或替代傳統(tǒng)的特征工程。與其他領(lǐng)域相比,深度學(xué)習(xí)在幽默識(shí)別任務(wù)中應(yīng)用較晚。這些基于深度神經(jīng)網(wǎng)絡(luò)的幽默識(shí)別方法主要是利用預(yù)訓(xùn)練語(yǔ)言模型表示文本,然后設(shè)計(jì)不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)于幽默特征的深層次提取。例如,Bertero等人[14]認(rèn)為幽默情景劇是一種具有獨(dú)特特點(diǎn)的喜劇形式,背景笑聲可以視為觀眾對(duì)于搞笑場(chǎng)景的反應(yīng),自動(dòng)標(biāo)注這些笑聲可以有效地識(shí)別笑點(diǎn),便在此基礎(chǔ)上使用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)對(duì)幽默情景劇中的對(duì)話(huà)進(jìn)行建模,同時(shí)提取對(duì)話(huà)語(yǔ)義特征和聲音特征來(lái)識(shí)別笑點(diǎn)。Cuza和Buenod等人[15]針對(duì)西班牙推文結(jié)合了語(yǔ)言特征和基于注意力的遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行幽默識(shí)別。Blinov等人[16]收集大量笑話(huà)和趣味對(duì)話(huà)構(gòu)造俄語(yǔ)數(shù)據(jù)集,并微調(diào)語(yǔ)言模型用于幽默識(shí)別。Kao 和Levy 等人[17]提出模糊性和獨(dú)特性?xún)蓚€(gè)特征,使用語(yǔ)言模型識(shí)別幽默語(yǔ)句。Weller和Seppi[18]使用Transformer架構(gòu)識(shí)別幽默。Hasan等人[19]使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行多模態(tài)幽默識(shí)別。Diao等人[20]提出一種基于不一致性、模糊性、情感因素和語(yǔ)言學(xué)潛在語(yǔ)義結(jié)構(gòu)的識(shí)別模型。Fan等人[21]基于Bi-GRU網(wǎng)絡(luò)融合語(yǔ)音特征和歧義性特征進(jìn)行幽默檢測(cè)。Annamoradnejad和Zoghi[22]改進(jìn)BERT模型在自創(chuàng)建的幽默數(shù)據(jù)集ColBERT上進(jìn)行實(shí)驗(yàn),證實(shí)了提出的模型能夠有效地檢測(cè)幽默。Zhang等人[23]利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合標(biāo)簽轉(zhuǎn)移關(guān)系提出多任務(wù)學(xué)習(xí)模型識(shí)別幽默。Ren等人[24]結(jié)合幽默和雙關(guān)語(yǔ)識(shí)別任務(wù),提出一種基于注意力的多任務(wù)學(xué)習(xí)模型來(lái)進(jìn)行幽默檢測(cè)。Ren等人[25]提出一種基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)來(lái)驗(yàn)證發(fā)音、句法與詞法特征對(duì)于幽默識(shí)別任務(wù)的重要性。

與上述工作類(lèi)似,本文同樣考慮了情感特征在幽默表達(dá)中的重要作用。不同的是,本文針對(duì)幽默文本中隱式情感表達(dá)難以被詞典有效識(shí)別的問(wèn)題,采用動(dòng)態(tài)常識(shí)推理,從文本中推斷內(nèi)蘊(yùn)的隱式情感,并結(jié)合模糊特征與不一致特征,從多個(gè)維度對(duì)于文本的幽默語(yǔ)義進(jìn)行刻畫(huà)。

2 動(dòng)態(tài)常識(shí)與多維語(yǔ)義特征驅(qū)動(dòng)的幽默識(shí)別模型(CMSOR)

2.1 問(wèn)題描述

2.2 CMSOR模型框架

本文所提出的基于動(dòng)態(tài)常識(shí)推理與多維語(yǔ)義特征的幽默識(shí)別(CMSOR)模型如圖1所示。該模型主要由三個(gè)部分組成: 情感特征提取層、語(yǔ)義特征提取層、模糊性特征提取層。其中,情感特征提取層主要是考慮到幽默表達(dá)中存在大量隱式情感表達(dá),利用外部常識(shí)推斷文本中的隱式情感表達(dá),充分挖掘文本中的情感特征;語(yǔ)義特征提取層主要是通過(guò)計(jì)算句子內(nèi)部詞對(duì)之間的語(yǔ)義關(guān)聯(lián)來(lái)學(xué)習(xí)文本內(nèi)部的不一致性特征;模糊性特征提取層主要是利用外部詞典捕捉文本中存在歧義性的詞匯,通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)其模糊性特征。最后,將幽默的三個(gè)維度特征進(jìn)行拼接,通過(guò)分類(lèi)器獲得文本的幽默預(yù)測(cè)結(jié)果。

圖1 CMSOR模型框架圖

2.3 外部常識(shí)驅(qū)動(dòng)的情感特征提取

幽默表達(dá)與情感有著極大的關(guān)聯(lián)。一些帶有強(qiáng)烈感情色彩的詞會(huì)增加受眾對(duì)于作者表述的認(rèn)同感,使得讀者的情緒被更為充分地調(diào)動(dòng),從而達(dá)到幽默的效果[26]。然而幽默內(nèi)存在的隱式情感表達(dá)使得通過(guò)外部詞典捕捉文本情感特征變得十分困難。為了解決這一問(wèn)題,本文采用預(yù)訓(xùn)練常識(shí)推理模塊COMET根據(jù)上下文信息動(dòng)態(tài)推斷文本內(nèi)所蘊(yùn)含的情感特征。COMET作為一種常識(shí)推理工具,在給定上下文的情況下,能夠根據(jù)不同的事件關(guān)系來(lái)推理相應(yīng)的結(jié)果。COMET是以Transformer為基礎(chǔ)架構(gòu),并在ATOMIC[27]數(shù)據(jù)集上訓(xùn)練得到。該數(shù)據(jù)集共提供23種事件關(guān)系,而本文主要采用[xReact]這一關(guān)系。它的功能是根據(jù)上下文推斷句子中主語(yǔ)的內(nèi)心情緒,并以文本形式輸出。

具體地,以幽默文本序列x=(w1,w2,…,wm)作為輸入,COMET能夠根據(jù)x推理出說(shuō)話(huà)者可能的內(nèi)心情緒。在這里,本文選擇概率最高的前l(fā)個(gè)可能結(jié)果,并得到說(shuō)話(huà)者情緒候選集K={k1,k2,…,kl}。其中,ki表示第i個(gè)情緒詞。然后,將初始文本序列x與情緒候選集拼接,得到顯式情緒增強(qiáng)的幽默文本序列,如式(1)所示。

xe={w1,w2,…,wm,[SEP],k1,k2,…,kl}

(1)

其中,[SEP]為句子分割符。本文采用BERT對(duì)xe進(jìn)行上下文編碼。具體計(jì)算如式(2)所示。

其中,ve為編碼后得到的句子表示,W0為BERT的可學(xué)習(xí)參數(shù)。

一方面,BERT能夠有效地捕捉上下文信息,將幽默文本x中的單詞wi與情緒候選集K中的情緒單詞ki從語(yǔ)義層面上關(guān)聯(lián)起來(lái),進(jìn)而有效捕捉文本內(nèi)的情緒特征。另一方面,BERT內(nèi)的多頭注意力機(jī)制能夠?yàn)槲谋局械拿總€(gè)單詞賦予不同的權(quán)重,通過(guò)降低與幽默文本無(wú)關(guān)的情緒詞的權(quán)重,來(lái)避免引入過(guò)多噪聲信息。在得到上下文編碼后,采用雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(Bi-LSTM)對(duì)于上下文語(yǔ)義信息進(jìn)行進(jìn)一步學(xué)習(xí),最后通過(guò)注意力機(jī)制獲取潛在情感特征ze,其計(jì)算公式如式(3)、式(4)所示。

其中,ue∈R1×p為輸出的幽默文本表示,p為Bi-LSTM的隱藏層維度。W1為Bi-LSTM的可學(xué)習(xí)參數(shù),W2為注意力機(jī)制的可學(xué)習(xí)參數(shù)。

2.4 基于語(yǔ)義距離的不一致性特征提取

一些語(yǔ)言學(xué)研究[28]認(rèn)為幽默的本質(zhì)在于表現(xiàn)出兩種不一致的思想或概念。同樣的,Raskin等人[29]也指出幽默的產(chǎn)生往往借助于一些有意義但含義不同或相反的詞語(yǔ)或短語(yǔ)的組合,通過(guò)制造錯(cuò)覺(jué)或矛盾感而達(dá)到幽默的效果。例如,

例1I am deeply aware that I am a superficial person.

例1中“deeply”可以翻譯成“深刻”,“superficial”可以翻譯成“膚淺”。這個(gè)句子的中文翻譯是“我深刻地意識(shí)到我是個(gè)膚淺的人”,其中“深刻”和“膚淺”有相反的含義,從而達(dá)到幽默效果。上述例子也可以說(shuō)明幽默中的不一致特征具有隱晦和抽象的特點(diǎn),并與深層次語(yǔ)義關(guān)聯(lián)緊密。從聽(tīng)者角度,需要具有背景知識(shí)才能夠推斷出詞匯或者短語(yǔ)之間的隱含關(guān)系。因此,需要引入外部知識(shí)更好地捕捉幽默的不一致性特征。

具體地,給定一個(gè)輸入文本序列x=(w1,w2,…,wm),本文首先通過(guò)預(yù)訓(xùn)練語(yǔ)言模型將文本序列中的每個(gè)詞進(jìn)行向量化表示并得到V=(v1,v2,…,vm)∈Rm×d。 其中d表示詞向量維度。然后,針對(duì)于x中的每個(gè)詞wi,利用WordNet獲取其詞義特征,并得到H=(h1,h2,…,hm)∈Rm×d′,d′表示其詞義特征維度。將詞義信息H與深層次語(yǔ)義信息V進(jìn)行拼接,得到V′=(v′1,v′2,…,v′m)∈Rm×(d+d′)。 為了計(jì)算詞級(jí)語(yǔ)義不一致性,首先采用兩個(gè)平行語(yǔ)義編碼器對(duì)文本表示V′進(jìn)行壓縮。編碼器由全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn),具體計(jì)算如式(5)、式(6)所示。

2.5 基于同義詞的模糊性特征提取

Reyes和Rosso[30]認(rèn)為幽默是一個(gè)單詞的多個(gè)含義令句子產(chǎn)生不同的理解,借助語(yǔ)義和語(yǔ)境的歧義來(lái)產(chǎn)生的。Miller和Gurevych[31]指出,模糊性是幽默的關(guān)鍵因素,是幽默中常見(jiàn)的語(yǔ)言現(xiàn)象。隨之Reyes等人[32]得出結(jié)論: 幽默的表達(dá)往往伴隨著語(yǔ)義的模棱兩可。如下例:

例2Why did the tomato turn red? Because it saw the salad dressing!

例3My trip to the grand canyon cost a hole lot of money and gorged my bank account butte it was worth it.

例2中“salad”一詞既可以被解釋為用于沙拉的一種醬汁,也可以表示“穿衣服”的意思,從而導(dǎo)致句子產(chǎn)生兩種截然不同的意義來(lái)產(chǎn)生幽默效果。例3中,首先“hole”的字面含義為“洞”,但在口語(yǔ)中也可表示為“大量”或“很多”,其次“butte”的字面含義為“丘陵”,但在句中被用作雙關(guān)詞,與“but”相呼應(yīng)。句子通過(guò)“hole”和“butte”的雙關(guān)含義,使得例3既可描述為旅行花費(fèi)了大量的錢(qián),也可暗示這個(gè)花銷(xiāo)像一個(gè)巨大的洞一樣,吞噬了大量的資金。結(jié)合上述例子,幽默通過(guò)詞匯的多個(gè)含義來(lái)創(chuàng)造幽默,達(dá)到幽默效果。由此可見(jiàn),模糊性是判斷文字是否幽默的重要因素之一,是幽默文本的重要組成部分。綜上所述,本文為提高幽默識(shí)別的性能,利用外部資源WordNet捕獲句子中的歧義詞。

在WordNet數(shù)據(jù)庫(kù)中,名詞、動(dòng)詞、形容詞和副詞都被存儲(chǔ)為同義詞集合的形式,每一個(gè)同義詞集合被稱(chēng)為一個(gè)Synset,包含一組具有相似意義的單詞。不同的Synset之間可以通過(guò)語(yǔ)義關(guān)系和詞性關(guān)系等邊相連接,這些關(guān)系可以幫助人們理解這些單詞之間的聯(lián)系和含義。

針對(duì)于輸入文本序列x=(w1,w2,…,wm),首先利用WordNet中的同義詞集合Synset計(jì)算每個(gè)單詞wi的同義集數(shù)量n。 本文認(rèn)為單詞的同義詞數(shù)量越多,會(huì)導(dǎo)致句子理解存在很多歧義,從而模糊性程度就會(huì)增加,因此本文將同義集數(shù)量最多的詞匯設(shè)置為最容易出現(xiàn)歧義的詞匯,停用詞在句子中不承載實(shí)際的語(yǔ)義信息,因此可以被移除或忽略,從同義詞集合和同義詞數(shù)量中刪除停用詞匯及其個(gè)數(shù)。針對(duì)于同義詞集的數(shù)量,定義如式(7)所示的規(guī)則來(lái)描述每個(gè)詞的模糊程度。

由式(7)得到x的模糊程度序列c=(c1,c2,…,cm),其中,0表示模糊程度最低,4表示模糊程度最高,對(duì)于文本中的停用詞,其模糊程度統(tǒng)一設(shè)定為0。然后,將該序列c進(jìn)行one-hot表示,得到模糊程度矩陣Vc=[c1,c2,…,cm]∈Rm×d。將Vc與文本表示V=[v1,v2,…,vm]∈Rm×d通過(guò)拼接方式進(jìn)行融合,并利用模糊特征編碼器Gfuz學(xué)習(xí)包含模糊特征的文本表示,該編碼器由Bi-LSTM及注意力機(jī)制實(shí)現(xiàn)。其計(jì)算如式(8)所示。

其中,zf為模糊性特征表示,W5為可學(xué)習(xí)參數(shù),⊕表示拼接操作。

2.6 幽默標(biāo)簽預(yù)測(cè)以及損失函數(shù)

在獲得幽默文本的情感特征ze、不一致性特征zs=MaxPooling(S)以及模糊性特征zf之后,將三種特征通過(guò)拼接方式進(jìn)行融合,得到多維度融合幽默特征z=ze⊕zs⊕zf。 通過(guò)注意力機(jī)制進(jìn)一步學(xué)習(xí)三種特征之間的內(nèi)在關(guān)聯(lián),具體計(jì)算如式(9)所示。

其中,W6表示注意力機(jī)制層的可學(xué)習(xí)參數(shù)。在此基礎(chǔ)上,將其輸入到由全連接層構(gòu)成的幽默分類(lèi)器fh中,獲得文本x的幽默標(biāo)簽預(yù)測(cè)。具體計(jì)算如式(10)所示。

最后,CMSOR在分類(lèi)中采用交叉熵(Cross Entropy)作為損失函數(shù)。其損失計(jì)算如式(11)所示。

3 實(shí)驗(yàn)與分析

本節(jié)首先詳細(xì)描述數(shù)據(jù)集、實(shí)驗(yàn)數(shù)據(jù)和實(shí)驗(yàn)設(shè)置,然后對(duì)比了基線(xiàn)方法和本文提出的CMSOR方法的幽默識(shí)別性能,最后結(jié)合對(duì)比實(shí)驗(yàn)以及消融實(shí)驗(yàn)結(jié)果來(lái)討論模型的性能,并驗(yàn)證本文模型方法的有效性。

3.1 數(shù)據(jù)集

為了證明方法的有效性,本文實(shí)驗(yàn)中使用了三個(gè)公開(kāi)的數(shù)據(jù)集,其統(tǒng)計(jì)信息如表2所示。具體介紹如下:

表2 數(shù)據(jù)集統(tǒng)計(jì)信息

PunofTheDay[33]: 該數(shù)據(jù)集的構(gòu)建是Yang等人通過(guò)在互聯(lián)網(wǎng)上收集幽默文本而完成的,包括了各種類(lèi)型的幽默,如雙關(guān)語(yǔ)、笑話(huà)、俏皮話(huà)等等。為確保數(shù)據(jù)的準(zhǔn)確性和可靠性,通過(guò)人工標(biāo)注和質(zhì)量控制的方式對(duì)數(shù)據(jù)進(jìn)行了篩選和整理。該數(shù)據(jù)集目前廣泛使用于幽默識(shí)別中。

SemEval 2021 Task7-1a[34]: 該任務(wù)是一項(xiàng)國(guó)際評(píng)測(cè),Task7子任務(wù)一是識(shí)別文本是否為幽默文本,該數(shù)據(jù)集可以用來(lái)進(jìn)行幽默檢測(cè),本文利用Task7子任務(wù)一涉及數(shù)據(jù)來(lái)判斷是否為幽默文本。

ColBERT[22]: 該數(shù)據(jù)集是一個(gè)大規(guī)模的幽默數(shù)據(jù)集,它包含了20萬(wàn)個(gè)來(lái)自網(wǎng)絡(luò)的英文幽默文本,其中10萬(wàn)正樣本由Reddite收集得到,另外10萬(wàn)負(fù)樣本來(lái)源于新聞?lì)^條。

3.2 實(shí)驗(yàn)數(shù)據(jù)與設(shè)置

實(shí)驗(yàn)在Python 3.7和Keras 2.2.4環(huán)境下進(jìn)行。對(duì)于本文提出的CMSOR模型,其中常識(shí)知識(shí)層本文采用12層的BERT-base-cased(1)https://huggingface.co/bert-base-cased作為預(yù)訓(xùn)練語(yǔ)言模型編碼,其中向量維度為768,共110M個(gè)參數(shù);語(yǔ)義特征提取以及模糊性特征提取采用GloVe,維度為100,詞嵌入在訓(xùn)練的過(guò)程中固定,不在詞匯表中出現(xiàn)的單詞使用(-0.01,0.01)上的平均分布隨機(jī)初始化;使用WordNet獲取單詞同義詞集合;Bi-LSTM的神經(jīng)元數(shù)量為128;Dropout為0.3;Batch大小為64;模型采用Adam Optimzation優(yōu)化算法更新模型參數(shù);采用了學(xué)習(xí)率衰減和早停機(jī)制以防止過(guò)擬合現(xiàn)象。此外,采用準(zhǔn)確度(Accuracy)、精確率(Precision)、召回率(Recall)和F1值(F1-Score)作為實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo),并且所有實(shí)驗(yàn)均進(jìn)行五倍交叉驗(yàn)證,取平均值作為實(shí)驗(yàn)結(jié)果。

3.3 基線(xiàn)方法

本文采用如下基線(xiàn)模型進(jìn)行對(duì)比:

(1) LSTM[35]: 通過(guò)經(jīng)典LSTM模型提取幽默特征進(jìn)行幽默識(shí)別。

(2) Bi-LSTM: 利用可以更好地捕捉雙向語(yǔ)義依賴(lài)關(guān)系的Bi-LSTM模型。

(3) Bi-LSTM+ATT: 使用Bi-LSTM模型結(jié)合注意力機(jī)制提取幽默特征進(jìn)行幽默識(shí)別。

(4) CNN: 采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)獲取幽默語(yǔ)句的潛在語(yǔ)義及模糊性特征進(jìn)行幽默識(shí)別。

(5) BERT[36]: 使用預(yù)訓(xùn)練BERT模型在幽默數(shù)據(jù)集上進(jìn)行微調(diào)。

(6) IEANN[21]: 通過(guò)結(jié)合內(nèi)部及外部注意力神經(jīng)網(wǎng)絡(luò)構(gòu)建兩種注意力機(jī)制,以捕捉幽默文本中的不一致性和模糊性特征。

(7) ABML[24]: 通過(guò)聯(lián)合幽默和雙關(guān)語(yǔ)檢測(cè)的多任務(wù)學(xué)習(xí)模型進(jìn)行幽默識(shí)別。

(8) ANPLS[25]: 通過(guò)結(jié)合發(fā)音、詞匯和句法幽默特征的注意力網(wǎng)絡(luò),提取幽默特征進(jìn)行幽默識(shí)別。

3.4 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果如表3所示,對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行具體分析可以得到如下結(jié)論:

表3 對(duì)比實(shí)驗(yàn)結(jié)果

(1) 本文提出的CMSOR方法在三個(gè)數(shù)據(jù)集上均取得了最好的結(jié)果,在三個(gè)數(shù)據(jù)集上的F1值相比于現(xiàn)存的最優(yōu)結(jié)果分別提升了0.25%、0.31%、0.67%,證明了從情感、不一致性以及模糊性三個(gè)維度構(gòu)建幽默語(yǔ)義并應(yīng)用于幽默識(shí)別是有效的。

(2) 從表中可以看出,相比于基于CNN的幽默識(shí)別方法,基于Transformer的方法(BERT以及CMSOR)在四項(xiàng)評(píng)價(jià)指標(biāo)上有明顯性能提升,這說(shuō)明Transformer能夠通過(guò)全局注意力機(jī)制更好地捕捉幽默文本的上下文信息。

(3) CMSOR方法能夠通過(guò)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),在外部知識(shí)驅(qū)動(dòng)下,自動(dòng)構(gòu)建幽默特征,相比于BERT在Pun of The Day數(shù)據(jù)集上取得了明顯的性能提升(F1值提高2.79%)。這也驗(yàn)證了深度學(xué)習(xí)模型結(jié)合外部知識(shí)能夠在幽默理論約束下學(xué)習(xí)到幽默相關(guān)特征。

(4) 相比于基于RNN的方法, 基于CNN的方法在Pun of The Day和SemEval數(shù)據(jù)集上F1值取得了明顯的提升,如在SemEval數(shù)據(jù)集上, CNN相比于BI-LSTM+ATT在F1值提高了1.18%。這說(shuō)明幽默表達(dá)可能與局部語(yǔ)義信息(Ngram)有著一定的關(guān)聯(lián)。

(5) 與采用情感詞典捕捉文本內(nèi)部情感信息的IEANN相比,本文提出的CMSOR方法在Pun of The Day、SemEval以及ColBERT數(shù)據(jù)集上F1值分別提升了1.35%、1.32%和1.6%。這說(shuō)明利用動(dòng)態(tài)外部常識(shí)信息能夠更準(zhǔn)確地推斷文本內(nèi)部情感。

(6) ABML模型在Pun of The Day和SemEval數(shù)據(jù)集上ACC值高于IEANN和ANPLS。ACC值達(dá)到最高。ABML模型不僅考慮雙關(guān)語(yǔ)的特點(diǎn),還考慮了幽默和雙關(guān)語(yǔ)之間共同的潛在語(yǔ)義信息。這意味著模型能夠更好地理解雙關(guān)語(yǔ)的雙重含義,并將其與幽默特征聯(lián)系起來(lái),有效地增強(qiáng)模型對(duì)幽默的識(shí)別能力。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證CMSOR中不同組件的有效性,本文在三個(gè)數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn),并設(shè)計(jì)以下模型變體: CMSOR-C表示僅使用情感特征;CMSOR-I表示僅使用語(yǔ)義不一致性特征;CMSOR-A表示僅使用模糊性特征;CMSOR-CI表示融合情感特征和語(yǔ)義不一致性特征;CMSOR-CA表示融合情感特征和模糊性特征;CMSOR-IA表示融合語(yǔ)義不一致性特征和模糊性特征。

三個(gè)數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果如表4所示。從表中可以得到如下結(jié)論:

表4 消融實(shí)驗(yàn)結(jié)果

(1) 當(dāng)分別移除情感特征(CMSOR-IA)、模糊特征(CMSOR-CI)以及不一致性特征(CMSOR-CA)之后,模型在SemEval 2021 Task7-1a數(shù)據(jù)集上的四項(xiàng)指標(biāo)均有明顯下降(F1值分別下降3.26%,1.82%,1.45%),這說(shuō)明三種情感特征在幽默識(shí)別任務(wù)中的有效性。然而,在Pun of The Day數(shù)據(jù)集上,當(dāng)移除情感特征后,模型在召回率R上有了提升,這可能是因?yàn)锽ERT在學(xué)習(xí)情感增強(qiáng)的文本表示時(shí),將錯(cuò)誤的情緒信息融入到語(yǔ)義表示當(dāng)中,所以導(dǎo)致該指標(biāo)下降。而在ColBERT數(shù)據(jù)集上,精確率P得到了提升,這可能是因?yàn)榍楦刑卣髋c其他特征存在冗余,即它們所攜帶的信息在一定程度上是重疊的。當(dāng)移除情感特征時(shí),模型可能更加依賴(lài)于其他更為關(guān)鍵的特征,從而提高了精確率。

(2) 當(dāng)只保留模糊性特征的時(shí)候,模型在Pun of The Day 和ColBERT數(shù)據(jù)集上的表現(xiàn)相比于CMSOR下降得最少,在Pun of The Day數(shù)據(jù)集上精確率P得到了提升,這說(shuō)明模糊性特征在構(gòu)建幽默語(yǔ)義的過(guò)程中相比于情感特征以及不一致性特征更加重要。然而,對(duì)于SemEval 2021 Task7-1a數(shù)據(jù)集,情感特征更加重要。

4 參數(shù)分析

圖2展示了不用數(shù)量的常識(shí)信息對(duì)于模型性能的影響。從圖中可以觀察到,在Pun of The Day和ColBERT數(shù)據(jù)集上,當(dāng)知識(shí)數(shù)量為1時(shí),模型效果最差。隨著候選知識(shí)數(shù)量的不斷增加,模型的表現(xiàn)逐漸提升,并且在l=5時(shí)取得最好的結(jié)果。這說(shuō)明有效處理隱式情感表達(dá)對(duì)于CMSOR建模幽默語(yǔ)義具有重要作用,并且顯式情感信息的增加會(huì)提升模型對(duì)于文本情感特征的捕捉效果。對(duì)于SemEval 2021 Task7-1a數(shù)據(jù)集而言,變化趨勢(shì)與其他兩個(gè)數(shù)據(jù)集不同。隨著知識(shí)數(shù)量的增加,模型表現(xiàn)在性能略微提升之后,呈現(xiàn)出下降趨勢(shì),并且在l=4時(shí)取得最差的結(jié)果,但是l=5時(shí)結(jié)果最優(yōu)。這可能是因?yàn)楫?dāng)將知識(shí)數(shù)量增加到5時(shí),一些樣本的隱式情感表達(dá)才能夠被COMET有效推理出來(lái)。

圖2 不同數(shù)量的知識(shí)候選對(duì)模型性能的影響

5 總結(jié)

針對(duì)于現(xiàn)有幽默識(shí)別方法沒(méi)有充分捕捉文本內(nèi)部的情感特征,忽略了幽默文本中的隱式情感表達(dá)這一問(wèn)題,本文提出一種動(dòng)態(tài)常識(shí)與多維語(yǔ)義特征驅(qū)動(dòng)的幽默識(shí)別方法CMSOR。該方法首先利用外部常識(shí)信息從文本中動(dòng)態(tài)推理出說(shuō)話(huà)者的隱式情感表達(dá),然后引入外部詞典WordNet計(jì)算文本內(nèi)部詞級(jí)語(yǔ)義距離,進(jìn)而捕捉不一致性,同時(shí)計(jì)算文本的模糊性特征。最后,根據(jù)上述三個(gè)特征維度構(gòu)建幽默語(yǔ)義,實(shí)現(xiàn)幽默識(shí)別。本文在三個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),結(jié)果表明本文所提方法 CMSOR相比于當(dāng)前基準(zhǔn)模型性能有明顯提升。未來(lái),本文將嘗試把常識(shí)信息應(yīng)用到幽默生成、多模態(tài)幽默識(shí)別等任務(wù)當(dāng)中。