基于偽標(biāo)簽和遷移學(xué)習(xí)的雙關(guān)語(yǔ)識(shí)別方法

姜思羽 張智恒 姜立標(biāo) 馬樂 陳博遠(yuǎn) 王連喜 趙亮

摘要：針對(duì)雙關(guān)語(yǔ)樣本短缺問題，研究提出了基于偽標(biāo)簽和遷移學(xué)習(xí)的雙關(guān)語(yǔ)識(shí)別模型 （pun detection based on Pseudo-label and transfer learning）。該模型利用上下文語(yǔ)義、音素向量和注意力機(jī)制生成偽標(biāo)簽；然后，遷移學(xué)習(xí)和置信度結(jié)合挑選可用的偽標(biāo)簽；最后，將偽標(biāo)簽數(shù)據(jù)和真實(shí)數(shù)據(jù)混合到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，重復(fù)偽標(biāo)簽標(biāo)記和混合訓(xùn)練過程。一定程度上解決了雙關(guān)語(yǔ)樣本量少且獲取困難的問題。使用該模型在SemEval 2017 shared task 7以及Pun of the Day 數(shù)據(jù)集上進(jìn)行雙關(guān)語(yǔ)檢測(cè)實(shí)驗(yàn)，結(jié)果表明模型性能均優(yōu)于現(xiàn)有主流雙關(guān)語(yǔ)識(shí)別方法。

關(guān)鍵詞：雙關(guān)語(yǔ)檢測(cè)；偽標(biāo)簽；遷移學(xué)習(xí)

中圖分類號(hào)：TP391.1????????? 文獻(xiàn)標(biāo)志碼：A????? 文章編號(hào)：1000-582X（2024）02-051-11

Pun detection basd on pseudo-label and transfer learning

JIANG Siyu1，2a， ZHANG Zhiheng1， JIANG Libiao3a， MA Le3b， CHEN Boyuan2b，

WANG Lianxi1， ZHAO Liang4

（1. School of Information Science and Technology， Guangdong University of Foreign Studies，

Guangzhou 510006， P. R. China; 2a. School of Software; 2b. School of Mechanical and Automotive Engineering， South China University of Technology， Guangzhou 510000， P. R. China; 3a. School of Mechanical Engineering; 3b. Engineering Research Institute， Guangzhou City University of Technology， Guangzhou 510800， P. R. China; 4. College of Further Education， Guangdong Industry Polytechnic， Guangzhou 510300， P. R. China）

Abstract： To address the problem of shortage of the pun samples， this paper proposes a pun recognition model based on pseudo-label speech-focused context （pun detection based on pseudo-label and transfer learning）. Firstly， the model uses contextual semantics， phoneme vector and attention mechanism to generate pseudo-labels. Then， it combines transfer learning and confidence to select useful pseudo-labels. Finally， the pseudo-label data and real data are used for network theory and training， and the pseudo-label labeling and mixed training procedures are repeated. To a certain extent， the problem of small sample size and difficulty in obtaining puns has been solved. By this model， we carry out pun detection experiments on both the SemEval 2017 shared task 7 dataset and the Pun of the Day dataset. The results show that the performance of this model is better than that of the existing mainstream pun recognition methods.

Keywords： pun detection; pseudo-label; transfer learning

隨著社交媒體不斷發(fā)展，人們?cè)诰W(wǎng)絡(luò)上創(chuàng)作了大量幽默內(nèi)容。幽默的結(jié)構(gòu)往往十分復(fù)雜，且依賴真實(shí)世界知識(shí)。在自然語(yǔ)言中，常見的修辭方法雙關(guān)語(yǔ)是幽默的一種重要表現(xiàn)形式。雙關(guān)語(yǔ)是將詞語(yǔ)的真正含義模糊化，使同一個(gè)句子有2種或者多種釋義，使文本產(chǎn)生不同程度的敏感性。雙關(guān)語(yǔ)是著名文學(xué)、廣告和演講中幽默來(lái)源的標(biāo)準(zhǔn)修辭手法。例如，它常常作為一種幽默手段被用于廣告中，引發(fā)聽眾聯(lián)想雙關(guān)語(yǔ)中的潛在表達(dá)，既能引人注意又能產(chǎn)生聯(lián)想，加深記憶[1]，有益于判斷文本的情感傾向。因此，雙關(guān)語(yǔ)自動(dòng)識(shí)別被認(rèn)為是傳統(tǒng)語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域認(rèn)知科學(xué)中重要的研究課題，具有廣泛應(yīng)用價(jià)值。

雙關(guān)語(yǔ)的經(jīng)典分類是諧音雙關(guān)語(yǔ)和語(yǔ)義雙關(guān)語(yǔ)[2]。語(yǔ)義雙關(guān)語(yǔ)，即指同詞多義，如表1所示中的“Whats the longest sentence in the world？ Life sentence.”屬于語(yǔ)義雙關(guān)，“Life sentence”中的“sentence”還有徒刑的意思，故“Life sentence”表示為無(wú)期徒刑的意思。諧音雙關(guān)語(yǔ)，2個(gè)不同的詞語(yǔ)符合相同語(yǔ)境，即指同音不同詞，表1中的“A bicycle cant stand on its own because it is two-tyred”中的“two-tyred”根據(jù)讀音可被人聯(lián)想為“too-tired”，使句子具有完全不同意思。理解雙關(guān)語(yǔ)對(duì)于深入理解復(fù)雜語(yǔ)義有重要意義。

隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，現(xiàn)有雙關(guān)語(yǔ)識(shí)別模型算法大多基于神經(jīng)網(wǎng)絡(luò)：例如，刁宇峰等[3]提出了英文字典編碼的搭配注意網(wǎng)絡(luò)模型（word Net-Encoded collocation-attention network， WECA），該模型以基于英文詞典“WordNet“來(lái)理解和編碼嵌入作為輸入，結(jié)合上下文權(quán)重，使用神經(jīng)注意力網(wǎng)絡(luò)，捕捉語(yǔ)義雙關(guān)語(yǔ)中的多義性。但此類基于神經(jīng)網(wǎng)絡(luò)方法學(xué)習(xí)模型存在的缺陷是：1）現(xiàn)有模型依賴大量有標(biāo)簽數(shù)據(jù)?，F(xiàn)實(shí)中雙關(guān)語(yǔ)收集較為困難，一般需要具有豐富相關(guān)知識(shí)的人進(jìn)行準(zhǔn)確判定和分類，Miller等[4]公布了SemEval 2017 shared task 7 （SemEval 2017）數(shù)據(jù)集中一共包含4 030個(gè)雙關(guān)語(yǔ)樣例，反應(yīng)出對(duì)于雙關(guān)語(yǔ)的收集和標(biāo)記有一定難度；2）在少樣本學(xué)習(xí)中，如何提升模型的泛化能力是一個(gè)富有挑戰(zhàn)性的問題。

筆者提出一種基于偽標(biāo)簽和遷移學(xué)習(xí)的雙關(guān)語(yǔ)識(shí)別模型 （pun detection based on pseudo-label and transfer learning，PDPTL）。利用未標(biāo)簽數(shù)據(jù)重疊信息在同類數(shù)據(jù)中尋找更為通用的特征，使用遷移學(xué)習(xí)和置信度結(jié)合挑選可用的偽標(biāo)簽，重復(fù)偽標(biāo)簽數(shù)據(jù)與混合訓(xùn)練過程，一定程度緩解雙關(guān)語(yǔ)數(shù)據(jù)樣本稀缺和模型泛化能力的問題。經(jīng)過實(shí)驗(yàn)，PCPRPL在公開數(shù)據(jù)集的預(yù)測(cè)效果獲得比較明顯提高，且優(yōu)于目前已知方法。

1 相關(guān)工作

雙關(guān)語(yǔ)任務(wù)涉及到雙關(guān)語(yǔ)識(shí)別與生成，研究主要運(yùn)用偽標(biāo)簽和遷移學(xué)習(xí)技術(shù)為解決雙關(guān)語(yǔ)任務(wù)提供新方法。

1.1 雙關(guān)語(yǔ)識(shí)別與生成

Pedersen 等[5]利用詞義消歧技術(shù)（word sense disambiguation technique，WSD）[6]識(shí)別語(yǔ)句中詞語(yǔ)的合理釋義，進(jìn)而達(dá)到識(shí)別雙關(guān)語(yǔ)的目的。Dieke等[7]利用外部數(shù)據(jù)庫(kù)，例如英文詞典“WordNet”，對(duì)雙關(guān)語(yǔ)的詞義進(jìn)行判斷。上述2種方法各有缺點(diǎn)，前者不能處理諧音詞，因?yàn)橹C音詞具有不同拼寫，后者知識(shí)庫(kù)只包含有限詞匯。為解決上述2個(gè)問題，Mikolov等[8]和Pennington 等[9]使用詞嵌入技術(shù)（word embedding techniques， WET）為雙關(guān)語(yǔ)提供了靈活表示。在實(shí)際情景中一個(gè)詞語(yǔ)根據(jù)它所在文本的上下文可能有多種釋義，詞語(yǔ)的罕用含義也可能應(yīng)用于創(chuàng)造雙關(guān)語(yǔ)，使上述靜態(tài)詞嵌入技術(shù)，難以勝任動(dòng)態(tài)變化。為解決上述問題，Zhou等[10]提出語(yǔ)音注意語(yǔ)境雙關(guān)識(shí)別模型（pronunciation-attentive contextualized pun recognition，PCPR）將上下文語(yǔ)義向量和語(yǔ)音嵌入向量2種特征同時(shí)應(yīng)用于雙關(guān)語(yǔ)識(shí)別，取得不錯(cuò)效果。Xiu等[11]基于詞匯網(wǎng)絡(luò)以及詞嵌入技術(shù)訓(xùn)練了無(wú)監(jiān)督模型。該模型只依賴語(yǔ)義來(lái)檢測(cè)異義雙關(guān)語(yǔ)，忽略了語(yǔ)音中蘊(yùn)含的豐富信息。Doogan Samuel等 [12]拼接發(fā)音字符串利用詞嵌入和語(yǔ)音信息，但單采用拼接方法效果有限，利用長(zhǎng)短期記憶網(wǎng)絡(luò)（long - short memory，LSTM）和條件隨機(jī)場(chǎng)（conditional random fields，CRF）的標(biāo)簽聯(lián)合檢測(cè)和定位雙關(guān)語(yǔ)。

1.2 偽標(biāo)簽

Lee等 [13]在2013年實(shí)現(xiàn)了簡(jiǎn)單有效的半監(jiān)督式學(xué)習(xí)方法，叫做“偽標(biāo)簽（pseudo-label）”，這個(gè)想法是在一批有標(biāo)簽和無(wú)標(biāo)簽的圖像上，同時(shí)訓(xùn)練一個(gè)模型。有監(jiān)督方式使用有標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)訓(xùn)練模型，預(yù)測(cè)一批無(wú)標(biāo)簽數(shù)據(jù)生成偽標(biāo)簽，最后使用有標(biāo)簽數(shù)據(jù)和偽標(biāo)簽數(shù)據(jù)訓(xùn)練新模型。

Google AI 的Qizhe Xie等 [14]提出一種受知識(shí)蒸餾（knowledge distillation）啟發(fā)的半監(jiān)督方法“嘈雜學(xué)生（noisy student）”。核心思想是訓(xùn)練2種不同的模型，即“老師（teacher）”和“學(xué)生（student）”。教師模型首先對(duì)標(biāo)簽圖像進(jìn)行訓(xùn)練，對(duì)未標(biāo)記圖像進(jìn)行偽標(biāo)簽推斷。然后，將有標(biāo)記和未標(biāo)記的圖像組合在一起，并根據(jù)這些組合的數(shù)據(jù)訓(xùn)練學(xué)生模型。再將學(xué)生模型作為新的教師模型進(jìn)行迭代，研究使用的無(wú)標(biāo)簽數(shù)據(jù)大部分不屬于目標(biāo)數(shù)據(jù)集的分布。上述偽標(biāo)簽方法大多被應(yīng)用于圖形處理領(lǐng)域。

1.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)（transfer learning）旨在通過遷移包含在不同但相關(guān)源域中的知識(shí)提高目標(biāo)學(xué)習(xí)者在目標(biāo)域上的表現(xiàn)，減少構(gòu)建目標(biāo)學(xué)習(xí)器對(duì)大量目標(biāo)域數(shù)據(jù)的依賴[15]。根據(jù)領(lǐng)域之間差異，遷移學(xué)習(xí)可分為兩類：同構(gòu)遷移學(xué)習(xí)和異構(gòu)遷移學(xué)習(xí)[16]。1）在同構(gòu)遷移學(xué)習(xí)中，一些研究通過校正樣本選擇偏差 [17] 或協(xié)變量偏移 [18]調(diào)整域的邊緣分布。然而，這個(gè)假設(shè)在很多情況下并不成立，如在情感分類問題中，一個(gè)詞在不同領(lǐng)域有不同意義傾向，這種現(xiàn)象也稱為上下文特征偏差，為解決這個(gè)問題，一些研究進(jìn)一步適應(yīng)了條件分布；2）異構(gòu)遷移學(xué)習(xí)是指域具有不同特征空間情況下的知識(shí)遷移過程。除了分布適應(yīng)，異構(gòu)遷移學(xué)習(xí)還需要特征空間適應(yīng)[19]，這使得它比同構(gòu)遷移學(xué)習(xí)更復(fù)雜。筆者主要針對(duì)相似特征空間的雙關(guān)語(yǔ)數(shù)據(jù)集進(jìn)行處理，因此屬于同構(gòu)遷移學(xué)習(xí)方法。

2 基于適應(yīng)偽標(biāo)簽領(lǐng)域的語(yǔ)音專注語(yǔ)境的雙關(guān)語(yǔ)識(shí)別模型

構(gòu)建研究模型：基于偽標(biāo)簽和遷移學(xué)習(xí)的雙關(guān)語(yǔ)識(shí)別模型PDPTL。

2.1 任務(wù)概述

遵循Zhou等對(duì)于任務(wù)的定義，對(duì)于一段含有N個(gè)詞的文本{t_1，t_2，...，t_N}。每個(gè)詞t_i具有M_i個(gè)音素，根據(jù)發(fā)音，可表示為H（t_i）={h_（i，1），h_（i，2），...，h_（i，M_i ）}，h_（i，j）表示文本中第i個(gè)詞的第j個(gè)音素。這些音素是由CMU 發(fā)音字典（CMU pronouncing dictionary）[16]提供。雙關(guān)語(yǔ)檢測(cè)模型的任務(wù)是一個(gè)二分類問題，目的是檢測(cè)輸入文本是否包含雙關(guān)語(yǔ)。

2.2 PDPTL模型框架

基礎(chǔ)模型：PDPTL選用PCPR作為基礎(chǔ)模型。模型使用BERT[20]生成詞語(yǔ)的上下文語(yǔ)義向量TC_i（D_C維的向量），以及文本的總體語(yǔ)義TC_（[CLS]）。

對(duì)于詞語(yǔ)t_i的每個(gè)音素h_（i，j）使用Keras的Embedding層投影為D_P維向量p_（i，j），之后通過局部注意力機(jī)制（local-attention mechanism）[21]進(jìn)行加權(quán)生成語(yǔ)音嵌入向量TP_i（pronunciation embedding vector）

e_（i，j）=tanh（F_P （p_（i，j）））， （1）

α_（i，j）^P=（e_（i，j）^T e_s）/（∑_k?〖e_（i，k）^T e_s 〗）， ?? （2）

TP_i=∑_j?〖α_（i，j） e_（i，j） 〗， （3）

式中：F_P （?）是輸出D_a維向量的全連接層；α_（i，j）^P是p_（i，j）的重要分?jǐn)?shù)；e_s是用來(lái)評(píng)估每個(gè)語(yǔ)音嵌入重要性的D_a維向量，D_a是模型定義的局部注意力機(jī)制的大小。

通過拼接上下文語(yǔ)義向量TC_i和語(yǔ)音嵌入向量TP_i（pronunciation embedding vector）生成TJ_i（D_j=D_a+D_P維向量）并運(yùn)用自注意機(jī)制（Self-attention Mechanism）[22]加權(quán)得到自注意向量TJ_（[ATT]）（self-attention embedding vector）

TJ_i=［TC_i;TP_i］，???? （4）

F_S （T）=Softmax（（TT^T）/√a）T， ??? （5）

α_i^S=（exp（F_S （TJ_i）））/（∑_j?〖exp（F_S （TJ_j））〗），???? （6）

TJ_（[ATT]）=∑_i?〖α_i^S?TJ_i 〗，?? （7）

式中：F_S （T）是用來(lái)估算注意力的函數(shù)；α_i^S是每個(gè)單詞t_i的重要分?jǐn)?shù)；a是一個(gè)縮放系數(shù)，為了避免過小的梯度。最后拼接TJ_（[ATT]）與TC_（[CLS]）生成輸入文本的整體特征即語(yǔ)音聯(lián)合上下文語(yǔ)義向量TJ_（[CLS]）

TJ_（[CLS]）=［TC_（[CLS}）;TJ_（[ATT]）］，???? （8）

預(yù)測(cè)標(biāo)簽由采用softmax激活函數(shù)的全連接層給出

y ?_i^L=argmaxF_D （TJ_（[CLS]） ）_k，k∈{0，1}，??? （9）

式中，F(xiàn)_D 〖（?）〗_k生成二元分類中兩類的值。

偽標(biāo)簽：先前的偽標(biāo)簽學(xué)習(xí)方法篩選偽標(biāo)簽的策略通常為選取高置信度的樣本。策略的依據(jù)是聚類假設(shè)，即高置信度樣本在相同類別的可能性較大。具體步驟為設(shè)定confidence_coefficient這一置信度閾值，只有生成的偽標(biāo)簽概率大于confidence_coefficient時(shí)，模型才會(huì)將其加入訓(xùn)練數(shù)據(jù)中。

概率由以下公式得出

confidence=MAX（Softmax（F_D （TJ_（[CLS]））），??? （10）

但這樣的策略，一方面閾值的確定過于依賴人工實(shí)驗(yàn)，另一方面忽視了潛藏的危險(xiǎn)“高置信度的陷阱”——模型所認(rèn)為的高置信度樣本并不一定可靠，最終導(dǎo)致高置信度的錯(cuò)誤樣本加入到了模型訓(xùn)練過程中。為了篩選出更加可靠的樣本，模型在高置信度策略基礎(chǔ)上結(jié)合遷移學(xué)習(xí)方法中的MMD（maximum mean discrepancy）[23]距離來(lái)評(píng)估偽標(biāo)簽樣本的可靠性。

MMD是由Gretton 等人提出，用于度量2個(gè)數(shù)據(jù)集分布的匹配程度，常用于檢測(cè)雙關(guān)樣本問題。度量值代表2個(gè)數(shù)據(jù)集分布在再生希爾伯特空間（reproducing kernel Hilbert space，RKHS）中的距離，度量值越小，則距離越近，代表2個(gè)分布越相似，MMD的計(jì)算公式如下

MMD（TD，PD）=‖1/n^2? ∑_i^n?∑_i^n?〖k（TD_i，TD_i）-2/nm ∑_i^n?∑_j^m?〖k（TD_i，PD_j）-〗〗┤ ├ 1/m^2? ∑_j^m?∑_j^m?〖k（PD_j，PD_j）〗┤‖_H。? （11）

本模型的偽標(biāo)簽樣本篩選策略，給定置信度閾值confidence_coefficient一個(gè)初始值，置信度閾值以一定步幅（speed）增長(zhǎng)，計(jì)算在當(dāng)前置信度閾值下篩選得出的偽標(biāo)簽數(shù)據(jù)（Pseudo_label_data）與訓(xùn)練數(shù)據(jù)（labeled_data）的MMD距離，將其中MMD距離最小的閾值作為最終置信度閾值，由此篩選出最終偽標(biāo)簽數(shù)據(jù)（Pseudo_label_data），標(biāo)記偽標(biāo)簽，加入訓(xùn)練。為了保證模型能盡可能學(xué)到正確知識(shí)及從有標(biāo)簽數(shù)據(jù)中學(xué)習(xí)到足夠知識(shí)，筆者采用了加權(quán)損失函數(shù)，即在T_start批次前對(duì)帶有偽標(biāo)簽的數(shù)據(jù)權(quán)重設(shè)置為零后慢慢增加，直到T_End批次保持不變?yōu)槌?shù)weight。

weight（t）={（0，@（t-T_start）/（T_End-T_start ）×weight，@weight，）┤ （t

損失函數(shù)為交叉熵?fù)p失函數(shù)，真實(shí)訓(xùn)練數(shù)據(jù)（labeled_data）和偽標(biāo)簽數(shù)據(jù)（Pseudo_label_data）將會(huì)分開計(jì)算損失值，最后如下加權(quán)合并得出最終損失Loss

Loss=loss（labeled_data）+weight（t）*loss（Pseudo_label_data）。????? （13）

PDPTL：圖 1體現(xiàn)了PDPTL的整體框架。概括而言，模型分為3步：

1） 通過有標(biāo)簽數(shù)據(jù)訓(xùn)練基礎(chǔ)模型，得到已訓(xùn)練模型；

2） 已訓(xùn)練模型對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行預(yù)測(cè)獲得帶有偽標(biāo)簽的數(shù)據(jù)；

3） 將有標(biāo)簽數(shù)據(jù)和篩選后的偽標(biāo)簽數(shù)據(jù)混合取代有標(biāo)簽數(shù)據(jù)重新訓(xùn)練基礎(chǔ)模型，進(jìn)入下一輪。

根據(jù)以上闡述，算法1展示了PDPTL的總體流程。

算法1

/*

times循環(huán)更新pseudo_labels的次數(shù)

Base_Model基礎(chǔ)模型

num_train_epochs模型訓(xùn)練批次

eval_data無(wú)標(biāo)簽數(shù)據(jù)。

eval（）評(píng)估函數(shù)輸入模型和無(wú)標(biāo)簽數(shù)據(jù)輸出偽標(biāo)簽數(shù)據(jù)

confidence_coefficient 初始閾值

Best_MMD 最小的MMD距離

Best_confidence_coefficient 最佳閾值

speed 閾值增加步幅

*/

for index<-0 to times：/*times循環(huán)更新pseudo_labels的次數(shù)*/

{

init Base_Model/*Base_Model基礎(chǔ)模型*/

for epoch<-0 to num_train_epochs：/*num_train_epochs模型訓(xùn)練批次*/

{

train Base_Model with train_data_with_label /*使用訓(xùn)練數(shù)據(jù)訓(xùn)練Base_Model*/

}

data_with_pseudo_labels <- eval（Base_Model，eval_data）

/*eval_data無(wú)標(biāo)簽數(shù)據(jù)。eval（）評(píng)估函數(shù)輸入模型和無(wú)標(biāo)簽數(shù)據(jù)輸出偽標(biāo)簽數(shù)據(jù)*/

init train_data_with_label

/*初始化訓(xùn)練數(shù)據(jù)，即去除上一輪加入的偽標(biāo)簽數(shù)據(jù)*/

Now_confidence_coefficient = confidence_coefficient

While Now_confidence_coefficient <= 1：

{

for data_with_pseudo_label in data_with_pseudo_labels：/*遍歷每一條偽標(biāo)簽數(shù)據(jù)*/

{

if probability of data_with_pseudo_label larger than Now_confidence_coefficient：

/*判斷的概率大于置信度confidence_coefficient*/

add data_with_pseudo_label to pseudo _data_with_label/*將偽標(biāo)簽數(shù)據(jù)加入偽標(biāo)簽數(shù)據(jù)集中*/

}

MDD = getMDD（train_data_with_label，pseudo _data_with_label）/*獲取當(dāng)前偽標(biāo)簽數(shù)據(jù)集與訓(xùn)練數(shù)據(jù)集的MDD*/

if Now_ confidence_coefficient == confidence_coefficient：

Best_MDD = MDD

else：

if Best_MDD < MDD：/*距離變小則更新*/

{

Best_MDD = MDD

Best_confidence_coefficient = Now_confidence_coefficient/*更新最佳閾值和最佳偽標(biāo)簽數(shù)據(jù)集*/

best_pseudo_data_with_label = pseudo_data_with_label

}

init pseudo _data_with_label/*初始化當(dāng)前偽標(biāo)簽數(shù)據(jù)集，即清空

Now_confidence_coefficient = Now_confidence_coefficient + speed/*按照speed遞增*/

}

Add best_pseudo_data_with_label to train_data_with_label

}

3 實(shí)驗(yàn)

展示實(shí)驗(yàn)相關(guān)設(shè)置，將PDPTL模型與其他經(jīng)典算法在2個(gè)公開數(shù)據(jù)集上進(jìn)行性能比較。

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)集：模型在 SemEval 2017 shared task 7 數(shù)據(jù)集 （SemEval 2017） [4]以及the Pun of The Day 數(shù)據(jù)集 （PTD） [24]進(jìn)行實(shí)驗(yàn)。SemEval 2017 task 7 數(shù)據(jù)集由4 030個(gè)雙關(guān)語(yǔ)樣例組成，且每個(gè)樣例都被細(xì)分為語(yǔ)義雙關(guān)語(yǔ)或者諧音雙關(guān)語(yǔ)，表2詳細(xì)統(tǒng)計(jì)了數(shù)據(jù)集。SemEval 2017 數(shù)據(jù)集包含了雙關(guān)語(yǔ)和非雙關(guān)語(yǔ)笑話、格言以及由專業(yè)幽默作家創(chuàng)作，或從網(wǎng)絡(luò)上收集的短文。這個(gè)數(shù)據(jù)集是目前此研究領(lǐng)域中使用的最大公開數(shù)據(jù)集。

PTD 數(shù)據(jù)集包含4 826個(gè)樣例。表3顯示了PDT的統(tǒng)計(jì)信息。PTD 數(shù)據(jù)集則包含從雙關(guān)語(yǔ)網(wǎng)站上篩選收集的雙關(guān)語(yǔ)笑話和從美聯(lián)社新聞、《紐約時(shí)報(bào)》、雅虎問答以及英文諺語(yǔ)中篩選摘取的非幽默文本。雖然PTD數(shù)據(jù)集原意是為識(shí)別幽默文本創(chuàng)建，但由于其上述特殊的內(nèi)在構(gòu)成，本模型也將在該數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

評(píng)價(jià)標(biāo)準(zhǔn)：選擇使用準(zhǔn)確率（P），召回率（R）以及F1值來(lái)比較PDPTL和基礎(chǔ)模型以及其他基準(zhǔn)模型的性能。其中TP代表被模型正確分類的包含雙關(guān)語(yǔ)的樣例數(shù)量，MP代表了模型判斷為包含雙關(guān)語(yǔ)的樣例的數(shù)量，TP為真實(shí)包含雙關(guān)語(yǔ)的樣例數(shù)量。

P=TP/MP ，????? （14）

R=TP/TR，? （15）

F1= 2RP/（R+P）。??? （16）

基準(zhǔn)模型：在SemEval 2017數(shù)據(jù)集上，PDPTL會(huì)與Duluth ， CRF [24]，Joint [24]，JU_CSE_ NLP[25]，PunFields[26]，F(xiàn)ermi[27]以及CPR[10]7個(gè)基準(zhǔn)模型比較。JU_CSE_ NLP基于規(guī)則分類雙關(guān)語(yǔ)。PunFields使用同義詞典識(shí)別雙關(guān)語(yǔ)。Fermi在監(jiān)督學(xué)習(xí)的基礎(chǔ)上使用RNN分類。CPR即是PCPR模型去除語(yǔ)音特征，只使用語(yǔ)義特征。在PDT數(shù)據(jù)集上，模型會(huì)和HAE [28]，MCL[29]，PAL [30]、HUR[31]、WECA[2]以及CPR 5個(gè)基準(zhǔn)模型進(jìn)行比較。HAE [23]應(yīng)用了基于Word2Vec和以人為中心的隨機(jī)森林方法。MCL[24]利用帶有多種文體特征的單詞表示。PAL[29]運(yùn)用CNN方法去自動(dòng)學(xué)習(xí)基本特征。HUR[31] 在已有CNN模型基礎(chǔ)上調(diào)整了過濾器的大小和添加highway層。

實(shí)驗(yàn)細(xì)節(jié)設(shè)置：模型的超參數(shù)weight=0.84，T_start=2，T_End=4，times=5，num_train_epochs=7，confidence_coefficient=0.999 7，speed=0.000 1。但在PDT數(shù)據(jù)集上，times=3，num_train_epochs=5。模型的實(shí)驗(yàn)環(huán)境：pytorch-pretrained-bert==0.6.1， seqeval==0.0.5，torch==1.0.1.post2，tqdm==4.31.1，nltk==3.4.5，GPU型號(hào)為Tesla V100-SXM2，實(shí)驗(yàn)在Goolgle的Colab平臺(tái)運(yùn)行。

3.2 實(shí)驗(yàn)結(jié)果

表4將PDPTL模型與其他經(jīng)典模型在檢測(cè)SemEval數(shù)據(jù)集上的語(yǔ)義雙關(guān)語(yǔ)和諧音雙關(guān)語(yǔ)性能方面進(jìn)行比較。在SemEval 2017數(shù)據(jù)集上，PDPTL對(duì)比3個(gè)基準(zhǔn)模型表現(xiàn)最優(yōu)。在語(yǔ)義雙關(guān)語(yǔ)上對(duì)比最優(yōu)基準(zhǔn)模型分別在準(zhǔn)確率（P）、召回率（R）和F1值（F1）提高5.01%、2.93%、4.04%，在諧音雙關(guān)語(yǔ)上對(duì)比最優(yōu)的基準(zhǔn)模型分別在準(zhǔn)確率（P）、召回率（R）和F1值（F1）提高9.12%、3.77%、6.55%。

表5則是在PDT數(shù)據(jù)集上比較了模型的性能。在PDT數(shù)據(jù)集上，PDPTL對(duì)比最優(yōu)的基準(zhǔn)模型分別在準(zhǔn)確率（P）、召回率（R）和F1值（F1）提高12.01%、5.54%、8.98%。

圖2與圖3為PDPTL與基礎(chǔ)模型在2個(gè)數(shù)據(jù)集上的比較。在SemEval數(shù)據(jù)集上，對(duì)于語(yǔ)義雙關(guān)語(yǔ)，PDPTL模型相較于基礎(chǔ)模型分別在準(zhǔn)確率（P）、召回率（R）和F1值（F1）提高1.51%、0.69%、1.10%。對(duì)于諧音雙關(guān)語(yǔ)，PDPTL模型對(duì)比基礎(chǔ)模型分別在準(zhǔn)確率（P）、召回率（R）和F1值（F1）提高0.87%、1.73%、1.30%。在PDT數(shù)據(jù)集上，PDPTL模型對(duì)比基礎(chǔ)模型分別在準(zhǔn)確率（P）、召回率（R）和F1值（F1）提高0.37%、0.65%、0.52%。值得注意，PCPR方法和CPR方法在PDT數(shù)據(jù)集上相比較結(jié)果相差無(wú)幾。CPR方法即是PCPR去除語(yǔ)音向量，僅依靠BERT生成的上下文語(yǔ)義向量及注意力機(jī)制。明顯看出PDPTL方法在PDT數(shù)據(jù)集上提升效果不如在SemEval 2017數(shù)據(jù)集， PDT數(shù)據(jù)集的樣本數(shù)量是SemEval數(shù)據(jù)集單一子集數(shù)量的2倍，結(jié)果符合假設(shè)。

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有的雙關(guān)語(yǔ)數(shù)據(jù)集樣本較少問題，提出利用偽標(biāo)簽技術(shù)輔助模型進(jìn)行訓(xùn)練；考慮到偽標(biāo)簽數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的特征分布差異，遷移學(xué)習(xí)技術(shù)和置信度相結(jié)合，提出一種新型雙關(guān)語(yǔ)識(shí)別模型。使用該模型在SemEval 2017 shared task 7以及Pun of the Day 數(shù)據(jù)集上進(jìn)行雙關(guān)語(yǔ)檢測(cè)實(shí)驗(yàn)，表明了PDPTL模型可拉近偽標(biāo)簽和真實(shí)標(biāo)簽數(shù)據(jù)的特征分布，預(yù)測(cè)性能均優(yōu)于現(xiàn)有的主流雙關(guān)語(yǔ)識(shí)別方法。

參考文獻(xiàn)

［1］? 徐琳宏， 林鴻飛， 祁瑞華， 等. 基于多特征融合的諧音廣告語(yǔ)生成模型[J]. 中文信息學(xué)報(bào)， 2018， 32（10）： 109-117.

Xu L H， Lin H F， Qi R H， et al. Homophonic advertisement generation based on features fusion[J]. Journal of Chinese Information Processing， 2018， 32（10）： 109-117.（in Chinese）

［2］? Redfern W D. Guano of the mind： puns in advertising[J]. Language & Communication， 1982， 2（3）： 269-276.

［3］? Diao Y F， Lin H F， Wu D， et al. WECA： a WordNet-encoded collocation-attention network for homographic pun recognition[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels， Belgium. Stroudsburg， PA， USA： Association for Computational Linguistics， 2018： 2507–2516.

［4］? Miller T， Hempelmann C F， Gurevych I. Semeval-2017 task 7： detection and interpretation of english puns[C]//Proceedings of the 11th International Workshop on Semantic Evaluation （SemEval-2017）. Vancouver， Canada： Association for Computational Linguistics， 2017： 58-68.

［5］? Pedersen T. Puns upon a midnight dreary， lexical semantics for the weak and weary[C]//Proceedings of the 11th International Workshop on Semantic Evaluation. Vancouver， Canada： Association for Computational Linguistics， 2017： 416-420.

［6］? Ranjan Pal A， Saha D. Word sense disambiguation： a survey[J]. International Journal of Control Theory and Computer Modeling， 2015， 5（3）： 1-16.

［7］? Dieke O， Kilian E. Global vs. local context for interpreting and locating homographic english puns with sense embeddings[C]//Proceedings of the 11th International Workshop on Semantic Evaluation. Vancouver， Canada： Association for Computational Linguistics， 2017： 444-448.

［8］? Mikolov T， Sutskever I， Chen K， et al. Distributed representations of words and phrases and their compositionality[EB/OL]. [2021-06-10].. https：//arxiv.org/abs/1310.4546.pdf.

［9］? Pennington J， Socher R， Manning C. Glove： global vectors for word representation[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）. Doha， Qatar. Stroudsburg， PA， USA： Association for Computational Linguistics， 2014： 1532–1543.

［10］? Zhou Y C， et al. The boating store had its best sail ever： pronunciation-attentive contextualized pun recognition[EB/OL].[2021-06-10]. https：//arxiv.org/pdf/2004.14457.pdf.

［11］? Xiu Y L， et al. Using supervised and unsupervised methods to detect and locate english puns[C]//Proceedings of the 11th International Workshop on Semantic Evaluation. Vancouver， Canada： Association for Computational Linguistics， 2017： 453-456.

［12］? Samuel D， Aniruddha G， Hanyang C，et al. Detection and interpretation of english puns[C]//Proceedings of the 11th International Workshop on Semantic Evaluation. Vancouver， Canada： Association for Computational Linguistics， 2017： 103-108.

［13］? Lee D. Pseudo-label： The simple and efficient semi-supervised learning method for deep neural networks[C]//In Workshop on Challenges in Representation Learning， Atlanta， Georgia： International Conference on Machine Learning， 2013.

［14］? Xie Q Z， Luong M T， Hovy E， et al. Self-training with noisy student improves ImageNet classification[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. June 13-19， 2020. Seattle， WA， USA： IEEE， 2020： 10684-10695.

［15］? Zhuang F Z， Qi Z Y， Duan K Y， et al. A comprehensive survey on transfer learning[J]. Proceedings of the IEEE， 2021， 109（1）： 43-76.

［16］? Pan S J， Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）： 1345-1359.

［17］? Huang J Y， Smola A J， Gretton A， et al. Correcting sample selection bias by unlabeled data[M]//Advances in Neural Information Processing Systems 19. US： MIT Press， 2007： 601-608.

［18］? Sugiyama M， Suzuki T， Nakajima S， et al. Direct importance estimation for covariate shift adaptation[J]. Annals of the Institute of Statistical Mathematics， 2008， 60（4）： 699-746.

［19］? Day O， Khoshgoftaar T M. A survey on heterogeneous transfer learning[J]. Journal of Big Data， 2017， 4（1）： 1-42.

［20］? Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding[EB/OL]. [2021-06-10].. https：//arxiv.org/abs/1810.04805.pdf.

［21］? Bahdanau D， Cho K， Bengio Y. Neural machine translation by jointly learning to align and translate[EB/OL]. [2021-06-10]. https：//arxiv.org/abs/1409.0473.pdf.

［22］? Ashish V， Noam S， Niki P， et al. Attention is all you need[J]. Advances in Neural Information Processing Systems， 2017： 5998-6008.

［23］? Gretton A， Borgwardt K， Rasch M， et al. A kernel two-sample test[J]. Journal of Machine Learning Research， 2012（13）：723-773.

［24］? Yanyan Z， Wei L. Joint detection and location of english puns[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Minnesota： Association for Computational Linguistics， 2019： 2117-2123.

［25］? Aniket P， Dipankar D. Employing rules to detect and interpret english puns[C]// Proceedings of the 11th International Workshop on Semantic Evaluation. Vancouver， Canada： Association for Computational Linguistics， 2017： 432-435.

［26］? Mikhalkova E， Karyakin Y. Pun fields at SemEval-2017 task 7： employing rogets thesaurus in automatic pun recognition and interpretation[C]//Proceedings of the 11th International Workshop on Semantic Evaluation （SemEval-2017）. Vancouver， Canada. Stroudsburg， PA， USA： Association for Computational Linguistics， 2017.

［27］? Indurthi V， Oota S R. Fermi at SemEval-2017 task 7： detection and interpretation of homographic puns in English language[C]//Proceedings of the 11th International Workshop on Semantic Evaluation （SemEval-2017）. Vancouver， Canada. Stroudsburg， PA， USA： Association for Computational Linguistics， 2017： 457-460.

［28］? Yang D Y， Lavie A， Dyer C， et al. Humor recognition and humor anchor extraction[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon， Portugal. Stroudsburg， PA， USA： Association for Computational Linguistics， 2015： 2367-2376.

［29］? Mihalcea R， Strapparava C. Making computers laugh： investigations in automatic humor recognition[C]//Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing - HLT '05. October 6-8， 2005. Vancouver， ColumbiaBritish， Canada. Morristown， NJ， USA： Association for Computational Linguistics， 2005.

［30］? Chen L， Lee C M. Predicting audiences laughter using convolutional neural network[EB/OL]. [2021-06-10].https：//arxiv.org/abs/1702.02584.pdf.

［31］? Chen P Y， Soo V W. Humor recognition using deep learning[C]//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 2 （Short Papers）. New Orleans， Louisiana. Stroudsburg， PA， USA： Association for Computational Linguistics， 2018： 113-117.

（編輯? 侯湘）