類型感知的漢越跨語(yǔ)言事件檢測(cè)方法

張 磊，高盛祥，余正濤，劉 暢，陳瑞清

(1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，昆明 650500；2.昆明理工大學(xué) 云南省人工智能重點(diǎn)實(shí)驗(yàn)室，昆明 650500)

0 引 言

事件檢測(cè)是自然語(yǔ)言處理(natural language processing， NLP)的重要主題之一，目標(biāo)是在純文本中識(shí)別特定的事件類型。漢越跨語(yǔ)言事件檢測(cè)就是在漢語(yǔ)和越南語(yǔ)上實(shí)現(xiàn)雙語(yǔ)事件檢測(cè)。

目前在漢越事件方面的跨語(yǔ)言工作還很有限，其涉及到跨語(yǔ)言語(yǔ)義表征問題。漢語(yǔ)語(yǔ)料豐富而越南語(yǔ)作為小語(yǔ)種語(yǔ)料稀缺、數(shù)據(jù)標(biāo)注困難，且漢越同屬孤立語(yǔ)系[1]，既存在相似之處又存在明顯的差異性，給漢越事件檢測(cè)帶來了挑戰(zhàn)?？缯Z(yǔ)言事件檢測(cè)方法目前還沒有系統(tǒng)的分類，針對(duì)跨語(yǔ)言問題的解決大致有以下3類。

1)基于多語(yǔ)言多任務(wù)的方法。Alexis等[2]提出跨語(yǔ)言模型XLM-R，刷新了多個(gè)跨語(yǔ)言任務(wù)的記錄包括跨語(yǔ)言事件檢測(cè)，但是需要大量的語(yǔ)料，其中，越南語(yǔ)同樣面臨數(shù)據(jù)稀缺的問題，且模型較大需要很長(zhǎng)的訓(xùn)練時(shí)間。Andrew[3]在多種語(yǔ)言上進(jìn)行訓(xùn)練，利用依賴于語(yǔ)言的特征和不依賴于語(yǔ)言的特征提高跨語(yǔ)言事件抽取性能。

2)基于跨語(yǔ)言詞向量映射的方法。Anders等[4]提出一個(gè)共享的、跨語(yǔ)言的向量空間，但僅僅只是跨語(yǔ)言詞向量映射導(dǎo)致雙語(yǔ)之間的語(yǔ)義粒度過大，在具體的任務(wù)上不能準(zhǔn)確反映語(yǔ)言本身的層級(jí)語(yǔ)義特征。Ananya等[5]通過使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)，將所有實(shí)體信息片段、事件觸發(fā)詞、事件背景放入一個(gè)復(fù)雜的、結(jié)構(gòu)化的多語(yǔ)言公共空間，然后從源語(yǔ)言注釋中訓(xùn)練一個(gè)事件抽取器，并將它應(yīng)用于目標(biāo)語(yǔ)言。

3)一般跨語(yǔ)言任務(wù)中還有翻譯和對(duì)抗的方法。Guillaume[6]引入翻譯系統(tǒng)橋接2種語(yǔ)言，但機(jī)器翻譯模型需要大量的平行句對(duì)來訓(xùn)練，漢越上準(zhǔn)確度還有待提升，且引入了噪聲，如翻譯錯(cuò)誤和對(duì)齊錯(cuò)誤等。Mei等[7]基于對(duì)抗學(xué)習(xí)自適應(yīng)(adversarial based domain adaptation)通過判別器和生成器將源域和目標(biāo)域數(shù)據(jù)在數(shù)據(jù)空間或者特征空間對(duì)齊，在目標(biāo)域數(shù)據(jù)未標(biāo)記的情況下學(xué)習(xí)域之間的映射，即學(xué)習(xí)語(yǔ)言不變性的特征，實(shí)現(xiàn)跨語(yǔ)言的域適應(yīng)(domain adaptation)。而Yaroslav等[8]令對(duì)抗學(xué)習(xí)(adversarial learning)與領(lǐng)域自適應(yīng)相結(jié)合，并提出了梯度反轉(zhuǎn)概念[9]，使得模型的訓(xùn)練不需要如同生成對(duì)抗網(wǎng)絡(luò)(generative adversarial net,GAN)的復(fù)雜訓(xùn)練過程。

主流方法依賴人工標(biāo)注數(shù)據(jù)和平行語(yǔ)料，對(duì)于越南語(yǔ)來說，只有少量漢-越平行語(yǔ)料，有標(biāo)注數(shù)據(jù)稀缺，且人工標(biāo)注代價(jià)昂貴。事件檢測(cè)的許多先進(jìn)模型嚴(yán)重依賴監(jiān)督方法中的巨量有標(biāo)簽數(shù)據(jù)，由于沒有足夠的越南語(yǔ)數(shù)據(jù)作為統(tǒng)計(jì)學(xué)習(xí)模型的訓(xùn)練支撐，模型在越語(yǔ)上的性能往往不佳。

觸發(fā)詞被定義為詞或短語(yǔ)，注釋者需要從給定句子中嚴(yán)格標(biāo)注“最清晰”的詞，越南語(yǔ)由音節(jié)構(gòu)詞，音節(jié)可以獨(dú)立使用，或組成多音節(jié)詞，事件觸發(fā)詞的標(biāo)注和識(shí)別存在歧義，使得越南語(yǔ)事件檢測(cè)受限于多音節(jié)詞歧義。

本文提出一種事件類型感知的漢越跨語(yǔ)言事件檢測(cè)模型。采取語(yǔ)言對(duì)抗的方式訓(xùn)練大量有標(biāo)注的漢語(yǔ)語(yǔ)料和無標(biāo)注越南語(yǔ)語(yǔ)料，在漢語(yǔ)和越南語(yǔ)分布之間存在轉(zhuǎn)移的情況下，訓(xùn)練語(yǔ)言鑒別器，遷移漢語(yǔ)中事件類型信息到共享的特征提取器中，因此，經(jīng)漢語(yǔ)訓(xùn)練的分類器也可以用于越南語(yǔ)[10]。融合詞位置、詞性和命名實(shí)體信息，通過基于事件類型的注意力機(jī)制凸顯事件相關(guān)詞的語(yǔ)義貢獻(xiàn)，探索在沒有清晰定義觸發(fā)詞的情況下檢測(cè)事件，模糊觸發(fā)詞對(duì)于事件類型的影響。

1 基于事件類型感知的特征提取網(wǎng)絡(luò)F

每個(gè)事件類型都與某些詞組相關(guān)聯(lián)，準(zhǔn)確捕獲這些詞的語(yǔ)義信息[11]就能更好地判斷其到底更偏向哪種事件類型。本文任務(wù)中沒有標(biāo)注觸發(fā)詞，為了捕獲這些詞的語(yǔ)義信息，提出基于事件類型感知的特征提取網(wǎng)絡(luò)，將詞位置、詞性和命名實(shí)體等信息與雙語(yǔ)詞向量拼接，即漢語(yǔ)和越南語(yǔ)的差異信息送入模型。通過多個(gè)二進(jìn)制分類對(duì)該任務(wù)進(jìn)行建模，給定一個(gè)句子，它將被放入所有候選事件類型的二進(jìn)制分類器中，輸入是。網(wǎng)絡(luò)在特征提取階段依據(jù)候選事件類型等信息，使得注意力機(jī)制將更多的權(quán)重分配給與本事件類型相關(guān)的詞上，如圖1所示。

圖1 事件類型感知的聯(lián)合特征提取網(wǎng)絡(luò)Fig.1 Joint feature extraction network for event type awareness

1.1 漢越雙語(yǔ)詞向量預(yù)訓(xùn)練

從大量未標(biāo)記數(shù)據(jù)中學(xué)習(xí)的單詞嵌入已經(jīng)被證明能夠捕獲單詞語(yǔ)義規(guī)則，本文中輸入文檔為單詞序列X=w1…wn，其中每個(gè)wi由其詞嵌入vi表示。由于漢越各自訓(xùn)練出的單語(yǔ)詞嵌入向量矩陣C和V分布不同，需要找到最佳映射矩陣WC、WV，使CWC、VWV在同一語(yǔ)義空間下。使用Artetxe等[12]的無監(jiān)督方法，結(jié)合自學(xué)習(xí)算法來逐漸優(yōu)化映射矩陣W，將W約束為正交矩陣，即

WWT=WTW=I

(1)

在語(yǔ)義不變性情況下，漢越語(yǔ)義相同的詞嵌入在公共語(yǔ)義空間中的距離更近，緩解漢語(yǔ)和越南語(yǔ)之間的差異，讓跨語(yǔ)言模型更加健壯。并通過Stanford NLP得到漢越詞位置、詞性和名實(shí)體等信息擴(kuò)充雙語(yǔ)詞向量。

1.2 基于Bi-LSTM的語(yǔ)義編碼

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short term memory，LSTM)[13]對(duì)依次輸入的文本詞嵌入，計(jì)算其上下文表示，使信息在其中持續(xù)保存，考慮詞之間的依賴性，保留了諸如詞順序等重要信息，緩解了長(zhǎng)期困擾循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失或梯度爆炸問題[14-16]。而雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bi-LSTM)由一個(gè)前向LSTM與一個(gè)后向LSTM組成，某一時(shí)刻的輸出由這兩個(gè)方向上的狀態(tài)共同決定，在具有記憶特性和順序語(yǔ)義的基礎(chǔ)上增加了捕捉逆序語(yǔ)義的能力，如圖2所示。

圖2 Bi-LSTM結(jié)構(gòu)圖Fig.2 Bi-LSTM structure diagram

使用Bi-LSTM對(duì)輸入的漢越詞嵌入向量提取特征，輸出2個(gè)方向的隱藏狀態(tài)向量序列，越南語(yǔ)和漢語(yǔ)都存在與之相反的序列，不同于主流的正逆序列拼接再計(jì)算，注意力機(jī)制將分別依據(jù)2個(gè)事件類型嵌入矩陣對(duì)2個(gè)方向的隱藏狀態(tài)序列計(jì)算注意力權(quán)重，減小2種語(yǔ)言的差異。

(2)

(3)

1.3 事件類型感知的注意力機(jī)制

(4)

(5)

模型中，目標(biāo)事件類型的相關(guān)詞預(yù)計(jì)獲得比其他詞更高的注意力權(quán)重。句子的表示Satt為

(6)

(7)

μ∈[0，1]是Satt和Sglobal之間權(quán)衡的超參數(shù)，輸出定義為Satt和Sglobal的加權(quán)和：μ·Satt+(1-μ)·Sglobal。

2 漢越跨語(yǔ)言事件檢測(cè)模型

模型由3部分構(gòu)成：①前文構(gòu)造的基于事件類型感知并融入詞位置；②詞性和命名實(shí)體等信息的漢越特征提取器F；③基于標(biāo)準(zhǔn)多層前饋網(wǎng)絡(luò)的事件檢測(cè)器P和語(yǔ)言鑒別器Q，如圖3所示。

F旨在學(xué)習(xí)有助于預(yù)測(cè)事件分類器P的特征，并抑制語(yǔ)言鑒別器Q，而訓(xùn)練有素的Q無法分辨出F提取特征的語(yǔ)種，這個(gè)特征可以看作是2種語(yǔ)言共有的，即語(yǔ)言無關(guān)而事件類型相關(guān)的。在F和Q之間有一個(gè)梯度反轉(zhuǎn)層，使F的參數(shù)在Q和P中都參與梯度更新，一個(gè)最小化P分類誤差；一個(gè)是最大化Q分類誤差。Q試圖為漢語(yǔ)輸出更高的分?jǐn)?shù)，為越南語(yǔ)輸出更低的分?jǐn)?shù)，因此，Q是對(duì)抗性的。

圖3 越南語(yǔ)為目標(biāo)語(yǔ)言的跨語(yǔ)言事件類型感知模型Fig.3 Cross-language event type awareness model with Vietnamese as the target language

(8)

(9)

(10)

(11)

(1+y(i)·β)+δ‖θ‖

(12)

最后，由θf(wàn)參數(shù)化的聯(lián)合特征提取器F最小化事件檢測(cè)器損失Jp和語(yǔ)言鑒別器損失Jq。

(13)

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)和模型參數(shù)

中國(guó)和越南新聞網(wǎng)站在2008—2020年，基于相似主題和板塊爬取大量的漢越可比語(yǔ)料，漢語(yǔ)數(shù)據(jù)21萬(wàn)條，其中20萬(wàn)條為訓(xùn)練集，1萬(wàn)條為測(cè)試集。越南語(yǔ)數(shù)據(jù)143 061條為訓(xùn)練集，8 236條為測(cè)試集，對(duì)所有漢語(yǔ)語(yǔ)料和越南語(yǔ)測(cè)試集進(jìn)行事件類型標(biāo)注，而越南語(yǔ)訓(xùn)練集不做標(biāo)注，如圖4所示。

圖4 漢越可比語(yǔ)料規(guī)模Fig.4 Chinese-Vietnamese comparable corpus scale

實(shí)驗(yàn)配置為window10、Python3.7、Pytorch0.4.0。本文漢語(yǔ)和越南語(yǔ)采用Pennington等[22]提出的Glove詞向量初始化新聞文本，詞向量維度L為 100，剔除詞頻小于5的詞。為緩解過擬合現(xiàn)象，引入dropout用于事件檢測(cè)器的全連接層。采用自適應(yīng)矩估計(jì)Adam訓(xùn)練模型進(jìn)行優(yōu)化，它是一個(gè)基于隨機(jī)梯度的優(yōu)化器，具有自適應(yīng)估計(jì)。

因?yàn)镕和Q的訓(xùn)練可能不完全同步，在實(shí)踐中觀察到F比Q訓(xùn)練得更快，對(duì)模型的擬合速度和效果會(huì)產(chǎn)生一定影響[23]。所以每k輪訓(xùn)練將λ置為非零值一次。當(dāng)λ=0時(shí)，Q的梯度不會(huì)反向傳播到F，這允許Q在F進(jìn)行一次更新之前進(jìn)行更多的迭代次數(shù)以適應(yīng)F。訓(xùn)練時(shí)設(shè)置了2個(gè)學(xué)習(xí)率：①Q(mào)的多次自迭代lr1；②Q和F的共同訓(xùn)練lr2。

3.2 評(píng)價(jià)指標(biāo)

使用準(zhǔn)確率P、召回率R和F1值衡量模型是否可以正確分類漢越雙語(yǔ)新聞文本所屬事件類型。TP是所有含事件的文本中被正確檢測(cè)出數(shù)量，F(xiàn)P是檢測(cè)出事件的文本中錯(cuò)誤的和實(shí)際不含事件的數(shù)量，F(xiàn)N是檢測(cè)出不含事件而實(shí)際含事件的數(shù)量。P是所有的文本中正確檢測(cè)出事件類型的比例，R是正確檢測(cè)出事件類型的占實(shí)際含有事件類型的文本的比例，F(xiàn)1是P值和R值的一個(gè)綜合度量值。

(14)

(15)

(16)

3.3 對(duì)比模型實(shí)驗(yàn)

實(shí)驗(yàn)評(píng)估有7個(gè)模型，如表1所示。

表1 不同聯(lián)合特征提取網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)結(jié)果Tab.1 Comparison of experimental results of different joint feature extraction networks

1)本文模型(I)：本文提出的基于類型感知的漢越跨語(yǔ)言事件檢測(cè)模型。

2)本文模型(II)：本文提出的基于類型感知的漢越跨語(yǔ)言事件檢測(cè)模型，未擴(kuò)展融合位置、詞性和命名實(shí)體信息。

3)平均網(wǎng)絡(luò)模型：將事件類型感知的聯(lián)合特征提取網(wǎng)絡(luò)替換為平均網(wǎng)絡(luò)。

4)Bi-LSTM-ATT：Zhou等[24]根據(jù)位置特征擴(kuò)充字向量特征, 通過多層注意力機(jī)制, 提高LSTM模型輸入與輸出之間的相關(guān)性。

5)CNN：Zeng[25]首次提出用卷積神經(jīng)網(wǎng)絡(luò)從多個(gè)level提取詞語(yǔ)和語(yǔ)句級(jí)別的特征，并進(jìn)行了一層簡(jiǎn)單的卷積處理，來精簡(jiǎn)參數(shù)量并保留關(guān)鍵信息。

6)RNN：Wang[26]使用雙向RNN網(wǎng)絡(luò)，但兩個(gè)方向的信息不是拼接，而是相加。

7)CNN-LSTM-ATT：吳漢瑜等[27]結(jié)合CNN與LSTM的優(yōu)點(diǎn)，能夠捕獲不同層次的關(guān)鍵模式信息和全局結(jié)構(gòu)信息并對(duì)它們進(jìn)行融合。

由表1可知，平均網(wǎng)絡(luò)就是對(duì)輸入文本的向量序列各取平均，這是最基本的特征提取方式，由于不區(qū)分各詞向量之間的重要程度，事件檢測(cè)的準(zhǔn)確率只有32.27%。RNN取得除平均網(wǎng)絡(luò)外最低的準(zhǔn)確率和F1，而CNN能捕捉局部相關(guān)的關(guān)鍵信息，同時(shí)不存在RNN的梯度消失和梯度爆炸問題，相比于RNN取得了6.23%的提升。Bi-LSTM-ATT解決了RNN存在的問題，加上使用了注意力機(jī)制為不同的信息分配不同權(quán)重，較CNN獲得了1.59%的提升。CNN-LSTM-ATT同時(shí)具有循環(huán)神經(jīng)網(wǎng)絡(luò)可以提取文本的全局結(jié)構(gòu)信息，卷積神經(jīng)網(wǎng)絡(luò)局部特征提取和注意力機(jī)制的優(yōu)點(diǎn)，準(zhǔn)確率達(dá)到了47.66%。

本文模型準(zhǔn)確率相較于CNN-LSTM-ATT和Bi-LSTM-ATT得到了2.07%和4.5%的提升。分析原因，雖然CNN-LSTM-ATT和Bi-LSTM-ATT都使用了注意力機(jī)制，但都是無外部信息的自注意力，沒有利用事件相關(guān)信息，輸入文本的詞向量之間的權(quán)重分配依據(jù)文本自身。而本文中基于事件類型信息的注意力機(jī)制根據(jù)重要的事件類型等外部信息，指導(dǎo)句子中的詞獲得占比權(quán)重，即結(jié)合事件任務(wù)特性學(xué)習(xí)句子向量特征。在擴(kuò)展詞位置、詞性和命名實(shí)體信息后，準(zhǔn)確率達(dá)到了51.98%，表明模型不僅可以獲取句子內(nèi)部特定事件和詞之間的依賴關(guān)系，也可以捕獲更多有利于檢測(cè)事件的相關(guān)的特征信息。

為了驗(yàn)證在沒有標(biāo)注觸發(fā)詞下模型仍然能有效利用事件相關(guān)詞的語(yǔ)義信息來檢測(cè)事件類型，設(shè)置1個(gè)正類、3個(gè)負(fù)類事件類型標(biāo)簽(暴力、走私、會(huì)以、演唱)，讓模型輸出如下2個(gè)例句的注意力權(quán)重?zé)崃D，如圖5所示。

圖5 例句中詞的注意力權(quán)重Fig.5 Attention weight of words in example sentences

S2：3月14日下午，緬甸仰光萊達(dá)雅工業(yè)區(qū)多家中資工廠遭不法分子打砸搶燒，多名中方人員受傷，有員工一度被困。

3.4 語(yǔ)言對(duì)抗訓(xùn)練的有效性

語(yǔ)言鑒別器的對(duì)抗訓(xùn)練實(shí)現(xiàn)了漢越的跨語(yǔ)言事件檢測(cè)，為進(jìn)一步驗(yàn)證模型跨語(yǔ)言的有效性，驗(yàn)證模型通過大量有標(biāo)簽漢語(yǔ)與無標(biāo)簽越南語(yǔ)對(duì)抗訓(xùn)練。

提升越南語(yǔ)事件檢測(cè)準(zhǔn)確率的效果，與去掉語(yǔ)言鑒別器的實(shí)驗(yàn)作對(duì)比，添加漢語(yǔ)驗(yàn)證集，從第5輪到第30輪的迭代次數(shù)中對(duì)比漢語(yǔ)事件檢測(cè)和越南語(yǔ)事件檢測(cè)準(zhǔn)確度提升情況，結(jié)果如表2所示。

由表2可知，在沒有語(yǔ)言對(duì)抗的實(shí)驗(yàn)中，應(yīng)為訓(xùn)練集中有事件類型標(biāo)注，漢語(yǔ)事件檢測(cè)的準(zhǔn)確率隨著多輪迭代得到大幅提升，而越南語(yǔ)沒有標(biāo)注，事件檢測(cè)準(zhǔn)確率提升幾乎沒有。在語(yǔ)言對(duì)抗的實(shí)驗(yàn)中，通過漢越語(yǔ)言的對(duì)抗訓(xùn)練，越南語(yǔ)準(zhǔn)確率得到明顯提升，在30輪后較無語(yǔ)言鑒別器的情況提升0.319，證明語(yǔ)言鑒別器的對(duì)抗訓(xùn)練的確有助于無標(biāo)簽越南語(yǔ)事件檢測(cè)的準(zhǔn)確率提升。

同時(shí)在漢語(yǔ)語(yǔ)料規(guī)模不變的情況下，探究無標(biāo)簽越南語(yǔ)料規(guī)模對(duì)模型性能的影響，使越南語(yǔ)數(shù)據(jù)從5萬(wàn)到14萬(wàn)，每增加1萬(wàn)驗(yàn)證模型在越南語(yǔ)事件檢測(cè)的準(zhǔn)確率，如表3和圖6所示。

表2 語(yǔ)言對(duì)抗對(duì)準(zhǔn)確率的影響Tab.2 Impact of language discriminator on accuracy

表3 無標(biāo)注語(yǔ)料規(guī)模對(duì)準(zhǔn)確率的影響Tab.3 Impact of unlabeled corpus size on accuracy

圖6 越南可比語(yǔ)料規(guī)模與準(zhǔn)確率Fig.6 Comparable corpus scale and accuracy rate in Vietnam

由表3可知，14萬(wàn)的越南語(yǔ)無標(biāo)簽語(yǔ)料比5萬(wàn)在準(zhǔn)確率上提升了0.086 9，且由圖6可知，在目前的10萬(wàn)級(jí)語(yǔ)料下，越南語(yǔ)料的規(guī)模與模型準(zhǔn)確率呈正相關(guān)，而無標(biāo)簽的漢越可比語(yǔ)料獲取相對(duì)容易，可以通過構(gòu)建更多的漢越可比語(yǔ)料來顯著提升跨語(yǔ)言事件檢測(cè)模型的性能。

3.5 模型訓(xùn)練關(guān)鍵參數(shù)對(duì)性能的影響

本文模型中協(xié)調(diào)訓(xùn)練的參數(shù)k對(duì)實(shí)驗(yàn)結(jié)果影響較大。遂通過評(píng)估不同參數(shù)數(shù)值對(duì)越南語(yǔ)事件檢測(cè)準(zhǔn)確率的影響，分析參數(shù)特性以實(shí)現(xiàn)模型性能最好。實(shí)驗(yàn)中模型迭代至第30輪，其余參數(shù)相同。驗(yàn)證k與越南語(yǔ)事件檢測(cè)準(zhǔn)確率的關(guān)系，如圖7所示。

圖7 參數(shù)k對(duì)漢越事件檢測(cè)準(zhǔn)確率的影響Fig.7 Influence of k on the accuracy of C-V incident detection

由圖7分析可知，隨著k的增大漢語(yǔ)的準(zhǔn)確率幾乎無變化，而越南語(yǔ)的準(zhǔn)確率則提升明顯。協(xié)調(diào)訓(xùn)練的參數(shù)k表示每k輪次訓(xùn)練中只有一次Q的梯度能反向傳播到F，即模型中一條漢語(yǔ)有標(biāo)簽語(yǔ)料訓(xùn)練一次，相應(yīng)就有k對(duì)漢越可比語(yǔ)料輸入了語(yǔ)言鑒別器Q進(jìn)行對(duì)抗訓(xùn)練。分析k變大對(duì)于每條漢語(yǔ)的有標(biāo)簽學(xué)習(xí)無影響，所以漢語(yǔ)準(zhǔn)確率不受k影響，但同時(shí)讓更多漢越可比語(yǔ)料進(jìn)行了語(yǔ)言的對(duì)抗訓(xùn)練，加強(qiáng)了有標(biāo)注漢語(yǔ)信息向越南語(yǔ)訓(xùn)練模型的參數(shù)遷移能力，使得無標(biāo)注越南語(yǔ)的準(zhǔn)確率提升。

但過大的k會(huì)讓模型參數(shù)量翻倍，對(duì)模型收斂速度、內(nèi)存和加速顯卡的顯存容量十分不友好，可以看到，當(dāng)k值達(dá)到并超出[20,30]后出現(xiàn)了下降的趨勢(shì)。所以本文將k置于一個(gè)既能使?jié)h語(yǔ)標(biāo)注信息充分向越南語(yǔ)訓(xùn)練模型傳遞，又能使模型收斂速度不太慢，同時(shí)目前硬件條件能滿足的大小。模型中其余參數(shù)經(jīng)過驗(yàn)證皆為最優(yōu)，如表4所示。

表4 模型的超參數(shù)Tab.4 Hyper parameters of the model

4 結(jié)束語(yǔ)

本文提出一種基于事件類型感知的漢語(yǔ)跨語(yǔ)言事件檢測(cè)模型，利用豐富的漢語(yǔ)語(yǔ)言信息提高了越南語(yǔ)事件檢測(cè)的準(zhǔn)確性，緩解了越南語(yǔ)數(shù)據(jù)稀疏的問題，并通過基于事件類型感知的特征提取網(wǎng)絡(luò)，模糊處理事件觸發(fā)詞，緩解了傳統(tǒng)方法中單語(yǔ)歧義性和觸發(fā)詞局限性等問題。實(shí)驗(yàn)表明，將事件類型等語(yǔ)言無關(guān)而使事件相關(guān)的語(yǔ)義信息融入特征提取階段會(huì)使跨語(yǔ)言事件檢測(cè)性能有所提高。