一種語(yǔ)義增強(qiáng)與雙級(jí)別注意力的關(guān)系抽取方法

陽(yáng) 磊,宋 威,2

1(江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院,江蘇 無(wú)錫 214122)

2(江南大學(xué) 江蘇省模式識(shí)別與計(jì)算智能工程實(shí)驗(yàn)室,江蘇 無(wú)錫 214122)

1 引 言

關(guān)系抽取是信息抽取中的核心分支,旨在從非結(jié)構(gòu)的文本中提取給定實(shí)體對(duì)之間的語(yǔ)義關(guān)系[1].通過(guò)對(duì)句子以及關(guān)系進(jìn)行建模,關(guān)系抽取方法獲得實(shí)體對(duì)間的語(yǔ)義關(guān)系,并形成結(jié)構(gòu)化的三元組數(shù)據(jù)<實(shí)體1,關(guān)系,實(shí)體2>,這為文本摘要[2]、智能檢索[3]、自動(dòng)問(wèn)答[4]、機(jī)器閱讀理解[5]等下游任務(wù)提供了基礎(chǔ)知識(shí),有助于知識(shí)圖譜的自動(dòng)構(gòu)建.

由于深度神經(jīng)網(wǎng)絡(luò)[6]具有良好的性能及泛化能力,眾多學(xué)者將深度學(xué)習(xí)引入到關(guān)系抽取模型中.要訓(xùn)練一個(gè)基于深度學(xué)習(xí)的關(guān)系抽取模型,數(shù)據(jù)集中應(yīng)當(dāng)包含實(shí)體對(duì)以及實(shí)體間關(guān)系的標(biāo)注,然而,關(guān)系的標(biāo)注通常較為困難,人工構(gòu)造關(guān)系抽取數(shù)據(jù)集通常需要昂貴的人力、時(shí)間成本.為了解決數(shù)據(jù)匱乏問(wèn)題,MintZ等人[7]提出了遠(yuǎn)程監(jiān)督關(guān)系抽取方法,通過(guò)對(duì)齊無(wú)標(biāo)注語(yǔ)料庫(kù)與現(xiàn)有的知識(shí)庫(kù)來(lái)構(gòu)建大規(guī)模數(shù)據(jù)集.遠(yuǎn)程監(jiān)督基于以下強(qiáng)假設(shè):如果知識(shí)庫(kù)中兩個(gè)實(shí)體間存在某種關(guān)系,那么所有包含這兩個(gè)實(shí)體的句子都潛在地蘊(yùn)含了這種關(guān)系.顯然,這樣構(gòu)造的數(shù)據(jù)集不可避免地充斥著噪聲句.

為了解決遠(yuǎn)程監(jiān)督方法帶來(lái)的噪聲影響,多實(shí)例學(xué)習(xí)[8]被引入到關(guān)系抽取方法中.Zeng等人[9]提出分段卷積神經(jīng)網(wǎng)絡(luò)(Piecewise Convolutional Neural Network,PCNN),將包含相同實(shí)體對(duì)的句子聚成一個(gè)包,選擇包內(nèi)最相關(guān)的句子以用于模型訓(xùn)練.Lin等人[10]利用注意力機(jī)制為包內(nèi)句子分配權(quán)重,在利用更多句子的同時(shí)也降低噪聲句的影響.Ji等人[11]將注意力機(jī)制與外部知識(shí)相結(jié)合來(lái)進(jìn)行關(guān)系抽取,改進(jìn)了Lin的模型.這些神經(jīng)網(wǎng)絡(luò)方法與傳統(tǒng)方法相比已經(jīng)取得了顯著的改進(jìn).然而,這些方法在對(duì)句子進(jìn)行編碼時(shí)平等對(duì)待每一個(gè)詞,而實(shí)體對(duì)間關(guān)系通常能夠通過(guò)一些關(guān)鍵詞來(lái)明確表達(dá),如在“Steve Jobs[e1] was the co-founder of Apple[e2]”一句中,“co-founder”一詞對(duì)于判斷實(shí)體對(duì)Steve Jobs與Apple之間的關(guān)系“founder”有重要幫助.其次,這些方法沒(méi)有考慮實(shí)體的上下文語(yǔ)義環(huán)境信息,同一實(shí)體對(duì)在不同的語(yǔ)義環(huán)境下可能表達(dá)不同的含義.另一方面,大多數(shù)研究?jī)H在由句子組成的包這一級(jí)別進(jìn)行噪聲句的篩選及降噪,在面臨包中僅有一個(gè)句子的情況時(shí),無(wú)法有效地鑒別噪音實(shí)例,進(jìn)而影響關(guān)系抽取方法的性能.針對(duì)這些問(wèn)題,本文提出一種語(yǔ)義增強(qiáng)與雙級(jí)別注意力(Semantic Enhancement and Dual-Level Attention,SEDLA)的關(guān)系抽取方法,該方法首先利用門控機(jī)制對(duì)句子中的詞進(jìn)行篩選,過(guò)濾冗余詞,得到句子中的關(guān)鍵詞,進(jìn)一步地,利用關(guān)鍵詞作為上下文語(yǔ)義環(huán)境信息,對(duì)實(shí)體進(jìn)行編碼,得到語(yǔ)義增強(qiáng)的實(shí)體特征表示,與經(jīng)過(guò)PCNN編碼得到的句子特征表示相整合,得到魯棒的句子特征.最后,設(shè)計(jì)一個(gè)雙級(jí)別注意力層,從由句子組成的包以及由包構(gòu)成的組兩個(gè)級(jí)別降低噪聲句對(duì)關(guān)系抽取方法性能的影響.

本文所提的SEDLA的關(guān)系抽取方法主要包含關(guān)鍵詞門控層(Keyword Gated Layer,KGL)、語(yǔ)義增強(qiáng)層(Semantic Enhancement Layer,SEL)和雙級(jí)別注意力層(Dual-Level Attention Layer ,DLAL)3個(gè)部分:

1)KGL:利用門控機(jī)制對(duì)句子中的詞進(jìn)行篩選,并控制信息流,過(guò)濾句子中與關(guān)系無(wú)關(guān)的冗余詞;

2)SEL:基于上述步驟得到的關(guān)鍵詞,作為上下文語(yǔ)義環(huán)境信息,在多頭注意力機(jī)制[12]基礎(chǔ)上對(duì)實(shí)體進(jìn)行編碼,得到語(yǔ)義增強(qiáng)實(shí)體特征,與經(jīng)過(guò)PCNN編碼得到的句子特征整合,得到魯棒的句子特征表示.

3)DLAL:運(yùn)用注意力機(jī)制挑選實(shí)例,從包和組兩個(gè)級(jí)別對(duì)數(shù)據(jù)進(jìn)行降噪.

進(jìn)一步地,闡述本文的主要貢獻(xiàn):

1)語(yǔ)義特征增強(qiáng):考慮到句中的關(guān)鍵詞以及實(shí)體的上下文語(yǔ)義環(huán)境信息,為句子構(gòu)建更為魯棒的特征表示.

2)雙級(jí)別注意力降噪:使用雙級(jí)別注意力機(jī)制對(duì)數(shù)據(jù)進(jìn)行降噪,有效地解決包內(nèi)僅有一個(gè)句子的情況.

3)在NYT公共數(shù)據(jù)集上驗(yàn)證所提出的關(guān)系抽取方法的有效性,優(yōu)于目前主流的關(guān)系抽取方法.

2 相關(guān)工作

關(guān)系抽取旨在快速高效地從文本中提取出有效信息,是信息抽取的關(guān)鍵任務(wù).早期的關(guān)系抽取方法通常以傳統(tǒng)機(jī)器學(xué)習(xí)模型為基礎(chǔ),通過(guò)人工精心設(shè)計(jì)特征來(lái)進(jìn)行關(guān)系抽取[7,13,14].雖然這些方法在一定程度上能完成關(guān)系抽取任務(wù),但是構(gòu)建特征需要特定領(lǐng)域?qū)＜屹M(fèi)時(shí)費(fèi)力,另一方面,一些特征的提取依賴于自然語(yǔ)言處理工具,而這些工具不可避免地存在誤差,容易造成誤差傳播現(xiàn)象,最終影響關(guān)系抽取模型的性能.

近年來(lái),隨著深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的快速發(fā)展[15,16],眾多學(xué)者將深度學(xué)習(xí)引入到關(guān)系抽取任務(wù)中.由于深度學(xué)習(xí)模型在通常需要大量訓(xùn)練數(shù)據(jù)以達(dá)到較好的泛化能力,而構(gòu)造人工標(biāo)注數(shù)據(jù)集通常需要大量的時(shí)間人力成本.為了解決數(shù)據(jù)匱乏問(wèn)題,自動(dòng)獲取高質(zhì)量的標(biāo)注數(shù)據(jù),MintZ等人[7]提出了遠(yuǎn)程監(jiān)督關(guān)系抽取,通過(guò)對(duì)齊無(wú)標(biāo)注語(yǔ)料與現(xiàn)有的知識(shí)庫(kù)的方式構(gòu)建大規(guī)模的關(guān)系抽取數(shù)據(jù)集.然而,通過(guò)此方式得到的訓(xùn)練語(yǔ)料中充斥了噪聲句.因此,數(shù)據(jù)集的降噪成為近年來(lái)遠(yuǎn)程監(jiān)督關(guān)系抽取的研究重點(diǎn)之一.2015年,Zeng等人[9]提出分段卷積神經(jīng)網(wǎng)絡(luò),一方面采用神經(jīng)網(wǎng)絡(luò)作為句子的特征提取器,自動(dòng)學(xué)習(xí)文本特征,解決了由自然語(yǔ)言處理工具所帶來(lái)的誤差傳播問(wèn)題;另一方面,通過(guò)削弱了遠(yuǎn)程監(jiān)督的強(qiáng)假設(shè),在由句子組成的包中,僅選最相關(guān)的實(shí)例進(jìn)行訓(xùn)練,獲得了當(dāng)時(shí)最好的關(guān)系抽取模型效果.Lin等人[10]在Zeng的基礎(chǔ)上引入了注意力機(jī)制,充分利用包內(nèi)所有句子的信息.此外,許多基于注意力機(jī)制的方法也相繼被提出.Zhou等人[17]使用粗粒度句子級(jí)別注意力選擇若干相關(guān)實(shí)例,再使用細(xì)粒度句子級(jí)別注意力來(lái)聚合這些句子的特征表示.Huang等人[18]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制對(duì)句子進(jìn)行建模,并在模型中引入課程學(xué)習(xí)[19],以緩解嘈雜數(shù)據(jù)的影響.Zhou等人[20]采用雙向LSTM提取句子特征,并使用注意力機(jī)制降低噪聲句子權(quán)重.

另一方面,越來(lái)越多的研究者開始關(guān)注句子中的關(guān)鍵詞信息以及實(shí)體信息.Qu等人[21]使用詞級(jí)別的注意力機(jī)制,增加關(guān)鍵詞的權(quán)重,并將詞聚合成句子表示.王紅等[22]結(jié)合雙向LSTM與注意力機(jī)制,學(xué)習(xí)詞與詞之間的相互關(guān)系信息.Ji等人[11]利用現(xiàn)有知識(shí)庫(kù)提供監(jiān)督數(shù)據(jù),從外部知識(shí)庫(kù)中提取實(shí)體描述,補(bǔ)充到任務(wù)的背景知識(shí)中,用來(lái)指導(dǎo)模型訓(xùn)練.Vashishth等人[23]使用實(shí)體類型和關(guān)系別名信息在預(yù)測(cè)關(guān)系時(shí)施加軟約束以改進(jìn)關(guān)系抽取模型.Kuang等人[24]利用實(shí)體對(duì)之間存在的隱式相互關(guān)系來(lái)改進(jìn)模型,將關(guān)系知識(shí)從豐富實(shí)體對(duì)轉(zhuǎn)移到非頻繁實(shí)體對(duì)中.Zhao等人[25]將框架語(yǔ)義知識(shí)引入到遠(yuǎn)程監(jiān)督關(guān)系抽取任務(wù)中,更全面地表示句子的語(yǔ)義信息.

3 模型方法

本節(jié)具體介紹SEDLA的關(guān)系抽取方法.如圖1所示,SEDLA框架主要包含KGL、SEL和DLAL這3個(gè)模塊.在KGL中,利用門控機(jī)制對(duì)輸入句子進(jìn)行關(guān)鍵詞的篩選,過(guò)濾句子中與關(guān)系無(wú)關(guān)的冗余詞;在SEL中,利用KGL模塊得到的關(guān)鍵詞作為實(shí)體的上下文語(yǔ)義環(huán)境信息,在多頭注意力機(jī)制基礎(chǔ)上對(duì)實(shí)體進(jìn)行編碼,得到語(yǔ)義增強(qiáng)實(shí)體特征,與經(jīng)過(guò)PCNN編碼得到的句子特征拼接得到魯棒的句子特征表示;在DLAL中,運(yùn)用注意力機(jī)制,從包和組兩個(gè)級(jí)別對(duì)數(shù)據(jù)進(jìn)行降噪.最終利用Softmax函數(shù)進(jìn)行關(guān)系預(yù)測(cè),并根據(jù)預(yù)測(cè)結(jié)果與實(shí)際結(jié)果調(diào)整網(wǎng)絡(luò)參數(shù).

圖1 SEDLA框架Fig.1 Framework of SEDLA

3.1 輸入表示

3.1.1 詞嵌入表示

對(duì)于輸入句子X(jué)={x1,x2,x3,…,xH}中的每一個(gè)詞xi,采用word2vec[26]工具將其映射到低維、稠密的向量空間中,進(jìn)而得到句子的詞嵌入表示X∈H×d,其中dw是詞向量維度.

3.1.2 位置嵌入表示

位置嵌入由Zeng等人[9]提出,其反映的是句中每個(gè)詞距離實(shí)體間的相對(duì)位置.將位置距離向量化,構(gòu)造位置詞典,其維度為dp.

最后,將詞嵌入與位置嵌入拼接得到輸入句子的輸入表示X∈H×d,其中,d=dw+2×dp.句中兩個(gè)實(shí)體分別記為e1,e2∈d.

3.2 關(guān)鍵詞門控層(KGL)

在KGL中,利用門控機(jī)制對(duì)句子中各詞進(jìn)行篩選,過(guò)濾句子中與關(guān)系無(wú)關(guān)的冗余詞.具體地,首先將句子中每個(gè)詞輸入到門控函數(shù),如公式(1)所示:

gi=σ(Wg·[xi;e1;e2]+bg)

(1)

其中Wg∈d×3d和bg∈d分別表示權(quán)重矩陣和偏置參數(shù),[;]代表拼接操作,σ為sigmoid激活函數(shù),門控向量g中反映了句中每個(gè)單詞的重要程度.進(jìn)一步地,將門控向量與句子嵌入表示X相乘,強(qiáng)調(diào)句子中的關(guān)鍵詞信息,其計(jì)算過(guò)程如公式(2)所示:

(2)

其中,⊙代表按位相乘操作.通過(guò)門控機(jī)制,能有效地選擇出句子的關(guān)鍵詞并給與加強(qiáng).例如,對(duì)于句子“Steve Jobs[e1] was the co-founder of Apple[e2]”,通過(guò)關(guān)鍵詞門控層,過(guò)濾句子中與關(guān)系無(wú)關(guān)的字詞,如“was”、“the”和“of”,加強(qiáng)句子中能反應(yīng)句子關(guān)鍵信息的詞,如“co-founder”.

3.3 語(yǔ)義增強(qiáng)層(SEL)

進(jìn)一步地,在SEL中,利用KGL得到的關(guān)鍵詞信息作為上下文語(yǔ)義環(huán)境對(duì)實(shí)體進(jìn)行編碼,得到語(yǔ)義增強(qiáng)實(shí)體特征.由于句子中的關(guān)鍵詞可能是在對(duì)不同的實(shí)體進(jìn)行語(yǔ)義增強(qiáng),在實(shí)體增強(qiáng)過(guò)程,需要獨(dú)立地考慮兩個(gè)實(shí)體的語(yǔ)義環(huán)境.如在句子“Donald Trump[e1] was elected the 45th President of the United States[e2],after defeating Democratic candidate Hillary Clinton”中,“elected”、“president”、“candidate”均可被視為句中的關(guān)鍵詞,然而,在考慮實(shí)體的上下文語(yǔ)義環(huán)境時(shí),關(guān)鍵詞“president”對(duì)實(shí)體2(United States)的影響更大,而“candidate”對(duì)實(shí)體1(Donald Trump)的影響更大.具體地,將實(shí)體對(duì)e1,e2∈d拼接后作為查詢向量qe∈2×d,引入注意力機(jī)制,將查詢向量qe中的兩個(gè)實(shí)體分別與經(jīng)過(guò)初步篩選后的句子表示Xg∈H×d中的每一個(gè)詞進(jìn)行相關(guān)性計(jì)算,并根據(jù)相關(guān)性對(duì)實(shí)體進(jìn)行編碼.具體計(jì)算如公式(3)～公式(4)所示:

(3)

(4)

為了捕捉更為細(xì)化的實(shí)體語(yǔ)義信息,采用多頭注意力機(jī)制[12]來(lái)細(xì)化特征空間.圖2展示了多頭注意力的結(jié)構(gòu).

圖2 多頭注意力結(jié)構(gòu)Fig.2 Structure of multi-head attention

不同于傳統(tǒng)注意力機(jī)制,多頭注意力將特征空間劃分為h個(gè)子空間,并行地計(jì)算不同子空間下的語(yǔ)義特征.多頭注意力具體計(jì)算如公式(5)所示:

(5)

其中,h為注意力頭數(shù),A1～Ah為不同語(yǔ)義空間下的待訓(xùn)練權(quán)重矩陣.將語(yǔ)義增強(qiáng)實(shí)體特征與經(jīng)過(guò)PCNN編碼得到的句子特征拼接整合,得到魯棒的句子特征表示.具體來(lái)說(shuō),遵循Lin等人[10]的思想,在對(duì)經(jīng)初步關(guān)鍵詞篩選后的句子特征Xg∈H×d進(jìn)行零填充后,使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取.定義卷積核大小為W∈c×d,獲得經(jīng)單個(gè)卷積核后的特征輸出Q∈H,由于實(shí)體對(duì)天然地將句子劃分為3段,通過(guò)分段最大池化層,在每段中保留最具有代表性的特征p=max{Q1,Q2,Q3}∈3×1.使用k個(gè)卷積核得到k個(gè)特征向量,分別通過(guò)分段最大池化層后拼接,得到句子的初步特征表示Sg∈3k,進(jìn)一步地,與語(yǔ)義增強(qiáng)后的實(shí)體對(duì)表示拼接整合,得到魯棒的句子特征表示S∈3k+2d用于關(guān)系抽取.

3.4 雙級(jí)別注意力層(DLAL)

在獲得句子的特征后,采用Lin等人[10]提出的注意力對(duì)數(shù)據(jù)進(jìn)行降噪.假定一個(gè)包中有m個(gè)句子,其特征表示為{S1,S2,…,Sm}∈m×(3k+2d),包的最終特征表示B是通過(guò)包級(jí)別注意力機(jī)制加權(quán)包內(nèi)各個(gè)句子得到,其計(jì)算方式如公式(6)所示:

(6)

其中,αi為句子Si的權(quán)重,其具體計(jì)算如公式(7)～公式(8)所示:

γi=SiAc

(7)

(8)

其中,γi表示句子Si與關(guān)系c的匹配得分,A為待訓(xùn)練的權(quán)重對(duì)角矩陣,r為數(shù)據(jù)集的關(guān)系數(shù)量.

包級(jí)別注意力能夠在一定程度上解決噪聲句對(duì)于關(guān)系抽取方法性能的影響,然而,當(dāng)包內(nèi)僅有一個(gè)句子的情況,僅使用包級(jí)別注意力機(jī)制無(wú)法達(dá)到降噪目的.因此,在包級(jí)別注意力的基礎(chǔ)上引入組級(jí)別注意力機(jī)制,旨在緩解上述情況帶來(lái)的影響.具體來(lái)說(shuō),將同一關(guān)系標(biāo)簽的包以一定規(guī)模聚成組,假定一個(gè)組由n個(gè)包構(gòu)成,其特征表示為{B1,B2,…,Bn}∈n×(3k+2d),組的最終特征表示G是通過(guò)組級(jí)別注意力機(jī)制對(duì)組內(nèi)各個(gè)包加權(quán)而得到,其計(jì)算方式如公式(9)所示:

(9)

其中,ηj為包Bj的權(quán)重.直觀上,蘊(yùn)含同一關(guān)系的包的特征表示之間應(yīng)當(dāng)相互接近,因此,可以通過(guò)計(jì)算每個(gè)包與其他包的相似度之和來(lái)為每個(gè)包賦予權(quán)重.具體計(jì)算方式如公式(10)～公式(11)所示:

(10)

(11)

其中,βj是第j個(gè)包與組內(nèi)其他包相似度之和,sim(,)函數(shù)為求兩個(gè)包之間的相似度函數(shù),通過(guò)余弦相似度函數(shù)實(shí)現(xiàn),計(jì)算方式如公式(12)所示:

(12)

值得注意的是,關(guān)系抽取模型最終評(píng)價(jià)指標(biāo)是在包層面上,因此僅在訓(xùn)練階段使用組級(jí)別注意力機(jī)制.

3.5 關(guān)系分類器及網(wǎng)絡(luò)優(yōu)化

最后,利用全連接層將組級(jí)別特征映射到r個(gè)關(guān)系的分類標(biāo)簽空間中,獲得關(guān)系預(yù)測(cè)信息o∈r,計(jì)算方式如公式(13)所示:

o=WoG+bo

(13)

(14)

本文采用交叉熵作為損失函數(shù),利用L2正則化對(duì)參數(shù)進(jìn)行懲罰,模型采用了dropout[27]策略防止模型過(guò)擬合.損失函數(shù)的具體定義如公式(15)所示:

(15)

在最終的預(yù)測(cè)階段,使用softmax函數(shù)作為分類器對(duì)包進(jìn)行關(guān)系分類,其計(jì)算公式如公式(16)所示:

(16)

4 實(shí)驗(yàn)與評(píng)估

4.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)介紹

本文實(shí)驗(yàn)采用通用遠(yuǎn)程監(jiān)督關(guān)系抽取數(shù)據(jù)集NYT來(lái)驗(yàn)證所提方法的有效性.此數(shù)據(jù)集由Riedel等人[8]開發(fā),通過(guò)對(duì)齊大規(guī)模知識(shí)庫(kù)Freebase與紐約時(shí)報(bào)(New York times,NYT)語(yǔ)料庫(kù)構(gòu)建而成,數(shù)據(jù)集中有53種關(guān)系,包含52種具有實(shí)際意義的關(guān)系和一個(gè)特殊關(guān)系NA,其表示實(shí)體對(duì)之間沒(méi)有關(guān)系.表1展示了NYT數(shù)據(jù)集的統(tǒng)計(jì)信息.

表1 NYT數(shù)據(jù)集的統(tǒng)計(jì)信息Table 1 Statistics for NYT dataset

為公平比較,在測(cè)試過(guò)程中,均采用held-out方法對(duì)模型性能進(jìn)行評(píng)估.實(shí)驗(yàn)采用PR曲線和P@N作為評(píng)價(jià)指標(biāo).PR曲線是以precision(精準(zhǔn)率)和recall(召回率)分別作為縱坐標(biāo)與橫坐標(biāo)繪制的曲線,是機(jī)器學(xué)習(xí)中常用指標(biāo)之一,P@N是檢驗(yàn)遠(yuǎn)程監(jiān)督關(guān)系抽取模型性能的一個(gè)常用評(píng)價(jià)指標(biāo),通過(guò)計(jì)算置信度前N個(gè)包分類結(jié)果的精準(zhǔn)率而得到.為了更精細(xì)地對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià),本文采用不同的N值(100、200、300)計(jì)算P@N值,并計(jì)算三者的平均值mean P@N.

4.2 參數(shù)設(shè)置

為公平地與進(jìn)行對(duì)比試驗(yàn),本文使用Lin等人[10]相同的參數(shù)進(jìn)行實(shí)驗(yàn),詞嵌入維度為50維,位置嵌入維度為5維,卷積核數(shù)量設(shè)置為230,初始學(xué)習(xí)率設(shè)置為0.1,每100000步學(xué)習(xí)率降低到之前的1/10,詳細(xì)的超參數(shù)設(shè)置如表2所示.

表2 超參數(shù)設(shè)置Table 2 Hyper-parameter settings

4.3 對(duì)比方法

本文采用以下8種方法和所提的SEDLA進(jìn)行比較,前3種為基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法,后5種為基于神經(jīng)網(wǎng)絡(luò)的方法.

MintZ[7]:采用傳統(tǒng)人工設(shè)計(jì)方式的抽取詞匯特征和句法特征,利用多分類邏輯回歸模型進(jìn)行關(guān)系抽取.

MultiR[13]:基于多實(shí)例學(xué)習(xí)的概率圖模型進(jìn)行遠(yuǎn)程監(jiān)督關(guān)系抽取.

MIMLRE[14]:采用多實(shí)例多標(biāo)簽的方法進(jìn)行關(guān)系抽取,建模方式采用貝葉斯網(wǎng)絡(luò).

PCNN+ONE[9]:首次將神經(jīng)網(wǎng)絡(luò)引入到遠(yuǎn)程監(jiān)督關(guān)系抽取任務(wù)中來(lái),同時(shí)設(shè)計(jì)了分段池化層.在每個(gè)包內(nèi)僅選擇最相關(guān)的實(shí)例進(jìn)行訓(xùn)練,是利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)關(guān)系抽取的經(jīng)典模型.

PCNN+ATT[10]:在上述方法基礎(chǔ)上引入注意力機(jī)制,為句子分配不同的權(quán)重,利用包內(nèi)所有句子來(lái)表示包的特征,通過(guò)強(qiáng)調(diào)置信度高的句子的重要性來(lái)降低遠(yuǎn)程監(jiān)督數(shù)據(jù)集噪聲句的影響.

PCNN+ATT+SL[28]:引入軟標(biāo)簽來(lái)解決數(shù)據(jù)集中的錯(cuò)誤標(biāo)簽問(wèn)題.

RESIDE[23]:從外部知識(shí)庫(kù)中提取實(shí)體類型和實(shí)體別名,補(bǔ)充到任務(wù)中用來(lái)指導(dǎo)模型訓(xùn)練,采用圖卷積神經(jīng)網(wǎng)絡(luò)編碼句子特征.

CFSRE[25]:將框架語(yǔ)義知識(shí)引入到關(guān)系抽取任務(wù)中,更全面地表示句子的語(yǔ)義信息.

4.4 對(duì)比實(shí)驗(yàn)結(jié)果與分析

在實(shí)驗(yàn)部分,本文首先進(jìn)行SEDLA方法的對(duì)比實(shí)驗(yàn).圖3繪制了8種對(duì)比方法以及SEDLA在NYT數(shù)據(jù)集上的PR曲線.

圖3 SEDLA與對(duì)比方法的PR曲線Fig.3 PR curves of SEDLA and comparison methods

從圖3可以觀察到:

1)基于神經(jīng)網(wǎng)絡(luò)的方法較傳統(tǒng)機(jī)器學(xué)習(xí)方法更具優(yōu)勢(shì),這是由于傳統(tǒng)機(jī)器學(xué)習(xí)方法采用人工設(shè)計(jì)的特征,其提取到的特征無(wú)法很好地適應(yīng)關(guān)系抽取任務(wù).同時(shí)也說(shuō)明了基于深度學(xué)習(xí)的方法可以從大規(guī)模數(shù)據(jù)中學(xué)習(xí)到更好的特征表示;

2)PCNN+ATT較PCNN+ONE有較大的提升,這是由于PCNN+ATT能充分利用包內(nèi)所有句子的信息,通過(guò)注意力機(jī)制能有效降低了置信度較低的句子所帶來(lái)的影響.

3)使用軟標(biāo)簽(PCNN+ATT+SL)代替硬標(biāo)簽?zāi)苡行У靥嵘Ｐ托阅?軟標(biāo)簽?zāi)軌蛟谝欢ǔ潭壬暇徑馔ㄟ^(guò)遠(yuǎn)程監(jiān)督方式構(gòu)造的數(shù)據(jù)集時(shí)帶來(lái)的錯(cuò)誤標(biāo)簽問(wèn)題.此外,使用外部知識(shí)能夠獲得更為豐富的特征,提升關(guān)系抽取模型性能.

4)與所有的對(duì)比方法相比,SEDLA在整個(gè)召回率范圍內(nèi)幾乎都取得了最高的精準(zhǔn)率.特別地,當(dāng)召回率處于[0.1,0.25]區(qū)間時(shí),SEDLA較第二好的方法高出約5%.這反映出本文提出的方法能提取到更有用的特征信息,從而更有效地解決關(guān)系抽取任務(wù).

遵循前人工作,本文使用P@N來(lái)比較上述方法的性能.表3為8種對(duì)比方法以及SEDLA的P@N值,其中N的取值分別為100、200、300,并計(jì)算三者的平均值.

表3 SEDLA與對(duì)比方法的P@N值Table 3 P@N(s)of SEDLA and comparison methods

由表3可以看出,除了在P@100時(shí)CFSRE取得最好的結(jié)果外,SEDLA在P@200、P@300以及mean P@N評(píng)價(jià)指標(biāo)中均擁有最好的表現(xiàn).CFSRE將語(yǔ)義框架信息這一外部知識(shí)引入到任務(wù)中,改善了模型的性能,但在P@200以及P@300時(shí),CFSRE精準(zhǔn)率下降較快.而SEDLA方法同時(shí)兼顧了精準(zhǔn)率與召回率.

4.5 消融實(shí)驗(yàn)結(jié)果與分析

為了探討所提出的SEDLA方法中各個(gè)模塊的作用,本小節(jié)設(shè)計(jì)消融實(shí)驗(yàn).其中SEDLA-KGL、SEDLA-SEL、SEDLA-DLAL分別表示為SEDLA缺省KGL、SEL和DLAL模塊.圖4繪制了SEDLA與3種消融方法的PR曲線.

圖4 SEDLA與消融方法的PR曲線Fig.4 PR curves of SEDLA and ablation methods

從圖4可以觀察到,SEDLA在PR曲線上表現(xiàn)最優(yōu),在缺省任意模塊后,SEDLA的性能均有所下降,其中缺省SEL模塊對(duì)模型影響最大,這是由于SEL模塊通過(guò)利用關(guān)鍵詞對(duì)實(shí)體建模,使得實(shí)體能夠?qū)W習(xí)到豐富的上文語(yǔ)義環(huán)境信息,進(jìn)而為句子構(gòu)建更為魯棒的特征表示.

此外,本小節(jié)使用P@N來(lái)比較SEDLA與3種消融方法的性能.如表4所示.

表4 SEDLA與消融方法的P@N值Table 4 P@N(s)of SEDLA and ablation methods

由表4可以看出,缺省KGL模塊與缺省DLAL模塊在P@N(N=100/200/300)評(píng)價(jià)指標(biāo)上各有優(yōu)劣,總體上缺省DLAL模塊的性能略優(yōu)于缺省KGL模塊.缺省SEL模塊對(duì)模型影響最大,這與通過(guò)PR曲線得到的結(jié)論基本一致.完整SEDLA在各個(gè)P@N值上均擁有最好的表現(xiàn),這表明SEDLA中各個(gè)模塊都是不可或缺的,對(duì)模型性能的提升均有幫助.

4.6 在全監(jiān)督數(shù)據(jù)集上的表現(xiàn)與分析

為了進(jìn)一步驗(yàn)證所提出SEDLA方法的泛化能力,驗(yàn)證其有效性,在經(jīng)典的全監(jiān)督數(shù)據(jù)集SemEval-2010 Task 8上進(jìn)行了實(shí)驗(yàn).該數(shù)據(jù)集包含8000條用于訓(xùn)練的句子以及2717條用于測(cè)試的句子.由于該數(shù)據(jù)集的標(biāo)簽均為手工標(biāo)注且其訓(xùn)練的基本單位為句子而非遠(yuǎn)程監(jiān)督關(guān)系抽取數(shù)據(jù)集的包結(jié)構(gòu),故本文所提出的DLAL模塊在該數(shù)據(jù)集上失效,僅利用KGL與SEL模塊來(lái)驗(yàn)證本文所提出的SEDLA方法的有效性.

本文采用官方評(píng)價(jià)指標(biāo)F1值來(lái)評(píng)價(jià)模型的性能,為公平比較,在超參數(shù)的選擇上,本文使用300維GloVe詞向量[29]作為神經(jīng)網(wǎng)絡(luò)的輸入.表5展示了EDLA與幾種經(jīng)典對(duì)比方法在SemEval-2010 Task 8數(shù)據(jù)集上的F1值.

表5 SEDLA與對(duì)比方法的F1值Table 5 F1 value of SEDLA and comparison methods

從表5可以觀察到,本文所提出的方法的F1值高于表中其他模型,這也說(shuō)明了本文所提出方法的泛化能力,在全監(jiān)督關(guān)系抽取數(shù)據(jù)集上仍有著較好的表現(xiàn).

5 總結(jié)與展望

針對(duì)現(xiàn)有方法缺乏考慮實(shí)體上下文信息以及傳統(tǒng)多實(shí)例學(xué)習(xí)無(wú)法處理句子包內(nèi)只有一個(gè)句子的情況,本文提出了一種語(yǔ)義增強(qiáng)和雙級(jí)別注意力的關(guān)系抽取方法.所提出框架包含3個(gè)模塊,分別用于篩選關(guān)鍵詞過(guò)濾冗余詞;在多頭注意力機(jī)制基礎(chǔ)上對(duì)實(shí)體進(jìn)行編碼,得到語(yǔ)義增強(qiáng)實(shí)體特征;運(yùn)用注意力機(jī)制,從包和組兩個(gè)級(jí)別對(duì)數(shù)據(jù)進(jìn)行降噪.通過(guò)在NYT數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn),驗(yàn)證了模型的有效性和各組件的必要性.在將來(lái)的工作中,將繼續(xù)優(yōu)化特征提取器,同時(shí),考慮將利用外部知識(shí)來(lái)指導(dǎo)模型訓(xùn)練,進(jìn)一步提高模型性能.