基于對(duì)比學(xué)習(xí)的中文命名實(shí)體識(shí)別方法

江洲鈺,向 露,亢曉勉,宗成慶

(1. 中國(guó)科學(xué)院 自動(dòng)化研究所 模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京100190;2. 中國(guó)科學(xué)院大學(xué) 人工智能學(xué)院,北京 100049)

0 引言

命名實(shí)體識(shí)別任務(wù)旨在從非結(jié)構(gòu)化文本中識(shí)別出人名、地名、組織機(jī)構(gòu)名、時(shí)間和數(shù)字等實(shí)體指稱和類別[1]。作為信息抽取的關(guān)鍵技術(shù)之一,命名實(shí)體識(shí)別的性能將直接影響下游關(guān)系抽取、事件抽取等任務(wù)[2-3]。

對(duì)于中文命名實(shí)體識(shí)別,基于字詞圖進(jìn)行字詞特征融合被認(rèn)為是一類有效的性能提升方法[4]。此類方法首先將輸入文本與外部詞典進(jìn)行字符串匹配,得到一組匹配詞和對(duì)應(yīng)詞向量,然后設(shè)計(jì)編碼方法將匹配詞的向量與所含字的向量進(jìn)行融合。這類方法能夠?yàn)榛谧至６鹊哪Ｐ吞峁┰~粒度信息以輔助實(shí)體識(shí)別,因而能有效提升整體性能。然而,通常使用的詞典由使用Word2Vec[5]等方法在大規(guī)模無(wú)標(biāo)注文本上預(yù)訓(xùn)練得到,建立后不再或很少更新,但與詞典的來(lái)源語(yǔ)料相比,所要處理的數(shù)據(jù)則可能存在領(lǐng)域、語(yǔ)言表達(dá)方式等多方面的不一致性,因此匹配得到的詞序列中將存在大量與答案實(shí)體不完全匹配的詞,這會(huì)對(duì)模型建模實(shí)體邊界與實(shí)體語(yǔ)義造成負(fù)面影響。

本文通過(guò)一個(gè)簡(jiǎn)單的示例展示了不完全匹配詞的影響,如圖1所示,影響具體可分為兩方面: 邊界沖突與語(yǔ)義沖突。邊界沖突指匹配詞與實(shí)體的邊界不一致,如示例中匹配詞“南京”與實(shí)體“南京市”的右邊界不一致,“大橋”與“長(zhǎng)江大橋”的左邊界不一致,邊界沖突將在模型識(shí)別實(shí)體邊界的過(guò)程中引入噪聲,造成邊界切分錯(cuò)誤。語(yǔ)義沖突指匹配詞與實(shí)體所指代的概念不一致,如示例中答案實(shí)體指的是“南京市長(zhǎng)江大橋”這樣一座建筑物,則與作為職位名的“市長(zhǎng)”和通常作為人名的“江大橋”在語(yǔ)義上不相符,語(yǔ)義沖突將在模型判定實(shí)體類型的過(guò)程中引入噪聲,造成類別混淆。注意,語(yǔ)義沖突實(shí)例并不完全被邊界沖突實(shí)例所包含,如一類特殊的語(yǔ)義沖突是由歧義詞產(chǎn)生的,詞典中的一個(gè)詞條通常只對(duì)應(yīng)一個(gè)詞向量,此時(shí)若某個(gè)詞條為答案實(shí)體的歧義詞,那么即使邊界完全匹配,也仍存在語(yǔ)義沖突。

圖1 不完全匹配詞的影響示例

緩解不完全匹配詞問(wèn)題的最直接方式是針對(duì)不同數(shù)據(jù)集單獨(dú)構(gòu)建外部詞典,但由于外部詞典的質(zhì)量高度依賴語(yǔ)料規(guī)模,收集領(lǐng)域相關(guān)語(yǔ)料將消耗大量人力物力,代價(jià)很高,不適用于實(shí)際場(chǎng)景。針對(duì)上述問(wèn)題,本文提出了一種新穎的基于對(duì)比學(xué)習(xí)的中文命名實(shí)體識(shí)別模型。在保持詞典靜態(tài)的條件下,該模型借助有監(jiān)督對(duì)比學(xué)習(xí)的框架來(lái)融合字詞特征,將沖突實(shí)例視為負(fù)例,匹配實(shí)例視為正例,通過(guò)對(duì)比學(xué)習(xí)驅(qū)使模型學(xué)習(xí)、判別沖突實(shí)例并降低其權(quán)重,同時(shí)能夠挖掘詞典與數(shù)據(jù)內(nèi)部的細(xì)粒度監(jiān)督信息。

本文的主要貢獻(xiàn)如下:

(1) 針對(duì)不完全匹配詞造成的負(fù)面影響,構(gòu)建了一個(gè)基于對(duì)比學(xué)習(xí)融合字詞特征的中文命名實(shí)體識(shí)別模型,并為不完全匹配詞造成的邊界沖突和語(yǔ)義沖突分別設(shè)計(jì)了對(duì)比學(xué)習(xí)模塊。

(2) 為提升語(yǔ)義對(duì)比模塊區(qū)分相似標(biāo)簽的能力以處理類別混淆,本文設(shè)計(jì)了一個(gè)新穎的對(duì)比損失函數(shù): 折損InfoNCE。

(3) 在四個(gè)中文命名實(shí)體識(shí)別公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文提出的方法均能夠達(dá)到當(dāng)前最優(yōu)性能,且能有效處理邊界切分錯(cuò)誤和類別混淆。

1 相關(guān)工作

1.1 中文命名實(shí)體識(shí)別

傳統(tǒng)的命名實(shí)體識(shí)別方法包括基于規(guī)則的方法[6]和基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)[7]的方法,隨著深度學(xué)習(xí)的發(fā)展,神經(jīng)網(wǎng)絡(luò)架構(gòu)已成為處理命名實(shí)體識(shí)別任務(wù)的主流方法。例如,Huang等人[8]使用BiLSTM提取序列特征進(jìn)行序列標(biāo)注任務(wù),之后Peng和Dredze[9]證明了BiLSTM架構(gòu)在中文命名實(shí)體識(shí)別任務(wù)中的有效性。預(yù)訓(xùn)練語(yǔ)言模型的提出則進(jìn)一步提升了神經(jīng)網(wǎng)絡(luò)命名實(shí)體識(shí)別模型的性能,“預(yù)訓(xùn)練-微調(diào)”成為了現(xiàn)在的基本范式[4]。

與英文不同,中文不存在顯式的詞邊界,若基于詞粒度進(jìn)行實(shí)體識(shí)別,前置的分詞步驟將引起錯(cuò)誤傳遞,因此目前多采取基于字粒度的方法。而為了充分利用詞級(jí)別的語(yǔ)義信息,Zhang 和Yang[10]首次提出了引入外部詞典并利用門(mén)控機(jī)制融合字詞信息的Lattice LSTM模型,其中的Lattice指字與匹配詞的連接圖。之后出現(xiàn)了一系列基于Lattice結(jié)構(gòu)進(jìn)行改進(jìn)的工作[11-14],如為了解決 Lattice LSTM 不能并行計(jì)算且信息利用效率低的問(wèn)題,Li等人[11]提出了FLAT模型,改造Transformer作為編碼器隱式學(xué)習(xí)Lattice結(jié)構(gòu),為其專門(mén)設(shè)計(jì)了一種相對(duì)位置編碼方法, 并以字符序列拼接外部詞典匹配詞作為輸入;為了解決Lattice結(jié)構(gòu)中字詞向量來(lái)源不一致的問(wèn)題,Liu等人[12]提出了LEBERT模型,使用Adapter方法將字詞向量融合模塊置入預(yù)訓(xùn)練語(yǔ)言模型內(nèi),使字詞特征空間一致。

雖然上述基于外部詞典匹配進(jìn)行字詞特征融合的方法能夠在公開(kāi)數(shù)據(jù)集上取得一定的性能提升,但都使用了固定的外部詞典,忽略了在模型實(shí)際使用過(guò)程中可能存在的詞典與數(shù)據(jù)集語(yǔ)料不一致性,以及由此帶來(lái)的大量不完全匹配詞的問(wèn)題。

1.2 對(duì)比學(xué)習(xí)

對(duì)比學(xué)習(xí)是一種源自自監(jiān)督學(xué)習(xí)的學(xué)習(xí)思想,其核心思路在于將當(dāng)前實(shí)例向量視為錨點(diǎn),拉近其與正例向量的距離,推遠(yuǎn)其與負(fù)例向量的距離,可形式化為式(1)所示。

d(z,z+)?d(z,z-)

(1)

其中,d為距離度量函數(shù),常用余弦相似度。z、z+、z-分別為錨點(diǎn)、正例、負(fù)例的表示向量。

自監(jiān)督場(chǎng)景下的對(duì)比學(xué)習(xí)框架[11]如圖2所示,通常具有三個(gè)模塊: 數(shù)據(jù)增強(qiáng)模塊、編碼器、投影器。數(shù)據(jù)增強(qiáng)模塊負(fù)責(zé)產(chǎn)生正負(fù)例對(duì),由當(dāng)前實(shí)例經(jīng)數(shù)據(jù)增強(qiáng)產(chǎn)生的可視為正例,負(fù)例可直接選擇批內(nèi)其他樣本[15],或維護(hù)一個(gè)負(fù)例隊(duì)列進(jìn)行存儲(chǔ)[16]。編碼器模塊負(fù)責(zé)對(duì)正負(fù)例對(duì)進(jìn)行前向編碼得到隱層表示,正負(fù)例可共享也可不共享編碼器網(wǎng)絡(luò)。投影器模塊負(fù)責(zé)對(duì)編碼器產(chǎn)生的隱層表示進(jìn)行線性變換,產(chǎn)生最終用于計(jì)算對(duì)比損失的表示向量。常用的對(duì)比損失函數(shù)為InfoNCE loss[17](式(2)),通常選取一個(gè)正例與多個(gè)負(fù)例。

圖2 自監(jiān)督對(duì)比學(xué)習(xí)框架示意圖

(2)

其中,τ為溫度系數(shù)。

自監(jiān)督場(chǎng)景下正負(fù)例如何選擇往往是一個(gè)難題,因?yàn)闆](méi)有充分的顯式信息輔助控制樣本間的相似程度,容易出現(xiàn)偽正例[18]或偽負(fù)例[19]。但在監(jiān)督學(xué)習(xí)場(chǎng)景下,可以通過(guò)類別標(biāo)簽的不同來(lái)設(shè)定正負(fù)例[20],此時(shí)對(duì)比學(xué)習(xí)的引入相當(dāng)于為監(jiān)督學(xué)習(xí)增加了一項(xiàng)輔助任務(wù),通過(guò)提高實(shí)例向量間的類內(nèi)相似程度、降低類間相似程度來(lái)為最終分類器提供更好的表示。本文提出的模型基于有監(jiān)督對(duì)比學(xué)習(xí)的框架融合字詞特征。

2 模型

為充分利用不完全匹配詞的信息并緩解由其帶來(lái)的邊界沖突與語(yǔ)義沖突,本文從有監(jiān)督對(duì)比學(xué)習(xí)的角度出發(fā),將沖突實(shí)例視為負(fù)例,匹配實(shí)例視為正例,并為邊界沖突與語(yǔ)義沖突分別設(shè)計(jì)了對(duì)比學(xué)習(xí)策略。本文所提CLNER(Contrative Learning based model for Named Entity Recognition)模型整體結(jié)構(gòu)如圖3所示,對(duì)于一個(gè)輸入序列,首先通過(guò)預(yù)訓(xùn)練語(yǔ)言模型編碼得到相應(yīng)的字向量序列,繼而在邊界對(duì)比模塊中根據(jù)答案實(shí)體與詞的邊界匹配關(guān)系構(gòu)造全圖和正負(fù)例圖,通過(guò)圖注意力網(wǎng)絡(luò)(GAT)[17]編碼后計(jì)算邊界對(duì)比損失。之后在語(yǔ)義對(duì)比模塊中,對(duì)由全圖編碼產(chǎn)生的字向量與相應(yīng)類別標(biāo)簽的原型向量計(jì)算得到語(yǔ)義對(duì)比損失。最后使用條件隨機(jī)場(chǎng)(Conditional Random Field, CRF)對(duì)字向量序列進(jìn)行解碼得到標(biāo)簽序列并計(jì)算監(jiān)督損失。以下將詳細(xì)描述作為模型核心的邊界對(duì)比模塊與語(yǔ)義對(duì)比模塊。

圖3 基于對(duì)比學(xué)習(xí)的中文命名實(shí)體識(shí)別模型結(jié)構(gòu)示意圖

2.1 邊界對(duì)比模塊

由于不完全匹配詞可能存在與實(shí)體邊界的部分匹配,如果能將部分匹配信息正確地注入到相應(yīng)字特征中,就仍能在模型邊界識(shí)別中提供增益,問(wèn)題在于如何促使模型學(xué)習(xí)對(duì)部分匹配的判別。受Lattice結(jié)構(gòu)啟發(fā),CLNER建立三個(gè)字詞連接圖進(jìn)行對(duì)比學(xué)習(xí)。如圖3所示,其中全圖Afull為詞與其所有包含字間建立連邊,正例圖Apos保留全圖中答案實(shí)體與詞邊界匹配的連邊,負(fù)例圖Aneg保留全圖中答案實(shí)體與詞邊界不匹配的連邊,例如,“南京”與實(shí)體“南京市”的左邊界匹配但右邊界不匹配,因此在正例圖中保留“南京”與“南”的連邊,在負(fù)例圖中保留“南京”與“京”的連邊。之后通過(guò)單層圖注意力網(wǎng)絡(luò)進(jìn)行特征計(jì)算(式(3)～式(5))。此時(shí)從三個(gè)圖可以分別得到每個(gè)字的全圖特征hfull、正例特征h+、負(fù)例特征h-,代入InfoNCE函數(shù)(式(2))計(jì)算得到邊界對(duì)比損失Lboundary,注意由于此時(shí)逐字構(gòu)造對(duì)比項(xiàng),因此每個(gè)字的負(fù)例僅有一項(xiàng)。

hfull=GAT(f,Afull)

(3)

h+=GAT(f,Apos)

(4)

h-=GAT(f,Aneg)

(5)

(6)

其中,f為輸入序列特征,d為余弦相似度函數(shù)。

邊界對(duì)比模塊的最終目標(biāo)是使全圖中的負(fù)例邊權(quán)重盡量小,整體圖結(jié)構(gòu)與正例圖盡量相似。由于在預(yù)測(cè)階段無(wú)法預(yù)先知曉詞與實(shí)體的邊界匹配關(guān)系,因此只有全圖作為輸入,此時(shí)訓(xùn)練完成的邊界對(duì)比模塊可以起到兩個(gè)作用: 充分利用不完全匹配詞的邊界匹配信息;減少因邊界沖突帶來(lái)的噪聲特征引入。

2.2 語(yǔ)義對(duì)比模塊

由于無(wú)法預(yù)先標(biāo)記每個(gè)匹配詞的語(yǔ)義類別,因此在處理語(yǔ)義沖突時(shí)難以用邊界對(duì)比模塊以類比方式直接從標(biāo)簽設(shè)定正負(fù)例。而從表示學(xué)習(xí)的角度考察,語(yǔ)義沖突將在語(yǔ)義空間給予原本的實(shí)例特征一定噪聲,使其偏離答案類別簇, 例如,“長(zhǎng)江大橋”應(yīng)當(dāng)處于“LOC”的簇中,但在引入“江大橋”的特征后可能偏向“PER”的簇。因此可將緩解語(yǔ)義沖突的問(wèn)題轉(zhuǎn)化為減少實(shí)例特征偏移的問(wèn)題,受原型學(xué)習(xí)[21]啟發(fā),本文設(shè)計(jì)了標(biāo)簽原型向量,使其與實(shí)例特征進(jìn)行對(duì)比學(xué)習(xí),控制實(shí)例特征不因語(yǔ)義沖突出現(xiàn)嚴(yán)重偏移。具體地,為每一個(gè)分類標(biāo)簽隨機(jī)初始化一個(gè)原型向量,對(duì)于每個(gè)字向量,對(duì)應(yīng)標(biāo)簽的原型向量為正例,其他標(biāo)簽的原型向量為負(fù)例,繼而代入InfoNCE函數(shù)計(jì)算得到語(yǔ)義對(duì)比損失Ltype。

(7)

其中,hi為當(dāng)前字的隱層表示,proto+為當(dāng)前字所屬標(biāo)簽的原型向量,proto-為其他標(biāo)簽的原型向量,d為余弦相似度函數(shù)。

語(yǔ)義對(duì)比模塊的作用在于利用數(shù)據(jù)內(nèi)部的全局監(jiān)督信息,顯式地驅(qū)使模型減少引入容易造成類別語(yǔ)義偏移的詞特征,緩解語(yǔ)義沖突。

2.3 折損InfoNCE函數(shù)

在對(duì)錯(cuò)例的分析中發(fā)現(xiàn)了大量的類別混淆,而上述語(yǔ)義對(duì)比模塊雖然可以緩解語(yǔ)義沖突以減少類別錯(cuò)誤,但對(duì)某些語(yǔ)義區(qū)分非常模糊的標(biāo)簽缺少針對(duì)性處理,例如“美國(guó)”既可以作為政治地理實(shí)體GPE,也可以作為地點(diǎn)實(shí)體LOC。因此本文對(duì)語(yǔ)義對(duì)比模塊中的InfoNCE函數(shù)進(jìn)行了優(yōu)化,提出了折損InfoNCE 函數(shù)(Discounted InfoNCE,D-InfoNCE),使其能夠通過(guò)感知標(biāo)簽間的相似程度分配不同的學(xué)習(xí)權(quán)重,使越相似的標(biāo)簽得到的損失權(quán)重越大,促使模型區(qū)分易混淆標(biāo)簽。折損 InfoNCE 函數(shù)計(jì)算流程如下:

(1) 設(shè)有n個(gè)標(biāo)簽[type1,type2,…,typen],隨機(jī)初始化原型向量:

[proto1,proto2,…,proton]

(3) 設(shè)樣本x的標(biāo)簽是typei,樣本y的標(biāo)簽是typej。計(jì)算折損打分:

(8)

折損InfoNCE函數(shù)為:

(9)

此時(shí)標(biāo)簽越相似則折損越小,相應(yīng)地在損失函數(shù)中的權(quán)重越被放大。

2.4 最終損失函數(shù)

模型的最終損失函數(shù)為:

L=Lsupervised+Lboundary+Ltype

(10)

其中,Lsupervised為由條件隨機(jī)場(chǎng)解碼產(chǎn)生的監(jiān)督損失項(xiàng)。邊界對(duì)比損失由代入原始InfoNCE函數(shù)形式得到,語(yǔ)義對(duì)比損失由代入折損InfoNCE函數(shù)形式得到。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集與外部詞典

實(shí)驗(yàn)選擇中文命名實(shí)體識(shí)別領(lǐng)域常用的四個(gè)公開(kāi)數(shù)據(jù)集來(lái)證明所提出模型的有效性: 來(lái)源語(yǔ)料為正式新聞文本的MSRA數(shù)據(jù)集[22],來(lái)源語(yǔ)料為新聞廣播文本的OntoNotes 4.0數(shù)據(jù)集[23],來(lái)源語(yǔ)料為新浪微博的Weibo數(shù)據(jù)集[9]以及來(lái)源語(yǔ)料為人物簡(jiǎn)歷的Resume數(shù)據(jù)集[24]。數(shù)據(jù)集劃分方式均參照以往工作[11]。

外部詞典的選擇與文獻(xiàn)[11]保持一致,使用“ctb.50d.vec”,來(lái)源語(yǔ)料為網(wǎng)絡(luò)爬取文本。

3.2 對(duì)比方法

由于“預(yù)訓(xùn)練-微調(diào)”已成為如今的主流范式,實(shí)驗(yàn)選擇四個(gè)基于預(yù)訓(xùn)練語(yǔ)言模型BERT的模型作為對(duì)比方法。

(1)BERT[25]: 使用BERT對(duì)輸入字序列進(jìn)行編碼后直接解碼;

(2)BERT-BiLSTM: 使用BERT對(duì)字序列編碼后再使用單層BiLSTM前向編碼;

(3)BERT-FLAT[11]: 將匹配詞序列拼接于字序列作為輸入,改造Transformer作為編碼器;

(4)LEBERT[12]: 使用Adapter結(jié)構(gòu)在BERT層間融合字詞特征。

其中BERT與BERT-BiLSTM為命名實(shí)體識(shí)別任務(wù)常用基線模型,只使用字特征;BERT-FLAT與LEBERT代表現(xiàn)今中文命名實(shí)體識(shí)別最優(yōu)方法,融合了字詞特征。本文中所有模型的解碼器均使用條件隨機(jī)場(chǎng)[26]。

3.3 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)選用PyTorch 1.7框架,GPU為單張NVIDIA Geforce GTX TITAN X,網(wǎng)絡(luò)參數(shù)優(yōu)化器為 SGD,各數(shù)據(jù)集訓(xùn)練批大小均設(shè)為10,訓(xùn)練20輪。對(duì)于預(yù)訓(xùn)練語(yǔ)言模型BERT,在四份公開(kāi)數(shù)據(jù)集上均使用“chinese-wwm”[27],學(xué)習(xí)率設(shè)置為1e-5;GAT部分設(shè)置3頭注意力,學(xué)習(xí)率為1e-5;CRF部分學(xué)習(xí)率設(shè)置為7e-4。

3.4 評(píng)價(jià)指標(biāo)

本文采用F1值作為評(píng)價(jià)指標(biāo)來(lái)衡量模型性能,F1值計(jì)算如式(11)～式(13)所示。

其中,M為模型預(yù)測(cè)正確的實(shí)體數(shù),N為模型預(yù)測(cè)實(shí)體總數(shù),K為數(shù)據(jù)中標(biāo)注實(shí)體總數(shù)。P為準(zhǔn)確率,R為召回率。

3.5 實(shí)驗(yàn)結(jié)果

在各數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表1所示。我們的CLNER模型在每個(gè)數(shù)據(jù)集上的結(jié)果均運(yùn)行5次取均值?？梢园l(fā)現(xiàn)在結(jié)果波動(dòng)范圍內(nèi),CLNER模型在所有數(shù)據(jù)集上均持平或優(yōu)于當(dāng)前最優(yōu)模型,證明了本文所提方法的有效性,其中在Weibo數(shù)據(jù)集上提升尤為顯著。

表1 公開(kāi)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果(F1值) (單位: %)

繼而為探究模型中邊界對(duì)比模塊、語(yǔ)義對(duì)比模塊及折損InfoNCE函數(shù)對(duì)模型性能的影響,本文在四個(gè)公開(kāi)數(shù)據(jù)集上設(shè)計(jì)了相應(yīng)的消融實(shí)驗(yàn),結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)結(jié)果(F1) (單位: %)

從表2可以發(fā)現(xiàn),模型中影響最顯著的是邊界對(duì)比模塊,當(dāng)邊界對(duì)比損失項(xiàng)權(quán)重設(shè)為0時(shí),模型在各數(shù)據(jù)集上性能均顯著降低,推測(cè)原因?yàn)橥獠吭~典主要提供了與實(shí)體邊界相關(guān)的分詞信息,因而通過(guò)邊界對(duì)比模塊減少邊界沖突能夠帶來(lái)顯著增益。而在僅加入邊界對(duì)比損失的情況下,CLNER模型仍能在多個(gè)數(shù)據(jù)集上性能超越FLAT模型,說(shuō)明邊界對(duì)比模塊的引入是一種融合外部詞典中詞特征的有效方法。其次,加入代入原始InfoNCE函數(shù)計(jì)算的語(yǔ)義對(duì)比模塊后,效果增益并不顯著,在Resume數(shù)據(jù)集上甚至出現(xiàn)性能下降,說(shuō)明此時(shí)的語(yǔ)義對(duì)比模塊并未像預(yù)想中發(fā)揮作用,但在修改原始InfoNCE函數(shù)為折損InfoNCE函數(shù)后,模型性能普遍上升,說(shuō)明在命名實(shí)體識(shí)別任務(wù)中,折損InfoNCE函數(shù)較原始InfoNCE函數(shù)能夠更好地發(fā)揮區(qū)分標(biāo)簽語(yǔ)義的作用。而標(biāo)簽語(yǔ)義特別是易混淆標(biāo)簽語(yǔ)義的區(qū)分問(wèn)題,不僅僅存在于命名實(shí)體識(shí)別中,在細(xì)粒度實(shí)體分類、文本多標(biāo)簽分類等任務(wù)中均會(huì)出現(xiàn),因此折損InfoNCE函數(shù)也可以應(yīng)用于上述任務(wù)中,可待后續(xù)探索。

3.6 案例分析

CLNER模型的目標(biāo)是緩解由不完全匹配詞帶來(lái)的邊界沖突和語(yǔ)義沖突,而邊界沖突和語(yǔ)義沖突在預(yù)測(cè)的錯(cuò)誤結(jié)果中分別體現(xiàn)為實(shí)體邊界切分錯(cuò)誤與類別混淆錯(cuò)誤,因此為證明模型有效性,接下來(lái)選擇相關(guān)案例進(jìn)行分析,如圖4所示。

圖4 案例分析

在案例1中,FLAT模型識(shí)別產(chǎn)品名實(shí)體“保時(shí)捷版mate40”時(shí)出現(xiàn)邊界切分錯(cuò)誤,將其切分為“保時(shí)捷版”與“mate40”兩個(gè)產(chǎn)品名,而CLNER 模型則能正確處理。在案例2中,FLAT模型識(shí)別組織機(jī)構(gòu)名“福建”與“北京”時(shí)出現(xiàn)類別混淆錯(cuò)誤,誤識(shí)別為行政區(qū)域名,雖然“福建”與“北京”多作為行政區(qū)域名出現(xiàn),但在例句語(yǔ)境下,指的是“福建隊(duì)”與“北京隊(duì)”,出現(xiàn)類別混淆意味著FLAT并未充分建模類別語(yǔ)義,而CLNER模型能夠正確識(shí)別。

通過(guò)對(duì)比分析兩個(gè)案例可以發(fā)現(xiàn),與其他融合字詞特征的模型相比,CLNER模型在處理邊界切分錯(cuò)誤與類別混淆錯(cuò)誤上具有優(yōu)勢(shì),而這兩類錯(cuò)誤是命名實(shí)體識(shí)別實(shí)際使用時(shí)的常見(jiàn)錯(cuò)誤,因此 CLNER可有效解決實(shí)際錯(cuò)例。

4 總結(jié)

本文面向中文命名實(shí)體識(shí)別任務(wù),針對(duì)基于字詞圖進(jìn)行字詞特征融合的方法所帶來(lái)的大量不匹配詞,分析了由其帶來(lái)的邊界沖突和語(yǔ)義沖突,并提出了基于對(duì)比學(xué)習(xí)的中文命名實(shí)體識(shí)別模型CLNER進(jìn)行解決。該模型為邊界沖突和語(yǔ)義沖突分別設(shè)計(jì)了對(duì)比學(xué)習(xí)模塊,充分利用不完全匹配詞和數(shù)據(jù)內(nèi)部的細(xì)粒度監(jiān)督信息并緩解沖突。另外,為處理易混淆標(biāo)簽語(yǔ)義難區(qū)分問(wèn)題,本文在語(yǔ)義對(duì)比模塊中提出了改進(jìn)的對(duì)比損失函數(shù)——折損InfoNCE。在四個(gè)中文命名實(shí)體識(shí)別公開(kāi)數(shù)據(jù)集上進(jìn)行了驗(yàn)證,實(shí)驗(yàn)表明,本文提出的方法可達(dá)到當(dāng)前最優(yōu)性能。

本文中標(biāo)簽原型向量初始化方法為隨機(jī)初始化,然而如果能夠利用先驗(yàn)知識(shí)或者一定量外部數(shù)據(jù)對(duì)標(biāo)簽空間進(jìn)行初始化,使其具有明確的語(yǔ)義信息,模型應(yīng)當(dāng)能夠更快速地收斂,這可在少樣本場(chǎng)景下發(fā)揮作用,將在之后的工作中進(jìn)行探索。