基于遷移學(xué)習(xí)與細(xì)粒度文本特征的未見關(guān)系鏈接研究*

徐紅霞

(中國人民大學(xué)信息資源管理學(xué)院 北京 100080)

基于知識圖譜的智能問答(Knowledge Graph Question Answering, KGQA)能接受人們提出的自然語言問題,在圖譜中查找相應(yīng)答案,并返回給用戶。KGQA包括三個算法模塊,分別是實體識別、實體鏈接和關(guān)系鏈接。其中關(guān)系鏈接負(fù)責(zé)確定問題指向的知識圖譜關(guān)系,是決定KGQA問答效果的關(guān)鍵模塊。然而傳統(tǒng)的深度學(xué)習(xí)關(guān)系鏈接模型一方面要求大規(guī)模的標(biāo)注數(shù)據(jù),需耗費大量的人力與物力;另一方面在用戶的信息需求與知識圖譜時常更新的現(xiàn)實情境中,提問與關(guān)系類型會常常增加,產(chǎn)生關(guān)系類型和提問頻繁更新與模型無法頻繁更新的矛盾,導(dǎo)致模型在這類情境下便不太適用。此外,關(guān)系鏈接中問題與關(guān)系字?jǐn)?shù)相差懸殊也導(dǎo)致關(guān)系鏈接難度較大。

為解決上述問題,本研究通過優(yōu)化關(guān)系的初始表示與語義表示之間的映射優(yōu)化未見關(guān)系表示;通過遷移學(xué)習(xí)框架記住歷史學(xué)習(xí)的通用知識與共性特征,緩解遺忘問題;通過在稠密向量中融入先進(jìn)準(zhǔn)確的抽象意義表示(Abstract Meaning Representation, AMR),并加入實體特征與問題變換捕捉細(xì)粒度特征,優(yōu)化辨別性語義部分表示;實現(xiàn)任務(wù)共性特征學(xué)習(xí)和辨別性特征學(xué)習(xí)、關(guān)系語義和問句語義精準(zhǔn)表示的雙管齊下,一定程度上實現(xiàn)未見關(guān)系的鏈接。

1 相關(guān)研究

關(guān)系鏈接,又稱為關(guān)系檢測[1],在知識圖譜問答中,它負(fù)責(zé)確定問題指向的知識圖譜三元組關(guān)系。該任務(wù)與信息抽取中的關(guān)系抽取任務(wù)較為相似,卻也有不同。關(guān)系鏈接旨在預(yù)測問題中主題實體的關(guān)系;關(guān)系抽取則是從文本段落中抽取左實體與右實體之間的關(guān)系。其相同點在于它們均從文本中抽取蘊含的關(guān)系。其不同之處主要包括兩方面,其一,關(guān)系鏈接面向的實體通常僅有一個,關(guān)系抽取的對象則是兩個實體之間的關(guān)系;其二,關(guān)系鏈接面向的文本為較為短小的問句,關(guān)系抽取面向的文本則為較長的段落文本,含有豐富的上下文信息。

根據(jù)現(xiàn)有研究的梳理,關(guān)系鏈接的方法能夠分為兩種:基于語義解析的方法與基于信息檢索的方法?；谡Z義解析的方法是通過語義解析器將問題映射為語義邏輯形式[2],其基本思想是構(gòu)造具有自然語言邏輯共性的語義圖?；谡Z義解析的方法由于能夠清晰地表示實體在句子中的結(jié)構(gòu),因此能夠得到問題的深度表示[3],常見的語義解析方法有句法依存、AMR等。但語義解析方法的表示需要大量的語言語法知識,往往比較復(fù)雜,在進(jìn)行標(biāo)注時需要耗費大量專業(yè)的人力與物力資源,在訓(xùn)練時需要大量的復(fù)雜標(biāo)注數(shù)據(jù)。而關(guān)系鏈接任務(wù)面向的關(guān)系字?jǐn)?shù)較少,因此對問句的語義解析結(jié)果與知識圖譜中的關(guān)系進(jìn)行匹配將會放大語義解析帶來的誤差,導(dǎo)致關(guān)系鏈接效果差。綜上,該方法應(yīng)用到標(biāo)注數(shù)據(jù)受限和獲取代價昂貴的新領(lǐng)域時效果受限[4]。

基于信息檢索的方法主要根據(jù)問題相關(guān)信息從知識圖譜中檢索得到候選答案[5],而后使用排序技術(shù)從候選中選擇正確答案。根據(jù)語義學(xué)習(xí)方式的不同,基于信息檢索的方法可以分為兩種類別:特征工程策略與表示學(xué)習(xí)方法,特征工程策略屬于人為工程,而表示學(xué)習(xí)是模型自主學(xué)習(xí)。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展,表示學(xué)習(xí)方法獲得大量關(guān)注,也被引入到關(guān)系鏈接任務(wù)中[6]?；诒硎緦W(xué)習(xí)的關(guān)系鏈接通過在低維向量空間中編碼問題與答案[7],得到二者的稠密向量表示,之后計算問題與答案向量表示的相似度分?jǐn)?shù),擁有最高分?jǐn)?shù)的候選答案作為最終答案。在低維向量空間中將問題與答案編碼為稠密向量表示的過程,也被成為嵌入(Embedding)表示學(xué)習(xí)過程。神經(jīng)網(wǎng)絡(luò)方法在基于表示學(xué)習(xí)的關(guān)系鏈接中得到了廣泛的研究,代表性的神經(jīng)網(wǎng)絡(luò)模型有記憶網(wǎng)絡(luò)[8]、字符級長短時記憶網(wǎng)絡(luò)[9]、融入attention的卷積神經(jīng)網(wǎng)絡(luò)[10]等。Yu等于2017年[1]將殘差連接的設(shè)計融入深度循環(huán)網(wǎng)絡(luò)中,提出HR-Bilstm關(guān)系鏈接模型,該模型取得了當(dāng)時最先進(jìn)的關(guān)系鏈接效果,刷新了關(guān)系鏈接的SOTA(State-of-the-Art)結(jié)果。除了基于神經(jīng)網(wǎng)絡(luò)嵌入表示學(xué)習(xí)的關(guān)系鏈接方法外,Wang等[11]提出了知識圖譜向量化關(guān)系表示學(xué)習(xí)方法,采用TransE方法進(jìn)行關(guān)系表示。

研究證明基于信息檢索的方法相比基于語義解析的方法較優(yōu)[12]?，F(xiàn)有基于信息檢索的方法大多基于監(jiān)督深度學(xué)習(xí)算法,一方面,模型訓(xùn)練需要大量的高質(zhì)量標(biāo)注數(shù)據(jù),另一方面,當(dāng)領(lǐng)域的知識圖譜越來越龐大或進(jìn)行更新與更換時,模型會遇到長尾問題,即在現(xiàn)實問答場景中會遇到大量訓(xùn)練中未見的關(guān)系類別,這導(dǎo)致模型不太適用于快速更新的場景。為減少昂貴的人力與物力標(biāo)注成本,解決長尾問題,本文構(gòu)建了未見關(guān)系鏈接任務(wù),其中“未見”表示測試集中的關(guān)系類型從未出現(xiàn)在訓(xùn)練集中。針對該任務(wù),本文重點關(guān)注如何提高未見關(guān)系鏈接的精準(zhǔn)性和泛化性。一方面,人類具備跨領(lǐng)域的關(guān)系鏈接泛化能力。人類通過學(xué)習(xí)大量通用知識,同時捕捉辨別性部分進(jìn)行未見關(guān)系的準(zhǔn)確識別。另一方面,在深度學(xué)習(xí)的實際應(yīng)用中,通常會匯聚多個數(shù)據(jù)集增強泛化能力,但由于多個數(shù)據(jù)集并非獨立同分布,因此模型簡單地跨數(shù)據(jù)集效果較差。遷移學(xué)習(xí)則放寬了傳統(tǒng)深度學(xué)習(xí)中數(shù)據(jù)集必須服從獨立同分布的因素,它旨在挖掘領(lǐng)域不變的本質(zhì)特征和結(jié)構(gòu),同時度量數(shù)據(jù)之間的細(xì)粒度差異部分,有效地綜合利用兩個數(shù)據(jù)集,使得數(shù)據(jù)可以在領(lǐng)域間實現(xiàn)遷移和復(fù)用[13]?；谝陨蟽蓚€方面的分析,本文旨在探討通用知識學(xué)習(xí)與細(xì)粒度辨別性部分的捕捉這兩種優(yōu)化思路,并對其進(jìn)行深入研究。

2 研究框架與方法

2.1 模型的提出

在通用知識的學(xué)習(xí)方面,Bert等大規(guī)模預(yù)訓(xùn)練語言模型包含了大量的通用知識,被廣泛應(yīng)用于各項自然語言處理任務(wù)中[14]。Bert是在掩碼語言模型任務(wù)和句子對分類任務(wù)上訓(xùn)練得到的深度transformers網(wǎng)絡(luò),通過無監(jiān)督學(xué)習(xí)在大規(guī)模語料上進(jìn)行預(yù)訓(xùn)練,得到通用知識模型。掩碼語言模型任務(wù)是通過在大規(guī)模數(shù)據(jù)上隨機(jī)隱藏詞匯進(jìn)行無監(jiān)督訓(xùn)練,模型將詞匯隨機(jī)替換為[MASK]字符,旨在特定的上下文中還原被遮蓋的字符,從而得到上下文相關(guān)的動態(tài)分布式表示模型。句子對分類預(yù)訓(xùn)練任務(wù)輸入句子對,旨在判斷兩個句子是否有銜接關(guān)系。微調(diào)是自然語言處理中的有效泛化機(jī)制。在具體任務(wù)中,Bert利用標(biāo)注數(shù)據(jù)進(jìn)行微調(diào)獲得特定模型。

通過預(yù)訓(xùn)練,Bert模型學(xué)習(xí)到了豐富的通用知識。通過微調(diào),Bert模型能夠融合通用知識與領(lǐng)域知識,獲得較好的特定任務(wù)模型。然而,微調(diào)是在小規(guī)模任務(wù)數(shù)據(jù)集上的監(jiān)督學(xué)習(xí)方式,預(yù)訓(xùn)練則是大規(guī)模語料上的無監(jiān)督學(xué)習(xí)方式,這是兩種截然不同的學(xué)習(xí)方式,導(dǎo)致微調(diào)時會造成災(zāi)難性遺忘問題[15],而出現(xiàn)對任務(wù)數(shù)據(jù)集的過度擬合的現(xiàn)象。在這種情形下,模型會遺忘大量學(xué)習(xí)到的歷史知識,當(dāng)任務(wù)數(shù)據(jù)集較少時,模型可能只能對訓(xùn)練數(shù)據(jù)提供準(zhǔn)確預(yù)測,而對新數(shù)據(jù)的預(yù)測能力低下。此外,現(xiàn)實情況通常會匯集多個來源數(shù)據(jù)進(jìn)行微調(diào)。而在深度學(xué)習(xí)模型中,會假定訓(xùn)練集和測試集來自同一分布,現(xiàn)有的研究也多用同一分布下的數(shù)據(jù)測試研究的有效性。由于現(xiàn)實情況多不符合假定條件,因此模型在遇到分布外的數(shù)據(jù)時,效果會大幅下降。在未見關(guān)系鏈接任務(wù)中,以上三個問題導(dǎo)致基于Bert的微調(diào)模型對未見關(guān)系預(yù)測能力較差,模型泛化能力較低。為緩解基于Bert的關(guān)系鏈接模型對先前知識的災(zāi)難性遺忘和對領(lǐng)域數(shù)據(jù)的過擬合問題,提高模型泛化能力,本文引入了Adapter-Bert框架,該框架引入多個adapter層,在微調(diào)時,將預(yù)訓(xùn)練層進(jìn)行固定,只更新adapter層,能夠更大程度保留歷史知識。

在細(xì)粒度辨別性部分的捕捉方面,本文引入AMR形式化語義表示、實體與問題變換細(xì)粒度特征。AMR是不同于深度學(xué)習(xí)的分布式表示的形式化語義表示方法,與它類似的表示方法還有句子依存關(guān)系樹,相對于句子依存關(guān)系樹,AMR的語義表示結(jié)構(gòu)更為完整。AMR具備較完整準(zhǔn)確地表示文本語義的能力,可以作為文本辨別性語義部分的一個重要維度。實體特征包括實體文本與實體位置兩部分。實體文本是問題中的主要關(guān)注對象,KGQA需要根據(jù)實體文本在圖譜中進(jìn)行查找,獲取關(guān)系類別。實體位置對問句中的關(guān)系語義也有重要的影響,不同的實體位置可能會導(dǎo)致不同的關(guān)系類型,例如“患有糖尿病的高血壓病人應(yīng)該吃什么藥”與“患有高血壓的糖尿病人應(yīng)該吃什么藥”,雖然是同樣的實體名,但不同的位置導(dǎo)致第一句主題實體為高血壓病人,第二句話主題實體為糖尿病人。因此,實體的文本特征與位置特征均對問句關(guān)系語義產(chǎn)生重要影響。

2.2 基于遷移學(xué)習(xí)與細(xì)粒度文本特征的未見關(guān)系鏈接模型

本文基于Adapter-Bert框架提出了未見關(guān)系鏈接模型。該模型的總體結(jié)構(gòu)如圖1所示。模型通過將實體候選關(guān)系與問句進(jìn)行語義匹配,獲得是否匹配成功的分類標(biāo)簽。匹配成功的分類標(biāo)簽即為正確鏈接的關(guān)系。模型輸入包括四個部分,分別是問句抽象意義表示、實體指稱項、問題、關(guān)系,輸入首字符為CLS特殊字符,四個部分之間通過SEP特殊字符分隔。模型通過大規(guī)模預(yù)訓(xùn)練語言模型初始化輸入,從而將通用知識融入模型中。模型選用Adapter-Bert框架,減輕了災(zāi)難性遺忘問題,同時保證了本任務(wù)的學(xué)習(xí)能力。模型輸出字符的語義表示,取CLS特殊字符的表示,經(jīng)過線性變換層與softmax輸出層得到是否匹配的概率分布,最終得到分類標(biāo)簽。以下分別針對框架的選擇、實體特征、問題變換、抽象意義表示特征進(jìn)行說明。

圖1 模型架構(gòu)

2.2.1 框架的選擇

基于2.1部分的分析,可見基于Bert的微調(diào)存在任務(wù)數(shù)據(jù)過擬合、歷史知識遺忘、模型泛化性差的問題,基于此,谷歌團(tuán)隊Neil Houlsby等人于2019年提出Adapter-Bert[16]遷移學(xué)習(xí)模型。該模型在對Bert中的Transformer層進(jìn)行了改進(jìn)。Adapter-Bert模型將adapter層插入 Transformer模塊中,在Bert的原有atttention層和Feed-forward層之外,加入了兩層Adapter層,用于兩個子層的輸出映射,adapter 將隱層向量從d維映射為m維,而后重新映射為d維。該框架的優(yōu)勢在于只有少量參數(shù)被修改,微調(diào)得到的模型參數(shù)與原預(yù)訓(xùn)練語言模型的參數(shù)很相似,避免了下游任務(wù)微調(diào)過程中的過擬合和泛化性差的問題,固定原 BERT 的參數(shù)還極大地緩解了遺忘問題。因此,基于Adapter-Bert的微調(diào)在低資源和跨域場景中比基于Bert的微調(diào)有更好的效果。此外,該框架在微調(diào)中梯度不會下降太大,不會出現(xiàn)梯度消失問題,降低了訓(xùn)練中的優(yōu)化難度,因此效果也更加穩(wěn)定[17]。

2.2.2 細(xì)粒度特征

a.實體特征。實體文本與實體位置特征有助于模型對問題細(xì)粒度辨別性部分的捕捉。其一,主題實體在問題中位置不同,句子語義依存關(guān)系也不同,因此無論是實體還是其上下文,語義表示都會有變化,即問題的語義表示會發(fā)生變化,所以對實體進(jìn)行位置特征編碼是必要的。其二,實體的文本特征也對問句語義有重要影響,例如“糖尿病怎么治”與“熊孩子怎么治”,這兩個問句雖然都是怎么治,但糖尿病與熊孩子是兩個完全不同的實體語義,這導(dǎo)致了問句中的“怎么治”呈現(xiàn)不同的語義。其三,問句中可能不僅包含一個實體,實體位置能對不同位置的實體進(jìn)行有效區(qū)分,以便關(guān)系鏈接的召回階段,即實體的關(guān)系查詢階段,能夠召回特定實體對應(yīng)的關(guān)系類型。基于以上原因,本文將問句中的實體文本與位置作為模型的重要特征。

b. 問題變換。本研究將問題中的實體使用特殊字符表示進(jìn)行問題變換,旨在增強泛化性與語義準(zhǔn)確性。問題變換方法受到了基于問句模版匹配的關(guān)系鏈接方法的啟發(fā)。問句模版匹配是關(guān)系鏈接任務(wù)的一個傳統(tǒng)研究方法,該方法通過人工構(gòu)造每一種關(guān)系的若干模版,將用戶問句進(jìn)行轉(zhuǎn)換,并與模版進(jìn)行字面匹配。本研究的問題變換思路正是借鑒了這一方法,將實體用特殊字符表示,問句從而轉(zhuǎn)換為問句模版,進(jìn)而模型能夠?qū)W習(xí)到去除實體文本后的問句共性特征。同時,這一處理方法由于將實體相應(yīng)位置進(jìn)行統(tǒng)一替換,能夠幫助模型進(jìn)行實體位置捕捉。綜上,該方法在學(xué)習(xí)問句共性特征的同時,能夠捕捉到實體位置細(xì)粒度特征,提升模型泛化性和對細(xì)粒度辨別性特征的學(xué)習(xí)能力。

c.抽象意義表示特征。在日常生活中,我們常常會見到存在歧義的自然語言,一個語義可以用多種詞或句進(jìn)行描述,同樣的詞或句在不同的語境下也會呈現(xiàn)出不同的語義。準(zhǔn)確的語義表示是自然語言處理模型的基礎(chǔ)與關(guān)鍵。語義表示技術(shù)一直有兩種流派,分別是基于語言學(xué)語義分析的形式化符號表示方法與基于統(tǒng)計的分布式表示方法。形式化表示方法通過詞與詞之間關(guān)系進(jìn)行表示,如句法分析、抽象意義表示等,分布式表示方法則通過稠密向量進(jìn)行表示。

隨著深度學(xué)習(xí)的不斷發(fā)展,分布式語義表示方法近年來被研究人員與業(yè)界所青睞,同時形式化符號表示方法近年來也在繼詞法分析、句法分析后有所突破。AMR在依存句法樹的基礎(chǔ)上突破了樹結(jié)構(gòu),采用了表示力更強的圖結(jié)構(gòu),其以句法語義為基礎(chǔ),兼顧詞匯語義,允許增刪詞語,表示能力強[18]。李斌等[18]于2017年針對漢語特有的語法特點完善標(biāo)注體系,構(gòu)建了中文AMR,該團(tuán)隊于2021年又發(fā)布了中文AMR2.0版本的大規(guī)模數(shù)據(jù)集[19],該大規(guī)模數(shù)據(jù)集的發(fā)布大大提高了AMR表示模型的準(zhǔn)確度和可用性。本文也采用了基于該大規(guī)模數(shù)據(jù)集的AMR模型生成問句AMR表示。

綜上,兩種語義表示方法各有優(yōu)勢,形式化表示方法更加接近人類理解語言的方式,能夠進(jìn)行準(zhǔn)確的模仿學(xué)習(xí)。分布式表示方法則全然基于統(tǒng)計學(xué)方法,通過大量數(shù)據(jù)得到規(guī)律與特征,能夠進(jìn)行準(zhǔn)確的自學(xué)習(xí)。本研究將兩種語義表示方式進(jìn)行融合,在分布式表示中融入抽象意義表示這一形式化表示方法,提高模型對問句結(jié)構(gòu)與形式的捕捉能力。

抽象意義表示的基本結(jié)構(gòu)是單根有向無環(huán)圖,它將實體抽象為概念作為圖中的“節(jié)點”,將沒有實在意義的虛詞抽象為“邊”。單根的目的是保證句子語義和句法的整體性。有向邊是為了保證語義和句法的傳遞,無環(huán)是為了避免語義和句法傳遞陷入死循環(huán)。如圖2所示,圖中為“余華寫的許三觀賣血記講述了一個什么故事”這一問句的AMR圖,該表示將問句的語義呈現(xiàn)地十分清楚,例如主題實體(許三觀賣血記)與問句重要語義(講述)的關(guān)系、問句中詢問的對象(amr-unknown)與其他部分之間的關(guān)系、其他實體(余華)與主題實體(許三觀賣血記)之間的關(guān)系等。綜上,有理由假定將抽象意義表示融入模型將提高模型對主題實體、其他實體、動作關(guān)系及其他關(guān)聯(lián)關(guān)系等細(xì)粒度辨別性特征的捕捉能力,從而提升未見關(guān)系鏈接效果。

圖2 抽象意義表示示例

3 實驗及結(jié)果分析

3.1 實驗設(shè)計及數(shù)據(jù)

為驗證本研究所提方法在泛化上的優(yōu)越性,本文收集了多源數(shù)據(jù),包括NLPCC(Natural Language Processing and Chinese Computing)會議與CCKS(China Conference on Knowledge Graph and Semantic Computing)會議的知識圖譜問答數(shù)據(jù),訓(xùn)練集與測試集按照7:3進(jìn)行劃分,同時保證測試集中的關(guān)系均為訓(xùn)練集中所沒有見過的關(guān)系類型,問句的AMR形式化語義表示通過Hanlp開源自然語言處理庫生成,該三方庫的AMR模型的數(shù)據(jù)采用了上述提到的AMR2.0大規(guī)模數(shù)據(jù)集。最終構(gòu)建未見關(guān)系鏈接數(shù)據(jù)130 300條?；跇?gòu)建的未見關(guān)系鏈接數(shù)據(jù)集,本文的實驗?zāi)康娜缦?

a.對比Bert基線模型驗證模型在未見關(guān)系鏈接任務(wù)上的效果。

b.對比在分布式表示中融入抽象意義形式化表示對未見關(guān)系鏈接任務(wù)的影響

c.對比引入實體特征與問題變換對未見關(guān)系鏈接任務(wù)的影響

d.對比兩種語義表示方法的融合與實體特征和問題變換的加入對未見關(guān)系鏈接任務(wù)的共同影響。

基于上述實驗?zāi)康?本文共設(shè)計了4組分離與對照實驗,具體設(shè)計如下。

實驗一:對比分析Bert基線模型(基于預(yù)訓(xùn)練Bert進(jìn)行微調(diào))與Adapter-Bert基線模型(基于預(yù)訓(xùn)練Adapter-Bert進(jìn)行微調(diào))的實驗效果。

實驗二:對比模型分布式表示(Bert和Adapter-Bert)與在分布式表示中融入抽象意義形式化表示(Bert+AMR和Adapter-Bert+AMR)的實驗效果。

實驗三:對比分析實體特征與問題變換分別加入Bert模型(Bert+ENT)、Adapter-Bert模型(Adapter-Bert+ENT)的實驗效果。

實驗四:對比分析實體特征與問題變換分別加入Bert模型、Adapter-Bert模型,并在各自模型的分布式表示中融入問句抽象意義形式化表示后的實驗(Bert+AMR+ENT與Adapter-Bert+AMR+ENT)效果。

以上4組8個實驗?zāi)軌蜻M(jìn)行Bert與Adapter-Bert效果比較、在分布式表示中融入抽象意義形式化表示與否效果比較、實體特征與問題變換加入與否效果比較以及兩種語義表示方法的融合與實體特征和問題變換的加入二者是否有協(xié)同作用效果比較,能夠達(dá)到上述4個實驗?zāi)康摹?/p>

3.2 實驗配置及評估指標(biāo)

本文所采用的參數(shù)設(shè)置如下表1所示。由于本研究為分類任務(wù),因此實驗采用準(zhǔn)確率指標(biāo)進(jìn)行評價。指標(biāo)計算方法如式1所示,其中,TP表示正確預(yù)測的數(shù)量,FP表示錯誤預(yù)測的數(shù)量。

表1 模型參數(shù)

(1)

3.3 實驗結(jié)果及其分析

在未見關(guān)系鏈接數(shù)據(jù)集上,8個對照與分離實驗結(jié)果如表2所示,可以看出:

表2 模型在未見關(guān)系鏈接數(shù)據(jù)集上的實驗結(jié)果

a.Adapter-Bert基線準(zhǔn)確率為97.35%,比Bert基線模型準(zhǔn)確率高20.4%,因此本文選取的框架在未見關(guān)系鏈接任務(wù)中相比目前常用的Bert框架具備優(yōu)越性,能夠緩解bert模型存在的災(zāi)難性遺忘與過擬合問題。

b.Adapter-Bert+AMR相比Adapter-Bert提高了0.17%,由于基礎(chǔ)準(zhǔn)確率已達(dá)97%以上,因此本文加入的語義解析特征能夠為模型添加多維度語義信息。

c.Adapter-bert+ENT相比Adapter-Bert提高了0.29%,由于實體特征與問題變換強調(diào)了關(guān)系中涉及的實體語義和問題信息,因此同AMR特征,該特征能夠更準(zhǔn)確地識別問句所指向的關(guān)系。

d.Adapter-Bert+AMR+ENT相比Adapter-Bert提高了1.45%,該值相比上述單獨特征加入的提升效果(0.17%、0.29%)之和有顯著升高,這說明兩個特征在未見關(guān)系鏈接模型中能夠達(dá)到1+1大于2的效果。

e.從特征分別加入Bert和Adapter-Bert模型的效果來看,Bert模型分離實驗,即Bert+AMR、Bert+ENT、Bert+AMR+ENT與Bert這一組對比實驗,說明了AMR語義表示、實體特征與問題變換在Bert模型中未產(chǎn)生作用。這是由于基于Bert的微調(diào)模型產(chǎn)生了災(zāi)難性遺忘、對任務(wù)數(shù)據(jù)集的過擬合、分布外數(shù)據(jù)效果大幅下降等問題,導(dǎo)致模型學(xué)習(xí)能力較弱。在本研究構(gòu)建的未見關(guān)系鏈接數(shù)據(jù)集中,測試數(shù)據(jù)中的關(guān)系類別在訓(xùn)練數(shù)據(jù)中未曾出現(xiàn),由于遺忘與過擬合問題,基于Bert的模型對未見類別的語義表示能力較弱,本研究所提出的基于Adapter-Bert的模型在未見類別表示上具有顯著優(yōu)勢。在Adapter-Bert模型分離實驗中,即Adapter-Bert+AMR、Adapter-Bert+ENT、Adapter-Bert+AMR+ENT與Adapter-Bert這一組對比實驗,證明了本研究提出特征的有效性,且Adapter-Bert+AMR+ENT模型的效果說明了細(xì)粒度辨別性特征之間還具有協(xié)同促進(jìn)作用。

f.實驗結(jié)果表明分布式表示與AMR形式化表示的融合所帶來的提升相對整體準(zhǔn)確率較小,這可能是由于二者的融合方式需進(jìn)行進(jìn)一步探索與優(yōu)化。但由于這方面的研究較少,還沒有找到更好的融合方式。但本文提出對二者的融合探索是價值的,一方面形式化表示含有問句中各個成分的類別及其之間的關(guān)系,能夠為問句提供較強的辨別性信息;另一方面分布式表示在語義表示方面有很強的優(yōu)勢,能夠?qū)φZ義相似的對象進(jìn)行準(zhǔn)確計算。因此兩種表示各有千秋,對二者融合的探索有較大的價值,能對未來研究產(chǎn)生積極推進(jìn)作用。

綜上,本文提出的模型在未見關(guān)系鏈接任務(wù)最終準(zhǔn)確率達(dá)到98.80%,能夠較好地滿足現(xiàn)實場景應(yīng)用需求。

4 結(jié) 語

Bert模型在任務(wù)中的微調(diào)存在災(zāi)難性遺忘、過擬合、分布外數(shù)據(jù)效果斷崖式下降等問題。在知識圖譜問答中,知識圖譜常常更新或更換,會出現(xiàn)大量未見關(guān)系類別。基于這兩點, Bert關(guān)系鏈接模型無法滿足問答需求,且時常進(jìn)行未見關(guān)系的數(shù)據(jù)標(biāo)注與模型更新也需要大量的人力與物力。為解決這一問題,提高關(guān)系鏈接模型的泛化性,本文提出了基于遷移學(xué)習(xí)和細(xì)粒度語義特征的未見關(guān)系鏈接模型,該模型能夠利用遷移學(xué)習(xí)框架adapter-bert緩解模型的通用知識遺忘問題,降低模型對于任務(wù)數(shù)據(jù)集的過擬合程度,增加模型訓(xùn)練的穩(wěn)定性,提高模型的泛化能力。細(xì)粒度特征的加入使得模型在提高泛化性的基礎(chǔ)上,增強其對辨別性部分的捕捉能力,更好地表示問句間的細(xì)微差異,提高模型的語義匹配準(zhǔn)確性。本研究探索了形式化語義表示與分布式語義表示的融合方式,在深度學(xué)習(xí)模型的低維稠密嵌入表示基礎(chǔ)上,融入先進(jìn)的AMR。通過融合兩種不同形式的語義表示,模型能夠?qū)W習(xí)到多維精準(zhǔn)的問句與關(guān)系語義表示。此外,本研究受到傳統(tǒng)基于模版匹配的關(guān)系鏈接方法的思路啟發(fā),將問題通過實體替換轉(zhuǎn)換為模版形式。由于不同的實體指稱名會導(dǎo)致不同的問題語義,不同的實體位置也會導(dǎo)致全然不同的語義,因此本研究融入了實體內(nèi)容與位置特征。

為驗證上述方法的有效性,本研究構(gòu)造了中文未見關(guān)系鏈接數(shù)據(jù)集,并驗證了模型效果。研究結(jié)果發(fā)現(xiàn),在未見關(guān)系鏈接中:a. Adapter-Bert基線模型較Bert基線模型有大幅提升;b.基于Bert的未見關(guān)系鏈接模型存在著災(zāi)難性遺忘與任務(wù)數(shù)據(jù)集過擬合問題;c.在Adapter-Bert中,單獨的細(xì)粒度辨別性特征能夠提升模型效果,多個細(xì)粒度特征能夠有協(xié)同效果提升。本文所構(gòu)建模型較Bert基線模型提高了24%,能夠應(yīng)對知識圖譜常常更新的現(xiàn)實需求,具有較好的應(yīng)用前景。未來的研究一方面能在更多領(lǐng)域、更大規(guī)模數(shù)據(jù)上進(jìn)行實驗,檢驗本研究提出模型的有效性;另一方面,隨著領(lǐng)域的不斷發(fā)展,對形式化表示與分布式表示的融合能在未來進(jìn)行更深入的研究。前述相關(guān)研究中有研究通過TransE進(jìn)行關(guān)系表示,抽象意義形式化表示與知識圖譜表示同屬于圖表示,因此未來可以探索諸如圖表示學(xué)習(xí)方法等其他形式化表示與分布式表示的融合方式,進(jìn)一步提高模型的精度。