融合源端句法和語義角色信息的AMR解析

葛東來，李軍輝，朱慕華，李壽山，周國棟

(1. 蘇州大學 計算機科學與技術(shù)學院，江蘇 蘇州 215006)(2. 阿里巴巴集團，浙江 杭州 311121)

0 引言

語義解析是一種將自然語言句子映射到語義表示的過程[1-7]。近年來，得益于大規(guī)模標注數(shù)據(jù)的發(fā)布，抽象意義表示(Abstract Meaning Representation，AMR)解析越來越受到研究者的關(guān)注[1]。簡而言之，AMR是一種語義形式，它將句子的意義表示為單根的有向無環(huán)圖，其中節(jié)點表示AMR概念，帶有向標記的邊表示節(jié)點之間的語義關(guān)系。

最近很多相關(guān)工作將AMR圖線性序列化，進而將AMR解析視為從源端句子到目標端線性化的AMR圖的翻譯任務(wù)，并采用目前神經(jīng)機器翻譯通用的seq2seq模型[8-11]。然而，大多數(shù)相關(guān)工作都將源句表示為單詞序列，沒有考慮那些對AMR圖的構(gòu)造非常有用的源端句法和語義角色信息。此外，最近關(guān)于seq2seq模型的相關(guān)研究，比如機器翻譯[12-13]，表明即使是百萬級的平行語料庫，seq2seq模型仍然無法從中捕獲深層的句法信息，更不用說規(guī)模相差甚遠的AMR語料。因此，在缺乏語言知識的情況下，基于seq2seq模型的AMR解析很容易產(chǎn)生與輸入句子的句法和語義不一致的AMR結(jié)果。

例如，圖1(a)中seq2seq AMR給出了一個典型的基于seq2seq模型的AMR解析示例，該解析結(jié)果具有以下幾個問題。首先，模型錯誤地將片段“a separatist area of Georgia”識別為兩個平行的概念“country”和“area”。其次，它認為這兩個概念都是概念“strike”的修飾語，這與源端句子的句法結(jié)構(gòu)不一致。最后，在語義關(guān)系上，它錯誤地將概念“strike”視為概念“escalate”的ARG1，即受事者。這與源端句子的語義角色信息不一致，因為“airstrikes”擔當謂詞“escalated”的ARG0角色，即施事者。此外，我們隨機選擇開發(fā)集的100個句子，手工分析其AMR解析結(jié)果，發(fā)現(xiàn)高達76%句子的AMR解析結(jié)果中存在著與源端句子的句法或語義角色不一致的地方。

圖1 基于seq2seq模型的AMR解析器的輸出樣例和AMR圖的線性化

一般來說，源端句子的句法和語義角色信息對AMR解析是有幫助的，因為源句的句法結(jié)構(gòu)與AMR圖中概念之間的修飾與被修飾結(jié)構(gòu)是兼容的，而源句中謂詞與論元之間的修辭關(guān)系與AMR圖中概念的語義關(guān)系相對應。從本質(zhì)上講，AMR圖中包含了源句的句法和語義角色信息。并且相關(guān)工作已經(jīng)表明，在非神經(jīng)AMR解析中利用源句的句法和語義角色信息有助于提高AMR解析性能[1,14]。針對基于seq2seq模型的神經(jīng)AMR解析，本文提出了一個直接而有效的融合句法和語義角色信息的AMR解析方法(1)本文使用語義角色標注結(jié)果表示源端句子的語義角色信息。，甚至不需要對seq2seq模型本身進行任何修改。在AMR標準英語數(shù)據(jù)集上的結(jié)果表明，即使對比本文基于目前在機器翻譯領(lǐng)域取得最優(yōu)性能的seq2seq基準模型，融合源端句法和語義角色信息的AMR解析仍然可以顯著提高6.7%的F1值。此外，本文還進一步從多個角度深入分析源端句法和語義角色信息如何對AMR解析產(chǎn)生積極影響。

1 相關(guān)工作

目前AMR的解析方法大致可以分為兩類： 非神經(jīng)網(wǎng)絡(luò)解析方法和神經(jīng)網(wǎng)絡(luò)解析方法。

1.1 非神經(jīng)網(wǎng)絡(luò)解析方法

在神經(jīng)網(wǎng)絡(luò)普及之前，AMR的解析方法主要分為兩類。一類是基于圖的方法，該方法首先進行“概念識別”來識別所有概念，然后通過最大子圖連接(Maximum Spanning Connected Subgraph)算法進行關(guān)系識別，從而得到完整AMR圖[15-16]。JAMR[15]是基于圖解析方法的主要代表。另一類是基于語法的解析方法，它們使用依存語法、組合分類語法(CCG)或翻譯語法來進行AMR解析[17-20]。例如，CAMR就是先對被解析句子進行依存解析[17]，然后再對依存解析結(jié)果進行shift-reduce轉(zhuǎn)換變成AMR圖。在最近的研究工作中，Guo等[21]和Peng等[22]使用基于轉(zhuǎn)換的模型進行AMR解析。Groschwitz等[23]則先將句子轉(zhuǎn)換成AMR圖的組成結(jié)構(gòu)，再將其轉(zhuǎn)換成AMR圖。上述一些研究也曾將句法和語義角色信息應用到非神經(jīng)網(wǎng)絡(luò)解析方法中，并取得了一定的效果。本文的創(chuàng)新點則在于將句法和語義角色信息應用到基于神經(jīng)網(wǎng)絡(luò)的解析方法中。

1.2 神經(jīng)網(wǎng)絡(luò)解析方法

隨著神經(jīng)網(wǎng)絡(luò)的興起，AMR解析也迎來了基于神經(jīng)網(wǎng)絡(luò)解析方法的熱潮。Barzdins等[8]基于seq2seq模型，將輸入的字符級句子序列輸出為字符級線性AMR序列。Peng[11]等則使用seq2seq模型來進行基于字級別的AMR解析，并把關(guān)注點放在數(shù)據(jù)的稀疏性問題上。Konstas等[10]使用外部資源Gigawords訓練seq2seq模型來進行AMR圖的解析和生成。Foland等[24]將多個不同功能的循環(huán)神經(jīng)網(wǎng)絡(luò)作為AMR解析模型的主要組件。Lyu等[25]則將對齊信息作為隱藏變量來得到AMR解析的聯(lián)合概率模型。但是，他們都忽略了對AMR解析性能提升有幫助的句法和語義信息。只有Noord等[9]探索了如何將詞性信息應用于AMR的神經(jīng)網(wǎng)絡(luò)解析模型中。本文則使用他的預處理和后處理腳本，將句法和語義角色信息應用到神經(jīng)網(wǎng)絡(luò)解析方法中。需要指出的是，seq2seq模型存在對AMR圖簡化處理的傾向，訓練和解碼都被簡化的同時，可能也損失了信息量。

2 基準模型： 將AMR解析看作機器翻譯任務(wù)

本文使用目前性能最優(yōu)的seq2seq模型Transformer作為基準模型，該模型最初被用于神經(jīng)機器翻譯和語法分析[26]。為了使該模型適用于AMR解析任務(wù)，首先需要將AMR圖經(jīng)過線性化等預處理操作變?yōu)樾蛄?，將AMR解析看作是一個seq2seq任務(wù)；得到預測的AMR序列后，通過后處理把AMR序列恢復為AMR圖。

2.1 序列到序列模型

本文使用Transformer[26]作為AMR解析的基準seq2seq模型。與基于循環(huán)神經(jīng)網(wǎng)絡(luò)的seq2seq模型相比，Transformer使用多頭自注意力機制對序列進行編碼。由于自注意力機制的計算可以并行進行，所以相對于基于循環(huán)神經(jīng)網(wǎng)絡(luò)的seq2seq模型，該模型大大加快了訓練速度。

Transformer的編碼器由多個相同的層堆棧組成，每層有兩個子層，一個是多頭自注意力機制層，另一個是全連接前饋網(wǎng)絡(luò)層。解碼器部分也由多個相同的層堆棧組成。但是解碼器中每層比編碼器多了一個對編碼器堆的輸出進行多頭自注意力機制計算的子層。機器翻譯和句法分析任務(wù)的實驗結(jié)果表明，Transformer優(yōu)于基于循環(huán)神經(jīng)網(wǎng)絡(luò)的seq2seq模型。有關(guān)詳細內(nèi)容，可以參閱Vaswani等的論文[26]。

2.2 預處理： AMR圖到AMR序列轉(zhuǎn)換

本文使用Barzdins[8]和Noord[9]等實驗中的預處理方法。該方法首先將通過刪除變量和wiki鏈接以獲得簡化的AMR圖，即AMR樹。由于AMR圖中的變量僅用于指示共同引用節(jié)點，且本身不攜帶任何語義信息。因此，通過移除變量、刪除wiki鏈接和復制共同引用的節(jié)點，可以將AMR圖轉(zhuǎn)換為AMR樹；其次，將AMR樹中的換行符替換為空格，從而獲取AMR圖的線性序列。例如，圖1(b)給出了圖1(a) Gold AMR圖對應的AMR樹以及AMR線性序列。

2.3 后處理： AMR序列恢復為AMR圖

seq2seq模型的AMR解析結(jié)果仍然是一個序列，并且該序列沒有變量、wiki鏈接和共同引用節(jié)點，甚至還可能出現(xiàn)括號不匹配問題，導致某些概念不完整。因此，在后處理過程中，把這樣的一個序列恢復為完整的AMR圖需要進行相應的后處理，主要步驟包括： 首先需要為每個概念分配唯一變量；修剪重復和冗余信息；添加wiki鏈接以及恢復共同引用節(jié)點；同時，修復不完整的概念。經(jīng)過這些處理后，模型的解析結(jié)果序列可以恢復成完整的AMR圖。

本文使用Noord[9]等實驗中使用的預處理和后處理腳本(2)https://github.com/RikVN/AMR。需要注意的是，Konstas等[10]和Peng等[11]的研究中提出了其他的AMR圖序列化和恢復方法，本文提出的融合源端句法和語義角色信息的方法同樣也適用于他們的模型。

3 融合源端句法和語義信息

Seq2seq模型將句子視為單詞序列，但是卻忽略了句子的外部知識，并且不能有效地捕獲單詞間的固有內(nèi)部結(jié)構(gòu)。為了使模型能學習到源端句子的外部知識和內(nèi)部結(jié)構(gòu)，特別是句法和語義角色信息，本文把關(guān)注點放在了被解析句子的句法分析樹和語義角色標注上，并以此提出了三種不同的解析模型，將句法結(jié)構(gòu)和語義角色信息融合到源端句子的建模中。本文以圖2給出的一個源端句子“It begins and ends with Romneycare”為例，詳細描述如何在對源端句子建模過程中融合其句法和語義角色信息。值得注意的是，雖然句法和語義角色信息都是以樹型結(jié)構(gòu)表示的，但相關(guān)研究表明，通過對樹型結(jié)構(gòu)線性化得到序列表示，該序列表示可以看作是原樹形結(jié)構(gòu)的近似表示[12,27-28]。

圖2 源端句子及其帶語義角色標簽句法樹例子注： “+句法”表示融合句法標簽的源端序列；“+語義角色”表示融合語義角色標簽的源端序列；“+句法+語義角色”表示同時融合句法和語義角色標簽的源端序列

3.1 融合源端句法信息

融合源端句法信息的基本思想是將源端句子的句法分析結(jié)果從其句法樹轉(zhuǎn)換為句法標簽序列。雖然句法分析樹的線性化存在多種方法(例如，有些包括表示句法結(jié)束邊界的符號，有些則不包括[12,27-28])，但都遵守先序遍歷的原則，初步實驗結(jié)果表明，這些方法之間的性能差距非常小。因此，本文按照Li等[12]的方法，使用先序遍歷來獲得源端句法序列，該序列包括句法標簽、詞性標簽以及單詞。

如圖2所示，“+句法”顯示了樣例句子在融合源端句法信息后的序列。這個序列將直接作為seq2seq模型的輸入。

3.2 融合源端語義角色信息

語義角色標注(Semantic Role Labeling，SRL)也稱為淺層語義分析。該任務(wù)以句子的謂詞為中心，研究句子中各成分與謂詞之間的關(guān)系，并且用語義角色來描述它們之間的關(guān)系。常見的語義角色包括施事者、受事者、時間或地點等[29]。在同一個句子中，一個謂詞可能具有多個語義角色，這些語義角色通?？梢杂成涞骄浞涞墓?jié)點上。一個句子可包含多個謂詞，在如圖2所示的句法樹中，節(jié)點PP(with Romneycare)擔當了謂詞starts和ends的ARG2角色。除語義角色標簽外，本文使用標簽Pre表示謂詞。類似地，語義角色標簽的線性化方法也存在多種方式。為方便起見，本文采用了與句法結(jié)構(gòu)的線性化方法一致的策略，即在每個片段的起始位置插入語義角色標簽。例如，具有兩個ARG2語義角色標簽的片段with Romneycare線性化為ARG2 ARG2 with Romneycare。

圖2中“+語義角色”顯示了例句融合源端語義角色信息之后的序列，其中Pre表示謂詞。同樣，新序列也將直接用作seq2seq模型的輸入。

3.3 融合源端句法和語義角色信息

為了獲得融合源端句法和語義角色信息的序列，本文對包含語義角色的句法樹使用先序遍歷以獲得線性化序列。如果句法節(jié)點帶有語義角色，則將語義角色標簽放在句法標簽之后。例如，圖2中的句法節(jié)點PP同時擔當了兩個謂詞“begins”和“ends”的ARG2語義角色，因此該節(jié)點被線性化為PP ARG2 ARG2，其中PP為句法標簽，而ARG2為語義角色標簽。同時，幾乎所有的動詞都會被標注為謂詞，因此在包含融合源端句法信息的情況下，表示謂詞的Pre標簽與表示動詞詞性的標簽存在信息冗余，所以在同時融合源端句法和語義角色信息的線性化中省略了謂詞標簽Pre。

圖2中的“+句法+語義角色”即為融合了源端句法和語義角色信息之后的序列。該序列也會用作seq2seq模型的輸入。

4 實驗

4.1 實驗設(shè)置

本文實驗使用的數(shù)據(jù)集是LDC2017T10。該數(shù)據(jù)集包含若干英文句子及其對應的AMR圖。與相關(guān)研究的數(shù)據(jù)劃分一致，訓練集、開發(fā)集和測試集分別包含36 521個、1 368個句子及1 371個句子和AMR對。為了獲取源端句子的句法分析和語義角色標注結(jié)果，本文使用開源源代碼工具AllenNLP[30](3)https://allennlp.org/，該工具的句法分析模型是基于PennTree Bank訓練的，語義角色標注模型則是基于英文Ontonotes 5.0訓練的。在進行語義角色標注時，工具會識別除了輔助動詞和系動詞之外的所有謂詞的語義角色。融合了句法和語義角色信息之后，不可避免地會增加源端序列的長度。如表1所示，融合源端不同信息后，源端輸入序列的平均長度相對于基準模型都明顯增加。本文使用SMATCH系統(tǒng)[31]來評估AMR解析模型的性能，該系統(tǒng)會將模型解析生成的AMR圖和正確AMR圖都轉(zhuǎn)換為三元組，然后進行對比，算出P(精確度)、R(召回率)、F1值。本文實驗所使用的代碼將在Github上開源公布。

本文使用開源代碼tensor2tensor(4)https://github.com/tensorflow/tensor2tensor作為Transformer基準模型。在參數(shù)設(shè)置上， 模型編碼器和解碼器的層數(shù)都設(shè)置為6，多頭自注意力機制(Multi-head attention)的頭數(shù)設(shè)置為8，隱藏層大小設(shè)置為512，批處理大小設(shè)置為4 096，最大句子長度為512。同時模型優(yōu)化使用beta1=0.1的Adam[32]算法。解碼時，額外長度從默認值50增加到150，該值表示模型解碼時允許生成的目標AMR圖的最大長度是源端序列長度加150。其余參數(shù)則都使用該系統(tǒng)的默認值。

表1 源端句子的平均長度(注： 以詞為單位)

4.2 實驗結(jié)果

表2給出了融合源端句法和語義角色信息前、后AMR解析的性能對比，并且從實例、屬性(對概念的詳細描述)、關(guān)系及總體四個方面分別對模型性能進行了評估。從表2中可以看出，融合源端句法和語義角色信息能夠顯著提高AMR解析的性能。在總體性能上，單獨融合源端句法信息和單獨融合源端語義角色信息分別提高5.3和3.2個F1值。此外，在源端已經(jīng)融合了句法信息的基礎(chǔ)上，再融合源端語義角色信息能夠進一步提高1.4個F1值 (從68.0提升至69.4)。這一結(jié)果表明，句法信息和語義角色信息之間存在互補和重疊。也就是說，在融合了源端句法信息之后，再向源端融合語義角色信息所獲得的提高將有限。有趣的是，該現(xiàn)象與融合源端句法和語義角色信息的機器翻譯的實驗結(jié)果一致[33-34]。

表2 融合源端句法和語義角色信息的實驗結(jié)果和提升值

注： “時間”表示不同模型訓練一輪所花費的時間，以分鐘為單位。

4.2.1 參數(shù)和訓練時間

融合源端句法和語義角色信息只是使源端序列變長，但不會引入新參數(shù)。然而，模型在融合句法和語義角色信息后，由于輸入序列變長，會略微增加訓練時間?；趩蜧PU GeForce GTX 1080，如表2中“時間”列所示，基準模型完成一輪訓練需要4.9分鐘，而融合源端句法和語義角色信息的模型則分別花費5.5分鐘和5.2分鐘，訓練時間分別提升1.12倍和1.06倍。最后，同時融合源端句法和語義角色信息的模型每輪則會花費6.0分鐘，較基準模型僅提高1.22倍。

4.2.2 與其他系統(tǒng)比較

表3給出了本文模型與其他AMR解析模型的性能比較。需要注意的是，LDC2016E25和LDC2017T10是完全相同的數(shù)據(jù)集，并且采用完全一致的數(shù)據(jù)劃分。而LDC2015E86與前兩個數(shù)據(jù)集的開發(fā)和測試集是一樣的，但是訓練集大小只有它們的一半左右，由于該數(shù)據(jù)集僅對2015年AMR解析評估比賽的參與者開放，所以本文無法使用該數(shù)據(jù)集。從表3的結(jié)果中可以看出，在數(shù)據(jù)集同樣是LDC2017T10的情況下，本文的“+句法+語義角色”的模型結(jié)果為69.4，優(yōu)于Noord等基于字符的seq2seq模型[9]結(jié)果64.0。由于本文未使用Noord等的100k偽語料來擴充數(shù)據(jù)集，所以無法與其71.0的模型結(jié)果進行比較。當然，對于Foland等[24]、Guo等[21]和Lyu等[25]的非seq2seq模型也不進行比較。

表3 與其他模型的比較

5 實驗分析

本節(jié)將從多個角度探討為什么融合源端句法和語義角色信息可以提升AMR解析的性能。

5.1 subword技術(shù)對解析模型的影響

如前文所述，本文使用tensor2tensor源碼作為Transformer基準模型，該模型使用了一種subword技術(shù)，它類似于字節(jié)對編碼(byte pair encoding，BPE)技術(shù)[35-36]，主要解決未登錄詞的翻譯問題。基準模型在源端和AMR序列目標端分別使用了包含17 961和6 343個單詞的詞匯表。為了分析subword技術(shù)對模型性能的影響，本文重復表2中的各個實驗，但不使用subword技術(shù)，本文分別從訓練語料的源端和目標端抽取詞頻最高的前3萬個單詞作為其詞表，其中源端詞表覆蓋整個訓練語料的99.4%，目標端詞表覆蓋率為100%。所有不在詞表中的單詞被表示為“UNK”特殊標記符號。

表4給出了是否使用subword技術(shù)的對比實驗結(jié)果。從中可以得出結(jié)論，不論是基準模型還是融合源端不同信息的模型，使用subword技術(shù)的AMR解析模型取得的性能都要明顯高于不使用subword技術(shù)的AMR解析模型，這一結(jié)果表明subword技術(shù)能夠有效地解決數(shù)據(jù)稀疏性問題[11]。此外，從表4中也可以看出，不使用subword技術(shù)情況下各AMR解析模型性能趨勢與使用subword技術(shù)情況下的性能趨勢是相似的,融合源端句法信息比融合源端語義角色信息對模型性能的提升影響更大，并且句法信息與語義角色信息之間存在著互補與重疊。最后，表4中的結(jié)果也表明不論是否使用subword技術(shù)，融合源端句法和語義角色信息都對基準模型有較大的提升。這也證實了本文方法的有效性。

表4 是否使用subword技術(shù)的實驗結(jié)果對比

5.2 融合源端不同類型的句法信息

雖然融合源端句法信息的方法能顯著提升AMR解析的性能，但為了探究哪種類型的句法信息對解析性能提升最為有效，本文進一步將句法成分分為三種類型，分別是詞性、語義角色和詞性、其他信息。

如圖2句法樹所示，以上三種類型的句法結(jié)點分別是： (PRP，VBZ，CC，VBZ，IN，NNP)、(NP，VBZ，VBZ，PP)和(S，VP，NP)。為了分析它們對模型性能提升的影響程度，本文在線性化句法樹得到源端序列時分別僅包含以上三種不同類型句法結(jié)點。例如，針對圖2中的句法樹，融合“類型2”的句法節(jié)點的線性化序列結(jié)果是(NP It VBZ begins and VBZ ends PP with Romneycare.)。該序列實際上是與融合源端語義角色信息得到的序列是類似的，只不過這里使用句法標簽代替語義角色標簽。表5給出了融合以上三種不同類型句法成分的AMR解析結(jié)果。實驗結(jié)果表明，詞性信息貢獻最大，占了“+句法”模型性能提升的四分之三(即4.0/5.3=75%)。

表5 融合源端不同類型句法信息的實驗結(jié)果

5.3 融合源端不同設(shè)置的語義角色信息

如上所述，融合源端語義角色信息能夠提高AMR解析性能。為了探究語義角色信息的詳細程度對解析性能的影響，本文設(shè)計了兩個額外的對比實驗。

設(shè)置1將語義角色標簽ARG1～ARG5統(tǒng)一為A-Core，ARGM-*統(tǒng)一為ARGM，Pre則作為所有謂詞的統(tǒng)一標簽。

設(shè)置2把所有語義角色標簽統(tǒng)一為X。表6給出了融合以上兩種不同設(shè)置的語義角色信息的實驗結(jié)果。實驗結(jié)果表明，模糊語義角色標簽會降低模型解析性能。而且，語義角色標簽越模糊，解析性能提升越不明顯。這一結(jié)果也從側(cè)面表明AMR解析模型的性能會從更高精度的語義角色標注系統(tǒng)中獲益更多。

表6 融合源端不同語義角色信息的實驗結(jié)果

5.4 句子長度的影響

為了探究句子長度對AMR解析模型性能的影響，本文將開發(fā)集按照長度將句子分成6個組，并分別計算它們在不同解析模型上的F1值。圖3以折線圖的形式將實驗結(jié)果表示出來，從圖3中可以看出，在不同長度區(qū)間上融合源端句法和語義角色信息的模型解析性能都明顯優(yōu)于基準模型。同時還可以看到，隨著句子長度的增加，解析模型的性能急劇下降。這種現(xiàn)象在神經(jīng)機器翻譯中同樣存在[12,14]，因為基準模型使用的Transformer系統(tǒng)最初就是為神經(jīng)機器翻譯任務(wù)設(shè)計的。經(jīng)過分析本文認為，長句解析性能差主要由以下三個原因造成的： 首先，seq2seq模型在解析較長的源端句子時，往往較早預測出目標端句子終止符，過早結(jié)束解析。這個問題在神經(jīng)機器翻譯的研究中曾被廣泛討論過[12,14]。其次，目標端AMR序列不僅包含概念結(jié)點，還包含結(jié)點之間的關(guān)系，導致其比源端序列長很多。以基準模型的開發(fā)集為例，源端序列和AMR端序列的平均長度分別為21和88，這會加大模型的學習難度。最后，長句的結(jié)構(gòu)往往很復雜，本文對源端的句法分析結(jié)果進行分析比較，發(fā)現(xiàn)對于序列長度小于10的句子，中心詞與其修飾詞之間的平均距離為1.9。但是，對于序列長度超過50的句子，這個距離會增加到3.5，這會導致解析模型很難學到長句子的內(nèi)部結(jié)構(gòu)信息，產(chǎn)生解析錯誤。

圖3 不同解析模型在不同長度句子上的性能

5.5 錯誤分析

最后，對本文提出的不同解析模型進行人工錯誤分析。在對正確AMR圖和不同模型自動解析出的AMR圖進行比較后，將錯誤分為以下三類。

為簡單起見，這里不區(qū)分詞義標記。例如，認為“set-02”與“set-01”是一致的。

(1) 概念錯誤： 指概念缺失、概念冗余或錯誤的概念。

(2) 依存關(guān)系錯誤： 當正確AMR圖中不存在該(中心詞，修飾詞/屬性)概念對時，此概念對屬于依存關(guān)系錯誤(這里將不同但相似的概念視為同一概念，例如，“warfare”和“war”)。

(3) 關(guān)系錯誤： 當正確AMR圖中不存在該(中心詞，修飾詞/屬性，關(guān)系)的三元組時，此三元組存在關(guān)系錯誤。

如圖4樣例所示，雖然第一個例子的源端句子很短，但基準模型的解析結(jié)果與正確AMR圖相比缺少了兩個關(guān)鍵概念(即“set-02”和“develop-01”)，而且還多了一個冗余概念(即“normal”)。由于存在概念錯誤，系統(tǒng)產(chǎn)生概念間的依存關(guān)系錯誤和關(guān)系錯誤，進一步導致解析結(jié)果很差。第二個例子的基準模型的解析結(jié)果中也存在概念錯誤，多出了一個概念“cause”，從而產(chǎn)生許多與“cause”相關(guān)的依存關(guān)系錯誤和關(guān)系錯誤。此外，還將“signal”和“crash”兩個概念之間的關(guān)系錯誤地解析為ARG1。然而，從圖4中也可以看出，融合源端句法和語義角色信息后，模型能在很大程度上避免以上這些錯誤的產(chǎn)生。

圖4 AMR解析模型的輸出結(jié)果注： 為節(jié)約空間，這里只標出了基準系統(tǒng)輸出的錯誤

本文從開發(fā)集中隨機選出100個樣例以及與之相對應的基準模型和“+句法+語義角色”模型的解析結(jié)果，然后人工統(tǒng)計這三種錯誤類型的出現(xiàn)次數(shù)。表7給出了最后的統(tǒng)計結(jié)果，可以看到兩種模型解析結(jié)果中的主要錯誤都是概念錯誤和關(guān)系錯誤，其次是依存關(guān)系錯誤。同時還可以看到，在融合源端句法和語義角色信息后的模型解析結(jié)果中各類錯誤的數(shù)量明顯減少。這也再一次證實，融合源端句法和語義角色信息會明顯提升AMR解析模型的性能。

表7 從開發(fā)集中隨機挑選100個句子的錯誤分析

6 結(jié)論

本文在基于seq2seq的AMR解析模型的基礎(chǔ)上提出了一種將句法和語義角色信息融入源端編碼的有效方法。實驗結(jié)果表明，使用該方法能夠有效地對句法和語義角色信息編碼，并且相對于基準模型提升了6.7個F1值。特別地，詞性信息的加入和subword技術(shù)的使用對AMR解析模型的性能有明顯提升作用。加入詞性信息相較于基準模型會提升4.0個F1值，而使用subword技術(shù)的模型相對于不使用該技術(shù)的模型也會提升3.7～5.4個F1值。由于句法分析、語義角色標注和AMR解析任務(wù)之間具有很高的相關(guān)性，未來工作中，將會探索句法分析、語義角色標注和AMR解析任務(wù)之間的聯(lián)合學習。