基于GCN和門機制的漢語框架排歧方法

游亞男,李 茹,2,蘇雪峰,3,閆智超,孫民帥,王 超

(1. 山西大學 計算機與信息技術學院,山西 太原 030006;2. 山西大學 計算智能與中文信息處理教育部重點實驗室,山西 太原 030006;3. 山西工程科技職業(yè)大學 現(xiàn)代物流學院,山西 晉中 030609)

0 引言

漢語框架網(Chinese FrameNet,CFN)[1]是以Fillmore的框架語義學[2]為理論基礎,以漢語真實語料為依據,參照伯克利大學的框架語義知識庫(FrameNet,FN)[3]構建的漢語詞匯語義知識庫,包括框架庫、句子庫和詞元庫,其中相關術語如表1所示。漢語框架語義分析是基于漢語框架網的標注資源提出的任務[5],而漢語框架排歧作為漢語框架語義分析中的重要研究任務,其正確與否直接關系到漢語框架語義分析的準確性。

漢語框架排歧任務即給定一個句子和一個目標詞以及該目標詞在CFN中能激起的所有框架,需根據目標詞的上下文推斷出該目標詞在當前語境下所匹配的框架。如表2所示,在CFN中,目標詞“炒”可以激起兩個框架“解雇”“烹飪”,“解雇”表示雇主終結與雇員之間的雇傭關系;“烹飪”表示烹調者對食物進行加工。在s1中,根據上下文信息可以判斷“炒”激起的框架為“解雇”,而s2中“炒”激起的框架為“烹飪”。

目前大多數研究將框架排歧看作多分類任務,主要有兩類方法: 一種是基于傳統(tǒng)機器學習的方法,該類方法使用自然語言處理工具分析句子,人工抽取特征,通過機器學習方法訓練模型。該類方法得到的特征矩陣維度大,特征稀疏,并且特征之間沒有關聯(lián),模型難以在不同的樹結構上并行計算,計算效率低下。另一種是基于深度學習的方法,該類方法實現(xiàn)了自動學習特征,避免了特征維度過高,有效地融合了上下文信息,在一定程度上解決了特征之間無關聯(lián)的問題,提升了框架排歧的準確率。已有工作將依存信息集成到深度學習的模型中來進一步提高模型性能,取得了一定的效果。但這些方法仍然存在以下不足: ①在框架排歧中,不同目標詞在上下文中關注的詞應該有所不同,但現(xiàn)有方法在進行向量計算時并沒有考慮這一點。如在表2的句子s2中,“炒”和“迎接”是兩個目標詞,在對它們進行框架排歧時希望模型得到的句子表示是不同的;②已有方法只考慮句法上與目標詞相鄰的詞,忽略了句法不相鄰詞對目標詞的影響。

本文首先使用BERT[6]進行上下文編碼,利用哈工大語言技術分析平臺(LTP)[7]進行句法分析以此構建依存圖。然后通過GCN對依存圖中的信息交互進行建模,充分利用GCN對圖的特征提取能力。針對問題①,考慮到BERT得到的隱層向量并不是特定于目標詞的,在輸入GCN更新節(jié)點的過程中會保留與目標詞無關的冗余信息,本文引入門機制,計算一個特定于目標詞的門向量,并將門向量應用于每個GCN層,改變上下文的表示,得到特定于目標詞的隱層向量來過濾無關特征;針對問題②,本文認為句法不相鄰詞對于目標詞的表示學習具有指導作用,因此本文提出依據句法信息為句子中的每個詞分配一個分數,明確量化其對目標詞進行框架排歧的貢獻,注入模型,以此來約束模型的學習,改進向量表示。

本文的貢獻之處包括:

(1) 提出一種基于GCN和門機制的向量調整方法,生成特定于目標詞的向量表示,過濾與目標詞無關的噪聲信息。

(2) 引入一種基于依存圖的約束機制來獲取句子中每個詞相對于目標詞的重要性得分,注入模型,作為計算隱層向量的訓練信號,改進向量表示。

(3) 在數據集CFN、FN 1.5和FN 1.7上進行了詳細的對比實驗,實驗結果表明,本文方法提高了框架排歧的準確率。

1 相關工作

著名語言學家Fillmore基于認知角度提出了框架語義學。此后,SemEval 2007語義評測任務[8]提出了框架語義結構抽取任務,包括目標詞識別、框架識別和語義角色標注等任務?？蚣芘牌缱鳛榭蚣茏R別的子任務也受到了廣泛關注。

早期的框架排歧模型采用傳統(tǒng)的機器學習方法,人工構建特征,使用條件隨機場、最大熵、支持向量機等模型來建模。李濟洪等人[9]使用開窗口技術和BOW策略抽取了詞包等若干特征,用最大熵模型建模,特征信息稀疏。李國臣等人[10]提出了特征模板的自動選擇算法,通過打分機制將得分高的特征加入特征模板,使用最大熵模型來進行框架排歧。這些傳統(tǒng)的機器學習算法,由于人工選擇了大量特征導致空間維度過高,特征稀疏,費時費力。

隨著深度學習的發(fā)展,近年來有許多研究采用神經網絡模型來進行框架排歧。Hermann等人[11]使用WSABIE算法將目標詞以及框架表示學習映射到同一空間,通過計算它們之間的距離進行框架識別。趙紅燕等人[12]提出了一種通用的框架識別模型,通過使用DNN架構來學習目標詞的上下文特征進行框架識別,對于未登錄詞元和歧義詞元的框架識別有較好的泛化能力。張力文等人[13]針對人工抽取特征使得特征空間維度過高和特征之間缺乏關聯(lián)性的問題,在詞語分布式表征的基礎上提出了基于距離和詞語相似度矩陣的框架排歧模型,證明詞語分布式表征對框架排歧的有效性。Botschen等人[14]使用Word2Vec訓練詞向量表征上下文來進行框架識別。侯運瑤等人[15]提出了一種基于Hinge-loss的框架表示學習算法,通過計算目標詞表示和框架表示之間的相似度來進行框架排歧,相較之前的工作有了明顯的性能提升。郭哲銘[16]將BERT與Bi-GRU結合起來編碼上下文信息,使用注意力機制融入局部和全局信息來進行框架識別,在CFN和FN上提高了框架識別的準確率。Su等人[17]通過融入框架關系和框架定義來進行框架識別。但以上工作都不是特定于目標詞生成的向量表示,會保留與目標詞無關的冗余信息;并且未充分考慮句法信息的重要性。在框架語義角色標注中,大多句法信息是目標詞的語義角色,對于目標詞的所屬框架選擇有著重要作用。Li等人[18]使用層次條件隨機場(T-CRF),將框架識別視為依存樹結構上的標注任務。王智強等人[19]使用T-CRF模型建模,選取詞、詞性和不同類型的依存特征進行框架語義角色自動標注。但以上模型難以在不同的樹結構上并行計算,計算效率低下。近年來,圖卷積網絡(Graph Convolutional Networks,GCN)[20]的興起為依存樹的構建提供了新的思路。GCN可以有效存儲任何結構的依存樹信息,并且能夠并行計算,計算效率得到了顯著提升。Zhang等人[21]將BiLSTM和GCN結合起來編碼句子中的句法信息,用來解決關系抽取任務,證明了GCN編碼依存樹的有效性。

因此本文提出了基于GCN和門機制的框架排歧模型生成特定于目標詞的向量表示,并利用句法信息構造依存圖,使用一種基于依存圖的約束機制來約束模型學習,改進向量表示。相比基于上下文生成的向量表示,使用目標詞附近的局部信息,句法信息對目標詞更為重要。實驗結果表明,模型在CFN和FN框架排歧數據集上取得了一定的性能提升。

2 基于GCN和門機制的框架排歧模型

在框架排歧中,給定句子s: {c1,…,ci,…,cn}和目標詞c′(可能由多個字組成),對于目標詞c′,它所能激起的框架F={f1,…,fg}為來自CFN的框架庫中,框架排歧任務就是在候選框架列表{f1,…,fg}中為c′在當前語境句子s下找到最合適的框架f,其形式化描述如式(1)所示。

(1)

本文提出了一種基于GCN和門機制的框架排歧模型,模型整體架構如圖1所示。

該模型是針對給定目標詞和包含該目標詞的句子,通過模型訓練得到目標詞的表征,進行框架排歧。模型的整體包括編碼層、融合門機制的圖卷積網絡層(GGCN層)、分類層三個模塊。本文通過預先訓練的BERT來獲取基于上下文的詞表征,使用LTP進行句法分析,以此構建依存圖,將圖和詞表征輸入GCN來更新圖節(jié)點的信息,為每個GCN層增加一個門,以過濾與目標詞無關的信息;并依據依存圖計算句子中每個詞到目標詞的距離,取其負值作為每個詞基于句法的得分,輸入模型,監(jiān)督模型的訓練,改進向量表示;將模型最終得到的目標詞表征,通過Softmax函數,得到一個向量表示,向量每個維度上的值為候選框架的概率分布,選擇概率值最大的框架作為正確框架。

2.1 編碼層

2.1.1 序列表示模塊

BERT是一個大規(guī)模的預訓練模型,以無監(jiān)督的方式對大規(guī)模未標記的語料庫進行訓練,能夠大規(guī)模學習語言中隱含且豐富的文本語義。其體系結構是一種多層雙向Transformer 編碼器,相比傳統(tǒng)的Transformer,其擁有雙向編碼能力,可以更徹底地捕捉上下文信息,獲得動態(tài)詞向量表示,具有更深的層數和并行性,進一步增加詞向量模型泛化能力,充分提取到了字符級、詞級、句子級和句間等特征。因此本文使用BERT作為編碼層,對預訓練的BERT進行了微調來適應框架排歧任務。

將“[CLS]+s: {c1,…,ci,…,cn}+[SEP]”作為模型輸入,編碼層將輸入中的每一個字符ci編碼成字符嵌入Etoken(ci)、分段嵌入Eseg(ci)和位置嵌入Epos(ci)三個向量,將三個向量相加輸入BERT預訓練模型得到輸入的BERT向量X∈Rn×d,如式(2)、式(3)所示。

Ei=Etoken(ci)+Eseg(ci)+Epos(ci)

(2)

X=BERT(E0,…,Ei,…,En+1)

(3)

Token Embedding: 模型通過查詢向量表將輸入中的每個字符轉換為一維向量。

Segment Embedding: 框架排歧只輸入模型一個句子,Segment Embedding全設為0。

Position Embedding: Transformers無法編碼序列的順序性,而文本中不同位置的字符攜帶的信息是不同的,應該用不同的向量表示,通過讓BERT模型為每個位置學習一個位置嵌入來編碼序列的順序性。

本文采用對應于目標詞的BERT向量(如果目標詞有多個字,將其平均)作為目標詞的表示zt,如式(4)所示。

zt=avg(xj,…,xk)

(4)

2.1.2 依存圖抽取模塊

從圖2中可以看出,與目標詞有依存句法關系的詞往往是目標詞的框架元素,對目標詞所屬框架的確定起重要作用。目標詞“炒”的直接依存信息主語(SBV)、狀語(ADV)和賓語(VOB)分別對應框架“烹飪”的框架元素“烹調者(cook)”、“方式(manr)”、“食物(food)”等,但如果只考慮直接依存關系,很可能會忽略目標詞的一些有用的信息,例如,“迎接我們的到來”也是“烹飪”的框架元素。因此本文采用多層GCN來聚合直接或間接依存信息。

圖2 “炒”的依存關系和角色標注

本文直接使用哈工大的LTP工具包來進行分詞和句法分析,利用得到的分詞信息將BERT得到的字向量做平均得到詞的表示,作為GCN的節(jié)點輸入。

2.2 融合門機制的圖卷積網絡層

從2.1.2節(jié)中可知,框架排歧任務與目標詞的依存句法信息密切相關。之前使用依存信息的框架排歧工作都是將依存特征通過拼接的方式融入,特征不存在時用0向量表示,得到的特征向量維度高且稀疏。為了更好地融入目標詞的依存信息,本文引入了圖卷積網絡(GCN),它是卷積神經網絡(CNN)的一種改編,完善了CNN在非矩陣結構數據上的不適用性。GCN在進入下一層非線性變換之前,每個節(jié)點先將其自身的鄰居節(jié)點的信息通過非線性方式聚合,相比BiLSTM和Word2Vec只利用了詞周圍的信息,GCN采用多層卷積,節(jié)點不僅利用了自身鄰居節(jié)點的信息,同時也聚合了鄰居的鄰居節(jié)點信息,相比之下感受野更廣,能夠利用更大范圍的信息。本文使用L層GCN來更新依存圖的節(jié)點信息并抽出聚合依存句法信息的目標詞表示。

首先定義無向圖G=(V,E)作為句子s的依存圖,其中V={v1,…,vm}是圖節(jié)點的集合,是將句子s經過LTP分詞得到的分詞結果。E是圖邊的集合,(vi,vj)∈E表示第i個詞和第j個詞之間存在有向句法弧,為了實現(xiàn)信息的反向傳播,向E中添加一條與有向句法弧方向相反的邊(vj,vi),同時為了利用節(jié)點自身的信息,對所有的節(jié)點vi∈V向E中添加一個自循環(huán),即(vi,vi)。完成構圖之后,使用神經網絡模型GCN(Z,A)對圖結構進行編碼。首先獲得節(jié)點的特征矩陣Z并計算圖的鄰接矩陣A。利用V將經過BERT得到的字向量做平均作為圖節(jié)點的特征矩陣Z∈Rm×d;通過E構建鄰接矩陣A∈Rm×m,Ai,j∈{0,1}表示第i個詞和第j個詞之間是否存在邊。

GCN層的計算如式(5)所示。

(5)

(6)

其中,W(l)為第l層的權值矩陣,用于將節(jié)點的特征表示映射到相應的隱層狀態(tài)。W(l+1)為第l+1層的權值矩陣,用于將節(jié)點的隱層表示映射為相應的輸出。

2.3 分類層

2.3.1 基于依存圖的約束機制

其中,Wz和Wo是權值矩陣。

2.3.2 分類層

(11)

將z′輸入全連接層進行分類,通過Softmax層計算各個候選框架概率值,如式(12)所示。

p=Softmax(z′)

(12)

框架排歧為多分類任務,所以模型采用交叉熵損失函數作為分類損失,如式(13)所示,其中preal表示真實樣本類別分布。

CE(preal,p)=-∑preallog(p)

(13)

最后,本文采用式(10)和式(13)組合作為模型整體的損失函數來訓練模型,其中,α為權重系數。計算如式(14)所示。

Loss=CE(preal,p)+αKL(S,Q)

(14)

3 實驗設計與分析

3.1 實驗數據

本文使用的框架排歧數據來源于CFN數據庫(1)http://sccfn.sxu.edu.cn/portal-en/frame.aspx中抽取出來的88個有歧義的詞元,共10 012條數據,涉及到90個框架,訓練集和測試集、驗證集按8∶1∶1的比例分配。同時為了驗證模型的可行性和有效性,本文在FN 1.5和FN 1.7數據集上進行了實驗。數據分布如表3所示。

表3 數據集分布

3.2 實驗指標

本文采用準確率作為評價指標,計算如式(15)所示。

(15)

其中,TP表示排歧正確的例句數,ALL表示排歧的總例句數。

3.3 實驗環(huán)境

本文實驗環(huán)境如表4所示。

表4 實驗環(huán)境

3.4 參數設置

在BERT中,隱層維度為768維,最大序列長度為512,Batch_size設為4,Learning_rate為1e-5,Dropout設為0.1,GCN隱層維度為768維。

3.5 實驗結果與分析

本文分別在CFN和FN數據集上進行了實驗,并對GCN的層數、μ和α進行了分析。

首先在CFN數據集上進行了實驗,本文設置了如下幾組實驗: (1)Hermann,et al、Botschen,et al、C&W_FR和BTGAT四組對比實驗;(2)BiLSTM框架排歧模型;(3)使用BERT模型作為基線模型;(4)BERT+GCN(BGCN)模型;(5)使用門機制的BERT+GCN+GATE(BGCNG)模型;(6)使用約束機制的BERT+GCN+CON(BGCNC)模型;(7)使用門機制和約束機制的BERT+GCN+GATE+CON(BGCNGC)模型。實驗結果如表5所示,其中C&W_FR是侯運瑤等提出的框架排歧模型,BTGAT是郭哲銘提出的模型。

表5 CFN實驗結果

表5中的實驗結果顯示,本文提出的方法優(yōu)于之前的方法,相比Hermann,et al.和Botschen,et al.的方法分別提升了12.49%和8.09%,相比C&W_FR提升了3.45%,上述方法都是通過現(xiàn)有數據集學習到的框架表示,計算其與上下文表征的相似度,數據集不均衡,學到的框架表示較差,并且未利用大規(guī)模預訓練模型,上下文特征抽取能力較弱。BTGAT模型使用BERT作為編碼器,BiGRU強化上下文語義表示,用全局和局部注意力機制抽取目標詞的全局信息和局部信息,BGCN相比BTGAT提升了0.47%,證明句法信息相比目標詞局部信息和全局信息對于框架排歧更重要。從BERT和BiLSTM模型的實驗結果可知,BERT相比BiLSTM可以更充分地利用上下文信息,具有更強的信息表達能力。BGCNG通過增加門機制,強化對目標詞重要的信息,降低冗余信息的影響,在一定程度上提升了框架排歧的準確率;BGCNC模型加入約束機制來監(jiān)督模型學習,充分利用目標詞和句法信息,相比BGCN,準確率提升了0.5%;BGCNGC同時加入門機制和約束機制,相比基線取得了較大的性能提升。以上結果證明了本文提出模型對漢語框架排歧的有效性。

為了驗證模型的有效性和通用性,本文還在英文數據集FN 1.5和FN 1.7上進行了實驗,并與之前的方法進行了對比,實驗結果如表6所示。KGFI是Su提出的模型,將框架定義和框架元素通過框架關系構圖,利用GCN融入到框架表示當中來進行框架排歧,并采取了框架過濾的規(guī)則,本文不考慮框架過濾規(guī)則。從表中可知,本文提出的模型在數據集FN 1.5和FN 1.7上都有所提升,并且在不利用外部知識的情況下在兩個數據集上都超過了當前最新工作KGFI,在FN 1.5上提升了0.33%,在FN 1.7上提升了0.21%。

表6 FrameNet實驗結果 (單位: %)

本文在數據集CFN、FN 1.5和FN 1.7 上探討了GCN層數、μ、α對實驗結果的影響。

依據圖3可知,對于數據集CFN、FN 1.5和FN 1.7來說,GCN的層數為2時,取得的結果最好。經分析,當GCN層數為1時,目標詞只聚合了自身鄰居節(jié)點的信息,只利用了一階依存信息,而對于目標詞來說,有的二階依存信息對其框架的選擇也是必不可少的,相比之下兩層GCN不僅聚合了自身的鄰居信息,同時也融入了鄰居的鄰居信息,充分利用了二階依存信息。但隨著GCN層數的增加,在三個數據集上都表現(xiàn)出了下降的趨勢,分析原因主要是因為GCN每次卷積都是節(jié)點和周圍信息聚合的過程,隨著GCN層數的增加,詞節(jié)點聚合的信息越來越多,到最后會使得每個節(jié)點的嵌入表示變得非常相近,而框架排歧是針對句子中的某個詞來排歧,并非在句子層面,給框架排歧帶來了噪聲干擾。

圖3 GCN層數對排歧性能的影響

本文設置了線性插值層來插值BERT和GCN的輸出,插值參數μ控制BERT和GCN的權重,為了探究μ對整體模型的影響,在數據集CFN、FN 1.5和FN 1.7上對μ進行不同設置,結果如圖4和圖5所示。圖4為10個epoch下CFN數據集上的μ參數分析,從圖中可知,隨著μ的增加,準確率越來越高,當μ為0.7時,模型效果達到最佳,表現(xiàn)效果好于僅使用BERT預測(μ=0)和GCN預測(μ=1);μ>0.7時準確率開始下降,模型收斂相對較慢;當μ=1時,GCN后直接計算損失、梯度下降,模型收斂速度變慢。

圖4 μ對CFN排歧性能的影響

圖5 μ對FN排歧性能的影響

圖5為15個Epoch下FN數據集上的μ參數分析,從圖中可知,在FN數據集上,當μ為0.6時,模型效果達到最佳。從實驗數據中可知,不同的數據集,μ的最佳值不同。

圖6、圖7為α的不同設置下的實驗結果,從圖中可知,當α取0.2時,準確率達到最優(yōu)。當α取0.1到0.3時相對比較平穩(wěn),隨著α的增大,準確率下降。

圖6 α對CFN排歧性能的影響

圖7 α對FN排歧性能的影響

3.6 案例分析

本節(jié)從框架排歧數據中選取了一條數據“現(xiàn)在全世界每年黃金供需缺口為一千噸,需要開采新礦增加產量才能緩解?！边M行分析,通過對門權重進行可視化驗證加入門機制的有效性。在標準化之后,繪制每個單詞的值,如圖8所示。其中橫坐標對應于句子的分詞結果,縱坐標對應句子中的兩個目標詞“為”和“增加”。通過分析可知,目標詞為“為”時,“供需”“缺口”“一千”“噸”的權重較大,當目標詞為“增加”時,“新礦”“增加”“產量”權重較大,由此可見門機制的加入,強化了對目標詞重要的信息,降低了噪聲信息的干擾。

圖8 門的可視化

4 總結

本文提出了一種基于GCN和門機制的框架排歧模型,該模型通過GCN將句法信息融入目標詞的表示,使用門機制過濾與目標詞無關的信息,并提出一種基于依存圖的約束機制來監(jiān)督模型學習,改進向量表示,框架排歧性能得到了提升。目前漢語框架排歧還存在一定的挑戰(zhàn),如現(xiàn)有框架排歧數據規(guī)模有限,并且存在數據不平衡問題,對于出現(xiàn)頻率低的框架很難通過有監(jiān)督的模型訓練得到好的性能,如何更好地解決數據不均衡性,可否將元學習[22-25]方法應用到框架排歧上,以及模型對領域外的數據是否同樣具有通用性還有待研究與解決。