基于異構(gòu)圖分層學(xué)習(xí)的細粒度多文檔摘要抽取

翁裕源，許柏炎，蔡瑞初

（廣東工業(yè)大學(xué)計算機學(xué)院，廣東 廣州 510006）

0 引言

近年來，用戶對從海量文本數(shù)據(jù)中挖掘重要信息的需求增大，使得文檔摘要技術(shù)備受工業(yè)界和學(xué)術(shù)界的關(guān)注。文檔摘要提取的目標是對給定文檔進行重要信息提取，根據(jù)輸入的不同，文檔摘要提取可分為單文檔摘要提取、長文檔摘要提取和多文檔摘要提取。多文檔摘要提取需要在多個文檔中對共同主題的信息進行提取，對比單文檔、長文檔摘要提取，其在完整性、可讀性和簡潔性方面有更高的要求。根據(jù)摘要提取建模方式的不同，文檔摘要提取可分為生成式摘要提取和抽取式摘要提取。生成式摘要提取是對輸入文檔整體理解后逐字生成摘要，抽取式摘要提取則直接從文檔中選擇關(guān)鍵信息組成摘要。相比于生成式摘要提取，抽取式摘要提取選擇原文關(guān)鍵語句，具備更高的完整性和可讀性，其目標是在減少摘要冗余度的同時提高簡潔性［1-3］。本文主要研究如何解決抽取式多文檔摘要中的關(guān)鍵冗余問題。

主流抽取式多文檔摘要研究大多在句子級別進行建模。文獻［4］通過句子間余弦相似度構(gòu)建句子相似圖，以計算句子的重要性，選擇句子組成摘要。文獻［5］關(guān)注句子間的語篇關(guān)系和基于TF-IDF（The Term Frequency-Inverse Document Frequency）的相關(guān)性，通過構(gòu)建3 種句子關(guān)系圖并用圖卷積網(wǎng)絡(luò)學(xué)習(xí)句子表示以識別重要句子。文獻［6］借助共有單詞構(gòu)建句子間關(guān)系，最終篩選出重要句子組成摘要。上述工作通過建模句子間的關(guān)系來有效選擇重要句子，在多文檔摘要提取中取得了較好的效果，然而這些工作的建模方式導(dǎo)致了簡潔性上的性能瓶頸。句子層級建模方式組成的摘要不僅包含關(guān)鍵信息，還包含多余的信息。

近年來，為了突破基于句子層級建模的性能瓶頸，有單文檔摘要抽取相關(guān)學(xué)者嘗試研究細粒度的子句層級建模方式，以完成文檔摘要抽取任務(wù)。子句是基于修辭結(jié)構(gòu)理論［7］對文檔進行分割而得到的，將文檔中的句子分割為相鄰的不重疊的基本語篇單元。文獻［8］通過在單文檔摘要數(shù)據(jù)集上的實驗分析，證明采用子句層級建模的性能上限更高。文獻［9］首次以子句為抽取單元構(gòu)建端到端的單文檔摘要模型，引入子句間的語篇關(guān)系和共指關(guān)系構(gòu)建子句關(guān)系圖，進一步通過圖卷積網(wǎng)絡(luò)［10］進行學(xué)習(xí)。由于多文檔摘要抽取場景和單文檔摘要抽取場景存在差異，因此基于細粒度子句層級建模的多文檔摘要抽取存在以下未解決的問題：1）多文檔摘要抽取從子句級別建模，是否能達到與單文檔摘要抽取相同的性能提升；2）多文檔摘要抽取需要考慮多個文檔的共有重要信息，如何考慮更多層級異構(gòu)關(guān)系學(xué)習(xí)存在挑戰(zhàn)性。

為了驗證問題1），本文參考文獻［8］的工作，在多文檔摘要數(shù)據(jù)集Multi-news 上對比句子層級Oracle 摘要和子句層級Oracle 摘要與標準摘要的ROUGE 值，其中，Oracle 摘要由文獻［11］提出的基于自動評估標準ROUGE［12］進行貪心抽取而得到。統(tǒng)計后得到結(jié)論：通過子句層級建模最高可以提升5%的ROUGE-1 指標。本文對句子層級摘要進行語篇分割，分析句子層級摘要和子句層級摘要，發(fā)現(xiàn)選擇子句組成摘要可以丟棄句子內(nèi)部多余的細節(jié)信息，保留更多核心概念或者事件，從而得到更簡潔和信息更豐富的摘要。

為了解決問題2）中的異構(gòu)關(guān)系學(xué)習(xí)挑戰(zhàn)，本文提出一種基于異構(gòu)圖分層學(xué)習(xí)的細粒度多文檔摘要抽取框架。該框架通過層次化構(gòu)建單詞層級圖和子句層級圖，分別建模子句的語義關(guān)系和子句間的多種結(jié)構(gòu)關(guān)系。進一步通過單詞層級圖學(xué)習(xí)層和子句層級圖學(xué)習(xí)層，層次化地學(xué)習(xí)上述2 個異構(gòu)圖。2 個學(xué)習(xí)層基于圖注意神經(jīng)網(wǎng)絡(luò)，分別針對異構(gòu)圖關(guān)系特性設(shè)計2 種不同的層次更新機制。單詞層級圖學(xué)習(xí)層的層次更新機制是基于文獻［6］的工作應(yīng)用到子句層級。在子句層級圖學(xué)習(xí)層中，本文提出子句層次更新機制，分別對子句層次圖的3 種結(jié)構(gòu)關(guān)系進行學(xué)習(xí)更新，然后通過聚合函數(shù)得到子句結(jié)構(gòu)化表示。最后，把獲得的表示輸入到子句選擇層中以預(yù)測抽取目標摘要。本文的主要工作包括如下三點：

1）針對句子級別的多文檔摘要抽取問題，本文通過實驗驗證子句建模的有效性，進一步提出異構(gòu)圖分層學(xué)習(xí)的細粒度多文檔摘要抽取框架，有效建模單詞、子句、文檔之間的多層級異構(gòu)關(guān)系。

2）多文檔摘要抽取框架基于層次更新的思想，提出2 個層級學(xué)習(xí)層和層次更新機制，學(xué)習(xí)多文檔摘要抽取的多種結(jié)構(gòu)關(guān)系，降低圖神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)復(fù)雜異構(gòu)圖時的難度。

3）在多文檔摘要數(shù)據(jù)集Multi-news 上進行實驗，驗證該框架以及各個模塊的有效性。

1 相關(guān)工作

1.1 基于圖建模的抽取式文檔摘要方法

圖結(jié)構(gòu)方法廣泛應(yīng)用于多文檔摘要任務(wù)，以文本單元為節(jié)點、以它們之間的語義關(guān)系為邊的圖結(jié)構(gòu)方法能夠很好地建模文本單元之間的關(guān)系，對整個文本的信息進行排序，選擇最突出的內(nèi)容作為摘要。很多研究工作都是在句子層級進行建模，對句子進行重要性排序。

LexRank［4］引入一種基于句子詞匯的相似圖方法，以計算文本單元的相對重要性。文獻［13］考慮到文檔信息的重要性，進一步將文檔級信息和句子到文檔的關(guān)系納入基于圖的排序過程中。文獻［5］將GCN 應(yīng)用于從RNN 獲得的含有句子嵌入的關(guān)系圖中。文獻［14］提出一種基于圖的神經(jīng)句子排序模型，該模型利用實體鏈接圖來捕獲句子之間的全局依賴性。文獻［6］構(gòu)建一個異構(gòu)圖網(wǎng)絡(luò)進行摘要抽取，在句子級節(jié)點的基礎(chǔ)上引入單詞節(jié)點作為句子節(jié)點的中介，以豐富句子間的關(guān)系。文獻［15］將文本多維度特征的融合問題轉(zhuǎn)化為圖集成方式，提高了句子間相似度計算的準確性，并在此基礎(chǔ)上生成文本摘要。文獻［16］借助預(yù)訓(xùn)練模型和余弦相似度創(chuàng)建句子間的邊連接關(guān)系，提出基于關(guān)鍵詞密度的句子評分方法以提取摘要。文獻［17］提出一種基于多粒度語義交互的抽取式摘要方法，將多粒度語義交互網(wǎng)絡(luò)與最大邊界相關(guān)法相結(jié)合，捕獲不同粒度的關(guān)鍵信息，保證摘要信息的完整性。文獻［18］提出融合多信息句子圖模型，將句子間的主題信息、語義信息和關(guān)系信息融入句子表示中，從而選擇出重要的句子。文獻［19］將原始文本轉(zhuǎn)化為相應(yīng)的抽象語義表示（AMR）圖，利用綜合統(tǒng)計特征對不具有權(quán)值的AMR 圖節(jié)點賦予權(quán)值，篩選重要的部分構(gòu)成語義摘要子圖。

上述抽取式方法都是在句子層級構(gòu)圖來建模輸入文檔的結(jié)構(gòu)，對句子進行重要性排序。與上述方法不同，本文模型以子句為建模單位，在多個層級建模子句間的依賴關(guān)系，對子句進行重要性排序。

1.2 冗余降低的文檔摘要方法

有效選擇重要內(nèi)容同時提升摘要的簡潔性，一直是抽取式文檔摘要任務(wù)的難點。

一些工作致力于平衡句子的顯著性和冗余性，如文獻［20］將摘要抽取定義為語義匹配問題，通過匹配候選摘要的語義與標準摘要的語義來選擇顯著性高且冗余性低的句子子集以組成摘要。文獻［21］建模句子間的冗余依賴性，指導(dǎo)冗余信息在句子表示之間的傳播，學(xué)習(xí)不帶冗余信息的句子表示，抽取出冗余度低的句子集合。文獻［22］引入強化學(xué)習(xí)來考慮抽取摘要的語義，將最大似然交叉熵損失與政策梯度的獎勵相結(jié)合，直接優(yōu)化摘要任務(wù)的評價指標。上述方法在摘要級別提升簡潔性，只能減少具有重復(fù)信息的句子，無法減少句子內(nèi)部的不必要信息。

一些工作通過重寫或者壓縮候選句子來丟棄候選句子中的不必要信息。文獻［23］提出包含刪除等離散操作的句子壓縮模型。文獻［24］提出一種基于樹結(jié)構(gòu)修剪的兩階段神經(jīng)網(wǎng)絡(luò)模型用于選擇和壓縮句子，但2 個階段之間不可避免地存在分離。

與上述方法不同，本文在子句級別提升摘要的簡潔性，以子句作為抽取單元，相當于在選擇子句的同時變相對句子進行了壓縮，不存在2 個階段分離的問題，有效選擇重要內(nèi)容同時去除句子中的不必要信息，從而提升摘要的簡潔性。

2 方法介紹

本文提出的基于異構(gòu)圖分層學(xué)習(xí)的細粒度摘要抽取框架如圖1 所示，該框架包括如下層級：

圖1 基于異構(gòu)圖分層學(xué)習(xí)的細粒度多文檔摘要抽取框架Fig.1 Fine-grained multi-document summarization extraction framework based on heterogeneous graph hierarchical learning

1）初始化編碼層。層次化構(gòu)建單詞層級圖和子句層級圖，并對圖上節(jié)點進行編碼得到初始化節(jié)點表示。

2）單詞層級圖學(xué)習(xí)層。通過圖注意網(wǎng)絡(luò)的更新方式學(xué)習(xí)基于共有單詞的子句間的語義關(guān)系。

3）子句層級圖學(xué)習(xí)層。通過兩階段分步學(xué)習(xí)的更新方式學(xué)習(xí)子句層級的多種結(jié)構(gòu)關(guān)系。

4）子句選擇層。對子句節(jié)點表示進行評分，以預(yù)測摘要的標簽。

2.1 圖結(jié)構(gòu)構(gòu)建與初始化

首先對多文檔摘要抽取任務(wù)進行公式化定義：給定一個多文檔集合D={d1,d2,…,dk}，共有k個文檔。本文通過文獻［25］提供的端到端神經(jīng)分割器對多文檔集合D中的句子進行分割得到相鄰不重疊的子句集合S={s1,s2,…,sn}，子句集合S包含的所有單詞可構(gòu)成單詞集合W={w1,w2,…,wm}。為了提取若干子句組成摘要，本文將該任務(wù)設(shè)計為一個序列標記任務(wù)，目標是對子句集合S預(yù)測一個標簽序列Y={y1,y2,…,yn}(yi?(0,1))，yi=1表示第i個子句屬于候選摘要。

為了建模子句間的語義關(guān)系和多種結(jié)構(gòu)關(guān)系，本文層次化地構(gòu)建單詞層級圖Gword和子句層級圖Gsub-sent。其中，單詞層級圖Gword={Vword,Eword}以共有單詞為載體建模子句間的語義關(guān)系，Vword是由單詞、子句和文檔3 種粒度節(jié)點組成的節(jié)點集，Vword=Vw∪Vs∪Vd，其中，Vw={w1,w2,…,wm}對應(yīng)多文檔集合中的m個單詞節(jié)點，Vs={s1,s2,…,sn}對應(yīng)多文檔集合中的n個子句節(jié)點，Vd={d1,d2,…,dk}對應(yīng)多文檔集合中的k個文檔節(jié)點。Eword是3 種粒度節(jié)點之間的邊集合，eij≠0 表示第i個節(jié)點和第j個節(jié)點之間存在邊。具體地，本文在單詞節(jié)點和其他粒度節(jié)點間構(gòu)建語義連接，在子句節(jié)點和其包含的單詞節(jié)點間構(gòu)建邊，在文檔節(jié)點和其包含的單詞節(jié)點間構(gòu)建邊。在文本摘要中，尤其是新聞?wù)?，核心概念（如關(guān)鍵人物或者事件）會貫穿整個摘要，多個摘要句通過關(guān)鍵人物或者事件進行交互構(gòu)成完整的摘要。單詞節(jié)點和其他粒度節(jié)點的連接越多，表明該單詞在子句和文檔中出現(xiàn)的頻次越高。本文對詞頻top20 的單詞進行統(tǒng)計，如圖2 所示，單詞詞頻越高，屬于摘要句的概率越大，該單詞越可能是貫穿整個摘要的關(guān)鍵詞。

圖2 詞頻top20 的單詞屬于摘要句的概率統(tǒng)計Fig.2 Probability statistics of words with a frequency of top20 belonging to summary sentences

在構(gòu)建完單詞層級圖后，在圖上3 種粒度節(jié)點進行交替更新的過程中，單詞節(jié)點作為其他粒度節(jié)點交互的載體，聚合其他粒度節(jié)點的信息并在新一輪迭代中把聚合信息傳遞給其他粒度節(jié)點，由此借助單詞節(jié)點完成其他粒度節(jié)點間的信息交流。但是，在單詞節(jié)點把聚合信息傳遞給其他粒度節(jié)點的過程中，僅憑單詞節(jié)點與其他粒度節(jié)點之間的邊，無法使得其他粒度節(jié)點有效篩選單詞節(jié)點中的聚合信息。而TF-IDF 可用于表示一個單詞對于一個文檔集合中一個子句或者一個文檔的重要程度，其中TF（The Term Frequency）是單詞在子句或文檔中出現(xiàn)的次數(shù)，IDF（Inverse Document Frequency）是單詞出度的逆函數(shù)。將TF-IDF 作為先驗邊權(quán)，可以在單詞節(jié)點從其他粒度節(jié)點中聚合信息和傳遞聚合信息給其他粒度節(jié)點的過程中，依然保留單詞節(jié)點與其他粒度節(jié)點先驗的重要性關(guān)系，使其他粒度節(jié)點有效篩選單詞節(jié)點中的聚合信息。因此，本文引入單詞節(jié)點和其他粒度節(jié)點的TF-IDF 值，把它映射到多維嵌入空間中并作為邊權(quán)E。

子句層級圖在子句節(jié)點間建模子句間的多種結(jié)構(gòu)關(guān)系，Vsub-sent={s1,s2,…,sn}對應(yīng)多文檔集合中的n個子句節(jié)點，Esub-sent是節(jié)點之間的邊集合。具體地，本文在子句節(jié)點間構(gòu)建3 種結(jié)構(gòu)關(guān)系，包括相鄰上下文關(guān)系（Neigh）、共指關(guān)系（Coref）和話語結(jié)構(gòu)關(guān)系（RST）。其中：相鄰上下文關(guān)系Neigh 是指各個子句節(jié)點與它們的相鄰子句節(jié)點相連，從而保證相鄰子句節(jié)點的語義連貫性；在文本摘要尤其是新聞?wù)?，關(guān)鍵人物或者事件往往貫穿全文，這種遠距離依賴關(guān)系往往容易被模型忽略，因此，本文使用開源的Standford Core 工具推理出文檔集中的所有共指引用聚類，對于每個共指引用聚類，同一聚類提及的子句節(jié)點都創(chuàng)建相連的邊來構(gòu)建子句間的共指關(guān)系Coref；子句需要考慮一些限制以確保語法的正確性，本文利用文獻［26］提出的RST 話語解析器將輸入文檔解析為RST 話語樹，并通過文獻［9］提出的轉(zhuǎn)換方法把RST 話語樹轉(zhuǎn)換為子句間的RST 話語結(jié)構(gòu)并構(gòu)建邊，進一步補充子句節(jié)點的語法信息。

通過上述過程可以完成單詞層級圖和子句層級圖的構(gòu)建，接下來將進行圖節(jié)點信息初始化。設(shè)節(jié)點特征矩陣集X={Xw∪Xs∪Xd},其中分別表 示單詞節(jié)點、子句節(jié) 點和文檔節(jié)點的特征矩陣，dw、ds和dd分別表示單詞特征向量、子句表示特征向量和文檔特征向量的維度大小。具體地，本文使用已訓(xùn)練好的GloVe 嵌入作為單詞節(jié)點的初始特征矩陣卷積神經(jīng)網(wǎng)絡(luò)（CNN）［27］可以通過不同卷積核的大小進行不同特征窗口的局部特征提取，雙向長短期記憶（BiLSTM）神經(jīng)網(wǎng)絡(luò)［28］可以捕捉子句內(nèi)部單詞間的位置序列關(guān)系從而得到子句級別的全局特征。因此，本文對子句節(jié)點分別使用CNN 和BiLSTM 進行內(nèi)容和位置的編碼，使用不同核大小的CNN 捕捉每個子句的n-gram 局部特征l，使用BiLSTM 捕捉子句級別的全局特征g，拼接2 個特征得到子句節(jié)點的初始特征矩陣，充分考慮子句節(jié)點表示的內(nèi)容信息和位置信息。然后對每個文檔包含的子句節(jié)點的特征進行平均池化，得到文檔節(jié)點的初始特征矩陣

2.2 單詞層級圖學(xué)習(xí)層

完成單詞層級圖和子句層級圖的構(gòu)建與初始化后，本節(jié)將對單詞層級圖Gword={Vword,Eword}進行節(jié)點更新。本文采用的單詞層級圖學(xué)習(xí)層的層次更新機制是將文獻［6］的工作應(yīng)用到子句層級，利用圖注意神經(jīng)網(wǎng)絡(luò)（GAT），借助共有單詞為載體學(xué)習(xí)子句間的語義關(guān)系，更新子句節(jié)點集的特征矩陣Xs，該層次的更新機制可表示為：

其中：3 個輸入Hq、Hk和Hv分別為查詢節(jié)點（query）特征矩陣、鍵節(jié)點（key）特征矩陣和值節(jié)點（value）特征矩陣，通常鍵表示等同于值表示。Hq、Hk和Hv均為單詞層級圖的節(jié)點特征矩陣集X。

在單詞節(jié)點與其他粒度節(jié)點的交互中，將不同子句或者文檔包含的同一單詞設(shè)置為同一單詞節(jié)點，同一單詞節(jié)點對其他不同粒度節(jié)點的重要性是不同的，而傳統(tǒng)圖注意網(wǎng)絡(luò)無法很好地在3 種粒度節(jié)點的交互過程中捕捉到相同單詞的不同重要性。

為了解決上述問題，本文對圖注意網(wǎng)絡(luò)模型進行改進，在3 種粒度節(jié)點的交互過程中引入單詞節(jié)點與其他粒度節(jié)點的TF-IDF 值，用于表示單詞節(jié)點對其他粒度節(jié)點的相對重要性，將TF-IDF 值映射為邊權(quán)向量，指導(dǎo)3 種粒度節(jié)點的表示學(xué)習(xí)。具體地，在計算單詞節(jié)點與其他粒度節(jié)點的注意力權(quán)重時，將TFIDF 邊權(quán)向量與鍵向量和查詢向量一起拼接后通過映射函數(shù)轉(zhuǎn)換為注意力權(quán)重，讓TF-IDF 邊權(quán)向量直接指導(dǎo)單詞節(jié)點和其他粒度節(jié)點間注意力權(quán)重的學(xué)習(xí)，進而使模型考慮到同一單詞節(jié)點對于其他不同粒度節(jié)點的相對重要性。具體計算公式如下：

其中：hi?Hq為查詢節(jié)點i的特征表示；hj?Hk為鍵節(jié)點j的特征表示；eij是節(jié)點i和節(jié)點j的邊權(quán)特征向量；Wa、Wq和Wk都是可 訓(xùn)練的參數(shù)；LeakyReLU 是一種激活函數(shù)；aij表示節(jié)點i和節(jié)點j的注意力權(quán)重；ui表示K個注意力頭的結(jié)果；FFN 為2 個線性變換組成的位置前饋層是節(jié)點i的輸出特征表示。

基于上述改進的圖注意神經(jīng)網(wǎng)絡(luò)，本文對單詞、子句和文檔3 種粒度節(jié)點進行統(tǒng)一的交替更新，以有效學(xué)習(xí)基于共有單詞的子句間的語義關(guān)系。更新順序如圖3 所示。

圖3 多粒度交互更新順序Fig.3 Multi-granularity interactive update order

單詞層級圖學(xué)習(xí)層對單詞、子句和文檔3 種粒度節(jié)點交替更新，以聚合了子句信息和文檔信息的單詞節(jié)點為載體，傳遞子句間的語義信息，從而有效學(xué)習(xí)基于共有單詞的子句間的語義關(guān)系。

2.3 子句層級圖學(xué)習(xí)層

除了在單詞層級圖學(xué)習(xí)層中學(xué)習(xí)子句間的語義關(guān)系，本文所提框架將進一步在子句層級圖Gsub-sent={Vsub-sent,Esub-sent}上學(xué)習(xí)子句的結(jié)構(gòu)化表示。

由于本文在子句層級圖上引入了3 種結(jié)構(gòu)關(guān)系Esub-sent，而傳統(tǒng)圖注意網(wǎng)絡(luò)GAT 無法同時有效學(xué)習(xí)多種結(jié)構(gòu)關(guān)系，因此本文針對子句層級圖學(xué)習(xí)層設(shè)計一種兩階段分步學(xué)習(xí)的更新機制，以學(xué)習(xí)子句層級圖的多種結(jié)構(gòu)關(guān)系并聚合多種結(jié)構(gòu)信息，最終得到子句的結(jié)構(gòu)化表示。具體地，第一階段對子句間的多種結(jié)構(gòu)信息分別進行學(xué)習(xí)，學(xué)習(xí)子句節(jié)點集Vsub-sent關(guān)于3 種類型關(guān)系的特征向量Utype；第二階段對多種結(jié)構(gòu)信息進行聚合，分別學(xué)習(xí)子句節(jié)點各種類型關(guān)系的權(quán)重SScore,type，并聚合3 種關(guān)系類型的特征向量Utype，最終得到子句的結(jié)構(gòu)化表示2 個階段具體計算如下：

1）第一階段。

基于圖注意神經(jīng)網(wǎng)絡(luò)GAT 分別學(xué)習(xí)子句節(jié)點3種關(guān)系的特征向量Utype，可表示為：

其中：3 個輸入Hq、Hk和Hv分別為查詢節(jié)點（query）特征向量、鍵節(jié)點（key）特征矩陣和值節(jié)點（value）特征矩陣，Hq、Hk和Hv是單詞層級子圖更新后的子句節(jié)點特征矩陣

具體地，由于不同類型關(guān)系包含的信息不同，本文將子句節(jié)點集Vsub-sent和其鄰居節(jié)點的3 種結(jié)構(gòu)關(guān)系通過不同的線性映射函數(shù)映射到不同的邊類型向量空間中，對具有相同類型的邊類型鄰居節(jié)點映射到相同的邊類型向量空間中。由于子句節(jié)點對同種關(guān)系下的不同鄰居有不同重要性，因此本文使用點乘注意力機制學(xué)習(xí)該關(guān)系下不同鄰居節(jié)點的重要性，并聚合該關(guān)系下的不同鄰居節(jié)點得到該關(guān)系下子句節(jié)點的特征向量Utype。第一階段具體計算過程如下：

其中：hi?Hq為查詢節(jié)點i的特征向量；hj?Hk為鍵節(jié)點j的特征向量Wtype是可訓(xùn)練參數(shù)；type ?{Neigh,Coref,RST}；Wtype是將特 定關(guān)系 類型映射到對應(yīng)向量空間的映射參數(shù)表示特定關(guān)系類型下節(jié)點i和鄰居節(jié)點j的注意力權(quán)重表示特定關(guān)系類型下鄰居節(jié)點j歸一化后的注意力權(quán)重；ui,type表示特定關(guān)系類型下子句節(jié)點i的語義表示。

2）第二階段。

基于加權(quán)平均的思想學(xué)習(xí)子句節(jié)點3 種語義表示Utype的權(quán)重SScore,type，并聚合子句節(jié)點的3 種關(guān)系語義表示Utype，得到最終的子句節(jié)點結(jié)構(gòu)化表示

本文充分考慮子句節(jié)點集Vsub-sent對3 種類型關(guān)系中每個鄰居節(jié)點的重要性，通過將子句節(jié)點在同類型關(guān)系下的鄰居節(jié)點映射到對應(yīng)的值向量空間中，利用tanh 激活函數(shù)和歸一化函數(shù)得到同類型關(guān)系下所有鄰居節(jié)點的初始注意力權(quán)重，接著采用平均池化方式得到子句節(jié)點在該關(guān)系類型下語義表示的最終注意力權(quán)重，并根據(jù)最終注意力權(quán)重聚合子句節(jié)點的3 種關(guān)系語義表示Utype。具體計算方式如下：

其中：Ws和是可訓(xùn)練參數(shù)；tanh 是激活函數(shù)；MeanPooling 表示平均池化操作；sscore,i,type表示節(jié)點i的type 類型關(guān)系語義表示的注意力權(quán)重；是節(jié)點i在多種關(guān)系語義表示聚合后的表示；FFN 為2 個線性變換組成的位置前饋層是節(jié)點i的最終特征表示。

通過子句層級圖學(xué)習(xí)層，用兩階段分步學(xué)習(xí)的更新機制學(xué)習(xí)子句間的多種結(jié)構(gòu)關(guān)系并聚合多種結(jié)構(gòu)信息，得到最終的子句節(jié)點語義表示

2.4 子句選擇層

3 實驗驗證

為了驗證本文所提模型的有效性，在公開多文檔摘要數(shù)據(jù)集Multi-news 上，將其與基準模型進行實驗對比。本文所提模型首次在多文檔摘要任務(wù)中使用細粒度建模和抽取方法，通過將其與經(jīng)典基準模型、近兩年在句子層級進行建模和抽取的粗粒度強基準模型、生成式強基準模型等進行比較，從而驗證本文細粒度子句層級建模框架對多文檔摘要抽取的有效性。此外，通過消融實驗驗證2 個層級學(xué)習(xí)層和層次更新機制是否能夠降低圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜異構(gòu)圖時的難度。

3.1 數(shù)據(jù)集

Multi-news 是文獻［29］提出的一個大規(guī)模多文檔摘要數(shù)據(jù)集，由來源不同的新聞文章和人工書寫的摘要組成。數(shù)據(jù)集被分割為44 972、5 622、5 622 個樣本，分別用于訓(xùn)練、驗證和測試。其中，每個樣本由2～10 個源文檔和1 個人工書寫摘要組成。本文參照文獻［11］的方法，通過計算候選摘要與人工摘要的ROUGE-1、ROUGE-2、ROUGE-L 的平均分數(shù)構(gòu)建標簽序列。

3.2 基準模型

本文將每個源文檔的前3 個句子進行拼接作為基線，使用由文獻［29］發(fā)布的經(jīng)典模型代碼，并將這些經(jīng)典模型作為基線。經(jīng)典模型包括：LexRank［4］是一種在提取摘要中計算句子相對重要性的基于圖的方法；TextRank［30］是一個基于圖的排名模型，句子重要性得分通過基于語料庫中全局圖的特征向量中心性而計算得到；最大邊際相關(guān)性（MMR）［31］計算句子與原始文檔的相關(guān)性以及與文檔中其他句子之間的相似度，基于相關(guān)性和冗余度對候選句子打分，根據(jù)得分排名選擇句子生成摘要；PG［32］是一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的生成式摘要模型，通過注意力機制允許指針從文檔中復(fù)制單詞，也可以從詞匯表中生成單詞，能夠緩 解OOV 問 題；CopyTransformer［33］對Transformer 進行擴展，使用一個內(nèi)容選擇器從源文檔中篩選出應(yīng)成為摘要中內(nèi)容的短語；Hi-MAP［29］將PG 網(wǎng)絡(luò)模型擴展為一個分層網(wǎng)絡(luò)，能夠計算句子級別的MMR 分數(shù)。

近年來出現(xiàn)的強基準模型包括：GraphSum［34］將文檔編碼為已知的圖表示形式，捕捉句子間的相似度或語篇關(guān)系，并利用圖結(jié)構(gòu)來指導(dǎo)摘要生成過程；HDSG［6］在多文檔摘要中首次引入異構(gòu)圖，利用句子的共有詞建立句子之間的關(guān)系從而抽取句子；EMSum［35］借助實體構(gòu)建句子間的關(guān)系，并使用兩階段注意力機制來解決解碼過程中的顯著性和冗余問題；MatchSum［20］將摘要提取定義為語義文本匹配問題，其匹配從語義空間原始文本中提取的源文檔和候選摘要。

3.3 實驗設(shè)置

通過實驗對參數(shù)進行設(shè)置，詞匯表大小為90 000，在創(chuàng)建單詞節(jié)點時過濾停止詞、標點符號以及一些低頻詞，本文選擇將輸入截斷至500 個token，因為當輸入長度從500 增加到1 000 時，效果并沒有得到顯著改善。同時，將輸入文檔截斷至最多150 個子句長度。初始化子句節(jié)點、文檔節(jié)點和全局上下文節(jié)點的維度為64，多頭注意力機制中的邊特征維度為50，更新單詞節(jié)點表示時頭數(shù)量為6，更新其他節(jié)點時頭數(shù)量為8，位置前饋層的隱藏狀態(tài)維度為512。

在模型訓(xùn)練時，學(xué)習(xí)率e為5×10-4，學(xué)習(xí)率逐輪下降，新學(xué)習(xí)率為e（/輪次+1），每個批次為32 個樣本，每100 個批次進行一次輪參數(shù)更新，使用Adam優(yōu)化器進行優(yōu)化，當驗證集的損失3 次不下降就停止訓(xùn)練。根據(jù)人工摘要的平均子句長度，選擇抽取前27 個子句作為最終的候選摘要。

3.4 細粒度子句層級建?？蚣苡行詫嶒?/h3>

本文使用ROUGE 得分對所提模型以及各種基準模型進行評估，基準模型包括傳統(tǒng)經(jīng)典基準模型和近兩年的強基準模型，后者包括生成式強基準模型和抽取式強基準模型，實驗結(jié)果如表1 所示。

表1 Multi-news 數(shù)據(jù)集上的測試結(jié)果Table 1 Test results on the Multi-news dataset

從表1 可以看出：

1）與粗粒度抽取強基準模型HDSG 相比，本文模型的ROUGE-1 提 升0.88，ROUGE-2 提 升0.23，ROUGE-L 提升2.27，說明在句子層級進行抽取組成摘要，句子內(nèi)部存在多余信息，會在很大程度上影響摘要性能上限，而在細粒度子句層級進行建模，可以將句子中的關(guān)鍵信息和多余信息分開并選擇關(guān)鍵信息，從而提高抽取式摘要的性能。

2）MatchSum 將摘要抽取任務(wù)定義為文本匹配任務(wù)，試圖在摘要級別降低冗余信息，從而提高抽取性能，但是MatchSum 和未考慮冗余信息的抽取式強基準模 型HDSG 相 比，ROUGE-1 僅提升0.15，ROUGE-2 和ROUGE-L 持平，說明在摘要層級降低冗余并非提高抽取性能的最佳方法。本文模型和MatchSum 相比，ROUGE-1 提升0.73，ROUGE-2 提升0.23，ROUGE-L 提升2.27，說明細粒度建模和抽取優(yōu)于在摘要層級降低冗余的方式。

3）與生成式強基準模型GraphSum 和EMSum 相比，本文模型ROUGE-1 分別提升0.86 和0.04，ROUGE-2 分別下 降0.84 和1.68，ROUGE-L 分別提升2.13 和1.80。ROUGE-1 和ROUGE-L 的提升說明與從詞匯表逐字生成摘要的生成式方法相比，細粒度建模和抽取能夠保持抽取式方法簡單有效的特點，同時具備生成式方法低冗余信息的特點。

4）生成式強基準模型EMSum 的ROUGE-2 與抽取式基準模型相比都有大幅提升，本文認為這可能是因為Multi-news 數(shù)據(jù)集中參考摘要更傾向于使用新的單詞或者短語來對源文檔進行總結(jié)。

3.5 2 個層級學(xué)習(xí)層和層次更新機制有效性實驗

為了驗證2 個層級學(xué)習(xí)層和層次更新機制在降低圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜異構(gòu)圖難度方面的有效性，在Multi-news 數(shù)據(jù)集上對所提模型進行消融實驗。首先分別進行單詞單一層級更新（Word level update）和子句單一層級更新（Sub-sentence level update），從而驗證2 個層級學(xué)習(xí)層的有效性；然后在上述實驗的基礎(chǔ)上，進一步用傳統(tǒng)GAT 來替代本文提出的兩階段分步學(xué)習(xí)的方式（Word+Sub-sentence level update with GAT），從而驗證層次更新機制的有效性。實驗結(jié)果如表2 所示。

表2 消融實驗結(jié)果Table 2 Results of ablation experiment

從表2 可以看出：

1）單詞單 一層級更新（Word level update）的ROUGE-1、ROUGE-2 和ROUGE-L 分別為46.80、16.54 和44.29，子句單一層級更新（Sub-sentence level update）的ROUGE-1、ROUGE-2 和ROUGE-L分別為46.38、16.14 和43.80，表現(xiàn)都優(yōu)于粗粒度抽取強基準模型，說明在單詞和子句任一層級建模子句間的細粒度關(guān)系都優(yōu)于粗粒度抽取效果。本文模型在2 個層級建模子句間的細粒度關(guān)系，和單一層級建模相 比，ROUGE-1、ROUGE-2 和ROUGE-L 都 得到了提升，說明層次化構(gòu)建單詞層級圖和子句層級圖能夠有效建模語義關(guān)系和結(jié)構(gòu)關(guān)系，2 個層級學(xué)習(xí)層可以降低復(fù)雜異構(gòu)圖的學(xué)習(xí)難度。

2）和用傳統(tǒng)GAT 聚合子句間多種關(guān)系的模型（Word+Sub-sentence level update with GAT）相比，本文模型的子句層級圖學(xué)習(xí)層使用兩階段分步學(xué)習(xí)的更新機制，進行2 次注意力學(xué)習(xí)過程，兩階段分步學(xué)習(xí)更新機制的運算成本如表3 所示，參數(shù)量約增加了17%，每100 輪迭代運算時間增加了5%。消融實驗結(jié)果表明，ROUGE-1、ROUGE-2、ROUGE-L 分別提升了0.10、0.11 和0.08，這說明兩階段分步學(xué)習(xí)的層次更新機制通過首先聚合同種結(jié)構(gòu)關(guān)系、然后學(xué)習(xí)不同結(jié)構(gòu)信息的注意力權(quán)重、最后聚合不同結(jié)構(gòu)信息的方式，使得模型在學(xué)習(xí)多種復(fù)雜結(jié)構(gòu)信息的過程中，對多種結(jié)構(gòu)信息的聚合過程進行拆分，各個階段的學(xué)習(xí)更有針對性，能更有效地聚合子句間的多種結(jié)構(gòu)信息。

表3 各模型的運算成本Table 3 Calculation cost of each model

通過以上實驗說明，2 個層級學(xué)習(xí)層和層次更新機制可以有效降低圖神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)復(fù)雜異構(gòu)圖時的難度，提高摘要的性能，進一步驗證了本文所提框架的有效性。

3.6 實例分析

表4 展示了本文細粒度抽取模型和粗粒度抽取基準模型HDSG 的摘要實例。從表4 可以看出，本文細粒度抽取模型和HDSG 都與人工摘要的表達意思相近，不同的是，從劃線內(nèi)容來看，細粒度抽取模型在生成候選摘要時可以減少句子內(nèi)部的冗余信息，說明本文細粒度抽取模型可以提高摘要的簡潔性從而提升摘要性能上限。同時也可以看出，細粒度抽取模型的摘要存在一些獨立的短語，可讀性不如粗粒度抽取模型的摘要。

表4 抽取式摘要示例Table 4 Extractive summarization samples

4 結(jié)束語

本文提出一種基于異構(gòu)圖分層學(xué)習(xí)的細粒度多文檔摘要抽取模型，通過層次化構(gòu)建2 個異構(gòu)圖來有效建模子句的語義關(guān)系和結(jié)構(gòu)關(guān)系，從而提升摘要抽取效果。實驗結(jié)果表明，相比抽取式模型，該模型在多文檔摘要數(shù)據(jù)集Multi-news 上有顯著的性能提升，消融實驗結(jié)果也驗證了模型中各模塊的有效性。下一步將優(yōu)化多種復(fù)雜關(guān)系的聚合方式，探究基于語法限制的抽取方法，以提高抽取摘要的可讀性。