基于異質(zhì)圖卷積神經(jīng)網(wǎng)絡(luò)的論點(diǎn)對(duì)抽取模型

劉議丹，朱小飛，尹雅博

(重慶理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，重慶 400054)

論點(diǎn)對(duì)抽取(argument pair extraction,APE)屬于對(duì)話式論辯，目的是為了從2 個(gè)相關(guān)的文章中抽取出交互式的論點(diǎn)對(duì)，是論辯挖掘中的新興任務(wù)[1-5].Cheng 等[6]首次在同行評(píng)審和反駁中提出論點(diǎn)對(duì)抽取任務(wù)，因?yàn)橥性u(píng)審和反駁中包含豐富的論點(diǎn).它主要包含以下2 個(gè)步驟：1)從評(píng)審段和反駁段中識(shí)別出論點(diǎn)；2)判斷2 個(gè)論點(diǎn)是否屬于同一個(gè)論點(diǎn)對(duì).

Cheng 等[6]將論點(diǎn)對(duì)抽取任務(wù)分解為序列標(biāo)注任務(wù)和句子對(duì)分類任務(wù)，通過(guò)多任務(wù)學(xué)習(xí)框架來(lái)同時(shí)優(yōu)化這2 個(gè)子任務(wù).由于僅采用多任務(wù)學(xué)習(xí)的方式?jīng)]有充分利用2 個(gè)段落的獨(dú)特特征以及段落之間句子的交互信息.Cheng 等[7]提出注意力引導(dǎo)的多層多交叉模型，隱式建模2 個(gè)段落句子間的關(guān)系，將句子對(duì)分類任務(wù)視為表格填充任務(wù)，采用2D-GRU 來(lái)更新表格的表示.Bao 等[8]提出相互指導(dǎo)的框架，通過(guò)評(píng)審段識(shí)別出的論點(diǎn)來(lái)指導(dǎo)反駁段論點(diǎn)的識(shí)別，反之也可以通過(guò)反駁段識(shí)別出的論點(diǎn)來(lái)指導(dǎo)評(píng)審段論點(diǎn)的識(shí)別.Bao 等[9]認(rèn)為之前的工作建模的都是句子級(jí)別的交互，忽略了對(duì)論點(diǎn)級(jí)別交互的建模，提出具有兩階段的機(jī)器閱讀理解(machine reading comprehension,MRC)框架.

盡管上述論點(diǎn)對(duì)抽取算法取得了一定的效果，但任務(wù)存在以下2 個(gè)問(wèn)題.1）沒(méi)有充分建模評(píng)審段和反駁段句子之間的交互信息.2）忽略了對(duì)評(píng)審段及反駁段內(nèi)句子的相對(duì)位置進(jìn)行建模.為了解決上述2 個(gè)問(wèn)題，本文提出基于異質(zhì)圖卷積神經(jīng)網(wǎng)絡(luò)的論點(diǎn)對(duì)抽取模型(heterogeneous graph convolutional neural network for argument pair extraction，HGCN-APE).在評(píng)審段和反駁段中構(gòu)建異質(zhì)圖，定義2 種不同類型的節(jié)點(diǎn)、4 種不同類型的邊，通過(guò)關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)來(lái)更新節(jié)點(diǎn)的表示.除此之外，設(shè)計(jì)位置感知句子對(duì)生成器，建模評(píng)審段和反駁段內(nèi)句子的相對(duì)位置信息.

總的來(lái)說(shuō)，本文的貢獻(xiàn)主要可以分為以下幾個(gè)方面.

(1)針對(duì)以往基于圖的論點(diǎn)對(duì)抽取工作，難以充分建模評(píng)審段和反駁段句子間的交互關(guān)系問(wèn)題，構(gòu)建異質(zhì)圖，定義2 種不同類型的節(jié)點(diǎn)及4 種不同類型的邊，區(qū)分段落內(nèi)和段落間句子的交互信息.

(2)考慮到評(píng)審段和反駁段論點(diǎn)先后順序有聯(lián)系，設(shè)計(jì)位置感知的句子對(duì)生成器，采用旋轉(zhuǎn)位置編碼來(lái)建模段落內(nèi)和段落間句子的相對(duì)位置信息.

(3)在RR-passage 和RR-sumbmission-v2 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的模型優(yōu)于所有的基線模型.為了促進(jìn)論辯挖掘中論點(diǎn)對(duì)抽取的研究，將代碼進(jìn)行開源：https://github.com/ElevateSpirit/HGCN-APE.

1 相關(guān)工作

1.1 論辯挖掘

論辯挖掘的目的是從具有辯論性的文本中自動(dòng)提取出論點(diǎn)[5]，近年來(lái)受到了越來(lái)越多的學(xué)者關(guān)注.它在現(xiàn)實(shí)生活中有著廣泛的應(yīng)用，如司法庭審[10]、AI 辯論[11]、寫作助手[12]等.目前對(duì)論辯挖掘的研究主要可以分為2 個(gè)方面：獨(dú)白式論辯和對(duì)話式論辯.以往的工作大多集中在獨(dú)白式論辯的研究，而相比于獨(dú)白式論辯，在現(xiàn)實(shí)生活中對(duì)話式論辯更常見.Ji 等[13]基于在線辯論平臺(tái)的數(shù)據(jù)構(gòu)建數(shù)據(jù)集，提出交互式論點(diǎn)對(duì)識(shí)別任務(wù).Yuan 等[14]提出使用外部知識(shí)來(lái)增強(qiáng)交互式論點(diǎn)對(duì)識(shí)別，在上下文中對(duì)實(shí)體和路徑進(jìn)行編碼，以獲得實(shí)體的嵌入和路徑表示.Shi 等[15]提出對(duì)比學(xué)習(xí)框架，去除文檔中與論點(diǎn)識(shí)別不相關(guān)的信息.Cheng 等[6]在同行評(píng)審的反駁中提取論點(diǎn)對(duì)抽取任務(wù)，將論點(diǎn)對(duì)抽取分解為序列標(biāo)注和句子匹配任務(wù)，通過(guò)多任務(wù)學(xué)習(xí)框架同時(shí)優(yōu)化這2 個(gè)子任務(wù).Cheng 等[7]提出注意力引導(dǎo)的多層多交叉模型，隱式建模2 個(gè)段落句子之間的關(guān)系.Bao 等[8]提出互指導(dǎo)框架，構(gòu)建句間關(guān)系圖，顯示建模2 個(gè)段落句子之間的關(guān)系.Bao 等[9]將論點(diǎn)對(duì)抽取視為兩階段閱讀理解任務(wù)，將識(shí)別出的論點(diǎn)作為問(wèn)題，在另一個(gè)段落中查詢與之匹配的論點(diǎn)對(duì).

1.2 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）包括圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）[16]、圖注意力網(wǎng)絡(luò)（graph attention network，GAT）[17]、關(guān)系圖卷積網(wǎng)絡(luò)（relational graph convolutional network，RGCN）[18]等，得益于其強(qiáng)大的表示能力，在許多自然語(yǔ)言處理(NLP)任務(wù)中表現(xiàn)出優(yōu)異的性能.Wang 等[19]將關(guān)系圖卷積網(wǎng)絡(luò)應(yīng)用于方面情感分析中.Hu 等[20]提出基于異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的方法，用于半監(jiān)督短文本分類.

最近，圖神經(jīng)網(wǎng)絡(luò)已經(jīng)應(yīng)用到了論點(diǎn)對(duì)抽取領(lǐng)域.Yuan 等[14]提出利用外部知識(shí)來(lái)提升論點(diǎn)對(duì)抽取的效果，在在線論壇數(shù)據(jù)集上構(gòu)建論證知識(shí)圖.Bao 等[8]在評(píng)審反駁段落中構(gòu)建句間關(guān)系圖，通過(guò)圖卷積網(wǎng)絡(luò)更新節(jié)點(diǎn)的表示.與以往基于圖的論點(diǎn)對(duì)抽取工作不同，本文構(gòu)建的圖是異質(zhì)的，定義了不同節(jié)點(diǎn)的類型及邊的類型，通過(guò)關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)建模句子之間的復(fù)雜關(guān)系.

2 模型簡(jiǎn)介

2.1 問(wèn)題定義

給定評(píng)審段落 V={v1,v2,···,vm}和反駁段落B={b1,b2,···,bn}，其中 m 和 n分別表示評(píng)審段中有m個(gè)句子，反駁段中有 n個(gè)句子.在每個(gè)段落中，可以將句子劃分為論點(diǎn)和非論點(diǎn)，評(píng)審段落中的論點(diǎn)，反駁段落中的論點(diǎn)，其中 lv和 lb分別表示評(píng)審段中有 lv個(gè)論點(diǎn)，反駁段落中有 lb個(gè)論點(diǎn).論點(diǎn)對(duì)抽取的目的是從評(píng)審段落和反駁段落中匹配討論同一個(gè)話題的論點(diǎn)其中 lp為評(píng)審反駁段中論點(diǎn)對(duì)的個(gè)數(shù).提出的HGCN-APE 模型架構(gòu)如圖1 所示.

圖1 HGCN-APE 模型架構(gòu)Fig.1 Model architecture of HGCN-APE

2.2 句子編碼器

對(duì)句子中每個(gè)詞的表示進(jìn)行加權(quán)求和，得到最終句子的表示.這樣做的目的是充分利用句子中每個(gè)單詞的語(yǔ)義信息：

為了提升模式的泛化能力，引入Dropout[23]策略，隨機(jī)丟棄網(wǎng)絡(luò)中部分神經(jīng)元間的連邊:

通過(guò)上述步驟，可以得到評(píng)審段落和反駁段落中每個(gè)句子的表示：

為了捕獲每個(gè)段落句子之間的上下文信息，將評(píng)審段和反駁段中所有句子的表示輸入到BiLSTM[24]中，把前項(xiàng)和后項(xiàng)的表示拼接在一起，得到上下文感知的句子的表示：

2.3 異質(zhì)圖卷積層

在得到評(píng)審段落和反駁段落中所有句子的表示后，為了建模段落內(nèi)部和段落之間句子的復(fù)雜關(guān)系，構(gòu)建異質(zhì)圖，如圖2 所示.

圖2 HGCN-APE 異質(zhì)圖構(gòu)建Fig.2 Heterogeneous graph construction of HGCN-APE

2.3.1 異質(zhì)圖構(gòu)建 如圖3 所示，在構(gòu)建的異質(zhì)圖中，包含了2 種類型的節(jié)點(diǎn)，分別是評(píng)審段落中的句子節(jié)點(diǎn)和反駁段落中的句子節(jié)點(diǎn)以及4 種不同類型的邊.

圖3 HGCN-APE 超參數(shù) λ的影響Fig.3 Effect of HGCN-APE hyper-parameterλ

評(píng)審-評(píng)審邊.評(píng)審-評(píng)審邊用于建模評(píng)審段內(nèi)部句子之間的關(guān)系，評(píng)審段中相鄰2 個(gè)句子之間有連邊.

反駁-反駁邊.反駁-反駁邊用于建模反駁段內(nèi)部句子之間的關(guān)系，反駁段中相鄰2 個(gè)句子之間有連邊.

評(píng)審-反駁邊.評(píng)審-反駁邊用于建模評(píng)審反駁段可能屬于同一個(gè)論點(diǎn)對(duì)句子之間的關(guān)系，用評(píng)審節(jié)點(diǎn)的表示來(lái)增強(qiáng)反駁節(jié)點(diǎn)的表示.參考Bao 等[8]的工作，利用NLTK 對(duì)評(píng)審段和反駁段中的每個(gè)句子進(jìn)行分詞處理，并去除停用詞，只有當(dāng)去除停用詞的2 個(gè)句子之間的共現(xiàn)詞數(shù)量大于2 時(shí)，才會(huì)有連邊.

反駁-評(píng)審邊.反駁-評(píng)審邊的目的是用反駁段節(jié)點(diǎn)的表示去增強(qiáng)評(píng)審段節(jié)點(diǎn)的表示.

2.3.2 異質(zhì)圖聚合 在構(gòu)建好異質(zhì)圖后，使用句子編碼器得到的評(píng)審段落中每個(gè)句子的表示以及反駁段落中每個(gè)句子的表示，分別初始化圖中評(píng)審節(jié)點(diǎn)的表示和反駁節(jié)點(diǎn)的表示.

使用關(guān)系圖卷積網(wǎng)絡(luò)(relational graph convolutional network,RGCN)[18]來(lái)更新節(jié)點(diǎn)的表示:

2.4 位置感知句子對(duì)生成器

在論文投稿過(guò)程中，當(dāng)審稿人給出評(píng)審意見后，作者會(huì)針對(duì)審稿人提出的意見進(jìn)行回復(fù).事實(shí)上，作者會(huì)按照審稿人提出評(píng)審意見的順序進(jìn)行回復(fù)，然而以往的工作忽略對(duì)相對(duì)位置信息的建模.

采用旋轉(zhuǎn)位置編碼(rotary position embedding,RoPE)[25]，建模評(píng)審段和反駁段內(nèi)句子間的相對(duì)位置關(guān)系：

式中：PEv∈Rm×2d，PEb∈Rn×2d分別為融合相對(duì)位置編碼的評(píng)審段句子的表示和反駁段句子的表示.

將評(píng)審段和反駁段中兩兩句子的表示拼接在一起，構(gòu)成 m×n的表格，用于句子對(duì)預(yù)測(cè)：

式中：T∈Rm×n×d為表格的表示，Wp∈Rd×4d，bp∈Rd為可訓(xùn)練的參數(shù)，[ ;]表示拼接操作.

BiLSTM 層和異質(zhì)圖卷積層可堆疊多層來(lái)更新表格的表示，不同層之間采用殘差連接，并進(jìn)行層歸一化：

式中：l為堆疊的層數(shù)，LayerNorm(*)表示層歸一化.

2.5 預(yù)測(cè)層

2.5.1 論點(diǎn)預(yù)測(cè) 給定評(píng)審段的句子序列 V={v1,v2,···,vm}和反駁段中的句子序列bn}以及它們對(duì)應(yīng)的標(biāo)簽論點(diǎn)預(yù)測(cè)的目的是給每一個(gè)句子分配一個(gè)標(biāo)簽，是序列標(biāo)注問(wèn)題，通過(guò)條件隨機(jī)場(chǎng)(conditional random field,CRF)[26]來(lái)實(shí)現(xiàn).

具體來(lái)說(shuō)，以評(píng)審段的句子序列為例(反駁段的預(yù)測(cè)類似)，計(jì)算觀測(cè)序列和標(biāo)簽序列之間的得分：

計(jì)算給定 V下標(biāo)簽 Yv的條件概率：

CRF 的損失函數(shù)可以定義為

通過(guò)同樣的步驟，可以得到反駁段論點(diǎn)識(shí)別的損失 Lb.論點(diǎn)預(yù)測(cè)的損失函數(shù)由2 部分組成，分別是評(píng)審段的論點(diǎn)預(yù)測(cè)損失 Lv和反駁段的論點(diǎn)預(yù)測(cè)損失 Lb，

2.5.2 句子對(duì)預(yù)測(cè) 句子對(duì)預(yù)測(cè)的目的是判斷評(píng)審段和反駁段中兩兩句子是否屬于同一個(gè)論點(diǎn)對(duì)，是二分類問(wèn)題.通過(guò)多層感知機(jī)(multi-layer perceptron,MLP)，得到句子對(duì)概率分布：

式中：Tij為評(píng)審段中第i 個(gè)句子和反駁段中第j 個(gè)句子在表格中的表示，Pij為這兩個(gè)句子屬于同一個(gè)論點(diǎn)對(duì)的概率.使用交叉熵?fù)p失，計(jì)算預(yù)測(cè)值與真實(shí)值的偏差：

式中：yij∈{0,1}為句子對(duì)的真實(shí)標(biāo)簽，0 表示2 個(gè)句子不屬于同一個(gè)論點(diǎn)對(duì)，1 表示2 個(gè)句子屬于同一個(gè)論點(diǎn)對(duì).

2.6 模型優(yōu)化及預(yù)測(cè)

模型最終的損失函數(shù)包含2 個(gè)部分：論點(diǎn)預(yù)測(cè)和句子對(duì)預(yù)測(cè).采用多任務(wù)學(xué)習(xí)的方式同時(shí)優(yōu)化這2 個(gè)損失，最終的損失函數(shù)定義為

式中：λ為超參數(shù)，用于調(diào)節(jié)2 個(gè)子任務(wù)損失的權(quán)重.

參照Cheng 等[6-7]的工作，最終論點(diǎn)對(duì)的預(yù)測(cè)由2 個(gè)子任務(wù)的結(jié)果組合而來(lái).具體來(lái)說(shuō)，只有當(dāng)識(shí)別出的評(píng)審段論點(diǎn)和反駁段論點(diǎn) 滿足如下條件時(shí)，這2 個(gè)論點(diǎn)才屬于同一個(gè)論點(diǎn)對(duì).

式中：I為指示函數(shù).

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集和評(píng)估指標(biāo) 采用論點(diǎn)對(duì)抽取廣泛應(yīng)用的評(píng)審-反駁數(shù)據(jù)集(review-rebuttal,RR)[6]來(lái)評(píng)估模型的性能，該數(shù)據(jù)集收集了ICLR 上的4 764 篇評(píng)審反駁對(duì).它包含2 個(gè)版本：RR-Passage 和RR-Submission-v2.每一個(gè)版本按照8∶1∶1的比例，劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.在RRPassage 中，同一篇文章的論點(diǎn)對(duì)均包含在訓(xùn)練集、驗(yàn)證集或者測(cè)試集中的一個(gè)；在RR-Submission-v2 中，同一篇文章的論點(diǎn)對(duì)可能同時(shí)分布在訓(xùn)練集、驗(yàn)證集和測(cè)試集中.數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果如表1 所示，表中，Nvb為評(píng)審反駁對(duì)數(shù)，Ntr為訓(xùn)練集數(shù)，Ndev為驗(yàn)證集數(shù)，Nt為測(cè)試集數(shù)，Nf為句子總數(shù)，Na為論點(diǎn)總數(shù)，Ns為論點(diǎn)句子總數(shù)。

表1 論點(diǎn)對(duì)抽取數(shù)據(jù)集統(tǒng)計(jì)Tab.1 Statistics of argument pair extraction dataset

在論點(diǎn)預(yù)測(cè)、句子對(duì)預(yù)測(cè)、論點(diǎn)對(duì)預(yù)測(cè)上的評(píng)估指標(biāo)均采用精確率P（precision）、召回率R（recall）和F1.

3.1.2 基線模型 為了驗(yàn)證提出模型的有效性，與以下的基線模型進(jìn)行比較.

1)MT-H-LSTM-CRF[6].MT-H-LSTM-CRF 將論點(diǎn)對(duì)抽取任務(wù)分解為序列標(biāo)注任務(wù)和句子對(duì)預(yù)測(cè)任務(wù)，通過(guò)多任務(wù)學(xué)習(xí)框架來(lái)同時(shí)優(yōu)化這2 個(gè)子任務(wù).

2)MLMC[7].MLMC 提出多層多交叉編碼器模型來(lái)充分建模2 個(gè)段落句子之間的關(guān)系，將句子對(duì)預(yù)測(cè)視為表格填充問(wèn)題，引入注意力損失來(lái)更好地預(yù)測(cè)論點(diǎn)對(duì).

3)MGF[8].MGF 是互指導(dǎo)框架，包含評(píng)審指導(dǎo)和反駁指導(dǎo).先識(shí)別出評(píng)審段中的論點(diǎn)，再將該論點(diǎn)拼接到反駁段中，找出與之匹配的論點(diǎn)，反之亦然.

4)MRC-APE-Bert[9].MRC-APE-Bert 將論點(diǎn)對(duì)抽取任務(wù)視為兩階段閱讀理解任務(wù)：第1 階段先識(shí)別出評(píng)審段和反駁段中的所有論點(diǎn)，第2 階段將每個(gè)識(shí)別的論點(diǎn)作為查詢，在另一個(gè)段落中找與之匹配的論點(diǎn).由于MRC-APE[9]使用Longformer[27]對(duì)句子進(jìn)行編碼，為了公平比較，本文采用其Bert 版模型作為基線.

3.2 實(shí)驗(yàn)簡(jiǎn)介

HGCA-APE 模型基于Pytorch 實(shí)現(xiàn)，使用BERT-Base-Uncased 作為基準(zhǔn)模型，在訓(xùn)練過(guò)程中凍結(jié)它們的參數(shù).采用AdamW[28]優(yōu)化器優(yōu)化模型，使用余弦退火策略在每個(gè)輪次后調(diào)整學(xué)習(xí)率.訓(xùn)練輪數(shù)設(shè)置為25，批處理大小設(shè)置為1.在2 個(gè)數(shù)據(jù)集上的超參數(shù) λ均設(shè)置為0.5，堆疊層數(shù) L設(shè)置為3，圖卷積的層數(shù)設(shè)置為1，丟棄率設(shè)置為0.5.所有的實(shí)驗(yàn)均用不同的隨機(jī)種子運(yùn)行5 次，最終結(jié)果為5 次實(shí)驗(yàn)的平均值.

為了驗(yàn)證提出模型的有效性，在2 個(gè)基準(zhǔn)數(shù)據(jù)集RR-submission-v2 和RR-passage 上進(jìn)行實(shí)現(xiàn)，與一系列的基線模型進(jìn)行比較.

如表2 所示為模型在論點(diǎn)對(duì)抽取及2 個(gè)子任務(wù)上的結(jié)果.表中，“—”表示這些基線模型沒(méi)有將論點(diǎn)對(duì)抽取任務(wù)視為序列標(biāo)注和句子對(duì)預(yù)測(cè)任務(wù)，最好的結(jié)果用加粗表示，次優(yōu)的結(jié)果加“_”.從表2 可以看出，本文模型在2 個(gè)基準(zhǔn)數(shù)據(jù)集上的結(jié)果均達(dá)到了最優(yōu)的結(jié)果，在RR-submissionv2 數(shù)據(jù)集上提升了3.63%，在RR-passage 數(shù)據(jù)集上提升了13.28%.

表2 HGCN-APE 在RR-passage 和RR-submission-v2 數(shù)據(jù)集上的性能對(duì)比Tab.2 Comparison of performance of HGCN-APE on RR-passage and RR-submission-v2 dataset

本文模型在論點(diǎn)預(yù)測(cè)性能方面不如MGF，在句子對(duì)預(yù)測(cè)子任務(wù)上的性能均優(yōu)于其他基線模型.一個(gè)可能的原因是通過(guò)共現(xiàn)詞構(gòu)建的異質(zhì)圖，能夠很好地建模潛在屬于同一個(gè)論點(diǎn)對(duì)句子之間的關(guān)系，也可能引入噪音，即有連邊的2 個(gè)句子可能不屬于同一個(gè)論點(diǎn)對(duì)，這會(huì)影響模型在論點(diǎn)預(yù)測(cè)子任務(wù)上的性能.

3.3 消融實(shí)驗(yàn)

為了探究構(gòu)建的異質(zhì)圖及位置感知句子對(duì)生成器的有效性，移除模型的某一部分進(jìn)行消融實(shí)驗(yàn).

w/o v2v 表示去掉異質(zhì)圖中的評(píng)審-評(píng)審邊，即圖中不再建模評(píng)審段內(nèi)句子之間的關(guān)系.

w/o b2b 表示去掉異質(zhì)圖中的反駁-反駁邊，即圖中不再建模反駁段內(nèi)句子之間的關(guān)系.

w/o v2b 表示去掉評(píng)審-反駁邊，即反駁段中的句子將不再建模評(píng)審段句子的信息.

w/o b2v 表示去掉反駁-評(píng)審邊，即評(píng)審段不再建模反駁段句子的信息.

w/o pos 表示去掉評(píng)審段和反駁段句子的相對(duì)位置信息.

如表3 所示為去掉模型中某一模塊后，在RRPassage 數(shù)據(jù)集論點(diǎn)對(duì)抽取上的性能.可以看出，去掉任意一個(gè)模塊，模型的性能均有所降低，證明了模型的有效性.具體來(lái)說(shuō)，在異質(zhì)圖中，去掉評(píng)審-反駁邊和反駁-評(píng)審邊模型的性能，比去掉評(píng)審-評(píng)審邊及反駁-反駁邊下降的性能更多，進(jìn)一步表明在論點(diǎn)對(duì)抽取任務(wù)中，難點(diǎn)在于建模2 個(gè)段落句子之間的關(guān)系.在去掉位置編碼之后，模型性能有所下降，說(shuō)明有必要建模句子之間的相對(duì)位置.

表3 HGCN-APE 在RR-passage 數(shù)據(jù)集上的消融實(shí)驗(yàn)Tab.3 Ablation study of HGCN-APE on RR-passage dataset

3.4 參數(shù)敏感性實(shí)驗(yàn)

超參數(shù) λ控制2 個(gè)子任務(wù)權(quán)重的大小，如圖3所示為不同 λ對(duì)模型性能的影響，隨著 λ 的增大，論點(diǎn)預(yù)測(cè)子任務(wù)的權(quán)重越來(lái)越大，句子對(duì)預(yù)測(cè)的任務(wù)的權(quán)重越來(lái)越小.當(dāng) λ=0.5 時(shí)，2 個(gè)子任務(wù)的權(quán)重一樣，同時(shí)模型在2 個(gè)數(shù)據(jù)集上的性能均達(dá)到最佳，這說(shuō)明論點(diǎn)預(yù)測(cè)和句子對(duì)預(yù)測(cè)在論點(diǎn)對(duì)抽取中是同等重要的.

為了探究不同堆疊層數(shù) L對(duì)模型性能的影響，將 L設(shè)置為1～5，步長(zhǎng)為1，在2 個(gè)數(shù)據(jù)集上驗(yàn)證不同 L對(duì)模型性能的影響，實(shí)驗(yàn)結(jié)果如表4 所示.可以看出，隨著 L的增大，模型在論點(diǎn)對(duì)抽取任務(wù)上的性能不斷提升，當(dāng) L=3時(shí)模型在2 個(gè)數(shù)據(jù)集上的效果最佳，之后模型的性能不斷降低.這是因?yàn)楫?dāng) L過(guò)小時(shí)，模型不能捕獲句子之間的復(fù)雜關(guān)系；當(dāng) L過(guò)大時(shí)，模型可能引入更多的噪音，導(dǎo)致性能降低.

表4 HGCN-APE 超參數(shù) L的影響Tab.4 Effect of HGCN-APE hyper-parameter L

3.5 學(xué)習(xí)曲線實(shí)驗(yàn)

如圖4 所示為模型在訓(xùn)練過(guò)程中的收斂情況.隨著訓(xùn)練輪數(shù)N 的增加，模型在2 個(gè)數(shù)據(jù)集上的F1隨著增大，損失不斷減少.當(dāng)訓(xùn)練輪數(shù)達(dá)到20 的時(shí)候，F(xiàn)1到達(dá)峰值，之后隨著訓(xùn)練輪數(shù)的增大，F(xiàn)1在峰值上下抖動(dòng).盡管20 輪之后，損失不斷降低，但是沒(méi)有帶來(lái)性能的提升，可能是因?yàn)槟Ｐ驮隍?yàn)證集上過(guò)擬合了.

圖4 HGCN-APE 在RR-passage 和RR-submission-v2 數(shù)據(jù)集上的損失和性能對(duì)比Fig.4 Comparison of loss and performance of HGCN-APE on RRpassage and RR-submission-v2 dataset

3.6 案例研究實(shí)驗(yàn)

為了更加直觀地查看HGCN-APE 模型在論點(diǎn)預(yù)測(cè)和論點(diǎn)對(duì)預(yù)測(cè)上的預(yù)測(cè)結(jié)果，在RR-submission-v2 數(shù)據(jù)集的測(cè)試集上隨機(jī)挑選3 條數(shù)據(jù)進(jìn)行展示，結(jié)果數(shù)據(jù)如表5 所示.

表5 HGCN-APE 案例研究Tab.5 Case study of HGCN-APE

從表5 可以看出，在第1 條樣本中，HGCNAPE 錯(cuò)誤地將評(píng)審段中的第6、7 句話識(shí)別為論點(diǎn)，這導(dǎo)致在論點(diǎn)對(duì)預(yù)測(cè)過(guò)程中，錯(cuò)誤地將評(píng)審段中的6、7 句話與反駁段中的第1～7 句話識(shí)別為一個(gè)論點(diǎn)對(duì).在第2 條樣本中，HGCN-APE 將第17 句話識(shí)別為論點(diǎn)，實(shí)際上第16、17 句話是一個(gè)完整的論點(diǎn)，這表明HGCN-APE 存在論點(diǎn)邊界難以識(shí)別的問(wèn)題，主要體現(xiàn)在2 個(gè)方面：1）當(dāng)一個(gè)論點(diǎn)包含多個(gè)句子時(shí)，只將部分句子識(shí)別成論點(diǎn)；2）多個(gè)連續(xù)的論點(diǎn)被識(shí)別為一個(gè)論點(diǎn).第3 條樣本完全預(yù)測(cè)正確.

4 結(jié) 語(yǔ)

本文提出基于異質(zhì)圖卷積神經(jīng)網(wǎng)絡(luò)的論點(diǎn)對(duì)抽取模型，定義2 種不同類型的節(jié)點(diǎn)、4 種不同類型的邊，能夠有效地建模評(píng)審段落和反駁段落內(nèi)部句子之間的關(guān)系、段落之間潛在屬于同一個(gè)論點(diǎn)對(duì)句子之間的關(guān)系.設(shè)計(jì)位置感知的句子對(duì)生成器，捕獲段落內(nèi)句子間的相對(duì)位置.實(shí)驗(yàn)結(jié)果表明，本文提出的模型優(yōu)于現(xiàn)有的基線模型.由于目前主要建模的是評(píng)審段落和反駁段落句子之間的交互，模型在論點(diǎn)預(yù)測(cè)上不能取得最好的效果，接下來(lái)將探究如何更好地建模論點(diǎn)級(jí)的交互.