基于論證關(guān)系判別的議論文句子排序研究

馮驍騁,張凌源,馮掌印,吳佳銘,孫承杰,秦 兵

(哈爾濱工業(yè)大學 社會計算與信息檢索研究中心，黑龍江 哈爾濱 150001)

0 引言

近年來，隨著人工智能和自然語言處理技術(shù)的不斷進步，機器自動寫作成為一種典型的應用任務(wù)，受到了國內(nèi)外眾多科研機構(gòu)和企業(yè)的追捧。特別是自動寫詩、評論生成、機器解說等生成任務(wù)被成功應用于人們的日常生活。因此研究者嘗試將生成技術(shù)應用于更具挑戰(zhàn)性的場景。

議論文自動生成或高考作文生成被看作是人工智能領(lǐng)域的重要挑戰(zhàn)之一。高考也稱普通高等學校招生全國統(tǒng)一考試，是國家為選拔優(yōu)質(zhì)人才向普通高等學校招生設(shè)置的全國性統(tǒng)一考試。而其中議論文或作文寫作是對考生邏輯能力、思想觀點和文字運用最為綜合的一種考驗。因此，機器若想寫出一個好的議論文，也需要像人一樣具備上述諸多能力，并且議論文與詩歌、評論等題材相比邏輯更加清晰、寫作長度更長、篇章架構(gòu)更為復雜。盡管GPT[1]等預訓練語言模型在自動寫作上獲得了巨大成功，但是在議論文自動生成任務(wù)上并未展示出較好的效果。這是由于隨著篇章字數(shù)的增多，語義漂移問題逐漸加重，并且預訓練語言模型是以百科、小說等作為主要預訓練語料，很少對論證結(jié)構(gòu)進行學習，所寫作文缺少典型的篇章結(jié)構(gòu)信息。

冷海濤等[2]構(gòu)建了面向議論文寫作的抽取式生成方法。整個抽取式作文生成模型框架如圖1所示，生成階段主要由句子抽取和句子排序兩部分組成。后續(xù)吳佳銘等[3]通過引入圖模型的句子編碼方式改進排序模型，并通過引入共現(xiàn)實體進一步加強句子聯(lián)系形成新的節(jié)點和邊，促進信息流動。盡管他們的方法較好地建模了句子語義表示，但卻忽略了論證文本之間的邏輯結(jié)構(gòu)特點。例如，主論點與分論點、分論點與論證句之間必須保持邏輯一致，否則整個篇章則會產(chǎn)生前后語義矛盾、邏輯倒置等嚴重問題。針對論證矛盾等問題，本文提出基于論證關(guān)系邏輯判別的議論文句子排序模型。因此本文可以劃分為兩部分研究內(nèi)容： 論證關(guān)系判別和句子排序技術(shù)。

圖1 抽取式作文生成基本框圖

首先，論證關(guān)系判別與自然語言推理技術(shù)類似，后者的研究工作側(cè)重于判定是否可以從給定的前提中推斷出某一個給定的假設(shè)，而前者的研究工作則側(cè)重于判別給定的兩句話是否具有某種論證關(guān)系，同時推斷出論證方向性，是前句論證后句，還是后句論證前句。

早期研究兩個句子的相互關(guān)系，主要依賴一些常規(guī)的方法，例如，抽取句法特征、關(guān)系抽取等[4]。但這些方法具有一定的局限性，只能在比較特定的任務(wù)中使用。隨著大規(guī)模標注數(shù)據(jù)集的出現(xiàn)，以及深度學習算法的快速發(fā)展，學術(shù)界在兩個句子相互關(guān)系的研究上取得了明顯進步。此外，完善的注意力機制，通過提供兩個句子之間的對齊和依存關(guān)系，為尋找兩個句子之間的相互關(guān)系提供了更加豐富的知識。在這些方法中的第一類是基于句子編碼的方法[5-6]。其做法是將兩個句子前后拼接，然后使用深度神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為句子的向量表示，最后使用分類器對該句子進行決策關(guān)系分類，這種做法只考慮前序與后續(xù)的語義結(jié)構(gòu)信息，而沒有考慮句子之間單詞與單詞交叉的相關(guān)性。而另一種做法則很好地彌補了第一種做法中缺乏的交互信息，利用相似矩陣來實現(xiàn)句子間的注意力機制，使得模型可以更好地獲取交叉信息中的推理關(guān)系。Chen的ESIM模型就是使用了第二種做法，該模型在自然語言推理中取得了顯著的成果[7]。此外，有研究者嘗試在模型中引入知識圖譜[8]，同時還有部分研究者嘗試加深模型深度，尤其加深上下文語義理解層RNN部分的深度[9]，但是其結(jié)果對精度的影響雖有提升但微乎其微，直到引入上下文的預訓練語言模型(包括ELMo[10]、GPT[1]、BERT[11]、XLNet[12])的出現(xiàn)代替了GloVe[13]和Word2Vec[14]，使得研究者將目光關(guān)注到詞語理解層，使用這些預訓練模型獲取句子中的詞表示極大地提升了模型的精度，例如，Peters將ELMo引入到ESIM結(jié)構(gòu)中[10]。

近年來，研究人員還發(fā)現(xiàn)目前的引入上下文語義的預訓練語言模型往往忽視了最顯著的結(jié)構(gòu)化語義信息，使得深度學習模型錯誤地關(guān)注那些語義結(jié)構(gòu)信息不明顯的單詞[15-16]。其中對于顯式的語義結(jié)構(gòu)特征的研究，Baker與Palmer等人早在十幾年前就做了相應的研究[17-18]。這種形式化的語言通常將語義關(guān)系表示為謂語-論點結(jié)構(gòu)，之后慢慢地被后人所歸納為一個NLP中的任務(wù)，即語義角色標注(Semantic Role Labeling，SRL)。而最近He[19]等人將端到端的深度神經(jīng)網(wǎng)絡(luò)技術(shù)引入SRL系統(tǒng)中，獲得了更好的性能。由此，本文嘗試將SRL作為顯式語義結(jié)構(gòu)融入論證關(guān)系邏輯判別模型中，希望使得模型能夠較好地將關(guān)注點聚焦到強語義結(jié)構(gòu)信息的詞上，更好地適配議論文論證邏輯關(guān)系判別任務(wù)。

其次，在句子排序相關(guān)工作中，Liu等[20]提出的Learning to Rank是基于特征的機器學習方法，通過組合各種特征來決定各個句子的順序。隨著深度學習技術(shù)的廣泛應用，Chen等[21]提出使用詞袋模型、CNN、LSTM等方法建模句子，使用句子對的表示進行二元分類，預測前后順序的概率，最后使用集束搜索得到排序結(jié)果。Gong等[22]提出了端到端的句子排序模型，利用LSTM進行句子和段落級的建模，再用指針網(wǎng)絡(luò)進行句子排序。而近期吳佳銘等[3]提出了基于圖神經(jīng)網(wǎng)絡(luò)的段落級句子排序模型，并將其應用到議論文作文數(shù)據(jù)集中，取得了優(yōu)于其他模型的實驗效果。而利用圖神經(jīng)網(wǎng)絡(luò)來對句子集進行編碼的有效性已經(jīng)被很多研究所證實[23-25]。因此本文在吳佳銘等[3]的基礎(chǔ)上，引入論證關(guān)系。其模型整體框架為利用圖神經(jīng)網(wǎng)絡(luò)進行句子編碼，最后使用指針網(wǎng)絡(luò)[26]模型進行解碼輸出排序結(jié)果。為了引入論證關(guān)系，本文在圖神經(jīng)網(wǎng)絡(luò)建圖過程中，將論證關(guān)系作為虛點引入圖中，對具有論證關(guān)系的句子對進行虛向連接。該排序模型在議論文數(shù)據(jù)集中證明了引入論證關(guān)系的有效性，得到了最優(yōu)的排序效果。

1 問題描述

1.1 論證關(guān)系邏輯判別

給定兩個句子： 句子A與句子B，該任務(wù)需要判斷這兩個句子間的論證關(guān)系。例如句子A為“平凡不意味著無價值?！本渥覤為“螺絲釘看起來很渺小，但它的價值不容我們忽視。少了它，大樓會倒塌?！笨梢钥闯鼍渥覤通過舉例螺絲釘?shù)淖饔脕碚撟C句子A中平凡是可以有價值的。而句子A與句子B的關(guān)系為： B論證A。相反在其他例子中也會有A論證B或者A、B無關(guān)等分類。

1.2 議論文作文句子排序

2 方法

2.1 基于顯式語義結(jié)構(gòu)的論證關(guān)系邏輯判別

本文提出基于匹配聚合框架來搭建論證關(guān)系判別模型BSAI(BERT-SRL Argumentation Inference)，用于預測兩句話A、B的論證關(guān)系概率分布Pr(y|A,B)，分為詞語理解層、上下文語義理解層、匹配推理層、推理聚合層和預測層。模型結(jié)構(gòu)如圖2所示。

圖2 論證關(guān)系邏輯判別模型結(jié)構(gòu)圖

2.1.1 詞語理解層

(1)

為了使句子能夠同時融入多個謂語事件的信息，本文將經(jīng)過Bi-GRU的結(jié)果在單詞維度拼接后輸入一個全連接層，得到最終句子的語義信息向量，如式(2)所示。

(2)

本層將BERT產(chǎn)生的向量表示與SRL產(chǎn)生的向量表示進行拼接得到該層句子最終的詞表示結(jié)果，如式(3)所示。

Embed(Si)=[eBERT(Si);eSRL(Si)]

(3)

2.1.2 上下文語義理解層

本層采用雙向長短時記憶循環(huán)神經(jīng)網(wǎng)絡(luò)模型(Bi-LSTM)來增強句子S詞向量的上下文語境表示，如式(4)所示。

(4)

此處，本文還嘗試了其他融入上下文語義特征的方法，如GRU、LSTM、感知機等，發(fā)現(xiàn)使用Bi-LSTM取得的模型效果最佳。

2.1.3 匹配推理層

本層使用互注意力機制(Co-Attention)得到句子a與句子b之間的相關(guān)矩陣e，通過注意力機制，將原句子a的每個詞表示與句子b的所有詞表示進行相關(guān)性計算得到句子a相對句子b的相似表示a′，并將同樣的方法作用到句子b，得到句子b相對句子a的相似表示b′，如式(5)所示。

(5)

為了增強句子間推理矩陣的推理效果，本層將相似表示向量與原向量做點積運算以及距離運算，并將結(jié)果融入推理關(guān)系表達式中。這種做法可以較好地增強模型的論證推理能力，并通過與原始元組級聯(lián)，多方位地捕捉其在論證方向上的關(guān)系。例如，句子a的相似表示a′與原句子表示a之間差值的計算，可以理解為句子a與句子b之間的正向論證關(guān)系；而句子b的相似表示b′與原句表示b之間差值的計算，可以理解為句子a與句子b之間的逆向論證關(guān)系。使得在最后預測過程中，模型推斷出具有論證關(guān)系的同時，也能精準地預測出哪個句子論證了哪個句子，具體如式(6)所示。

(6)

2.1.4 推理聚合層

在得到推理關(guān)系ma與mb后，為了進一步將上下文特征融入推理關(guān)系，本文使用另一個Bi-LSTM模型來解析推理關(guān)系ma與mb中的上下文推理部分，得到具有深層推理邏輯的推理關(guān)系向量a、b，如式(7)所示。

(7)

由于句子a和句子b的長度并不固定，且推理關(guān)系向量的長度也是與原始句子的長度相關(guān)。為了使模型不過多關(guān)注于句子的長度，并且方便后續(xù)對推理結(jié)果的預測，本模型采用平均池化、最大值池化兩種方式對推理關(guān)系在字詞長度這一維進行池化操作。為了規(guī)避句子長度對模型的影響，本處池化層放棄使用累加池化的方式，如式(8)所示。

(8)

最后，為了融合句子間的相互關(guān)系，本模型將句子a、b各自池化后的產(chǎn)物拼接作為本層的最終輸出，如式(9)所示。

(9)

2.1.5 預測層

本層的目的是將推理聚合層的輸出結(jié)果v，轉(zhuǎn)化為句子a、b論證關(guān)系的概率分布Pr(y|a,b)。在本文模型中，本文使用多層感知機(MLP)來達到這一效果。此外，本文經(jīng)過大量的對比實驗，發(fā)現(xiàn)使用三層漏斗式的多層感知機，中間使用ELU作為激活函數(shù)，在最后添加Softmax層的方法對結(jié)果具有更好的預測。

(10)

式(10)為ELU函數(shù)，從公式中不難發(fā)現(xiàn)，ELU函數(shù)左邊的數(shù)值范圍軟飽和，而右邊的數(shù)值范圍不飽和。這也使得右側(cè)的數(shù)值范圍部分緩解了梯度的消失，而左側(cè)的軟飽和度可以影響輸入，使其對變化或噪聲更加穩(wěn)健。

在本模型中，本文將推理聚合層的輸出結(jié)果v放入設(shè)置好的多層感知機，得到最終預測的句子a、b論證關(guān)系的概率分布Pr(y|a,b)。整個過程是一個端到端的訓練，且在模型訓練過程中使用交叉熵(Cross-Entropy)作為損失函數(shù)。

2.2 引入論證關(guān)系的圖神經(jīng)網(wǎng)絡(luò)句子排序

2.2.1 基于圖神經(jīng)網(wǎng)絡(luò)的段落編碼器

以往的工作[2]一般利用LSTM來對句子集編碼，學習句子與句子之間的關(guān)聯(lián)特征。但是由于LSTM結(jié)構(gòu)具有局限性，在進行段落級編碼時往往采用線性的順序處理方式進行，這就使得原段落句子間的初始順序?qū)幋a的結(jié)果產(chǎn)生影響。而句子排序任務(wù)往往輸入亂序的句子集，這使得模型的效果與輸入句子集的順序有關(guān)，導致模型的不穩(wěn)定性。

因此本文使用圖神經(jīng)網(wǎng)絡(luò)來對句子集的段落信息進行編碼。本文將句子集中的各個句子看成圖中獨立存在的各個節(jié)點，將句子與句子之間的聯(lián)系看成圖中節(jié)點與節(jié)點之間的邊。整體上看句子集S={sO1,…,sOM}的段落級編碼可以看成一個節(jié)點總數(shù)為M的全連接圖，如圖4所示。

圖4 段落級編碼全連接圖

上述這種模式的建圖方法會導致所有句子間的距離為1，導致在后續(xù)編碼圖結(jié)構(gòu)的過程中使得原本距離較遠的句子之間產(chǎn)生有噪聲的信息交互。因此本文引入句子間的論證關(guān)系以及句子間的實體關(guān)系來減少不必要的連邊。

對于句子間的論證關(guān)系，本文采用上文提及的BSAI模型對輸入的句子集S={sO1,…,sOM}中的任意兩個句子對(si,sj|i≠j)，求得這n(n-1)個句子對的論證關(guān)系ai,j。之后遍歷圖上的每個節(jié)點vsi。假如存在一個節(jié)點vsj使得論證關(guān)系ai,j為vsi論證vsj，本文將為節(jié)點vsi引入一個無意義的虛點vai，將節(jié)點vsi與虛點vai連接一條標簽為lt的邊，將所有滿足條件的節(jié)點vsj與虛點vai連接一條標簽為la的邊。其中，lt代表論點，la代表論據(jù)。

對于句子間的實體關(guān)系，本文使用語言技術(shù)平臺(LTP)的句法分析模型，抽取出句子中介詞賓語(POB)、動詞賓語(VOB)以及主語(SBV)納入實體詞集合中。之后過濾掉實體集合中只出現(xiàn)在一個句子當中的詞。對于實體詞集合e={e1,…,en}中的每一個詞ei，建立一個實體詞節(jié)點vei，并將所有包含實體詞ei的句子節(jié)點vsj|ei∈sj，與實體詞節(jié)點vei連邊，各條邊的標簽為該實體詞ei在句子sj的角色，角色優(yōu)先級按照主語-動賓-介賓的順序排布。其中，主語用標簽ls表示，動賓用標簽lv表示，介賓用標簽lp表示。

最后，為了讓具有相關(guān)性的句子之間距離盡可能小，本文將互相可達的句子節(jié)點用一條無標簽的邊連接。最終圖結(jié)構(gòu)如圖5所示。

圖5 引入論證關(guān)系與實體關(guān)系后的圖網(wǎng)絡(luò)結(jié)構(gòu)

圖中句子s1與句子s3中都包含“父親”這一實體，因此句子s1與句子s3之間會產(chǎn)生一條無標簽邊，由于句子s1中“父親”是以主語存在的，因此句子s1與實體“父親”有一條標簽為ls的邊，由于句子s3中“父親”是以動賓詞存在的，因此句子s3與實體“父親”有一條標簽為lv的邊。由于句子s1在作為論點時，具有s2與s3兩個論據(jù)，因此，句子s1分別與句子s2和s3有一條無標簽的邊，與虛點a1有一條標簽為lt的邊，代表論點。其他兩個句子s2和s3與虛點a1有一條標簽為la的邊，代表論據(jù)。

為了編碼上述圖結(jié)構(gòu)，本文使用GRN[30](循環(huán)圖神經(jīng)網(wǎng)絡(luò))作為圖結(jié)構(gòu)的編碼器，該方法在各種圖編碼任務(wù)中都被證明其有效性。GRN主要通過將圖按照時間軸展開，根據(jù)已構(gòu)建的圖框架建立各個節(jié)點之間的信息傳遞框架，如圖6所示。

圖6 圖結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)編碼圖

對于每個信息傳遞步驟t，每個節(jié)點vi的狀態(tài)更新主要涉及以下兩個步驟：

(1) 通過t-1時刻與節(jié)點vi相鄰的節(jié)點以及全局節(jié)點g來獲取更新狀態(tài)信息。

(2) 利用GRU門控機制來更新節(jié)點vi的信息。

(11)

(12)

(13)

(14)

最后,對于全局圖信息節(jié)點gt，其更新信息為上一個狀態(tài)所有節(jié)點的加權(quán)平均和。具體如式(15)所示。

(15)

上述所有w*、W*、U*都是可學習參數(shù)。通過這種方式，每個節(jié)點通過迭代編碼過程吸收更豐富的上下文信息，并捕獲與其他節(jié)點的邏輯關(guān)系。經(jīng)過T輪迭代過后，將最后一段的句子節(jié)點狀態(tài)當作Pointer Network中各個句子的表示。

2.2.2 基于Pointer Network的排序結(jié)果解碼

Pointer Network模型可以解決由輸入數(shù)據(jù)決定Output Dictionary的問題，而這是Seq2Seq模型沒有辦法解決的。因此該模型可以解決組合問題，被廣泛應用于信息抽取、句子排序等問題中。

如圖7所示，Pointer Network的模型結(jié)構(gòu)可以分為三部分： 第一為句子編碼器，輸入詞用于得到句子的表示。第二為段落編碼器，通過對候選的待排序句子集合的編碼，得到段落的整體信息，傳遞給Decoder來初始化Decoder的狀態(tài)，同時獲得更深層次的句子級別表示，利于Decoder進行句子選擇。第三為解碼器，利用Attention的思想，每一步計算當前時刻的隱藏狀態(tài)，作為Attention機制中的Query，再通過與每一句的Key計算Attention，獲得每一句作為下一句的概率，選擇概率最大的句子，將選中句子的Embedding表示作為下一步Decoder的輸入。不斷進行此過程，從而得到預測的排序序列。

圖7 基于Pointer Network的句子排序模型

3 實驗

3.1 論證邏輯關(guān)系判別

本文使用6 686篇高中議論文作為實驗數(shù)據(jù)，將數(shù)據(jù)按篇章分為訓練集、開發(fā)集、測試集后，構(gòu)建論點與論據(jù)邏輯關(guān)系句子對，本文把目光聚焦到每篇文章的每段話中，若該段話同時出現(xiàn)論點句和論據(jù)，那么本文就將這兩句話進行配對，論點句為句子A，論據(jù)為句子B構(gòu)建論證關(guān)系“B論證A”。與構(gòu)建中心論點與分論點邏輯判別數(shù)據(jù)集一樣，為了能夠讓模型學習到雙向論證的信息，本文同樣隨機地調(diào)換句子A、B，構(gòu)建論證關(guān)系“A論證B”。于此同時，本文還發(fā)現(xiàn)部分段落存在只含論據(jù)的情況，經(jīng)過觀察，發(fā)現(xiàn)這些論據(jù)大部分情況，都論證其上文的論點，因此為了不浪費這些數(shù)據(jù)，本文將該種情況的論據(jù)與前文出現(xiàn)的最近的論點進行配對，得到論證關(guān)系判別數(shù)據(jù)集。數(shù)據(jù)集統(tǒng)計如表1所示。

表1 論證關(guān)系邏輯判別數(shù)據(jù)集

3.1.1 模型參數(shù)

本文將Batch Size大小設(shè)置為16，學習率設(shè)置為0.000 003，在詞表示層使用了兩個預訓練模型，分別為Hugging Face的BERT-Base-Chinese模型，以及哈工大社會計算與信息檢索實驗室研發(fā)的語言技術(shù)平臺LTP中的語義角色標注器SRL模型。其中，BERT預訓練模型輸出的詞表示維度為768，LTP模型輸出詞表示維度為50，因此整體詞表示的維度為818。在上下文語義理解成層中，Bi-LSTM隱藏層維度設(shè)置為600。在推理聚合層中，Bi-LSTM隱藏層維度也同樣設(shè)置為600，在最終預測層使用了三層全連接感知機，第一層線性層維度設(shè)置為300，第二層線性層維度設(shè)置為50。在各層之間使用Batch維度的歸一化函數(shù)進行歸一化。同樣我們將句子的長度固定為100。在訓練過程中，該模型也同樣使用Adam優(yōu)化算法作為訓練優(yōu)化器，其損失函數(shù)也與上述模型一樣使用Cross-Entropy作為損失函數(shù)。

3.1.2 模型評價指標

在模型實驗訓練的過程中，本文使用準確率ACC作為本文模型BSAI的評價指標，其計算如式(16)所示。

(16)

其中，TP為正例預測正確的個數(shù)、FP為負例預測錯誤的個數(shù)、TN為負例預測正確的個數(shù)、FN為正例預測錯誤的個數(shù)。使用ACC作為評價指標是因為在該模型下有兩種類型的正例，有一種類型的負例，占比近似，且負例占比未超過正例的總和，因此直接計算其準確率可以更加直觀地看出模型的好壞。

3.1.3 模型效果

本文將BSAI模型與ESIM模型、BERT-base模型、ESIM+BERT-base模型放到論證關(guān)系判別數(shù)據(jù)集中進行對比實驗。實驗結(jié)果表明，本文提出的BSAI模型要優(yōu)于其他幾個模型，其結(jié)果如表2所示。

表2 模型在論證邏輯判別數(shù)據(jù)集中的效果

實驗顯示，本文引入SRL得到BSAI模型，其在驗證集上的準確率高出BERT+ESIM模型1.87%，且高于BERT-base模型2.0%，其在測試集中的準確率也高于BERT+ESIM模型1.48%，高于BERT-base模型1.94%，證實了語義角色標注器很好地獲取到句子中的語義結(jié)構(gòu)化信息，對于論據(jù)這種具有復雜語義結(jié)構(gòu)的句子，模型可以更好地關(guān)注那些語義結(jié)構(gòu)信息較強的詞，從而使模型在匹配推理過程中產(chǎn)生的推理向量更有價值。

3.2 引入論證關(guān)系的句子排序

我們使用6 686 篇高中議論文作為實驗數(shù)據(jù)，在這些篇議論文中抽取句子數(shù)目≥3的段落，在段落級別上考慮句子排序的效果，數(shù)據(jù)集的相關(guān)統(tǒng)計信息如表3所示。

表3 句子排序議論文數(shù)據(jù)集

句子排序?qū)嶒炘u價指標有以下幾種：

(1) 準確率(ACC)： 它測量了能夠預測句子絕對位置正確的百分比。

(2) 完美匹配率(PMR)： 它測量了能夠完全正確地預測段落中句子順序的百分比。

(4) 匹配率(PM)： 它測量各個句子序的子序列預測正確的百分比。

句子排序?qū)嶒灲Y(jié)果如表4所示。

表4 句子排序?qū)嶒灲Y(jié)果表

表中的Random為隨機輸出句子排序的結(jié)果；SE-Graph[3]為吳等在議論文數(shù)據(jù)集中的實驗結(jié)果，SA-Graph為在圖神經(jīng)網(wǎng)絡(luò)中僅有論證關(guān)系虛點以及原始句子節(jié)點的模型，后續(xù)Our模型都為2.2節(jié)所提到的本文實現(xiàn)的引入論證關(guān)系和實體關(guān)系的模型，其中模型后面括號中的系數(shù)，代表論證關(guān)系的控制強度，即2.1節(jié)所提及的BSAI模型在預測A論證B的Softmax后的值。系數(shù)為0.5則代表只對A論證B這一標簽Softmax后的值大于0.5才對其建邊。

表中的結(jié)果顯示，引入論證關(guān)系的方法要優(yōu)于以往議論文句子排序的最好模型(SE-Graph)，且當把論證關(guān)系的強度控制在0.5時，模型取得最好的效果。其原因是過強的控制會導致圖中論證關(guān)系對過少，圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)趨近于SE-Graph，而過弱的強度控制會使得圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)趨近于全連接圖。從實驗的各項數(shù)據(jù)中發(fā)現(xiàn)，引入論證關(guān)系后不管是句子間絕對位置(ACC)的判斷，性能還是句子間相對位置(Ktau)的判斷，性能均得到較大的提升，其中Ktau的提升幅度更為明顯，這也進一步證明了引入論證關(guān)系后，可以加強句子間相互位置的判別。

4 結(jié)論

本文主要研究抽取式的議論文自動生成任務(wù)，并通過提出基于論證關(guān)系判別的議論文句子排序方法優(yōu)化已有的作文生成系統(tǒng)。具體而言，我們開發(fā)了基于匹配-聚合框架的論證關(guān)系判別模型BSAI，并將其結(jié)果應用于排序模型，在原有圖編碼模型中構(gòu)建了帶有論證關(guān)系的虛點。最終我們所提出的論證關(guān)系判別模型和句子排序模型均在議論文數(shù)據(jù)集上達到了當前的最優(yōu)結(jié)果。