融合回答者排序得分的CQA答案摘要方法

丁 邱, 嚴(yán) 馨 ,*, 劉艷超, 徐廣義, 鄧忠瑩

1.昆明理工大學(xué) 信息工程與自動化學(xué)院, 云南 昆明 650504;2.昆明理工大學(xué) 云南省人工智能重點(diǎn)實(shí)驗室, 云南 昆明 650504;3.湖北工程學(xué)院 信息技術(shù)中心, 湖北 孝感 432000;4.云南南天電子信息產(chǎn)業(yè)股份有限公司, 云南 昆明 650040

答案摘要方法能夠?qū)⒍鄠€冗長、質(zhì)量參差不齊的答案整合為一個簡短、貼合問題的摘要提供給用戶,避免用戶再花費(fèi)大量時間和精力從冗長答案中尋找有效信息,提升用戶體驗。問答社區(qū)答案摘要的研究還有利于抽取高質(zhì)量問答對,有利于海量問答資源的再利用[1]。

早期LIU Yuanjie等[2]對答案進(jìn)行聚類,然后對每個簇中的答案進(jìn)行排序,再從每個簇中抽取重要答案得到摘要結(jié)果。選取幾個答案構(gòu)成摘要的算法,所得摘要語序通順、邏輯連貫,但是冗余度較高。為了降低摘要冗余度,學(xué)者們開始選取更小的文本元素,例如句子構(gòu)成摘要。REN Zhaochun等[3]針對非事實(shí)類問題的答案具有多樣性、稀疏性和簡短性的問題,提出利用稀疏編碼的摘要方法。FAN Qiaoqing等[4]為了降低摘要冗余,提出基于關(guān)鍵詞抽取的摘要算法,利用TextRank生成關(guān)鍵詞,再運(yùn)用AMRR的思想選取摘要句。SONG Hongya等[5]使用卷積神經(jīng)網(wǎng)絡(luò)模型得到句子表示,然后使用稀疏編碼框架估計句子的顯著性,運(yùn)用MMR算法依據(jù)句子顯著性抽取句子生成答案摘要。應(yīng)文豪等[6]應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)獲取句子表示,然后利用句子相似度、位置等特征抽取摘要句。蘇放等[7]發(fā)現(xiàn)摘要中的文字往往出現(xiàn)在原文本的句首位置,因此使用注意力機(jī)制給予句首更高的權(quán)重。侯麗微等[8]針對現(xiàn)有利用注意力機(jī)制的摘要模型多數(shù)將注意力分布到全部文本內(nèi)容中,沒有區(qū)分主題信息重要程度的問題,提出利用注意力機(jī)制關(guān)注主題關(guān)鍵詞信息,融合關(guān)鍵詞信息和文本語義信息引導(dǎo)摘要生成。陶興等[9]針對學(xué)術(shù)問答社區(qū)用戶生成內(nèi)容的摘要任務(wù),使用word2vec得到句子向量,使用MMR算法依據(jù)句子間的相似度選取摘要句,并提出用信息熵、相似度與信息質(zhì)量評估摘要算法的性能,解決學(xué)術(shù)問答社區(qū)缺少人工生成標(biāo)準(zhǔn)摘要的困境。DENG Yang等[10]提出分層比較聚合的方法,經(jīng)過詞級與句級比較聚合后得到問答的最終表示,再使用以問題為驅(qū)動的序列抽取器抽取摘要句。YADAV等[11]利用基于相關(guān)性的排序模型T5[12]選取相關(guān)性較高的句子構(gòu)成答案摘要。

直接對答案句進(jìn)行特征抽取與建模,在一定程度上改善了答案文本語言信息稀疏的問題,但要充分獲取到答案句中豐富的語義信息有一定難度?，F(xiàn)有方法仍然存在對答案句建模不夠充分,未能獲取到句子深層語義信息的問題。此外,現(xiàn)有方法主要圍繞答案與問題、答案與答案間交互建模選取摘要句,沒有考慮回答者相關(guān)因素對摘要的影響。而根據(jù)回答者歷史表現(xiàn)能夠判斷該用戶提供的答案是否是一個潛在的高質(zhì)量回答,有利于摘要方法找出高質(zhì)量答案句,提升摘要質(zhì)量。為了充分獲取答案句、問題文本的深層語義信息,并在摘要過程中融入回答者的相關(guān)信息,進(jìn)一步改善答案摘要質(zhì)量,本文提出融合回答者排序得分的CQA答案摘要方法(CQA answer summarization method integrating respondents ranking scores,ASIED)。

1 模型構(gòu)建

綜合句子相關(guān)性、句子新穎性和回答者排序得分選取摘要句,既考慮了答案與問題、答案與答案間的關(guān)系,還融入了回答者相關(guān)信息幫助摘要模型找出潛在優(yōu)質(zhì)回答。本文方法主要包含4個部分:預(yù)處理,句子編碼,句子評分,選取摘要句。圖1是本文方法的總體架構(gòu)。

圖1 融合回答者排序得分的CQA答案摘要方法總體架構(gòu)

1.1 預(yù)處理

預(yù)處理階段需要將問題對應(yīng)的所有答案進(jìn)行句子劃分,得到答案句集合,并整理答案對應(yīng)的回答者列表,以便后續(xù)部分的實(shí)現(xiàn)。

假設(shè)問題q擁有m個答案,那么對應(yīng)回答者列表即為(u1,u2,…,um),對問題下的m個答案進(jìn)行句子劃分得到答案句集合S=(S1,S2,…,SN),其中N為m個答案劃分后句子的數(shù)量。

1.2 句子編碼

直接對句子進(jìn)行建模,在一定程度上對答案文本語言信息稀疏的問題有所改善,但是要充分獲取到句子的深層語義信息還是有一定難度。

RoBERTa[13]是BERT的一個變體,從模型的具體細(xì)節(jié)、訓(xùn)練策略和數(shù)據(jù)3個層面對BERT進(jìn)行了優(yōu)化。原始的RoBERTa采用的是字覆蓋的方法訓(xùn)練中文語料,字覆蓋的方式會忽略中文分詞的作用,基于全詞覆蓋(Whole Word Mask)的中文預(yù)訓(xùn)練模型RoBERTa-wwm[14]解決了這一缺陷。該模型由多層Transformer構(gòu)成,是一個深度雙向語言表征模型,輸入文本序列時還融合了每個token的位置信息,能夠捕獲文本中字符的上下文信息,可獲取更為豐富的深層特征。使用RoBERTa-wwm獲取句子每個字的字向量,然后再對句子的字向量矩陣進(jìn)行平均池化得到句向量作為句子的最終表示,解決了句子深層語義信息難以獲取的問題。平均池化就是對句子的字向量矩陣進(jìn)行融合,將其降維為句向量,并保留了句子中的所有信息。

1.3 句子評分

受多文檔摘要方法[15]和單文檔摘要方法[16]啟發(fā),綜合句子相關(guān)性、句子新穎性和回答者排序得分選取摘要句,使摘要方法性能得到提升。句子相關(guān)性有利于找出那些貼近問題,與問題內(nèi)容相關(guān)的答案句。句子新穎性有利于降低答案摘要冗余度,即在句子冗余時分配低分,在句子新穎時分配高分。回答者排序得分,則從用戶本身出發(fā)考慮其歷史表現(xiàn)情況,若其在問題對應(yīng)領(lǐng)域有一個較好表現(xiàn)則得分高,反之則得分低。用戶在問題領(lǐng)域中有較好的歷史表現(xiàn),極有可能為該問題提供高質(zhì)量的答案,則該用戶提供的答案應(yīng)該給予更多關(guān)注。

1.3.1 句子相關(guān)性得分

1.3.2 句子新穎性得分

為了降低摘要冗余度,使用句子新穎性得分給予那些高冗余的句子低分,即那些與其他句子重復(fù)度較高的句子將獲得低分,反之則獲得高分。要計算句子Si新穎性得分,首先需要計算句子Si與其余答案句的相似度,計算公式為

式中,sim(Si,Sj)表示答案句Si與Sj的相似度。

如果句子Si與其余句子求相似度,所得最大相似度sim(Si,Sj)小于閾值τ,則句子Si為新穎的。若最大相似度大于閾值τ,并且句子Si與問題q相關(guān)性更高,則句子Si也為新穎的。計算如下:

其中,l是其余句子中與句子Si求得最大相似度的句子索引。為了確定閾值τ,使用50對句子進(jìn)行相似度計算,其中25對為相似的,25對為不相似的。通過實(shí)驗發(fā)現(xiàn)相似句子對的相似度范圍為[0.82,0.97],其均值為0.92,不相似句子對中最大相似度為0.84,故將閾值τ設(shè)為0.92。

1.3.3 回答者排序得分

如果回答者在問題領(lǐng)域擁有不錯的歷史表現(xiàn),那么回答者提供的答案極有可能是一個高質(zhì)量的答案,摘要過程中應(yīng)該給予有較優(yōu)表現(xiàn)的回答者的答案更多關(guān)注。專家推薦方法[17]能從社區(qū)中為新問題找出潛在的優(yōu)質(zhì)回答者,得到一個回答者排序列表,排序靠前的用戶擁有較高專業(yè)度。使用專家推薦模型DUM[18]對問題的回答者進(jìn)行排序,得到回答者排序列表,即依據(jù)回答者們的歷史表現(xiàn),判斷他們提供的回答是否為一個潛在的優(yōu)質(zhì)回答。

使用專家推薦模型將問題q下的回答者(u1,u2,…,um)進(jìn)行排序,獲得回答者排序列表(u2,um,…,u1)。依據(jù)排序列表求出回答者排序得分,

式中,ui為問題q的第i個回答者。p(ui)為回答者ui在排序列表中的位置,起始值為1。m為問題q回答者的數(shù)量。scoreSort(ui)的取值范圍是[0.5,1],之所以將其最小值設(shè)置為0.5,是因為排在靠后的回答者提供的答案也可能是不錯的答案,只是靠前的回答者提供的答案是優(yōu)質(zhì)回答的概率更大。

1.4 選取摘要句

計算得到句子相關(guān)性得分scoreContR(q,Si)、句子新穎性得分scoreNov(Si)和回答者排序得分scoreSort(ui)后,綜合3個評分標(biāo)準(zhǔn)計算句子最終得分,計算公式為

scoreFinal(Si)=α·scoreContR(q,Si)+β·scoreNov(Si)+γ·scoreSort(ui),

式中,ui就是為問題q提供答案句Si的回答者,α,β,γ∈[0,1],α+β+γ=1,通過α、β、γ依照3個評分標(biāo)準(zhǔn)在摘要過程中的重要性為其分配不同的權(quán)重。

使用MMR算法依據(jù)句子最終得分迭代抽取句子構(gòu)成摘要,直到達(dá)到摘要長度上限。抽取摘要句的MMR算法為

式中,q指要進(jìn)行答案摘要的問題,S是問題q下所有答案進(jìn)行句子劃分后所得的答案句集合,Si是答案句集合S中還未被選取的句子;C為已抽取得到的摘要句集合,c是摘要句集合中的一個摘要句,Clen為摘要長度上限;λ為一個常數(shù),取值范圍在0到1之間;sim(Si,c)是句子Si與已抽取的摘要句c的相似度。

迭代抽取答案句拼接得到摘要結(jié)果,直到達(dá)到摘要長度上限時停止抽取句子。利用MMR算法思想選取摘要句,有利于保證摘要的多樣性。

2 實(shí)驗及結(jié)果分析

2.1 數(shù)據(jù)集

本文搜集整理了一個天涯問答社區(qū)(http://wenda.tianya.cn)的中文數(shù)據(jù)集。該數(shù)據(jù)集包含問題、答案、提問者、回答者、提問時間、回答時間、回答是否為最佳答案、回答收到的點(diǎn)贊量等信息。對該數(shù)據(jù)集上符合答案摘要任務(wù)的問題進(jìn)行整理,人工生成參考摘要,對本文答案摘要方法進(jìn)行驗證。

在本文數(shù)據(jù)集上對專家推薦模型DUM進(jìn)行訓(xùn)練。整理1 000個有參考摘要的問題,驗證本文方法有效性。數(shù)據(jù)集的大致情況見表1,其中DUM是指用于訓(xùn)練微調(diào)專家推薦模型的數(shù)據(jù)規(guī)模,而ASIED是指用于確認(rèn)本文方法涉及的超參值和性能驗證的數(shù)據(jù)規(guī)模。

2.2 評價指標(biāo)

使用自動文摘常用的ROUGE評測方法來評價摘要質(zhì)量,具體為ROUGE-1、ROUGE-2和ROUGE-L:

式中,Rs指參考摘要,As指自動摘要結(jié)果,n代表n-gram的長度,Countmatch(gramn)指摘要結(jié)果與參考摘要匹配的n-gram個數(shù),Count(gramn)指參考摘要中包含的n-gram個數(shù),LCS(As,Rs)表示摘要結(jié)果與參考摘要的最長公共子序列長度,len(Rs)表示參考摘要長度。

2.3 實(shí)驗設(shè)置

實(shí)驗基于Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn),句子編碼使用RoBERTa-wwm哈工大開源的Chinese-RoBERTa-wwm-ext-large(https://github.com/ymcui/Chinese-BERT-wwm)這個版本,編碼所得句子表示向量維度d為1 024。經(jīng)統(tǒng)計發(fā)現(xiàn),人工生成的1 000個問題的參考摘要平均長度為72.78個字,但人工生成的參考摘要對用戶冗長的表達(dá)進(jìn)行了提煉,為了保證摘要文本的多樣性,將答案摘要的長度限定為100個字,即超過100個字時停止抽取句子。

在計算句子最終得分時,使用α、β、γ為三個評分標(biāo)準(zhǔn)分配不同的權(quán)重,為了得到較佳的權(quán)重分配,計算α、β、γ不同組合所得的ROUGE值,選取使得ROUGE值最大的組合作為α、β、γ最終取值。α,β,γ∈[0.2,0.4,0.6],α+β+γ=1一共可以得到6組可行的組合。從人工生成參考摘要的問題中隨機(jī)選取800個進(jìn)行實(shí)驗,在確定α、β、γ哪一組取值較優(yōu)的實(shí)驗中將λ取一個固定值。實(shí)驗發(fā)現(xiàn)當(dāng)α=0.6,β=0.2,γ=0.2時,ROUGE取得最大值,因此將其作為較佳的權(quán)重分配進(jìn)行后續(xù)的實(shí)驗。不同組合所得實(shí)驗結(jié)果見表2。為了確定MMR算法中λ取值,對λ取0.1～0.9不同值進(jìn)行實(shí)驗,實(shí)驗結(jié)果見表3。實(shí)驗發(fā)現(xiàn)λ為0.7時ROUGE取得了最大值,因此將λ設(shè)為0.7。

表2 α、β、γ不同取值實(shí)驗對比結(jié)果

表3 λ不同取值實(shí)驗對比結(jié)果

2.4 對比實(shí)驗

2.4.1 不同句子編碼方法對比實(shí)驗

word2vec:使用word2vec獲取句子的詞向量矩陣,然后將句子的詞向量矩陣求平均得到句子表示。

Skip-Thought[19]:利用中心句預(yù)測上下文的句子,該模型包含編碼器和解碼器兩部分,皆是GRU模型。使用Skip-Thought的編碼器對句子進(jìn)行編碼,得到句子表示。

InferSent_GloVe[20]:使用GloVe獲取詞向量,在數(shù)據(jù)集SNLI(Stanford Natural Language Inference)上對LSTM、GRU等不同結(jié)構(gòu)進(jìn)行訓(xùn)練。選用該文獻(xiàn)中表現(xiàn)最優(yōu)的Bi-LSTM結(jié)合Max-pooling實(shí)現(xiàn)句子編碼進(jìn)行對比實(shí)驗。

ELMo[21]:ELMo克服了word2vec的缺陷,根據(jù)文本語境對多義詞進(jìn)行理解,依據(jù)輸入序列上下文動態(tài)推斷每個詞的詞向量。使用ELMo獲取詞向量,然后對句子的詞向量矩陣求平均作為句子表示。

XLNet[22]:XLNet利用自回歸語言模型本身的特點(diǎn)克服Bert的缺點(diǎn),主要采取排列語言模型、雙流自注意力和循環(huán)機(jī)制3個機(jī)制獲取雙向上下文信息。

為了驗證與基于word2vec的句子編碼方法相比,使用RoBERTa-wwm對句子編碼能更好捕捉到句子的深層語義信息,分別使用word2vec、Skip-Thought、InferSent_GloVe、ELMo、XLNet、RoBERTa-wwm實(shí)現(xiàn)對句子編碼獲取問題和答案句表示,然后再按照本文方法選取摘要句進(jìn)行實(shí)驗。不同句子編碼方法實(shí)驗對比結(jié)果見表4,其中加粗的RoBERTa-wwm為本文句子編碼方法。

表4 不同句子編碼方法實(shí)驗對比結(jié)果

表4的實(shí)驗結(jié)果顯示RoBERTa-wwm編碼方法表現(xiàn)較好,較word2vec、Skip-Thought、InferSent_GloVe、ELMo、XLNet這幾個對比方法在ROUGE-1評價指標(biāo)上分別提升了12.75%、12.14%、11%、12.41%、5.1%?？梢娕c基于word2vec的句子編碼方法相比,RoBERTa-wwm能捕捉到句子更豐富的深層語義信息。使用word2vec對句子進(jìn)行編碼,只考慮到詞局部的信息,忽略了上下文信息,使得獲取到的句子語義信息比較單調(diào)不夠全面。Skip-Thought、InferSent_GloVe分別基于GRU和Bi-LSTM對句子進(jìn)行編碼,考慮了上下文信息,但實(shí)際上是按順序推理的,沒辦法同時考慮到另一個方向的數(shù)據(jù),使得獲取到的語義信息還是不夠充分。ELMo可以說是動態(tài)的獲取詞向量,能夠依據(jù)詞的上下文語境理解詞的語義,一定程度上解決了一詞多義的問題,但其本質(zhì)上還是基于LSTM實(shí)現(xiàn)的,獲取的語義信息還是不夠深層和全面。BERT模型利用Transformer進(jìn)行編碼,綜合考慮兩個方向的信息,并且能學(xué)習(xí)到文本更深層的語義信息。XLNet可以說是BERT、GPT 2.0和Transformer XL的綜合變體,將三者的優(yōu)點(diǎn)集于一體,尤其是在長文本NLP任務(wù)上較BERT的性能優(yōu)勢會更為明顯。RoBERTa-wwm不僅保留了RoBERTa本身的優(yōu)勢,并且使用mask詞的方法能更好地捕捉詞與詞的邊界關(guān)系。表4的實(shí)驗結(jié)果也表明使用RoBERTa-wwm對句子進(jìn)行編碼,能獲取到更為豐富的語義信息,提升句子相關(guān)性計算的準(zhǔn)確度,改善答案摘要質(zhì)量。

2.4.2 不同答案摘要方法對比實(shí)驗

MMR[23]:依據(jù)句子和問題的相關(guān)性,利用MMR算法迭代選取摘要句。

HSCM[10]:HSCM利用分層比較聚合的方法學(xué)習(xí)答案與問題、答案與答案間的交互,得到問題和答案句表示,使用以問題為驅(qū)動的序列器抽取摘要句。

T5_sum[11]:利用基于相關(guān)性的排序模型T5依據(jù)答案句與問題的相關(guān)性排序答案句,選取靠前的句子構(gòu)成答案摘要。

BART[24]:BART是基于Transformer吸納BERT和GPT優(yōu)點(diǎn)做出改進(jìn)的方法,其Seq2Seq架構(gòu)和預(yù)訓(xùn)練任務(wù)使得該模型可直接用于摘要任務(wù)。將每個原始答案輸入BART得到其對應(yīng)摘要,級聯(lián)所得摘要作為摘要結(jié)果。

為了驗證本文方法在摘要任務(wù)中的性能表現(xiàn),將ASIED與MMR、HSCM、T5_sum、BART進(jìn)行實(shí)驗對比,對比結(jié)果見表5。

表5 不同答案摘要方法實(shí)驗對比結(jié)果

表5的實(shí)驗結(jié)果表明本文方法ASIED在問答社區(qū)的答案摘要任務(wù)中取得了不錯表現(xiàn),較MMR、HSCM、T5_sum、BART幾個摘要方法在ROUGE-1評價指標(biāo)上分別提升了11.45%、7.12%、3.56%、2.16%。傳統(tǒng)的MMR摘要方法依據(jù)句子與問題的相似度選取摘要句,考慮了答案句與問題的關(guān)聯(lián),能夠選取出貼近問題的摘要句,但是簡單的利用word2vec得到句子表示,沒能捕捉到句子深層的語義信息,使得摘要的質(zhì)量受到影響。HSCM模型不僅考慮了答案與問題間的關(guān)系,還進(jìn)一步考慮了答案與答案之間的關(guān)系,進(jìn)一步提升了摘要方法的性能。但是答案句與問題語言稀疏卻擁有豐富的語義信息,HSCM采用分層比較聚合獲取到的語義信息還是不夠充分,而使用RoBERTa-wwm模型能捕捉到句子更深層、更豐富的語義信息。ASIED在摘要過程中還融入了回答者的相關(guān)信息,進(jìn)一步改善了摘要質(zhì)量,較已有較優(yōu)表現(xiàn)的T5_sum和BART模型在ROUGE評分上皆有所提升。較T5_sum在ROUGE-1、ROUGE-2、ROUGE-L上分別提升了3.56%、3.19%、2.26%,較BART在ROUGE-1、ROUGE-2、ROUGE-L上分別提升了2.16%、1.85%、0.65%。

2.5 消融實(shí)驗

綜合句子相關(guān)性、句子新穎性和回答者排序得分選取摘要句,考慮了答案與問題、答案與答案間的關(guān)聯(lián),并利用專家推薦方法對回答者在對應(yīng)問題中是否有潛力提供優(yōu)質(zhì)回答進(jìn)行評估,幫助摘要模型選取高質(zhì)量答案句。為了驗證句子新穎性和回答者排序得分的有效性進(jìn)行了消融實(shí)驗,實(shí)驗結(jié)果見表6。表中ASIED-Nov表示僅依據(jù)句子相關(guān)性和回答者排序得分選取摘要句,不考慮句子新穎性;ASIED-UOrder表示僅依據(jù)句子相關(guān)性和句子新穎性選取摘要句,不考慮回答者排序得分。

表6 消融實(shí)驗對比結(jié)果

由表6發(fā)現(xiàn)去除句子新穎性和去除回答者排序得分ROUGE評價指標(biāo)均有所下降,去除句子新穎性這個標(biāo)準(zhǔn)后ROUGE-1下降了2.57%,選取的摘要句冗余度較高。去除回答者排序得分這個標(biāo)準(zhǔn)對摘要結(jié)果影響更大,ROUGE-1下降了4.1%?？梢娋渥有路f性和回答者排序得分這兩個選取標(biāo)準(zhǔn)是有效的,有利于降低摘要的冗余度,找出潛在的高質(zhì)量答案句。句子相關(guān)性是毋庸置疑的,利用該標(biāo)準(zhǔn)才能選取出貼近問題的答案句。

3 結(jié)語

為了進(jìn)一步改善答案摘要的質(zhì)量,降低摘要冗余度,提出融合回答者排序得分的CQA答案摘要方法。采用RoBERTa-wwm結(jié)合平均池化對問題和答案句進(jìn)行編碼,解決了難以獲取句子深層語義信息的問題。使用擁有較優(yōu)表現(xiàn)的問答社區(qū)專家推薦方法DUM依據(jù)回答者歷史表現(xiàn)對回答者進(jìn)行排序。再根據(jù)排序結(jié)果計算回答者排序得分,與句子相關(guān)性、句子新穎性相結(jié)合作為選取摘要句的最終依據(jù)。綜合考慮了答案與問題、答案與答案間的關(guān)聯(lián)和回答者的相關(guān)信息,有效地改善了答案摘要質(zhì)量。實(shí)驗表明,在摘要過程融入回答者排序得分,有利于找出高質(zhì)量答案句,使用RoBERTa-wwm編碼句子能夠捕獲深層語義信息,提升句子相關(guān)性計算的準(zhǔn)確度。抽取句子級聯(lián)得到摘要結(jié)果,摘要邏輯連貫性還有待優(yōu)化,在未來的研究工作中考慮對這一缺點(diǎn)進(jìn)行深入研究,尋求改進(jìn)的方法。此外,問答社區(qū)中用戶的表達(dá)不是很規(guī)范,用語存在錯誤,例如少字多字、錯別字等,這些錯誤對摘要結(jié)果會產(chǎn)生極大影響。未來將考慮引入社交媒體規(guī)范化方法,對答案摘要之前的用戶文本進(jìn)行規(guī)范化處理。