雙匹配焦點融合的開放域答案選擇模型

何俊飛，張會兵，胡曉麗

（1.桂林電子科技大學(xué) 廣西可信軟件重點實驗室，廣西 桂林 541004；2.桂林電子科技大學(xué) 教學(xué)實踐部，廣西 桂林 541004）

0 概述

在當前開放域問答（Question Answering，QA）系統(tǒng)中，一個問題通常會有各種各樣的答案。簡單高效地從眾多答案中擇取合理、高質(zhì)量的答案，同時排除無效、低質(zhì)量的答案對于問答系統(tǒng)至關(guān)重要，也直接影響著系統(tǒng)的用戶體驗。隨著大規(guī)模社區(qū)問答平臺的興起，答案選擇問題引起了越來越多研究人員的關(guān)注［1-3］。與通常的單語句分析任務(wù)相比，答案選擇任務(wù)的對象往往是兩個及兩個以上的句子，導(dǎo)致對輸入對象的語義抽取與表征變得更加困難。

以往研究大多基于概率統(tǒng)計的機器學(xué)習(xí)方法，主要關(guān)注點在于對問答語句中各關(guān)系詞對的抽取和細節(jié)描述［4］，忽略了問答語句之間的整體語義與交互關(guān)系。近年來，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法得到廣泛應(yīng)用，研究人員提出多種端到端的答案選擇模型，減少了對特征工程的構(gòu)建［5-7］。隨著注意力機制的發(fā)展，研究人員提出將深度神經(jīng)網(wǎng)絡(luò)與注意力機制相結(jié)合的比較聚合模型，將語句的匹配、表征與交互融為一體，不僅突出語句本身需要表達的要點，同時還提升了問答語句之間的交互效果［8］。然而，現(xiàn)有研究大多只從詞級或者句子級中的單一層面將問題與答案中的單詞進行直接匹配，缺乏語義參照關(guān)系，導(dǎo)致?lián)p失一些可以捕捉的細節(jié)信息。比如對于問句“吃蘋果？”與“吃蘋果或梨？”，兩個問句都是動賓結(jié)構(gòu)，但回答卻完全不同，前者關(guān)注點完全落在動詞上，而后者的關(guān)注點完全落在名詞上。由此可以發(fā)現(xiàn)，單一層面的匹配可能會因為對照關(guān)系的缺失導(dǎo)致語義匹配焦點的錯位。

本文根據(jù)相鄰相似原理，提出一種雙匹配焦點融合的答案選擇模型（DMFF）?；趩柎鹑蝿?wù)多語句對象的特點，設(shè)計一種專門用于答案選擇的詞嵌入方式，保留詞對在問答語句間承接關(guān)系的更多細節(jié)信息，并以此計算詞級層面下的焦點矩陣。借鑒seq2seq 模型在語言翻譯［9-10］和閱讀理解［11-12］任務(wù)上的運用方式，利用帶有注意力機制的Encoder-Decoder 翻譯模型提取句子級層面的詞對匹配，獲取問答語句間的整體語義關(guān)系和對應(yīng)的焦點矩陣。最后，將兩個焦點矩陣對齊，計算問句中每一個單詞在兩個矩陣中的相對距離，以此融合詞級與句子級匹配焦點，獲得問答對匹配分值。

1 相關(guān)工作

隨著開放域問答任務(wù)的興起，答案選擇得到了越來越多的研究。起初，主要通過概率統(tǒng)計的機器學(xué)習(xí)方法來構(gòu)建答案選擇模型。文獻［13］提出一種利用問答連接依賴樹之間的操作代價來衡量問答語句之間距離的方法，由于該方法引入了語法信息，因此比簡單詞袋模型的效果更優(yōu)。文獻［14］發(fā)現(xiàn)外部資源對模型的性能影響很大，增強的詞匯語義信息可以提升答案選擇模型捕捉語句間關(guān)系的能力。而文獻［15］將邏輯回歸模型應(yīng)用于特征自動提取，減少手工操作的成本。上述方法的建模方式僅依賴于詞匯關(guān)系，在效率和成本上存在顯著缺陷?；谏窠?jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法對問題與答案的表征效果超越了多數(shù)基于概率統(tǒng)計的機器學(xué)習(xí)方法［4］。文獻［5］將問題與答案連接成一個單詞序列串，然后利用長短期記憶獲取序列串的特征，得到問答語句的匹配值。文獻［6-7］將每一個詞匯展開成詞向量后拼接成一個空間網(wǎng)格圖像，然后用卷積神經(jīng)網(wǎng)絡(luò)捕捉圖像之間的依賴程度。這些方法都不需要構(gòu)建外部資源庫，且能夠從句子級層面對問答語句間關(guān)系進行匹配。多語句處理任務(wù)需要較高的語句間交互能力，注意力機制在突出語義表達的同時，也可用于提取語句間的交互關(guān)系。針對答案選擇任務(wù)，文獻［16］結(jié)合注意力機制提出多跳注意力網(wǎng)絡(luò)模型，多次利用順序注意力循環(huán)關(guān)注問題與答案中的不同話題點，并計算每一個話題下問答特征向量的相似度，然后對所有話題求和，得到最終的問答匹配得分。之后，在上述工作基礎(chǔ)上，大部分學(xué)者以比較聚合模型為基礎(chǔ)框架，分別就注意力機制［17］、聚合方式［18］、語素匹配［19］和交互模式［20］提出更加新穎的方法，其中文獻［20］從單句、句對和句子列表3 個層級充分挖掘問答的交互信息，并將3 個層級上的信息進行融合得到最后的匹配分值。

隨著詞嵌入方式在自然語言處理中的成功運用，利用預(yù)訓(xùn)練方法改進模型成為一種趨勢。文獻［21］用分布式模型構(gòu)建單詞之間在局部語境中的表示關(guān)系，并以此得到一個單詞對應(yīng)的唯一向量表示。文獻［22］利用一個局部到全局的轉(zhuǎn)移矩陣增強詞向量的全局語境特性。文獻［23-24］結(jié)合上下文對單詞進行語境化嵌入，根據(jù)上下文語境的變化對同一單詞用不同的向量表示。相對來說，后面兩種方法在預(yù)訓(xùn)練模型中更具優(yōu)勢。文獻［25］利用Bert模型，使答案選擇任務(wù)效果達到了現(xiàn)階段最優(yōu)。

2 本文模型

圖1 本文模型的整體結(jié)構(gòu)Fig.1 Overall structure of model in this paper

2.1 詞級匹配模塊

詞級匹配是直接通過詞嵌入向量進行詞對余弦相似度匹配，其對應(yīng)的詞級匹配模塊就是對問題中的每一個單詞與答案中的每一個單詞進行匹配，得到匹配焦點分布矩陣。為滿足問答任務(wù)的需要，提出一種基于問題-正負答案對（Question to Positive and Negative Answer Pair，Q-PNAP）的詞嵌入方式，如圖2 所示。

圖2 問題-正負答案對詞嵌入的示意圖Fig.2 Schematic diagram of question to positive and negative answer pair word embedding

首先對問答語句中的每一個單詞隨機初始化一組向量。表示對問題中的第i(1 ≤i≤n)個單詞進行隨機向量初始化，表示對答案中的第j(1 ≤j≤m)個單詞進行隨機向量初始化。初始化后問題中的第i個單詞與答案中的第j個單詞所對應(yīng)詞對的詞性相關(guān)程度sr(i,j)表達式如式（1）所示：

由于問題中的每一個單詞與答案中的單詞不存在一一對應(yīng)關(guān)系，所以答案中可能會有多個單詞同時與問題中的同一個單詞產(chǎn)生關(guān)聯(lián)，這時本文用K代表抽取出的詞對個數(shù)。即取出問題中各單詞對應(yīng)答案中的前K個與之最相關(guān)的單詞，并將這K個詞對的詞性相關(guān)程度大小之和作為對應(yīng)單詞的匹配得分其表達式如式（2）所示：

其中：topK(X)表示取出X數(shù)組中由大到小排序的前K個值。對問題中所有單詞的匹配得分進行求和，得到問答對(q,a)的最終匹配得分S(q,a)，其表達式如式（3）所示：

由于初始時刻隨機初始化的詞嵌入表示中不包含任何單詞的語法語義信息，故需要結(jié)合問答語句訓(xùn)練出一組合適的詞嵌入表示。對同一個問題q選取一對答案，其中一個是正確答案a+，另一個是與問題相關(guān)的同領(lǐng)域內(nèi)的錯誤答案a-，此時的問答組合可以用一個三元組(q,a+,a-)表示，利用式（4）和式（5）分別計算在當前隨機詞嵌入表示情況下的問答匹配得分情況。

在前提假設(shè)下有：

定義一個D值表示同一問題下正確答案與錯誤答案的相離程度，如式（7）所示：

D值的合理取值區(qū)間為（0，1），當D 值超出此區(qū)間時，表示出現(xiàn)異常。當D值趨近于1 時，表示正確答案與錯誤答案相離程度最大，越符合實際情況。訓(xùn)練問題-正負答案對詞嵌入表示模型的損失函數(shù)l(q,a+,a-)如式（8）所示：

為防止異常情況導(dǎo)致?lián)p失函數(shù)輸出過大或者過小的值，在式（8）中引入Sigmoid 函數(shù)對相離距離進行輸出為（0，1）的規(guī)范化處理。

2.2 句子級匹配模塊

句子級詞對匹配是通過理解問題與答案之間的上下文銜接關(guān)系之后，計算問題中各單詞與答案中各單詞的匹配關(guān)系。該模塊選取了帶有注意力層的Encoder-Decoder 翻譯模型來完成句子級詞對匹配。Encoder 與Decoder 分別對答案和問題進行編碼后輸入注意力層，注意力層對輸入的編碼向量從語義層面上進行篩選和匹配，最終通過一個注意力矩陣保留問題在答案中的匹配焦點分布。具體步驟如下：

首先對輸入的答案用BiGRU 進行編碼，得到答案的編碼矩陣與特征向量，表達式如式（9）所示：

其中：為答案的第n個詞嵌入向量，將編碼器輸出的編碼矩陣與特征向量分別通過2 個全連接層將原來的編碼狀態(tài)過渡到解碼狀態(tài)，該過程的表達式如下：

此時已經(jīng)得到句子級層面的詞對匹配焦點分布，不過為了訓(xùn)練參數(shù)與，還需要利用解碼器的解碼輸出與真實問題進行損失值計算。答案在編碼狀態(tài)的編碼矩陣經(jīng)過注意力層后變?yōu)閱栴}在編碼狀態(tài)下的編碼矩陣，表達式如式（14）所示：

連接問題編碼狀態(tài)與解碼狀態(tài)下的狀態(tài)矩陣與，在經(jīng)過兩層全連接層后得到答案的解碼輸出wout，表達式如式（15）所示：

其中：為解碼預(yù)測出第i個單詞在詞典中各單詞的取值大??；pi為真實答案中第i個單詞在字典中的位置。

2.3 問答詞對篩選與融合層

通過上述2 個焦點匹配模塊分別得到詞級焦點分布矩陣sw∈Rn×m，其中sw矩陣第i行第j列的元素為=sr(i,j)。句子級焦點分布矩陣ss∈Rn×m，其中ss矩陣第i行第j列的元素為。對兩個匹配焦點矩陣中的元素進行抽取與融合。首先，對問題中的某一個單詞，選取答案中與其最相關(guān)的前K個單詞，同時記錄下這K個單詞在答案句子中的位置。對于詞級匹配問題中的每一個單詞，在答案中，根據(jù)相關(guān)程度由高到低記錄前K個最佳匹配單詞的位置，如式（17）所示：

其中：topKp(X)表示取數(shù)組X中前K個最大值所在的位置。同理，對于句子級匹配問題中的每一個單詞，在答案中根據(jù)相關(guān)程度由高到低記錄前K個最佳匹配單詞的位置如下：

無論是詞級匹配還是句子級匹配，由相鄰相似的原理可知，對于問題中的同一個單詞，2 個視角匹配下的焦點位置應(yīng)盡可能相鄰。融合詞級與句子級匹配的結(jié)果，定義兩者的融合誤差如下：

最終得到整個問答對的匹配得分情況：

其中：S(q,a)為一個（0，1）之間的數(shù)。對于同一個問題，當S(q,a)為1 時說明匹配的情況最理想，問題與答案最相關(guān)，當S(q,a)趨近于0 時，說明eerr(pw,ps)越大，問題與答案越不匹配。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集及評估指標

本文選取了3個公開的問答數(shù)據(jù)，包括Yahoo！Answer、TREC-QA［26］和Wiki-QA［27］，3 個數(shù)據(jù)集的基本信息如表1 所示，其中帶“*”的數(shù)據(jù)集剔除了全為負面答案的問題，“—”表示無此項內(nèi)容。

表1 數(shù)據(jù)集信息Table1 Dataset information

對于Yahoo!Answer 問答數(shù)據(jù)集來說，由于每一個問題有且只有一個最佳答案，因此為滿足本次實驗的需要，將每一個問題在其同領(lǐng)域下選取一個否定答案與原來的最佳答案構(gòu)成一個正負答案對。

實驗的評估指標采用平均準確率均值（mean Average Precision，mAP）和平均倒數(shù)排 名（Mean Reciprocal Rank，MRR），具體如下：

1）mAP，指所有問題的平均準確率均值。對于每一個問題的平均準確率，表達式如式（21）所示：

p(k)的表達式如式（22）所示：

其中：i=1,2,…,m；j=1,2,…,n；q代表單個問題；n代表單個問題下所有候選答案；m代表正確的答案個數(shù)；r(k)的取值為0 或1，當?shù)趉個候選答案是正確答案時，r(k)=1，否則r(k)=0。最終的mAP 表達式如式（23）所示：

當所有正確答案都在錯誤答案之前時，mAP 接近于1，當每個問題對應(yīng)的所有正確答案都在錯誤答案之后時，mAP 接近于0。

2）MRR，指所有問答對在模型給出的位置排名列表中，第1 次出現(xiàn)相關(guān)答案位置倒數(shù)的平均值，表達式如式（24）所示：

3.2 實驗環(huán)境

本文實驗在Intel?CoreTMi5-9400@2.90 GHz 6 核CPU、24 GB 內(nèi)存，6 GB 內(nèi)存的Nividia GeForce GTX 1660 Ti GPU 上完成。預(yù)訓(xùn)練部分采用6B 版本的100 維GLoVe 詞向量模型進行初始化詞嵌入，Bert則直接使用在pytorch 框架下訓(xùn)練好的bert-largeuncased 模型。對于訓(xùn)練模型，采用自適應(yīng)矩陣估計（adam）優(yōu)化器更新參數(shù)，學(xué)習(xí)率設(shè)置為0.001，基于問答的詞嵌入表示訓(xùn)練，Batch_size 設(shè)置為128，句子級匹配模塊的訓(xùn)練采用Batch_size=64，當利用循環(huán)神經(jīng)網(wǎng)絡(luò)模型處理數(shù)據(jù)時，其隱藏層的大小均設(shè)置為128，其余參數(shù)為默認值。

3.3 不同詞嵌入方法的對比

由于詞級匹配是直接通過預(yù)訓(xùn)練好的詞嵌入向量計算詞對之間的相關(guān)程度,因此不同的詞嵌入方法對詞對相關(guān)性的計算存在一定的影響。圖3 分別給出了在GLoVe 詞嵌入方法、Bert 詞嵌入方法與本文所提詞嵌入方法Q-PNAP 在Yahoo!Answer 測試集上的預(yù)測精度。

圖3 不同詞嵌入方法的預(yù)測精度對比Fig.3 Prediction accuracy comparison of different word embedding methods

由圖3 可知，與其他方法相比，利用Q-PNAP 方法訓(xùn)練出的詞嵌入表示預(yù)測精度最高，而利用Bert方法訓(xùn)練出的詞嵌入表示預(yù)測精度最低。此外，隨著篩選閾值K的增大，Q-PNAP 方法在K=3 時精度預(yù)測達到頂峰，表示一個問句中的單詞平均可以與答案中3 個單詞產(chǎn)生關(guān)聯(lián)。而另外兩種嵌入方法，其預(yù)測精度均隨著K值的增大一直下降，這表明利用GLoVe 或者Bert 方法進行詞嵌入表示時，問題中各單詞平均僅與答案中的一個單詞產(chǎn)生關(guān)聯(lián)，說明以往僅利用單語境進行詞嵌入的方式無法將問題與答案的承接關(guān)系保留，導(dǎo)致無法捕捉到這種聯(lián)系的細節(jié)信息。

表2 所示為GLoVe 詞嵌入方法與Q-PNAP 詞嵌入方法訓(xùn)練出的詞嵌入表示在3 個單詞上的案例展示，對比可以發(fā)現(xiàn)，GLoVe 詞嵌入方法得到的相似性單詞是與之對應(yīng)的近義詞，而利用Q-PNAP 詞嵌入方法得到的相似性單詞，是具有問題承接關(guān)系的詞匯。

表2 兩種詞嵌入方法獲取近義詞的結(jié)果對比Table 2 Results comparison of two word embedding methods to obtain synonyms

為對比不同詞嵌入方法對句子級語義挖掘的影響，使用在當前答案選擇任務(wù)中注意力機制使用效果較好的多跳注意力網(wǎng)絡(luò)模型，驗證不同詞嵌入方法在Yahoo!Answer 測試集上識別正確答案的效果,結(jié)果如圖4 所示。從圖4 可以看出,GLoVe 方法的預(yù)測精度比Q-PNAP 方法的預(yù)測精度更高。

圖4 不同詞嵌入方法對句子級語義挖掘的影響Fig.4 Impact of different word embedding methods on sentence-level semantic mining

3.4 實驗結(jié)果對比

由于詞對的篩選個數(shù)對最后的焦點融合會產(chǎn)生一定的影響，為尋找最優(yōu)的詞對篩選個數(shù)，本文依次選取1～10 的整數(shù)作為抽取詞對的個數(shù)K，驗證模型性能與K值的關(guān)系。同時，為驗證詞級匹配在不同詞嵌入形式下對整個模型效果的影響，在上文的驗證結(jié)果下，選取GLoVe-GLoVe 和Q-PNAP-GLoVe 兩種詞嵌入組合方法，具體如下：

1）GLoVe-GLoVe 詞嵌入組合方法。該組合方法中詞級匹配利用GLoVe 詞嵌入形式，句子級匹配也利用GLoVe 詞嵌入形式。

2）Q-PNAP-GLoVe 詞嵌入組合方法。該組合方法中詞級匹配利用Q-PNAP 詞嵌入形式，句子級匹配利用GLoVe 詞嵌入形式。

實驗結(jié)果如圖5 和圖6 所示。

圖5 不同詞嵌入組合方法在TREC-QA 數(shù)據(jù)集下的測試結(jié)果Fig.5 Test results of different word embedding combining methods under TREC-QA dataset

圖6 不同詞嵌入組合方法在Wiki-QA 數(shù)據(jù)集下的測試結(jié)果Fig.6 Test results of different word embedding combining methods under Wiki-QA dataset

從圖5 與圖6 可以看到，Q-PNAP-GLoVe 組合方法在總體效果上優(yōu)于GLoVe-GLoVe 組合方法。GLoVe-GLoVe 組合方法的整體趨勢隨著選取詞對個數(shù)K的增大，模型性能降低。而Q-PNAP-GLoVe組合方法在2 個數(shù)據(jù)集上的驗證結(jié)果均呈現(xiàn)單峰趨勢，這說明Q-PNAP-GLoVe 組合方法可以捕捉到一個問答對中更多關(guān)聯(lián)詞，從而使模型性能更優(yōu)。問答語句間具有關(guān)聯(lián)效應(yīng)的詞對個數(shù)也有上限，在抽取詞對個數(shù)K=5 時，模型效果最好。

表3 與表4 分別為本文模型在TREC-QA 與Wiki-QA 兩個答案選擇公開數(shù)據(jù)集上與其他模型的對比結(jié)果?？梢钥吹剑疚哪Ｐ驮? 個數(shù)據(jù)集上的mAP 值均有明顯提高。在TREC-QA 數(shù)據(jù)集上，本文模型對比多跳注意力網(wǎng)絡(luò)模型［16］和層級排序模型［20］，其mAP 值分別提高了0.086 1 與0.057 1，在Wiki-QA 數(shù)據(jù)集中，其提升幅度也分別達到了0.080 1與0.060 1。這說明對同一問題的所有答案進行排序時，融合了詞級與句子級匹配焦點的模型可以增強問答語句間的信息抽取能力，捕捉到問題與答案之間更多的關(guān)聯(lián)信息，能夠區(qū)分答案之間具有的細微差別，而現(xiàn)有的注意力機制模型和融合了多層級句子語義的比較聚合模型無法做到。本文模型在MRR 指標上與多跳注意力［16］和層級排序［20］兩種基線模型相比也有所提高，在Wiki-QA 數(shù)據(jù)集上的提升效果比TREC-QA 數(shù)據(jù)上的提升效果更明顯，在TREC-QA 數(shù)據(jù)集上分別提升了0.017 6 與0.006 6，說明從兩個層次對問答語句進行匹配可以增強模型對問答整體語義的理解能力。以上結(jié)果驗證了本文模型在最佳答案選擇上的有效性和可行性。

表3 不同模型在TREC-QA 數(shù)據(jù)集下的實驗結(jié)果對比Table 3 Comparison of experimental results of different models under TREC-QA dataset

表4 不同模型在Wiki-QA 數(shù)據(jù)集下的實驗結(jié)果對比Table 4 Comparison of experimental results of different models under Wiki-QA dataset

4 結(jié)束語

本文提出一種融合詞級與句子級雙層次匹配焦點的答案選擇模型。結(jié)合問答任務(wù)的特點設(shè)計一種利用問題與正負答案對訓(xùn)練詞向量的方式，以提高詞級層面的匹配精度。利用帶有注意力機制的翻譯模型捕捉句子級的問答詞對匹配，并將2 個匹配結(jié)果對齊計算相對距離，得到問答語句的相關(guān)性得分。實驗結(jié)果表明，雙層面匹配結(jié)果的對照融合提高了模型識別答案之間微小差別的能力，增強了模型對問答語句間關(guān)系的捕捉能力。與多跳注意力、層級排序等模型相比，本文模型在TREC-QA與Wiki-QA 公開問答數(shù)據(jù)集上的mAP 指標均具有較高幅度的提升，MRR 指標也有小幅提升。下一步將使用答案列表替換答案對，并將Bert 模型融合到句子級的匹配，以提高問答語句整體語義的捕捉抽取能力。