MGSC：一種多粒度語義交叉的短文本語義匹配模型

吳少洪，彭敦陸，苑威威，陳 章，劉 叢

(上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093)

1 引 言

語義理解在自然語言處理任務(wù)中具有十分重要的地位，早期的研究表明，無論在語法結(jié)構(gòu)上做何種深入研究，都難以達到理想的效果.后來發(fā)現(xiàn)，一個完整的自然語言處理任務(wù)繞不開語義理解這個環(huán)節(jié)[1].隨著人工智能和深度學(xué)習(xí)的發(fā)展，智能化文本應(yīng)用正在深入人們生活的方方面面，而語義匹配問題廣泛存在于這些應(yīng)用之中.例如，智能檢索和智能問答，這兩種應(yīng)用中最基本的問題就是如何進行文本的正確匹配，那么如何更好地理解用戶的語義(意圖)就顯得格外重要.在智能檢索中，用戶給出目標(biāo)檢索文本，然后系統(tǒng)通過智能算法在大量數(shù)據(jù)中查找、排序并將最合理的結(jié)果返回給用戶，其中就涉及用戶檢索文本匹配的問題；在智能問答系統(tǒng)中，需要在答案列表中匹配到和用戶意圖相近的答案.

如表1所示，一個問題及其所對應(yīng)的若干回答.我們需要在答案列表中找出和問題最匹配的答案.

傳統(tǒng)的匹配方法沒有考慮語義信息，一般從詞、句式、語法結(jié)構(gòu)出發(fā)，依賴于人工設(shè)定的特征和規(guī)則，這種硬性的匹配不僅很難達到滿意的效果，還需要花費大量人力物力.而采用機器學(xué)習(xí)方法，特別是基于深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，能夠?qū)崿F(xiàn)文本特性的自動提取，因而避免了硬性匹配的缺陷[2].一個成功的匹配算法需要對語言對象的內(nèi)部結(jié)構(gòu)以及它們之間的相關(guān)語義進行充分建模.基于這一目標(biāo)，本文提出了一種用于匹配兩個短文本語義的深度神經(jīng)網(wǎng)絡(luò)模型——多粒度語義交叉模型，來解決諸如信息檢索中信息匹配或者問答系統(tǒng)中問答匹配的問題.實驗發(fā)現(xiàn)，多粒度語義交叉模型不僅能夠捕獲不同層次上豐富的匹配模式，而且能夠獲取不同粒度語義的交互特征，在相關(guān)任務(wù)上具有突出的表現(xiàn).

表1 問答匹配的例子Table 1 Example of QA matching

2 相關(guān)工作

文本匹配是自然語言處理中一個基礎(chǔ)性問題，而語義匹配是文本匹配研究的重要方向，從根本上解決文本匹配問題.在許多任務(wù)中都有應(yīng)用場景.比如，在信息檢索中，要求在文本庫中找到與用戶檢索目標(biāo)相匹配的信息；在問答系統(tǒng)或問答機器人應(yīng)用中，需要實現(xiàn)問題和答案的智能匹配；在機器翻譯中，需要進行兩種語言表達的匹配.

目前，關(guān)于文本匹配問題的解決方案已經(jīng)從傳統(tǒng)的基于統(tǒng)計的方法轉(zhuǎn)移到基于深度神經(jīng)網(wǎng)絡(luò)的方法上.例如，傳統(tǒng)的匹配方法中，兩個文本中出現(xiàn)相同詞的個數(shù)越多，詞序列的排序越接近，則相似度越高.但是，這樣的方法越來越難以滿足日益提升的用戶使用體驗.而基于深度神經(jīng)網(wǎng)絡(luò)的方法，是將文本映射到一個語義空間，數(shù)字化地來表示文本.一般的做法是采用詞向量表示文本中的詞，即分布式表示[3].文本分詞后，將得到的詞語分別進行向量表示，并組合成矩陣來表示文本.然而，簡單的詞向量組合難以聯(lián)系文本的上下文信息，丟失了文本的許多語義信息，同時也忽略了詞語之間的內(nèi)在聯(lián)系.于是，一些模型引入循環(huán)神經(jīng)網(wǎng)絡(luò)的方法捕獲文本上下文信息，如2015年ShengxianWan等人提出的MV-LSTM模型[4].

總體來看，目前關(guān)于深度文本匹配模型主要有三種類型.第一種是基于單文本的，即用一個向量表示文本，再對文本向量做相似度計算，比如2015年Baotian Hu，Hang Li等人提出的ACR-I模型[5]、DSSM模型[10].第二種是在單文本上做多語義表示，通過不同粒度的語義計算文本相似度，如MultiGranCNN模型[6]和MV-LSTM模型[4].第三種則認為更早地讓兩文本交互，再提取深層次的交互信息更有利于解決文本匹配問題，比如Baotian Hu，Hang Li等人提出的ACR-II模型[5]、Pang L 等人提出的MatchPyramid模型[14]等.

多語義方法和直接建模方法在許多實驗中被證明比基于單文本的方法效果好，但兩者在不同的匹配任務(wù)中表現(xiàn)得各有優(yōu)勢.本文提出多粒度語義交叉模型，對兩文本進行建模匹配.該模型結(jié)合了多語義和直接建模兩種思想：首先通過兩個方向的循環(huán)神經(jīng)網(wǎng)絡(luò)分別獲取文本的上下文信息，得到不同粒度的語義表示，再由這些不同粒度的語義信息兩兩進行語義信息交互，進一步獲得含有語義交互信息的交互矩陣，對交互矩陣進行一系列的卷積和池化操作后，再由一個多層感知機輸出兩個文本的匹配度.實驗表明，本文的模型具有出色的競爭力.

3 多粒度語義交叉模型

3.1 問題定義與分析

對于給定的樣本數(shù)據(jù)sample={score,s1,s2}，其中s1,s2表示給出的兩個短文本(例如問答系統(tǒng)中的一問一答)，score表示相應(yīng)兩個文本s1、s2的匹配度(例如問答系統(tǒng)中問答的相關(guān)程度)，目標(biāo)是訓(xùn)練一個匹配模型，能夠合理地評估任意兩個短文本間的匹配程度，使得M(s1、s2)?score.例如，給出問答對：

s1：長頸鹿吃什么？

s2：它吃樹葉和嫩枝.

通過模型，判斷s1、s2是否匹配，匹配度有多少.

考慮文本上下文的信息關(guān)聯(lián)，可通過兩個方向的長短期記憶模型LSTM(Long Short-Term Memory)[7]來獲取文本上下文信息，將文本的詞向量嵌入矩陣定義為該文本的原語義，那么將原語義通過正向的LSTM得到正向的語義表示，稱為正語義，將原語義通過反向的LSTM得到反向的語義表示，稱為反語義.如圖1所示，每個語義矩陣由三個向量組成，向量代表的語義的粒度是不一樣的，例如在正語義中“長頸鹿/吃”就包含了“長頸鹿”和“吃”兩個部分的語義信息，而有的向量只表示一個詞語的語義信息，如原語義中的三個向量.

圖1 “長頸鹿吃什么”三種語義的矩陣表示Fig.1 Three kinds of semantic matrix representation of “What Giraffe Eats”

考慮兩個短文本語義之間的交互信息.很明顯，兩個文本語義之間的交互信息越多，則兩個文本語義的匹配度也越高，一個簡單有效的做法是直接對兩個文本語義矩陣做余弦相似度計算.

考慮不同粒度語義之間的交互.前人對于文本匹配的研究一般只考慮兩個待匹配文本原語義之間的交互信息，或者只考慮多種語義(比如，原語義、正語義和反語義)串聯(lián)之后的交互信息，例如MV-LSTM模型[4].本文試圖考慮不同粒度的語義之間的交互信息來幫助計算匹配度.

如圖2所示是s1的正語義和s2的正語義的交互圖，其中兩個文本中重要的匹配信息用粗線表示，類似“長頸鹿—它”和“長頸鹿/吃/什么—它/吃/樹葉/和/嫩枝”這兩種匹配關(guān)系的匹配粒度是不一樣的.所以考慮不同粒度語義之間的交互，以獲得更多文本間的匹配信息.

圖2 不同粒度語義交互Fig.2 Semantic interactions with different granularities

考慮所有交互信息特征的融合和提取.本文嘗試采用張量和卷積神經(jīng)網(wǎng)絡(luò)的方法來融合和提取交互信息中重要的特征表示.最后根據(jù)所提取到的特征，通過多層感知機計算兩個短文本的匹配度.

3.2 模型

基于以上分析研究，本文提出了多粒度語義交叉模型來解決文本匹配的問題，模型如圖一所示.模型主要包括四個部分：

a)多粒度語義，包括原語義、正語義和反語義的準(zhǔn)備；

b)語義交叉，包括語義交叉和交互張量的計算過程；

c)卷積和池化，包括若干個卷積層和池化層的計算；

d)多層感知機，用于計算匹配度.

3.2.1 多粒度語義

模型的輸入是預(yù)先訓(xùn)練好的詞向量.目前已有一些現(xiàn)存的詞向量訓(xùn)練工具，如Word2vec[3]或者Glove[8]等基于大量文本無監(jiān)督生成的詞向量.已有研究表明，利用這些工具所得的詞向量具有普適性(或通用性)，在很大程度上能夠給模型帶入更多知識.對于短文本，其詞向量嵌入表示為：

S=[x1，x2，…，xi，…,xn]T

(1)

其中，xi表示文本中第i個詞的詞向量，詞向量的維度為d，文本中詞的個數(shù)為n，文本的原語義Sr=S,Sr，即為文本的原語義.

在此，模型利用正向LSTM和反向LSTM來獲短得文本上下文不同粒度的語義信息，即正語義和反語義.

在LSTM中包含有三個門控單元：遺忘門、輸入門以及輸出門，分別用ft、it和ht分別來表示.它們的計算過程如下：

ft=σ(Wf·[ht-1,xt]+bf)

(2)

it=σ(Wi·[ht-1,xt]+bi)

(3)

(4)

Ct=ft*Ct-1+it*Ct

(5)

Ot=σ(WO·[ht-1,xt]+bo)

(6)

ht=Ot*tanh(Ct)

(7)

其中，·表示點乘，*表示點對點的乘法，xt是輸入層的值；Wf，Wi，WC，Wo是權(quán)重矩陣.σ是sigmoid激活函數(shù)，tanh是雙曲正切激活函數(shù).ht表示t時刻LSTM單元的輸出.

圖3 多粒度語義交叉模型Fig.3 Multi-granularity semantic cross model

以文本的原語義作為輸入，通過正向的LSTM，模型可以得到文本的正語義表示Sf：

Sf=[hf1，hf2，…，hft，…，hfn]T

(8)

類似地，以文本的原語義作為輸入，通過反向的LSTM，得到反語義表示Sb：

Sb=[hb1,hb2，…，hbt，…，hbn]T

(9)

這里，hft表示t時刻正向LSTM的輸出，hbt表示t時刻反向LSTM的輸出，令

len(hft)=len(hbt)=len(xt)=d

(10)

即hft、hbt的維度和詞向量的維度一致，都為長度d.

3.2.2 語義交叉

語義交叉層的主要工作是將兩個文本的信息進行融合形成交互特征張量.模型將兩個待匹配的文本的三種語義信息(原語義、正語義、反語義)進行兩兩交互，重組之后，得到交互張量Sc：

SC=[c1,c2，…，cp]

(11)

其中，c為文本語義的交互矩陣，p表示交互矩陣的數(shù)量.在圖3中，p=9，即語義交叉層包含9張交互特征圖.例如c2表示圖3中S1的原語義和S2正語義的交互矩陣，其計算方式為：

(12)

其中，S1r表示第一個文本的原語義，S2f表示第二個文本的正語義.我們把語義之間的這種交互稱為語義交叉.

3.2.3 卷積池化

卷積層的工作主要是利用卷積核過濾提取特征，每個卷積核相當(dāng)于一個“過濾器”，可以過濾掉相關(guān)程度較低的匹配信息，使得相關(guān)程度高匹配特征突顯出來.卷積層對融合層得到的張量表示Sc進行卷積計算，即以Sc作為卷積層的輸入.對于卷積層的每個輸出z，有

(13)

其中，卷積核W={w1,w2,…，wk}，k為卷積核權(quán)重數(shù)量，b為偏置；xij表示Sc中的元素，f為ReLu激活函數(shù).

最大池化層，其作用是對卷積層卷積出來的特征值進行篩選，保留每個池化區(qū)域最大的特征值，忽略池化區(qū)域較小的特征值.保留較大的特征值往往能夠體現(xiàn)交互矩陣中較重要的交互信息.池化層，其輸入為卷積層的輸出，對于池化區(qū)域為2×2的池化層，其輸出Rt可表示為：

Rt=maxt({z2i-1,2j-1,z2i-1,2j,z2i,2j-1,z2i,2j})

(14)

其中，Rt表示池化層第t個池化區(qū)域的輸出，z表示卷積層的輸出.

3.2.4 多層感知機

模型的最后使用多層感知機來計算匹配度，對卷積層和池化層篩選保留的重要交互特征進行計算.其輸出為兩個短文本的匹配度.其計算公式為：

U=fu(WuR+b),score=fscore(WscoreU+b)

(15)

其中，Wu和Wscore為權(quán)重矩陣，R為池化層的輸出，b為偏置項，fu為ReLu激活函數(shù)，fscore為sigmoid激活函數(shù).當(dāng)目標(biāo)只需要判斷匹配與不匹配時，匹配問題可以視為匹配與不匹配的二分類問題.對于分類問題，激活函數(shù)fscore設(shè)為softmax激活函數(shù)，預(yù)測每個類別的概率值P，P的計算表達式為：

(16)

其中，Pj表示預(yù)測第j類的概率，xj表示第j類的數(shù)值，共有(m+1)個類別.

4 實驗與分析

我們在兩個公開的數(shù)據(jù)集上進行了實驗，涉及兩個任務(wù)，分別是問題去重和問答匹配.實驗通過模型在兩個任務(wù)上的表現(xiàn)以及和其他模型的比較來驗證模型的有效性，在兩個不同類型的任務(wù)上的表現(xiàn)不僅可以證明模型的競爭性，也可以在一定程度上驗證模型在語義匹配任務(wù)上的通用性.

4.1 實驗設(shè)置

實驗環(huán)境為Linux系統(tǒng)，采用基于TensorFlow的Keras深度學(xué)習(xí)框架搭建模型.實驗使用斯坦福大學(xué)公開的Glove1https://nlp.stanford.edu/projects/glove

詞向量1，并將每個詞向量做歸一化的預(yù)處理.文本長度取固定長度，超過長度截斷，不足補零.對于未登錄詞，采用在(-0.2，0.2)的均勻分布隨機生成的向量表示.模型中的參數(shù)，包括LSTM、CNN以及多層感知機的參數(shù)，都使用反向傳播訓(xùn)練學(xué)習(xí).

實現(xiàn)MGSC模型的基本設(shè)置：

實驗1.問句長度取10，答案長度取40，選用Adadelta作為優(yōu)化器，學(xué)習(xí)率0.1，向量維度50維.

實驗2.兩個句子長度均取20，選用Adam作為優(yōu)化器，學(xué)習(xí)率0.001，向量維度300維.

4.2 實驗1：問答匹配

問答系統(tǒng)實驗采用WIKIQA[9]數(shù)據(jù)集，該數(shù)據(jù)集包含3047個問題和29258個句子，其中有1473個句子是標(biāo)記為相應(yīng)問題的答案.每個問題對應(yīng)若干句子，當(dāng)句子被標(biāo)簽為0表示不是該問題答案，被標(biāo)簽為1時，則相反.

(17)

表2 WIKIQA數(shù)據(jù)集上的實驗結(jié)果Table 2 Experimental results on the WIKIQA dataset

表2是各種模型在WIKIQA數(shù)據(jù)集上的表現(xiàn)結(jié)果.從實驗結(jié)果可見，MGSC模型與其它模型相比，具有較好的計算效果.在MAP、NDCG@3以及NDCG@5上，MGSC模型都顯示了最好的結(jié)果.不同于句子復(fù)述或者相似問題去重的任務(wù)，待匹配文本可能在用詞上就明顯存在相似性，而問答的匹配，問題和答案一般在用詞上的區(qū)別更大，甚至問題和答案沒有出現(xiàn)一樣的詞語.MGSC模型能夠在問答數(shù)據(jù)上有優(yōu)異的表現(xiàn)，體現(xiàn)出模型在語義上的匹配能力.

針對MGSC模型的四種變形，我們在WIKIQA數(shù)據(jù)集上進行了實驗.這四種變形是通過在同等實驗條件下，改變語義交叉特征圖的數(shù)量和種類而得到的.在圖4中，MGSC@1模型只用到兩個句子原語義的交叉，包括一張交叉特征圖；MGSC@3模型用到兩個句子的原語義與原語義、正語義和正語義、反語義和反語義交互形成的三張交叉特征圖；MGSC@4模型是兩個句子的原語義和正語義兩兩交互，形成四張語義交叉特征圖，不加入反語義；MGSC@9模型，即我們提出的MGSC模型，采用兩個句子的原語義、正語義、反語義之間兩兩交互形成的九張語義交叉特征圖.該圖表明，語義交叉是一種行之有效的語義匹配方法.比較MGSC@1模型和MGSC@4模型，可以看到模型中加入正向語義帶來明顯的效果提升；比較MGSC@1和MGSC@3兩個模型，同樣能說明加入正向語義和反向語義的優(yōu)勢；比較MGSC@1模型和MGSC@4、MGSC@9三個模型，實驗結(jié)果表明，不同粒度的語義交叉能夠帶來效果的有效提升.

圖4 關(guān)于MGSC模型的幾種模式的比較Fig.4 Comparison of several variations of the MGSC model

4.3 實驗2：問句去重

在一些問答平臺上，用戶往往會提出意圖相似的問題，將這些意圖類似的問題去重，能夠帶來更好地用戶體驗，是非常有意義的一件事，特別是像國內(nèi)知乎、國外Quora這樣大型的知識分享平臺.比如Quora，每個月有超過一億的訪問量，所以毫無疑問的用戶會提出相似的問題.許多問題具有相同的意圖，用戶需要花許多時間在這些相似的問題中尋找最想要的答案，回答問題的用戶也不喜歡被同樣的問題提問多次.于是Quora在Kaggle發(fā)起了相似問題去重的挑戰(zhàn).

Quora發(fā)布的訓(xùn)練數(shù)據(jù)集有404289個樣本，一共包含537933個問題，每個樣本包括樣本編號、兩個問題的編號，兩個問題的文本以及標(biāo)簽，標(biāo)簽為1表示兩個問題表達同樣的意圖，標(biāo)簽為0則不同.

實驗將404289個樣本隨機劃分為8：1：1的比例分別作為訓(xùn)練集、驗證集和測試集.實驗將該問題定義為“意圖相同”和“意圖不同”的二分類問題，以二分類交叉熵作為目標(biāo)函數(shù)，計算公式定義為：

(18)

其中，θ表示模型中的參數(shù)，m訓(xùn)練包括組已知樣本，(xi,yi)表示i第組數(shù)據(jù)，xi及其對應(yīng)的類別標(biāo)記yi，yi取0或1，hθ(xi)表示模型的輸出.

實驗從損失和正確率兩個指標(biāo)來評價測試模型，評測比較的模型包括本文提出的MGSC模型、ARC-I、MV-LSTM以及MatchPyramid[14]和MatchSRNN[15]模型.

如圖5、圖6所示，MGSC模型表現(xiàn)出色，相比其他模型，在損失Loss和正確率Accuracy兩個評價指標(biāo)上都取得了競爭性的效果.在實驗中發(fā)現(xiàn)，對于短文本任務(wù)，去除停用詞會嚴(yán)重破壞短文本的語義信息，對最后的評價指標(biāo)有大約2%～3%的影響.去除停用詞之后，MGSC模型的正確率大概有82%，MatchPyramid模型的大約有82.5%，而不去除停用詞，MGSC模型和MatchPyramid模型都差不多能達到85%左右的正確率.

圖5 幾個模型在Quora數(shù)據(jù)集上的損失比較Fig.5 Compare the loss of several models on Quora dataset圖6 幾個模型在Quora數(shù)據(jù)集上的正確率比較Fig.6 Comparison of the accuracy of several models on Quora dataset

4.4 討論與分析

可解釋性一直是深度學(xué)習(xí)為人詬病的地方，許多深度神經(jīng)網(wǎng)絡(luò)模型雖然在各個方面取得了突破性的效果，但是并沒有給出嚴(yán)格的解釋.

已有的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，在應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)模型的時候，往往只提取循環(huán)神經(jīng)網(wǎng)絡(luò)的最后時刻的輸出.即使是使用了循環(huán)神經(jīng)網(wǎng)絡(luò)每一時刻的輸出，也是將生成的語義向量矩陣和詞嵌入矩陣做串聯(lián)，形成新的向量矩陣表示(每個詞向量變長)，比如MV-LSTM模型.本文提出的多粒度語義交叉模型則拋棄以往的做法，將LSTM生成的語義向量矩陣和文本本身的詞嵌入矩陣分別利用，這樣可以最大程度地保留文本各個粒度的語義信息.

我們試圖這樣來解釋語義交叉.LSTM在時刻的輸出其實是包含了從零時刻到時刻的所有信息，以文本序列處理的狀況來說就是包含了前個輸入的單詞的信息.所以簡單地將LSTM在時刻的輸出和單詞原本的詞向量串聯(lián)后作為新的的做法顯然并不是很合理.本文將文本原語義、正語義和反語義獨立表示，作為文本不同粒度的語義表達.再通過將兩個待匹配文本相同或不同粒度的語義進行交互，獲取兩個文本的語義交叉特征圖.而不同語義之間的交互給出了兩個語句之間不同粒度的重點關(guān)注的交互信息.在特征圖中，對于比較重要的信息用較大的數(shù)值來表示，而對特征圖做卷積操作本質(zhì)上是為每張?zhí)卣鲌D分配權(quán)重的過程，以此來綜合考慮所有特征圖的匹配特征，從而判斷兩個文本是否匹配.

5 結(jié) 論

本文提出了多粒度語義交叉模型——MGSC模型，以此來解決類似文本復(fù)述、問題去重、問答匹配或者信息檢索排序的問題.模型主要有兩個創(chuàng)新點，一是對同一短文本采用不同粒度的語義表達，二是通過兩個文本不同粒度的語義表示交互獲取兩個短文本的交互特征.通過分析驗證，文本匹配模型引入多粒度的語義信息以及不同粒度的語義交叉信息能夠提高文本匹配任務(wù)的匹配準(zhǔn)確率.在Quora Duplicate Questions和WIKIQA兩個數(shù)據(jù)集上實驗結(jié)果表明MGSC模型相比已有模型具有一定的優(yōu)勢，且在語義匹配任務(wù)中具有一定的通用性.