一種應(yīng)用于KBQA關(guān)系檢測(cè)的多視角層次匹配網(wǎng)絡(luò)

朱雅鳳，邵 清

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

1 引 言

知識(shí)庫(kù)問答(KBQA，Knowledge Base Question Answer)任務(wù)是指利用知識(shí)庫(kù)中的一個(gè)或多個(gè)知識(shí)三元組〈Sub,Re,Obj〉來(lái)回答自然語(yǔ)言問題.例如，問題“Who created the character Harry Potter” 可以用一組事實(shí)來(lái)回答.KBQA使人們能夠使用自然語(yǔ)言查詢知識(shí)庫(kù)，要將自然語(yǔ)言問題轉(zhuǎn)換成知識(shí)庫(kù)查詢，KBQA系統(tǒng)需要執(zhí)行至少兩個(gè)子任務(wù)：1)檢測(cè)問題中出現(xiàn)的知識(shí)庫(kù)實(shí)體e，即實(shí)體檢測(cè)；2)檢測(cè)與問題相關(guān)的知識(shí)庫(kù)關(guān)系r，即關(guān)系檢測(cè).

為了檢測(cè)給定輸入問題的知識(shí)庫(kù)關(guān)系，現(xiàn)有的方案通常在實(shí)體鏈接生成多個(gè)候選關(guān)系的基礎(chǔ)上，將問題句子和候選關(guān)系名稱分別映射到向量，然后計(jì)算向量之間的相似性作為它們之間的相關(guān)性.關(guān)系檢測(cè)作為一個(gè)問題-關(guān)系匹配任務(wù)，大都遵循編碼比較范式(encoder-compare framework)[1-9]——這種方案存在兩個(gè)顯著的問題：

1)匹配視角單一：大多數(shù)方法只關(guān)注〈問題句子，候選關(guān)系名稱〉一個(gè)視角，沒有過(guò)多地關(guān)注問題句子中隱含的主體類型和客體類型信息，而不同的知識(shí)庫(kù)元素可以與問題的不同部分相匹配(例如問題詞通常更可能表示答案(客體)類型)；

2)編碼比較框架存在信息瓶頸：一種常用的方案直接使用最大或平均池操作將序列壓縮成固定向量進(jìn)行語(yǔ)義相似度的比較(Encoding-comparing mode)，但導(dǎo)致了信息丟失，另一種對(duì)兩個(gè)序列先使用雙向注意力機(jī)制進(jìn)行簡(jiǎn)單的信息交互再進(jìn)行聚合操作(Encoding-comparing model with bi-directional attention)來(lái)緩解上述問題，但是由于輸入信息有限，效果仍然不夠理想.此外，現(xiàn)有的關(guān)系檢測(cè)方法通常沒有考慮到KBQA的最終任務(wù)，而KBQA最終任務(wù)既需正確檢測(cè)關(guān)系也需正確檢測(cè)實(shí)體.

基于編碼比較范式的關(guān)系檢測(cè)存在兩個(gè)顯著的問題：

1)匹配視角單一；

2)編碼比較框架存在信息瓶頸.

本文對(duì)每個(gè)候選對(duì)象構(gòu)造多個(gè)匹配單元，補(bǔ)充構(gòu)造〈問題模式，主體類型〉匹配單元作為網(wǎng)絡(luò)的輸入，解決匹配視角單一問題.提出一種多視角層次匹配網(wǎng)絡(luò)M-HMN，使用問題-關(guān)系的雙向匹配層來(lái)來(lái)挖掘問題-候選關(guān)系之間的深層匹配信息，收集多個(gè)分散的證據(jù)，通過(guò)自匹配注意力層聚合不同重要程度的多個(gè)匹配單元的輸入，改善信息瓶頸問題.

表1 純實(shí)體鏈接無(wú)法區(qū)分同名實(shí)體的例子在上面
Table 1 Examples where pure entity links do not distinguish between entities of the same name

QuestionMIDEntityRelationwhowrotethebookgulliver'stravels?06znpjrGulliver'sTravels(Americanfilm)film/film/writtenby0btc7Gulliver'sTravels(Book)book/writtenwork/author………

關(guān)系檢測(cè)通常運(yùn)行在實(shí)體鏈接的結(jié)果之上，然而我們觀察到現(xiàn)有的實(shí)體鏈接器往往無(wú)法區(qū)分同名實(shí)體.例如對(duì)于表1中的問題Who wrote the book gulliver′s travels，現(xiàn)有的實(shí)體鏈接器[4]無(wú)法區(qū)分問題提及的是Gulliver′s Travels(American film)，還是Gulliver′s Travels(Book)，而誤識(shí)實(shí)體的錯(cuò)誤會(huì)在后續(xù)的關(guān)系檢測(cè)任務(wù)中繼續(xù)傳播，因?yàn)椴煌膶?shí)體候選對(duì)象通常連接到不同的關(guān)系，從而使實(shí)體鏈接成為KBQA系統(tǒng)的瓶頸.因此，我們?cè)贙BQA最終任務(wù)的評(píng)估中，使用一種簡(jiǎn)易的實(shí)體重排序算法，利用M-HMN網(wǎng)絡(luò)進(jìn)行實(shí)體消歧，使正確實(shí)體獲得比初始更高的排名，然后在一個(gè)更小、更為精準(zhǔn)的候選實(shí)體集中，進(jìn)行關(guān)系檢測(cè).

本文的結(jié)構(gòu)安排如下：第2節(jié)介紹了KBQA關(guān)系檢測(cè)的系統(tǒng)框架，第3節(jié)詳細(xì)介紹系統(tǒng)框架中的匹配模塊，即M-HMN網(wǎng)絡(luò)，第4節(jié)介紹我們的實(shí)體重排序算法，第5節(jié)介紹了實(shí)驗(yàn)設(shè)置并分析結(jié)果，第6節(jié)介紹了該領(lǐng)域的相關(guān)工作，第7節(jié)總結(jié)全文.

2 關(guān)系檢測(cè)網(wǎng)絡(luò)系統(tǒng)框架

本節(jié)介紹我們的 KBQA關(guān)系檢測(cè)的系統(tǒng)框架，首先明確文中概念的形式化定義，接著分別介紹輸入模塊、編碼模塊和匹配模塊.其中的匹配模塊即M-HMN網(wǎng)絡(luò)，將在第3節(jié)重點(diǎn)介紹.圖1描述了關(guān)系檢測(cè)的整個(gè)系統(tǒng)框架.

2.1 概念的形式化定義

知識(shí)庫(kù)：一種大規(guī)模的語(yǔ)義網(wǎng)絡(luò)圖.形式上表達(dá)為一個(gè)二元組G=(E,R)，其中結(jié)點(diǎn)e∈E代表實(shí)體，邊r∈R代表實(shí)體之間的各種語(yǔ)義關(guān)系.三元組〈esub,r,eobj〉∈G代表知識(shí)庫(kù)中的一條知識(shí).

候選關(guān)系池：給定G=(E,R)和問題q提及的知識(shí)庫(kù)實(shí)體eq_sub，對(duì)于G中任意以eq_sub作為頭結(jié)點(diǎn)的三元組〈eq_sub,r,eobj〉∈G，Req_sub={r}刻畫問題以q以eq_sub為主體實(shí)體的候選關(guān)系池.

實(shí)體鏈接：給定原始問題q={q1,…,q|Nq|}，實(shí)體鏈接將q中的實(shí)體提及eq_mention(其中emention?q)映射到給定的知識(shí)庫(kù)G的主體實(shí)體eq_sub.

關(guān)系檢測(cè)：給定一個(gè)問題模式Q，主體實(shí)體eq_sub和KB中的候選關(guān)系(鏈)池Req_sub={r1,r2…rk…r|R|}，其中，主體實(shí)體eq_sub由實(shí)體鏈接標(biāo)識(shí).關(guān)系檢測(cè)計(jì)算rk與問題模式Q的匹配分?jǐn)?shù)S(Q,rk)，最終選取得分最高的關(guān)系(鏈)作為關(guān)系檢測(cè)的結(jié)果，形式如下：

圖1 關(guān)系檢測(cè)網(wǎng)絡(luò)系統(tǒng)框架Fig.1 Relation detection network system framework

(1)

匹配向量：給定任意匹配單元U=[Q,r]，匹配層將其轉(zhuǎn)換為相互融合的雙向匹配向量T[Q,r].

2.2 輸入模塊

輸入模塊對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，通過(guò)生成問題模式和生成多個(gè)匹配單元得到多對(duì)輸入視角.

生成問題模式：通過(guò)Q=f(q,e)得到原始問題q的問題模式Q，避免q中多余的實(shí)體單詞e干擾問題和正確候選關(guān)系之間的匹配.

生成多個(gè)匹配單元：知識(shí)庫(kù)元素(實(shí)體或關(guān)系)中蘊(yùn)含的信息可以與問題的不同部分相匹配，我們生成以下三對(duì)匹配單元，并在模型中使用這三對(duì)輸入.

1)[Q,r]確定問題模式和候選關(guān)系的主體類型的匹配程度.

3)[Q，r]確定問題模式與候選關(guān)系的客體類型的匹配程度.

2.3 編碼模塊

編碼模塊將輸入模塊的文本轉(zhuǎn)化為計(jì)算機(jī)可以處理的向量表示，包含編碼層和上下文表示層.

2.3.1 編碼層

2.3.2 上下文表示層

為了進(jìn)一步利用周圍單詞的上下文線索來(lái)改進(jìn)單詞嵌入，在編碼層的嵌入之上對(duì)所有匹配單元使用一個(gè)相同的BiLSTM網(wǎng)絡(luò)來(lái)進(jìn)行序列建模.

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

2.4 匹配模塊

關(guān)系檢測(cè)的核心任務(wù)是計(jì)算候選關(guān)系與給定問題之間的信息交互，為此，我們?cè)O(shè)計(jì)了能夠封裝并聚合多個(gè)匹配單元交互信息的M-HMN網(wǎng)絡(luò)，其具體實(shí)現(xiàn)在第3節(jié)描述.

3 多視角層次匹配網(wǎng)絡(luò)

多視角層次匹配網(wǎng)絡(luò)M-HMN由問題-關(guān)系雙向匹配層、自匹配注意力層以及輸出層構(gòu)成.

3.1 問題-關(guān)系雙向匹配層

圖2 雙向匹配機(jī)制模型圖Fig.2 Bidirectional matching mechanism model diagram

首先對(duì)每一對(duì)輸入的匹配單元U=[Q,r]計(jì)算其對(duì)齊矩陣：

A=QT·R

(10)

其中A∈Rn×m，A中的每個(gè)元素度量Q中每個(gè)單詞與R中每個(gè)單詞的語(yǔ)義相似度.在雙向匹配矩陣A之上，利用注意力機(jī)制[14，15]分別從兩個(gè)方向挖掘問題和關(guān)系之間的匹配信息，可以將其看作是問題關(guān)于關(guān)系的注意力R-to-Q和關(guān)系關(guān)于問題的注意力Q-to-R.

·R-to-Q利用點(diǎn)積來(lái)計(jì)算問題Q的注意力權(quán)重向量α：

(11)

(12)

其中向量α∈Rn表示R對(duì)于Q的注意力分布，Wr∈Rd×m和wr∈Rd是權(quán)重矩陣.接著利用問題的注意力權(quán)重向量α，得到關(guān)系-問題的匹配向量：Tr∈Rd

Tr=Q·α

(13)

·Q-to-R：采用相似的操作得到問題-關(guān)系匹配向量Tc∈Rd：

(14)

(15)

Tc=R·β

(16)

然后將關(guān)系-問題匹配向量和問題-關(guān)系匹配向量結(jié)合起來(lái)表示匹配單元U=[Q,r]最終的雙向匹配向量：

T[Q,r]=Tr⊕Tc

(17)

3.2 自匹配注意力層

對(duì)于關(guān)系檢測(cè)任務(wù)，不同匹配單元的匹配向量具有不同的重要性.為了更好地收集這些向量的證據(jù)來(lái)進(jìn)行關(guān)系檢測(cè)，使用一個(gè)自匹配注意力機(jī)制，該將這些信息向量與他們自身匹配，通過(guò)捕捉數(shù)據(jù)的內(nèi)部相關(guān)性來(lái)細(xì)化向量的表示.該層的輸入是來(lái)自多個(gè)匹配單元的匹配向量，輸出是聚合后的問題-關(guān)系對(duì)表示向量.具體實(shí)現(xiàn)如下：

在問題-關(guān)系雙向匹配層獲得各匹配單元的雙向匹配向量之后，我們計(jì)算該向量的注意力分布：

T=[T[Q,r],T[Q,r],T[Q,r]]

(18)

V=tanh(Wh·T)

(19)

(20)

其中γ是注意力權(quán)重向量，衡量這些匹配向量的重要性,Wh和wh是權(quán)重矩陣.通過(guò)自匹配注意力層，最后得到問題-關(guān)系對(duì)表示D如下:

D=T·γ

(21)

3.3 輸出層

最后我們將自匹配注意力層的輸出通過(guò)一個(gè)多感知層轉(zhuǎn)換為最終預(yù)測(cè).訓(xùn)練的目的是使訓(xùn)練集中的正例獲得比反例更高的匹配分?jǐn)?shù)，因此兩兩的排序損失定義為：

Loss=max (0,λ+S(Q,r-)-S(Q,r+))

(22)

4 利用M-HMN網(wǎng)絡(luò)優(yōu)化候選實(shí)體集

在KBQA系統(tǒng)中既要正確檢測(cè)關(guān)系，也要正確檢測(cè)實(shí)體.本節(jié)利用M-HMN對(duì)初始的候選實(shí)體重新排序，實(shí)現(xiàn)從一個(gè)更小的候選實(shí)體集中確定回答問題的知識(shí)庫(kù)核心關(guān)系(鏈)，以提高關(guān)系檢測(cè)的準(zhǔn)確度.表2詳述了該實(shí)體重排序算法.

表2 實(shí)體重排序算法
Table 2 Entity reranking algorithm

輸入:問題q,知識(shí)庫(kù)GG=(EE,R),初始的候選實(shí)體列表ELK(q)={e1…ei…e|E|},其中每個(gè)實(shí)體的得分為Slinker(q,e).輸出:重排序的實(shí)體列表ELK'rerank(q)初始化q的整個(gè)候選關(guān)系池Rq=?;fore∈ELK(q)do 利用GG生成e的候選關(guān)系池Re={r1…rj…r|R|}; forr∈Redo 利用M-HMN網(wǎng)絡(luò)計(jì)算與q的匹配分?jǐn)?shù)Sr(q,r); 計(jì)算e的類型r與問題q的匹配分?jǐn)?shù)Se(q,etype). endfor 令Rq=Rq∪Reendfor根據(jù)Sr(q,r)得分,令Rhq=toph(Rq)結(jié)合原始的實(shí)體鏈接器得分Slinker(q,e)與最高置信匹配關(guān)系得分Sr(q,r)、實(shí)體類型匹配得分Se(q,etype),對(duì)初始的實(shí)體鏈接結(jié)果進(jìn)行重新排序:Srerank(q,e)=α·Slinker(q,e)+βmaxr∈Rhq∩ReSr(q,r)+(1-α-β)Se(q,etype)根據(jù)Srerank(q,e)評(píng)分選擇top_K'(K'

5 實(shí)驗(yàn)結(jié)果分析

5.1 數(shù)據(jù)集

實(shí)驗(yàn)使用標(biāo)準(zhǔn)數(shù)據(jù)集—SimpleQuestions(SQ)[16]，數(shù)據(jù)集分為train(79，590)、valid(10，845)和test(21，687)，其中的每個(gè)問題都已經(jīng)標(biāo)注了提及的知識(shí)庫(kù)實(shí)體和關(guān)系.該數(shù)據(jù)集只含有單關(guān)系問題，即每個(gè)問題可用一個(gè)知識(shí)三元組回答.我們使用一個(gè)包含2M實(shí)體的Freebase[21]子集(FB2M)作為知識(shí)庫(kù)，以便與之前的研究相比較.

5.2 參數(shù)設(shè)置

實(shí)驗(yàn)使用300維預(yù)訓(xùn)練Glove[11]詞向量表來(lái)對(duì)單詞嵌入進(jìn)行初始化，對(duì)非詞匯表的關(guān)系和單詞進(jìn)行隨機(jī)初始化，采樣值均勻取[-0.5，0.5]，嵌入值在訓(xùn)練過(guò)程中更新，LSTM的隱藏層設(shè)置為300維，dropout比例為0.2.為了訓(xùn)練模型，在batch為64的小批處理設(shè)置中，使用初始學(xué)習(xí)率為0.001的Adam[18]優(yōu)化器來(lái)更新參數(shù)，訓(xùn)練過(guò)程中每隔30個(gè)epoch進(jìn)行指數(shù)衰減.

所有的實(shí)驗(yàn)都在一臺(tái)使用Nvidia GTX1080 GPU的機(jī)器上進(jìn)行，在Keras2中實(shí)現(xiàn)了以Tensorflow3為后臺(tái)的神經(jīng)網(wǎng)絡(luò).我們選擇在開發(fā)集上工作的最好的模型，然后在測(cè)試集上對(duì)其進(jìn)行評(píng)估.

5.3 實(shí)驗(yàn)設(shè)計(jì)

為了探究M-HMN的效果，本文在關(guān)系檢測(cè)和KBQA終端任務(wù)兩個(gè)方面進(jìn)行消融研究并與幾個(gè)基線模型進(jìn)行對(duì)比，下面先簡(jiǎn)要介紹實(shí)驗(yàn)步驟.

5.3.1 關(guān)系檢測(cè)效果驗(yàn)證

對(duì)于關(guān)系檢測(cè)任務(wù)，我們采用Yin等人[4]發(fā)布的SimpleQuestions問題關(guān)系對(duì)集合，基于Freebase子集(FB2M)創(chuàng)建正例和反例，來(lái)檢驗(yàn)M-HMN模型緩解信息瓶頸的效果.使用參數(shù)設(shè)置中的數(shù)據(jù)，對(duì)M-HMN、去掉自匹配注意層的M-HMN模型、將QR雙向匹配層替換為encoding-comparing model或 encoding-comparing model with bi-directional attention的M-HMN模型進(jìn)行訓(xùn)練.幾個(gè)模型的網(wǎng)絡(luò)參數(shù)均為模型學(xué)習(xí)最好的一組，即獲取準(zhǔn)確率最高、代價(jià)最小的一組參數(shù)數(shù)值.

5.3.2 KBQA評(píng)估效果驗(yàn)證

對(duì)于一個(gè)好的關(guān)系檢測(cè)模型，它應(yīng)該能夠在KBQA最終任務(wù)上也展現(xiàn)出強(qiáng)大的效果.對(duì)于KBQA評(píng)估，我們的方法從Yin等人[4]發(fā)布的實(shí)體鏈接的結(jié)果開始，首先利用第4節(jié)提出的排序算法對(duì)初始實(shí)體鏈接結(jié)果進(jìn)行重排序，排序后的正確的實(shí)體應(yīng)當(dāng)具有比初始更高的排名，然后綜合實(shí)體重排序和關(guān)系檢測(cè)得到KBQA的結(jié)果.為了探究我們的方法對(duì)KBQA終端任務(wù)的貢獻(xiàn)，實(shí)驗(yàn)對(duì)使用重排序(Yin[4]的實(shí)體鏈接結(jié)果+實(shí)體重排序+M-HMN關(guān)系檢測(cè))和不使用重排序的模型及已有基線相比較，在相同環(huán)境下獲取其準(zhǔn)確率.

5.4 實(shí)驗(yàn)結(jié)果與分析

5.4.1 關(guān)系檢測(cè)評(píng)估結(jié)果

表3展示的是不同消融設(shè)置下的M-HMN(第5-10行)以及幾個(gè)基線AMPCNN[4]、HR-BiLSTM[5]、ABWIM[9]、BiMPM[8]模型在關(guān)系檢測(cè)任務(wù)上輸出的準(zhǔn)確率.首先，7-10行中多匹配單元輸入的效果總優(yōu)于單一輸入，這表明多對(duì)特征輸入可以為模型提供豐富的匹配信息以備處理，從輸入源頭緩解了信息瓶頸.第6行去掉M-HMN的自匹配注意層后，只簡(jiǎn)單將前一層得到的多個(gè)匹配向量串聯(lián)，比起M-HMN(第5行)準(zhǔn)確率下降0.75%，表明了有效聚合多個(gè)匹配向量對(duì)于關(guān)系檢測(cè)的重要性.正是由于自注意力擅長(zhǎng)捕捉稀疏數(shù)據(jù)的內(nèi)部相關(guān)性，使重要區(qū)域的觀察精細(xì)度更高，才能使聚合得到的最終向量對(duì)于重要信息的表達(dá)質(zhì)量更高.第5、7-10行表明，我們的QR雙向匹配層比起傳統(tǒng)的Encoding-comparing model及Encoding-comparing model with bi-directional attention，對(duì)于序列之間重要匹配信息的學(xué)習(xí)能力更強(qiáng).我們的關(guān)于構(gòu)造多個(gè)匹配單元的思想和整個(gè)模型架構(gòu)與基線BiMPM[8]最接近，但在匹配模塊上有所不同.總的來(lái)說(shuō)，多對(duì)特征輸入提供豐富匹配信息，QR雙向匹配層分別編碼學(xué)得序列對(duì)的匹配向量，自注意力層有效聚合多個(gè)向量，使得我們的M-HMN能夠有效緩解信息瓶頸，呈現(xiàn)出比其他幾個(gè)優(yōu)秀基線模型(1-5行)更高的準(zhǔn)確率.

表3 SimpleQuestions上關(guān)系檢測(cè)的準(zhǔn)確率
Table 3 Accuracy of relation detection for SimpleQuestions dataset

圖3展示的是M-HMN中QR雙向匹配層注意力熱力圖，橫軸為替換掉實(shí)體的問題模式，縱軸為候選關(guān)系的不同特

圖3 QR雙向匹配層注意力熱力圖Fig.3 Attention thermogram for QR bidirectional matching layer

征(Sub_type，Re_name，Obj_type)，與問題模式構(gòu)成不同的匹配單元.圖中顏色越深表示其相關(guān)程度越高.可以看到，注意力能夠有效對(duì)齊兩個(gè)序列，捕捉到相似詞串間的語(yǔ)義相關(guān)性(比如問題詞與答案類型，問題謂語(yǔ)與關(guān)系名稱，問題的主題定語(yǔ)與實(shí)體類型)，這有助于之后計(jì)算序列的注意力權(quán)重得到高質(zhì)量的匹配向量.

圖4展示了問題who wrote the book gulliver′s travels的幾個(gè)候選關(guān)系利用自匹配注意力層得到的不同匹配向量的權(quán)

圖4 自匹配注意力層注意力權(quán)重分布情況Fig.4 Distribution of attention weight in self-matching attention layer

重分布情況.其中r+表示正確的候選關(guān)系，r-表示錯(cuò)誤的候選關(guān)系.可以看到正確關(guān)系中各匹配向量的權(quán)重分布較為集中，而錯(cuò)誤關(guān)系中僅僅表示Sub_type的匹配向量權(quán)重較大，這表明正確關(guān)系中的各個(gè)類型的匹配向量均捕捉到了重要的匹配信息，在貢獻(xiàn)程度上相當(dāng)，而錯(cuò)誤關(guān)系當(dāng)依賴于正確的實(shí)體鏈接時(shí)，僅僅表示Sub_type的匹配向量捕捉到了匹配信息，因此錯(cuò)誤關(guān)系中幾個(gè)匹配向量的權(quán)重大小較為懸殊.自匹配注意力層的輸出向量即為各匹配向量的加權(quán)和，它使得稀疏的匹配向量在不同權(quán)重的刻畫下變得更為精細(xì)，也即自匹配注意力層能夠選擇信息性單元來(lái)預(yù)測(cè)候選關(guān)系的正確與否.

表 4 為不同模型訓(xùn)練一個(gè)epoch的平均耗時(shí)對(duì)比.M-HMN的模型架構(gòu)和思想與其基線BiMPM[8]最為接近，但與需要對(duì)每個(gè)匹配單元中的anchor 和target使用復(fù)雜的匹配策略函數(shù)計(jì)算匹配向量的BiMPM[8]相比，M-HMN利用一個(gè)簡(jiǎn)單的雙向匹配機(jī)制即可得到有效的匹配向量.在計(jì)算機(jī)硬件配置與模型基本參數(shù)相同的情況下，M-HMN不但準(zhǔn)確率更高(見表3)，而且訓(xùn)練一個(gè)epoch的平均耗時(shí)也比BiMPM更少，訓(xùn)練速度得到了很大的提高.由表3和表4可知，將QR雙向匹配層替換為Encoding-comparing model with bi-directional attention的模型，其準(zhǔn)確率比BiMPM[8]高0.25，而訓(xùn)練一個(gè)epoch的平均耗時(shí)更少，這表明我們的模型在較小的時(shí)間復(fù)雜度上即可獲得與基線模型相當(dāng)?shù)臏?zhǔn)確率.

表4 不同模型訓(xùn)練一個(gè)epoch的平均耗時(shí)對(duì)比
Table 4 Mean time comparison of training an epoch by different models

RowModelMinutes/eachepoch1BiMPM[8]52.02M-HMN48.73去掉自匹配注意層的M-HMN47.04將QR雙向匹配層替換為Encoding-com-paringmodelwithbi-directionalattention46.25將QR雙向匹配層替換為Encoding-com-paringmodel40.1

5.4.2 KBQA評(píng)估結(jié)果

對(duì)于KBQA評(píng)估，我們將利用M-HMN進(jìn)行實(shí)體重排序的結(jié)果與初始實(shí)體鏈接結(jié)果進(jìn)行了比較，圖5顯示了前K個(gè)實(shí)體候選項(xiàng)的recall(K∈{1，5，10，20，50，100，400})，其中recall計(jì)算為實(shí)體候選項(xiàng)前K個(gè)包含正確主題實(shí)體的問題的百分比.第一行(K=1)可以看作是實(shí)體檢測(cè)的精度.從圖5可以看出，從top 1到top 100，重排序后的recall都高于原始的實(shí)體鏈接結(jié)果，這證明了利用M-HMN進(jìn)行實(shí)體重排序的有效性——重排序后，在較小的候選集中，就能擁有更多有用的信息，并且正確的實(shí)體具有更高的排名.

圖5 重排序后TopK實(shí)體候選項(xiàng)recall對(duì)比Fig.5 Recall comparison of TopK entity candidates after reranking

在KBQA最終任務(wù)中，當(dāng)且僅當(dāng)預(yù)測(cè)的實(shí)體、關(guān)系與事實(shí)實(shí)體、關(guān)系都相符時(shí)，問題才算回答正確.表5展示了我們的方法在KBQA最終任務(wù)上的結(jié)果.由于ABWIM、BiMPM均未發(fā)布他們的終端KBQA結(jié)果，我們只與兩個(gè)基線AMPCNN、HR-BiLSTM進(jìn)行比較.可以看到，我們的方法在FB2M設(shè)置下的準(zhǔn)確率達(dá)到78.9%，比最先進(jìn)HR-BiLSTM高出1.9%.第4行的消融實(shí)驗(yàn)表明刪除實(shí)體重新排序步驟會(huì)顯著降低分?jǐn)?shù)，由于重排序依賴于M-HMN網(wǎng)絡(luò)，這表明我們的M-HMN模型對(duì)KBQA終端任務(wù)性能有著顯著的提升.

表5 SimpleQuestions上KBQA的準(zhǔn)確率
Table 5 Accuracy of KBQA for SimpleQuestions dataset

RowModelAccuracy1AMPCNN[4]76.42HR-BiLSTM[5]77.03M-HMNwithentityre-ranking78.94M-HMNwithoutentityre-ranking78.0

6 相關(guān)工作

KBQA的主要目標(biāo)是通過(guò)從知識(shí)庫(kù)中獲得最佳支撐三元組〈主題-謂詞-對(duì)象〉(SPO)來(lái)回答給定的問題.

關(guān)系推斷任務(wù)是整個(gè)KBQA任務(wù)的核心部分.Bordes[1]首先將深度學(xué)習(xí)應(yīng)用于KBQA的關(guān)系推斷，此后又開發(fā)了各種模型.這些方法大都遵循編碼比較范式(encoder-compare framework)[1-9]，將問題和候選對(duì)象分別映射到向量，然后計(jì)算向量之間的相似性作為它們的語(yǔ)義相似性.這些方法的主要區(qū)別在于編碼器模型(RNN或CNN)和輸入粒度(詞級(jí)或字符級(jí)和關(guān)系級(jí))的不同.Dai等人[2]提出了relation-level RNN-based approach，將關(guān)系作為單一token，用TransE學(xué)習(xí)的預(yù)訓(xùn)練向量進(jìn)行關(guān)系初始化，解決了訓(xùn)練數(shù)據(jù)中未見關(guān)系(unseen relation)的學(xué)習(xí)問題.Golub等人[3]提出了一種基于增強(qiáng)注意力架構(gòu)的字符處理方法，引入注意力機(jī)制來(lái)更好地處理較長(zhǎng)的序列.此外，字符級(jí)的表示方法不僅減小了參數(shù)的大小，而且提高了對(duì)詞匯表外單詞的魯棒性，使用CNN而不是LSTM來(lái)嵌入KB條目，提高了計(jì)算效率.Yin等人[4]為了更好地匹配謂詞，采用傳統(tǒng)的CNN層對(duì)問題和關(guān)系進(jìn)行編碼，提出一種關(guān)注最大池機(jī)制來(lái)總結(jié)問題表示，以便關(guān)系表示能更有效地與以關(guān)系為中心的問題表示相匹配.Yih等人[17]使用字符三元組作為問題和關(guān)系方面的輸入.Yu等人[5]使用具有不同粒度輸入的Bi-LSTM(包括word-level和relation-level表示)來(lái)表示關(guān)系，問題由具有不同抽象級(jí)別的分層殘差Bi-LSTM網(wǎng)絡(luò)來(lái)表示，使得問題匹配不同級(jí)別的關(guān)系信息的質(zhì)量更高.Zhang等人[9]提出學(xué)習(xí)問題和關(guān)系之間的詞級(jí)交互，并將注意力機(jī)制引入到單詞之間的細(xì)粒度對(duì)齊中，用于KBQA的關(guān)系檢測(cè).

以上方法雖然效果顯著，但存在匹配視角單一和信息瓶頸等問題.受Yu等人的BiMPM[8]的啟發(fā)，我們利用來(lái)自問題句子和KB的輔助信息，構(gòu)造多個(gè)匹配單元，并提出一種多視角層次匹配網(wǎng)絡(luò)來(lái)融合來(lái)自多個(gè)匹配單元的信息，一定程度上緩解了信息瓶頸.

7 結(jié) 論

在本文中，我們提出了一種新穎的多視角層次匹配網(wǎng)絡(luò)M-HMN，用于知識(shí)庫(kù)問答(KBQA)的關(guān)系檢測(cè)問題.該方法利用來(lái)自問題和KB的輔助信息，挖掘問題-關(guān)系的深層匹配信息，取得了較好的實(shí)驗(yàn)結(jié)果.本文還探索了提出的M-HMN關(guān)系檢測(cè)網(wǎng)絡(luò)對(duì)KBQA終端任務(wù)的貢獻(xiàn).在未來(lái)的工作中，我們將擴(kuò)展我們的方法來(lái)處理更多多關(guān)系問題，如GraphQuestions[19]、ComplexQuestions[20]，多關(guān)系問題有更多接近人類真實(shí)世界的問題，并且需要對(duì)知識(shí)庫(kù)進(jìn)行更復(fù)雜的推理.