面向知識(shí)圖譜問(wèn)答的查詢圖選擇模型研究

賈永輝,陳文亮

(蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇 蘇州 215006)

1 引 言

知識(shí)圖譜問(wèn)答是問(wèn)答領(lǐng)域的重要研究方向之一,它以自然語(yǔ)言問(wèn)句作為輸入,從知識(shí)圖譜中獲取相關(guān)實(shí)體、關(guān)系或者屬性值作為答案輸出.知識(shí)圖譜問(wèn)答的一種代表性方法是基于語(yǔ)義解析的方法,它將問(wèn)句轉(zhuǎn)換為結(jié)構(gòu)化的語(yǔ)義表示并進(jìn)一步轉(zhuǎn)成查詢語(yǔ)言(如SPARQL[1])從知識(shí)圖譜中獲取答案.在轉(zhuǎn)換為結(jié)構(gòu)化語(yǔ)義表示時(shí),一種典型方法是采用通用語(yǔ)義表示形式,比如λ-DCS[2].由于這種語(yǔ)義表示與底層知識(shí)圖譜無(wú)關(guān),因此在與底層知識(shí)圖譜映射時(shí)經(jīng)常會(huì)遇到本體匹配出錯(cuò)的情況[3].

為了克服上述語(yǔ)義表示形式存在的問(wèn)題,另一種基于語(yǔ)義解析的解決方案是使用查詢圖來(lái)表示問(wèn)句的語(yǔ)義[4].查詢圖是一種與底層知識(shí)圖譜相關(guān)的語(yǔ)義表示形式,它的節(jié)點(diǎn)和邊分別對(duì)應(yīng)于知識(shí)圖譜的實(shí)體和關(guān)系,并額外增加一些自定義的邏輯符號(hào)(如比較運(yùn)算符等).基于查詢圖的知識(shí)圖譜問(wèn)答系統(tǒng)可以被分為兩個(gè)主要模塊:查詢圖生成和查詢圖選擇[5].其中,查詢圖生成將輸入問(wèn)句進(jìn)行解析得到一個(gè)候選查詢圖集合,而查詢圖選擇是從候選查詢圖集合中選出最優(yōu)查詢圖,并返回對(duì)應(yīng)答案作為系統(tǒng)結(jié)果輸出.可以看出,知識(shí)圖譜問(wèn)答系統(tǒng)的性能與查詢圖選擇密切相關(guān),因此本文也主要聚焦于查詢圖選擇.

查詢圖選擇本質(zhì)上是一個(gè)問(wèn)句和候選查詢圖匹配的任務(wù).已有的系統(tǒng)在匹配中通常采用多特征打分的方式對(duì)查詢圖進(jìn)行排序[6].在這些方法中,首先計(jì)算查詢圖和問(wèn)句之間的語(yǔ)義相似度,比如使用余弦相似度計(jì)算.然后將得到的語(yǔ)義相似度得分和其他人工設(shè)計(jì)的特征組合在一起作為匹配特征,如問(wèn)句和實(shí)體之間的相似度、查詢圖中節(jié)點(diǎn)個(gè)數(shù)等.最終,這些特征表示通過(guò)模型進(jìn)行打分.這種策略在知識(shí)圖譜問(wèn)答中取得了很好的結(jié)果.但是,通過(guò)對(duì)相關(guān)實(shí)驗(yàn)結(jié)果的分析發(fā)現(xiàn)這種策略存在兩個(gè)主要問(wèn)題:1)使用余弦相似度等方法計(jì)算問(wèn)句和查詢圖的語(yǔ)義相似度時(shí),由于結(jié)構(gòu)差異在一定程度上丟失了兩者之間的交互信息;2)在排序中僅考慮單一候選查詢圖,而忽略了不同候選查詢圖之間的關(guān)聯(lián).

為了解決上述問(wèn)題,本文提出將問(wèn)句和查詢圖的匹配問(wèn)題轉(zhuǎn)換為問(wèn)句和查詢圖序列之間的匹配問(wèn)題.這種方式一方面降低了查詢圖編碼的復(fù)雜性,另一方面更易于建模問(wèn)句和查詢圖之間的交互信息.具體地,首先將查詢圖線性化為對(duì)應(yīng)的查詢圖序列,這使得問(wèn)句和查詢圖都是序列形式,并且可以使用成熟的序列建模方法,比如BERT[7]和GPT-3[8]等.此外,考慮到同一個(gè)問(wèn)題對(duì)應(yīng)的不同候選查詢圖之間的關(guān)聯(lián)性,本文提出一種基于全局信息的查詢圖排序模型.在不引入額外人工特征的情況下,本文提出查詢圖選擇的新方法,其綜合考慮問(wèn)句和查詢圖之間的交互信息以及候選查詢圖之間的聯(lián)系.在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了所提方法的有效性.

本文的主要貢獻(xiàn)包括:

1)提出一種基于序列匹配的問(wèn)句與查詢圖相似度計(jì)算方法.在該方法中,查詢圖被線性化為對(duì)應(yīng)的序列形式,并基于BERT建模問(wèn)句和查詢圖之間的交互信息.此外,由于查詢圖序列已包含了查詢圖中的所有信息,因此不需要設(shè)計(jì)額外人工特征對(duì)查詢圖進(jìn)行編碼.

2)提出一種基于全局信息的查詢圖排序模型,通過(guò)得分的全局歸一化引入不同候選查詢圖之間的關(guān)聯(lián).

3)基于上述改進(jìn),提出一個(gè)基于全局排序的查詢圖選擇方法.實(shí)驗(yàn)結(jié)果表明,本文所提方法在WebQuestions(WebQ)和ComplexQuestions(CompQ)兩個(gè)數(shù)據(jù)集上的F1值分別達(dá)到了55.3和44.4.

2 相關(guān)工作

知識(shí)圖譜問(wèn)答是自然語(yǔ)言處理領(lǐng)域重要研究方向之一,受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注.在開(kāi)放領(lǐng)域,一些典型的知識(shí)圖譜問(wèn)答系統(tǒng)已經(jīng)被應(yīng)用于日常的搜索引擎中;在細(xì)分領(lǐng)域,也有許多相關(guān)的知識(shí)圖譜問(wèn)答系統(tǒng)研究,比如針對(duì)電子商務(wù)領(lǐng)域的在線商品問(wèn)答系統(tǒng)[9]以及針對(duì)醫(yī)療領(lǐng)域的原發(fā)性肝癌知識(shí)問(wèn)答系統(tǒng)等[10].在知識(shí)圖譜問(wèn)答實(shí)現(xiàn)方法中,基于信息檢索和基于語(yǔ)義解析是兩種主流的實(shí)現(xiàn)方式,并衍生出許多有效的方法.

基于信息檢索的方法通常以實(shí)體鏈接[11]結(jié)果為出發(fā)點(diǎn)搜索相關(guān)的候選答案,并通過(guò)對(duì)答案排序選擇出最終結(jié)果.在對(duì)候選答案進(jìn)行排序時(shí),一個(gè)核心點(diǎn)是如何正確識(shí)別出從實(shí)體到答案之間的關(guān)系路徑[12].在進(jìn)行問(wèn)句和關(guān)系路徑匹配時(shí),基于神經(jīng)網(wǎng)絡(luò)的方法取得了一定的成功[13].比如Bhutani等將候選關(guān)系表征為向量,并基于長(zhǎng)短期記憶網(wǎng)絡(luò)計(jì)算問(wèn)句和候選關(guān)系之間的相似度[14].此外,基于預(yù)訓(xùn)練語(yǔ)言模型的方法也被廣泛應(yīng)用于關(guān)系匹配中,有效提升了關(guān)系學(xué)習(xí)任務(wù)的性能[15].相比于基于問(wèn)句和關(guān)系進(jìn)行匹配的方案,基于知識(shí)圖譜向量表示的方法可以在不顯示編碼路徑的情況下進(jìn)行答案選擇,在知識(shí)圖譜不完整情況下也具備良好性能[16].

不同于基于信息檢索的方法,語(yǔ)義解析方法側(cè)重于問(wèn)句語(yǔ)義的理解[17].基于語(yǔ)義解析方法的基本思路是將問(wèn)句解析為結(jié)構(gòu)化的語(yǔ)義表示,然后將其與知識(shí)庫(kù)映射并檢索得到結(jié)果.比如,Berant等將問(wèn)句解析為λ-DCS,并通過(guò)對(duì)齊和橋接操作實(shí)現(xiàn)到知識(shí)庫(kù)的映射[18].為了提高復(fù)雜問(wèn)題的語(yǔ)義解析準(zhǔn)確率,Sun等設(shè)計(jì)了一種新穎的骨架語(yǔ)法先將復(fù)雜問(wèn)題轉(zhuǎn)換為多個(gè)簡(jiǎn)單問(wèn)題進(jìn)行解析[19].此外,查詢圖也是一種結(jié)構(gòu)化語(yǔ)義表示形式,在基于語(yǔ)義解析的知識(shí)圖譜問(wèn)答中被廣泛使用.Yih等首先提出分步驟查詢圖生成的方法進(jìn)行語(yǔ)義解析[20].沿著這種思路,Luo等提出從全局角度編碼單個(gè)查詢圖,在問(wèn)句和查詢圖匹配上證明了查詢圖結(jié)構(gòu)化信息的有效性[6].在查詢圖生成模塊,Lan等提出基于束搜索的方法進(jìn)行查詢圖的構(gòu)建,使查詢圖方法更適合多跳復(fù)雜問(wèn)題的處理[21].與已有基于查詢圖的方法相比,本文側(cè)重于查詢圖選擇階段的改進(jìn),進(jìn)一步提升了基于查詢圖系統(tǒng)的性能.

3 方 法

本節(jié)主要介紹所提基于查詢圖的知識(shí)圖譜問(wèn)答實(shí)現(xiàn)方法.在實(shí)現(xiàn)中,系統(tǒng)被分為兩個(gè)模塊:查詢圖生成和查詢圖選擇.整個(gè)處理過(guò)程可以形式化描述為:給定一個(gè)問(wèn)句q和一個(gè)知識(shí)圖譜(KB),查詢圖生成模塊將問(wèn)句q解析為候選查詢圖集合G;然后查詢圖選擇模塊從候選查詢圖集合G中選出最優(yōu)查詢圖g*.最終,查詢圖g*被轉(zhuǎn)換為SPARQL語(yǔ)句從知識(shí)圖譜中檢索出與問(wèn)句q對(duì)應(yīng)的答案.

與已有基于查詢圖的方法相比,本文提出新的查詢圖選擇方法,其不僅簡(jiǎn)化匹配過(guò)程,而且提高系統(tǒng)性能.圖1展示所提查詢圖選擇方法,它將查詢圖線性化為對(duì)應(yīng)的查詢圖序列,從而將問(wèn)句和查詢圖之間的匹配問(wèn)題轉(zhuǎn)為兩個(gè)序列之間的匹配問(wèn)題.在此基礎(chǔ)上,本文分別計(jì)算問(wèn)句和每個(gè)候選查詢圖序列的相似度得分,然后利用所有候選查詢圖序列的之間關(guān)聯(lián)進(jìn)行全局排序.這種方式可建立候選查詢圖之間的關(guān)聯(lián),進(jìn)而更合理地優(yōu)化正例查詢圖和負(fù)例查詢圖對(duì)應(yīng)的得分.

圖1 查詢圖選擇系統(tǒng)框架Fig.1 Framework of query graph selection

3.1 查詢圖生成

查詢圖生成模塊是將非結(jié)構(gòu)化的問(wèn)句解析為結(jié)構(gòu)化的查詢圖形式.本文采用分步驟查詢圖生成方法進(jìn)行問(wèn)句解析,下面介紹主要流程.

給定一個(gè)問(wèn)句q,首先通過(guò)目標(biāo)節(jié)點(diǎn)鏈接獲取問(wèn)句中的4種約束,分別對(duì)應(yīng)于實(shí)體、類型詞、時(shí)間詞和序數(shù)詞.對(duì)于實(shí)體鏈接,本文通過(guò)SMART工具獲取<提及詞,實(shí)體>對(duì),詳細(xì)情況可閱讀參考文獻(xiàn)[22].對(duì)于類型詞鏈接,通過(guò)使用glove詞向量[23]計(jì)算問(wèn)句中連續(xù)子序列(至多3個(gè)詞)和知識(shí)圖譜中所有類型詞之間的余弦相似度,并選擇得分排在前10的類型詞構(gòu)成<提及詞,類型詞>對(duì).對(duì)于時(shí)間詞鏈接,通過(guò)使用正則匹配的方法來(lái)抽取時(shí)間信息.對(duì)于序列詞鏈接,通過(guò)使用預(yù)定義的序數(shù)詞詞典(如largest,highest等)和“序數(shù)詞+最高級(jí)”的模式抽取整型數(shù)字.圖2(a)展示了一個(gè)完成目標(biāo)節(jié)點(diǎn)鏈接后的實(shí)例.

圖2 查詢圖生成過(guò)程Fig.2 Process of query graph generation

在得到目標(biāo)節(jié)點(diǎn)鏈接結(jié)果后,首先根據(jù)鏈接到的實(shí)體進(jìn)行一跳和兩跳搜索獲取主路徑,如圖2(b)所示.緊接著,將實(shí)體約束加到主路徑上,圖2(c)展示了對(duì)應(yīng)的狀態(tài).然后,類型詞約束、時(shí)間詞約束和序數(shù)詞約束被依次加入到主路徑上并完成解析過(guò)程,最終一個(gè)完整的查詢圖如圖2(d)所示.

通過(guò)上述過(guò)程,可以獲得每個(gè)問(wèn)句對(duì)應(yīng)的候選查詢圖集合G,該候選查詢圖集合被用于進(jìn)行查詢圖選擇.關(guān)于查詢圖生成過(guò)程更詳細(xì)的描述可以閱讀參考文獻(xiàn)[6].

3.2 查詢圖選擇

由于鏈接到的實(shí)體和對(duì)應(yīng)的關(guān)系沒(méi)有被充分消歧,查詢圖生成模塊會(huì)產(chǎn)生超過(guò)一個(gè),通常幾百甚至上千的候選查詢圖.因此有必要設(shè)計(jì)有效的查詢圖選擇方法從候選查詢圖集合中選出最優(yōu)查詢圖g*.在本文的方法中,首先將查詢圖g∈G轉(zhuǎn)換為查詢圖序列g(shù)s;然后對(duì)問(wèn)句和查詢圖序列進(jìn)行交互編碼;最后基于全局信息進(jìn)行候選查詢圖排序.

3.2.1 查詢圖轉(zhuǎn)序列

查詢圖轉(zhuǎn)序列旨在將查詢圖g轉(zhuǎn)換為查詢圖序列g(shù)s,用于編碼和排序.為了盡可能完整地保留查詢圖的結(jié)構(gòu)化信息,本文根據(jù)查詢圖的結(jié)構(gòu)進(jìn)行序列轉(zhuǎn)換,整個(gè)過(guò)程可以被理解為查詢圖構(gòu)建的拆解過(guò)程.當(dāng)構(gòu)建查詢圖時(shí),首先進(jìn)行搜索主路徑操作,然后在主路徑上分別增加類型詞、實(shí)體、時(shí)間詞和序數(shù)詞4種約束.可以看出,一個(gè)查詢圖至多包含5種組成成分,即主路徑和4種約束路徑,并且每一部分都有相對(duì)固定的語(yǔ)義結(jié)構(gòu).

依據(jù)查詢圖的固定結(jié)構(gòu),本文選擇根據(jù)預(yù)定義的子路徑順序?qū)⒉樵儓D轉(zhuǎn)換為對(duì)應(yīng)查詢圖序列.這種方式不僅能夠?qū)⒉樵儓D中的所有信息都轉(zhuǎn)為序列形式,而且得到的查詢圖序列具有一定的規(guī)律性,更有利于模型編碼.在轉(zhuǎn)換過(guò)程中,首先根據(jù)不同的組成成分將查詢圖分為不同的子路徑,分別為:類型詞路徑、實(shí)體詞路徑、時(shí)間詞路徑、序數(shù)詞路徑和主路徑.比如,圖1(a)中實(shí)體約束“Prime minister”對(duì)應(yīng)的實(shí)體詞路徑是“basic title prime minister.”.然后,5種子路徑序列被組合成對(duì)應(yīng)的查詢圖序列,其中不同子路徑之間通過(guò)額外的標(biāo)識(shí)字符[unused0-3]進(jìn)行分隔.如圖1(a)所示,得到的查詢圖序列為“people person.[unused0] basic title prime minister.[unused1] from after 1980.[unused2] height max 1.[unused3] spain governing officials-office holder [A]”,其中“[A]”是答案字符串.

3.2.2 問(wèn)句和查詢圖編碼

在查詢圖g被轉(zhuǎn)換成查詢圖序列g(shù)s后,問(wèn)句q和查詢圖g的匹配問(wèn)題就轉(zhuǎn)換為問(wèn)句q和查詢圖序列g(shù)s之間的匹配問(wèn)題.這一轉(zhuǎn)換使得序列編碼模型可以更好地編碼查詢圖,并且更自然地建模兩個(gè)序列之間的交互信息,得到更好的編碼特征.在前人的工作中[5],研究者通過(guò)設(shè)計(jì)人工特征來(lái)豐富問(wèn)句和查詢圖的編碼信息,而本文方法可以避免構(gòu)建人工特征.

為了編碼問(wèn)句和查詢圖序列,本文選擇采用BERT模型作為編碼器,用來(lái)同時(shí)對(duì)問(wèn)句和查詢圖序列進(jìn)行編碼,并得到對(duì)應(yīng)的特征表示.BERT是一種基于Transformer[24]架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型,在自然語(yǔ)言處理領(lǐng)域被廣泛使用.在已有的序列編碼模型中,BERT預(yù)訓(xùn)練語(yǔ)言模型在許多任務(wù)上都具備良好的表現(xiàn),同時(shí)它還支持面向句子對(duì)進(jìn)行編碼.這種基于句子對(duì)的編碼方式可以自然地建模兩個(gè)句子之間的交互信息,這尤其適用于本文設(shè)計(jì)的問(wèn)句和查詢圖序列兩者之間的匹配任務(wù).在基于BERT實(shí)現(xiàn)問(wèn)句和查詢圖序列的編碼過(guò)程中,本文采用句子對(duì)形式作為BERT模型的輸入,整個(gè)編碼框架如圖1(b)所示.給定問(wèn)句q={w1,w2,…,wm}和查詢圖序列g(shù)s={u1,u2,…,un},其中wi和ui分別對(duì)應(yīng)問(wèn)句和查詢圖序列中的一個(gè)字單元,將其按照BERT模型的輸入格式進(jìn)行拼接并形成對(duì)應(yīng)的句子對(duì)序列pqgs={[CLS],w1,…,wm,[SEP],u1,…,un,[SEP]}.對(duì)于候選查詢圖集合中的每個(gè)查詢圖g∈G都采用上述方式和對(duì)應(yīng)的問(wèn)題q形成句子對(duì)pqgs,并輸入給BERT進(jìn)行編碼.最終使用[CLS]節(jié)點(diǎn)的輸出向量作為問(wèn)句和查詢圖序列的交互語(yǔ)義特征表示,記為f,該語(yǔ)義特征表示在排序模型中被用于計(jì)算問(wèn)句和查詢圖序列的語(yǔ)義相似度得分.

3.2.3 查詢圖排序模型

(1)

(2)

其中yi為查詢圖的標(biāo)簽,正例查詢圖標(biāo)簽為1,負(fù)例查詢圖標(biāo)簽為0.

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 數(shù)據(jù)集

本文在WebQuestions(WebQ)[18]和ComplexQuestions(CompQ)[5]兩個(gè)廣泛使用的知識(shí)圖譜問(wèn)答數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).數(shù)據(jù)集WebQ包含有簡(jiǎn)單問(wèn)題和復(fù)雜推理問(wèn)題兩種類型的問(wèn)題,共有5,810個(gè)問(wèn)答對(duì),其中簡(jiǎn)單問(wèn)題占比84%,復(fù)雜問(wèn)題占比16%,整個(gè)數(shù)據(jù)類型分布符合用戶真實(shí)查詢場(chǎng)景下的分布情況.數(shù)據(jù)集CompQ是為復(fù)雜推理問(wèn)答而設(shè)計(jì),包含有2,100條復(fù)雜問(wèn)答對(duì).兩個(gè)數(shù)據(jù)集都以Freebase[25]作為知識(shí)庫(kù),在實(shí)驗(yàn)中兩者均被劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,具體劃分情況如表1所示.

表1 數(shù)據(jù)集劃分統(tǒng)計(jì)Table 1 Partitions of datasets

4.1.2 參數(shù)設(shè)置

在問(wèn)句和查詢圖序列編碼中,本文采用BERT-Base模型作為編碼器.在實(shí)驗(yàn)過(guò)程中,通過(guò)比較系統(tǒng)在驗(yàn)證集上的性能進(jìn)行系統(tǒng)參數(shù)設(shè)置.對(duì)于BERT模型中的參數(shù),設(shè)置丟棄率為0.1,隱藏層大小為768.在模型訓(xùn)練中,使用Adam作為優(yōu)化器,并且設(shè)置學(xué)習(xí)率為5×10-5,最大訓(xùn)練輪次為5次.在每輪訓(xùn)練結(jié)束后,在驗(yàn)證集上評(píng)價(jià)模型的性能,并選擇驗(yàn)證集上表現(xiàn)最好的模型作為最終模型在測(cè)試集上進(jìn)行測(cè)試.在構(gòu)建訓(xùn)練數(shù)據(jù)時(shí),按照1:120的正負(fù)比例進(jìn)行數(shù)據(jù)組的構(gòu)建,其中負(fù)例從查詢圖生成得到的候選查詢圖集合中隨機(jī)選取.對(duì)于評(píng)價(jià)機(jī)制,沿用以往研究中使用的F1值進(jìn)行模型評(píng)價(jià)[18].

4.2 實(shí)驗(yàn)結(jié)果

表2展示本文方法和已有方法在WebQ和CompQ兩個(gè)數(shù)據(jù)集上的比較結(jié)果.按照是否基于查詢圖,已有的方法被分為兩類,其中“基于查詢圖”表示使用查詢圖的系統(tǒng)方法,而“其他方法”表示沒(méi)有使用查詢圖的系統(tǒng)方法.在“其他方法”中,Berant等基于λ-DCS實(shí)現(xiàn)問(wèn)句解析,并根據(jù)解析結(jié)果從知識(shí)庫(kù)中檢索出最終答案.Chen等和Xu等基于機(jī)器閱讀理解的方法實(shí)現(xiàn)知識(shí)圖譜問(wèn)答,能夠以知識(shí)圖譜作為背景知識(shí)檢索到對(duì)應(yīng)的答案.而Jain在WebQ上實(shí)現(xiàn)了最好的結(jié)果,但其在答案選擇中額外引入問(wèn)句復(fù)述數(shù)據(jù)集WikiAnswers來(lái)增強(qiáng)問(wèn)句的表示.

表2 和現(xiàn)有方法的比較結(jié)果Table 2 Comparison results with previous methods

在基于查詢圖的方法中,Bao等、Yih等和Luo等采用相似的分階段查詢圖生成方法,即先生成主路徑,后進(jìn)行約束掛載.其中,Luo等結(jié)合查詢圖整體結(jié)構(gòu)提出一種針對(duì)復(fù)雜查詢圖的編碼策略,從而將查詢圖編碼為對(duì)應(yīng)的語(yǔ)義向量,更有效地實(shí)現(xiàn)問(wèn)句和查詢圖的語(yǔ)義匹配,也取得了更好的性能.不同于已有的分階段查詢圖生成方法,Hu等基于狀態(tài)轉(zhuǎn)移的策略將問(wèn)句解析為語(yǔ)義查詢圖,然后將語(yǔ)義查詢圖與底層知識(shí)圖譜進(jìn)行映射并檢索答案.為了降低查詢圖生成中的搜索空間,Lan等基于束搜索生成主路徑,同時(shí)考慮約束的掛載,這種方式有效減少了搜索空間,實(shí)現(xiàn)了更有效的查詢圖生成過(guò)程,并在CompQ上取得了最好的效果.

從表2中可以看出,相比于已有方法,本文方法在CompQ上實(shí)現(xiàn)了最好的結(jié)果,并且在WebQ上也排在第2位.同時(shí),與WebQ數(shù)據(jù)集上最好的Jain方法相比,本文方法在沒(méi)有引入額外資源WikiAnswers的基礎(chǔ)上就實(shí)現(xiàn)了與其相當(dāng)?shù)男阅?這顯示出本文所提知識(shí)圖譜問(wèn)答系統(tǒng)的優(yōu)越性.此外,當(dāng)和基于查詢圖的系統(tǒng)進(jìn)行比較時(shí),文中實(shí)現(xiàn)的系統(tǒng)顯著超過(guò)了所有基于查詢圖的方法,這說(shuō)明本文提出的查詢圖選擇模型是十分有效的.從以上比較可以看出,本文提出的基于全局排序的查詢圖選擇方法是可行的,它可以有效提升基于查詢圖的知識(shí)圖譜問(wèn)答系統(tǒng)性能,并且與其他方法相比,也具有一定的優(yōu)勢(shì).

4.3 討論和分析

4.3.1 查詢圖轉(zhuǎn)序列分析

為了探究查詢圖轉(zhuǎn)序列對(duì)系統(tǒng)的影響,本文從兩個(gè)角度對(duì)生成的查詢圖序列進(jìn)行分析,其中一方面探究查詢圖轉(zhuǎn)序列中預(yù)定義子路徑的有效性,另一方面對(duì)查詢圖序列中的不同組成成分進(jìn)行消融分析.

在查詢圖轉(zhuǎn)序列方法中,本文采用預(yù)定義子路徑順序的策略生成對(duì)應(yīng)的查詢圖序列,這種設(shè)計(jì)初衷是想保留更多結(jié)構(gòu)化的有序信息讓模型更易于編碼.作為對(duì)比,本文進(jìn)一步采用隨機(jī)策略的方式將不同子路徑組合成查詢圖序列,表3給出了兩種實(shí)現(xiàn)方法的比較結(jié)果.從表中可以看出,相比于子路徑順序固定的方法,子路徑順序隨機(jī)化的方式都有一定程度的性能下降,并且在WebQ和CompQ數(shù)據(jù)集上分別降低了0.7%和0.9%.這種現(xiàn)象表明,本文設(shè)計(jì)的子路徑順序固定的查詢圖序列生成方式更加合理.相比于子路徑順序隨機(jī)的方式,基于子路徑順序固定的方法可以保留更多結(jié)構(gòu)化的信息,使得轉(zhuǎn)換得到的查詢圖序列具備一定的規(guī)律性,而這種規(guī)律性也更有利于問(wèn)句和查詢圖序列的匹配,取得更好的系統(tǒng)性能.

表3 子路徑順序?qū)ο到y(tǒng)的影響

在查詢圖轉(zhuǎn)序列中,本文生成的查詢圖序列包含了查詢圖中的所有信息.為了分析查詢圖序列中不同組分對(duì)系統(tǒng)的影響,這里進(jìn)一步從當(dāng)前系統(tǒng)中移出相關(guān)組成部分進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4所示.其中,“查詢圖序列”指包含主路徑和4種約束路徑的完整查詢圖序列構(gòu)成的系統(tǒng),“w/o 約束路徑”指在查詢圖序列中去除約束路徑信息的系統(tǒng),“w/o 答案字符串”指在查詢圖序列中去除答案字符串的系統(tǒng).實(shí)驗(yàn)結(jié)果表明,無(wú)論是去除約束路徑還是答案字符串,系統(tǒng)的性能都會(huì)下降.同時(shí)就“w/o 約束路徑”對(duì)應(yīng)的結(jié)果而言,可以看出系統(tǒng)在WebQ和CompQ數(shù)據(jù)集上分別下降了1.6%和2.1%,并且在CompQ數(shù)據(jù)集上下降得更多.這種性能下降的差異與CompQ數(shù)據(jù)集中包含更多的復(fù)雜約束問(wèn)句相一致,說(shuō)明復(fù)雜問(wèn)句越多,約束路徑越重要.從上述實(shí)驗(yàn)分析可以看出,查詢圖序列中包含的所有組成部分都是必不可少的,都可以在查詢圖選擇中發(fā)揮正向作用.

表4 查詢圖序列中不同組成部分對(duì)系統(tǒng)的影響Table 4 Effect of different components in query graph sequence on the system

4.3.2 全局排序的有效性

在本小節(jié)中,具體分析全局排序模型在查詢圖選擇中的有效性.作為對(duì)比系統(tǒng),本文選擇兩種典型的排序模型進(jìn)行比較:Luo實(shí)現(xiàn)的二元排序模型[6]和基于二分類的單元排序模型,其中二元排序方法采用鉸鏈損失函數(shù).

表5展示了3種不同的排序策略在WebQ和CompQ數(shù)據(jù)集上的比較結(jié)果.其中單元排序?qū)γ總€(gè)候選查詢圖進(jìn)行二分類,在優(yōu)化中不考慮候選查詢圖之間的關(guān)聯(lián);二元排序在優(yōu)化中考慮兩兩候選查詢圖之間的關(guān)聯(lián);而本文的全局排序引入了所有候選查詢圖之間的關(guān)聯(lián)進(jìn)行優(yōu)化.表中結(jié)果顯示,引入候選查詢圖之間關(guān)聯(lián)的全局排序和二元排序明顯優(yōu)于單元排序模型.這種現(xiàn)象表明在排序中引入候選查詢圖之間的關(guān)聯(lián)是有效的,這種關(guān)聯(lián)信息有利于查詢圖選擇模型區(qū)分正確查詢圖和錯(cuò)誤查詢圖之間的區(qū)別,從而更好地進(jìn)行優(yōu)化.此外,相比于單元排序,二元排序和全局排序在CompQ數(shù)據(jù)集上比在WebQ數(shù)據(jù)集上取得了更大的提升,這在一定程度上反映出復(fù)雜問(wèn)題可能更需要額外信息來(lái)區(qū)別候選查詢圖.從表5中也可以看出,本文提出的全局排序模型在兩個(gè)數(shù)據(jù)集上都取得了最好的性能,這說(shuō)明基于全局信息的排序模型在查詢圖選擇中更加有效,因此有必要在查詢圖選擇模型中引入候選查詢圖之間的關(guān)聯(lián).

表5 全局排序與其他排序方法的比較實(shí)驗(yàn)Table 5 Comparison results of different ranking methods

4.3.3 錯(cuò)誤分析

為了更好地幫助改進(jìn)查詢圖選擇模型,本小節(jié)具體分析當(dāng)前系統(tǒng)在查詢圖選擇模塊中出錯(cuò)的原因.當(dāng)查詢圖生成模塊產(chǎn)生的候選查詢圖不包含正確答案時(shí),本文所介紹的系統(tǒng)無(wú)法選擇出正確的查詢圖并回答問(wèn)題.因此這里針對(duì)正確答案在查詢圖候選中,但最終回答出錯(cuò)的問(wèn)題進(jìn)行分析.針對(duì)WebQ數(shù)據(jù)集,本文隨機(jī)選取了100條問(wèn)句進(jìn)行統(tǒng)計(jì)分析,錯(cuò)誤情況總結(jié)如下:

錯(cuò)誤的查詢圖生成.在查詢圖能夠檢索到正確的答案的情況下,本文進(jìn)一步發(fā)現(xiàn)盡管有些查詢圖能夠檢索得到正確的答案,但是實(shí)際上解析得到的查詢圖并不能保證是正確的.比如,對(duì)于問(wèn)題“where was david berkowitz arrested?”,查詢圖生成的候選中包含“david berkowitz places lived-location brooklyn,new york city”.這一候選可以檢索到對(duì)應(yīng)的答案“brooklyn,new York city”,但事實(shí)上該候選查詢圖序列在語(yǔ)義上與問(wèn)句并不完全匹配,因此模型很難選出這樣的查詢圖.在100條問(wèn)句中,這種錯(cuò)誤類型包含45條(45%).對(duì)于這種錯(cuò)誤,需要進(jìn)一步提高查詢圖生成的性能以及增加知識(shí)圖譜本體的覆蓋率,從而減少這種情況的發(fā)生.

錯(cuò)誤的查詢圖選擇.這種情況下候選查詢圖中包含有解析正確的查詢圖,但系統(tǒng)仍然回答錯(cuò)誤.這些錯(cuò)誤可以總結(jié)為兩大類.第1類(40%)是系統(tǒng)選擇了錯(cuò)誤的主路徑關(guān)系所對(duì)應(yīng)的查詢圖,導(dǎo)致回答錯(cuò)誤;第2類(15%)是系統(tǒng)選擇了錯(cuò)誤的約束,即約束子路徑匹配出錯(cuò).為了解決這類錯(cuò)誤,可能需要在查詢圖選擇中引入更多信息來(lái)更好地區(qū)分正確查詢圖和錯(cuò)誤查詢圖之間的區(qū)別.

5 結(jié)束語(yǔ)

本文提出一種新的面向知識(shí)圖譜問(wèn)答的查詢圖選擇方法,將問(wèn)句和查詢圖的匹配轉(zhuǎn)換為兩個(gè)序列之間的匹配任務(wù),并設(shè)計(jì)一種基于全局信息的查詢圖排序模型,來(lái)提升知識(shí)圖譜問(wèn)答系統(tǒng)的性能.在具體實(shí)現(xiàn)中,首先通過(guò)線性化將查詢圖轉(zhuǎn)換為查詢圖序列,然后使用BERT編碼問(wèn)句和查詢圖序列之間的語(yǔ)義表示.此外,通過(guò)全局排序來(lái)選擇最優(yōu)查詢圖,排序模型可以對(duì)候選查詢圖之間的關(guān)聯(lián)進(jìn)行建模.在WebQ和CompQ兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明,本文所提的查詢圖選擇方法能夠提高知識(shí)圖譜問(wèn)答系統(tǒng)的效果,從而證明了所提方案的有效性.在將來(lái)工作中,會(huì)進(jìn)一步考慮引入與查詢圖相關(guān)的額外附加信息來(lái)提高查詢圖語(yǔ)義表達(dá)能力,同時(shí)進(jìn)一步優(yōu)化查詢圖排序模型.