基于上下文的深度語義句子檢索模型

范意興，郭嘉豐，蘭艷艷，徐 君，程學(xué)旗

(1. 中國科學(xué)院網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)重點實驗室 中國科學(xué)院 計算技術(shù)研究所，北京 100190；2. 中國科學(xué)院大學(xué)，北京 100190)

基于上下文的深度語義句子檢索模型

范意興1，2，郭嘉豐1，蘭艷艷1，徐 君1，程學(xué)旗1

(1. 中國科學(xué)院網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)重點實驗室 中國科學(xué)院 計算技術(shù)研究所，北京 100190；2. 中國科學(xué)院大學(xué)，北京 100190)

傳統(tǒng)的信息檢索的研究多集中在文檔級的檢索場景中，然而，句子級的檢索在如移動應(yīng)用以及信息需求更加明確的檢索場景下具有非常重要的意義。在句子級的檢索場景下，我們認為句子的上下文能夠提供更加豐富的語義信息來支撐句子與查詢的匹配，基于此，該文提出了一個基于句子上下文的深度語義句子檢索模型(context-aware deep sentence matching model, CDSMM)。具體的，我們使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來建模句子內(nèi)部以及句子上下文的語義信息，基于句子和查詢的語義信息得到它們的匹配程度，在WebAP句子檢索數(shù)據(jù)集上的實驗表明，我們的模型性能顯著地優(yōu)于其他的方法，并取得了目前最好的效果。

信息檢索；文本匹配；循環(huán)神經(jīng)網(wǎng)絡(luò)

1 引言

網(wǎng)頁信息檢索作為人們獲取信息的一個重要渠道，已經(jīng)得到了研究人員深入且廣泛的研究。傳統(tǒng)的信息檢索系統(tǒng)通常對用戶提交的查詢返回多個相關(guān)的網(wǎng)頁，根據(jù)網(wǎng)頁內(nèi)容與查詢的相近程度將網(wǎng)頁排序并呈現(xiàn)給用戶。近年來，隨著移動終端如智能手機的大量普及，人們通過移動設(shè)備進行信息查詢的需求也不斷加大，相對于電腦而言，移動設(shè)備屏幕大小的限制使得傳統(tǒng)以網(wǎng)頁作為結(jié)果的檢索方式變得越來越不能滿足人們的需求。同時，不同的查詢結(jié)果可以是不同粒度大小的文本內(nèi)容，比如，事實型的查詢結(jié)果可能是一個簡單命名實體，而導(dǎo)航類的查詢結(jié)果則可能是一個完整的網(wǎng)頁。在實際的檢索場景中，存在大量的語義豐富的長查詢(查詢詞個數(shù)超過5個)，相比其他關(guān)鍵詞類型的短查詢，這類查詢具有更加明確的信息需求，能夠通過一個相對短的句子或者段落來回答?；诰渥蛹墑e的檢索不僅能解決移動設(shè)備屏幕大小的限制問題，同時針對語義豐富的長查詢能返回更加精確的答案。

近年來，深度學(xué)習(xí)技術(shù)在文本匹配相關(guān)領(lǐng)域取得了顯著的進步，例如自動問答[1]，復(fù)述問題[2]，信息檢索[3]等。在自動問答與復(fù)述問題等任務(wù)中，深度學(xué)習(xí)技術(shù)建模句子間匹配的能力已經(jīng)得到研究人員的驗證[1,3]；在信息檢索中，已有的模型大都是對整個文檔內(nèi)容與查詢的相關(guān)性進行建模，對于信息需求不是十分明確的短查詢而言，完整的文檔內(nèi)容能提供給用戶更加滿意的答案，基于文檔級的檢索是比較合適的；然而對于信息需求更加明確的長查詢，相關(guān)的信息經(jīng)常出現(xiàn)在一個或是多個簡短的句子中。本文中，我們認為對于信息需求更加明確的查詢，一個文檔段落或者是多個連續(xù)的句子比整個文檔作為查詢結(jié)果更加合適。在此假設(shè)的基礎(chǔ)上，我們提出了一個基于上下文句子的深度句子匹配的模型，具體的，我們使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來建模每個句子內(nèi)部以及上下文句子的語義信息，對于查詢同樣使用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)得到其語義信息，在此基礎(chǔ)上，我們構(gòu)建了一個查詢與句子的匹配交互矩陣，經(jīng)過多層感知機網(wǎng)絡(luò)得到該句子與查詢的相關(guān)程度。我們在WebAP數(shù)據(jù)集上進行了實驗，結(jié)果表明，使用RNN能夠很好地捕捉句子上下文的語義信息，我們的方法取得了更高的準確度和穩(wěn)定性。

本文的主要貢獻是我們提出了一個基于上下文句子的深度句子檢索模型，基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)有效地將上下文句子的語義信息整合到當前句子中，從而更好地建模了句子與查詢的匹配。同時，我們在基于句子級的檢索任務(wù)上進行了詳細的實驗，我們的模型比當前最佳模型的效果有顯著提升，我們也對此進行了詳細的分析。

2 相關(guān)工作

本文相關(guān)工作主要包括社區(qū)問答任務(wù)、事實型問答任務(wù)以及基于段落的信息檢索。接下來將對這幾個相關(guān)的工作進行詳細的介紹。

社區(qū)問答任務(wù)是針對一個給定的問題，將所有候選的答案進行排序，返回相關(guān)的答案作為結(jié)果。Surdeanu[4]等人從Yahoo! Answers 提取了一個較大的問答任務(wù)的數(shù)據(jù)集，同時，他們綜合了一些相似度特征以及翻譯特征并用學(xué)習(xí)排序模型來解決這個問題，取得了不錯的結(jié)果。Molino[5]等人發(fā)現(xiàn)基于詞向量構(gòu)建的具有豐富語義信息的特征能夠顯著提高問答任務(wù)的準確度。Jansen[6]等人整合了詞匯的語義信息以及兩類語篇信息作為特征，提出了一個對結(jié)果進行重排的模型。社區(qū)問答任務(wù)與基于句子的檢索任務(wù)還是存在一定的差異： 句子檢索任務(wù)的候選答案通常分布在文檔的不同位置甚至多個文檔中，且候選的文檔集數(shù)量很大，而社區(qū)問答任務(wù)的候選答案集合相對較小。

事實型問答任務(wù)的特點是其答案往往是某個具體的對象，如人名或者地名等命名實體。事實型問答任務(wù)已經(jīng)吸引了大量的研究人員關(guān)注[7-9]，Yao[8]等人基于問題與候選答案構(gòu)建了一個線性鏈條件隨機場模型來學(xué)習(xí)問題與答案的關(guān)聯(lián)，將答案的抽取問題變成一個序列標注問題。Yu[9]等人基于分布式表達的思想，將問題與答案都映射到一個分布式的語義表達中，然后基于二者的表達來學(xué)習(xí)問題與答案的匹配程度。本文的基于句子的檢索任務(wù)與事實型問答任務(wù)最大的不同是本文聚焦的是非事實型的查詢，其答案往往是一個或者多個相關(guān)的句子。

基于段落的檢索最早被用來提高基于關(guān)鍵詞檢索的性能[10-11]，Liu[11]等人將段落的信息用來進行查詢擴展，從而提高檢索的精度。Lv[12]等人提出一種位置語言模型，在文檔的每個位置構(gòu)建了一個語言模型，每個位置的得分以某種衰減的方式傳播到其他的位置，該模型可以看作是一種軟段落的檢索?；诙温涞臋z索能有效的提高檢索的性能，相比基于文檔的檢索，基于段落的檢索還能給出文檔中具體匹配的信息。一個段落一般是由多個連續(xù)的句子組成，因此基于段落的檢索是介于基于文檔的檢索與基于句子檢索的中間狀態(tài)?；诰渥蛹壍臋z索近年來也得到了研究人員的關(guān)注[13-15]，Keikha[14]等人在Trec Gov2的數(shù)據(jù)集的基礎(chǔ)上，標注了一份非事實型的查詢數(shù)據(jù)，對每一篇文檔的每一個句子進行了相關(guān)性的標注，同時他們還對已有的方法在該數(shù)據(jù)集上的效果進行了檢驗，發(fā)現(xiàn)已有的檢索模型在該數(shù)據(jù)集上的效果并不是很好。Yang[13]等人提出新的基于語義以及上下文的特征，利用學(xué)習(xí)排序模型，在Keikha提出的數(shù)據(jù)集上取得了比以往更好的實驗結(jié)果。本文的工作是上述兩個工作在基于句子檢索任務(wù)的延續(xù)，利用循環(huán)神經(jīng)網(wǎng)絡(luò)更好的建模問題與句子的匹配信息，避免了人工構(gòu)建特征，并且取得了更好的實驗結(jié)果。

3 模型

循環(huán)神經(jīng)網(wǎng)絡(luò)在句子等序列數(shù)據(jù)的建模上具有獨特的優(yōu)勢，近期研究人員發(fā)現(xiàn)使用雙向的RNN比僅使用一個方向的RNN能捕捉到更多的序列模式信息[1]、更好的建模句子的語義信息。因此，我們使用了雙向的循環(huán)神經(jīng)網(wǎng)絡(luò)來建模查詢和句子的語義信息，基于此，我們提出了一個基于上下文的深度句子匹配模型CDSMM(context-aware deep sentence match model)。如圖1所示，模型包含了兩個部分： 首先是查詢與句子的建模部分，對于查詢直接使用雙向的神經(jīng)網(wǎng)絡(luò)模型進行建模，對于句子則使用的是基于上下文句子的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型進行建模，基于得到的查詢和句子中每個位置的元素的交互，構(gòu)建了一個交互矩陣M；然后在M中，我們使用了位置相關(guān)的動態(tài)k最大池化(dynamic k-max pooling)方法得到顯著的k個信號，并通過一個多層感知機將上一步得到的k個信號綜合成最終的匹配得分。

圖1 基于上下文的深度句子匹配模型

圖2 LSTM神經(jīng)元

3.1 第一步： 語義交互

由于查詢和句子自然存在序列依賴關(guān)系，因此我們選用了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bi-RNN))來建模，但RNN的訓(xùn)練存在梯度消失與爆炸的問題，為了解決這個問題，研究人員提出了許多解決方案，最常用的就是使用長短時記憶神經(jīng)元(long short term memory, LSTM)，如圖2*該LSTM神經(jīng)元的圖引自www.colah.github.io/posts/2015-08-Understanding-LSTMs/所示，LSTM特殊的門機制能夠捕捉長距離和短距離的依賴，并且能動態(tài)地學(xué)習(xí)不同位置的不同的依賴模式，充分地建模各個位置的語義信息。具體的，給定一個序列S={x0,x1…,xT}，其中xt是位置t上的單詞的表達，LSTM通過式(1)～(5)來生成每個位置上的表達ht：

在每個位置表達的基礎(chǔ)上，我們基于每個位置的交互構(gòu)建整個查詢與句子之間的交互。具體的，我們使用了4種不同的交互方式,它們分別是：

Dot： 計算兩個向量的點積，s(w,v)=wTv。

Bilinear： 建模了兩個向量不同維度的交互，s(w,v)=wTMv+b其中M是交互矩陣，b是偏置項。

Tensor: 張量神經(jīng)網(wǎng)絡(luò)是一種更加一般性的交互函數(shù)[16]，和其他三個不一樣的是，它的輸出是一個向量，如式(6)所示。

其中，Mi,i∈[1,…,c] 是一個矩陣，Ww和Wv是線性部分參數(shù)，b為偏置項，f是非線性函數(shù)。

最終，我們得到了查詢Q與句子的交互矩陣(或張量)。

3.2 第二步： 多層感知機融合

在第一步中，我們得到了查詢Q與句子S的交互矩陣(或張量)。我們使用了動態(tài)的K最大池化[16]技術(shù)，從交互矩陣(或張量)中得到k個顯著的信號。具體的，我們根據(jù)交互矩陣(或張量)的大小，動態(tài)的劃分成k個互不重疊的區(qū)域，然后在每個區(qū)域上選取最大的信號組合成k個顯著的信號，動態(tài)k最大池化是位置相關(guān)的，能更好捕捉查詢Q與句子S中不同位置的匹配程度。最終，我們將得到的k個信號通過多層感知機融合成最終的匹配得分，如式(7)～(8)所示。

其中，Wr和Ws是多層感知機的參數(shù)，br和bs是對應(yīng)的偏置項，f是Tanh激活函數(shù)。

3.3 模型參數(shù)及訓(xùn)練

由于本文的實驗是一個排序的任務(wù)，我們使用的是基于pairwise的hinge loss來訓(xùn)練。給定一個三元組(q,s+,s-)，其中q是查詢，s+是比s-排序更高的句子。損失函數(shù)的定義，如式(9)所示。

其中S(q,s)是查詢q與句子s的匹配得分；Θ是模型的參數(shù)，包括LSTM的參數(shù)以及多層感知機的參數(shù)。優(yōu)化方法采用的是標準的后向傳播，使用小批量(mini-batch)隨機梯度下降方法AdaGrad[17]，每個批量的大小設(shè)置為100。同時，使用了早停止的策略來避免過擬合。LSTM與多層感知機中的矩陣W的初始化是以0為均值，0.02為方差的高斯分布。單詞的表達我們選用的是在維基百科語料上預(yù)訓(xùn)練的50維的詞向量，訓(xùn)練的模型用的是Mikolov[18]的Skip-Gram的模型，訓(xùn)練參數(shù)是作者推薦的默認的參數(shù)*https://code.google.com/archive/p/word2vec/。

4 實驗及分析

首先給出本文實驗的簡單定義，給定一系列的非事實型的查詢{Q1，Q2…，Qn} 以及一系列的文檔集合{D1，D2…Dn}，其中這些文檔D中可能包含某個查詢的答案。我們的目標是給定一個查詢Q，對每個候選的文檔D中的每一個句子進行相關(guān)性的判斷，判斷句子是否構(gòu)成該查詢答案的一個部分。

4.1 數(shù)據(jù)集與評價指標

本文使用的WebAP*這個數(shù)據(jù)集是公開可下載的：http://ciir.cs.umas.edu/downloads/WebAP.數(shù)據(jù)集[15]。該數(shù)據(jù)集是基于TREC GOV2的文檔以及查詢構(gòu)建的。GOV2是從.gov的網(wǎng)站上抓取的網(wǎng)頁，最早于2004年被用到TREC Terabyte Track的任務(wù)中，包含了 25 000 000個文檔。WebAP數(shù)據(jù)集具體的構(gòu)建過程如下： 對于那些存在段落級別的查詢(總共是82個查詢)，使用已有的具有最好效果的檢索模型[19-20]從GOV2的文檔集中檢索出最相關(guān)的50個文檔，在這些文檔中，在TREC的標注中被標記為相關(guān)的文檔被挑選出來進行段落級別的標記，每個段落被標記為”完美”，”很好”，”好”，”一般”。最后被標記的查詢有82個，相應(yīng)的被標記的段落有8 027個，每個查詢平均有97個段落被標記。在這些被標記的段落中，43%的段落被標記為完美，44%的段落被標記為很好，10%段落被標記為好，剩下的則是一般，其余未被標記的段落則是完全無關(guān)。和 Liu[11]的工作一樣，我們用每個段落的標記信息作為該段落中每個句子的標記，并將原始的”完美”，”很好”，”好”，”一般”映射成[4, 3, 2, 1]的分數(shù)，這樣的句子的標記存在一個問題，即可能存在一個句子在某一個段落中標記為好，而在另一個段落中標記為一般；針對這個問題，我們通過多數(shù)投票的方式來決定這些句子的最終標記。最終我們得到991 233個句子，句子的平均長度為17.58。在這些被標記的句子中，有99.02%(981 510)個句子標記是0(也就是不相關(guān))，只有少于1%的句子是正的標記(149個句子標記為1 783個句子標記是24 283個句子的標記是34 508個句子的標記是4)。

由于數(shù)據(jù)集樣本數(shù)量的局限性，我們使用了5折交叉驗證的方法來避免模型的過擬合，具體的，我們將查詢切分成5個大小相等的集合，然后選擇其中的4個用來做訓(xùn)練，剩下的一個做測試，如此重復(fù)5次，最后將5個不同集合的結(jié)果的平均值作為最終的評價。評價指標方面，我們使用的是信息檢索領(lǐng)域常用的評價指標： NDCG@10、P@10以及MRR。

4.2 Baseline

我們選擇了三類的模型做對比實驗： 傳統(tǒng)信息檢索最好的模型、問答任務(wù)類中最新的模型及在WebAP數(shù)據(jù)集上最新的模型。

① 語言模型(LM)[21]： 語言模型計算的是查詢能被句子生成的log似然概率，由于句子中詞的稀疏性，我們使用了Dirichlet 分布對單詞的似然進行平滑，該方法又被稱為查詢似然函數(shù)，如式(10)所示。

② 卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)[9]： 卷積神經(jīng)網(wǎng)絡(luò)模型被用在TREC QA Track的數(shù)據(jù)集上，并取得了很好的效果。在本實驗中，作者使用了預(yù)先訓(xùn)練好的詞向量，并加入了詞頻的特征信息，利用監(jiān)督學(xué)習(xí)的方法訓(xùn)練了一個卷積神經(jīng)網(wǎng)絡(luò)模型。

③ 多視角深度文本匹配模型 (MV-LSTM)[1]: 該方法使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)將一段文本表達成多個不同位置的文本表達，然后基于所有位置的文本表達之間進行匹配，并得到最終的匹配得分。我們同樣使用了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來建模句子，不同的是，我們使用了基于上下文句子的信息來增強當前句子的表達，同時在匹配矩陣中我們選用的是基于位置相關(guān)的k最大池化，而MV-LSTM使用的是位置無關(guān)的k最大池化。

④ 學(xué)習(xí)排序方法(L2R+CSFeatures)[13]： 該方法使用了27個人工構(gòu)建的特征，它們分別是： 是否精確匹配、重疊詞個數(shù)、同義詞重疊比例、語言模型得分、候選句子長度、句子在原始文檔的位置、基于維基百科抽取的語義相關(guān)特征、基于詞向量的語義特征、實體關(guān)聯(lián)特征，以及前一個句子的所有特征和后一個句子的所有特征；然后使用MART(multiple regressive trees)將各個特征得分整合成最終的得分。該方法在WebAP數(shù)據(jù)集上取得了最好的結(jié)果。

4.3 實驗結(jié)果

表1 WebAP數(shù)據(jù)集實驗結(jié)果

實驗結(jié)果如表1所示。我們的模型(CDSMM)在各個評價指標上都比其他模型的結(jié)果要好，具體的，在Top-1的評價指標MRR上，我們的模型較當前最好的模型提高了28.57%，而在Top-10的評價指標NDCG@10和P@10上，我們分別提高了37.5%和13.64%。同時，從表中可以看到，使用了上下文句子信息的模型(L2R+CSFeature和CDSMM)效果要遠高于沒有使用上下文句子信息的模型，這說明對于非事實型的查詢，單個句子提供的信息往往不足以給出完整的答案，在借助了上下文句子信息的情況下能給出更好的結(jié)果。同時，我們也注意到在沒有使用上下文句子信息的情況下，LM比另外兩個基于神經(jīng)網(wǎng)絡(luò)的baseline方法效果更好，可能的一個原因是在WebAP數(shù)據(jù)集中的查詢都包含豐富的關(guān)鍵詞信息，如查詢“describe history oil industry”，在這類查詢中，精確匹配的信息要遠比近似匹配的效用更大，在精確匹配與近似匹配的區(qū)分能力上，LM比CNN和MV-LSTM的能力更強，因此取得更好的效果。

為了驗證我們的模型的魯棒性，我們對動態(tài)k最大池化中的k取值的結(jié)果進行分析，從圖3中可以看出，不同k值的選擇對結(jié)果的影響并不是很大，當k值等于100時，結(jié)果略微有所下降，主要是因為數(shù)據(jù)集中查詢n的平均長度為6，而平均的句子長度為15，因此，對于大部分的查詢而言，太大的k值將會引入額外的噪聲信息，從而會影響實驗的性能。同時，我們觀察到當k取值為10時取得最好的結(jié)果。

圖3 CDSMM中不同k值的結(jié)果比較

在查詢與句子中詞的交互中，我們使用了4種不同的交互方式，實驗結(jié)果如表2所示。在表2中，我們對這四種不同的交互性能進行了驗證。從表中可以看出，dot交互對應(yīng)的結(jié)果非常不好，主要原因是在dot交互時，詞之間的相似度值受詞向量的長度影響太大，在詞與詞之間的相似度度量上存在太大偏差。同時，我們觀察到基于cos的交互方式比bilinear以及tensor的效果要好。理論上，bilinear 比cos捕捉向量交互的能力更強，而tensor則更具有一般性， 然而在WebAP的數(shù)據(jù)集上結(jié)果并沒表現(xiàn)更好，主要是因為數(shù)據(jù)集大小的限制(只有82個查詢)，而bilinear和tensor的參數(shù)量遠大于cos，導(dǎo)致它們出現(xiàn)了過擬合現(xiàn)象。

表2 不同交互方式的實驗結(jié)果

5 總結(jié)與未來工作

本文提出了一種基于句子上下文的深度句子檢索模型，使用了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來建模句子內(nèi)部以及句子上下文的語義信息，更加充分地捕捉了查詢與候選句子的匹配信息，我們的模型在句子級的檢索任務(wù)上取得了目前最好的結(jié)果。然而，由于標注語料大小的限制，更加復(fù)雜的交互模式如雙線性及張量神經(jīng)網(wǎng)絡(luò)并沒取得更好的效果，如何在缺乏足夠標注數(shù)據(jù)集的情況下學(xué)習(xí)一個足夠強大的模型將是我們后續(xù)需要繼續(xù)研究的工作。同時，目前我們的模型在非事實型的查詢數(shù)據(jù)上取得很好結(jié)果，在其他類型的查詢?nèi)缡聦嵭偷牟樵償?shù)據(jù)上的能力需要進一步驗證。

[1] Shengxian Wan, Y Lan J. Guo, et al. A Deep Architecture for Semantic Matching with Multiple Positional Sentence Representations[C]//Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto, 2016.

[2] Dolan W B, Brockett C. Automatically constructing a corpus of sentential paraphrases[C]//Proceedings of the 3rd International Workshop on Paraphrasing, Sydney, 2005.

[3] Huang, Po-Sen, et al.Learning deep structured semantic models for web search using click through data[C]//Proceedings of the 22nd ACM International Conference on Conference on Information amp; Knowledge Management. San Francisco,2013.

[4] M. Surdeanu, M. Ciaramita, and H.Zaragoza. Learning to Rank Answers on Large Online QA Collections[C]//Proceedings of the 46th Annual Meeting of the ACL. Columbus, 2008:719-727.

[5] P Molino, L M Aiello. Distributed Representations for Semantic Matching in Non-factoid Question Answering[C]//Proceedings of the 37th Annual ACM SIGIR Conference . Queensland,2014:38-45.

[6] P Jansen, M Surdeanu, P Clark. Discourse Complements Lexical Semantics for Non-factoid Answering Reranking[C]//Proceedings of the 52nd Annual Meeting of the ACL. Baltimore , 2014:977-986.

[7] W. tau Yih, M W Chang, C Meek, et al. Question answering using enhanced lexical semantic models[C]//Proceedings of the 51st Annual Meeting of the ACL.Sofia,2013.

[8] X Yao, B V Durme, C Callison-burch, et al. Answer Extraction as Sequence Tagging With Tree Edit Distance[C]//Proceedings of the 11th Conference of the North American Chapter of the Association for Computational Linguistics. Atlanta, 2013.

[9] Yu Lei, Karl Moritz Hermann, Phil Blunsom, et al. Deep learning for answer sentence selection[J].Computer Science, arXiv preprint arXiv:1412.1632,2014.

[10] M Bendersky, O Kurland. Utilizing passage-based language models for document retrieval[C]//Proceedings of the 30th European Conference on Information Retrieval, Glasgow, 2008:162-174.

[11] X Liu, W Croft. Passage Retrieval Based on Language Models[C]//Proceedings of the 11th ACM Conference on Information and Knowledge Management. McLean, 2002:375-382.

[12] Lv Yuanhua, Chengxiang Zhai. Positional language models for information retrieval[C]//Proceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval. Boston, 2009.

[13] Yang Liu, et al. Beyond Factoid QA: Effective Methods for Non-factoid Answer Sentence Retrieval[M]. European Conference on Information Retrieval. Berlin:Springer , 2016.

[14] M Keikha, J H Park, W B Croft. Evaluating Answer Passages Using Summarization Measures[C]//Proceedings of the 37th Annual International ACM SIGIR Conference on Research amp; Development on Information Retrieval. Gold Coast,2014.

[15] M KeikHa, J H Park, W B Croft, et al. Retrieving Passages and Finding Answers[C]//Proceedings of the 19th Australasian Document Computing Symposium. Melbourne, 2014:81-84.

[16] Qiu Xipeng, Xuanjing Huang. Convolutional neural tensor network architecture for community-based question answering[C]//Proceedings of the 24th International Joint Conference on Artificial Intelligence. Buenos Aires,2015.

[17] Duchi John, Elad Hazan, Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization[J].Journal of Machine Learning Research 2011,12: 2121-2159.

[18] Omas Mikolov, Ilya Sutskever, Kai Chen, et al. Distributed Representations of Words and Phrases and their Compositionality[C]//Proceedings of the 27th Neural Information Processing Systems. Lake Tahoe, 2013.

[19] S Huston, W B Croft. A comparison of Retrieval Models Using Term Dependences[C]//Proceedings of the 25th ACM Conference on Information and Knowledge Management. Shanghai, 2014.

[20] D Metzler, W B Croft. A Markov Random Field Model for Term Dependencies[C]//Proceedings of 28th Annual International ACM SIGIR Conference on Research amp; Development on Information Retrieval. Salvador,2005.

[21] C Zhai, J Lafferty. A study of smoothing methods for language models applied to ad hoc information retrieval[C]//Proceedings of the 24th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New Orleans,2001:334-342.

范意興(1990—)，博士研究生，主要研究領(lǐng)域為信息檢索，機器學(xué)習(xí)，深度學(xué)習(xí)。

E-mail： fanyixing@software.ict.ac.cn

郭嘉豐(1980—)，博士，研究員，主要研究領(lǐng)域為信息檢索，文本挖掘和機器學(xué)習(xí)。

E-mail： guojiafeng@ict.ac.cn

蘭艷艷(1982—)，博士，副研究員，主要研究領(lǐng)域為深度學(xué)習(xí)，文本挖掘和機器學(xué)習(xí)。

E-mail： lanyanyan@ict.ac.cn

AContext-awareDeepSentenceMatchingModel

FAN Yixing1,2,GUO Jiafeng1, LAN Yanyan1, XU Jun1, CHENG Xueqi1

1.CAS Key Lab of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190,China；2. University of Chinese Academy of Sciences, Beijing 100190, China)

Traditional researches on information retrieval are focuse on document-level retrieval, neglecting, sentence-level information retrieval which is of great importance in such applications, as searching in mobile phone Assuming that the context sentence could provide richer evidence for matching. this paper proposes a context-aware deep sentence matching model(CDSMM). Specifically, the model employs bi-directional LSTM to capture the interior and exterior information of the sentence; Then, a matching matrix is constructed based on the sentence representation and query representation; Finally, we get the matching score after a feed forward neural network. Experiment results on the WebAP dataset show that out model can significantly out-perform the state-of-the-art models.

information retrieval; text matching; RNN

1003-0077(2017)05-0156-07

TP391

A

2016-08-20定稿日期2017-01-26

國家重點基礎(chǔ)研究發(fā)展計劃(“973”計劃)(2014CB340401，2013329606)；科技部重點研發(fā)計劃(2016QY02D0405)；國家自然科學(xué)基金(61232010，61472401，61425016，61203298)；中國科學(xué)院青年創(chuàng)新促進會優(yōu)秀會員項目(20144310，2016102)