融合多種神經(jīng)網(wǎng)絡與多特征的答案排序方法

王 龍，段利國，李愛萍,2

(1.太原理工大學 信息與計算機學院，山西 太原 030024；2.武漢大學 軟件工程國家重點實驗室，湖北 武漢 430072)

0 引 言

隨著互聯(lián)網(wǎng)技術飛快發(fā)展，數(shù)據(jù)信息急劇增多，面向大眾領域的問答系統(tǒng)成為越來越多的人獲取信息、共享知識的首選途徑，以百度知道為代表的社區(qū)問答系統(tǒng)在人們生活中應用廣泛，但其針對同一個問題往往有多個不同答案，而且答案的質量也良莠不齊。因此，旨在針對用戶的提問信息，分析篩選并返回給用戶所需的準確答案的答案排序算法起到重要作用。

通過分析眾多問答信息數(shù)據(jù)發(fā)現(xiàn)，相較于長文本問答對，無法更多提取短文本文本信息，導致其排序效果差距很大，達不到較高的準確率。因此提出融合多種神經(jīng)網(wǎng)絡與多特征的答案排序模型，由多種神經(jīng)網(wǎng)絡學習文本特征，同時引入多種特征信息提高準確率。

本文的主要貢獻如下：

(1)構建由卷積神經(jīng)網(wǎng)絡(CNN)、雙向門控循環(huán)單元(Bi-GRUs)和多層感知器(MLP)組成的多層神經(jīng)網(wǎng)絡模型，在融合層加入詞匯特征、主題特征等多種特征信息。

(2)對卷積神經(jīng)網(wǎng)絡(CNN)做出改進，采用2-Max Pooling做池化操作，同時引入Leaky Relu激活函數(shù)以解決“梯度消失”問題，加快收斂速度。

(3)該模型在WikiQA數(shù)據(jù)集上取得較好的答案排序效果。

1 相關工作

現(xiàn)階段答案排序方法可以分成兩類：第一類是傳統(tǒng)的基于詞匯、句法、語法等特征信息進行答案排序的機器學習方法；第二類是新興的基于神經(jīng)網(wǎng)絡模型的深度學習方法。近年來，部分研究人員嘗試將深度學習模型應用在答案排序的任務上，取得較好的效果。Nie L通過構建由一個離線學習組件和一個在線搜索組件組成的知識庫的方法進行答案選擇[1]。Severyn A先用二元卷積神經(jīng)網(wǎng)絡對問題和候選答案進行向量化表示，而后根據(jù)相似矩陣計算得到問題與候選答案的相似度值，并把此值與問題和候選答案的向量化表示相互拼接，再引入其它特征，最后通過softmax層對新拼接的向量進行分類[2]。Nie YP引入雙向長短時記憶(LSTM)編解碼器，有效地解決機器翻譯任務中出現(xiàn)的問題和答案之間的詞匯鴻溝，并使用step attention機制來允許問題集中在候選答案的某個部分[3]。Xiang等針對社區(qū)問答數(shù)據(jù)提出一個專注的深層神經(jīng)網(wǎng)絡結構，該結構采用卷積神經(jīng)網(wǎng)絡、基于注意力的長短時記憶網(wǎng)絡和條件隨機場的方法[4]。Fan等的工作則是利用多維特征組合和相似度排序對網(wǎng)絡論壇中的社區(qū)問答排序方法進行改進，充分利用問題答案中的信息來確定問題和答案之間的相似性，并使用基于文本的特征信息來確定答案是否合理[5]?；谝陨涎芯浚瑸榱烁玫靥岣叽鸢概判虻男阅?，本文提出了一種融合多種神經(jīng)網(wǎng)絡與多特征信息的深度學習模型。

2 融合多種神經(jīng)網(wǎng)絡與多特征信息的深度學習模型

在答案排序的研究過程中，僅僅對問題和候選答案進行深度學習是不全面的，其特有的詞匯特征、主題特征等多種特征信息也在一定程度上影響著答案排序效果，因此本文將多種神經(jīng)網(wǎng)絡和多特征信息進行融合，使用卷積神經(jīng)網(wǎng)絡學習問題和候選答案特征，采用雙向門控循環(huán)單元對融合多種特征信息的向量進行訓練，經(jīng)多層感知器處理后，通過softmax分類器得出最終排序結果。圖1為模型的基本結構。

圖1 網(wǎng)絡模型結構

2.1 輸入層

輸入層對數(shù)據(jù)集中的問題和候選答案均使用詞向量進行表示，該詞向量集來自于Google news，共收錄約300萬個英文詞，每個詞的維度均為300維，使用詞匹配的方式將問題和候選答案中的每個單詞與詞向量集中相對應單詞比對替換，查找不到的單詞使用300維的0向量進行表示。

此外，為確保模型具有健壯性，通過對WikiQA英文數(shù)據(jù)集中數(shù)據(jù)的分析得知，問題句子的最大長度為22，候選答案句子的最大長度為98，因此，實驗過程中全部采用最大長度120，對于長度不足的句子均用0進行補齊。

2.2 卷積神經(jīng)網(wǎng)絡

近年來，卷積神經(jīng)網(wǎng)絡[6]作為深度學習的典型算法得到了進一步發(fā)展，并被廣泛地應用在計算機視覺以及自然語言處理等多個領域。與普通的神經(jīng)網(wǎng)絡相比，其主要區(qū)別在于，卷積神經(jīng)網(wǎng)絡含有一個由卷積層和池化層構成的特征抽取器。且卷積和池化可以大大簡化模型的復雜度，減少模型的參數(shù)。圖2為卷積神經(jīng)網(wǎng)絡在自然語言處理中的應用示例。

圖2 卷積神經(jīng)網(wǎng)絡在自然語言處理中的應用示例

本實驗中，卷積層對輸入層中得到的120*300階的矩陣進行處理，其中120表示句子的長度，300代表詞向量的維數(shù)。當卷積作用在滑動窗口步長為2的句子上時，將得到119個輸出結果。其操作如式(1)所示

ci=f(W*vi,i+k-1+b)

(1)

W是卷積層權重矩陣，vi,i+k-1表示滑動窗口作用時第i個單詞到第i+k-1個單詞的詞向量組成的矩陣，b代表偏置項，f為激活函數(shù)。本文中選用基于Relu函數(shù)的變體Leaky-Relu。其相較于sigmoid和tanh等飽和激活函數(shù)，Relu及其變體作為非飽和激活函數(shù)能解決“梯度消失”問題并加快收斂速度。而Leaky-Relu函數(shù)能夠處理Relu函數(shù)在z小于0時，斜率為0的情況。其函數(shù)公式如式(2)所示

(2)

式中：0.05為斜率，函數(shù)圖像如圖3所示。

池化層對卷積核作用后的結果向量c=[c1,c2,…,c119] 做池化操作，實驗中使用最大池化的變體2-Max Pooling，與Max Pooling相比，其能夠提取所有特征值中得分最高的2個值，并且可以保留這些特征值原始的先后順序。通過進行池化操作后，便得到每一個卷積層所抽取的特征集中相對于較為重要的部分，即問題和候選答案的重要語義部分。圖4為2-Max Pooling的示例。

圖3 k=0.05時的Leaky-Relu函數(shù)

圖4 2-Max Pooling示例

此外，為防止過擬合現(xiàn)象的產生，引入了Dropout機制[7]，其原理是當數(shù)據(jù)在前向傳播的時候，讓若干神經(jīng)元的激活值以一定的概率p停止工作，反向傳播時再次激活。

2.3 融合層

融合層將經(jīng)卷積神經(jīng)網(wǎng)絡學習后得到的向量與主題特征、詞匯特征。詞匯特征和主題特征均采用one-hot編碼。其中主題特征由數(shù)據(jù)集中的Title項提供。詞匯特征由斯坦福大學提供的Standford CoreNLP工具包[8]進行處理獲得，其中主要包括詞性和命名實體識別兩項，英文詞性標注集合共有36種。表1給出了一個英文例句在經(jīng)過Standford CoreNLP工具包處理后的示例結果。

表1 英文例句處理結果示例

表中第三行對應例句中每個單詞的詞性標注結果，其中NNP代表專有名詞單數(shù)形式，VBD代表動詞過去式，DT代表限定詞，NN代表名詞單數(shù)形式，TO代表單詞to。表中第四行對應例句中每個單詞的命名實體關系特征，其中人名Kosgi Santosh被識別為PERSON，校名Stanford University被識別為ORGANIZATION，而其它非命名實體均用O來表示。

2.4 雙向門控循環(huán)單元

隨著深度學習的興起，長短時記憶網(wǎng)絡模型因為其學習過程更容易收斂且規(guī)避了循環(huán)神經(jīng)網(wǎng)絡的梯度爆炸和梯度消失問題，正在自然語言處理研究中發(fā)揮著越來越重要的作用，本課題所使用的門控循環(huán)單元是基于長短時記憶網(wǎng)絡模型而提出來的一種變體方式[9]，相較于由遺忘門單元、輸入門單元、輸出門單元和記憶細胞單元組成傳統(tǒng)記憶塊，門控循環(huán)單元只有一個更新門單元和一個重置門單元，且取消進行線性自更新的記憶細胞單元，而是在隱藏單元中利用門控直接進行線性自更新。其記憶塊的結構如圖5所示。

圖5 門控循環(huán)單元記憶塊結構

更新門單元主要用于控制前一時刻的狀態(tài)信息有多少被帶入到當前狀態(tài)中。將前一時刻的狀態(tài)信息和當前時刻的狀態(tài)信息分別進行線性變換，再將相加后得到的數(shù)據(jù)送入到更新門單元，更新門單元的值zt越大說明前一時刻的狀態(tài)信息被帶入的越多。如式(3)所示

zt=σ(Wz·[ht-1,xt])

(3)

rt=σ(Wr·[ht-1,xt])

(4)

門控循環(huán)單元不再使用單獨的記憶細胞單元存儲記憶信息，而是直接利用隱藏單元記錄歷史狀態(tài)。利用重置門單元rt控制當前信息和記憶信息的數(shù)據(jù)量，并生成新的記憶信息繼續(xù)向前傳遞，由于重置門單元的輸出在區(qū)間 [0,1] 內，因此利用重置門單元控制記憶信息能夠繼續(xù)向前傳遞的數(shù)據(jù)量，當重置門單元的輸出值為0時表示記憶信息全部消除，反之當重置門單元的輸出值為1時，表示記憶信息全部通過。如式(5)所示

(5)

(6)

單向門控循環(huán)單元主要是根據(jù)之前時刻的時序信息對下一時刻的輸出做預測，但是在有的一些問題里，當前時刻的輸出不單與之前的狀態(tài)信息有關，與未來的狀態(tài)信息也可能有關系，因此雙向門控循環(huán)單元[10]便應運而生，即在正向門控循序單元的基礎上添加反向門控循環(huán)單元，使其能夠同時對兩個方向的序列進行操作，每個節(jié)點會生成正向與反向兩個獨立的門控循環(huán)單元輸出向量，然后將這兩個獨立的輸出向量進行拼接作為當前節(jié)點的輸出結果，由此得到當前節(jié)點的向量信息。簡單來說可以將雙向門控循環(huán)單元看成是一個兩層的神經(jīng)網(wǎng)絡，第一層是從左側作為序列的輸入端，在文本處理上即是從句子的開頭開始輸入，而第二層則是從右側作為序列的輸入端，即是從句子的最后一個詞語作為輸入，反方向做與第一層同樣的操作。最后對得到的兩個結果進行拼接處理。圖6為雙向門控循環(huán)單元。

圖6 雙向門控循環(huán)單元

(7)

2.5 多層感知器

感知器網(wǎng)絡是一種典型的前饋人工神經(jīng)網(wǎng)絡模型，采用單向多層的結構，每層均包含若干個神經(jīng)元，同層的神經(jīng)元相互之間無連接，每層之間信息的傳送只沿一個方向進行，即從輸入層開始接收信息，處理后輸出到下一層，直至輸出層獲得最后結果[11]。第一層稱為輸入層，最后一層為輸出層，中間為隱藏層。隱藏層可以是任意層。圖7為含有一個隱藏層的多層感知器。

圖7 含有一個隱藏層的多層感知器

在本文方法中，將雙向門控循環(huán)單元層得到的ht送入多層感知器計算當前候選答案at的預測得分scoret，具體如式(8)所示[12]

scoret=σ(Wyht+by)

(8)

式中：Wy、by分別表示權重矩陣及偏置。

2.6 輸出層

輸出層使用softmax分類器對每個候選答案對應的分數(shù)進行處理，選取概率最大的值作為最后結果。其計算公式如式(9)所示

Softmaxi=escorei/∑jescorej

(9)

3 實驗與分析

3.1 數(shù)據(jù)預處理

本文研究中使用微軟公司在2015年公開的WikiQA英文數(shù)據(jù)集，其是一個應用于開放領域問答的數(shù)據(jù)集，共含有3047個問題和對應的29 258個答案，其問題是篩選自微軟公司推出的必應(Bing)搜索服務平臺下的查詢日志中的真實用戶提問信息。用戶搜索的問題均連接一個與所查詢問題的主題有關的維基百科頁面，并將此頁面中摘要部分的每一句話選為該問題的候選答案集合，通過使用人工的方法對所有問答對進行正確與否的標注[13]。表2給出了WikiQA數(shù)據(jù)集中的詳細信息。

表2 WikiQA數(shù)據(jù)集信息

3.2 超參數(shù)設置

根據(jù)文獻中的經(jīng)驗值，卷積神經(jīng)網(wǎng)絡層中卷積核長度設置為3、4、5，卷積核個數(shù)分別設置為50，dropout的比率設置為0.5，Adam學習率設為0.01，batch_size設為64，神經(jīng)元的激活函數(shù)使用Relu。雙向門控循環(huán)單元層中單層隱含層狀態(tài)設置為150維，學習率、dropout比率和卷積神經(jīng)網(wǎng)絡層設置一致。多層感知器層中采用RMSprop優(yōu)化器，dropout比率和卷積神經(jīng)網(wǎng)絡層設置一致。卷積核個數(shù)不同時的結果如圖8所示。

圖8 卷積核個數(shù)不同時的結果

3.3 實驗分析

使用自對比實驗的方式分析本文所提方法的答案排序性能。CNN方法是通過對問題和候選答案的分布式表示進行卷積池化操作后，將結果送入softmax進行分類。CNN+WORD是對問題和候選答案的分布式表示加入詞匯特征后再送入卷積神經(jīng)網(wǎng)絡。LSTM是利用長短時記憶網(wǎng)絡提取問題和候選答案的特征。Bi-LSTM是在單向LSTM的基礎上又添加反向的LSTM，由此得到兩個相互獨立的LSTM輸出向量，然后將這兩個獨立的LSTM輸出向量拼接作為當前節(jié)點的輸出。Bi-GRU是基于門控循環(huán)單元(GRU)作為LSTM的一種變體情況下演變而來的。Bi-GRU+WORD+TOPIC是在Bi-GRU的基礎上將詞語的向量表示與詞匯特征和主題特征相融合作為輸入送入網(wǎng)絡。CNN+Bi-GRU是將卷積神經(jīng)網(wǎng)絡和雙向門控循環(huán)單元做結合，CNN的輸出結果作為Bi-GRU的輸入內容。CNN+Bi-GRU+MLP+WORD+TOPIC則是本文所提出的新方法。具體實驗結果對比見表3。

表3 實驗結果對比

在此自對比實驗的基礎上，又進行了進一步的對比實驗。Word Cnt是計算問題和候選答案中相同詞的個數(shù)作為評價標準。PV-Cnt是先對問題和候選答案進行向量化表示，同時計算問答對的語義相似度，再與詞共現(xiàn)特征做拼接組合。CNN-Cnt是采用卷積神經(jīng)網(wǎng)絡與詞共現(xiàn)特征結合的結果。CNNlexical[14]在得到問題和候選答案的分布式表示后，通過對兩者中的詞語分解引入詞匯特征，然后對候選答案打分。Bi-LSTM+Lexical+Topic+Cnt通過在 Bi-LSTM 模型中加入詞匯特征、主題特征、詞共現(xiàn)特征后對候選答案進行判斷。對比中使用新的評價指標平均AP值mAP(mean average precision)，AP就是對一個問題，計算其命中時的平均精準度，而mAP則是在所有問題上求平均，mAP的計算方法如式(10)所示，其中AP表示平均精準度，q表示在單個類別的總樣本個數(shù)，QR表示問題類別數(shù)量。具體模型結果對比見表4

(10)

表4 模型結果對比

通過對比上述發(fā)放可知，本文所提出的融合多種神經(jīng)網(wǎng)絡與多特征的答案排序模型的準確率均高于現(xiàn)有模型。

4 結束語

本文提出了一種融合多種神經(jīng)網(wǎng)絡與詞匯特征、主題特征等多種特征信息的答案排序模型。用Word2vec分別對問題和候選答案進行詞向量表示，并送入到卷積神經(jīng)網(wǎng)絡，將卷積池化后的結果與詞匯特征、主題特征拼接后作為雙向的門控循環(huán)單元的輸入，輸出結果經(jīng)多層感知器進行處理后，使用softmax進行多分類處理。該模型在WikiQA英文數(shù)據(jù)集上取得不錯的效果。此外，通過研究發(fā)現(xiàn)，融合特征信息后的效果要明顯優(yōu)于簡單的深度學習模型，說明特征信息在一定程度上起到了作用。

考慮到引入部分特征能夠對準確率起到作用，且對于長文本問答對中，過多的冗余信息也會對準確率造成一定影響。因此，結合當下神經(jīng)網(wǎng)絡研究的熱點之一注意力機制[15]，下一步的工作將選擇性地加入更多特征信息，嘗試把注意力機制與模型相結合，以期進一步提高答案排序效果。