GRS：一種面向電商領(lǐng)域智能客服的生成-檢索式對(duì)話模型

郭曉哲 彭敦陸 張亞彤 彭學(xué)桂

摘要：目前大多數(shù)智能聊天系統(tǒng)的實(shí)現(xiàn)主要有兩種方式。檢索式得到的回復(fù)準(zhǔn)確且有意義，但回復(fù)內(nèi)容和回復(fù)類型卻受限于所選擇的語(yǔ)料庫(kù)。生成式可以獲得語(yǔ)料庫(kù)中沒有的回復(fù)，更具靈活性，但是容易產(chǎn)生一些錯(cuò)誤或是無(wú)意義的回復(fù)內(nèi)容。為了解決上述問題，本文提出一種新的模型GRS（Generative-Retrieval-Score），此模型可以同時(shí)訓(xùn)練檢索模型和生成模型，并用一個(gè)打分模塊對(duì)檢索模型和生成模型的結(jié)果進(jìn)行打分排序，將得分最高的回復(fù)作為整個(gè)對(duì)話系統(tǒng)的輸出，進(jìn)而巧妙地將兩種方法的優(yōu)點(diǎn)結(jié)合起來(lái)，使最終得到的回復(fù)具體多樣，且生成的回復(fù)形式靈活多變。在真實(shí)的京東智能客服對(duì)話數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文提出的模型比現(xiàn)有的檢索式模型和生成式模型在多輪對(duì)話建模上有著更優(yōu)異的表現(xiàn)。

關(guān)鍵詞：對(duì)話系統(tǒng)：數(shù)據(jù)中臺(tái)：自然語(yǔ)言處理：智能電商客服

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A DOI：10.3969/j.issn。1000-5641.202091010

0引言

近年來(lái)，在各行各業(yè)的數(shù)字化轉(zhuǎn)型過程中，數(shù)據(jù)中臺(tái)（Data Platform）建設(shè)已成為其中最基礎(chǔ)和最關(guān)鍵的一項(xiàng)任務(wù)。數(shù)據(jù)中臺(tái)的核心功能是提供統(tǒng)一、便利的數(shù)據(jù)集成、數(shù)據(jù)管理、數(shù)據(jù)分析和服務(wù)能力。人機(jī)對(duì)話系統(tǒng)將對(duì)話數(shù)據(jù)進(jìn)行分析處理，服務(wù)化之后提供給各類人機(jī)對(duì)話場(chǎng)景下的業(yè)務(wù)系統(tǒng)，如電商領(lǐng)域的智能客服，可以取代人工工作中高度重復(fù)的標(biāo)準(zhǔn)化客戶咨詢，有著廣闊的商業(yè)前景。

根據(jù)應(yīng)用領(lǐng)域的不同，人機(jī)對(duì)話系統(tǒng)主要被分為開放領(lǐng)域閑聊式的對(duì)話系統(tǒng)和以完成特定任務(wù)為目標(biāo)的任務(wù)型對(duì)話系統(tǒng)。開放領(lǐng)域的對(duì)話系統(tǒng)并沒有特定的目標(biāo)，更像一個(gè)朋友去陪伴用戶進(jìn)行聊天。任務(wù)型對(duì)話系統(tǒng)主要是通過對(duì)話的方式去幫助用戶完成特定的一些操作，用來(lái)解決人們特定領(lǐng)域的問題，比如手機(jī)上搭載的智能語(yǔ)音助手，可以通過對(duì)話的方式去播放音樂、撥打電話等。

對(duì)話系統(tǒng)的實(shí)現(xiàn)方式主要有基于檢索式和基于生成式兩種。Isbellet和ji等人提出基于檢索式的對(duì)話系統(tǒng)，會(huì)預(yù)先準(zhǔn)備大量的對(duì)話數(shù)據(jù)集，用戶輸入問題（查詢）后，系統(tǒng)首先從整個(gè)對(duì)話數(shù)據(jù)集中檢索出一系列可能相關(guān)的候選對(duì)話，然后再在這個(gè)小范圍的候選集內(nèi)進(jìn)行重新排序，并挑選出最適合的一句作為回復(fù)。但是基于檢索式的對(duì)話系統(tǒng)并不產(chǎn)生新的回復(fù)語(yǔ)句，只能在現(xiàn)有對(duì)話數(shù)據(jù)集中去挑選句子回答用戶的問題，其回復(fù)類型和回復(fù)內(nèi)容都受到了所選對(duì)話數(shù)據(jù)集的限制。一旦用戶所提出的問題和語(yǔ)料庫(kù)并不匹配，那么檢索式的對(duì)話系統(tǒng)將無(wú)法準(zhǔn)確地回答用戶提出的問題。

為了使對(duì)話系統(tǒng)生成更符合用戶問題的回復(fù)，更好的辦法是讓對(duì)話系統(tǒng)自動(dòng)生成一句回復(fù)。隨著深度學(xué)習(xí)的蓬勃發(fā)展，基于生成的對(duì)話系統(tǒng)也在快速發(fā)展?；谏傻膶?duì)話系統(tǒng)可以生成一個(gè)新的句子作為回復(fù)，從而更具靈活性。Sordoni和Serban等人提出了seq2seq模式，用兩個(gè)遞歸神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)實(shí)現(xiàn)編碼器和解碼器。編碼器用一個(gè)或幾個(gè)詞嵌入向量去獲得用戶輸入問題的語(yǔ)義，解碼器用于對(duì)查詢?cè)~嵌入向量的解碼。為了解決RNN中的梯度爆炸和梯度消失問題，HochreiterN提出LSTM（Long Short Term Memory）cho提出GRU（Gated Recurrent Units）可以進(jìn)一步增強(qiáng)RNN的能力從而編碼更長(zhǎng)語(yǔ)句?；谏墒降膶?duì)話系統(tǒng)的優(yōu)點(diǎn)在于可以產(chǎn)生靈活而且有針對(duì)性的回答。但是生成式對(duì)話系統(tǒng)也面臨很多問題。首先，SerbanM提出生成式對(duì)話系統(tǒng)容易生成“萬(wàn)金油”類型的回復(fù)，如“是的”/“我也這么認(rèn)為”/“我不知道”等。這些回復(fù)看似可以接上用戶的問題，但這些回復(fù)對(duì)于用戶來(lái)說并沒有實(shí)質(zhì)性的幫助。其次，生成式對(duì)話系統(tǒng)采用Encoder-Decoder框架的生成式對(duì)話模型通常采用End-to-End的方式進(jìn)行訓(xùn)練，這種方式雖然訓(xùn)練簡(jiǎn)單，但受限于背后深度學(xué)習(xí)技術(shù)本身的特性，這會(huì)使得最終模型缺乏足夠的可控性和可解釋性。最后，由于訓(xùn)練數(shù)據(jù)源噪音和自然語(yǔ)言本身的特性導(dǎo)致生成式對(duì)話模型的魯棒性欠佳。

如表1所示，針對(duì)兩種方式各自的利弊，本文希望結(jié)合兩種方式的優(yōu)點(diǎn)盡可能地解決兩者的缺點(diǎn)，因而提出了一種新的模型GRS，將檢索式模型和生成式模型進(jìn)行了融合，然后通過一個(gè)打分模塊，針對(duì)用戶所提出的問題，對(duì)檢索模塊得到的回復(fù)和生成模塊得到的回復(fù)進(jìn)行打分，選擇一個(gè)得分最高的句子作為最終輸出。在打分模塊中為了彌補(bǔ)CNN在分類過程中特征之間忽略空間關(guān)系的問題，使用基于動(dòng)態(tài)路由算法的膠囊網(wǎng)絡(luò)確定哪些低層特征將被傳輸?shù)礁邔犹卣鳎⑹褂媚z囊的長(zhǎng)度代表對(duì)應(yīng)關(guān)系類別的概率。模型充分汲取了檢索式對(duì)話系統(tǒng)和生成式對(duì)話系統(tǒng)的優(yōu)點(diǎn)，并且通過打分模塊解決兩種模型各自存在的問題。本文的主要貢獻(xiàn)如下：

（1）提出了一種新的模型GRS，該模型通過打分模塊將生成式對(duì)話系統(tǒng)和檢索式對(duì)話系統(tǒng)進(jìn)行了融合，充分結(jié)合了兩種方式的優(yōu)點(diǎn)而盡可能解決了兩者的缺點(diǎn)。

（2）首次將膠囊網(wǎng)絡(luò)應(yīng)用于人機(jī)對(duì)話系統(tǒng)任務(wù)中，因?yàn)镃NN在分類過程中特征之間忽略空間關(guān)系的問題，所以膠囊網(wǎng)絡(luò)只需要少量的訓(xùn)練語(yǔ)料庫(kù)即可獲得CNN中用大量語(yǔ)料庫(kù)獲得的結(jié)果。

（3）在京東智能客服對(duì)話數(shù)據(jù)集上的實(shí)驗(yàn)表明，提出的模型比現(xiàn)有的檢索式模型和生成式模型在多輪對(duì)話建模上有著更優(yōu)異的表現(xiàn)。

1相關(guān)工作

基于檢索式的對(duì)話系統(tǒng)可以保證句子的流暢性和多樣性，因此被廣泛應(yīng)用于很多商業(yè)聊天機(jī)器人。比如，Microsoft的聊天機(jī)器人XiaoIce以及阿里巴巴集團(tuán)的電子商務(wù)助手AliM。Isbell等人使用信息檢索技術(shù)去搜索相關(guān)的查詢問題及回復(fù)。Yan使用手工構(gòu)建特征和深度神經(jīng)網(wǎng)絡(luò)去進(jìn)行查詢一回復(fù)的匹配。Wu提出了一種順序匹配網(wǎng)絡(luò)，該網(wǎng)絡(luò)在多粒度級(jí)別上與對(duì)話上下文進(jìn)行匹配。Yang考慮在對(duì)話系統(tǒng)中利用外部知識(shí)來(lái)實(shí)現(xiàn)多回合響應(yīng)排序。Li提出了隨機(jī)游走算法對(duì)候選回復(fù)進(jìn)行排序。

基于生成式的對(duì)話系統(tǒng)正在快速發(fā)展。Gao對(duì)生成式對(duì)話系統(tǒng)領(lǐng)域的神經(jīng)對(duì)話模型做了全面調(diào)查。Ritter用基于短語(yǔ)的機(jī)器翻譯進(jìn)行查詢和回復(fù)。Zoph在編碼器中使用了兩個(gè)RNN，在解碼器中使用了一個(gè)RNN，可以將一個(gè)句子翻譯成兩種不同的語(yǔ)言。隨著神經(jīng)網(wǎng)絡(luò)的再度興起，Sutskever等人將RNN用于對(duì)話系統(tǒng)。Serban采用可變編碼器去獲取查詢信息分布，采用隨機(jī)向量從該分布中去生成回復(fù)。而現(xiàn)在，基于生成式的對(duì)話系統(tǒng)采用的普遍結(jié)構(gòu)是由Sordoni等人提出的seq2seq，其中包括一個(gè)編碼器和一個(gè)解碼器。但原始的seq2seq模型在編碼器中將整個(gè)對(duì)話上下文編碼成一個(gè)單一的語(yǔ)義向量，會(huì)丟失很多重要信息。為了解決這個(gè)問題，Dzmitry等人提出了帶注意力機(jī)制的attention-seq2seq模型，讓解碼器在每一步去重點(diǎn)關(guān)注最相關(guān)的輸入。之后，Ashish等人提出完全基于注意力機(jī)制的Transformer模型，能夠捕捉輸入和輸出語(yǔ)句句內(nèi)和句間的語(yǔ)義信息，且訓(xùn)練速度快。Transformer取得了巨大的成功，Jacob等人提出了基于Transformer的大型預(yù)訓(xùn)練模型BERT，在11項(xiàng)重要任務(wù)上都取得了當(dāng)時(shí)最好的性能表現(xiàn)，向人們展示了在NLP領(lǐng)域中使用遷移學(xué)習(xí)的可能性和高效性。

CNN由于其出色的特征提取能力，已被廣泛應(yīng)用于圖像和文本分析領(lǐng)域。但是，在圖像分析領(lǐng)域中，CNN忽略了低級(jí)特征和高級(jí)特征之間的空間關(guān)系。此外，在其池化操作中丟失了大量有價(jià)值的信息。針對(duì)這一缺點(diǎn)，Sabour等人提出了一種基于動(dòng)態(tài)路由算法的膠囊網(wǎng)絡(luò)模型，該模型克服了CNN低層特征向高層特征傳輸時(shí)忽略空間特征的局限性，并通過在MNIST數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)來(lái)驗(yàn)證其在圖像分析領(lǐng)域的有效性。與輸出單個(gè)標(biāo)量的傳統(tǒng)神經(jīng)元不同，膠囊是一組神經(jīng)元，它們利用矢量來(lái)表示實(shí)體的特征。向量的每個(gè)維度均代表對(duì)象的特征，向量的長(zhǎng)度可以表示實(shí)體所屬類別的概率。目前，膠囊網(wǎng)絡(luò)通常應(yīng)用于分類模型體系結(jié)構(gòu)的最后一層，以取代最大池化層來(lái)完成分類任務(wù)。Zhao將其應(yīng)用于文本分類任務(wù)，6個(gè)文本分類基準(zhǔn)實(shí)驗(yàn)的結(jié)果表明膠囊網(wǎng)絡(luò)在文本分類上取得了很好的效果。Zhang[221利用膠囊網(wǎng)絡(luò)對(duì)多實(shí)例多標(biāo)簽關(guān)系進(jìn)行分類，在NYT數(shù)據(jù)集上的結(jié)果表明，他們提出的模型可以有效地提高預(yù)測(cè)關(guān)系的準(zhǔn)確性。

2問題定義和數(shù)據(jù)集

2.1問題定義適程度。

2.2數(shù)據(jù)集

本文采用JDDC數(shù)據(jù)集來(lái)評(píng)估提出的模型性能，該數(shù)據(jù)集為京東構(gòu)建的一個(gè)大型的真實(shí)場(chǎng)景中的中文電子商務(wù)對(duì)話數(shù)據(jù)集，里面的所有對(duì)話都是發(fā)生在京東商城的真實(shí)用戶和客服之間的對(duì)話，包含超過一百萬(wàn)段多輪對(duì)話、兩千萬(wàn)輪句子以及一百五十萬(wàn)個(gè)單詞。該數(shù)據(jù)集反映了人與人對(duì)話的多個(gè)不同特征，比如對(duì)話是目標(biāo)驅(qū)動(dòng)的，而且存在需要從歷史對(duì)話上下文中獲取信息的長(zhǎng)期依賴問題;并且涵蓋了多種對(duì)話類型，比如任務(wù)導(dǎo)向型對(duì)話、閑聊型對(duì)話以及問答型對(duì)話。

表2[23]展示了該對(duì)話數(shù)據(jù)集的一些統(tǒng)計(jì)信息，從表中可以看到，該數(shù)據(jù)集總共包含1 024 196段對(duì)話、20 451 337條對(duì)話語(yǔ)句、150 716 172個(gè)單詞。此外，這些對(duì)話中最長(zhǎng)的對(duì)話達(dá)到了83輪，而最短的對(duì)話只有2輪，對(duì)話的平均輪數(shù)為20輪，且對(duì)話語(yǔ)句的平均單詞數(shù)為7.4個(gè)單詞。圖1123]為數(shù)據(jù)集中對(duì)話輪數(shù)的分布直方圖，從圖中可以看到，大部分對(duì)話都在9輪到30輪之間，而且輪數(shù)為14的對(duì)話在數(shù)據(jù)集中占有最大的比例，這表明該數(shù)據(jù)集要求模型必須能夠很好地捕捉文本上下文中的長(zhǎng)期依賴關(guān)系。

3模型描述

本節(jié)介紹針對(duì)多輪對(duì)話建模提出的模型GRS的實(shí)現(xiàn)細(xì)節(jié)。圖2展示了該模型的整體結(jié)構(gòu)。整個(gè)模型分為3個(gè)模塊，檢索模塊主要負(fù)責(zé)計(jì)算從語(yǔ)料庫(kù)中抽取得到的候選回復(fù)的匹配分?jǐn)?shù)并按分?jǐn)?shù)對(duì)其進(jìn)行排序，取分?jǐn)?shù)最高的候選回復(fù)作為該模塊的回復(fù)輸出;生成模塊主要負(fù)責(zé)根據(jù)輸入的歷史對(duì)話上下文和當(dāng)前輪的問題，直接去生成對(duì)應(yīng)該問題的回復(fù);最后，打分模塊負(fù)責(zé)對(duì)檢索模塊和生成模塊得到的兩個(gè)回復(fù)進(jìn)行打分，取分?jǐn)?shù)較高的回復(fù)作為整個(gè)模型的最終輸出。下面將分別介紹各個(gè)模塊的詳細(xì)內(nèi)容。

3.2生成模塊

生成模塊采用Transformer來(lái)生成與對(duì)話上下文對(duì)應(yīng)的回復(fù)，如圖3所示，Transformer是一種采用Encoder-Decoder架構(gòu)，且第一個(gè)提出只用注意力機(jī)制來(lái)進(jìn)行編碼和解碼的模型。編碼階段用多頭自注意力Encoder-Self-Attention來(lái)編碼輸入上下文對(duì)話句內(nèi)的語(yǔ)義信息，解碼階段用多頭自注意力Decoder-Self-Attention來(lái)提取輸出句內(nèi)的語(yǔ)義信息，而在decoder端還有一個(gè)和encoder端的輸出相連接的Encoder-Decoder-Attention模塊，此模塊用來(lái)讓兩端進(jìn)行交互，提取輸入和輸出之間的相關(guān)性信息。經(jīng)過堆疊的編碼和解碼過程后，最后一個(gè)模塊的輸出經(jīng)過線性轉(zhuǎn)換和softmax后輸出概率，根據(jù)概率分布在輸出詞典中找到對(duì)應(yīng)的單詞，這些單詞最后組成句子，作為與輸入上下文對(duì)應(yīng)的回復(fù)。由于Transformer中向量級(jí)的運(yùn)算是以矩陣的形式并行進(jìn)行的，所以該模型的執(zhí)行效率非常高。

3.2.1編碼階段

首先通過詞嵌入對(duì)句子中的單詞進(jìn)行向量化，再利用位置嵌入來(lái)獲得詞與詞之間的相對(duì)位置關(guān)系，通過Encoderself-Attention計(jì)算輸入的句子中每個(gè)詞與其他所有詞的相互關(guān)系，這樣就能獲得句子中更多的上下文信息，此時(shí)attention中的Q、K、y矩陣是相同的。然后再利用這種相互關(guān)系調(diào)整每個(gè)詞的權(quán)重來(lái)獲得每個(gè)詞新的語(yǔ)義表示，這個(gè)新的表示不但蘊(yùn)含了該詞本身的含義，還蘊(yùn)含了其他詞與這個(gè)詞的關(guān)系，因此和單純的詞向量相比是一個(gè)更加全面的表達(dá)。最后經(jīng)過正則化和前饋神經(jīng)網(wǎng)絡(luò)將編碼后的信息輸入解碼塊中。

3.2.2解碼階段

首先對(duì)上一時(shí)刻的輸出進(jìn)行向量化，同樣加上位置嵌入，然后經(jīng)過Decoder-Self-Attention編碼輸出語(yǔ)句句內(nèi)單詞的相互關(guān)系，該模塊的輸出以及encoder端的輸出經(jīng)過Encoder-Decoder-Attention模塊編碼輸入與輸出之間的匹配信息，這種做法使得在生成回復(fù)的時(shí)候不僅只關(guān)注解碼器本身的輸出，同時(shí)還能讓解碼器的輸出和編碼器編碼的輸入信息有“軟對(duì)齊”的效果。

3.3打分模塊

打分模塊是一個(gè)通過capsule（膠囊）訓(xùn)練的分類器，其將對(duì)檢索模塊和生成模塊的輸出分別進(jìn)行打分，選取概率值最大的作為整個(gè)模型的最終輸出結(jié)果。

然后將經(jīng)典膠囊網(wǎng)絡(luò)最后一層的多分類層改為二分類層，也就是最后一層輸出兩個(gè)c印sule。通過將構(gòu)造的正負(fù)樣本輸入膠囊網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，令閾值為0.5，使得最后一層向量長(zhǎng)度大于等于該閾值的capsule記為正樣本，小于該閾值的capsule記為負(fù)樣本。經(jīng)過訓(xùn)練得到該分類器后，將檢索和生成的response輸入該分類器進(jìn)行打分，最后選取分?jǐn)?shù)值最大的作為整個(gè)模型的輸出。

4實(shí)驗(yàn)

本節(jié)說明模型的實(shí)驗(yàn)設(shè)置、論文實(shí)驗(yàn)所采用的評(píng)價(jià)指標(biāo)、用來(lái)對(duì)比的其他基線模型以及論文提出的模型在JDDC多輪對(duì)話數(shù)據(jù)集上與其他基線模型的對(duì)比實(shí)驗(yàn)結(jié)果。

4.1實(shí)驗(yàn)設(shè)置

將對(duì)話數(shù)據(jù)集按照8：1：1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，且過濾掉一些太短或太長(zhǎng)的對(duì)話。其中，訓(xùn)練集中真實(shí)的正樣本回復(fù)和隨機(jī)采樣的負(fù)樣本回復(fù)的比例為1：1.對(duì)于模型的參數(shù)設(shè)置，將單詞的向量編碼表示維度設(shè)為200，用于提取匹配特征的CNN中的卷積核和池化核的大小為（3，3），步長(zhǎng)分別為（1，1）和（3，3），卷積核的數(shù)量為32，GRU中的隱藏層單元維度設(shè)為200，初始學(xué)習(xí)率為0.0005且隨著訓(xùn)練逐漸衰減，dropout系數(shù)為0.2，數(shù)據(jù)集分為50一批，然后分批輸入模型進(jìn)行訓(xùn)練。模型采用常用的交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果及分析將在4.4節(jié)和4.5節(jié)中給出。

4.2評(píng)價(jià)指標(biāo)

BLEU：比較輸出回復(fù)與真實(shí)樣本的n-gram的重合程度，重合程度越高則分?jǐn)?shù)越高。unigram用于衡量生成單詞的準(zhǔn)確性，高階的n-gram用于衡量生成句子的流暢性。

Rough-L：計(jì)算輸出回復(fù)與真實(shí)樣本的最長(zhǎng)公共子序列的長(zhǎng)度，長(zhǎng)度越長(zhǎng)則分?jǐn)?shù)越高。

Distinct-1/2：通過計(jì)算在輸出回復(fù)中唯一的unigram和bigram所占的比例來(lái)評(píng)估輸出回復(fù)的多樣性。

4.3對(duì)比模型

4.3.1基于檢索的模型

BM25：是一種在信息索引領(lǐng)域用來(lái)計(jì)算query和文檔相似度的經(jīng)典算法，是一種基于概率檢索模型的算法，它所計(jì)算的相似度分?jǐn)?shù)是由query中的單詞得到的，主要包括3個(gè)部分：?jiǎn)卧~和文檔之間的相似度、單詞和query之間的相似度以及每個(gè)單詞所占的權(quán)重。這里使用BM25來(lái)從語(yǔ)料庫(kù)中檢索出20個(gè)候選回復(fù)作為后續(xù)匹配的輸入，排行第一的候選回復(fù)作為此對(duì)比模型用來(lái)評(píng)估的輸出。

BERT-Retrieval：上面的檢索算法只用了一種單詞特征來(lái)計(jì)算相似度，所以為了捕捉更多的語(yǔ)義信息，對(duì)BERT預(yù)訓(xùn)練模型進(jìn)行微調(diào)，再加上全連接層和softmax作為分類器來(lái)獲取語(yǔ)義相似度分?jǐn)?shù)。然后用BERT分?jǐn)?shù)來(lái)重排20個(gè)候選回復(fù)，最終輸出分?jǐn)?shù)最高的回復(fù)。

4.3.2基于生成的模型

Vanilla Seq2Seq：此模型為原始的Sequence-to-Sequence模型，每個(gè)編碼器和解碼器都有512個(gè)單元的4層雙向LSTM網(wǎng)絡(luò)。

Attention-based Seq2Seq：此模型是在上面的原始Seq2Seq模型的基礎(chǔ)上，加入了注意力機(jī)制得到的。

Attention-based Seq2Seq with Copy：輸入的歷史對(duì)話上下文以及當(dāng)前輪的問題通常都比較長(zhǎng)，而且包含很多特有名詞，比如“京東白條”，這種單詞通常都不在輸出詞表內(nèi)，所以在上面帶注意力機(jī)制的模型的基礎(chǔ)上，加入了復(fù)制機(jī)制，進(jìn)而可以直接從輸入中復(fù)制這些超出詞表范圍的單詞。

以上用來(lái)對(duì)比的baseline模型的結(jié)果都是取自JDDC論文，表3所示為自動(dòng)評(píng)估的對(duì)比實(shí)驗(yàn)結(jié)果。

4.4結(jié)果分析

從表3所示的實(shí)驗(yàn)結(jié)果可以得到以下兩條主要結(jié)論。

（1）從整體上看，生成模型對(duì)比檢索模型，在BLEU和Rough-L這兩個(gè)評(píng)價(jià)指標(biāo)上表現(xiàn)更好，而檢索模型在Dist-1/2這兩個(gè)評(píng)價(jià)指標(biāo)上更加優(yōu)秀，說明生成模型輸出的回復(fù)與真實(shí)樣本更加吻合，而且更加傾向于生成一些通用的、重復(fù)的回復(fù)，檢索模型則從語(yǔ)料庫(kù)中檢索回復(fù)，所以得到的回復(fù)更具有多樣性。

（2）論文提出的GRS模型在BLEU和Rough-L這兩個(gè)評(píng)價(jià)指標(biāo)上能夠達(dá)到生成模型的高度，同時(shí)在Dist-1/2這兩個(gè)評(píng)價(jià)指標(biāo)上又不比檢索模型差太多，說明GRS模型這種將檢索模型和生成模型相結(jié)合的方式，能夠有效地結(jié)合兩種模型的優(yōu)點(diǎn)，進(jìn)而提高多輪對(duì)話建模的效果，既保證了回復(fù)的具體性、多樣性，又能擁有生成回復(fù)的靈活性，提升了整體回復(fù)的質(zhì)量。

4.5模型可視化

為了研究注意力機(jī)制在GRS模型中是如何幫助模型去捕捉句內(nèi)或句間單詞的語(yǔ)義信息的，本文對(duì)注意力模塊的權(quán)重進(jìn)行了可視化。圖4是對(duì)模型中的注意力模塊權(quán)重的可視化結(jié)果，從圖中可以看到，“送貨員”這個(gè)詞和“他”這個(gè)指代送貨員的代詞重疊位置的注意力分?jǐn)?shù)值較高，同樣地，“上來(lái)”和“樓下”對(duì)應(yīng)的分?jǐn)?shù)值也較高，即它們之間通過注意力機(jī)制是有一個(gè)“軟對(duì)齊”的效果的，這也解釋了注意力機(jī)制是如何促進(jìn)多輪對(duì)話建模的效果，因?yàn)檫@種“軟對(duì)齊”對(duì)于共指消解任務(wù)非常有用。

5結(jié)論

本文針對(duì)面向任務(wù)的多輪對(duì)話建模問題，分析了基于檢索的方法和基于生成的方法各自的優(yōu)缺點(diǎn)后，提出了一個(gè)將兩種方法結(jié)合起來(lái)的多輪對(duì)話模型。該模型同時(shí)訓(xùn)練檢索模型和生成模型，并用一個(gè)打分模塊對(duì)檢索模塊和生成模塊的輸出結(jié)果進(jìn)行打分排序，取得分高的結(jié)果作為模型的最終輸出。模型巧妙地將兩種方法的優(yōu)點(diǎn)結(jié)合起來(lái)，最終得到的回復(fù)內(nèi)容具體多樣，且生成的回復(fù)形式靈活多變，彌補(bǔ)了兩種方法的不足。在一個(gè)大型的真實(shí)多輪對(duì)話數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，論文提出的模型能夠很好地提升面向任務(wù)的多輪對(duì)話建模效果。表示增強(qiáng)在很多不同的NLP任務(wù)上都有所使用，在接下來(lái)的工作中，需要研究如何利用檢索模型的輸出來(lái)增強(qiáng)生成模型的輸出效果，反之亦然。