端到端的面向任務(wù)型對(duì)話系統(tǒng)多任務(wù)優(yōu)化模型

趙逢達(dá),邱夢(mèng)璐,李賢善+,孫永派,楊智開(kāi)

(1.燕山大學(xué) 信息科學(xué)與工程學(xué)院,河北 秦皇島 066004;2.新疆科技學(xué)院 信息科學(xué)與工程學(xué)院,新疆 庫(kù)爾勒 841000;3.河北省軟件工程重點(diǎn)實(shí)驗(yàn)室,河北 秦皇島 066004)

0 引言

隨著科技的不斷進(jìn)步,越來(lái)越多的消費(fèi)人群會(huì)使用智能機(jī)器人產(chǎn)品。為了提高智能機(jī)器人的通用性能和用戶(hù)體驗(yàn),人機(jī)交互成為機(jī)器人相關(guān)研究的重中之重,由此產(chǎn)生了許多優(yōu)秀成果[1]。人機(jī)對(duì)話系統(tǒng)因操作的簡(jiǎn)便性,成為其中最熱門(mén)的研究方向。意圖檢測(cè)和插槽填充是人機(jī)對(duì)話系統(tǒng)中最重要的兩個(gè)任務(wù),這兩個(gè)任務(wù)都屬于對(duì)話系統(tǒng)中的自然語(yǔ)言理解模塊。其中意圖檢測(cè)任務(wù)的主要目的是判斷用戶(hù)要做什么,例如一個(gè)真實(shí)用戶(hù)向智能機(jī)器人提出了一個(gè)問(wèn)題,機(jī)器人則需要判斷用戶(hù)所詢(xún)問(wèn)的是天氣、旅游還是某部電影的信息,因此現(xiàn)有工作常將意圖檢測(cè)作為一個(gè)文本分類(lèi)任務(wù)進(jìn)行處理。在識(shí)別出用戶(hù)的意圖之后,需要進(jìn)行下一步的插槽填充任務(wù)。在該過(guò)程中,系統(tǒng)需要對(duì)前一步識(shí)別出的用戶(hù)意圖所對(duì)應(yīng)的語(yǔ)義槽進(jìn)行完善,對(duì)其中還未填充的槽位進(jìn)行預(yù)測(cè)及填寫(xiě)操作。

通常,意圖檢測(cè)與插槽填充是分開(kāi)實(shí)現(xiàn)的,但近年研究表明,意圖檢測(cè)任務(wù)與插槽填充任務(wù)緊密地聯(lián)系在一起,且意圖檢測(cè)的結(jié)果會(huì)極大地影響到插槽填充的結(jié)果。考慮到兩個(gè)任務(wù)之間的強(qiáng)相關(guān)性,近年提出了基于多任務(wù)學(xué)習(xí)框架的聯(lián)合模型[2-3],這些模型僅通過(guò)共享參數(shù)來(lái)模擬意圖信息和插槽信息之間的關(guān)系,因此此類(lèi)模型的提升并不明顯。在2018年,有文獻(xiàn)提出了門(mén)機(jī)制[4-5],用來(lái)將意圖信息納入插槽填充中,但由于兩個(gè)任務(wù)之間與隱藏向量之間存在的相互作用,關(guān)于如何利用意圖信息去引導(dǎo)插槽填充的過(guò)程沒(méi)有明確的解釋。

為解決以上問(wèn)題,本文基于Stack-Propagation框架[6]的思想提出了一種端到端的面向任務(wù)型對(duì)話系統(tǒng)的多任務(wù)優(yōu)化模型,該模型由外部知識(shí)、編碼器與解碼器3個(gè)模塊組成。其中在解碼器模塊設(shè)置了兩個(gè)解碼器,一個(gè)用于意圖信息的檢測(cè),另一個(gè)則用于插槽信息的生成,其目的是將意圖檢測(cè)的結(jié)果添加到插槽填充任務(wù)的輸入中,使之可以有效地利用任務(wù)之間的相關(guān)性信息,進(jìn)一步指導(dǎo)插槽填充任務(wù)獲得最終的意圖語(yǔ)義知識(shí),以此來(lái)提高對(duì)話系統(tǒng)的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明,該模型在公開(kāi)數(shù)據(jù)集上的準(zhǔn)確率有了明顯地提升,超過(guò)了現(xiàn)有模型。

本文工作的貢獻(xiàn)概括如下:

(1)在模型的解碼器部分遷移并改進(jìn)了Stack-Propagation框架的思想,在解碼階段設(shè)置了雙解碼器分別用于意圖檢測(cè)任務(wù)與插槽填充任務(wù),且將意圖檢測(cè)任務(wù)的結(jié)果輸入到插槽填充任務(wù)中,使之進(jìn)一步指導(dǎo)插槽填充任務(wù)的進(jìn)行,充分利用了任務(wù)之間的相關(guān)性信息。

(2)由于雙解碼器的設(shè)置,本模型直觀地展示出意圖檢測(cè)任務(wù)與插槽填充任務(wù)之間的相關(guān)性,且進(jìn)一步證明了意圖檢測(cè)任務(wù)的結(jié)果可以有效增強(qiáng)插槽填充任務(wù)的進(jìn)行。

1 相關(guān)工作

1.1 對(duì)話系統(tǒng)

近年來(lái),在對(duì)話系統(tǒng)的端到端方法中使用了統(tǒng)一的方法替代了傳統(tǒng)方法當(dāng)中的多個(gè)模塊,使之可以根據(jù)用戶(hù)的輸入直接生成回復(fù)作為響應(yīng)模塊的輸出,規(guī)避了多模塊任務(wù)固有的缺陷,其工程的復(fù)雜度也明顯減低,并獲得了更優(yōu)異的成果?，F(xiàn)在的研究重點(diǎn)集中在端到端方法的實(shí)現(xiàn),以下針對(duì)該方法展開(kāi)介紹。

在2017年,WEN等[7]和BORDES等[8]提出了一種端到端的面向任務(wù)型對(duì)話系統(tǒng),該對(duì)話系統(tǒng)模型基于編碼器-解碼器結(jié)構(gòu),其目的是解決從對(duì)話歷史到系統(tǒng)響應(yīng)映射的問(wèn)題。之后,ZHAO等[9]首先提出一種端到端的強(qiáng)化學(xué)習(xí)方法,在對(duì)話管理模塊中對(duì)對(duì)話狀態(tài)跟蹤任務(wù)和策略學(xué)習(xí)任務(wù)進(jìn)行學(xué)習(xí),以便更可靠地優(yōu)化系統(tǒng)回復(fù)。

由于知識(shí)庫(kù)的數(shù)量級(jí)一般都很大且很難納入學(xué)習(xí)框架,端到端的面向任務(wù)的對(duì)話就更具挑戰(zhàn)性,文獻(xiàn)[10]提出一種全局到本地內(nèi)存指針(Global-to-Local Memory Pointer,GLMP)模型來(lái)解決該問(wèn)題。該模型在bAbI對(duì)話數(shù)據(jù)集[11]與人與人之間的斯坦福多域?qū)υ挃?shù)據(jù)集(Stanford Multi-domain Dialogue,SMD)[12]中都獲得了很好的效果。之后在2020年文獻(xiàn)[13]提出了動(dòng)態(tài)融合模型(Dynamic Fusion Network,DFNet),該模型是首次在多域端到端任務(wù)的對(duì)話系統(tǒng)中引入共享-私有框架來(lái)分別學(xué)習(xí)共享和特定知識(shí),使其可以自動(dòng)利用目標(biāo)域和每個(gè)域之間的相關(guān)性。此外,隨著預(yù)訓(xùn)練模型(Pre-trained Language Model,PLM)[14-16]的不斷發(fā)展,研究人員也開(kāi)始嘗試使用PLM構(gòu)建對(duì)話系統(tǒng)模型[17-20]。但這些模型在構(gòu)建時(shí),并未考慮到利用各個(gè)任務(wù)之間的相關(guān)性信息,導(dǎo)致對(duì)話系統(tǒng)的準(zhǔn)確率難以得到進(jìn)一步提升。

1.2 意圖檢測(cè)

LIN等[21]在2019年提出一種兩階段的模型來(lái)解決意圖檢測(cè)問(wèn)題。該方法首先利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory,Bi-LSTM)與大邊際余弦損失(Large Margin Cosine Loss,LMCL)對(duì)深度特征進(jìn)行學(xué)習(xí),最大化類(lèi)間差異并最小化類(lèi)內(nèi)差異,之后將特征向量傳入基于密度的檢測(cè)算法—局部離群因子(Local Outlier Factor,LOF)中進(jìn)行未知意圖的檢測(cè)。YAN等[22]在2020年提出一種用于未知意圖檢測(cè)的語(yǔ)義增強(qiáng)高斯混合模型(Semantic-Enhanced Gaussian,SEG),該模型采用高斯混合分布的方法對(duì)句子嵌入進(jìn)行建模,并將類(lèi)別語(yǔ)義信息注入高斯方法中,使模型能夠?qū)W習(xí)更多類(lèi)相關(guān)的嵌入,從而有助于下游的離群值檢測(cè)。ZHANG等[23]在2021年提出一種后處理方法來(lái)學(xué)習(xí)適應(yīng)性決策邊界(Adaptive Decision Boundary,ADB),用于開(kāi)放式意圖分類(lèi)。該方法首先利用已知的意圖樣本對(duì)模型進(jìn)行預(yù)訓(xùn)練,然后借助訓(xùn)練有素的特征為每個(gè)已知類(lèi)別自動(dòng)學(xué)習(xí)自適應(yīng)球形決策邊界。

1.3 插槽填充

插槽填充本質(zhì)上就是信息提取,因此可以將插槽填充看成一個(gè)序列標(biāo)注問(wèn)題。其中最常用的模型就是條件隨機(jī)場(chǎng)(Conditional Random Field,CRF)。但是近年來(lái),隨著深度學(xué)習(xí)的發(fā)展,研究人員開(kāi)始嘗試將深度學(xué)習(xí)的模型應(yīng)用到序列標(biāo)注中,如MESNIL等[24]利用遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN),同時(shí)引入詞性特征和命名實(shí)體特征,實(shí)現(xiàn)了更好效果的插槽填充,但也有學(xué)者質(zhì)疑RNN類(lèi)模型的性能,并通過(guò)實(shí)驗(yàn)證明對(duì)于復(fù)雜的語(yǔ)料庫(kù),CRF方法比神經(jīng)網(wǎng)絡(luò)方法可以取得更好的效果。經(jīng)研究發(fā)現(xiàn),插槽信息高度依賴(lài)于意圖信息,因此在插槽填充的問(wèn)題上還需要進(jìn)一步探索。

2 模型

模型由3部分組成:編碼器、解碼器與一個(gè)共享的外部知識(shí)。該模型將對(duì)話歷史H=[h1,h2,…,hn]以及外部知識(shí)庫(kù)信息(KB)B=[b1,b2,…,bl]作為輸入,其預(yù)期輸出則作為系統(tǒng)產(chǎn)生的響應(yīng),表示為Y=[y1,y2,…,ym],其中n,l,m分別表示對(duì)話歷史的長(zhǎng)度、知識(shí)庫(kù)信息的長(zhǎng)度以及系統(tǒng)產(chǎn)生回復(fù)的長(zhǎng)度。在該模型中,編碼器模塊的主要任務(wù)是對(duì)對(duì)話歷史進(jìn)行編碼,該編碼器產(chǎn)生的最后一個(gè)隱藏狀態(tài)用于讀取外部知識(shí)。解碼器模塊根據(jù)任務(wù)的不同可以分為兩部分,其中一部分是用來(lái)獲取該對(duì)話所屬的意圖信息的意圖解碼器;另一部分則是用來(lái)獲取相應(yīng)插槽值的插槽解碼器,該解碼器基于Sketch RNN網(wǎng)絡(luò)實(shí)現(xiàn),用于生成相應(yīng)插槽值的Sketch標(biāo)簽。最后利用以上信息從外部知識(shí)庫(kù)中復(fù)制相應(yīng)的文本以替換解碼器模塊生成的Sketch標(biāo)簽,由此獲得最終的系統(tǒng)響應(yīng),整體模型圖如1所示。

2.1 外部知識(shí)

在該模塊中包含了編碼器和解碼器共享的全局上下文表示。為了將外部知識(shí)整合到學(xué)習(xí)框架中,本模型采用了端到端記憶網(wǎng)絡(luò)(Memory Network,MN)存儲(chǔ)對(duì)話歷史信息以及KB知識(shí),MN以其多跳推理能力而聞名,此外還可以加強(qiáng)復(fù)制機(jī)制。

在KB模塊中,每個(gè)元素bi∈B都是以三元組的形式表示的,即(Subject,Relation,Object)結(jié)構(gòu),該形式是表示 KB 節(jié)點(diǎn)的常用格式。如表1中的KB可以表示為{(Tom's house,distance,3 miles),...,(Starbucks,address,792 Bedoin St)}。

表1 導(dǎo)航領(lǐng)域的知識(shí)庫(kù)示例

在本節(jié)中,外部知識(shí)由一組可以訓(xùn)練的嵌入矩陣C=[c1,c2,…,ck+1]組成,其中ck∈R|v|×demb,k表示MN中的最大跳數(shù),|v|表示總詞匯量,demb則代表嵌入維度。最終外部知識(shí)中的記憶表示見(jiàn)式(1):

M=[B;X]=[m1,m2,…,mn+l]。

(1)

(2)

2.2 編碼器

本模塊的編碼器采用門(mén)控循環(huán)單元(Gate Recurrent Unit,GRU)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn),在該模塊會(huì)產(chǎn)生兩個(gè)輸出:編碼后的對(duì)話歷史以及一個(gè)全局內(nèi)存指針。

(3)

(4)

最終獲得的內(nèi)存分布即為傳遞給解碼器部分的全局內(nèi)存指針G。本模型通過(guò)檢查內(nèi)存中的目標(biāo)單詞是否存在于預(yù)期的系統(tǒng)響應(yīng)Y中來(lái)定義最終的標(biāo)簽,見(jiàn)式(5):

(5)

2.3 解碼器

意圖檢測(cè)和插槽填充屬于自然語(yǔ)言理解(Natural Language Understanding,NLU)模塊中最為重要的兩個(gè)任務(wù),在之前的學(xué)習(xí)框架中通常使用如圖2a所示的多任務(wù)框架通過(guò)共享編碼器去分別學(xué)習(xí)兩個(gè)任務(wù),但是經(jīng)過(guò)研究發(fā)現(xiàn)插槽信息的選取通常高度依賴(lài)于意圖信息,為了更好地整合意圖信息以及進(jìn)一步提高最終的準(zhǔn)確率,在解碼器模塊引入了如圖2b所示的Stack-Propagation框架,該框架通過(guò)將意圖檢測(cè)的結(jié)果輸入到插槽填充任務(wù)中,達(dá)到了充分利用任務(wù)之間相關(guān)性的效果。該框架不僅可以使用意圖檢測(cè)的結(jié)果進(jìn)一步指導(dǎo)插槽填充任務(wù)的進(jìn)行,還可以通過(guò)聯(lián)合學(xué)習(xí)達(dá)到相互促進(jìn)的效果。為了分別獲得意圖信息與插槽信息,本節(jié)將解碼器模塊分為意圖解碼器以及插槽解碼器兩部分。

(6)

(7)

(8)

該模型整體算法流程如算法1所示。

算法1模型算法。

輸入:對(duì)話歷史H、知識(shí)庫(kù)信息B;

輸出:系統(tǒng)響應(yīng)Y。

1.初始化hidden_size = 400

2.FOR each 對(duì)話歷史

3.利用式(1)生成外部知識(shí)中的記憶表示M

4.利用GRU對(duì)H進(jìn)行編碼,生成隱藏狀態(tài)Ht

5.利用式(2)將ht寫(xiě)入到外部知識(shí)的對(duì)話記憶模塊中

6.IF目標(biāo)詞存在預(yù)期響應(yīng)中

7. 內(nèi)存指針gi=1

8.ELSE

9.gi=0

10.利用式(5)生成全局內(nèi)存指針G

15.利用L在外部知識(shí)中進(jìn)行查詢(xún)

16.對(duì)回復(fù)Ysdec中標(biāo)簽進(jìn)行替換,生成Y

17.END FOR

18.RETURNY

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

SMD數(shù)據(jù)集是由ERIC等[27]在2017年收集整理的,為了使系統(tǒng)的回復(fù)更加自然,在該數(shù)據(jù)集的收集過(guò)程中采用了音頻命令轉(zhuǎn)錄技術(shù),即讓真實(shí)用戶(hù)錄制自己的命令,以使車(chē)載機(jī)器人可以執(zhí)行相應(yīng)的操作,然后將這些命令進(jìn)行轉(zhuǎn)錄,作為給定對(duì)話中的第一個(gè)交換插入,在該數(shù)據(jù)集大約有1 500輪對(duì)話使用了該技術(shù)。SMD數(shù)據(jù)集中共包含了3個(gè)不同領(lǐng)域的多輪對(duì)話信息:日歷調(diào)度(Calendar Scheduling)、天氣信息檢索(Weather Information Retrieval)以及興趣點(diǎn)導(dǎo)航(Point-of-interest Navigation,POI Navigation)。這些對(duì)話所處的領(lǐng)域不同,但是它們都與車(chē)載助理系統(tǒng)的總體主題相關(guān)。在每個(gè)領(lǐng)域中都有4～6個(gè)不同的插槽類(lèi)型,其具體信息如表2所示。

表2 SMD數(shù)據(jù)集不同領(lǐng)域插槽信息

3.2 訓(xùn)練細(xì)節(jié)

本模型采用Adam優(yōu)化器對(duì)模型進(jìn)行端到端訓(xùn)練。訓(xùn)練時(shí),batch_size值設(shè)置為8,學(xué)習(xí)率的范圍設(shè)置為[0.001,0.000 1],dropout設(shè)置為0.2,隱藏單元數(shù)設(shè)置為128。式(9)中的3種損失的加權(quán)值α、β、γ都設(shè)置為1。

3.3 損失函數(shù)

在編碼器模塊,該模型通過(guò)使用全局內(nèi)存指針G和其生成的標(biāo)簽Glab來(lái)計(jì)算交叉熵?fù)p失Lg。

其次使用解碼器生成的局部?jī)?nèi)存指針L和其標(biāo)簽Llab進(jìn)行二元交叉熵?fù)p失的計(jì)算,定義為L(zhǎng)l。

最終的損失值為以上三項(xiàng)的加權(quán)值,本實(shí)驗(yàn)使用α、β、γ三個(gè)超參數(shù)來(lái)優(yōu)化這三個(gè)損失函數(shù)的加權(quán)值,具體實(shí)現(xiàn)見(jiàn)式(9):

L=αLg+βLv+γLl。

(9)

3.4 評(píng)價(jià)標(biāo)準(zhǔn)

該模型共使用5個(gè)評(píng)價(jià)指標(biāo),其中包括模型的BLEU值、實(shí)體的F1值以及該模型在3個(gè)領(lǐng)域上分別取得的實(shí)體F1值。下面針對(duì)BLEU與F1值的相關(guān)知識(shí)展開(kāi)敘述。

(1)BLEU。指標(biāo)通常用于評(píng)估機(jī)器翻譯系統(tǒng),或者用于評(píng)估聊天機(jī)器人。2017年,SHARMA等[26]證明了該指標(biāo)與面向任務(wù)的數(shù)據(jù)集的人類(lèi)評(píng)估具有很高的相關(guān)性。因此,本文采用該指標(biāo)計(jì)算所有系統(tǒng)響應(yīng)的BLEU分值。

(2)實(shí)體F1。在測(cè)試數(shù)據(jù)中的每輪對(duì)話中,車(chē)載助理的響應(yīng)都有一組黃金實(shí)體。為了計(jì)算實(shí)體F1值,需要對(duì)整個(gè)系統(tǒng)的對(duì)話響應(yīng)集進(jìn)行微平均,并且需要以規(guī)范化的形式使用實(shí)體。該指標(biāo)可以評(píng)估模型從基礎(chǔ)知識(shí)庫(kù)中生成相關(guān)實(shí)體并捕獲用戶(hù)發(fā)出的對(duì)話語(yǔ)義的能力。ERIC等[27]提出,實(shí)體F1值是比響應(yīng)準(zhǔn)確度更為全面的評(píng)估指標(biāo)。

3.5 實(shí)驗(yàn)結(jié)果

在訓(xùn)練過(guò)程中,本文選用以下4個(gè)模型作為基線模型。

(1)Rule-Based模型[12]。該模型是一個(gè)傳統(tǒng)的基于規(guī)則實(shí)現(xiàn)的系統(tǒng),該模型由3個(gè)模塊組成,分別為用于判斷對(duì)話狀態(tài)的對(duì)話狀態(tài)跟蹤模塊、用于獲取相應(yīng)信息的知識(shí)庫(kù)查詢(xún)模塊以及用于生成回復(fù)的自然語(yǔ)言生成模塊。該模型在實(shí)現(xiàn)時(shí),首先需要根據(jù)用戶(hù)語(yǔ)句中涉及的相關(guān)領(lǐng)域信息進(jìn)行關(guān)鍵字搜索,以此進(jìn)行意圖檢測(cè)。之后用戶(hù)語(yǔ)句被提供給詞典,判斷出對(duì)話中涉及到的實(shí)體。這些信息最終會(huì)形成對(duì)話狀態(tài),用于在KB中進(jìn)行進(jìn)一步的查詢(xún),其返回值則用于生成系統(tǒng)回復(fù)。

(2)端到端模型(Sequencce-to-Sequence,S2S)[27]。該模型由Eric等在2017年提出,使用encoder-decoder的結(jié)構(gòu)將對(duì)話框架轉(zhuǎn)化為序列到序列的學(xué)習(xí)問(wèn)題。該模型在編碼器模塊中涉及到的KB實(shí)體上增加了基于注意力的硬拷貝機(jī)制。該模型與之前該作者提出的另一個(gè)模型不同,針對(duì)編碼器的輸入并沒(méi)有增加額外的實(shí)體類(lèi)型特性,僅依賴(lài)于對(duì)話歷史來(lái)生成系統(tǒng)回復(fù),并保留了完整的端到端的可訓(xùn)練性。該模型可以準(zhǔn)確解釋用戶(hù)輸入,并通過(guò)潛在的分布式表示對(duì)用戶(hù)輸入進(jìn)行相應(yīng)操作,并提供更多的語(yǔ)言多功能性。

(3)內(nèi)存到序列模型(Memory-to-Sequence,Mem2Seq)[28]。該模型由MADOTTO等在2018年提出,該模型是第一個(gè)將內(nèi)存上的多跳注意力與指針網(wǎng)絡(luò)思想相結(jié)合的神經(jīng)生成模型,使之有效地合并KB信息,且多跳注意機(jī)制可以有效地幫助模型學(xué)習(xí)對(duì)話上下文之間的相關(guān)性。該模型由一個(gè)MenNN編碼器和一個(gè)內(nèi)存解碼器組成,該編碼器主要用于創(chuàng)建對(duì)話歷史的相關(guān)向量表示,解碼器則用于讀取并復(fù)制內(nèi)存以生成系統(tǒng)回復(fù)。該模型也沒(méi)有復(fù)雜的特定任務(wù)設(shè)計(jì),保證了其通用性。

(4)GLMP模型[10]。該模型由Wu等在2019年提出,由編碼器、解碼器與外部知識(shí)3個(gè)模塊組成。在編碼器模塊通過(guò)軟過(guò)濾不需要復(fù)制的單詞來(lái)對(duì)外部知識(shí)進(jìn)行修改,然后使用RNN學(xué)習(xí)潛在的對(duì)話管理方式來(lái)生成對(duì)話動(dòng)作模板。之后使用解碼器模塊生成的指針從外部知識(shí)庫(kù)中獲取相應(yīng)的單詞進(jìn)行復(fù)制,生成最后的回復(fù)。該模型在自動(dòng)評(píng)估和人工評(píng)估時(shí)都獲得了優(yōu)于現(xiàn)有模型的結(jié)果。

由于4個(gè)基線模型都是使用的編碼器—解碼器結(jié)構(gòu)實(shí)現(xiàn)的,可用如圖3所示的模型結(jié)構(gòu)圖概括,具體細(xì)節(jié)不再贅述。在所對(duì)比的4個(gè)基線模型中,將對(duì)話歷史輸入到編碼器中,之后結(jié)合KB知識(shí),將其傳輸?shù)浇獯a器中進(jìn)行對(duì)話的生成。但在基線模型中,將意圖檢測(cè)與插槽填充視為一個(gè)整體任務(wù),并未考慮到相關(guān)性信息的使用。通過(guò)與本模型結(jié)構(gòu)圖對(duì)比,可進(jìn)一步證明意圖檢測(cè)任務(wù)與插槽填充任務(wù)之間的相互促進(jìn)性效果。

對(duì)于人機(jī)對(duì)話的場(chǎng)景,本文遵循之前工作中所采用的評(píng)價(jià)指標(biāo):BLEU與F1分值。如表3所示,該模型取得了最高的BLEU與F1分值,分別為13.25與53.88。此外,在天氣檢索以及興趣點(diǎn)導(dǎo)航領(lǐng)域的F1值也高于其他模型,得到了明顯的提升。但由于日歷調(diào)度領(lǐng)域的數(shù)據(jù)中插槽值較多,模型在有限的輪次內(nèi)未能更好地學(xué)習(xí)到其特征信息,導(dǎo)致該領(lǐng)域的F1值與GLMP相差不大。

表3 實(shí)驗(yàn)結(jié)果

4 結(jié)束語(yǔ)

本工作針對(duì)對(duì)話系統(tǒng)中的意圖檢測(cè)任務(wù)與插槽填充任務(wù)之間的相關(guān)性信息進(jìn)行研究,并針對(duì)該特性提出了一種面向任務(wù)的基于Stack-Propagation思想實(shí)現(xiàn)的對(duì)話系統(tǒng)模型。首先,設(shè)置了全局編碼器和本地解碼器來(lái)共享外部知識(shí),且在該模型的解碼器模塊中設(shè)置了雙解碼器,分為用于意圖信息與插槽信息的檢測(cè)生成。此外,將意圖解碼器的輸出當(dāng)做輸入去進(jìn)一步指導(dǎo)插槽填充任務(wù)的進(jìn)行,充分利用意圖檢測(cè)任務(wù)與插槽填充任務(wù)之間的相關(guān)性信息,使插槽填充任務(wù)的結(jié)果更加精確,從而進(jìn)一步提高對(duì)話系統(tǒng)的準(zhǔn)確率。最后,在SMD數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),并將其與基線模型進(jìn)行了對(duì)比,證明了該模型的有效性。本文工作中并未考慮到對(duì)話系統(tǒng)的交互效率問(wèn)題,并且將該模型運(yùn)用于實(shí)際生活中時(shí)也存在很多亟待解決問(wèn)題,因此本文的下一步將從提高模型的交互效率與實(shí)用性著手。