基于細(xì)粒度信息集成的意圖識(shí)別和槽填充聯(lián)合模型

周天益 范永全 杜亞軍 李顯勇

摘 要：意圖識(shí)別和槽位填充是構(gòu)建口語理解（SLU）系統(tǒng)的兩項(xiàng)主要任務(wù)，兩者相互聯(lián)合的模型是對(duì)話系統(tǒng)的研究熱點(diǎn)。這兩個(gè)任務(wù)緊密相連，槽位填充通常高度依賴于意圖信息。針對(duì)最近聯(lián)合模型中：固定閾值很難在不同領(lǐng)域中選擇出正向的投票，且復(fù)雜的意圖信息不能充分地引導(dǎo)槽位填充的問題。提出了一種基于細(xì)粒度信息集成的意圖識(shí)別和槽填充聯(lián)合模型。其中，將由意圖解碼器獲取的意圖信息與各單詞的編碼表示拼接，形成意圖引導(dǎo)的集成編碼表示，從而為單詞級(jí)槽位填充提供細(xì)粒度的意圖信息。同時(shí)，通過計(jì)算最大意圖得分和最小意圖得分的中間值獲得邏輯自適應(yīng)閾值，并用其代替固定閾值。邏輯自適應(yīng)閾值可隨不同意圖標(biāo)簽的得分分布而變化。通過在兩個(gè)多標(biāo)簽數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了提出的模型的性能。

關(guān)鍵詞：意圖識(shí)別； 槽位填充； 聯(lián)合模型； 雙向LSTM

中圖分類號(hào)：TP311?? 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）09-017-2669-05

doi：10.19734/j.issn.1001-3695.2023.01.0015

Joint model of intent detection and slot filling based on

fine-grained information integration

Zhou Tianyi， Fan Yongquan， Du Yajun， Li Xianyong

（School of Computer & Software Engineering， Xihua University， Chengdu 610039， China）

Abstract：Intent detection and slot filling are two main tasks for building a spoken language understanding（SLU） system， the joint model of the two tasks is the research hotspot of the dialogue system. These two tasks are closely tied and the slots often highly depend on the intent. For the recent joint model： the fixed threshold is difficult to extract the positive votes in different domains. And the complex intent information guides the slot filling insufficiently. This paper proposed a fine-grained information integrated model for multiple intent detection and slot filling. Among this model， the intent information obtained by the intent decoder was concatenate with the encoding representation of each token to form an intent guided integrated encoding representation， so as to offer fine-grained intent information for the token-level slot prediction. At the same time， calculating the median of the maximum intent score and the minimum intent score to obtain the logic-adaptive threshold， and used it replace the fixed threshold. The logic-adaptive threshold can vary with the score distribution of different intent labels. Experimental results on two multi-label datasets verifies the performance of the proposed model.

Key words：intent detection; slot filling; joint model; Bi-LSTM

0 引言

口語理解（SLU） ［1］是面向任務(wù)對(duì)話系統(tǒng)的關(guān)鍵組成部分。它通常包括意圖識(shí)別［2］和槽位填充［3］兩個(gè)子任務(wù)。意圖識(shí)別任務(wù)主要是識(shí)別用戶的意圖，槽位填充任務(wù)主要是從自然語言中提取語義成分。通常，意圖識(shí)別和槽位填充是分開實(shí)現(xiàn)的，但直觀地說這兩個(gè)任務(wù)并不是獨(dú)立的，槽位填充通常高度依賴于意圖信息［4］。給定一個(gè)與音樂相關(guān)的話語“l(fā)isten to classical music”，其中每個(gè)單詞都有不同的槽位標(biāo)簽，而整個(gè)話語則對(duì)應(yīng)一個(gè)意圖標(biāo)簽。該話語的意圖標(biāo)簽為listen_to_music，則話語更可能包含槽位標(biāo)簽music_name而非槽位標(biāo)簽movie_name。因此，如何正確且有效地建模意圖識(shí)別與槽位填充之間的交互是目前探索的重點(diǎn)。由于意圖識(shí)別和槽位填充之間的強(qiáng)相關(guān)性，許多基于多任務(wù)學(xué)習(xí)框架的聯(lián)合模型被提出。Liu等人［5］提出了一個(gè)基于注意力的RNN模型，但其僅應(yīng)用了一個(gè)聯(lián)合損失函數(shù)來隱式鏈接這兩個(gè)任務(wù)，模型實(shí)際上并未使用意圖信息來引導(dǎo)槽位填充。王宇亮等人［6］提出了基于意圖—槽位注意機(jī)制的意圖理解算法。此算法通過槽位選通機(jī)制建模意圖和槽位之間的顯式關(guān)系，在單標(biāo)簽場(chǎng)景中取得了成功，而本文的工作則聚焦于多標(biāo)簽場(chǎng)景下的聯(lián)合建模。

多標(biāo)簽意圖識(shí)別可以識(shí)別話語中的多個(gè)意圖，因此引起了越來越多的關(guān)注。Xu等人［7］探索多標(biāo)簽意圖識(shí)別，然而，文獻(xiàn)［7］僅考慮了意圖識(shí)別，而忽略了槽位填充任務(wù)。Gangadharaiah等人［8］首次使用具有槽門機(jī)制的多任務(wù)框架來聯(lián)合建模多標(biāo)簽意圖識(shí)別和槽位填充，但其僅將多個(gè)意圖信息整合為一個(gè)復(fù)雜的意圖信息來引導(dǎo)所有的槽位填充，而并未提供準(zhǔn)確且有效的意圖信息。Qin等人［9］提出了一種自適應(yīng)交互模型（AGIF），槽位填充由AGIF中的多意圖信息指導(dǎo)，但其仍使用固定閾值篩選對(duì)意圖標(biāo)簽的正向投票。盡管以上模型實(shí)現(xiàn)了不錯(cuò)的性能，但仍面臨兩個(gè)問題：a）這些模型采用固定的閾值進(jìn)行意圖識(shí)別，但在不同的領(lǐng)域，每個(gè)單詞的意圖分類得分分布是不同的，在某些領(lǐng)域，大多數(shù)單詞的意圖分類得分太低，而在其他領(lǐng)域，單詞的意圖分類得分太高，因此固定閾值很難在不同領(lǐng)域有效地選擇正向的投票；b）這些模型簡(jiǎn)單地將多個(gè)意圖信息整合為一個(gè)復(fù)雜的意圖信息來引導(dǎo)槽位填充，并沒有為單詞級(jí)槽位填充提供準(zhǔn)確有效的意圖信息。

本文提出了一種基于細(xì)粒度信息集成的多意圖識(shí)別和槽位填充聯(lián)合模型。在兩個(gè)公共數(shù)據(jù)集MixSNIPS［10］和MixATIS［11］的實(shí)驗(yàn)結(jié)果表明本文模型獲得了實(shí)質(zhì)性的改進(jìn)。本文引入了一種新的閾值確定方法，以選擇適合于各領(lǐng)域的閾值。本文提出的邏輯自適應(yīng)閾值通過適應(yīng)不同意圖標(biāo)簽的得分分布來計(jì)算出合適的閾值，從而進(jìn)行有效的投票選擇，并且其比固定閾值更加通用；提出一個(gè)細(xì)粒度信息集成模塊，其中細(xì)粒度意圖信息與話語的編碼表示相結(jié)合來引導(dǎo)單詞級(jí)槽位填充；通過在兩個(gè)公開的多標(biāo)簽數(shù)據(jù)集MixATIS和MixSNIPS上進(jìn)行的實(shí)驗(yàn)，表明模型的性能實(shí)現(xiàn)了實(shí)質(zhì)性的提升。

1 模型框架

模型的結(jié)構(gòu)如圖1所示，其中包含一個(gè)共享的自注意力編碼器［12］、一個(gè)單詞級(jí)意圖識(shí)別解碼器、一個(gè)基于細(xì)粒度信息集成的槽位填充解碼器。共享的自注意力編碼器由兩部分組成。其中之一是雙向LSTM，用于前向和后向理解輸入話語以生成帶有序列特征的隱藏狀態(tài)；另一個(gè)是自注意力機(jī)制，用于感知長度可變序列的上下文信息。最后將雙向LSTM的隱藏狀態(tài)和自注意力結(jié)果拼接作為輸入話語的編碼表示。多標(biāo)簽意圖識(shí)別由基于邏輯自適應(yīng)閾值的單詞級(jí)意圖識(shí)別解碼器實(shí)現(xiàn)。在細(xì)粒度信息集成模塊中意圖信息被用來引導(dǎo)槽位填充。本文用意圖標(biāo)簽和輸入話語的編碼表示來計(jì)算意圖—單詞相關(guān)性分?jǐn)?shù)。接著，將意圖標(biāo)簽、意圖—單詞相關(guān)性分?jǐn)?shù)和輸入話語編碼表示三者結(jié)合起來，形成意圖引導(dǎo)的集成編碼表示。最后，將攜帶細(xì)粒度意圖信息的集成編碼表示用于槽位預(yù)測(cè)。

1.1 自注意編碼器

在口語理解中，單詞的標(biāo)簽不僅由自身含義決定，還由上下文決定。為了捕獲此類依賴關(guān)系，意圖識(shí)別和槽位填充使用相同的自注意力編碼器。在自注意力編碼器中，使用雙向LSTM和自注意力機(jī)制來獲得話語的序列特征和上下文信息，這些特征和信息對(duì)序列標(biāo)記任務(wù)均有幫助。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

本文在兩個(gè)公開的多標(biāo)簽數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。一個(gè)關(guān)于音樂和天氣的數(shù)據(jù)集MixSNIPS、一個(gè)關(guān)于航空旅行的數(shù)據(jù)集MixATIS。數(shù)據(jù)集的劃分如表1所示。

2.2 基線模型

本文模型與以下主流的基線模型進(jìn)行了比較：

a）Attention BiRNN［5］。Liu等人提出了一種基于對(duì)齊RNN的槽填充和意圖識(shí)別聯(lián)合模型。

b）Slot-Gated Atten［4］。Goo等人提出了一種槽位門控聯(lián)合模型，考慮了槽位填充和意圖識(shí)別之間的相關(guān)性。

c）Bi-Model［15］。Wang等人提出了雙向模型來模擬意圖識(shí)別和槽位填充之間的雙向交互。

d）SF-ID Network［16］。E等人建立了SF-ID網(wǎng)絡(luò)在兩個(gè)任務(wù)之間建立直接連接。

e）Stack-Propagation［17］。 Qin等人采用棧傳播的框架，顯式地將意圖信息引導(dǎo)槽填充。

f）Joint Multiple ID-SF［8］。Gangadharaiah等人提出了一種具有槽位門控機(jī)制的多任務(wù)框架，用于多意圖識(shí)別和槽位填充。

g）AGIF［9］。 Qin等人提出了一種自適應(yīng)交互網(wǎng)絡(luò)來實(shí)現(xiàn)多標(biāo)簽意圖識(shí)別，實(shí)現(xiàn)了目前最好的性能。

2.3 主要結(jié)果

本文使用F1值來評(píng)估槽填充的性能表現(xiàn)。意圖識(shí)別的性能通過accuracy來評(píng)估，句子級(jí)的語義分析水平通過overall accuracy來評(píng)估。overall accuracy表示意圖識(shí)別結(jié)果和槽位填充結(jié)果同時(shí)正確的比率。表2給出了實(shí)驗(yàn)結(jié)果，可以看出：a）對(duì)于意圖識(shí)別，本文模型在accuracy上優(yōu)于基線AGIF，這意味著所提出的邏輯自適應(yīng)閾值成功地為特定領(lǐng)域選擇了適當(dāng)?shù)拈撝担虼丝梢蕴岣咭鈭D識(shí)別性能；b）與AGIF相比，本文的模型分別在 MixATIS 和 MixSNIPS上實(shí)現(xiàn)了overall accuracy的提升，表明本文提出的細(xì)粒度信息集成模型可以更好地捕捉意圖和槽位之間的相關(guān)性，從而提高模型對(duì)口語理解的性能。

2.4 結(jié)果分析

2.4.1 聯(lián)合訓(xùn)練

為驗(yàn)證聯(lián)合訓(xùn)練的有效性，意圖識(shí)別和槽位填充使用獨(dú)立的編碼器。細(xì)粒度信息集成模塊中的意圖標(biāo)簽被隨機(jī)初始化。意圖—單詞相關(guān)性得分均設(shè)置為0.5。其他組件保持不變，稱此模型為模型-IL。由表3可得，模型-IL在沒有共享參數(shù)的情況下表現(xiàn)不佳，并且在兩個(gè)數(shù)據(jù)集上的總體性能都有所下降。盡管MixSNIPS上的accuracy幾乎不變，但overall accuracy和F1值仍在下降。這一結(jié)果可以從兩個(gè)方面解釋：a）具有相關(guān)性的任務(wù)可以通過聯(lián)合學(xué)習(xí)相互促進(jìn)；b）準(zhǔn)確且有效的意圖信息可以引導(dǎo)槽位填充，從而進(jìn)一步提升模型性能。

2.4.2 細(xì)粒度信息集成

去除細(xì)粒度信息集成模塊，并將話語編碼表示直接輸入到槽感知的雙向LSTM中來進(jìn)行消融實(shí)驗(yàn)。將其稱為表3中的模型-FGII。由表3可得，在MixATIS和MixSNIPS數(shù)據(jù)集上，F(xiàn)1分別下降了1.3%和0.8%。表明細(xì)粒度信息集成可以獲得準(zhǔn)確有效的意圖信息，從而引導(dǎo)槽位填充。

2.4.3 邏輯自適應(yīng)閾值

直接使用固定閾值來代替邏輯自適應(yīng)閾值進(jìn)行意圖識(shí)別，以驗(yàn)證邏輯自適應(yīng)閾值的效果，本文將其稱為表3中的模型-LAT。由表3可得，缺乏邏輯自適應(yīng)閾值分別導(dǎo)致兩個(gè)多標(biāo)簽數(shù)據(jù)集上的overall accuracy下降了1.0%和0.7%。這意味著邏輯自適應(yīng)閾值可以選擇適當(dāng)?shù)拈撝狄赃m應(yīng)特定的話語和領(lǐng)域。

2.4.4 可視化

為直觀地理解細(xì)粒度信息集成模塊的功能，對(duì)其中的意圖—單詞相關(guān)性得分進(jìn)行了可視化。如圖5所示，豎軸為預(yù)測(cè)的意圖標(biāo)簽，橫軸為輸入話語。顏色越深，即相關(guān)度越高。紿定話語“Rate this album 5 points and when is just before night- fall playing”和其意圖標(biāo)簽“RateBook”和 “SearchScreeningEvent”。可以清晰地發(fā)現(xiàn)意圖—單詞相關(guān)性得分成功地集中在正確的意圖上，這意味著細(xì)粒度信息集成模塊可以將與槽位相關(guān)的意圖信息結(jié)合起來。簡(jiǎn)而言之，本文模型恰當(dāng)?shù)貙⒁鈭D信息“RateBook”用于槽位“Rate，this， album， 5， points”的預(yù)測(cè)。類似地，將“SearchScreeningEvent”的意圖信息用于槽位“when，is，just，before，nightfall，playing”的預(yù)測(cè)。

2.4.5 實(shí)例研究

如圖6所示，圖（a）為來自MixATIS的實(shí)例，圖（b）為來自MixSNIPS的實(shí)例。當(dāng)意圖—單詞相關(guān)性分?jǐn)?shù)大于0.5時(shí)，即相關(guān)性較強(qiáng)時(shí)，將意圖標(biāo)簽與單詞相連。由圖6可得，各意圖標(biāo)簽均為其相關(guān)的單詞提供了準(zhǔn)確且有效的細(xì)粒度意圖信息，從而克服了以往模型提供復(fù)雜意圖信息而導(dǎo)致歧義的問題，并且對(duì)兩個(gè)實(shí)例預(yù)測(cè)的槽位標(biāo)簽均得到了正確的結(jié)果，表明本文的模型性能得到了實(shí)質(zhì)性的提升。

3 結(jié)束語

本文提出了一種基于細(xì)粒度信息集成的意圖識(shí)別和槽填充聯(lián)合模型，在意圖識(shí)別解碼器中使用邏輯自適應(yīng)閾值以選擇適合于不同話語的閾值，克服固定閾值的問題；提出的邏輯自適應(yīng)閾值能隨著不同的意圖得分分布而變化，并且比固定閾值更加通用。通過細(xì)粒度信息集成獲得的集成編碼表示可以建模槽位和意圖之間的交互，有效地為單詞級(jí)槽位填充提供細(xì)粒度的意圖信息。此外，意圖—單詞相關(guān)性分?jǐn)?shù)的可視化為本文模型提供了一定的可解釋性。在兩個(gè)公開的多標(biāo)簽數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文模型的性能有實(shí)質(zhì)性的提升。未來計(jì)劃結(jié)合更多的知識(shí)并探索新的架構(gòu)，以更好地模擬單詞、意圖、槽位和其他文本特征之間的交互，從而獲得更好的口語理解性能。

參考文獻(xiàn)：

［1］魏鵬飛， 曾碧， 汪明慧， 等. 基于深度學(xué)習(xí)的口語理解聯(lián)合建模算法綜述［J］. 軟件學(xué)報(bào)， 2022，33（11）：4192-4216. （Wei Pengfei， Zeng Bi， Wang Minghui， et al. A survey of joint modeling algorithms for oral comprehension based on deep learning［J］. Journal of Software， 2022，33（11）： 4192-4216.）

［2］鄭思露， 程春玲， 毛毅. 融合實(shí)體信息和時(shí)序特征的意圖識(shí)別模型 ［J］. 計(jì)算機(jī)技術(shù)與發(fā)展， 2022，32（11）： 171-176. （Zheng Silu， Cheng Chunling， Mao Yi. Intention recognition model integrating entity information and temporal features［J］. Computer Technology and Development， 2022，32（11）： 171-176.）

［3］劉振元， 許明陽， 王承濤. 基于數(shù)據(jù)增強(qiáng)和字詞融合特征的實(shí)體槽位識(shí)別［J］. 華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版， 2022，50（11）： 101-106. （Liu Zhenyuan， Xu Mingyang， Wang Chengtao. Entity slot recognition based on data enhancement and word fusion features［J］. Journal of Huazhong University of Science and Technology：Natural Science Edition， 2022， 50（11）： 101-106.）

［4］Goo C W， Gao Guang， Hsu Y K， et al. Slot-gated modeling for joint slot filling and intent prediction［C］//Proc of Conference of North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 2 （Short Papers）. 2018.

［5］Liu Bing， Ian L. Attention-based recurrent neural network models for joint intent detection and slot filling［C］//Proc of the 17th Annual Conference of International Speech Communication Association.2016： 685-689.

［6］王宇亮， 楊觀賜， 羅可欣. 基于意圖—槽位注意機(jī)制的醫(yī)療咨詢意圖理解與實(shí)體抽取算法［J］. 計(jì)算機(jī)應(yīng)用研究，2023，40（5）：1402-1409. （Wang Yuliang， Yang Guanci， Luo Kexin. Intention understanding and entity extraction algorithm for medical consultation based on intention-slot attention mechanism［J］. Application Research of Computers， 2023，40（5）：1402-1409.）

［7］Xu Puyang， Sarikaya R. Convolutional neural network based triangular CRF for joint intent detection and slot filling［C］//Proc of IEEE Workshop on Automatic Speech Recognition and Understanding. Piscataway，NJ：IEEE Press，2013.

［8］Gangadharaiah R， Narayanaswamy B. Joint multiple intent detection and slot labeling for goal-oriented dialog［C］//North American Chapter of Association for Computational Linguistics. 2019.

［9］Qin Libo， Xiao Xu， Che Wanxiang， et al. AGIF： an adaptive graph-interactive framework for joint multiple intent detection and slot filling［C］//Proc of IEEE Workshop on Automatic Speech Recognition and Understanding. Piscataway，NJ：IEEE Press， 2020.

［10］Coucke A， Saade A， Ball A， et al. Snips voice platform： an embedded spoken language understanding system for private-by-design voice interface［EB/OL］. （2018）. https：//arxiv.org/abs/1805.10190.

［11］Hemphill C T， Godfrey J J， Doddington G R. The ATIS spoken language systems pilot corpus［C］//Proc of Darpa Speech & Natural Language Workshop. 1990.

［12］Qin Libo， Wei Fuxuan， Xie Tianbao， et al. GL-GIN： fast and accurate non-autoregressive model for joint multiple intent detection and slot filling［EB/OL］. （2021-06-03）. https：//arxiv.org/abs/2106.01925.

［13］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［EB/OL］.（2017）. https：//arxiv.org/abs/1706. 03762.

［14］Yang Peng，Ji Dong，Ai Chengming，et al. AISE： attending to intent and slots explicitly for better spoken language understanding［J］. European Journal of Medicinal Chemistry： Chimie Therapeutique， 2021， 211（1）：106537.

［15］Wang Yu， Shen Yilin， Jin Hongxia. A bi-model based RNN semantic frame parsing model for intent detection and slot filling［C］//Proc of Conference of North American Chapter of Association for Computatio-nal Linguistics： Human Language Technologies， Volume 2 （Short Papers）. 2018.

［16］E Haihong， Niu Peiqing， Chen Zhongfu， et al. A novel bi-directional interrelated model for joint intent detection and slot filling［C］//Proc of the 57th Annual Meeting of Association for Computational Linguistics. 2019： 5467-5471.

［17］Qin Libo， Che Wanxiang， Li Yangming， et al. A stack-propagation framework with token-level intent detection for spoken language understanding［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. 2019： 2078-2087.

收稿日期：2023-01-13；修回日期：2023-03-17? 基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目（61872298，61802316，61902324）；四川省科技廳資助項(xiàng)目（2023YFQ0044，2021YFQ008）

作者簡(jiǎn)介：周天益（1998-），男，江蘇常州人，碩士研究生，主要研究方向?yàn)橐鈭D識(shí)別；范永全（1976-），男（通信作者），河南淅川人，副教授，碩導(dǎo)，博士，主要研究方向?yàn)榇髷?shù)據(jù)與人工智能（fyq@mail.xhu.edu.cn）；杜亞軍（1967-），男，四川巴中人，教授，碩導(dǎo)，博士，主要研究方向?yàn)榇髷?shù)據(jù)與人工智能；李顯勇（1984-），男，四川達(dá)州人，副教授，碩導(dǎo)，博士，主要研究方向?yàn)閃eb信息挖掘、社交網(wǎng)絡(luò)分析．