基于優(yōu)化“未定義”類話語檢測的話語領(lǐng)域分類

柯子烜，黃沛杰，曾 真

(華南農(nóng)業(yè)大學(xué) 數(shù)學(xué)與信息學(xué)院，廣東 廣州 510642)

0 引言

口語語言理解(spoken language understanding, SLU)是口語對話系統(tǒng)(spoken dialogue system，SDS)中的重要環(huán)節(jié)，而話語分類(utterance classification)則是SLU的關(guān)鍵任務(wù)之一[1]。話語分類可進一步細分為話語領(lǐng)域分類(utterance domain classification)、話語意圖分類(utterance intent classification)及對話行為分類(dialogue act classification)[1-3]。其中，領(lǐng)域分類的任務(wù)是把話語劃分到定義好的不同領(lǐng)域標簽[3]，進而將話語正確地分進不同的SLU子系統(tǒng)。如用戶提出“幫我寫一封郵件”，系統(tǒng)則應(yīng)該將其劃分到“郵件”領(lǐng)域之中，使得系統(tǒng)能對該話語進行專門針對“郵件”領(lǐng)域的語言理解。

目前領(lǐng)域分類的標簽多由人工設(shè)計，盡管通過精巧的語料庫設(shè)計，往往能將領(lǐng)域覆蓋得比較全面。但總有一些覆蓋不到的話語，不得不采用“未定義”的標簽。而這些“未定義”標簽在不同的語料中可能表現(xiàn)為不同的類別。這些話語在面向任務(wù)語料中往往表現(xiàn)為“閑聊”類、“超出領(lǐng)域”類或“其他”類，與語料涉及的任務(wù)和領(lǐng)域無關(guān)。如第六屆社會媒體處理大會SMP 2017中文人機對話技術(shù)評測中用戶意圖領(lǐng)域分類語料(SMP 2017 DC Dataset)中的“chat”領(lǐng)域與其他面向任務(wù)的領(lǐng)域如“health”、“cookbook”等明顯不同，故其可為“未定義”類別，而其他涉及任務(wù)的標簽均為“已定義” 類別。又如Tur等人[1]使用的語料中的“其他”領(lǐng)域為“未定義”類別，其余25個領(lǐng)域則為“已定義” 類別。

事實上，這樣的話語絕非少數(shù)，在SMP 2017 DC Dataset中，“未定義”類為609條，占比超過19.84%。研究表明，對話系統(tǒng)中大約有20%的用戶話語屬于“未定義”類[4-5]，其重要性及誤識別時的危害性可以從以下兩個方面考究。

(1) 錯把“已定義”類分到“未定義”類中

在實際應(yīng)用場景中，用戶使用多或者單任務(wù)對話系統(tǒng)，往往為了解決實際問題。例如，用戶發(fā)出“發(fā)燒怎么處理？”的話語，對話系統(tǒng)應(yīng)該準確將其分到“健康”領(lǐng)域中。一旦錯分到“未定義”類，系統(tǒng)只能當(dāng)作任務(wù)領(lǐng)域之外的話語來處理，這會導(dǎo)致用戶對系統(tǒng)的功能有效性產(chǎn)生懷疑。

(2) 錯把“未定義”類分到“已定義”類中

有時候用戶在對話過程中與系統(tǒng)閑聊。如用戶發(fā)出“你多大了？”的話語，系統(tǒng)應(yīng)該將其分到“閑聊”話語之中。一旦錯分到某個“已定義”類，即某個領(lǐng)域內(nèi)的話語，則可能會做出“給某某打電話”這樣出乎預(yù)料的反應(yīng)，故而大大降低用戶體驗。

本文提出一種基于優(yōu)化“未定義”類的領(lǐng)域分類方案。整個方案可分為兩個階段： 第一階段，首先區(qū)分“未定義”類與“已定義”類。因“未定義”類語義具有開放性以及表達多樣性的特點。故其與單個“已定義”類之間的邊界可能較為復(fù)雜，分類器進行區(qū)分時可能難度較大。因此本文首先使用聚類方法，將“已定義”類聚為幾個大類。其次，利用分類模型對聚類后的“已定義”類大類以及“未定義”類進行區(qū)分。因而，在某種程度上解決了“未定義”類與“已定義”類中某些類別容易混淆，邊界不清的問題。隨后，被認為是“已定義”類的話語將進入第二個階段，將大類重新拆開，分成符合要求的“已定義”類。在分類模型上，本文采用長短期記憶網(wǎng)絡(luò)(long and short-term memory, LSTM)，并通過交叉驗證的方式進行了聚類中心個數(shù)以及LSTM模型參數(shù)的選擇，相比于已有的研究，本文的主要貢獻包括：

(1) 提出優(yōu)化“未定義”類話語檢測的兩階段領(lǐng)域分類方案。首先完成“已定義”類與“未定義”類話語的分離，對“已定義”類進行聚類的方法讓鄰近及易于混淆的類別聚集形成大類，簡化眾多的“已定義”類話語獨立存在時與“未定義”類話語之間的邊界。進而將第一階段分類為“已定義”類的話語，在去除了絕大部分“未定義”類話語干擾的基礎(chǔ)上進行再次分類。

(2) 在領(lǐng)域分類比賽數(shù)據(jù)集SMP 2017 DC Dataset上評測了本文提出的方法，取得了優(yōu)于目前研究進展方法的效果，結(jié)果驗證本文方法在 “未定義”類話語檢測的F1值以及所有話語的領(lǐng)域分類總正確率上都有明顯提升。

本文后續(xù)部分安排如下： 第一節(jié)介紹相關(guān)工作。第二節(jié)介紹本文提出的方法。第三節(jié)給出測試結(jié)果及分析。第四節(jié)總結(jié)本文工作并做出簡要展望。

1 相關(guān)工作

領(lǐng)域分類一直是學(xué)術(shù)界、工業(yè)界的研究熱點。其任務(wù)是給每一段話語打上預(yù)先定義好的領(lǐng)域標簽。由于口語對話具有長度短小的特點，領(lǐng)域分類通常會被看作是短文本分類。早期的領(lǐng)域分類多采用較為復(fù)雜的人工特征，如語法信息、韻律信息、詞匯信息等[6-8]。

深度學(xué)習(xí)流行以來，許多研究者開始用深度學(xué)習(xí)方法解決自然語言處理(natural language processing, NLP)任務(wù)，這使得許多任務(wù)得到了長足的發(fā)展，其中也包括領(lǐng)域分類。一部分學(xué)者利用神經(jīng)網(wǎng)絡(luò)進行特征提取，在ATIS數(shù)據(jù)集上取得了較好的領(lǐng)域分類結(jié)果[9-13]。代表性的有Sarikay[9]等人提出的深度置信網(wǎng)絡(luò)(deep belief network, DBN)。另一部分學(xué)者使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)進行領(lǐng)域分類[1-14]，如Tur[1]等人提出利用深度凸網(wǎng)絡(luò)(deep convex network, DCN)進行領(lǐng)域分類，并取得優(yōu)于傳統(tǒng)提升方法(boosting)的結(jié)果。Ravuri等人[3]和Shi等人[15]則利用LSTM得到語料中上下文序列信息，并取得優(yōu)于傳統(tǒng)方法的領(lǐng)域分類效果。也有一部分研究人員認為，槽標簽(slot tags)和領(lǐng)域標簽都能代表用戶的語義信息，可以通過共享一部分信息來得到更好的結(jié)果，許多網(wǎng)絡(luò)結(jié)構(gòu)因此將此兩者結(jié)合在一起訓(xùn)練[16-17]。

上述研究進展的方法都對領(lǐng)域分類提供了很好的借鑒。然而這些方法并沒有特別關(guān)注“未定義”類，只是將其作為普通類別處理，更多從特征工程和模型優(yōu)化方面考慮。實際上，與“已定義”類相比，“未定義”類的分類具有以下挑戰(zhàn)。

(1) 成分復(fù)雜。“未定義”類本身還可以分為若干個類別。如“罵人”、“身份信息”、“致歉”等。這樣的特點決定了其成分復(fù)雜多樣，難以直接與其他已經(jīng)定義好的類進行區(qū)分。

(2) 與其他類邊界難以確定。由于成分復(fù)雜，分類器進行分類時，如果不對“未定義”類進行專門處理，分類邊界確定將變得尤為困難，容易混淆“未定義”類與“已定義”類。

Lane等人[18]提出的利用二層層疊泛化(stacked generalization)進行“超出領(lǐng)域”(out-of-domain, OOD)話語檢測方案，某種意義上也相當(dāng)于進行了“未定義”類話語檢測。然而在他們的研究中，訓(xùn)練集不含OOD，即OOD話語只在測試集，訓(xùn)練過程由領(lǐng)域內(nèi)(in-domain, ID)話語輪流作為臨時OOD，這樣的做法從某種程度上可以使得ID各類別之間的分類邊界更加明確，但并沒有解決“未定義”類話語與眾多的“已定義”類話語邊界復(fù)雜和模糊的問題。

針對以上研究進展，本文提出一種基于優(yōu)化“未定義”類話語檢測的領(lǐng)域分類方案，經(jīng)過實驗評估，能夠較好地解決領(lǐng)域分類中“未定義”類準確率、召回率以及F1值較低的問題，并能夠有效地提高領(lǐng)域分類的總正確率。

2 基于優(yōu)化“未定義”類話語檢測的領(lǐng)域分類

2.1 總體技術(shù)架構(gòu)

圖1是本文所提出方法的總體技術(shù)架構(gòu)。

圖1 基于優(yōu)化“未定義”類話語檢測的領(lǐng)域分類總體技術(shù)架構(gòu)

在這個架構(gòu)中，主要分成兩個階段：

(1) 第一階段首先進行“已定義”類與“未定義”類的區(qū)分： 作為預(yù)處理，訓(xùn)練庫利用外部微博數(shù)據(jù)以及Word2Vector生成詞向量。同時，為了使得“已定義”類中相似標簽之間更加易于“未定義”類相區(qū)分，我們選擇合適的“已定義”類聚類中心數(shù)K，并由訓(xùn)練集生成聚類中心，為訓(xùn)練集打上聚類標簽以及“未定義”類標簽。測試開始時，首先利用LSTM模型將測試話語分到共K+1(K個“已定義”類以及“未定義”類)個標簽中。

(2) 隨后進入第二階段，即進行“已定義”類內(nèi)部的細分。第一階段被分類為“未定義”類的話語將被保存，不進入第二階段的分類。第二階段只針對第一階段中被分為K個“已定義”大類中某一個話語進行分類。同樣利用LSTM模型，將這部分話語分為滿足條件的N個“已定義”類別。

2.2 LSTM分類模型

本文使用的LSTM模型整體結(jié)構(gòu)如圖2所示。

圖2 LSTM模型

在池化層，我們利用所有h生成一個向量。一般選擇機制有： 平均池化、最大池化以及最后池化。平均池化選擇所有h向量的平均值，最大池化選擇最大的h向量，最后池化則選擇最后一個h向量(如：ht)[19]。

如果將每個時間序列中的LSTM單元(Cell)展開來看，那么其結(jié)構(gòu)如圖3[17]所示。

圖3 LSTM模型單元結(jié)構(gòu)及其對應(yīng)的參數(shù)

圖3中：

it=σ(W(i)Xt+U(i)ht-1+b(i))

(1)

ft=σ(W(f)Xt+U(f)ht-1+b(f))

(2)

ot=σ(W(o)Xt+U(o)ht-1+b(o))

(3)

ut=tanh(W(u)Xt+U(u)ht-1+b(u))

(4)

ct=it⊙ut+f(t)⊙ct-1

(5)

ht=ot⊙tanh(ct)

(6)

其中，輸入Xt為d維向量，W、U為權(quán)重矩陣，b為偏置向量，σ為激活函數(shù)sigmoid，tanh為激活函數(shù)，it為輸入門，ft為遺忘門，ot為輸出門，ct為記憶單元，ht為隱藏狀態(tài)，⊙為矩陣點乘。

2.3 聚類

聚類算法能將無標簽的數(shù)據(jù)根據(jù)聚類中心數(shù)K分成K組，將含有某種聯(lián)系的類別分到一個聚類標簽之中。不同的聚類方法有不同的幾何距離計算方法。本文采用經(jīng)典的K-means算法對“已定義”類進行聚類，該方法已經(jīng)在大量實際應(yīng)用領(lǐng)域取得了較好的成果。

其效果示意圖如圖4所示。

圖4中，本文實驗將“已定義”類由K-means聚合為K個不同的類別，據(jù)此為“已定義”類的話語打上新的標簽。

其基本原理是不斷更新聚類中心，使得聚類內(nèi)平方誤差最小，如式(7)所示。

μi||2

(7)

其中，x為話語，Ci為類別i，μi為類別i的均值。

大量的理論和實證研究都證明了K-means聚類方法能較好地將相似的樣本聚集到某一特定聚類中心下。同時聚類中心個數(shù)K是影響聚類效果的重要因素[20-21]。

圖4 K-means聚類效果示意圖

3 實驗

3.1 數(shù)據(jù)集

本文采用SMP 2017 意圖領(lǐng)域分類比賽提供的公開數(shù)據(jù)集SMP 2017 DC Dataset。數(shù)據(jù)共計31個類別，每個類別數(shù)據(jù)單獨成為一個文件，具體包括聊天類(chat)和垂類(30個垂直領(lǐng)域)，其數(shù)據(jù)集中類別分布，舉例及統(tǒng)計，如表1所示。

表1 SMP 2017 DC Dataset語料

值得注意的是，這份數(shù)據(jù)集屬于多任務(wù)語料庫，除“chat”類外，其余每個類代表一個領(lǐng)域。根據(jù)之前的定義可知，這份數(shù)據(jù)中，“chat”類屬于“未定義”類，其余30個類別均屬于“已定義”類。

由于SMP 2017 DC Dataset的測試集還沒有給出，我們利用目前已經(jīng)發(fā)布的驗證集作為測試集，利用訓(xùn)練集進行K折交叉驗證(本文中K=5)模型參數(shù)選擇。

SMP 2017 DC Dataset的總體情況如表2所示。

表2 訓(xùn)練驗證以及測試語料的情況

具體來說，整個SMP 2017 DC數(shù)據(jù)集語料中包括訓(xùn)練集2 299句和測試集770句話語，共有3 069句話語，其中“未定義”類話語有609句，占了19.84%。訓(xùn)練集中含“未定義”類話語455句，占19.79%，測試集中“未定義”類話語有154句，占20.00%，表明了優(yōu)化“未定義”類話語檢測的研究和應(yīng)用的價值。

3.2 實驗設(shè)置

本文采用詞向量的特征表達，訓(xùn)練詞向量的外部數(shù)據(jù)庫采用的是中國中文信息學(xué)會社會媒體專委會提供的SMP 2015微博數(shù)據(jù)集(SMP 2015 Weibo DataSet)。該數(shù)據(jù)集超過500G，目前我們采用了其中的一個子集(1 000萬條微博，519 734個詞匯，約1.5G)。詞向量采用Python Gensim主題模型包中的Word2Vec進行訓(xùn)練。

實驗方案為：

(1) 聚類中心個數(shù)選擇： 驗證使用不同聚類中心個數(shù)進行聚類時，驗證集上“未定義”類檢測的F1值的變化，并從中選擇“未定義”類F1值最高的方案。

(2) 研究進展方法領(lǐng)域分類性能對比： 對比了本文提出的方法與研究進展方法的領(lǐng)域分類結(jié)果。

本文的方法，先對“已定義”類聚類，優(yōu)化“未定義”類話語檢測，進而對“已定義”類再次分類的二階段領(lǐng)域分類方案，記為2Stage(Clustering+LSTM)，分類模型采用的是LSTM。對比的研究進展的方法如下：

(1) LSTM： 在研究進展中，LSTM模型被采用在不同語料庫上利用上下文特征進行領(lǐng)域分類[3,14-15]。本文實驗利用其LSTM模型直接對語料中的31個類別進行31分類。

(2) OOD Detection： Lane等人[18]提出的利用置信度層疊泛化模型(stacked generalization)進行OOD檢測的方法。第一層輸出ID分類器的置信度，第二層對第一層的置信度進行學(xué)習(xí)，并檢測出OOD類。

3.3 實驗結(jié)果與分析

3.3.1 聚類中心個數(shù)選擇

聚類中心個數(shù)是進行聚類時的重要參數(shù)，本文驗證八個不同的“已定義”類聚類中心個數(shù)方案，即K=1～8，如圖5所示。K=1即為將所有“已定義”類話語作為一個大類，“未定義”類話語作為一類。

圖5 “已定義”類聚類中心個數(shù)驗證結(jié)果

在本文的實驗中，當(dāng)K=4時，相應(yīng)的“未定義”類的F1值最高，據(jù)此，本文選擇K=4作為“已定義”聚類中心數(shù)。

3.3.2 研究進展方法領(lǐng)域分類性能對比

本文的方法與研究進展方法的領(lǐng)域分類結(jié)果如表3所示。根據(jù)圖5的對比，本文方案的“已定義”聚類中心個數(shù)選擇為4。

表3 本文方法與研究進展方法的領(lǐng)域分類對比

從表3可以看到，本文提出的方法比Lane等人[18]的 OOD Detection方法和LSTM模型方法分別提高了27.6%和6.6%的領(lǐng)域分類總體正確率。在“未定義”類話語檢測的F1值方面，本文提出的方法也比LSTM模型提高了6.9%。其中，OOD Detection方法的“未定義”類F1值幾乎為零，其原因主要在于按該方法在第一層輸入之前去掉了訓(xùn)練集中所有的“未定義”類，使得信息大大丟失，因此在第二層進行OOD檢測時失準。

3.4 案例分析

上述實驗表明，本文提出的基于優(yōu)化“未定義”類話語檢測的領(lǐng)域分類方案能有效地提高總的分類正確率以及“未定義”類話語檢測的F1值。

3.4.1 “未定義”類分類結(jié)果

從整體上看，利用T-SNE[22-23]以及KNN[23]模擬出如圖6所示邊界(三角形代表“未定義”類，空心代表正確分類，實心代表錯誤分類。深灰色區(qū)域表示分類器認為是“未定義”類的區(qū)域)?？梢钥吹剑啾扔诒疚牡?Stage(Clustering+LSTM)方法，單純LSTM分類時，有較多的“未 定 義”類 錯 分 到“已 定義”之中，造成了“未定義”類的召回率較低。相反地，應(yīng)用聚類方法后，灰色區(qū)域能夠包攬更多的“未定義”類話語，使得召回率大大提升。

圖6 “未定義”類分類結(jié)果

值得注意的是，本文使用KNN算法近似算出邊界，實際邊界必定在近似邊界附近，但不保證一定處在近似邊界位置[24]。同時，由于T-SNE降維算法對于展示效果的自適應(yīng)，圖6 中(a)和(b)兩子圖的點投影后位置發(fā)生改變，但仍可以通過話語序號追蹤到點的情況。

3.4.2 典型話語追蹤

下面結(jié)合兩個典型的從錯分中糾正過來的話語例子探討本文方法的效果，如圖7所示(圓形代表“已定義”類，同樣是空心代表正確分類，實心代表錯誤分類)。

圖7 典型話語的追蹤

(1) 錯分為“未定義”類的糾正

在未對“未定義”類進行專門處理時，分類器容易誤把“已定義”類認為是“未定義”類。如： 話語“老馬的電話是多少”，“多少”這個詞在“未定義”類中出現(xiàn)過多次，而在“已定義”類的“contacts”類的訓(xùn)練集中沒有出現(xiàn)，極容易被誤分到“未定義”類中。使用本文方案后，該句在第一階段被分到了某個大類，進而可以在第二階段排除“未定義”類的干擾進行“已定義”類的細分，大大提高了其正確率。如圖7圓形所示，(a)中直接被分到“未定義”類中，而(b)則分到“已定義”類中，并且正確分到“contacts”類。

(2) 錯分為“已定義”類的糾正

同樣，在未對“未定義”類進行專門處理時，一些“未定義”類的話語也容易被誤分為“已定義”類。如： 話語“你生日是什么時候”，出現(xiàn)“什么”的關(guān)鍵詞，“什么”在“epg”類中出現(xiàn)多次，如“今天電影頻道演什么”、“現(xiàn)在熱門的電視劇是什么”等，含“什么”的話語占比達4.7%，所以分類器容易將其直接判定為“epg”類。但使用本文方案后，“什么”并不在某一個大類中占多數(shù)，如果在第一階段先區(qū)分“已定義”與“未定義”，則該句在第一階段能被劃分到“未定義”類。如圖7中三角形所示，(a)中被分到了“epg”之中，(b)中該話語重新被“未定義”類有效召回。

4 結(jié)束語

本文利用聚類算法和LSTM分類模型，提出了基于優(yōu)化“未定義”類話語檢測的領(lǐng)域分類方案。在SMP 2017意圖領(lǐng)域分類比賽數(shù)據(jù)集上的測試表明，本文的方法取得了優(yōu)于研究進展中的領(lǐng)域分類方法的效果。在有限訓(xùn)練數(shù)據(jù)集的條件下，相比于基于置信度的OOD檢測和LSTM等模型，在 “未定義”類話語檢測的F1值以及所有話語的領(lǐng)域分類總正確率上都有明顯的提升。未來計劃通過分析存在的分類錯誤樣例，并結(jié)合進一步擴大的訓(xùn)練庫，探索領(lǐng)域分類決策邊界優(yōu)化機制。

[1] Tur G, Deng L, Hakkani-Tür D, et al. Towards deeper understanding: Deep convex networks for semantic utterance classification[C]//Proceedings of the 37th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012), 2012:5045-5048.

[2] Stolcke A, Ries K, Coccaro N, et al. Dialogue act modeling for automatic tagging and recognition of conversational speech [J]. Computational Linguistics, 2000, 26(3), 339-373.

[3] Ravuri S, Stolcke A. A comparative study of recurrent neural network models for lexical domain classification C]//Proceedings of the 41st IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2016), 2016: 6075-6079.

[4] Gorin A, Riccardi G, Wright J. How may I help you?[J]. Speech Communication, 1997, 23(1-2): 113-127.

[5] Durston P, Farrell M, Attwater D, et al.. OASIS natural language call steering trial[C]//Proceedings of 7th European Conference on Speech Communication and Technology (Eurospeech 2011), 2001: 1323-1326.

[6] Haffner P, Tur G, Wright J H. Optimizing SVMs for complex call classification[C]//Proceedings of the 28th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2003), 2003, I: 632-635.

[7] Yang X, Loukina A, Evanini K. Machine learning approaches to improving pronunciation error detection on an imbalanced corpus[C]//Proceedings of the 4th IEEE Workshop on Spoken Language Technology (SLT 2014), 2014:300-305.

[8] Chelba C, Mahajan M, Acero A. Speech utterance classification[C]//Proceedings of the 28th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2003), 2003, I: 280-283.

[9] Sarikaya R, Hinton G E, Ramabhadran B. Deep belief nets for natural language call-routing[C]//Proceedings of the 36th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2011), 2011:5680-5683.

[10] Sarikaya R, Hinton G E, Deoras A. Application of Deep Belief Networks for natural language understanding[J].IEEE/ACM Transactions on Audio Speech and Language Processing, 2014, 22(4): 778-784.

[11] Wang Z, Yang Y, Chang S, et al. Learning a deep l∞ encoder for hashing[C]//Proceedings of the 25th International Joint Conference on Artificial Intelligence (IJCAI 2016), 2016: 2174-2180.

[12] Chen Y N, Hakkani-Tur D, Tur G, et al. Knowledge as a teacher: Knowledge-guided structural attention networks[J]. arXiv preprint arXiv: 2016,1609.03286.

[13] Chen Y N, Hakanni-Tür D, Tur G, et al. Syntax or semantics? knowledge-guided joint semantic frame parsing[C]//Proceedings of the Spoken Language Technology Workshop. IEEE, 2017:348-355.

[14] Xu P, Sarikaya R. Contextual domain classification in spoken language understanding systems using recurrent neural network[C]//Proceedings of the 39th IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP 2014), 2014: 136-140.

[15] Shi Y, Yao K, Chen H, et al. Contextual spoken language understanding using recurrent neural networks[C]//Proceedings of the 40th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2015), 2015: 5271-5275.

[16] Bhargava A, Celikyilmaz A, Hakkani-Tür D, et al. Easy contextual intent prediction and slot detection[C]//Proceedings of the 38th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2013), 2013: 8337-8341.

[17] Xu P, Sarikaya R. Convolutional neural network based triangular CRF for joint intent detection and slot filling[C]//Proceedings of the 2013 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU 2013), 2013: 78-83.

[18] Lane I R, Kawahara T, Matsui T, et al. Out-of-Domain Utterance Detection based on Confidence Measures from Multiple Topic Classification[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2007, 15(1): 150-161.

[19] Khanpour H, Guntakandla N, Nielsen R. Dialogue Act Classification in Domain-Independent Conversations Using a Deep Recurrent Neural Network[C]//Proceedings of the 26th International Conference on Computational Linguistics (COLING 2016),2016: 2012-2021.

[20] Rodriguez A, Laio A. Machine learning. Clustering by fast search and find of density peaks[J]. Science, 2014 , 344 (6191) :1492.

[21] Collobert R, Weston J, Bottou L, et al. Natural language processing (almost) from scratch[J]. Journal of Machine Learning Research, 2011, 12:2493-2537.

[22] Maaten L. Accelerating t-SNE using tree-based algorithms [J]. Journal of Machine Learning Research, 2014, 15(1): 3221-3245.

[23] Maaten L. Learning a parametric embedding by preserving local structure[J]. Journal of Machine Learning Research, 2009, 5:384-391.

[24] Migut M A, Worring M, Veenman C J. Visualizing multi-dimensional decision boundaries in 2D[J]. Data Mining and Knowledge Discovery, 2015, 29(1): 273-295.

E-mail:zz0807@126.com