基于距離損失和決策邊界的開(kāi)放意圖檢測(cè)方法

文章編號(hào)：1008-1542（2024）06-0618-09

摘" 要：

針對(duì)開(kāi)放意圖檢測(cè)任務(wù)中對(duì)特征分布處理不足有可能導(dǎo)致所得特征分布不夠緊湊的問(wèn)題，提出一種融合BERT、距離損失、決策邊界的開(kāi)放意圖檢測(cè)方法。首先，通過(guò)BERT模型捕獲文本間的上下文特征；然后，通過(guò)距離損失令樣本特征學(xué)習(xí)更為緊密；最后，進(jìn)行決策邊界學(xué)習(xí)，實(shí)現(xiàn)開(kāi)放意圖檢測(cè)任務(wù)。結(jié)果表明，所提方法在公開(kāi)數(shù)據(jù)集StackOverflow上具有較好的表現(xiàn)，在2種不同的已知意圖比例設(shè)置下表現(xiàn)均為最好，準(zhǔn)確率達(dá)到88.28%和84.43%，F(xiàn)1值達(dá)到87.51%和87.40%。研究結(jié)果補(bǔ)充了針對(duì)邊界檢測(cè)的特征表示再處理方法，

可為解決開(kāi)放意圖檢測(cè)問(wèn)題提供參考。

關(guān)鍵詞：

自然語(yǔ)言處理;意圖識(shí)別; 意圖檢測(cè); 距離損失; 決策邊界

中圖分類號(hào)：TN391

文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.7535/hbkd.2024yx06006

收稿日期：2024-01-04；修回日期：2024-09-15；責(zé)任編輯：馮民

基金項(xiàng)目：國(guó)家自然科學(xué)基金（61772075）；

河北省自然科學(xué)基金（F202208006，F(xiàn)2023207003）；河北省高等學(xué)?？茖W(xué)研究青年基金項(xiàng)目（QN2024196）

第一作者簡(jiǎn)介：

張盼盼（1998—）男，河北邯鄲人，碩士研究生，主要從事自然語(yǔ)言處理及意圖挖掘方面的研究。

通信作者：高凱，教授。E-mail：gaokai@hebust.edu.cn

池云仙，博士。E-mail：chiyunxian_hebtu@163.com

張盼盼，華宇，勾智楠，等.

基于距離損失和決策邊界的開(kāi)放意圖檢測(cè)方法

［J］.河北科技大學(xué)學(xué)報(bào)，2024，45（6）：618-626.

ZHANG Panpan， HUA Yu，GOU Zhinan，et al.

Open intent detection based on distance loss and decision boundary

［J］.Journal of Hebei University of Science and Technology，2024，45（6）：618-626.

Open intent detection based on distance loss and decision boundary

ZHANG Panpan1， HUA Yu1，GOU Zhinan2，CHI Yunxian1，GAO Kai1

（1.School of Information Science and Engineering， Hebei University of Science and Technology，

Shijiazhuang， Hebei 050018， China;

2.School of Management Science and Information Technology， Hebei University of Economics and Business，

Shijiazhuang， Hebei 050061， China）

Abstract：

In order to solve the problem that the feature distribution is not compact enough due to insufficient processing of feature distribution in open intent detection task， an open intent detection method integrating BERT， distance loss and decision boundary was proposed. Firstly， the context features between texts were captured by BERT model. Then， the learning of sample features was made more compact by distance loss. Finally， decision boundary learning was carried out to achieve the task of open intent detection. The results show that the proposed method has high performance on the public dataset StackOverflow， with the best performance under two different known intent ratio settings， achieving the accuracy of 88.28% and 84.43%， and the F1 values of 87.51% and 87.40%， respectively. The research results

complement the future representation reprocessing method for boundary detection，and can provide reference for open intent detection.

Keywords：

natural language processing; intent recognition; intent detection; distance loss; decision boundary

意圖識(shí)別在自然語(yǔ)言理解中起著至關(guān)重要的作用。傳統(tǒng)的意圖識(shí)別任務(wù)屬于封閉環(huán)境下的分類任務(wù)，而封閉環(huán)境下的意圖類別均是模型在訓(xùn)練階段接觸過(guò)的，即后續(xù)的所有意圖類別均會(huì)被識(shí)別為已知的意圖類別。隨著有監(jiān)督分類方法的發(fā)展，傳統(tǒng)的意圖識(shí)別取得了很大的進(jìn)展［1-2］。然而隨著社交網(wǎng)絡(luò)等新媒體的快速發(fā)展，不計(jì)其數(shù)的社交網(wǎng)絡(luò)對(duì)話數(shù)據(jù)往往不再受限于封閉環(huán)境下的分類任務(wù)，傳統(tǒng)封閉環(huán)境下的意圖識(shí)別已經(jīng)不能夠滿足任務(wù)需要［3］，因此有必要進(jìn)行開(kāi)放意圖檢測(cè)。

開(kāi)放意圖檢測(cè)是在保證封閉環(huán)境下已知意圖識(shí)別質(zhì)量的同時(shí)，還具備較好的開(kāi)放意圖檢測(cè)能力。

最早的開(kāi)放集問(wèn)題是在計(jì)算機(jī)視覺(jué)任務(wù)中被探索［4］，開(kāi)放集識(shí)別的設(shè)置與開(kāi)放意圖檢測(cè)任務(wù)最為接近，目的同樣是識(shí)別已知類的同時(shí)拒絕未在訓(xùn)練集中出現(xiàn)的未知類，與之類似的還有開(kāi)放領(lǐng)域適應(yīng)任務(wù)［5］。然而開(kāi)放集識(shí)別的設(shè)置可以使用未知類的數(shù)據(jù)進(jìn)行參數(shù)調(diào)優(yōu)。與之相比，開(kāi)放意圖檢測(cè)任務(wù)中，

為貼近真實(shí)場(chǎng)景，在訓(xùn)練期間僅使用已知部分?jǐn)?shù)據(jù)，對(duì)開(kāi)放意圖數(shù)據(jù)則完全不可見(jiàn)。依據(jù)已有工作［6-7］，將開(kāi)放的意圖定義為第（n+1）類。該任務(wù)的目標(biāo)是在將訓(xùn)練環(huán)境已知的n類意圖準(zhǔn)確識(shí)別的同時(shí)，能夠檢測(cè)出開(kāi)放環(huán)境的第（n+1）類樣本。

相關(guān)工作中，HENDRYCKS等［8］采用softmax概率作為置信度評(píng)分，通過(guò)設(shè)置統(tǒng)一的置信度分?jǐn)?shù)閾值來(lái)進(jìn)行開(kāi)放類別檢測(cè)，分?jǐn)?shù)越低則越有可能超出開(kāi)放邊界；BENDALE等［9］對(duì)分類結(jié)果進(jìn)行韋伯分布擬合，使用OpenMax層校準(zhǔn)置信度分?jǐn)?shù)；SHU等［10］使用多個(gè)sigmoid替代單個(gè)softmax作為分類函數(shù)，通過(guò)統(tǒng)計(jì)學(xué)計(jì)算得到各個(gè)類別的置信度閾值，但該方法經(jīng)驗(yàn)性較強(qiáng)；LIN等［6］提出通過(guò)最大邊距余弦損失學(xué)習(xí)深層次意圖特征，使用局部離群因子方式來(lái)檢測(cè)未知意圖；ZHANG等［7］將意圖特征表示看作高維空間坐標(biāo)，通過(guò)自適應(yīng)的球型決策邊界為閾值，作為區(qū)分未知意圖的依據(jù)；YAN等［11］和ZHANG等［12］

通過(guò)融合了類標(biāo)簽信息的高斯混合模型獲取更合適的特征表示，采用局部離群因子方式來(lái)檢測(cè)未知意圖；ZHAN等［13］與CHENG等［14］通過(guò)數(shù)據(jù)增強(qiáng)的方式為（K+1）的分類器構(gòu)造偽開(kāi)放樣本，在模型執(zhí)行分類任務(wù)時(shí)將開(kāi)放樣本識(shí)別為開(kāi)放類；ZHOU等［15］通過(guò)構(gòu)造輔助模型存儲(chǔ)歷史樣本，與新批次樣本進(jìn)行K近鄰對(duì)比學(xué)習(xí)計(jì)算，提高同類別樣本密度，通過(guò)離群因子檢測(cè)方法檢測(cè)開(kāi)放樣本；WU等［16］提出一種重新分配的對(duì)比學(xué)習(xí)方法和自適應(yīng)的局部閾值機(jī)制來(lái)實(shí)現(xiàn)未知意圖的檢測(cè)。

雖然開(kāi)放意圖檢測(cè)任務(wù)中已有部分優(yōu)秀的工作，但針對(duì)已知意圖訓(xùn)練表示的重視程度不足，大多仍為預(yù)訓(xùn)練搭配后處理方法進(jìn)行未知意圖檢測(cè)，已知意圖的類內(nèi)凝聚程度不足以及類間樣本接近容易出現(xiàn)混淆交叉等問(wèn)題。受文獻(xiàn)［6-7］啟發(fā)，為了解決上述問(wèn)題，本文提出基于距離損失和決策邊界的開(kāi)放意圖檢測(cè)算法（open intent detection based on distance loss and decision boundary， OID-DD）。首先，該方法在預(yù)訓(xùn)練結(jié)束后，通過(guò)采用類內(nèi)平均距離損失的方式對(duì)已知意圖特征分布進(jìn)行再訓(xùn)練，使得類內(nèi)樣本向類心收縮，縮小封閉區(qū)域風(fēng)險(xiǎn)，進(jìn)一步加強(qiáng)已知意圖訓(xùn)練，得到特征表示的凝聚程度；其次，經(jīng)過(guò)再訓(xùn)練后得到類內(nèi)凝聚程度更高、類間混淆交叉較弱的特征分布后，通過(guò)對(duì)每個(gè)已知意圖分布的邊緣距離訓(xùn)練，將更為貼近已知意圖邊緣的類內(nèi)距離決策邊界作為閾值，以此來(lái)進(jìn)行開(kāi)放意圖樣本的檢測(cè)，從而提升開(kāi)放意圖檢測(cè)的效果。

1" 基于距離損失和決策邊界的開(kāi)放意圖檢測(cè)模型

1.1" 開(kāi)放意圖檢測(cè)任務(wù)

任務(wù)定義：給定S=（s1，s2，…，sn）表示包含n個(gè)單詞的源文本序列，其中si為文本的第i個(gè)單詞。另外，Y=（y1，y2，…，ym）表示數(shù)據(jù)集共包含m個(gè)意圖標(biāo)簽。開(kāi)放意圖檢測(cè)任務(wù)過(guò)程中，根據(jù)預(yù)設(shè)的已知意圖比例（known intent ratio， KIR）從m個(gè)意圖標(biāo)簽中選出KIR×m個(gè)標(biāo)簽作為已知意圖標(biāo)簽，并將對(duì)應(yīng)樣本作為訓(xùn)練樣本，在訓(xùn)練結(jié)束后將所有標(biāo)簽對(duì)應(yīng)數(shù)據(jù)集輸入模型進(jìn)行意圖檢測(cè)，即需要模型在對(duì)KIR×m個(gè)標(biāo)簽進(jìn)行意圖分類的同時(shí)，還需檢測(cè)出模型訓(xùn)練階段未曾見(jiàn)過(guò)的開(kāi)放意圖標(biāo)簽。

本文提出的OID-DD模型主要由文本意圖特征表示預(yù)訓(xùn)練、基于距離損失的特征再訓(xùn)練、決策邊界的參數(shù)學(xué)習(xí)3個(gè)階段組成，如圖1所示。第1階段，文本意圖特征表示預(yù)訓(xùn)練。利用文本編碼器將每個(gè)文本S轉(zhuǎn)換為一個(gè)文本表示S′，然后文本表示S′將由BERT模型［17］進(jìn)行文本意圖特征表示預(yù)訓(xùn)練，從而得到深度特征表示X。第2階段，基于距離損失的特征再訓(xùn)練。將模型原本的分類層和預(yù)測(cè)層進(jìn)行替換，轉(zhuǎn)而使用每個(gè)意圖標(biāo)簽的樣本到類心的類

間距作為距離損失，進(jìn)行文本特征表示二次訓(xùn)練，對(duì)深度特征表示X進(jìn)行分布調(diào)整。第3階段，決策邊界的參數(shù)學(xué)習(xí)。固定文本編碼器與BERT模型部分參數(shù)，轉(zhuǎn)而對(duì)每個(gè)意圖標(biāo)簽的距離邊界進(jìn)行訓(xùn)練學(xué)習(xí)，從而為每個(gè)意圖標(biāo)簽得到最優(yōu)的意圖判斷閾值，即決策邊界。最后，固定模型所有參數(shù)，將所有樣本輸入模型，得到預(yù)測(cè)意圖標(biāo)簽，并通過(guò)決策邊界進(jìn)行是否為已知意圖的判斷，從而完成開(kāi)放意圖檢測(cè)任務(wù)。

1.2" 文本意圖特征表示預(yù)訓(xùn)練

如圖1所示，將BERT模型作為特征抽取器，將詞嵌入表示輸入BERT模型得到深度特征表示，采用交叉熵?fù)p失函數(shù)對(duì)模型進(jìn)行預(yù)訓(xùn)練，BERT模型結(jié)構(gòu)如圖2所示。

給定S=（s1，s2，…，sn）表示長(zhǎng)度為n的文本S，將S進(jìn)行詞嵌入處理后得到的文本表示S′=（s′0，s′1，s′2，…，s′n+1）用作BERT模型的輸入，其中s′0和s′n+1分別代表文本開(kāi)始字符［CLS］和結(jié)束字符［SEP］，s′i由詞嵌入、段落嵌入、位置嵌入構(gòu)成。如圖2所示，BERT模型的核心由12層Transformer Encoder組成。

X=（x0，x1，…，xn+1）為BERT編碼層的輸出，xi∈Rd是s′i的詞特征向量，d是特征維度。經(jīng)過(guò)池化、密集層操作后得到zi∈Rd，用作給定文本S的句特征向量。依據(jù)已有工作［7］的建議，池化階段采用平均池化方法。

Z作為文本S的特征表示，經(jīng)過(guò)線性分類器后得到分類結(jié)果Y′=（y1，y2，...，ym），其中yi（i=1，2，…，m）表示樣本在對(duì)應(yīng)類別上的置信度分?jǐn)?shù)，m表示已知的意圖種類數(shù)量。本階段的損失函數(shù)LossCE如式（1）所示。

LossCE=-1N∑Ni=1iln yi ，（1）

式中：N為一批次的樣本數(shù)量；yi為一批次中第i條樣本對(duì)應(yīng)的真實(shí)標(biāo)簽值；i為第i條樣本的分類結(jié)果。

1.3" 基于距離損失的特征再訓(xùn)練

該模塊為對(duì)特征抽取器的再訓(xùn)練，目的是在已有的訓(xùn)練數(shù)據(jù)上得到類內(nèi)平均距離，通過(guò)距離損失使得到的特征表示分布更加緊湊、類間更為疏離，為后續(xù)決策邊界閾值的訓(xùn)練做好鋪墊。如圖3 a）所示，左側(cè)為預(yù)訓(xùn)練結(jié)束后得到的特征表示分布示意圖，其中藍(lán)色點(diǎn)和橘色點(diǎn)分別代表相鄰的2類已知意圖樣本，虛線代表求得的類內(nèi)已知樣本到類心的平均距離。本模塊由類內(nèi)平均距離作為區(qū)分，以距離損失作為懲罰函數(shù)，對(duì)特征抽取器進(jìn)行再訓(xùn)練。圖3 b）為經(jīng)過(guò)基于距離損失的特征再訓(xùn)練后得到的特征表示分布示意圖，經(jīng)過(guò)本階段訓(xùn)練后樣本點(diǎn)向類心收縮，相鄰意圖間原本距離較近、較易出現(xiàn)混淆的現(xiàn)象減弱，由此可得到更為緊湊、有效的已知意圖特征分布。

訓(xùn)練集中所有樣本特征表示及標(biāo)簽集合表示為S*={（zi，yi），…，（zN，yN）}，子集S*k表示為第k個(gè)已知意圖所屬的所有樣本集合。對(duì)S*k所屬樣本的特征表示進(jìn)行平均計(jì)算得到類心ck∈Rd，如式（2）所示；各類間距取樣本特征到該意圖類心距離的平均值，如式（3）所示。

ck=1|S*k|∑（zi，yi）∈S*kZi ，（2）

dk=1|S*k|∑（zi，yi）∈S*k‖zi-ck‖2 ，（3）

式中：|S*k|表示S*k中樣本數(shù)量；‖zi-ck‖2表示類內(nèi)樣本特征表示到對(duì)應(yīng)類心的歐氏距離。

該階段設(shè)計(jì)思路為令類內(nèi)特征表示與類心間的距離盡可能向小型球形分布貼近，具體實(shí)現(xiàn)為若類內(nèi)樣本與類心的歐氏距離超出平均間距，則計(jì)入損失，否則不計(jì)入，以此作為懲罰函數(shù)來(lái)對(duì)各個(gè)已知意圖的類內(nèi)樣本進(jìn)行再訓(xùn)練，使其向類心收縮，降低類間開(kāi)放風(fēng)險(xiǎn)。本階段采用歐氏距離損失函數(shù)LossDIS如式（4）和式（5）所示。

LossDIS=1N∑Ni=1δi×（‖zi-ci‖2-di） 。（4）

δi=0，" ‖zi-ci‖2≤di，

1，" ‖zi-ci‖2gt;di，（5）

式中：zi為樣本的特征表示；ci為樣本標(biāo)簽對(duì)應(yīng)的類心坐標(biāo)；‖zi-ci‖2為樣本特征表示到對(duì)應(yīng)標(biāo)簽類心的歐氏距離；di為樣本對(duì)應(yīng)標(biāo)簽類別的類內(nèi)平均間距。

1.4" 決策邊界的參數(shù)學(xué)習(xí)

基于第2階段的類間距過(guò)渡，對(duì)于第k個(gè)已知意圖對(duì)應(yīng)的樣本集合S*k，定義約束邊界Δk為第k個(gè)已知意圖對(duì)應(yīng)的決策邊界，滿足式（6）的約束。本階段目的是針對(duì)每個(gè)已知的意圖類別，得出合適的決策度量Δ。受文獻(xiàn)［7］啟發(fā)，本階段采用度量損失函數(shù)LossBoundary，如式（7）所示。

Zi∈S*k，" ‖zi-ck‖2≤Δk" ，（6）

LossBoundary=1N∑Ni=1［δi×（‖zi-ci‖2-Δi）+（1-δi）×（Δi-‖Zi-ci‖2）］ ，（7）

式中Δi表示樣本對(duì)應(yīng)意圖的決策距離。

1.5" 模型訓(xùn)練與使用

模型訓(xùn)練共分為3階段：第1階段為文本意圖特征表示預(yù)訓(xùn)練，損失函數(shù)采用LossCE（見(jiàn)式（1）），該階段目標(biāo)為使加載的預(yù)訓(xùn)練模型在當(dāng)前數(shù)據(jù)集上得到良好的分布;第2階段為基于距離損失的特征再訓(xùn)練，損失函數(shù)采用LossDIS（見(jiàn)式（4）），該階段目標(biāo)為使特征抽取器得到的特征表示更加向類心聚集，使特征分布更加緊湊，便于第3階段決策邊界的參數(shù)學(xué)習(xí)；第3階段為決策邊界的參數(shù)學(xué)習(xí)，該階段將類內(nèi)距離參數(shù)化，損失函數(shù)采用LossBoundary（見(jiàn)式（7）），學(xué)習(xí)目標(biāo)為合適的決策邊界，以此來(lái)分割封閉區(qū)域與開(kāi)放區(qū)域。OID-DD的訓(xùn)練流程如下。

輸入：任務(wù)訓(xùn)練集Dk，Bert模型參數(shù)Pbert，樣本類心參數(shù)Ck，距離參數(shù)Δ。

輸出：Bert模型參數(shù)Pbert，樣本類心參數(shù)Ck，距離參數(shù)Δ。

1：for i from 1 to epoch1 do

2： for" Xi∈Dk do

3： 通過(guò)交叉熵?fù)p失函數(shù)更新Bert模型參數(shù)Pbert ;

4： end for

5： end for

6： for i from 1 to epoch2 do

7： 初始化樣本類心參數(shù)Ck、距離參數(shù)Δ;

8：for Xi∈Dk do

9： 通過(guò)距離損失函數(shù)更新Bert模型參數(shù)Pbert ;

10： end for

11： end for

12： 固定Bert模型參數(shù)Pbert;

13： for i from 1 to epoch3 do

14： for" Xi∈Dk do

15： 通過(guò)邊界損失函數(shù)更新距離參數(shù)Δ;

16： end for

17： end for

18： return Pbert、Ck、Δ。

訓(xùn)練結(jié)束后，該方法使用每個(gè)已知意圖類別的類心與學(xué)習(xí)到的決策邊界對(duì)輸入樣本進(jìn)行識(shí)別。對(duì)輸入樣本進(jìn)行特征抽取后得到特征表示，將該特征表示與訓(xùn)練時(shí)得到的意圖類心進(jìn)行歐氏距離計(jì)算，取距離最近的為所屬意圖。此外，將得到的歐氏距離與學(xué)習(xí)得到的決策度量進(jìn)行比較，若大于決策度量則當(dāng)前樣本將被識(shí)別為開(kāi)放意圖，如式（8）和式（9）所示。

ymin=argmink∈Y‖zi-ck‖2 ，（8）

ypred=

open，" ‖zi-cymin‖2gt;Δymin，

ymin，" ‖zi-cymin‖2≤Δymin，（9）

式中：ymin表示距離最近質(zhì)心所屬意圖類別；ypred為模型最終預(yù)測(cè)結(jié)果。

2" 實(shí)驗(yàn)設(shè)計(jì)

2.1" 環(huán)境及參數(shù)設(shè)置

模型在一個(gè)GPU（NVIDIA GeForce RTX 3090， 24 GB）上訓(xùn)練。根據(jù)驗(yàn)證集上的評(píng)估選擇結(jié)果最好的模型參數(shù)，并報(bào)告測(cè)試集上的結(jié)果。

參數(shù)方面，BERT模型使用BERT-Base的中文預(yù)訓(xùn)練模型進(jìn)行實(shí)驗(yàn)。該模型有12層，隱藏層維度為768，注意力頭數(shù)為12，包含110×106個(gè)參數(shù)，模型使用Adam作為優(yōu)化器，epoch設(shè)置為100。訓(xùn)練過(guò)程中，前2階段學(xué)習(xí)率設(shè)置為2×10-5，第3階段學(xué)習(xí)率設(shè)置為0.02。

2.2" 實(shí)驗(yàn)測(cè)度

受已有研究［6-7］啟發(fā)，本文將除已知意圖外所有開(kāi)放意圖當(dāng)作一個(gè)開(kāi)放類，采用準(zhǔn)確率（Accuracy）和F1值作為整體評(píng)價(jià)指標(biāo)，并在已知意圖和開(kāi)放意圖上分別計(jì)算F1值作為細(xì)粒度的性能指標(biāo)，表示為F1-known和F1-open。

2.3" 基線模型

為了驗(yàn)證OID-DD模型在開(kāi)放意圖檢測(cè)任務(wù)中的有效性，與以下經(jīng)典的開(kāi)放分類方法基線模型進(jìn)行對(duì)比實(shí)驗(yàn)。

OpenMax［9］" 首先使用softmax損失在已知意圖上訓(xùn)練分類器，然后對(duì)分類器的輸出logits值進(jìn)行Weibull分布擬合，最終使用OpenMax層校準(zhǔn)置信度分?jǐn)?shù)。

MSP［8］" 一個(gè)簡(jiǎn)單的基線模型，采用最大softmax值作為已知類的預(yù)測(cè)依據(jù)，并將0.5作為閾值來(lái)檢測(cè)開(kāi)放類。

DOC［10］" 通過(guò)高斯擬合計(jì)算每個(gè)已知類的不同概率閾值，以此識(shí)別開(kāi)放類。

DeepUnk［6］" 首先利用邊際損失學(xué)習(xí)深度特征，然后利用離群因子檢測(cè)方法進(jìn)行未知類檢測(cè)。

ADB［7］" 基于已知的意圖特征表示學(xué)習(xí)自適應(yīng)決策邊界，以此檢測(cè)開(kāi)放類。

KNNCL［16］" 利用K近鄰的對(duì)比學(xué)習(xí)損失與交叉熵?fù)p失做權(quán)重加和得到總損失學(xué)習(xí)深度特征，使用離群因子檢測(cè)方法進(jìn)行未知類檢測(cè)。

為統(tǒng)一驗(yàn)證模型效果，本文將所有基線方法的基礎(chǔ)模型統(tǒng)一替換為BERT模型，其余部分保持不變。其中，計(jì)算機(jī)視覺(jué)的開(kāi)放集檢測(cè)方法OpenMax需要開(kāi)放類樣本對(duì)超參數(shù)進(jìn)行校驗(yàn)，因此對(duì)于OpenMax方法本文采用默認(rèn)超參數(shù)。

2.4" 主體實(shí)驗(yàn)

OID-DD模型中詞嵌入與深度特征表示抽取為公共部分，3階段中的前2階段采用不同的損失函數(shù)進(jìn)行訓(xùn)練，第3階段固定公共部分模型參數(shù)，進(jìn)行決策邊界的閾值學(xué)習(xí)，模型訓(xùn)練完成后進(jìn)行評(píng)測(cè)。

模型評(píng)估選用數(shù)據(jù)集StackOverflow。該數(shù)據(jù)集包含“oracle”、“matlab”、“spring”等20種類別，每種類別1 000個(gè)樣本，共20 000個(gè)樣本，其中訓(xùn)練集、驗(yàn)證集和測(cè)試集分別包含12 000、2 000和6 000個(gè)樣本。

在OID-DD模型訓(xùn)練前對(duì)數(shù)據(jù)集StackOverflow重新進(jìn)行劃分，根據(jù)預(yù)設(shè)的已知意圖比例KIR從m個(gè)意圖標(biāo)簽中隨機(jī)選出KIR×m個(gè)作為已知意圖標(biāo)簽，并將對(duì)應(yīng)樣本作為訓(xùn)練樣本，在訓(xùn)練結(jié)束后將所有標(biāo)簽對(duì)應(yīng)的數(shù)據(jù)集輸入模型進(jìn)行意圖檢測(cè)，并利用準(zhǔn)確率和F1值驗(yàn)證模型測(cè)試結(jié)果。

2.5" 對(duì)比驗(yàn)證實(shí)驗(yàn)

OID-DD模型采用3階段方法，為證明其有效性，基于第1階段文本特征表示預(yù)訓(xùn)練，在第2、第3階段利用對(duì)比驗(yàn)證進(jìn)行消融實(shí)驗(yàn)研究。

為驗(yàn)證距離損失特征再訓(xùn)練的影響，OID-DD模型先將第2階段前后的特征表示進(jìn)行降維處理，再利用二維圖像進(jìn)行顯示，并給出有、無(wú)第2階段參與的不同訓(xùn)練結(jié)果對(duì)比，加以驗(yàn)證。

為驗(yàn)證決策邊界方法的影響，OID-DD模型將第3階段決策邊界（decision boundary， DB）方法和局部離群因子檢測(cè)（local outlier factor， LOF）方法進(jìn)行比較，并整理結(jié)果，加以驗(yàn)證。

3" 實(shí)驗(yàn)結(jié)果與分析

3.1" 主體實(shí)驗(yàn)結(jié)果與分析

本文OID-DD模型與上述基線模型在StackOverflow數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比。為全面對(duì)比模型效果，采用不同的已知意圖比例（known intent ratio， KIR）設(shè)置進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

由表1可以看出，本文提出的OID-DD在Accuracy、F1、F1-known以及F1-open 4個(gè)指標(biāo)上的得分均明顯優(yōu)于其他模型。相對(duì)于已有模型ADB，KIR設(shè)置為50%時(shí)各項(xiàng)得分分別提升了3.20、3.23、3.25、2.93；KIR設(shè)置為75%時(shí)各項(xiàng)得分分別提升了2.81、2.28、2.18、3.87。而相對(duì)于KNNCL模型，KIR設(shè)置為50%時(shí)各項(xiàng)得分分別提升了0.66、0.33、0.28、0.82；KIR設(shè)置為75%時(shí)各項(xiàng)得分分別提升了0.58、0.34、0.24、1.93。本文方法相對(duì)于OpenMax、DeepUnk等方法，在各項(xiàng)評(píng)分上均有明顯提升。以上結(jié)果表明本文所提方法能夠有效地完成開(kāi)放意圖檢測(cè)任務(wù)。

OID-DD模型在StackOverflow數(shù)據(jù)集上關(guān)于F1值和F1-known的分值提升較少，在Accuracy和F1-open上的得分提升較多。Accuracy表示模型的準(zhǔn)確率，F(xiàn)1-open表示模型在未知意圖檢測(cè)上的綜合表現(xiàn)，可以比較均衡地展現(xiàn)模型的精確率和召回率，Accuracy和F1-open分值越高，則代表模型的準(zhǔn)確率、精確率和召回率越好，即表示模型在未知意圖檢測(cè)上綜合表現(xiàn)更佳。而F1值和F1-known值相比較于已有模型雖然提升較少，但得分仍然高于已有模型，表示OID-DD模型在已知意圖檢測(cè)上的表現(xiàn)優(yōu)于已有模型，證明本文所提方法在開(kāi)放意圖檢測(cè)任務(wù)上的效果有整體提升。

3.2" 對(duì)比驗(yàn)證實(shí)驗(yàn)結(jié)果與分析

1）基于距離損失的特征再訓(xùn)練的影響

本文提出基于距離損失的意圖特征再訓(xùn)練，目的是通過(guò)本文設(shè)計(jì)的距離損失令同一類別樣本點(diǎn)向類心收縮，縮小類內(nèi)樣本間距，從而能夠更好地進(jìn)行意圖識(shí)別，并且為開(kāi)放意圖樣本的檢測(cè)做好鋪墊。

為了進(jìn)一步驗(yàn)證基于距離損失的特征再訓(xùn)練模塊的作用與影響，本文將第1階段預(yù)訓(xùn)練結(jié)束后得到的文本意圖特征表示分布與第2階段基于距離損失的特征再訓(xùn)練后得到的高維特征表示分布進(jìn)行降維顯示，并給出有、無(wú)第2階段參與的不同訓(xùn)練結(jié)果對(duì)比，加以驗(yàn)證。

第1階段文本意圖特征表示預(yù)訓(xùn)練后得到的特征表示如圖4所示，圖內(nèi)特征不僅包含已知意圖的表示，而且還有訓(xùn)練過(guò)程中沒(méi)有接觸過(guò)的未知意圖表示，圖內(nèi)每一團(tuán)簇即為一類已知意圖，中心散點(diǎn)為未知意圖表示。圖內(nèi)已知意圖特征表示簇內(nèi)收縮不夠緊密，且部分已知意圖與開(kāi)放意圖（中心綠色散點(diǎn)）分布距離較近，已經(jīng)發(fā)生混淆。

圖5為經(jīng)過(guò)第2階段基于距離損失的特征再訓(xùn)練后得到的特征表示分布，圖內(nèi)已知意圖特征表示收縮較為緊密，且與開(kāi)放意圖（中心綠色散點(diǎn)）分布距離適中，混淆現(xiàn)象較弱。

對(duì)比實(shí)驗(yàn)采用不同的KIR和標(biāo)注比例（labeled ratio， LR）設(shè)置進(jìn)行實(shí)驗(yàn)，其中OID-DD表示有第2階段參與，No-DL表示無(wú)第2階段參與，隨機(jī)種子值設(shè)置為0，實(shí)驗(yàn)結(jié)果如表2所示。

由圖4、圖5對(duì)比可知，經(jīng)過(guò)基于距離損失的特征再訓(xùn)練后得到的已知意圖特征表示類內(nèi)更加緊密，經(jīng)過(guò)再訓(xùn)練后得到的已知意圖特征表示與未知意圖特征表示區(qū)分度更高。

由表2對(duì)比可知，相較于無(wú)第2階段基于距離損失的特征再訓(xùn)練的實(shí)驗(yàn)，OID-DD模型在4組不同的已知意圖比例和標(biāo)注比例下表現(xiàn)俱佳，擁有最優(yōu)的Accuracy和F1值，說(shuō)明OID-DD模型中基于距離損失的特征再訓(xùn)練模塊提高了模型對(duì)已知意圖和未知意圖的分辨能力，有利于開(kāi)放意圖檢測(cè)。

2） 決策邊界方法的影響

為了驗(yàn)證決策邊界方法的有效性，將第1階段文本意圖特征表示預(yù)訓(xùn)練與第2階段基于距離損失的特征再訓(xùn)練后得到的高維特征表示作為基礎(chǔ)特征，對(duì)比決策邊界方法和局部離群因子檢測(cè)方法，實(shí)驗(yàn)結(jié)果如表3所示。

由表3可知，與基于密度的局部離群因子檢測(cè)方法相比，決策邊界在4組不同的已知意圖比例和標(biāo)注比例下表現(xiàn)俱佳，擁有最優(yōu)的Accuracy和F1值。

結(jié)合圖5可知，中心區(qū)域未知的開(kāi)放意圖散點(diǎn)在經(jīng)過(guò)第2階段基于距離損失的特征再訓(xùn)練后得到的特征分布同樣變得較為緊湊，密度較高，因此基于密度的局部離群因子檢測(cè)方法在開(kāi)放意圖檢測(cè)上效果不佳。

綜上可得，OID-DD模型結(jié)構(gòu)合理、效果突出，在開(kāi)放意圖檢測(cè)任務(wù)上具有有效性。

4" 結(jié)" 語(yǔ)

通過(guò)預(yù)訓(xùn)練語(yǔ)言模型BERT提出樣本特征表示；采用距離損失函數(shù)對(duì)特征表示進(jìn)行強(qiáng)制收縮，使類內(nèi)收縮更為緊密；固定特征表示對(duì)類內(nèi)距離值進(jìn)行訓(xùn)練學(xué)習(xí)，得到合適的決策邊界距離閾值，減少類間樣本出現(xiàn)混淆交叉現(xiàn)象，從而完成開(kāi)放意圖檢測(cè)任務(wù)。本研究解決了開(kāi)放意圖檢測(cè)任務(wù)中存在的意圖表示類內(nèi)凝聚程度不足以及類間樣本接近容易出現(xiàn)混淆交叉等問(wèn)題。

本文所提方法主要在意圖表示處理中進(jìn)行了研究，未來(lái)擬在更好的預(yù)訓(xùn)練語(yǔ)言模型方向進(jìn)行探索，探究在少量樣本情況下的開(kāi)放意圖檢測(cè)方法。

參考文獻(xiàn)/References：

［1］" QIN Libo，XIE Tianbao，CHE Wanxiang，et al.A survey on spoken language understanding：Recent advances and new frontiers［C］//Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence.［S.l.］： International Joint Conferences on Artificial Intelligence Organization， 2021：4577-4584.

［2］" WELD H，HUANG Xiaoqi，LONG Siqu，et al.A survey of joint intent detection and slot filling models in natural language understanding［J］.ACM Computing Surveys，2023，55（8）：1-38.

［3］" 陳晨，朱晴晴，嚴(yán)睿，等.基于深度學(xué)習(xí)的開(kāi)放領(lǐng)域?qū)υ捪到y(tǒng)研究綜述［J］.計(jì)算機(jī)學(xué)報(bào)，2019，42（7）：1439-1466.

CHEN Chen，ZHU Qingqing，YAN Rui，et al.Survey on deep learning based open domain dialogue system［J］.Chinese Journal of Computers，2019，42（7）：1439-1466.

［4］" GENG Chuanxing，HUANG Shengjun，CHEN Songcan.Recent advances in open set recognition： A survey［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（10）：3614-3631.

［5］" 劉星宏，周毅，周濤，等.基于自步學(xué)習(xí)的開(kāi)放集領(lǐng)域自適應(yīng)［J］.計(jì)算機(jī)研究與發(fā)展，2023，60（8）：1711-1726.

LIU Xinghong，ZHOU Yi，ZHOU Tao，et al.Self-paced learning for Open-Set domain adaptation［J］.Journal of Computer Research and Development，2023，60（8）：1711-1726.

［6］" LIN Tingen，XU Hua.Deep unknown intent detection with margin loss［C］//Proceedings of the 57th Conference of the Association for Computational Linguistics.Florence：Association for Computational Linguistics，2019：5491-5496.

［7］" ZHANG Hanlei，XU Hua，LIN Tingen.Deep open intent classification with adaptive decision boundary［C］//The Thirty-Fifth AAAI Conference on Artificial Intelligence.［S.l.］：［s.n.］，2021：14374-14382.

［8］" HENDRYCKS D，GIMPEL K.A baseline for detecting misclassified and out-of-distribution examples in neural networks［EB/OL］.（2016-10-07）［2024-06-10］.https：//arxiv.org/abs/1610.02136.

［9］" BENDALE A，BOULT T E.Towards open set deep networks［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas： IEEE Computer Society，2016：1563-1572.

［10］SHU Lei，XU Hu，LIU Bing.DOC：Deep open classification of text documents［C］//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen：Association for Computational Linguistics，2017：2911-2916.

［11］YAN Guangfeng， FAN Lu， LI Qimai，et al.Unknown intent detection using gaussian mixture model with an application to zero-shot intent classification［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. ［S.l.］：Association for Computational Linguistics，2020：1050-1060.

［12］ZHANG Jianguo，HASHIMOTO K，LIU Wenhao，et al.Discriminative nearest neighbor few-shot intent detection by transferring natural language inference［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. ［S.l.］：Association for Computational Linguistics，2020：5064-5082.

［13］ZHAN Liming， LIANG Haowen， LIU Bo，et al.Out-of-scope intent detection with self-supervision and discriminative training［C］//Proceedings of the 59th Annual Meeting of the As-sociation for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. ［S.l.］：Association for Computational Linguistics，2021：3521-3532.

［14］CHENG Zifeng， JIANG Zhiwei， YIN Yafeng，et al.Learning to classify open intent via Soft labeling and manifold mixup［J］.IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2022，30：635-645.

［15］ZHOU Yunhua， LIU Peiju， QIU Xipeng.KNN-contrastive learning for out-of-domain intent classification［C］//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics.Dublin：Association for Computational Linguistics，2022：5129-5141.

［16］WU Yanan， HE Keqing， YAN Yuanmeng，et al.Revisit overconfidence for OOD detection：Reassigned contrastive learning with adaptive class-dependent threshold［C］//Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Seattle：Association for Computational Linguistics，2022：4165-4179.

［17］DEVLIN J，CHANG M W，LEE K.BERT：Pre-training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Minneapolis：Association for Computational Linguistics，2019：4171-4186.