基于獨(dú)立分類網(wǎng)絡(luò)的開(kāi)集識(shí)別研究

徐雪松 付瑜彬 于波

摘要：【目的】為解決圖像分類模型面對(duì)傳統(tǒng)閉集訓(xùn)練方式出現(xiàn)的模型缺乏開(kāi)集泛化性的問(wèn)題，提出了一種分離式的獨(dú)立分類網(wǎng)絡(luò)結(jié)構(gòu)?！痉椒ā棵總€(gè)類別都包含獨(dú)立的線性特征層，特征層中設(shè)計(jì)的神經(jīng)元節(jié)點(diǎn)能夠在有限的數(shù)據(jù)樣本下更準(zhǔn)確地捕獲類別特征。同時(shí)，在模型訓(xùn)練時(shí)，文中引入了一類無(wú)需標(biāo)注的負(fù)樣本，使得模型在構(gòu)建決策邊界時(shí)不僅依賴于已知類別的特征差異，在不增加額外標(biāo)注樣本的情況下，增加模型決策邊界的開(kāi)集泛化性?！窘Y(jié)果】結(jié)果表明：獨(dú)立分類網(wǎng)絡(luò)開(kāi)集識(shí)別（ICOR）模型結(jié)構(gòu)和開(kāi)集自適應(yīng)訓(xùn)練策略均能有效改善傳統(tǒng)模型開(kāi)放集識(shí)別（OSR）性能；隨著開(kāi)放度的增加，能表現(xiàn)出更好的魯棒性，能更有效地降低模型的OSR風(fēng)險(xiǎn)?！窘Y(jié)論】提出的獨(dú)立分類網(wǎng)絡(luò)并融合開(kāi)集自適應(yīng)訓(xùn)練的算法比現(xiàn)有開(kāi)集識(shí)別算法具有更優(yōu)的開(kāi)集識(shí)別性能。

關(guān)鍵詞：深度學(xué)習(xí)；開(kāi)集識(shí)別；圖像分類；遷移學(xué)習(xí)

中圖分類號(hào)：TP391；U495 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1005-0523（2024）02-0079-08

Research on Open Set Recognition Based on Independent Classification Network

Xu Xuesong， Fu Yubin， Yu Bo

（School of Electrical & Automation Engineering， East China Jiaotong University， Nanchang 330013， China）

Abstract： 【Purpose】In order to solve the problem of image classification models lacking open set generalization due to traditional closed set training methods when facing open set recognition problems， we propose a separate independent classification network structure. 【Method】 Each category contains an independent linear feature layer. The neural nodes designed in the feature layer can capture the category features more accurately under limited data samples. At the same time， a class of negative samples without labeling is introduced in the model training， so that the model not only relies on the feature difference of the known categories when constructing the decision boundary， but also increases the open set generalization of the model decision boundary without adding additional labeled samples. 【Result】The results show that both the ICOR model structure and the open-set adaptive training strategy can effectively improve the OSR performance of traditional models; with the increase of openness， it can demonstrate better robustness; can more effectively reduce the OSR risk of the model. 【Conclusion】The proposed independent classification network combined with open-set adaptive training algorithm has better open-set recognition performance than existing open-set recognition algorithms.

Key words： deep learning; open set recognition; image classification; transfer learning

Citation format： XU X S，F(xiàn)U Y B，YU B. Research on open set recognition based on independent classification network[J]. Journal of East China Jiaotong University， 2024， 41（2）： 79-86.

【研究意義】在實(shí)際應(yīng)用中，由于無(wú)法準(zhǔn)確預(yù)知樣本的分布，預(yù)先設(shè)計(jì)好的分類器在面對(duì)未知類別樣本時(shí)難以保持較高的分類準(zhǔn)確性，這就是開(kāi)放集識(shí)別問(wèn)題（open set recognition，OSR）[1]。近年來(lái)許多學(xué)者針對(duì)這個(gè)問(wèn)題提出不少方法，總的來(lái)說(shuō)，分成生成式和判別式兩種[2]。

【研究進(jìn)展】判別式方法通過(guò)正則化收縮已知類在特征空間的決策邊界，并在特征空間內(nèi)給未知類分配區(qū)域，從而緩解模型的過(guò)度泛化，降低模型的OSR風(fēng)險(xiǎn)[3-5]。例如：Scheirer等[1]提出基于支持向量機(jī)的OSR算法，通過(guò)設(shè)計(jì)一個(gè)額外的超平面來(lái)區(qū)分已知和未知類別；Zhang等[3]采用極值理論對(duì)數(shù)據(jù)的尾部分布進(jìn)行重新建模，提高了模型對(duì)尾部分布數(shù)據(jù)的處理能力；Bendale等[4]揭示了Softmax激活函數(shù)不適用于OSR任務(wù)，并提出了OpenMax算法作為深度學(xué)習(xí)領(lǐng)域OSR問(wèn)題的第一個(gè)解決方案。

生成式方法通過(guò)約束已知類在特征空間的分布來(lái)縮小模型的決策邊界，從而提高模型的OSR性能。例如：Neal等[6]提出使用生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）生成實(shí)例樣本，并對(duì)生成樣本進(jìn)行概率估計(jì)來(lái)擴(kuò)充已知類的分布，使分類器能夠更加準(zhǔn)確地區(qū)分已知類和未知類；Zhang等[7]采用自動(dòng)編碼器技術(shù)對(duì)輸入樣本進(jìn)行重建，通過(guò)對(duì)比重建誤差來(lái)評(píng)估輸入樣本；Xia等[8–10]通過(guò)在特征空間內(nèi)對(duì)已知類的原型設(shè)計(jì)空間約束，限定未知類原型在特征空間的分布區(qū)域，以此來(lái)降低模型的OSR風(fēng)險(xiǎn)。

判別式方法依賴于對(duì)照組樣本來(lái)確定各類別特征的分布，因此需要有足夠數(shù)量的對(duì)照組樣本，才能準(zhǔn)確刻畫(huà)每個(gè)類別的邊緣特征。生成式方法通過(guò)生成方法學(xué)習(xí)每個(gè)類別自身的特征分布，同樣需要足夠豐富的自身樣本才能訓(xùn)練出可靠的生成模型。但實(shí)際應(yīng)用中，可能無(wú)法獲得足夠數(shù)量的標(biāo)注樣本。此時(shí)，由于自身樣本特征稀疏，無(wú)論是判別式模型還是生成式模型的訓(xùn)練都面臨較大困難。

【關(guān)鍵問(wèn)題】卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）和ViT（vision transformer）[11]被廣泛應(yīng)用于圖像分類任務(wù)。本文以CNN和ViT模型結(jié)構(gòu)為基礎(chǔ)，對(duì)模型結(jié)構(gòu)和訓(xùn)練策略進(jìn)行了優(yōu)化，提出了一種適用于OSR問(wèn)題的模型結(jié)構(gòu)--獨(dú)立分類網(wǎng)絡(luò)開(kāi)集識(shí)別（independent classifiers for open-set recognition，ICOR）模型，以及一種新的模型訓(xùn)練策略--開(kāi)集自適應(yīng)訓(xùn)練。

【創(chuàng)新特色】本文的創(chuàng)新點(diǎn)主要體現(xiàn)在以下方面：提出了獨(dú)立分類網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)給未知類別提供了分類區(qū)域，過(guò)獨(dú)立的線性層捕獲更多類別特征，幫助模型學(xué)習(xí)更完備的特征；提出了一種開(kāi)集自適應(yīng)訓(xùn)練策略，在訓(xùn)練中增加了一類未標(biāo)注的開(kāi)集數(shù)據(jù)集作為所有已知類數(shù)據(jù)的負(fù)樣本，通過(guò)額外對(duì)比已知類和負(fù)樣本的特征差異來(lái)使模型學(xué)習(xí)更完備的已知類特征；本文的ICOR模型結(jié)構(gòu)通過(guò)少量數(shù)據(jù)樣本就可實(shí)現(xiàn)模型的訓(xùn)練，降低了在研究過(guò)程中模型對(duì)標(biāo)注圖像的依賴。

1 研究方案

ICOR算法的總體框架如圖1所示。

1.1 特征提取網(wǎng)絡(luò)

實(shí)際應(yīng)用中，數(shù)據(jù)樣本的獲取和標(biāo)注往往是個(gè)難題。為此，本文在對(duì)ICOR模型的特征提取網(wǎng)絡(luò)（feature extraction network）參數(shù)初始化時(shí)，采用了遷移學(xué)習(xí)的策略[12]。為了驗(yàn)證ICOR模型結(jié)構(gòu)的普適性，在實(shí)驗(yàn)中，本文采用了3種具有代表性的特征提取網(wǎng)絡(luò)：經(jīng)典的ResNet50深度模型[13]、輕量化的MobileNet模型[14]和基于注意力機(jī)制模塊的ViT模型[11]。

遷移學(xué)習(xí)策略的適用性受源任務(wù)與目標(biāo)任務(wù)的相似度、數(shù)據(jù)分布差異的影響。因此，在進(jìn)行參數(shù)遷移時(shí)，選擇了與ICOR模型相同類型的圖像分類模型，使用在ImageNet1K數(shù)據(jù)集（ResNet50、MobileNet）[13-14]和JFT-3B數(shù)據(jù)集[11]（ViT）上預(yù)訓(xùn)練的模型參數(shù)初始化ICOR模型的特征提取網(wǎng)絡(luò)。輸入圖像經(jīng)過(guò)特征提取后的對(duì)應(yīng)表達(dá)式為

[Vk=G（θG，Ik）] （1）

式中：[Ik]為輸入圖像；[θG]為特征提取網(wǎng)絡(luò)[G（?）]的模型參數(shù)。對(duì)于輸入圖像[Ik]，經(jīng)過(guò)特征提取網(wǎng)絡(luò)后得到共享特征向量[Vk]（share feature layer）。其中，[G（?）]決定特征向量[Vk]的輸出維度，[θG]決定特征向量[Vk]的特征屬性。

1.2 獨(dú)立分類網(wǎng)絡(luò)

傳統(tǒng)圖像分類模型常使用Softmax交叉熵函數(shù)構(gòu)建分類損失，這導(dǎo)致了兩個(gè)問(wèn)題：Softmax函數(shù)的歸一化機(jī)制將整個(gè)特征空間劃分給了已知類，沒(méi)有給未知類別留有分類區(qū)域；Softmax容易導(dǎo)致模型過(guò)于關(guān)注目標(biāo)類，降低了模型對(duì)非目標(biāo)類的學(xué)習(xí)權(quán)重，容易導(dǎo)致模型陷入局部?jī)?yōu)化。

ICOR模型中，引入了圖1所示的分離式獨(dú)立分類網(wǎng)絡(luò)結(jié)構(gòu)（independent classification network）。每個(gè)獨(dú)立分類網(wǎng)絡(luò)結(jié)構(gòu)包含了若干個(gè)獨(dú)立神經(jīng)元節(jié)點(diǎn)，與共享特征層之間使用全連接結(jié)構(gòu)連接，激活函數(shù)采用GELU。同時(shí)，在輸出端使用Sigmoid激活函數(shù)對(duì)分類器的輸出進(jìn)行獨(dú)立歸一化到0～1。第i個(gè)類別的預(yù)測(cè)概率可以表達(dá)為

[P（yi|Vk）=Sigmoid（Fi（φi|Vk））] （2）

式中：[Vk]為特征提取網(wǎng)絡(luò)輸出的特征向量，所有獨(dú)立分類器共享該特征向量；[Fi（?）]為屬于類別[yi]獨(dú)立分類器；[φi]為該獨(dú)立分類器的模型參數(shù)。獨(dú)立分類網(wǎng)絡(luò)將M分類轉(zhuǎn)換成了M個(gè)單分類，每個(gè)獨(dú)立網(wǎng)絡(luò)只需要獨(dú)立判斷輸入樣本屬于本類別的概率，這使得已知類別在特征空間內(nèi)的分布形成閉合的區(qū)域，從而實(shí)現(xiàn)已知類和未知類在特征空間上的分離，給未知類別在特征空間內(nèi)保留了分類區(qū)域。針對(duì)每一個(gè)獨(dú)立分類器的預(yù)測(cè)輸出，均使用二值交叉熵函數(shù)進(jìn)行單獨(dú)構(gòu)建誤差損失，計(jì)算式為

[L=-1Nk=1Ni=1Mlog（P（yi|xk）），? ? ?tk=1-1Nk=1Ni=1Mlog（1-P（yi|xk））， tk=0] （3）

式中；[xk]為輸入圖像；N為迭代中的批次數(shù)量；M為已知類別的數(shù)量。訓(xùn)練中，對(duì)于單個(gè)獨(dú)立分類器，只有當(dāng)輸入樣本屬于第i類時(shí)，才被視為該類別的正樣本。因此，ICOR模型對(duì)正負(fù)樣本的學(xué)習(xí)權(quán)重是相同的，通過(guò)增加模型對(duì)負(fù)樣本特征的學(xué)習(xí)，可以促使模型縮小正樣本類在特征空間內(nèi)的決策邊界。

1.3 開(kāi)集自適應(yīng)訓(xùn)練

在常規(guī)監(jiān)督分類任務(wù)訓(xùn)練中，由于標(biāo)簽提供的信息有限，模型可能會(huì)擬合一些僅在閉集訓(xùn)練集下有利于分類的特征，這些特征可能并不具備開(kāi)集泛化性。此外，在實(shí)際應(yīng)用中，往往無(wú)法有效收集到足夠的數(shù)據(jù)樣本，這可能會(huì)導(dǎo)致模型過(guò)擬合，使得其特征學(xué)習(xí)偏向于局部?jī)?yōu)化。

本文提出了一種如圖2所示的開(kāi)集自適應(yīng)訓(xùn)練策略。在模型訓(xùn)練時(shí)，額外添加了負(fù)樣本圖像。盡管負(fù)樣本圖像未進(jìn)行細(xì)致的類別標(biāo)注，但在模型訓(xùn)練中仍然可以提供額外的對(duì)比特征，使模型在構(gòu)建已知類的決策邊界時(shí)，不局限于已知類的特征差異，這些額外的特征差異信息可以從側(cè)面反映已知類別的邊緣特征分布。當(dāng)模型用于構(gòu)建決策邊界的特征足夠豐富時(shí)，模型在面對(duì)全新的開(kāi)集數(shù)據(jù)時(shí)，緊湊的決策邊界能賦予模型更好的魯棒性。這種方式的優(yōu)勢(shì)在于，無(wú)需標(biāo)注的數(shù)據(jù)樣本十分易得，可以直接對(duì)大型數(shù)據(jù)集進(jìn)行隨機(jī)采樣。

圖2中，A和B表示的是訓(xùn)練集中閉集類對(duì)應(yīng)的圖像，實(shí)際問(wèn)題可能還存在其他類，本文僅以A和B類為例進(jìn)行描述說(shuō)明。[？]表示未經(jīng)過(guò)標(biāo)注的未知類別的任意圖像，其中[（A，B）?？]。開(kāi)集自適應(yīng)訓(xùn)練的步驟包括。

步驟1? 構(gòu)建圖1所示的ICOR模型，加載特征提取網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重，在閉集條件下訓(xùn)練模型（Close training），直至模型收斂，保存模型。

步驟2? 使用步驟1中保存的模型對(duì)未標(biāo)注的負(fù)樣本圖像[？]進(jìn)行預(yù)測(cè)（Open testing），并將預(yù)測(cè)值高于設(shè)定開(kāi)集閾值的負(fù)樣本圖像保存。圖2中A′表示圖像[？]的預(yù)測(cè)值高于設(shè)定的開(kāi)集閾值（Open threshold value），且對(duì)應(yīng)的預(yù)測(cè)類別為A。

步驟3? 將步驟2中保存的圖像（A′和B′）與閉集圖像進(jìn)行混合，并用于模型的開(kāi)集自適應(yīng)訓(xùn)練（Open set adaptive training），直至模型收斂，并保存模型。其中，圖像A′和B′對(duì)于任何一個(gè)獨(dú)立分類網(wǎng)絡(luò)的真實(shí)標(biāo)簽均設(shè)置為[0]，表示不屬于任何閉集已知類別。

步驟4? 使用驗(yàn)證集圖像對(duì)步驟3保存的模型進(jìn)行驗(yàn)證（Open set verification），計(jì)算模型的開(kāi)集和閉集精度。其中，開(kāi)集驗(yàn)證集C中包含了已知類和未知類圖像。

步驟5? 重復(fù)步驟2到4，直到模型的開(kāi)集和閉集精度達(dá)到預(yù)期要求后，開(kāi)集自適應(yīng)訓(xùn)練結(jié)束，保存最終模型。

在開(kāi)集測(cè)試中，當(dāng)輸入樣本的預(yù)測(cè)值小于設(shè)定的開(kāi)集閾值時(shí)，被判定為開(kāi)集類；反之，為閉集類。在步驟2中，盡管負(fù)樣本圖像可能被識(shí)別為已知類，但負(fù)樣本圖像仍然在特征空間內(nèi)有其所屬的分類區(qū)域，在步驟3中通過(guò)標(biāo)簽信息來(lái)不斷的迭代學(xué)習(xí)，負(fù)樣本圖像能逐步地壓縮已知類在特征空間內(nèi)的區(qū)域，達(dá)到收縮已知類別決策邊界的目的。

2 實(shí)驗(yàn)與分析

實(shí)驗(yàn)中，模型的學(xué)習(xí)率為0.001，學(xué)習(xí)動(dòng)量為0.5，權(quán)重衰減率為0.000 05。實(shí)驗(yàn)平臺(tái)服務(wù)器CPU為W-2133 CPU@3.60GHz，GPU為GeForce GTX 1080Ti，搭載Pytorch深度學(xué)習(xí)框架。

2.1 數(shù)據(jù)集介紹

正如1.3節(jié)所分析的，研究在少量樣本條件下的OSR問(wèn)題對(duì)解決實(shí)際工程應(yīng)用問(wèn)題具有極大的實(shí)際價(jià)值。為此，本文收集了兩個(gè)小型的數(shù)據(jù)集。

2.1.1 小型數(shù)據(jù)集FDS

小型數(shù)據(jù)集（few data set，F(xiàn)DS）包含100類實(shí)際環(huán)境中的物品，每類物品從不同角度采集20張圖像。數(shù)據(jù)集的部分展示如圖3所示。

實(shí)驗(yàn)中，按照1：9來(lái)隨機(jī)劃分閉集和開(kāi)集類別，每個(gè)類別按照1：3隨機(jī)劃分訓(xùn)練集和驗(yàn)證集。同時(shí)，為了便于ICOR模型的開(kāi)集自適應(yīng)訓(xùn)練，本文收集了一個(gè)不做類別標(biāo)注的未知類數(shù)據(jù)集（unknown data set，UDS），一共包含5 000張圖像，涵蓋各類生活用品、服飾、地標(biāo)等。其中，UDS數(shù)據(jù)集與FDS數(shù)據(jù)集之間在類別上不存在交集。

2.1.2 數(shù)據(jù)集Imagenet-Crop

圖像背景信息可能會(huì)對(duì)模型訓(xùn)練造成影響，為增加實(shí)驗(yàn)的對(duì)比性，本文基于Imagenet1K數(shù)據(jù)集制作了比FDS數(shù)據(jù)更加復(fù)雜的Imagenet-Crop數(shù)據(jù)集。實(shí)驗(yàn)中，隨機(jī)從Imagenet1K的1 000個(gè)類別中選取10個(gè)類別作為閉集類別用于模型的閉集訓(xùn)練，在剩余的990類中，劃分400類作為開(kāi)集類別用于模型開(kāi)集測(cè)試，590類作為未知類別。

本文聚焦于研究模型的OSR性能，在實(shí)驗(yàn)中適當(dāng)?shù)脑黾恿薎magenet-Crop數(shù)據(jù)集中閉集圖像的數(shù)量，以保證模型的閉集精度。實(shí)驗(yàn)中，在閉集類別對(duì)應(yīng)的訓(xùn)練集內(nèi)隨機(jī)抽取100張圖像，按照2：8的比例劃分訓(xùn)練集和測(cè)試集。

2.2 實(shí)驗(yàn)設(shè)計(jì)

為了評(píng)估ICOR模型和開(kāi)集自適應(yīng)訓(xùn)練策略的有效性。本文設(shè)計(jì)了在同等實(shí)驗(yàn)條件下關(guān)鍵參數(shù)的消融實(shí)驗(yàn)、模型開(kāi)放度實(shí)驗(yàn)以及與現(xiàn)有OSR算法的對(duì)比實(shí)驗(yàn)。

2.3 消融實(shí)驗(yàn)

2.3.1 獨(dú)立分類網(wǎng)絡(luò)對(duì)模型開(kāi)集性能的影響

AUROC常被用于評(píng)估模型的OSR性能[8-9]，然而AUROC值只考慮到模型對(duì)已知類和未知類的分辨能力，并未考慮到模型對(duì)已知類的正確分類能力。本文采用“開(kāi)集精度（open accuracy，OA）”來(lái)評(píng)估模型識(shí)別已知類和未知類的能力，并通過(guò)“閉集精度（close accuracy，CA）”來(lái)評(píng)估模型對(duì)閉集類別的正確分類能力，其定義為

[OA=i=1pOⅡ（yi*

式中：[PO]與[PC]分別為測(cè)試集中開(kāi)集和閉集樣本的總數(shù)；[yi*=argmax（y1*，y2*，…，yM*）]，即對(duì)于輸入樣本[xi]，[y*i]表示M個(gè)獨(dú)立分類網(wǎng)絡(luò)中對(duì)應(yīng)預(yù)測(cè)輸出的最大值；[Ⅱ]為指示函數(shù)，當(dāng)邏輯為真，函數(shù)結(jié)果為1；[clsi]為輸入樣本[xi]的正確標(biāo)簽；[od]為開(kāi)集拒判閾值。由于ICOR模型中每一個(gè)獨(dú)立分類網(wǎng)絡(luò)都通過(guò)Sigmoid函數(shù)激活輸出，可以看作是邏輯回歸的二分類，故設(shè)定開(kāi)集拒判閾值為0.5。

為平衡模型性能和計(jì)算資源的消耗，本文通過(guò)多次實(shí)驗(yàn)的先驗(yàn)知識(shí)確定每個(gè)獨(dú)立分類網(wǎng)絡(luò)的神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)為共享特征層的十分之一。在FDS和Imagenet-Crop數(shù)據(jù)集上，訓(xùn)練次數(shù)為200次，采取解凍訓(xùn)練模式，即不對(duì)網(wǎng)絡(luò)層進(jìn)行凍結(jié)，訓(xùn)練所有模型的所有網(wǎng)絡(luò)層。實(shí)驗(yàn)結(jié)果如表1所示。

表1中，1、4、7三組使用Softmax函數(shù)的模型在閉集條件下具有良好的識(shí)別精度，表明模型已經(jīng)成功收斂。然而，這3組模型的最高OSR精度不超過(guò)0.474（1組）。此外，Sigmoid組模型對(duì)應(yīng)的表1中的2、5、8組實(shí)驗(yàn)結(jié)果表明，在FDS數(shù)據(jù)集上，3組模型的OSR精度分別提高至0.824、0.707和0.826，這表明Sigmoid函數(shù)對(duì)模型的OSR性能有所提高。然而，在Imagenet-Crop數(shù)據(jù)集上，這些模型仍然表現(xiàn)出極高的OSR風(fēng)險(xiǎn)。例如，第8組的OSR精度僅為0.437，相對(duì)于第7組Softmax組的0.331僅有0.1的提升。

表1中的3、6、9組對(duì)比實(shí)驗(yàn)結(jié)果表明，在兩個(gè)數(shù)據(jù)集下，ICOR模型均實(shí)現(xiàn)了最高的OSR精度。在Imagenet-Crop數(shù)據(jù)集上，最低的OSR精度也達(dá)到了0.792（9組），高于Sigmoid組最高的0.744（2組）。此外，通過(guò)比較Softmax和Sigmoid組的閉集精度可以發(fā)現(xiàn)，使用Sigmoid函數(shù)可以提高模型的OSR精度，但同時(shí)也可能降低模型的閉集識(shí)別精度。而本文提出的ICOR模型在同樣的實(shí)驗(yàn)條件下，既保證了較高的閉集精度，同時(shí)對(duì)模型的OSR性能具有良好的改善效果。

2.3.2 開(kāi)集自適應(yīng)訓(xùn)練對(duì)模型開(kāi)集性能的影響

為評(píng)估開(kāi)集自適應(yīng)訓(xùn)練策略對(duì)模型OSR性能的影響，本文在3組模型的Sigmoid和ICOR組的閉集訓(xùn)練基礎(chǔ)上進(jìn)行了開(kāi)集自適應(yīng)訓(xùn)練。訓(xùn)練中，在開(kāi)集測(cè)試時(shí)，選擇在閉集驗(yàn)證集中有95%以上樣本被分類正確的預(yù)測(cè)置信度作為開(kāi)集閾值。模型訓(xùn)練分兩個(gè)階段，首先進(jìn)行100次的閉集訓(xùn)練，然后進(jìn)行100次開(kāi)集自適應(yīng)訓(xùn)練。實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2中，K+表示模型經(jīng)過(guò)開(kāi)集自適應(yīng)訓(xùn)練后的結(jié)果。2、6、10組的對(duì)比結(jié)果表明，經(jīng)過(guò)開(kāi)集自適應(yīng)訓(xùn)練后，Sigmoid和ICOR組模型在兩個(gè)數(shù)據(jù)集上的OSR精度均提升至0.9以上。因此，可以證明開(kāi)集自適應(yīng)訓(xùn)練能夠有效提高模型的OSR性能。此外，在相同的特征提取網(wǎng)絡(luò)下，ICOR模型相較于Sigmoid能更有效地提升模型的OSR性能。這也表明獨(dú)立分類網(wǎng)絡(luò)設(shè)計(jì)的有效性。

2.4 開(kāi)放度測(cè)試實(shí)驗(yàn)

為了通過(guò)有限的未知類別估計(jì)模型在更加開(kāi)放的環(huán)境中的OSR性能的魯棒性，本文設(shè)計(jì)了開(kāi)放度測(cè)試實(shí)驗(yàn)來(lái)進(jìn)一步評(píng)估模型的開(kāi)集性能。數(shù)據(jù)集的開(kāi)放度（Openness）[1]是指在測(cè)試過(guò)程中出現(xiàn)未知類別的比例，其定義為

[Openness=1-2CTCE+CR] （5）

式中：[CT]為訓(xùn)練中的已知類別數(shù)；[CE]為驗(yàn)證集中的已知類別數(shù)；[CR]為驗(yàn)證集中已知類別和未知類別數(shù)之和。本文實(shí)驗(yàn)中，驗(yàn)證集包含了所有訓(xùn)練類別。根據(jù)式（5），F(xiàn)DS和Imagenet-Crop數(shù)據(jù)集對(duì)應(yīng)的最大開(kāi)放度分別為0.574和0.782。

F1值結(jié)合了準(zhǔn)確率和召回率兩個(gè)指標(biāo)，常被用于評(píng)價(jià)二分類任務(wù)模型的綜合性能，開(kāi)集識(shí)別問(wèn)題可以被視為一個(gè)簡(jiǎn)化的二分類任務(wù)，即模型是否準(zhǔn)確識(shí)別已知類和未知類。模型在不同開(kāi)放度條件下的F1分?jǐn)?shù)的變化趨勢(shì)如圖4所示。

圖4（a）和圖4（b）展示了3組模型閉集條件下，在FDS和Imagenet-Crop數(shù)據(jù)集上進(jìn)行開(kāi)放度實(shí)驗(yàn)的結(jié)果。實(shí)驗(yàn)表明，隨著數(shù)據(jù)集開(kāi)放度的增加，模型在測(cè)試過(guò)程中需要處理更多未知類別，各組模型的綜合F1分?jǐn)?shù)逐漸降低，這與預(yù)期實(shí)驗(yàn)趨勢(shì)一致。其中，Sigmoid組的折線圖位于Softmax組上方，這表明使用Sigmoid比使用Softmax具有更優(yōu)的開(kāi)集識(shí)別性能，但隨著開(kāi)放度的增加，Sigmoid組的F1分?jǐn)?shù)迅速下降，表明Sigmoid僅在低開(kāi)放度條件下表現(xiàn)出良好的魯棒性。相比之下，ICOR模型的折線位于最上方，并且隨著開(kāi)放度的增加，F(xiàn)1分?jǐn)?shù)下降的速度要較為緩慢，表明相對(duì)于其他兩組模型，ICOR模型具有更優(yōu)的開(kāi)集魯棒性。

圖4（c）和圖4（d）展示了3組模型經(jīng)過(guò)開(kāi)集自適應(yīng)訓(xùn)練后在FDS和Imagenet-Crop數(shù)據(jù)集上進(jìn)行開(kāi)放度實(shí)驗(yàn)的結(jié)果。在相同的開(kāi)放度條件下，ICOR組的綜合F1分?jǐn)?shù)高于Sigmoid組。Sigmoid組的折線在開(kāi)放度較小時(shí)呈水平狀態(tài)，但在開(kāi)放度大于50%和60%時(shí)，折線的斜率急劇降低，模型的F1分?jǐn)?shù)急劇下降。這表明Sigmoid組在開(kāi)集適應(yīng)性訓(xùn)練后，在低開(kāi)放度下能夠保持較高的開(kāi)集精度，但隨著開(kāi)放度的增加，仍然存在嚴(yán)重的開(kāi)集識(shí)別風(fēng)險(xiǎn)。實(shí)驗(yàn)中，ICOR組的折線斜率始終保持著緩慢的下降趨勢(shì)，模型表現(xiàn)出更優(yōu)的魯棒性。

2.5 算法對(duì)比實(shí)驗(yàn)

為驗(yàn)證ICOR算法對(duì)比其它OSR算法（AMPFL[8]、SLCPL[9]、ARPL[15]、GCPL[10]）對(duì)現(xiàn)有模型OSR性能改善的優(yōu)勢(shì)，本文在FDS和Imagenet-Crop數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中，所有算法使用同一特征提取網(wǎng)絡(luò)，并使用遷移自Imagenet1K數(shù)據(jù)集的預(yù)訓(xùn)練參數(shù)。實(shí)驗(yàn)中模型迭代次數(shù)均為200次，實(shí)驗(yàn)結(jié)果如表3所示。

表3中7到18組的實(shí)驗(yàn)結(jié)果表明，AMPFL、SLCPL、ARPL和GCPL等算法對(duì)模型的OSR性能改善有限。特別是在ResNet50特征提取網(wǎng)絡(luò)框架下（第7、10、13和16組），盡管這些算法保持著較高的閉集精度，但存在極大的OSR風(fēng)險(xiǎn)，甚至高于傳統(tǒng)的Softmax和Sigmoid（第1、4組）。此外，ICOR算法在未進(jìn)行開(kāi)集自適應(yīng)訓(xùn)練時(shí)（第19、20、21組），實(shí)現(xiàn)了試驗(yàn)中最高的OSR精度；在進(jìn)行開(kāi)集自適應(yīng)訓(xùn)練后，ICOR模型的OSR精度均在0.97以上，相比于現(xiàn)有OSR算法，ICOR（K+）在兩個(gè)數(shù)據(jù)集上的表現(xiàn)（第22、23、24組）均有明顯的優(yōu)勢(shì)。

同時(shí)，AMPFL、SLCPL、ARPL、GCPL等算法，隨著特征提取網(wǎng)絡(luò)的改變，模型的開(kāi)集識(shí)別精度也會(huì)發(fā)生明顯變化，這表明特征提取網(wǎng)絡(luò)的類型對(duì)傳統(tǒng)開(kāi)集識(shí)別算法的開(kāi)集識(shí)別精度具有很大影響，而本文算法隨著特征提取網(wǎng)絡(luò)的變化，開(kāi)集識(shí)別精度保持穩(wěn)定，表現(xiàn)出了更好的魯棒性。

3 結(jié)論

本文針對(duì)傳統(tǒng)模型存在的OSR問(wèn)題，設(shè)計(jì)了ICOR模型和開(kāi)集自適應(yīng)訓(xùn)練策略，通過(guò)實(shí)驗(yàn)可以得出以下結(jié)論。

1） 通過(guò)消融實(shí)驗(yàn)證明，ICOR模型結(jié)構(gòu)和開(kāi)集自適應(yīng)訓(xùn)練策略均能有效改善傳統(tǒng)模型OSR性能。

2） 通過(guò)開(kāi)放度實(shí)驗(yàn)證明，本文的ICOR模型及開(kāi)集自適應(yīng)訓(xùn)練策略隨著開(kāi)放度的增加，表現(xiàn)出更好的魯棒性能。

3） 對(duì)比實(shí)驗(yàn)中其他現(xiàn)有OSR算法，ICOR模型和開(kāi)集自適應(yīng)訓(xùn)能更有效地降低模型的OSR風(fēng)險(xiǎn)。

參考文獻(xiàn)

[1]? ?SCHEIRER W J，? ANDERSON D R R，? SAPKOTA A， et al. Toward open set recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence ， 2013， 35（7）： 1757-1772.

[2]? ?MAHDAVI A， CARVALHO M. A survey on open set recognition[C]//Laguna Hills： 2021 IEEE Fourth International Conference on Artificial Intelligence and Knowledge Engineering （AIKE）， 2021.

[3]? ?ZHANG H， PATEL V M. Sparse representation-based open set recognition[J]. IEEE transactions on Pattern Analysis and Machine Intelligence， 2016， 39（8）： 1690-1696.

[4]? ?BENDALE A， BOULT T E. Towards open set deep networks[C]//Las Vegas： 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016.

[5]? ?OZA P， PATEL V M. C2AE： Class conditioned auto-encoder for open-set recognition[C]//Long Beach： 2019 IEEE/ CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2019.

[6]? ?NEAL L， OLSON M， FERN X， et al. Open set learning with counterfactual images[C]//Munich： Proceedings of the European Conference on Computer Vision（ECCV）， 2018.

[7]? ?ZHANG Y， LEE K， LEE H. Augmenting supervised neural networks with unsupervised objectives for large-scale image classification[C]//New York： International Conference on Machine Learning （ICML）， 2016.

[8]? ?XIA Z， WANG P， DONG G， et al. Adversarial motorial prototype framework for open set recognition[J]. Journal of LaTeX Class Files， 2015， 14（8）： 1-14.

[9]? ?XIA Z， WANG P， DONG G， et al. Spatial location constraint prototype loss for open set recognition[J]. Computer Vision and Image Understanding， 2023， 229： 103651.

[10] YANG H M， ZHANG X Y， YIN F， et al. Convolutional prototype network for open set recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 44（5）： 2358-2370.

[11] HAN K， WANG Y， CHEN H， et al. A survey on vision transformer[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 45（1）： 87-110.

[12] ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks[C]//Zurich： European Conference on Computer Vision - ECCV 2014， 2014.

[13] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]//Honolulu： 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）， 2017.

[14] GAVAI N R， JAKHADE Y A， TRIBHUVAN S A， et al. MobileNets for flower classification using TensorFlow[C]//Pune： 2017 International Conference on Big Data， IoT and Data Science （BID）， 2017.

[15] GENG C， HUANG S， CHEN S. Recent advances in open set recognition： A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 43（10）： 3614-3631.

第一作者：徐雪松（1970—），男，教授，博士，碩士生導(dǎo)師，研究方向?yàn)橐苿?dòng)機(jī)器人視覺(jué)導(dǎo)航與控制、無(wú)人機(jī)控制、計(jì)算機(jī)視覺(jué)、模式識(shí)別。E-mail： cedarxu@163.com。

通信作者：付瑜彬（1996—），男，碩士研究生，研究方向?yàn)樯疃葘W(xué)習(xí)、開(kāi)集識(shí)別。E-mail： 1668875496@qq.com。