遞歸投影融合對(duì)比機(jī)制的少樣本目標(biāo)檢測方法

陳 瀚，雷 亮，朱錦相，王 冬

(廣東工業(yè)大學(xué) 物理與光電工程學(xué)院，廣東 廣州 510006)

0 引 言

目前，深度學(xué)習(xí)技術(shù)的成熟使目標(biāo)檢測領(lǐng)域取得了質(zhì)的發(fā)展。這些模型的成功很大程度上歸功于目標(biāo)檢測器能夠吸納和處理大規(guī)模的標(biāo)注數(shù)據(jù)。少樣本目標(biāo)檢測(few-shot object detection，F(xiàn)SOD)旨在解決傳統(tǒng)檢測器需要大量訓(xùn)練數(shù)據(jù)的劣勢。在FSOD任務(wù)中，建立基類和新類特征相關(guān)性以及提高特征篩選的匹配能力是提高模型性能的關(guān)鍵[1，2]。因此，前人提出了很多特征遷移的方法[3-5]，用于衡量特征之間的相似性[6，7]。然而，這些方法大多關(guān)注于表層特征學(xué)習(xí)，容易忽略類與類之間的深層映射聯(lián)系。在實(shí)際場景中，目標(biāo)分布可能會(huì)散亂交織、尺度不一、存在遮擋殘缺、特征混淆等情況，容易導(dǎo)致漏檢、誤檢以及假陽性率過高的情況發(fā)生[8]。

針對(duì)以上不足，提出了一種遞歸投影融合對(duì)比機(jī)制的FSOD方法。該方法利用一個(gè)多尺度遞歸投影的正則化分支網(wǎng)絡(luò)減少特征尺度差異性，豐富特征表示。并且，在兩階段檢測器基礎(chǔ)上，增加了余弦分類編碼器，結(jié)合新類與基類特征共享的對(duì)比機(jī)制，實(shí)現(xiàn)了類別之間深淺層尺度信息的交流和特征匹配，直接有效地提高了模型檢測率。同時(shí)保證了新類與基類在空間上的特征對(duì)齊，采用共享權(quán)重的方式提高了知識(shí)遷移效率。該方法在PASCAL VOC和MS COCO數(shù)據(jù)集的廣泛實(shí)驗(yàn)中，均取得了顯著的檢測結(jié)果，驗(yàn)證了該模型的先進(jìn)性。

1 相干工作

近年來出現(xiàn)很多關(guān)于FSOD的方法，如數(shù)據(jù)增強(qiáng)[9，10]、元學(xué)習(xí)(Meta-learning)[11，12]、度量學(xué)習(xí)(Metric-lear-ning)[13，14]、基于微調(diào)范式(Fine-tuning)[15]等。利用特征遷移的方法能夠從基類源域空間獲取目標(biāo)前景特征信息，并轉(zhuǎn)移至新類域空間。LSTD[16]首次將遷移學(xué)習(xí)應(yīng)用于FSOD任務(wù)，通過背景抑制(background depression，BD)和遷移知識(shí)(transfer knowledge，TK)正則化消除了分類任務(wù)和檢測任務(wù)之間的差距。目前主流方案主要基于元學(xué)習(xí)方法和微調(diào)范式。Meta-learning只進(jìn)行一次性學(xué)習(xí)，從預(yù)訓(xùn)練模型中推斷相似性[17]。例如，RepMet[18]設(shè)計(jì)了重生特定類的激活函數(shù)，提取原型空間中的圖像特征，通過計(jì)算與支持特征的歐氏距離以表示相似度，雖提升了遷移能力但精度有待提高。Meta-RCNN[19]和FsDetView[20]通過提取RoI(region of interest)特征對(duì)新類進(jìn)行重新加權(quán)，提高了檢測性能。與之相比，Metric-learning方法性能更加優(yōu)越，尤其是TFA[21]，甚至在經(jīng)過基類充分訓(xùn)練后，加入新類后簡單微調(diào)檢測器，即能獲得可觀的結(jié)果。MPSR[22]認(rèn)為原始檢測器僅增加尺度，不考慮尺度關(guān)聯(lián)性的方法存在局限性，難以在稀疏尺度信息中判斷陽性或者陰性建議，雖解決了尺度方差問題，但由于網(wǎng)絡(luò)構(gòu)造復(fù)雜和人工調(diào)參干預(yù)導(dǎo)致過于繁瑣。

由于特征相關(guān)性和有效匹配性[23]是決定目標(biāo)特征遷移效率的關(guān)鍵因素。然而，僅整體微調(diào)的方法存在一個(gè)本質(zhì)的缺點(diǎn)——對(duì)于實(shí)例的遷移過于倉促，只能依賴增加迭代次數(shù)的經(jīng)驗(yàn)來加強(qiáng)遷移效果[24]。而加入新類的二次訓(xùn)練會(huì)導(dǎo)致已學(xué)習(xí)的分類器置信度和定位精度產(chǎn)生偏差。在優(yōu)先樣本的前提下，RoI難以提供強(qiáng)有力的特征表示[25]。當(dāng)樣本稀疏時(shí)，決策最值分類器的作用不夠顯著。

因此本文致力于構(gòu)建少樣本特征空間關(guān)聯(lián)性，如圖1所示，充分調(diào)用基類和新類特征關(guān)聯(lián)性以保持尺度不變性。同時(shí)使用余弦分類器[26]取締傳統(tǒng)的線性分類器，結(jié)合對(duì)比學(xué)習(xí)機(jī)制[27，28]重構(gòu)特征分布區(qū)域，在遷移過程中準(zhǔn)確地劃分簇空間，保證特征空間對(duì)齊，擴(kuò)大類間間距，縮小類內(nèi)間隙。

圖1 少樣本特征空間分布

2 模型設(shè)計(jì)原理

針對(duì)上述理論，構(gòu)造了一種基于Faster-RCNN檢測框架的新穎模型CM-FSOD(contrastive mechanism fused multi-scale recursive projection for FSOD)。采用尺度投影對(duì)齊與對(duì)比機(jī)制相互結(jié)合，引導(dǎo)支持特征與查詢特征信息傳遞的有效化進(jìn)程。通過重構(gòu)空間特征分布[29]，最大程度上挖掘基類和新類特征映射關(guān)系。本章節(jié)將詳細(xì)介紹該方法原理。

2.1 微調(diào)范式原理

CM-FSOD方法主要采用微調(diào)范式進(jìn)行訓(xùn)練，以TFA為基準(zhǔn)線(Baseline)。如圖2所示，訓(xùn)練過程主要分為基礎(chǔ)訓(xùn)練階段和微調(diào)階段，并設(shè)定兩個(gè)訓(xùn)練集，分別為樣本充足的基類Cbase和僅含少量樣本的新類Cnovel。Cbase∩Cnovel=?，C={(x，y)|x∈X，y∈Y}， 其中X指目標(biāo)對(duì)象，Y是標(biāo)簽信息。從這兩個(gè)類中選取部分樣本作為支持集(包含標(biāo)簽)和另一部分樣本作為查詢集(不含標(biāo)簽)，通過學(xué)習(xí)基類的泛化知識(shí)，得到一個(gè)能夠檢測新類的檢測器Dnovel。在基礎(chǔ)階段，訓(xùn)練方式與Faster-RCNN相同。而在微調(diào)階段，輸入K張帶標(biāo)簽的支持集和無標(biāo)簽的查詢集，然后微調(diào)分類器和回歸器，重新計(jì)算損失以表示新類。其余特征組件參數(shù)則被凍結(jié)固定不變。

圖2 基于微調(diào)范式

2.2 CM-FSOD體系結(jié)構(gòu)

CM-FSOD算法體系結(jié)構(gòu)如圖3所示。首先在原始特征提取器中加入了自適應(yīng)正樣本特征細(xì)化分支MRP-FPN。然后，利用對(duì)比機(jī)制調(diào)用RoI特征池化，采用共享的對(duì)比分支對(duì)查詢和支持特征進(jìn)行特征編碼，優(yōu)化損失函數(shù)，并使用正交映射的方式對(duì)編碼特征進(jìn)行加權(quán)。值得注意的是，在微調(diào)階段，沒有完全凍結(jié)參數(shù)，而是保留了RPN(region proposal network)建議框?qū)Σ樵兲卣黝A(yù)判，引導(dǎo)特征有效化匹配。

圖3 CM-FSOD算法體系結(jié)構(gòu)

2.3 多尺度遞歸投影機(jī)制

本節(jié)內(nèi)容介紹了多尺度遞歸投影機(jī)制MRP-FPN(multi-scale recursive projection feature pyramid network)。MRP-FPN是一種尺度間的正樣本細(xì)化分支，由多尺度金字塔網(wǎng)絡(luò)、特征尺度加強(qiáng)模塊FEM(feature enhancement module)和遞歸尺度映射門路RPG(recursive projection gateway)組成。如圖4所示，首先在主干網(wǎng)絡(luò)上對(duì)特征空間進(jìn)行壓縮，使用全局池化層GAP(global average pooling)保留大量的空間信息，使輸入尺寸更加靈活。其中FEM采取了通道級(jí)注意力機(jī)制的經(jīng)典結(jié)構(gòu)，對(duì)各個(gè)尺度的特征進(jìn)行采樣。自適應(yīng)池化層的卷積核數(shù)是可變的，能夠貼合各尺度輸出。

圖4 MRP-FPN結(jié)構(gòu)

其感知特征由多個(gè)3×3卷積層和ReLU激活函數(shù)組成的模塊生成，其過程如式(1)所示

V=RC×Hi×Wi(Fc，ω)

(1)

其中，R為激活函數(shù)，F(xiàn)c是C×Hi×Wi格式的輸入特征，ω為卷積函數(shù)。與此同時(shí)，支持集與查詢集共享Backbone，其在各尺度之間通道對(duì)齊，映射關(guān)系可以用正交關(guān)系如式(2)所示

Fn(VSi，VQi)=θ(VSi)θ′(VQi)

(2)

其中，θ與θ′表示反向傳播函數(shù)。Si和Qi分別表示支持和查詢特征。采用殘差結(jié)構(gòu)對(duì)目標(biāo)線索捕獲局部特征，獲取能夠產(chǎn)生尺度感知的上下文特征Fn*，其過程如式(3)所示

Fn*=(1+Ak)⊙Fn

(3)

其中，Ak為第k層特征圖，⊙表示通道級(jí)點(diǎn)積。FEM層對(duì)特定尺度的物體前景進(jìn)行索引，以獲取目標(biāo)感知特征ωij，其過程如式(4)所示

(4)

其中，Vij表示特定像素的特征向量，Wij是壓縮池化的向量值，σ是sigmoid激活函數(shù)，沿空間維度k進(jìn)行權(quán)值轉(zhuǎn)化，Ω表示特征分布。RPG采用遞歸式投影的方法，在相鄰尺度之間設(shè)置自適應(yīng)的融合模塊將Fn*投影至高層尺度，縮短跨尺度的空間差異，尺度間的投影信息傳遞用非線性映射的多元特征融合方式，如式(5)所示，其投影過程Pij為

(5)

ωqj，ωsj分別為查詢感知特征和支持感知特征。利用卷積層實(shí)現(xiàn)了向高階尺度輸送特征信息。同時(shí)能更深層過濾和抹除背景噪聲，對(duì)區(qū)分前背景也有幫助。在無大量篩除支持信息的前提下，增加了足夠有效的查詢特征以供匹配。

2.4 共享元對(duì)比損失機(jī)制

前文提及了僅微調(diào)檢測器只能更多地在表層特征上計(jì)算匹配程度。自監(jiān)督學(xué)習(xí)中的對(duì)比損失可以彌補(bǔ)決策不夠的缺陷。由于一般對(duì)比機(jī)制只加入類的嵌入向量輔助損失函數(shù)計(jì)算，并不適用于元學(xué)習(xí)。因此本文采取選擇先為每個(gè)類優(yōu)先提取特定的特征編碼，再創(chuàng)建類嵌入向量，如圖5所示。經(jīng)過基類訓(xùn)練后，RoI特征會(huì)被計(jì)算成初始基類的分布，其分布一般用高斯分布 {Ω=(μb，σb)} 表示，均值和方差分別為μb和σb。

圖5 共享元對(duì)比損失機(jī)制

微調(diào)階段采用動(dòng)態(tài)的相關(guān)特征生成新的錨點(diǎn)，由查詢特征和支持特征共享特征編碼器，進(jìn)行后續(xù)的分布匹配與較準(zhǔn)。在RoI頭中嵌入數(shù)層MLP編碼器將特征信息轉(zhuǎn)為特征編碼。同時(shí)將每一批查詢圖像與支持圖像之間的相關(guān)性組成一個(gè)基本單元，測量提案嵌入之間的相似性，并通過移位補(bǔ)償更新已累積的特征分布，緩解了因過度對(duì)比增加的不確定性，避免匹配得分因相似特征而被放大的風(fēng)險(xiǎn)。

采用余弦相似度優(yōu)化了匹配方式，防止提案向量值被激活后截?cái)嗟膯栴}，把輸出的查詢向量與關(guān)聯(lián)映射的累積類權(quán)重做相似度計(jì)算，如式(6)所示，其相似度sim為

(6)

其中，qi為第i個(gè)查詢實(shí)例，wj為RoI的類特征權(quán)重，β為映射函數(shù)，用于梯度縮放。如式(7)所示，用此方法控制校準(zhǔn)新類分布的離散度H(i)

(7)

如式(8)所示，然后在微調(diào)階段使用基于距離的損失函數(shù)Lsml

(8)

其中，P為匹配批次，N(i)為查詢值qi提案與支持特征的匹配個(gè)數(shù)，H(i)包含了錨框zj的特征分布，且數(shù)值上設(shè)定H(i)=|N/zj|，τ為對(duì)比機(jī)制超參數(shù)的溫度系數(shù)，提高類特征間的分離性。最后損失計(jì)算如式(9)所示

Ltotal=LRPN+Lcls+Lreg+λLsml

(9)

其中，LRPN為前背景框建議損失，Lcls為分類損失，兩者均采用二元交叉熵Cross-entropy損失，Lreg為邊框回歸損失采用Smooth-L1損失。微調(diào)階段加入元對(duì)比損失Lscl進(jìn)行聯(lián)合優(yōu)化，其中多任務(wù)檢測中一般設(shè)定λ為0.05～0.1，負(fù)責(zé)控制補(bǔ)償程度，使模型輸出最優(yōu)效果。

3 實(shí)驗(yàn)結(jié)果與分析

本模型在PASCAL VOC和MS COCO數(shù)據(jù)集進(jìn)行了詳細(xì)實(shí)驗(yàn)，并與現(xiàn)有的先進(jìn)模型進(jìn)行比較，其評(píng)估標(biāo)準(zhǔn)主要是新類的檢測精度nAP(novel average precision)，主要衡量了模型從基類特征遷移知識(shí)的能力。實(shí)驗(yàn)設(shè)置多組類型的分割數(shù)據(jù)集，并在PASCAL VOC數(shù)據(jù)集進(jìn)行詳細(xì)的消融對(duì)比實(shí)驗(yàn)。本章節(jié)將全面分析該模型的先進(jìn)性。

3.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

3.1.1 PASCAL VOC

PASCAL VOC數(shù)據(jù)集由VOC 07和VOC 12組成。采用3個(gè)不同的分割集(分別稱為split 1，2，3)，均包含20個(gè)類別。訓(xùn)練集均由15個(gè)數(shù)據(jù)充足的基類和5個(gè)僅含K個(gè)樣本(也稱為K-Shot)的新類組成。并在VOC 07測試集評(píng)估了K=1，2，3，5，10 shots的新類檢測值nAP50 (nAP50指IoU閾值設(shè)為0.5的新類平均檢測精度)。為了增加檢測的有效性，設(shè)置了10個(gè)以上的隨機(jī)種子計(jì)算平均檢測結(jié)果。

3.1.2 MS COCO

MS COCO數(shù)據(jù)集含80個(gè)類別，其中與VOC相同的20個(gè)類別作為新類，其余60個(gè)類作為基類。COCO測試集包含近5000張待測樣本，檢測規(guī)模更大，因而實(shí)驗(yàn)測試了K=10，30 shots并報(bào)告nAP，nAP75檢測值作為評(píng)估標(biāo)準(zhǔn)(nAP，nAP75分別指標(biāo)準(zhǔn)平均精度AP和IoU閾值設(shè)為0.75的新類平均檢測精度)。nAP75通常被認(rèn)為是更加苛刻的評(píng)估指標(biāo)，被用來衡量模型在少樣本情況下的泛化能力和性能表現(xiàn)。

3.2 實(shí)驗(yàn)設(shè)置

采用PyTorch深度學(xué)習(xí)框架開發(fā)，在NVIDA GeForce 3090 GPU進(jìn)行測試，以TFA作為Baseline。其框架主要基于Faster R-CNN結(jié)合ResNet特征提取器。批量大小bs設(shè)置為4，基礎(chǔ)階段學(xué)習(xí)率為0.01，微調(diào)階段初始學(xué)習(xí)率為0.005。優(yōu)化器采用隨機(jī)梯度下降SGD，其動(dòng)量值為0.9，衰減系數(shù)為1e-4。

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 PASCAL VOC實(shí)驗(yàn)

VOC實(shí)驗(yàn)設(shè)置了10次隨機(jī)重復(fù)測試求平均值的做法，分別對(duì)3個(gè)分割集KShots情景進(jìn)行測試，對(duì)比以往10個(gè)相關(guān)的先進(jìn)方法，并報(bào)告了nAP50的平均性能。如表1所示，展示了檢測結(jié)果，其中該方法對(duì)比前者，均取得了最佳和次佳的檢測結(jié)果。結(jié)果顯示，該模型在3個(gè)不同分割集上均顯著優(yōu)于Baseline TFA，獲得了比以前方法更全面的性能。例如split 2，在K=1，2，3，10 Shots的檢測中均取得了最先進(jìn)的結(jié)果。在極低樣本K=1，2 Shots情景中nAP50提升尤為明顯，為該方法提供了一個(gè)強(qiáng)有力的證據(jù)。與TFA相比，在3個(gè)分割集的1-Shot檢測中平均提升了3.6%，并且在3個(gè)分割集上均表現(xiàn)最佳。極低樣本的檢測結(jié)果反映了模型對(duì)局部和零散信息的捕捉能力更加突出，更能解決關(guān)于隨機(jī)采樣的不確定性。同時(shí)較穩(wěn)定的10-Shot也表現(xiàn)出了不俗的性能。

表1 PASCAL VOC測試模型檢測對(duì)比/%

3.3.2 MS COCO實(shí)驗(yàn)

為了公平評(píng)估模型性能，本文進(jìn)一步在MS COCO上測試10，30 Shots的檢測表現(xiàn)。實(shí)驗(yàn)結(jié)果表明，該模型的表現(xiàn)同樣卓越。與VOC相比，MS COCO具有更穩(wěn)定和更豐富的源數(shù)據(jù)集。因此檢測率的提升不像VOC那樣顯著。盡管MS COCO具有挑戰(zhàn)性，但該方法對(duì)檢測結(jié)果的提升依然可觀。如表2所示，采用了不同的檢測方式，并報(bào)告了nAP，nAP75檢測值。在10-Shot下nAP從原來的10%提升到了11.5%，nAP75從原來的9.7%提升到10.2%。隨著樣本數(shù)量增加，檢測結(jié)果會(huì)更加穩(wěn)定，而該方法在30-Shot下的檢測結(jié)果同樣有所提高，這種程度的提高表明該模型更具有泛化性和魯棒性。

表2 MS COCO測試模型檢測對(duì)比/%

3.4 消融實(shí)驗(yàn)

本節(jié)內(nèi)容對(duì)這些組件產(chǎn)生的影響和貢獻(xiàn)分別進(jìn)行了測試和分析，并報(bào)告了在VOC 07測試集的評(píng)估結(jié)果。

3.4.1 MRP-FPN模塊實(shí)驗(yàn)

如表3所示，逐一測試了該模塊中的FEM和RPG組件及其組合方式，并報(bào)告了1，3-Shot的nAP檢測結(jié)果。盡管僅使用原始FPN已有所提升，但總體檢測率仍然不夠高。表格No.2，3分別展示了FEM和RPG的獨(dú)立測試結(jié)果，其中FEM的效果略優(yōu)于RPG，在1-Shot情況下，F(xiàn)EM將nAP50提升至 39.6%，RPG則為45.1%。而從No.4中可以看出，兩者組合的效果更佳，3-Shot情況下 nAP50提高了2.6%。表明了FEM有效地聚焦了前景信息，保留了特征細(xì)節(jié)。而RPG實(shí)現(xiàn)了特征的深淺層交流以保持空間對(duì)齊。

表3 MRP-FPN消融實(shí)驗(yàn)測試結(jié)果/%

為了挖掘組件潛能，充分解決RPN不確定性和提高RoI頭新類知識(shí)提取能力，進(jìn)一步測試了MRP-FPN對(duì)RPN和RoI的影響。如No.5～7所示，微調(diào)階段嘗試解凍RPN和RoI，結(jié)果表明，合理解凍RPN能有效提升檢測率。這是因?yàn)榻M件鼓勵(lì)模型利用更多低質(zhì)量的建議框。在以往測試中這些框容易被RPN篩除，而解凍的方法有助于優(yōu)化少樣本場景設(shè)置中有限的數(shù)據(jù)，提供更多前景知識(shí)以供判斷。

3.4.2 SCL模塊實(shí)驗(yàn)

對(duì)SCL組件聚合查詢和支持特征以生成相關(guān)特征的能力進(jìn)行測試，并列舉了部分基類和全部新類的檢測結(jié)果，并增加測試了基類檢測率Base AP50(bAP50)，其主要是指IoU閾值設(shè)為0.5的基類平均檢測精度，反映了基礎(chǔ)訓(xùn)練階段對(duì)基類特征分布構(gòu)造的能力。此外，還測試了傳統(tǒng)對(duì)比機(jī)制與共享對(duì)比機(jī)制對(duì)生成類功能的影響。如表4所示，兩種對(duì)比方式均提升了檢測率，尤其是在充分樣本下，基類檢測率分別提升了0.6%和1.1%，而采用查詢特征和支持特征共享fc層的做法對(duì)新類的提升更加明顯，說明這種類型的對(duì)比策略值得嘗試和拓展，尤其是對(duì)每個(gè)類的低維空間特征遷移和嵌入，有助于元學(xué)習(xí)對(duì)比查詢和支持圖像，并在同類之間創(chuàng)建相似的嵌入向量。No.4則直觀地展示了多尺度投影和共享元對(duì)比機(jī)制結(jié)合的優(yōu)勢，幾乎對(duì)所有新類均有提升。

表4 SCL消融實(shí)驗(yàn)測試結(jié)果/%

3.4.3 遷移效率與穩(wěn)定性測試

前文實(shí)驗(yàn)已經(jīng)測試相應(yīng)組件功能，上述表4也反映了CM-FSOD與基線模型的性能。在此基礎(chǔ)上，進(jìn)一步測試該模型的整體訓(xùn)練效率。由于訓(xùn)練樣本稀缺，每一次的樣本方差測試均比較大，容易造成性能差異，很難公平比較其它方法。因此對(duì)Baseline和CM-FSOD進(jìn)行了多次極低樣本K=1情景進(jìn)行30次重復(fù)運(yùn)行，最后繪制了具有95%置信區(qū)間的nAP50(/%)的累積平均值。如圖6所示，splitn_O，splitn_B分別表示本文方法和Baseline方法在分割集n(n=1，2，3) 上測試。多次運(yùn)行后的平均值始終低于首次運(yùn)行時(shí)的值，尤其在一次性運(yùn)行情況下，隨著隨機(jī)樣本輸入增加，模型平均性能會(huì)出現(xiàn)顯著下降。進(jìn)行了30次重復(fù)運(yùn)行的模型，結(jié)果顯示前10次運(yùn)行的置信區(qū)間比較大，當(dāng)重復(fù)次數(shù)增加至在20～30次區(qū)間，性能普遍趨向穩(wěn)定，從而允許進(jìn)行更公平比較。

圖6 多次運(yùn)行累積平均值

如圖7所示，為了測試模型穩(wěn)定性，對(duì)VOC的基類和新類檢測性能進(jìn)行了廣泛地評(píng)估，并報(bào)告了平均值A(chǔ)P、bAP以及nAP，其中K_Ours、K_Bs分別表示K-Shot情景下本文方法和Baseline方法的檢測結(jié)果 (K=1，2)。 綜上所 述，該方法穩(wěn)定性可以媲美，甚至比原有的方法更加出色。側(cè)面反映了該方法有助于特征對(duì)齊，使模型趨向于穩(wěn)定。

圖7 關(guān)于VOC的廣義目標(biāo)檢測基準(zhǔn)測試

3.5 結(jié)果可視化

我們通過定性可視化展示了在VOC數(shù)據(jù)集新類檢測的部分樣本實(shí)際檢測效果，包括遮擋、多物體、小目標(biāo)等場景。如圖8(a)所示，相較于基線模型，該模型表現(xiàn)出更好的檢測效果，提升了置信分?jǐn)?shù)，減少了錯(cuò)誤分類。此外，我們還對(duì)執(zhí)行投影機(jī)制前后的特征效果進(jìn)行了可視化，如圖8(b)所示。通過投影前后的特征熱力圖比較，該模型能夠激活查詢特征，從而挖掘更多的細(xì)粒度信息，進(jìn)一步提升了后續(xù)的檢測過程。這進(jìn)一步驗(yàn)證了該模型在全局和局部搜索能力上的提升，以及其對(duì)查詢特征的有效性。

圖8 測試結(jié)果可視化對(duì)比

4 結(jié)束語

本文提出了一種解決少樣本目標(biāo)檢測中尺度關(guān)聯(lián)性差、空間不對(duì)齊等問題的算法。該方法通過正樣本細(xì)化分支修復(fù)空間錯(cuò)位和特征不確定性，保證了尺度不變性。并利用共享對(duì)比機(jī)制為新類提供了更穩(wěn)定的匹配方式。與先前方法相比，廣泛實(shí)驗(yàn)驗(yàn)證了該方法適應(yīng)性更強(qiáng)、準(zhǔn)確率更高，具有更強(qiáng)的應(yīng)用性。在尚未解決的問題方面，本研究將探索該算法在具體場景和模型效率等方面的應(yīng)用，并研究在其它下游任務(wù)(如細(xì)粒度檢測和顯著性檢測)的可行性。