多尺度選擇金字塔網(wǎng)絡(luò)的小樣本目標(biāo)檢測(cè)算法

彭 豪 ,李曉明,2+

1.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原030024

2.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 計(jì)算機(jī)重點(diǎn)實(shí)驗(yàn)室，太原030024

在近幾年里，深度學(xué)習(xí)為目標(biāo)檢測(cè)帶來了前所未有的進(jìn)步，基于深度學(xué)習(xí)的各種目標(biāo)檢測(cè)方法，例如R-CNN（regions with convolutional neural network features）、Fast R-CNN、Meta R-CNN、YOLO（you only look once）等效果提升到了一個(gè)較高的水平，在很多方面取代了人工。這些檢測(cè)器的檢測(cè)效果取決于網(wǎng)絡(luò)在詳盡標(biāo)注的大規(guī)模標(biāo)注數(shù)據(jù)集上經(jīng)過訓(xùn)練得到的模型。通常，這些數(shù)據(jù)來源需要大量人力資源手工標(biāo)注，而手工標(biāo)注的成本又非常高昂。當(dāng)某些特殊場(chǎng)景缺少樣本時(shí)，模型往往會(huì)產(chǎn)生過擬合或是欠擬合等問題，容易導(dǎo)致檢測(cè)器泛化性能差無法識(shí)別新類別。

近些年來出現(xiàn)很多小樣本目標(biāo)檢測(cè)方法。LSTD（low-shot transfer detector）結(jié)合了Faster R-CNN和SSD（single shot multi-box detector）在分類任務(wù)和邊框回歸任務(wù)上的特性，提出了知識(shí)遷移正則化和背景抑制正則化兩種方法，分別利用源域和目標(biāo)域的知識(shí)增強(qiáng)模型對(duì)小樣本數(shù)據(jù)的泛化能力。RepMet（representative-based metric）引入了原型聚類，構(gòu)造原型空間提取圖像的嵌入特征，使用歐式距離計(jì)算嵌入特征與支持集類別表示之間的距離。Feature Reweight使用元加權(quán)模型將支持集特征以通道相乘融合到查詢集特征，這種方法需要額外的掩膜分支，增加了計(jì)算復(fù)雜度。Attention-RPN將基于注意力的區(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN）與比較訓(xùn)練的策略相結(jié)合，利用Matching Networks的思想計(jì)算查詢實(shí)例和支持實(shí)例的相似性。LSCN（low-shot object detection via classification refinement）中提出了統(tǒng)一識(shí)別、全局接收?qǐng)?、類間分離和置信度校正四個(gè)組件，解決因?yàn)轭愔付▍?shù)過多導(dǎo)致分類置信度和定位精度存在嚴(yán)重誤差的問題。Wu等人和Han 等人研究了在小樣本目標(biāo)檢測(cè)中的多尺度問題，設(shè)計(jì)了一個(gè)特征金字塔模塊生成多尺度特征，并在不同尺度上進(jìn)行細(xì)化，但其網(wǎng)絡(luò)構(gòu)造復(fù)雜，引入過多的參數(shù)增加了計(jì)算復(fù)雜度。

對(duì)于小樣本目標(biāo)檢測(cè)來說，建立特征的相關(guān)性和增強(qiáng)新類參數(shù)的敏感性是提升小樣本目標(biāo)檢測(cè)性能的關(guān)鍵。當(dāng)有目標(biāo)相互交錯(cuò)在一起時(shí)，檢測(cè)器會(huì)因?yàn)橹豢吹搅瞬煌暾腶nchor而發(fā)生漏檢。Context-Transformer認(rèn)為從小樣本目標(biāo)檢測(cè)的任務(wù)性質(zhì)出發(fā)，邊框回歸任務(wù)在經(jīng)過數(shù)據(jù)的充分訓(xùn)練后再在新類上經(jīng)過微調(diào)就可以取得不錯(cuò)的效果，但分類卻很困難。造成這一困難首先是模型對(duì)于新類參數(shù)不敏感，其次在經(jīng)過新類樣本二次訓(xùn)練后也在一定程度上擾亂了基類已學(xué)習(xí)到的參數(shù)。而現(xiàn)有方法中大多考慮的是整體的檢測(cè)性能或是采用了簡(jiǎn)單的融合策略，沒有專門針對(duì)新類與基類的參數(shù)融合問題進(jìn)行探索。

如圖1所示，Meta R-CNN 中設(shè)計(jì)了一個(gè)PRN模塊提取支持集類向量，以通道乘法對(duì)查詢集的實(shí)例級(jí)感興趣區(qū)域（region of interest，RoI）進(jìn)行元加權(quán)。首先，查詢集圖片經(jīng)過特征提取網(wǎng)絡(luò)和RPN 網(wǎng)絡(luò)得到感興趣區(qū)域的特征圖，然后支持集圖像和對(duì)應(yīng)的真實(shí)標(biāo)簽圖經(jīng)過預(yù)測(cè)器重建模網(wǎng)絡(luò)（predictorhead remodeling network，PRN）得到每個(gè)類別對(duì)應(yīng)的類別注意力向量，CNN 的特征提取網(wǎng)絡(luò)結(jié)構(gòu)相同且權(quán)重共享，得到對(duì)應(yīng)特征圖后，通過逐元素Sigmoid函數(shù)得到對(duì)應(yīng)的注意力向量，最后將RPN 網(wǎng)絡(luò)輸出的感興趣區(qū)域特征圖和PRN網(wǎng)絡(luò)輸出的注意力向量通過逐通道相乘的方式進(jìn)行融合，再利用Faster/Mask R-CNN中預(yù)測(cè)頭得到對(duì)應(yīng)的檢測(cè)圖或分割圖。這種方法結(jié)構(gòu)簡(jiǎn)單，但是沒有考慮特征的相關(guān)性，在含有大量無效背景的特征中，檢測(cè)器很容易產(chǎn)生混淆。同時(shí)，對(duì)于少量樣本，模型對(duì)新類參數(shù)不敏感，檢測(cè)精度不高。

圖1 Meta R-CNN結(jié)構(gòu)圖Fig. 1 Meta R-CNN structure diagram

因此在本文中，建立特征的相關(guān)性和增強(qiáng)新類參數(shù)的敏感性是提升小樣本目標(biāo)檢測(cè)性能的關(guān)鍵。本文的主要貢獻(xiàn)總結(jié)如下：

（1）設(shè)計(jì)了一個(gè)用于小樣本目標(biāo)檢測(cè)的尺度選擇金字塔網(wǎng)絡(luò)，它由三個(gè)組件組成：上下文層注意力（contextual layer of attention，CLA）模塊；特征尺度增強(qiáng)（feature scale enhancement，F(xiàn)SE），專注于特定尺度的物體；特征尺度選擇模塊（feature scale selection module，F(xiàn)SS），實(shí)現(xiàn)深層和淺層之間適當(dāng)?shù)奶卣鞴蚕怼?/p>

（2）在RPN網(wǎng)絡(luò)產(chǎn)生的RoI特征后采用平均池化和最大池化來提升特征之間的相關(guān)性，在后面進(jìn)行特征融合，并且采用特征減法（feature subtraction，F(xiàn)S）濾除特征圖像中的雜波，突出特征中的區(qū)分類信息，提升模型對(duì)新類參數(shù)的敏感度，保持模型對(duì)基類參數(shù)的穩(wěn)定性。

（3）引入正交損失（orthogonal loss，OL），就是在隱藏層的特征空間施加正交性，保持不同類特征間的分離性，同一類特征的聚合性。從而保證模型在少量樣本情況下也能夠很好地衡量特征間的相似性。

1 基于多尺度選擇金字塔網(wǎng)絡(luò)的小樣本目標(biāo)檢測(cè)

提出的基于多尺度選擇金字塔網(wǎng)絡(luò)的小樣本目標(biāo)檢測(cè)算法的體系結(jié)構(gòu)如圖2所示。首先，設(shè)計(jì)了一個(gè)用于小樣本目標(biāo)檢測(cè)的尺度選擇金字塔網(wǎng)絡(luò)，它由三個(gè)組件組成：上下文層注意力模塊、特征尺度增強(qiáng)模塊、特征尺度選擇模塊。然后在RPN 網(wǎng)絡(luò)產(chǎn)生的RoI 特征后采用最大池化和平均池化來提升特征之間的相關(guān)性，之后進(jìn)行特征融合，并且采用特征減法來突出特征中的類別信息；最后采用正交映射損失函數(shù)使模型在分類層前就約束特征。

圖2 提出的小樣本目標(biāo)檢測(cè)算法的體系結(jié)構(gòu)Fig. 2 Architecture of proposed small sample target detection algorithm

1.1 上下文層注意力（CLA）

為了生成分層的attention heatmap，本文設(shè)計(jì)了CLA來生成不同層次的attention heatmap。因?yàn)樯舷挛男畔⒖梢蕴岣邫z測(cè)小目標(biāo)的性能，所以，本文首先將backbone 在不同stage 產(chǎn)生的特征進(jìn)行上采樣，使其與底部的特征具有相同的形狀，并將它們連接起來。然后采用多尺度空間金字塔池算法（atrous spatial pyramid pooling，ASPP）提取的多尺度特征來尋找目標(biāo)線索。ASPP 生成的上下文感知特征被傳遞到一個(gè)由多個(gè)3×3 卷積和sigmoid 激活函數(shù)組成的激活門。該激活門由多個(gè)不同stride的卷積和sigmoid激活函數(shù)組成，生成層次attention heatmap A：

圖3 不同層注意力熱力圖和不同模塊互補(bǔ)作用分析Fig. 3 Heat map of attention on different layers and analysis of complementary effects of different modules

1.2 特征尺度增強(qiáng)（FSE）

采用FSE 增強(qiáng)目標(biāo)物體的線索。目標(biāo)信息在低層特征上信息少，因此作用于中高層中，使得FSE能夠產(chǎn)生尺度感知特征。

1.3 特征尺度選擇（FSS）

FSS引導(dǎo)淺層向深層提供合適的特征，如果相鄰層的目標(biāo)都能被檢測(cè)到，那么深層將提供更多的語(yǔ)義特征，同時(shí)與下一層進(jìn)行優(yōu)化。FSS可以設(shè)計(jì)如下：

其中，A與A的交點(diǎn)為⊙，f為最近的上采樣操作，P′為第層的合并映射，C為第(-1)個(gè)殘塊的輸出。FSS 起著比例選擇的作用。對(duì)于下一層尺度范圍內(nèi)的目標(biāo)對(duì)應(yīng)的特征將被視為合適的特征流入下一層，而其他特征將被弱化以抑制梯度計(jì)算中的不一致性。

在特征提取過程中，高層特征丟失了大量位置信息，在目標(biāo)定位，特別是小目標(biāo)的定位上影響較大，因此考慮將ASPP生成的上下文感知特征疊加到高層特征中減少背景信息對(duì)小目標(biāo)的影響，增加分類準(zhǔn)確性。對(duì)于小的目標(biāo)而言，目標(biāo)特征經(jīng)過多次卷積池化的操作后，特征信息容易丟失。但是在高層特征的分類中有用信息又主要集中在高層，F(xiàn)SE作用于高層的最后2～3層特征上，跟單純的特征疊加不同，小目標(biāo)有相對(duì)較小的尺度，合適的A將會(huì)把感覺興趣的區(qū)域放在目標(biāo)特征上。FSS 在特征從淺層往深層的流動(dòng)中，起到一個(gè)篩選作用。圖3右側(cè)直觀展示了增加不同模塊后的特征熱力圖的效果。

1.4 多元特征融合（MFF）

Meta R-CNN 保留了Faster R-CNN 的兩段式結(jié)構(gòu)，由RPN生成圖像中目標(biāo)的候選邊界框anchors，然后經(jīng)過RoI Pooling層和RoI Align層后網(wǎng)絡(luò)從候選邊界框中提取感興趣區(qū)域的目標(biāo)特征，由分類器和回歸器分別對(duì)目標(biāo)特征進(jìn)行分類和邊框回歸。網(wǎng)絡(luò)對(duì)特征的提取以及處理模式是固定的，當(dāng)數(shù)據(jù)量比較少時(shí)，這樣的處理往往會(huì)遺漏圖像的重要特征。通常來講，網(wǎng)絡(luò)的高層語(yǔ)義特征對(duì)于分類任務(wù)都是有所幫助的，因此本文使用RoI mean-pooling 來獲得網(wǎng)絡(luò)中的CLA 整體信息，計(jì)算特征基于通道的相關(guān)性。最大池化作用于FSE，可以濾除無關(guān)信息，兩者的結(jié)合形成多元特征，對(duì)于少量樣本信息，提取保留更多紋理等細(xì)節(jié)特征，以此來提升模型對(duì)新類參數(shù)的敏感度，具體如圖4所示。

圖4 多元特征融合示意圖Fig. 4 Schematic diagram of multiple feature fusion

關(guān)系矩陣經(jīng)過softmax 后得到跨通道關(guān)系注意力特征圖Ψ：

式中，Ψ表示第個(gè)通道對(duì)于第個(gè)通道的關(guān)系分?jǐn)?shù)，矩陣的每一行都表示了特征上通道間的互相關(guān)程度。注意力特征圖Ψ通過矩陣乘法映射到特征″上得到特征向量。最后，經(jīng)過維度變換后以元素相加的方式疊加到原始特征′上增強(qiáng)跨通道的特征表示，得到基于通道的互相關(guān)特征。

之后，通過softmax函數(shù)得關(guān)系注意力特征圖Θ：

為了突出特征顯著性，將Θ通過矩陣乘法映射到″上得到特征向量，最后把經(jīng)過維度變換后以元素相加的方式疊加到原始特征′上增強(qiáng)跨像素空間的特征表示，得到基于像素空間的互相關(guān)特征。

最后，基于像素空間的互相關(guān)特征和基于通道的互相關(guān)特征拼接起來，最終輸出為：

特征減法（FS）可以濾除圖像中的雜波，能夠突出特征中的區(qū)分類信息，結(jié)構(gòu)如圖5所示。

圖5中，是每個(gè)批中包含的樣本實(shí)例數(shù)，是特征通道數(shù)，是卷積核的大小，和分別表示生成的得分向量和新類加權(quán)系數(shù)。使用卷積得到一個(gè)可學(xué)習(xí)的參數(shù)，將特征取絕對(duì)值，通過激活函數(shù)后將維度還原，這里采用Sigmoid 函數(shù)只是充當(dāng)一個(gè)門控作用，緩解查詢集圖像中存在的過多背景和無用特征對(duì)分類器的影響，還可以濾除一些雜波，然后加權(quán)增加新類參數(shù)的敏感性。避免通道上的局部交互特征受維度的影響。輸出可以表示為：

圖5 特征減法示意圖Fig. 5 Schematic diagram of feature subtraction

這種做法能盡量避免產(chǎn)生高維特征，有助于模型泛化，保持穩(wěn)定性。

1.5 損失函數(shù)構(gòu)建

在小樣本目標(biāo)檢測(cè)任務(wù)中，由于新類中可學(xué)習(xí)樣本數(shù)量較少，神經(jīng)網(wǎng)絡(luò)往往難以在幾個(gè)實(shí)例上就學(xué)到可靠的特征表示，不夠明確的特征參數(shù)給分類器帶來了很大的困難。除此之外，如果直接將隱藏層特征輸入到分類層，分類器很容易會(huì)產(chǎn)生現(xiàn)有類與新增加類的混淆。為減輕這種混淆給檢測(cè)模型帶來的影響，采用了一種正交損失，在隱藏層的特征空間施加正交性，保持不同類特征間的分離性，同一類特征的聚合性。

式中，為一個(gè)控制權(quán)重的超參數(shù)，|·|表示絕對(duì)值操作，余弦相似度的具體計(jì)算如下：

其中，||·||表示向量的2 范數(shù)。在等式中通過約束逼近1 來保持同類樣本間聚類，逼近0 讓不同類樣本間保持距離，以減輕特征混淆對(duì)分類器的影響。這種方法沒有多余的參數(shù)需要學(xué)習(xí)，簡(jiǎn)單高效，帶來的性能提升將在后面的消融實(shí)驗(yàn)中進(jìn)行分析。

網(wǎng)絡(luò)架構(gòu)基于類似于Meta R-CNN，采用兩階段訓(xùn)練方法，訓(xùn)練過程中的損失函數(shù)可以表示如下：

其中，為應(yīng)用于RPN 網(wǎng)絡(luò)區(qū)分前景背景和微調(diào)anchors 的損失；為R-CNN 中用于分類的交叉熵?fù)p失；為R-CNN 中用于邊框回歸的Smooth損失；為Meta R-CNN中用于生成支持集類向量的交叉熵?fù)p失。特征相關(guān)性構(gòu)建模塊和特征融合模塊添加約束，整個(gè)網(wǎng)絡(luò)中應(yīng)用的損失函數(shù)可以表示如下：

在實(shí)驗(yàn)中，通過權(quán)重可以增加前景與背景作用提高不同類特征間的分離性，起到分類作用，因的作用有限，在中增加損失，增強(qiáng)相同特征的聚合性和不同特征之間的分離性，通過改變和使得模型達(dá)到最好的效果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集介紹

VOC07 常用來衡量圖像分類檢測(cè)能力，其中訓(xùn)練集（5 011 幅），測(cè)試集（4 952 幅），共計(jì)9 963 幅圖，共包含20 個(gè)種類。COCO2014有91 個(gè)分類，其中82個(gè)分類每個(gè)都超過5 000個(gè)實(shí)例對(duì)象，為了能更好地學(xué)習(xí)每個(gè)對(duì)象的位置信息，在每個(gè)類別的對(duì)象數(shù)目上也是遠(yuǎn)遠(yuǎn)超過VOC07 數(shù)據(jù)集。為了公平比較，本文的實(shí)驗(yàn)設(shè)置與文獻(xiàn)[3]一致，所有實(shí)驗(yàn)結(jié)果都通過隨機(jī)數(shù)據(jù)采樣運(yùn)行10次計(jì)算平均值得到。

2.2 訓(xùn)練參數(shù)設(shè)置

本文中使用Meta R-CNN 作為網(wǎng)絡(luò)基本架構(gòu)，ResNet101作為主干網(wǎng)，在初始化時(shí)使用ImageNet上預(yù)先訓(xùn)練的權(quán)值。本文的訓(xùn)練策略與文獻(xiàn)[3]相同，使用隨機(jī)梯度下降作為網(wǎng)絡(luò)的優(yōu)化器，整個(gè)訓(xùn)練過程分為兩個(gè)階段：第一階段只訓(xùn)練數(shù)據(jù)豐富標(biāo)注完備的基類，設(shè)置初始學(xué)習(xí)率為10，batchsize 為4，一共訓(xùn)練20 個(gè)epochs，每個(gè)epoch 迭代3 000 次，每5個(gè)epochs 后學(xué)習(xí)率衰減為原來的1/10。第二階段在同時(shí)包含基類和新類的小樣本數(shù)據(jù)集上訓(xùn)練，設(shè)置初始學(xué)習(xí)率為10，batchsize 大小為4，一共訓(xùn)練9 個(gè)epochs，在訓(xùn)練5 個(gè)epochs 后學(xué)習(xí)率衰減為10，繼續(xù)訓(xùn)練剩余4 個(gè)epochs。此外，設(shè)置中參數(shù)=2，=1.3，=1.8。所有實(shí)驗(yàn)使用GTX 3090 在Pytorch上實(shí)現(xiàn)。

2.3 VOC實(shí)驗(yàn)

實(shí)驗(yàn)分為兩階段：

第一階段，使用一種low-shot 實(shí)驗(yàn)設(shè)置，在VOC07上考慮了三種不同的數(shù)據(jù)集拆分設(shè)置（如表1第2行），這一階段，只考慮基類對(duì)象。在每一個(gè)訓(xùn)練基類中都有3 000個(gè)帶標(biāo)注的bbox，其中∈{1,2,3,5,10}。為了公平評(píng)估，正確的預(yù)測(cè)應(yīng)該與Ground Truth的交并比（intersection over union，IoU）大于0.5，并以平均準(zhǔn)確率（mean average precision，mAP）作為評(píng)價(jià)指標(biāo)。第一階段結(jié)果如表1所示。

從表1 可以看出，本文模型的檢測(cè)性能優(yōu)于Meta R-CNN。在VOC split 3 實(shí)驗(yàn)中，本文模型都達(dá)到了最佳性能。當(dāng)極標(biāo)注類別比較少（=1,2,3）時(shí)，Meta R-CNN 很難提高檢測(cè)性能，本文模型可以有更好的性能，并且隨著的增加，優(yōu)勢(shì)更加明顯。在=10 與baseline相差分別為12.0個(gè)百分點(diǎn)、7.9個(gè)百分點(diǎn)和9.5個(gè)百分點(diǎn)。相比其他先進(jìn)方法，本文方法也有明顯優(yōu)勢(shì)。

表1 VOC07測(cè)試集上的low-shot檢測(cè)mAPTable 1 Low-shot detection mAP on VOC07 test suite %

第二階段，數(shù)據(jù)被隨機(jī)分為15 個(gè)基本類別和5種新類別。模型在包含15個(gè)類別的基類數(shù)據(jù)集上進(jìn)行訓(xùn)練，每個(gè)基類中的對(duì)象有3 000個(gè)標(biāo)注的邊界框用于訓(xùn)練，在5 個(gè)新類數(shù)據(jù)集上測(cè)試。表2 記錄了VOC 在拆分?jǐn)?shù)據(jù)上每個(gè)新類別的評(píng)估結(jié)果。首先，與基準(zhǔn)相比，Meta R-CNN 在VOC 的3 個(gè)分割上的“sofa”檢測(cè)性能較差，特別是當(dāng)=1 時(shí)。在本文方法中，VOC spilt 1 中“sofa”的單次檢測(cè)性能增加了20.77個(gè)百分點(diǎn)，而雙次檢測(cè)性能增加了29.40個(gè)百分點(diǎn)。在其他方法中，VOC split 2 中“bottle”的檢測(cè)性能并不理想，本文方法得到的mAP 高于其他方法。將值對(duì)應(yīng)的3 次平均精度展示在圖6 中?？傮w而言，該方法在所有類別的測(cè)試結(jié)果中都更具競(jìng)爭(zhēng)力。VOC 中的“bottle”往往過于密集，所占比例相對(duì)較小，實(shí)驗(yàn)結(jié)果證明該模型也可以聚焦于此類對(duì)象。

表2 VOC07測(cè)試集上的AP 和mAPTable 2 AP and mAP on VOC07 test suite %

如圖6 所示，分別是表2 中不同的平均精度，最后一圖是各方法的平均精度。本文方法在各類值上均有優(yōu)勢(shì)，換句話說，模型能夠在適當(dāng)關(guān)注圖像中的每個(gè)對(duì)象的同時(shí)學(xué)習(xí)對(duì)象的鑒別特征。

圖6 在不同K 下的平均精度Fig. 6 Average accuracy under different K

2.4 COCO實(shí)驗(yàn)

COCO2014 包含80 個(gè)類別，其中20 個(gè)類別與VOC07中的類別相同。與VOC實(shí)驗(yàn)類似，使用60個(gè)與VOC 不相交的類別作為訓(xùn)練的基類，20 個(gè)作為新類。每個(gè)類都有個(gè)帶標(biāo)簽的對(duì)象實(shí)例，分別取10 和50。評(píng)價(jià)指標(biāo)包括、、和、、。其中是指IoU 的平均精度，學(xué)習(xí)率保持為0.05，指的是的平均精度，指的是的平均精度。指的是圖像中小于32×32的物體的平均檢測(cè)精度，指的是圖像中大于32×32，小于96×96 的物體的平均檢測(cè)精度，是指圖像中大于96×96 的物體的平均檢測(cè)精度。結(jié)果記錄于表3中。

從表3 中可以看出，在10-shot 中本文方法在和上達(dá)到最優(yōu)15.9%和28.4%，在其他評(píng)估指標(biāo)下該方法也能達(dá)到較好水平。在30-shot 中，能達(dá)到32.9%。

表3 COCO2014測(cè)試集上的AP 和mAPTable 3 AP and mAP on COCO2014 test suite %

2.5 混合實(shí)驗(yàn)

最后，進(jìn)行COCO 到VOC 的跨數(shù)據(jù)集驗(yàn)證。使用COCO 中與VOC 不相交的60 個(gè)類別作為源域數(shù)據(jù)訓(xùn)練，在VOC07 測(cè)試集上進(jìn)行測(cè)試。本文實(shí)驗(yàn)的訓(xùn)練參數(shù)設(shè)置與之前的相同，在評(píng)估實(shí)驗(yàn)中設(shè)置了每個(gè)類包含10 個(gè)實(shí)例，即=10。結(jié)果繪制在圖7中。如圖7 所示，在=10 時(shí)本文模型比Meta R-CNN 平均精度高7.36 個(gè)百分點(diǎn)，證明所提方法確實(shí)可以提高小樣本的檢測(cè)精度。

圖7 混合平均精度對(duì)比Fig. 7 Comparison of mixed average accuracy

2.6 消融實(shí)驗(yàn)

針對(duì)VOC07 數(shù)據(jù)集，分析了各個(gè)組件對(duì)模型性能的貢獻(xiàn)，并分析了這些組件產(chǎn)生效果的具體原因。在本節(jié)中，通過逐步應(yīng)用這些模塊來分析提出方法中每個(gè)模塊的效果。在VOC07 split 1數(shù)據(jù)集上評(píng)估各個(gè)模塊的貢獻(xiàn)，并在表4中記錄。

表4 不同模塊在VOC07測(cè)試集上的low-shot檢測(cè)mAPTable 4 Low-shot detection mAP of different modules on VOC07 test suite %

從表4 中可以看出，特征尺度增強(qiáng)模塊（FSE）使網(wǎng)絡(luò)能夠聚焦于特定尺度的物體，而不是廣闊的背景，有效提高了檢測(cè)性能。特征尺度選擇模塊（FSS）可以將那些合適的特征從深層傳遞到淺層用以幫助檢測(cè)。多元特征融合模塊的加入對(duì)檢測(cè)性能影響較大，最大池化和平均池化的特征來挖掘特征相關(guān)性，同時(shí)保留特征細(xì)節(jié)和紋理以增強(qiáng)顯著特征，可以在視覺信息缺乏的情況下盡可能多地保留住重要特征。隨著可學(xué)習(xí)信息數(shù)量的增加（增大），簡(jiǎn)單的網(wǎng)絡(luò)構(gòu)造模塊不足以對(duì)每個(gè)樣本進(jìn)行深度挖掘和特征引導(dǎo)，因此獲得的性能增益不高。特征減法濾除一些特征中的雜波，增加新類參數(shù)的敏感性，對(duì)性能有較小的提升。正交映射損失減輕了類間和類內(nèi)特征的混淆，對(duì)性能有較好的增益，特別是當(dāng)增大，信息混淆的減少幫助會(huì)更大。圖8 對(duì)比了部分圖片的測(cè)試結(jié)果。

圖8 部分測(cè)試結(jié)果對(duì)比Fig. 8 Comparison of partial test results

2.7 參數(shù)分析

在實(shí)驗(yàn)中具體評(píng)估了正交損失對(duì)模型性能影響。從表4中第6、7行可知，在使用正交損失后對(duì)應(yīng)={1,2,3,5,10} 的模型性能分別提升了1.4 個(gè)百分點(diǎn)、3.5 個(gè)百分點(diǎn)、3.8 個(gè)百分點(diǎn)、3.3 個(gè)百分點(diǎn)、6.5 個(gè)百分點(diǎn)。多元特征融合在整體性能提升中發(fā)揮了很大的作用，但是隨著標(biāo)簽樣本的增加（的增大），特征相關(guān)性構(gòu)建模塊帶來的性能增益降低。主要因?yàn)樘卣鞯念愰g和類內(nèi)混淆導(dǎo)致了標(biāo)簽樣本增加而性能增益并不明顯，這也是一個(gè)固有的問題，而該損失函數(shù)可以緩解這種情況。此外，針對(duì)正交損失中使用的兩個(gè)超參數(shù)進(jìn)行了參數(shù)分析，具體將分別取0.1、0.5、0.9，分別取0.1、0.4、0.9、1.8，組成參數(shù)組=(,)，在VOC split 1上的分析結(jié)果如圖9 所示。可以看出當(dāng)=(0.5,0.9)時(shí)mAP最大。

圖9 正交損失不同參數(shù)的mAP對(duì)比圖Fig. 9 mAP of different parameters of orthogonal loss

3 結(jié)束語(yǔ)

為進(jìn)一步提高小樣本的檢測(cè)效果，提出了一種多尺度選擇金字塔網(wǎng)絡(luò)的小樣本目標(biāo)檢測(cè)方法。跟以往通過簡(jiǎn)單的特征提取從幾個(gè)樣本中學(xué)習(xí)特征的方法不同，在特征提取的過程中，使用尺度選擇金字塔網(wǎng)絡(luò)對(duì)特征進(jìn)行有效篩選，其次采用最大最小池化分別進(jìn)行特征處理，再對(duì)特征進(jìn)行融合，最大限度地保留小樣本信息。另外，考慮無效特征和參數(shù)敏感性對(duì)檢測(cè)效果的影響，采用特征減法，使用Sigmoid函數(shù)作為濾波器的融合方法。除此之外，結(jié)合了正交損失對(duì)特征進(jìn)一步約束避免分類器產(chǎn)生混淆，提高新類的檢測(cè)性能。在實(shí)驗(yàn)中，通過對(duì)兩個(gè)基準(zhǔn)數(shù)據(jù)集的綜合評(píng)估，所提出的方法與基準(zhǔn)方法相比有更好的性能。經(jīng)過消融實(shí)驗(yàn)，可以發(fā)現(xiàn)多元特征融合在少量標(biāo)注信息時(shí)對(duì)檢測(cè)性能提升最大。樣本數(shù)增多，基準(zhǔn)方法穩(wěn)定在一個(gè)較低的水平，特征減法和正交損失的加入，新類的檢測(cè)性能提升明顯。