面向深度學(xué)習(xí)目標(biāo)檢測(cè)模型訓(xùn)練不平衡研究

賀宇哲，何 寧，張 人，梁煜博，劉曉曉

1.北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室，北京 100101

2.北京聯(lián)合大學(xué) 智慧城市學(xué)院，北京 100101

本文針對(duì)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型在訓(xùn)練過(guò)程中存在的不平衡問(wèn)題進(jìn)行了研究。目標(biāo)檢測(cè)作為人工智能領(lǐng)域的一個(gè)重要分支，廣泛應(yīng)用于機(jī)器人導(dǎo)航、智能視頻監(jiān)控、工業(yè)檢測(cè)等領(lǐng)域[1]。隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，目標(biāo)檢測(cè)模型層出不窮，如YOLO[2]、Faster R-CNN[3]、Mask R-CNN[4]等。雖然它們的模型架構(gòu)各不相同，但訓(xùn)練基本遵從區(qū)域采樣、提取特征、根據(jù)目標(biāo)函數(shù)進(jìn)行分類和回歸的過(guò)程。但在此訓(xùn)練過(guò)程中存在不平衡問(wèn)題導(dǎo)致模型不能達(dá)到最佳效果[5]。這種不平衡問(wèn)題其中包括兩個(gè)方面：特征圖層次的不平衡和目標(biāo)函數(shù)層次的不平衡，而引起這兩方面不平衡的原因分別是提取的特征沒有被充分利用；目標(biāo)函數(shù)并不是最佳。

特征圖層次的不平衡：在網(wǎng)絡(luò)中，high-level特征中語(yǔ)義信息比較豐富，但是目標(biāo)位置比較粗略，而lowlevel特征中語(yǔ)義信息比較少，但是目標(biāo)位置準(zhǔn)確。Lin等人[6]提出Feature Pyramid networks利用同一張圖片相鄰層級(jí)之間的特征進(jìn)行融合，得到的feature maps供給下個(gè)階段進(jìn)行預(yù)測(cè)以得到更好的結(jié)果，但是只限于相鄰層級(jí)。Pang等人[7]提出Balanced Feature Pyramid在Feature Pyramid networks進(jìn)行了改進(jìn)，以實(shí)現(xiàn)對(duì)于不相鄰層級(jí)的特征也能進(jìn)行關(guān)聯(lián)，達(dá)到對(duì)特征的充分利用。

目標(biāo)函數(shù)層次的不平衡：檢測(cè)器需要執(zhí)行分類和回歸兩個(gè)任務(wù)，因此，在目標(biāo)函數(shù)中也包括了這兩項(xiàng)。如果它們沒有有效地進(jìn)行平衡，或者其中一個(gè)出現(xiàn)偏差，則會(huì)導(dǎo)致整個(gè)檢測(cè)性能的降低[8]。因此，要重新對(duì)分類和回歸這兩項(xiàng)進(jìn)行平衡，以實(shí)現(xiàn)目標(biāo)函數(shù)的最佳收斂。

為了有效地改進(jìn)如上所述模型訓(xùn)練中的不平衡問(wèn)題，利用Pang等人[7]提出Libra R-CNN的Balanced Feature Pyramid改進(jìn)FPN以得到更好的特征圖，用來(lái)解決特征圖層次的不平衡。利用Balanced L1Loss[7]作為回歸損失，有效調(diào)節(jié)目標(biāo)函數(shù)層次的不平衡。為了解決Faster R-CNN在訓(xùn)練過(guò)程中存在的不平衡問(wèn)題，本文將上述兩個(gè)模塊加入基于FPN的Faster R-CNN模型中，達(dá)到AP是38.5%的結(jié)果，并進(jìn)行了消融實(shí)驗(yàn)，同時(shí)對(duì)各模塊逐一進(jìn)行驗(yàn)證。

1 相關(guān)工作

1.1 Faster R-CNN模型

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法根據(jù)模型訓(xùn)練方式可分為兩種類型：One stage目標(biāo)檢測(cè)算法和Two stage目標(biāo)檢測(cè)算法。Two stage首次由Girshick等人[9]所提出的R-CNN引入，之后He等人[10]在R-CNN的基礎(chǔ)上提出SSP-NET。由于R-CNN在候選區(qū)域上進(jìn)行特征提取時(shí)存在大量重復(fù)性計(jì)算，為了解決這個(gè)問(wèn)題，Girshick等人[11]提出了Fast R-CNN。SSP-NET和Fast R-CNN都需要單獨(dú)生成候選區(qū)域，該步驟的計(jì)算量非常大，并且難以用GPU進(jìn)行加速。針對(duì)這個(gè)問(wèn)題，2015年，Ren等人[3]在Fast R-CNN的基礎(chǔ)上提出了Faster R-CNN。之后在Faster R-CNN加入了FPN[6]，使得相鄰層級(jí)之間的特征進(jìn)行融合。

Faster R-CNN分為四個(gè)部分：首先通過(guò)CNN[12]提取原始圖片的feature maps，供之后的RPN和全連接層使用。其次，RPN網(wǎng)絡(luò)通過(guò)softmax判斷錨點(diǎn)屬于物體還是背景，再通過(guò)bounding box regression重新調(diào)整錨點(diǎn)以獲得更加準(zhǔn)確的proposals。再次，Roi Pooling通過(guò)前面提供的feature maps和proposals，提取proposal feature maps，輸入全連接層。最后，利用proposal feature maps判定所屬類別，并再次通過(guò)bounding box regression獲得最終的檢測(cè)框位置。

相比于Fast R-CNN，F(xiàn)aster R-CNN的所有任務(wù)都統(tǒng)一在單一的深度學(xué)習(xí)框架之下，計(jì)算速度大幅度提升。

1.2 訓(xùn)練不平衡問(wèn)題的解決方法

解決目標(biāo)檢測(cè)訓(xùn)練過(guò)程中的不平衡問(wèn)題對(duì)于實(shí)現(xiàn)最佳訓(xùn)練并充分利用模型架構(gòu)的潛力至關(guān)重要[7]。對(duì)于特征圖層次的不平衡問(wèn)題，F(xiàn)PN通過(guò)提出橫向連接的理念，與相鄰層級(jí)的特征圖進(jìn)行融合，從而可以豐富low-level的語(yǔ)義信息。之后，Liu等人[13]在FPN的基礎(chǔ)上提出了PANet，通過(guò)自下而上的方式，從而實(shí)現(xiàn)highlevel中能夠擁有更加豐富的low-level語(yǔ)義信息。Kong等人[14]提出了一種基于SSD的新型高效金字塔，在當(dāng)前的主流特征金字塔方法上將特征金字塔轉(zhuǎn)為特征的重組合，通過(guò)高度非線性結(jié)構(gòu)使high-level和low-level特征進(jìn)行融合。Pang等人[7]提出Libra R-CNN的Balanced Feature Pyramid與上述方法觀念均不相同，而是利用集成的平衡語(yǔ)義特征來(lái)增強(qiáng)原始特征。通過(guò)這種方式，金字塔中的每個(gè)層級(jí)都可以獲得來(lái)自不同層級(jí)的等量語(yǔ)義信息，以此來(lái)平衡信息使特征更具區(qū)分性。

對(duì)于目標(biāo)函數(shù)層次的不平衡問(wèn)題，Kendall等人[15]已經(jīng)證明，在基于多任務(wù)學(xué)習(xí)模型中，各個(gè)任務(wù)的相對(duì)權(quán)重，對(duì)模型的性能產(chǎn)生很大影響。以前的大部分方法注重的是如何提高模型的目標(biāo)識(shí)別能力。而Libra RCNN提出的Balanced L1Loss[7]通過(guò)對(duì)各個(gè)任務(wù)進(jìn)行平衡實(shí)現(xiàn)更好的結(jié)果。

2 本文方法

由于Faster R-CNN模型在訓(xùn)練過(guò)程中會(huì)存在明顯的不平衡問(wèn)題，導(dǎo)致目標(biāo)檢測(cè)器無(wú)法被充分利用。本文主要解決模型在訓(xùn)練過(guò)程中的特征圖層次不平衡和目標(biāo)函數(shù)層次不平衡。通過(guò)Balanced Feature Pyramid進(jìn)行特征的融合和增強(qiáng)解決特征圖層次的不平衡，再通過(guò)Balanced L1Loss平衡各任務(wù)的損失解決目標(biāo)函數(shù)層次的不平衡。Faster R-CNN[3]在目標(biāo)檢測(cè)任務(wù)時(shí)被廣泛應(yīng)用，并達(dá)到了非常好的性能。因此，本文選用Faster R-CNN作為基礎(chǔ)檢測(cè)網(wǎng)絡(luò)。ResNet網(wǎng)絡(luò)通過(guò)殘差塊解決網(wǎng)絡(luò)退化和梯度爆炸問(wèn)題，如圖1所示，首先選用ResNet50作為模型的backbone用來(lái)提取圖片的feature maps，其中ResNet50結(jié)構(gòu)如表1所示。

表1 ResNet50網(wǎng)絡(luò)結(jié)構(gòu)Table 1 ResNet50 network structure

首先通過(guò)7×7步長(zhǎng)為2的卷積和3×3步長(zhǎng)為2的最大池化，這一步極大減小了存儲(chǔ)所需大小。之后經(jīng)過(guò)個(gè)數(shù)分別為3、4、6、3的殘差塊堆疊，其中1×1卷積對(duì)通道數(shù)進(jìn)行降維和復(fù)原，有效降低運(yùn)算復(fù)雜度。得到通道數(shù)分別為256、512、1 024、2 048，之后接到FPN[6]生成多維度特征表達(dá)，輸出特征層數(shù)為5，通道數(shù)為256，但其只在相鄰層級(jí)上進(jìn)行特征融合，所以在FPN后接入Balanced Feature Pyramid，如圖1（a）所示，通過(guò)集成平衡語(yǔ)義使金字塔各層級(jí)都可以獲得來(lái)自不同層級(jí)的等量語(yǔ)義信息，從而解決特征圖層次的不平衡問(wèn)題。接著進(jìn)入RPN網(wǎng)絡(luò)通過(guò)3×3的滑框在特征圖上滑動(dòng)生成由面積128×128、256×256、512×512和長(zhǎng)寬比為2∶1、1∶1、1∶2組合成的9個(gè)錨框，在5個(gè)特征層上的步長(zhǎng)分別為4、8、16、32、64。再通過(guò)兩個(gè)全連接層后利用softmax判斷錨點(diǎn)屬于物體還是背景后，利用bounding box regression重新調(diào)整錨點(diǎn)以獲得更加準(zhǔn)確的proposals。然后進(jìn)行RoIAlign，輸出尺寸為7，通道數(shù)為256；最后進(jìn)入Box Head進(jìn)行分類和邊界框回歸，全連接層數(shù)為2，輸出結(jié)果為1×1×1 024；通過(guò)softmax計(jì)算分類損失，分類器類別數(shù)量設(shè)置為81，對(duì)應(yīng)COCO數(shù)據(jù)集的80個(gè)類別和背景；將Faster R-CNN中的SmoothL1Loss替換為BalancedL1Loss用來(lái)進(jìn)行回歸損失，如圖1（b）所示，通過(guò)對(duì)分類和回歸任務(wù)的損失進(jìn)行平衡，解決目標(biāo)函數(shù)層次的不平衡問(wèn)題。

圖1 整體結(jié)構(gòu)圖Fig.1 Overall structure diagram

2.1 Balanced Feature Pyramid

由于特征圖層級(jí)的不平衡表現(xiàn)在高低層級(jí)特征的利用上，為了能夠利用不同分辨率的特征，如圖2所示，將其分為了四步：尺度變換、集成、改進(jìn)、增強(qiáng)。使用此方法，可以同時(shí)融合從low-level到high-level的特征。

圖2 Balanced Feature Pyramid結(jié)構(gòu)圖Fig.2 Balanced Feature Pyramid structure diagram

2.1.1 尺度變換、集成、增強(qiáng)

分辨率級(jí)別為l的特征表示為Cl，L表示特征層級(jí)數(shù)量，涉及的最低和最高分辨率層級(jí)的索引分別表示為lmin和lmax。為了集成多層級(jí)特征并同時(shí)保留其語(yǔ)義信息，如圖2所示，特征金字塔特征用{C2,C3,C4,C5}表示，它們的分辨率依次減小，而這些特征中的表達(dá)存在差異，利用圖2的結(jié)構(gòu)將這些特征進(jìn)行整合，從而起到豐富與平衡特征的目的。首先進(jìn)行尺度變換，將多級(jí)特征{C2,C3,C4,C5}調(diào)整為中間大小，即與C4相同，那么對(duì)其他的層進(jìn)行插值與最大值池化歸一化到C4對(duì)應(yīng)的尺寸，為集成做準(zhǔn)備。再用公式（1）做相加取平均操作獲得語(yǔ)義信息進(jìn)行集成：

集成后得到特征擁有來(lái)自{C2,C3,C4,C5}等量的語(yǔ)義信息。最后將集成后的特征進(jìn)行尺度變換，得到{P2,P3,P4,P5}實(shí)現(xiàn)對(duì)原始特征{C2,C3,C4,C5}進(jìn)行增強(qiáng)。這樣，每個(gè)級(jí)別分辨率都能獲得來(lái)自不同分辨率等量的語(yǔ)義信息，并且在整個(gè)過(guò)程中沒有任何參數(shù)的引入。

2.1.2 卷積局部性改進(jìn)

由于卷積具有局部性，集成后的特征并不是最佳。為了使集成的特征更加具有區(qū)分性，采用non-local模塊[16]的方式對(duì)其進(jìn)行改進(jìn)，如圖2所示。在此使用了其中的embedded Gaussian non-local attention來(lái)改善集成后的特征，non-local方法如公式（2）所示：

x表示輸入信號(hào)，y表示輸出信號(hào)，通過(guò)f(xi,xj)表示位置i和所有與之可能關(guān)聯(lián)的位置j的關(guān)系，f值與位置j對(duì)位置i的影響成正比，如公式（3）：

圖3 嵌入式高斯非局部塊Fig.3 Embedded Gaussian non-local block

輸入信號(hào)x通過(guò)三個(gè)1×1卷積將通道數(shù)減半來(lái)降低計(jì)算量分別得到θ(xi)、φ(xj)、g(xj)，將維度進(jìn)行轉(zhuǎn)換以便相乘操作。相乘得到θ(xi)Tφ(xj)進(jìn)行softmax后與g(xj)相乘得到y(tǒng)i，再將維度轉(zhuǎn)換為H×W×C/2。為了與xi進(jìn)行相加，通過(guò)1×1卷積使yi和xi通道數(shù)保持一致，相加后得到公式（5），其中Wz為可學(xué)習(xí)權(quán)重矩陣。

通過(guò)這種殘差結(jié)構(gòu)可以克服普通卷積的局限性，使所有產(chǎn)生位置關(guān)聯(lián)的特征點(diǎn)都能被利用，將此方法作用于集成的特征圖，改進(jìn)后的特征更加具有區(qū)分性，如圖4所示。

圖4 改進(jìn)前后特征圖對(duì)比Fig.4 Comparison of feature maps before and after improvement

2.2 Balanced L1 Loss

在檢測(cè)網(wǎng)絡(luò)中網(wǎng)絡(luò)的損失由兩個(gè)部分組成：分類損失、邊界框損失，它們通過(guò)參數(shù)λ進(jìn)行調(diào)整，一般來(lái)講分類的損失是大于邊界的損失的。為了平衡，比較直觀的方法就是調(diào)整λ的值，但是這會(huì)使模型對(duì)于異常值變得更為敏感，導(dǎo)致不平衡問(wèn)題的發(fā)生。所以，本文將損失大于等于1的定義為outliers，其將會(huì)產(chǎn)生較大的梯度值，會(huì)對(duì)訓(xùn)練過(guò)程造成不平衡，而損失小于1的定義為inliers，其梯度值相對(duì)貢獻(xiàn)較小。平衡后的L1損失記為L(zhǎng)b。

BalancedL1Loss通過(guò)對(duì)SmoothL1Loss基礎(chǔ)上設(shè)置轉(zhuǎn)折點(diǎn)( )loss=1.0區(qū)分inliers和outliers。并將outliers的最大梯度值設(shè)定上限，將inliers的梯度線變得平滑，這樣可以控制outliers的梯度不會(huì)太大，同時(shí)促進(jìn)inliers梯度的增長(zhǎng)，從而來(lái)平衡所涉及的樣本，對(duì)不同任務(wù)的損失進(jìn)行了平衡，達(dá)到對(duì)模型更好的訓(xùn)練。BalancedL1Loss改進(jìn)的邊界損失Lloc如公式（6）：

其中，x、y、w、h分別表示錨點(diǎn)i預(yù)測(cè)的Bounding Box的橫坐標(biāo)、縱坐標(biāo)、寬和高；表示屬于類別u的錨點(diǎn)i預(yù)測(cè)Bounding Box參數(shù)化坐標(biāo)；vi表示錨點(diǎn)i的Ground Truth參數(shù)化坐標(biāo)。梯度計(jì)算遵循公式（7）：

基于以上公式，改進(jìn)的梯度公式如公式（8）：

這樣，一個(gè)很小的α因子即可增加inliers的梯度值，并且對(duì)outliers的梯度值沒有影響。γ控制總體的提升倍數(shù)，以調(diào)整回歸誤差的上限，這可以幫助目標(biāo)函數(shù)更好地平衡所涉及的任務(wù)。通過(guò)這種方式，達(dá)到更好的平衡訓(xùn)練。α=0.5，λ=1.5作為BalancedL1Loss梯度曲線的參數(shù)設(shè)定，α控制inliers梯度增長(zhǎng)，γ控制outliers梯度上限，梯度圖像如圖5所示，與SmoothL1Loss相比，inliers的梯度有明顯提升。

圖5 Balanced L1 Loss和Smooth L1 Loss梯度曲線Fig.5 Balanced L1 Loss and Smooth L1 Loss gradient curves

根據(jù)公式（8），可以反求出BalancedL1Loss如公式（9）：

Lb(x)由公式（8）對(duì)x求積分得到。通過(guò)b來(lái)控制Lb在x=1時(shí)具有相同值使分段函數(shù)連續(xù)。其中常數(shù)C由公式（9）在x=1處連續(xù)可知C=γ÷b-α，Lb()x通過(guò)設(shè)置拐點(diǎn)區(qū)分inliers和outliers，并且有效促進(jìn)inliers部分重要梯度的增長(zhǎng)，并控制outliers梯度上限，使訓(xùn)練中的分類和回歸任務(wù)更均衡。由公式（8）函數(shù)在x=1處連續(xù)可知參數(shù)γ、α和b的關(guān)系滿足公式（10）：

本文實(shí)驗(yàn)參數(shù)設(shè)置為α=0.5和γ=1.5。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)統(tǒng)一在MS COCO數(shù)據(jù)集[17]上進(jìn)行驗(yàn)證。其中包括用于訓(xùn)練的11.5萬(wàn)張圖像（train-2017）和用于驗(yàn)證的5 000張圖像（val-2017）。MSCOCO數(shù)據(jù)集是一個(gè)大型的、豐富的目標(biāo)檢測(cè)，分割和字幕數(shù)據(jù)集。圖像包括91類目標(biāo)，328 000影像和2 500 000個(gè)label，是目前為止有語(yǔ)義分割的最大數(shù)據(jù)集，提供的類別有80類，有超過(guò)33萬(wàn)張圖片，其中20萬(wàn)張有標(biāo)注，整個(gè)數(shù)據(jù)集中個(gè)體的數(shù)目超過(guò)150萬(wàn)個(gè)。在train-2017上對(duì)模型進(jìn)行訓(xùn)練，并且在val-2017上測(cè)試最終結(jié)果。

3.2 評(píng)估標(biāo)準(zhǔn)

評(píng)估標(biāo)準(zhǔn)采用MSCOCO的AP值作為指標(biāo)，默認(rèn)為各個(gè)類別的平均精度值（mAP），包括AP（平均精度）、AP50（IOU閾值為50%的精度）、AP75（IOU閾值為75%的精度）、APS（小目標(biāo)的精度）、APM（中等目標(biāo)的精度）、APL（大目標(biāo)的精度）。評(píng)估指標(biāo)AP的計(jì)算方式如公式（11）～（13）所示。其中Precision=在一張圖片上類別C識(shí)別正確的個(gè)數(shù)/一張圖片上類別C的總個(gè)數(shù)。

AP=每張圖片上的Precision求和/含有類別C的圖片數(shù)目。

mAP=上一步計(jì)算的所有類別的AP和/總類別數(shù)目。相當(dāng)于所有類別AP的平均值。

AP50只計(jì)算IOU大于0.5的部分，AP75計(jì)算IOU大于0.75的部分，APS計(jì)算像素小于32×32的目標(biāo)，APM計(jì)算像素在32×32到96×96之間的目標(biāo)，APL計(jì)算像素大于96×96的目標(biāo)。其中IOU表示預(yù)測(cè)的BBox與GroundTruth的交并比，如公式（14）所示：

3.3 訓(xùn)練

實(shí)驗(yàn)基于PyTorch[18]、CUDA 10.1和mmdetection2.0目標(biāo)檢測(cè)庫(kù)下進(jìn)行，以基于ResNet-50-FPN[19]的Faster R-CNN[3]為baseline，在單個(gè)NVIDIA RTX2070S（一次處理2張圖片）上進(jìn)行12個(gè)epochs的訓(xùn)練，使用SGD隨機(jī)梯度下降法進(jìn)行模型訓(xùn)練，起初learning rate設(shè)為0.002 5，并在第8和第11個(gè)epochs后將其降低十分之一，動(dòng)量因子為0.9，權(quán)重衰減因子為0.000 1，防止模型過(guò)擬合。輸入圖片尺寸最大邊為1 333，最小邊為800，選擇ResNet 50作為預(yù)訓(xùn)練權(quán)重。

3.4 實(shí)驗(yàn)結(jié)果

將模型與表1中的其他目標(biāo)檢測(cè)模型在MSCOCO數(shù)據(jù)集的val-2017下5 000張圖片測(cè)試的結(jié)果進(jìn)行比較。實(shí)驗(yàn)表明，在相同條件下，本文模型在基于ResNet-50-FPN下AP達(dá)到38.5%，比Faster R-CNN結(jié)果提高1.1個(gè)百分點(diǎn)，比單階段的RetinaNet提高2.0個(gè)百分點(diǎn)，比Mask R-CNN提高0.3個(gè)百分點(diǎn)，如表2所示。在對(duì)Faster R-CNN進(jìn)行特征層次和目標(biāo)函數(shù)層次平衡后可以看到結(jié)果有明顯提升，說(shuō)明模型在訓(xùn)練過(guò)程中存在提取特征未能充分被利用，分類和回歸任務(wù)之間存在不平衡的問(wèn)題導(dǎo)致?lián)p失函數(shù)無(wú)法最佳收斂，影響模型達(dá)到更好效果，導(dǎo)致最終結(jié)果的降低。將模型的檢測(cè)結(jié)果圖像與Faster R-CNN進(jìn)行對(duì)比，本文模型能夠達(dá)到更為精準(zhǔn)的檢測(cè)效果，如圖6所示。

圖6 檢測(cè)效果對(duì)比圖Fig.6 Comparison chart of detection effect

表2 各模型在COCO val-2017上的結(jié)果Table 2 Results of each model on COCO val-2017

模型的收斂曲線如圖7所示，黃色曲線表示回歸損失，藍(lán)色曲線表示分類損失。在訓(xùn)練過(guò)程中，損失值都在緩慢下降，并且非常平滑。在經(jīng)過(guò)12個(gè)epochs的訓(xùn)練后最終達(dá)收斂，收斂的分類損失和回歸損失值在0.2附近。

圖7 本文模型的收斂曲線Fig.7 Convergence curve of the model in this paper

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證Balanced Feature Pyramid和BalancedL1Loss的提升效果，做了以下消融實(shí)驗(yàn)。

（1）Balanced Feature Pyramid

為了驗(yàn)證Balanced Feature Pyramid的提升效果，將該方法單獨(dú)加入基于ResNet-50-FPN的Faster R-CNN中，并且與同樣使用特征金字塔作為基礎(chǔ)來(lái)解決特征圖層次不平衡的PAFPN進(jìn)行對(duì)比，如表3所示。在相同的條件下，加入Balanced Feature Pyramid后AP可在MSCOCO數(shù)據(jù)集上達(dá)到38.4%，比baseline高了1.0個(gè)百分點(diǎn)，比PAFPN高了0.9個(gè)百分點(diǎn)。這說(shuō)明BFP（balanced feature pyramid）利用集成的平衡語(yǔ)義特征來(lái)增強(qiáng)原始特征的方式可以獲得更好的feature maps，達(dá)到更高的訓(xùn)練結(jié)果。

表3 Balanced Feature Pyramid在COCO val-2017上的消融研究Table 3 Ablation study of Balanced Feature Pyramid on COCO val-2017 %

（2）BalancedL1Loss

為了驗(yàn)證BalancedL1Loss的提升效果，將該方法單獨(dú)加入了基于ResNet-50-FPN的Faster R-CNN中，并且與baseline的SmoothL1[11]函數(shù)和解決回歸損失的基于IOU的損失函數(shù)進(jìn)行對(duì)比，如表4所示。

表4 Balanced L1 Loss在COCO val-2017上的消融研究Table 4 Ablation study of Balanced L1 Loss onCOCO val-2017%

在相同的條件下，加入BalancedL1Loss后AP可在MSCOCO數(shù)據(jù)集上達(dá)到37.8%，比baseline高出0.4個(gè)百分點(diǎn)。與基于IOU的損失函數(shù)解決目標(biāo)函數(shù)不平衡的方法不同，BalancedL1Loss通過(guò)對(duì)不同任務(wù)的損失進(jìn)行平衡，如圖8所示，黃色為回歸損失，藍(lán)色為分類損失，通過(guò)將分類與回歸的任務(wù)損失平衡以達(dá)到更好的訓(xùn)練效果。

圖8 平衡前后損失圖像對(duì)比Fig.8 Loss image comparison before and after balance

4 結(jié)束語(yǔ)

本文針對(duì)模型在訓(xùn)練中存在的特征圖層次和目標(biāo)函數(shù)層次的不平衡問(wèn)題，導(dǎo)致無(wú)法充分發(fā)揮目標(biāo)檢測(cè)器的潛力，提出將Balanced Feature Pyramid模塊接入FPN，同時(shí)將SmoothL1Loss替換為BalancedL1Loss，對(duì)Faster R-CNN目標(biāo)檢測(cè)框架進(jìn)行了在特征圖層次和目標(biāo)函數(shù)層次的平衡，并且在MSCOCO上驗(yàn)證了本文的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果較Faster R-CNN有提升。