目標(biāo)檢測(cè)難點(diǎn)問題最新研究進(jìn)展綜述

羅會(huì)蘭，彭 珊，陳鴻坤

江西理工大學(xué) 信息工程學(xué)院，江西 贛州341000

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺的基礎(chǔ)任務(wù)之一，需要對(duì)物體進(jìn)行分類，并預(yù)測(cè)其所在位置。目標(biāo)檢測(cè)廣泛應(yīng)用于人臉檢測(cè)、航空?qǐng)D像檢測(cè)、視頻監(jiān)控及自動(dòng)駕駛等領(lǐng)域。隨著深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)[1]領(lǐng)域的應(yīng)用，當(dāng)前目標(biāo)檢測(cè)算法相較于傳統(tǒng)方法已經(jīng)取得了相當(dāng)不錯(cuò)的效果，但是在一些特殊的檢測(cè)問題上，其檢測(cè)精度仍然不能滿足應(yīng)用需求，目標(biāo)檢測(cè)研究仍然存在大量的挑戰(zhàn)和難題[2-6]。

傳統(tǒng)的目標(biāo)檢測(cè)算法[7-8]主要有三個(gè)步驟：滑動(dòng)窗口遍歷整個(gè)圖像產(chǎn)生候選框，提取候選框特征，使用支持向量機(jī)（Support Vector Machine，SVM[9]）等分類器對(duì)候選框進(jìn)行分類。傳統(tǒng)方法存在時(shí)間復(fù)雜度高、冗余大和魯棒性差等問題。隨著卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用，這些問題逐漸得到了解決。近年來，目標(biāo)檢測(cè)算法主要分為兩大類：基于邊框回歸的一階段網(wǎng)絡(luò)和基于候選區(qū)域的兩階段網(wǎng)絡(luò)。一階段網(wǎng)絡(luò)在產(chǎn)生候選框的同時(shí)進(jìn)行分類和回歸，如YOLO[10]系列和SSD[11]系列網(wǎng)絡(luò)。而兩階段網(wǎng)絡(luò)首先產(chǎn)生區(qū)域候選框，然后提取每個(gè)候選框的特征，產(chǎn)生最終的位置框并預(yù)測(cè)其類別，代表性網(wǎng)絡(luò)有RCNN[12]、Fast R-CNN[13]和Faster R-CNN[14]。

在目標(biāo)檢測(cè)研究的綜述[15]方面，Chahal等人[16]主要探討了一階段和兩階段各種檢測(cè)算法、質(zhì)量指標(biāo)、速度/精度權(quán)衡和訓(xùn)練方法。Wu等人[17]系統(tǒng)地分析了現(xiàn)有的對(duì)象檢測(cè)框架，對(duì)檢測(cè)組件、學(xué)習(xí)策略以及應(yīng)用部分進(jìn)行論述，詳細(xì)討論了檢測(cè)器架構(gòu)、特征學(xué)習(xí)、候選框生成、采樣策略等影響檢測(cè)性能的因素。Zou等人[18]對(duì)目標(biāo)檢測(cè)的整個(gè)發(fā)展進(jìn)程做了全面的闡述，對(duì)經(jīng)典檢測(cè)器、檢測(cè)數(shù)據(jù)集、度量方法、檢測(cè)系統(tǒng)的基本組件、加速技術(shù)以及最新的檢測(cè)方法進(jìn)行了論述。與上述文獻(xiàn)綜述不同的是，本文從當(dāng)前目標(biāo)檢測(cè)問題的難點(diǎn)出發(fā)，從四個(gè)方面對(duì)最近的研究展開論述，綜述了在解決目標(biāo)尺度變化大、實(shí)時(shí)檢測(cè)問題、少樣本或零樣本弱監(jiān)督檢測(cè)問題和訓(xùn)練樣本不均衡問題上取得的最新進(jìn)展。本文旨在對(duì)最近幾年涌現(xiàn)的目標(biāo)檢測(cè)新方法和新技術(shù)進(jìn)行綜述，從而幫助讀者掌握目標(biāo)檢測(cè)研究的最新趨勢(shì)。

1 目標(biāo)檢測(cè)難點(diǎn)問題的最新研究進(jìn)展

近年來，許多的研究者在目標(biāo)檢測(cè)算法的三大主流模型：R-CNN系列、YOLO系列和SSD系列的基礎(chǔ)上，針對(duì)目標(biāo)檢測(cè)研究的各類難題進(jìn)行了大量研究。本章在以下四個(gè)方面分類綜述了近期目標(biāo)檢測(cè)算法的研究進(jìn)展：多尺度目標(biāo)檢測(cè)、實(shí)時(shí)目標(biāo)檢測(cè)、弱監(jiān)督檢測(cè)和訓(xùn)練樣本不均衡下的目標(biāo)檢測(cè)。

1.1 多尺度目標(biāo)檢測(cè)模型

真實(shí)場(chǎng)景圖像中不同物體實(shí)例之間尺度變化往往很大，其中大尺度的物體具有面積大和特征豐富的特點(diǎn)，容易被檢測(cè)，而密集目標(biāo)物體和小尺度的物體由于可用的特征少，難以被檢測(cè)。多尺度目標(biāo)檢測(cè)[19-20]方法旨在完整地將圖像中不同尺度的物體檢測(cè)出來。

為了更好地檢測(cè)多尺度目標(biāo)，2016年，SSD[11]使用VGG16[21]作為主干網(wǎng)絡(luò)，分別在6個(gè)不同尺度的特征圖上，以每一個(gè)特征點(diǎn)為中心進(jìn)行不同長寬比和大小的矩形先驗(yàn)框采樣，然后對(duì)這些先驗(yàn)框進(jìn)行回歸和分類，最后經(jīng)過非最大抑制算法去除冗余框，得到最終的預(yù)測(cè)框。SSD[11]使用卷積神經(jīng)網(wǎng)絡(luò)的尺度不同的層級(jí)特征預(yù)測(cè)不同大小的物體，來實(shí)現(xiàn)多尺度目標(biāo)檢測(cè)，獲得了不錯(cuò)的效果，在MS COCO[22]數(shù)據(jù)集上獲得了31.2%的平均精度均值（mean Average Precision，mAP）。MS COCO[22]數(shù)據(jù)集中存在50%的對(duì)象實(shí)例小于圖像區(qū)域的1%，而尺度大于圖像區(qū)域47.2%的目標(biāo)僅僅有10%。同年，MS-CNN[23]在Faster R-CNN[14]的三個(gè)不同尺度特征層上添加了分支，分別進(jìn)行區(qū)域候選框的生成及物體的分類和邊界框回歸，以實(shí)現(xiàn)檢測(cè)不同尺度物體的目的。SSD和MS-CNN都是利用多級(jí)特征圖來分別預(yù)測(cè)不同大小的物體，缺乏對(duì)不同特征層信息的融合，同時(shí)也沒有利用低層卷積特征，對(duì)小目標(biāo)的檢測(cè)效果較差。2017年，Lin等人[24]提出了特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN），如圖1所示，這種自頂而下和橫向連接的方式將低分辨率但語義強(qiáng)的高層特征與高分辨率語義弱的低層特征融合在一起，改進(jìn)了特征金字塔結(jié)構(gòu)，在MS COCO數(shù)據(jù)集上的mAP比SSD提升了近5%。

圖1 FPN中的金字塔結(jié)構(gòu)

然而，F(xiàn)PN[24]中自上而下和自下而上的密集連接方式會(huì)導(dǎo)致特征層之間存在明顯的信息分配偏差，這種預(yù)定義的信息分配方案降低了不同特征層信息選擇的靈活性。對(duì)此，Chen等人[25]于2018年提出了自適應(yīng)多尺度信息流，以VGG16[21]作為主干網(wǎng)絡(luò)，用卷積層代替全連接層并添加兩個(gè)卷積層，形成包含四個(gè)不同尺度特征層的金字塔，四個(gè)特征層的信息自適應(yīng)地分配到其他層，使得每個(gè)尺度的特征層都包含所有層的信息，之后輸入檢測(cè)子網(wǎng)進(jìn)行類別預(yù)測(cè)和邊界框回歸，檢測(cè)結(jié)果優(yōu)于許多先進(jìn)的方法，在MS COCO[22]數(shù)據(jù)集上達(dá)到了29.3%的mAP。同年，Zhou等人[26]提出了尺度轉(zhuǎn)換檢測(cè)網(wǎng)絡(luò)，主干網(wǎng)絡(luò)使用DenseNet[27]來組合不同層的特征，同時(shí)在最后一個(gè)密集塊引入由平均池化層和超分辨率層構(gòu)成的尺度轉(zhuǎn)換模塊（Scale-Transfer Module，STM），在不增加計(jì)算量和參數(shù)量的情況下，池化層獲得的大感受野特征圖用于檢測(cè)大目標(biāo)，超分辨率層獲取的特征圖用于檢測(cè)小目標(biāo)。實(shí)驗(yàn)表明，包含STM的尺度轉(zhuǎn)換網(wǎng)絡(luò)在MS COCO[22]數(shù)據(jù)集上的mAP比SSD提高了0.6%。

由于不同分辨率的特征對(duì)于目標(biāo)檢測(cè)的作用是不相等的，2019年，Tan等人[28]提出了一種簡(jiǎn)單而高效的加權(quán)雙向特征金字塔網(wǎng)絡(luò)（weighted Bi-directional Feature Pyramid Network，BiFPN），通過重復(fù)應(yīng)用自頂向下和自底向上的多尺度特征融合來學(xué)習(xí)不同分辨率特征的權(quán)重，從而進(jìn)行多尺度特征的加權(quán)融合。在相同主干網(wǎng)絡(luò)的情況下，用BiFPN代替FPN[24]使模型在MS COCO數(shù)據(jù)集上的mAP提高了4.1%。

不同于上述固定結(jié)構(gòu)的跨尺度連接模式，2019年，Ghiasi等人[29]提出了覆蓋所有可能的跨尺度連接的可擴(kuò)展搜索空間（NAS-FPN），用來生成多尺度特征金字塔表示，在MS COCO數(shù)據(jù)集上的mAP相比FPN[24]提高了3.7%。

此外，擴(kuò)張卷積也被用來解決多尺度目標(biāo)檢測(cè)問題。2019年，Li等人[30]認(rèn)為卷積的感受野對(duì)不同尺度大小物體的檢測(cè)效果有較大影響，提出了TridentNet模型，通過在每個(gè)特征層上使用不同膨脹率的擴(kuò)張卷積，構(gòu)建一個(gè)并行的多分支架構(gòu)來獲得不同的感受野，分別檢測(cè)小、中和大尺度的目標(biāo)，將其直接應(yīng)用在Faster R-CNN[14]上，在MS COCO數(shù)據(jù)集上的mAP達(dá)到了42.7%。與之類似，2020年，AC-FPN[31]使用不同擴(kuò)展率的多路徑擴(kuò)張卷積層組成語義提取模塊，從不同的感受野中捕獲豐富的上下文信息，使用密集連接融合多個(gè)感受野的信息，解決了特征圖分辨率和感受野之間的矛盾，以及多尺寸感受野之間缺乏有效交互的問題，實(shí)現(xiàn)了更好的尺度多樣性，將其嵌入到Cascade R-CNN[32]算法中，在MS COCO數(shù)據(jù)集上獲得了45%的mAP。

近兩年，部分學(xué)者考慮通過改進(jìn)特征提取網(wǎng)絡(luò)來提高多尺度目標(biāo)檢測(cè)的效果。2019年，Zhao等人[33]提出了一種新的特征提取結(jié)構(gòu)M2Det，它以VGG16[21]作為主干網(wǎng)絡(luò)提取到基礎(chǔ)特征后，分別輸入八個(gè)串聯(lián)的U型模塊TUM（Thinned U-shape Modules），獲得八組具有不同級(jí)別語義信息和空間信息融合的多尺度特征，之后在注意力模塊中對(duì)不同層級(jí)的相同尺度的特征通道重新加權(quán)拼接，將其嵌入到SSD[11]結(jié)構(gòu)中，在MS COCO數(shù)據(jù)集上的mAP達(dá)到了44.2%。同年，Liu等人[3]提出了一種通過多個(gè)并列的主干網(wǎng)絡(luò)之間的復(fù)合連接形成一個(gè)更強(qiáng)大的主干網(wǎng)絡(luò)，稱為復(fù)合主干網(wǎng)絡(luò)（Composite Backbone Network，CBNet），以逐級(jí)迭代的方式將前一個(gè)主干網(wǎng)絡(luò)輸出的高級(jí)特征作為輸入特征的一部分傳遞到后一個(gè)主干網(wǎng)絡(luò)，最后主干網(wǎng)絡(luò)的不同尺度的特征圖分別用于預(yù)測(cè)物體。CBNet較好地融合了多主干網(wǎng)絡(luò)的高層和低層特征，將其應(yīng)用于Mask R-CNN[34]和Cascade R-CNN[32]等先進(jìn)的對(duì)象檢測(cè)器，在MS COCO數(shù)據(jù)集上的mAP提高了1.5%～3.0%。2020年，Chen等人[35]提出了一種多路徑特征金字塔網(wǎng)格（Feature Pyramid Grids，F(xiàn)PG），將特征尺度空間表示為多方向跨尺度連接融合的網(wǎng)格，實(shí)現(xiàn)了空間分辨率的精細(xì)表示，從而能表達(dá)不同尺度的目標(biāo)，將其嵌入到Cascade R-CNN，在MS COCO數(shù)據(jù)集上獲得了43.8%的mAP。

表1 中比較了不同代表性多尺度檢測(cè)算法在MS COCO數(shù)據(jù)集上的平均精度均值。從表1中可以看出，以VGG16作為主干網(wǎng)絡(luò)的SSD在MS COCO數(shù)據(jù)集上的mAP僅僅為31.2%，隨后出現(xiàn)的FPN通過融合高低層特征使SSD模型的檢測(cè)精度提升了5%。近兩年，在FPN的基礎(chǔ)上，一些學(xué)者通過不同的特征層融合方式或者引入擴(kuò)張卷積來解決多尺度問題均取得很大提升，AC-FPN[31]使用不同擴(kuò)展率的多路徑擴(kuò)張卷積層在MS COCO數(shù)據(jù)集上獲得了45%的mAP，CBNet[3]融合了多主干網(wǎng)絡(luò)的高層和低層特征在MS COCO數(shù)據(jù)集上獲得了53.3%的mAP。表2中比較了不同多尺度算法的優(yōu)缺點(diǎn)及適用場(chǎng)景，從表中的結(jié)果可以看出，近幾年目標(biāo)檢測(cè)的精度在不斷提升，這是因?yàn)樗鼈兪褂昧吮磉_(dá)能力更強(qiáng)的主干網(wǎng)絡(luò)，融合了更多的特征信息，但網(wǎng)絡(luò)模型的參數(shù)量、計(jì)算量以及所需要的內(nèi)存不斷增加。未來該類型的算法應(yīng)結(jié)合輕量級(jí)的網(wǎng)絡(luò)，兼顧檢測(cè)精度和速度的同時(shí)，減少對(duì)硬件設(shè)備的需求。

表1 不同多尺度檢測(cè)算法的實(shí)驗(yàn)結(jié)果對(duì)比

表2 不同多尺度算法的優(yōu)缺點(diǎn)及適用場(chǎng)景對(duì)比

1.2 實(shí)時(shí)目標(biāo)檢測(cè)模型

在自動(dòng)駕駛汽車等工業(yè)生產(chǎn)中，對(duì)目標(biāo)檢測(cè)提出了實(shí)時(shí)要求。實(shí)時(shí)目標(biāo)檢測(cè)模型需要考慮內(nèi)存需求和計(jì)算量大小，平衡檢測(cè)性能和實(shí)時(shí)需求。相對(duì)于R-CNN[12]系列的兩階段檢測(cè)模型，YOLO[10]系列和SSD[11]系列的一階段檢測(cè)模型由于結(jié)構(gòu)簡(jiǎn)單，檢測(cè)速度更快，實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)，還有一些學(xué)者通過輕量化網(wǎng)絡(luò)模型來實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。

1.2.1 YOLO系列實(shí)時(shí)目標(biāo)檢測(cè)

2016年，Redmon等人[10]提出了具有簡(jiǎn)單網(wǎng)絡(luò)結(jié)構(gòu)的一階段檢測(cè)算法YOLO，其框架圖如圖2所示。該算法首先將圖像分成S×S個(gè)網(wǎng)格單元，每個(gè)網(wǎng)格預(yù)測(cè)出物體的邊界框及置信度分?jǐn)?shù)，之后結(jié)合類別的概率分布過濾冗余的邊界框。相比R-CNN系列二階段檢測(cè)算法，YOLO算法無需ROI warping（Region of Interest warping）前后的密集計(jì)算，使算法參數(shù)量更小，速度更快，但它的檢測(cè)精度和召回率比較低。YOLOv2[36]提出了一種比VGG16減少了80%計(jì)算成本的新主干網(wǎng)絡(luò)Darknet-19，并在每個(gè)卷積層之后添加了批量歸一化層加快收斂速度，提高了網(wǎng)絡(luò)訓(xùn)練的速度；同時(shí)引入了Anchor機(jī)制，利用K-means聚類算法在訓(xùn)練數(shù)據(jù)中確定Anchor的數(shù)量和大小，顯著提高了召回率，但其對(duì)于邊界框的定位依然不準(zhǔn)確。相比YOLO，YOLOv2以更快的速度在MS COCO[22]數(shù)據(jù)集達(dá)到了21.6%的mAP。

YOLOv3[37]提出了浮點(diǎn)運(yùn)算更少，速度更快的主干網(wǎng)絡(luò)Darknet-53，利用卷積層實(shí)現(xiàn)圖像尺度的變化，并引入殘差結(jié)構(gòu)提升檢測(cè)精度。在預(yù)測(cè)錨框時(shí)將置信度和坐標(biāo)分開預(yù)測(cè)，代替YOLOv2中直接通過網(wǎng)絡(luò)回歸預(yù)測(cè)邊界框坐標(biāo)和置信度。此外，借鑒特征金字塔（FPN[24]）的思想，在三個(gè)尺度上進(jìn)行預(yù)測(cè)，在一定程度上提高對(duì)小目標(biāo)的檢測(cè)率。相比于YOLOv2，YOLOv3以更少的參數(shù)量在MS COCO數(shù)據(jù)集上提升了11.4%的mAP。

2020年，YOLOv4[38]作為一個(gè)高效而強(qiáng)大的目標(biāo)檢測(cè)模型被提出，選用了可以更好平衡輸入網(wǎng)絡(luò)分辨率、卷積層數(shù)和參數(shù)量的CSPDarknet53[39]作為主干網(wǎng)絡(luò)，并在CSPDarknet53上添加了空間金字塔池化（Spatial Pyramid Pooling，SPP[40]）模塊，利用四個(gè)不同尺度大小的池化層對(duì)特征進(jìn)行操作，從而在不影響運(yùn)行速度的情況下顯著增加了感受野，得到更為有效的上下文特征，同時(shí)使用PANet[41]替換FPN來進(jìn)行多尺度特征融合，用張量拼接（concatenation）的方式代替了張量相加（shortcut connection），減少融合過程中圖像信息的丟失，并繼承了YOLOv3 head，通過融合三個(gè)不同尺度的特征提高檢測(cè)性能。此外，YOLOv4使用了Mosaic數(shù)據(jù)增強(qiáng)方法、自我對(duì)抗訓(xùn)練方法、跨小批量規(guī)范化方法（Cross mini-Batch Normalization，CmBN）、點(diǎn)方向的注意力模塊等改進(jìn)的調(diào)優(yōu)方法進(jìn)一步提升了檢測(cè)精度。YOLOv4兼顧了檢測(cè)的速度和精度，在MS COCO數(shù)據(jù)集上以65幀/s的速度獲得了43.5%的mAP，比YOLOv3提高了10.5%的mAP，檢測(cè)速度提升了12%。

1.2.2 輕量化網(wǎng)絡(luò)實(shí)時(shí)目標(biāo)檢測(cè)

為了實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測(cè)，大多數(shù)的研究者通過減少模型的參數(shù)量或者網(wǎng)絡(luò)整體的計(jì)算量來獲得更快的檢測(cè)速度。SqueezeNet[42]使用更小的卷積核、減少輸入通道數(shù)以及將下采樣后移等策略實(shí)現(xiàn)對(duì)模型的壓縮，顯著降低了網(wǎng)絡(luò)的參數(shù)量。2017年，Howard等人[43]使用深度可分離卷積構(gòu)建了一階段輕量級(jí)模型MobileNet，將標(biāo)準(zhǔn)卷積分解成深度卷積和逐點(diǎn)卷積，使得計(jì)算量相比標(biāo)準(zhǔn)卷積減少了8～9倍，同時(shí)引入寬度因子和分辨率因子兩個(gè)超參數(shù)使網(wǎng)絡(luò)結(jié)構(gòu)更小、速度更快。在此基礎(chǔ)上，Sandler等人[44]于2018年提出了MobileNetV2，引入了反殘差結(jié)構(gòu)和瓶頸層，嵌入到SSD網(wǎng)絡(luò)中，使用比MobileNet少20%的參數(shù)量實(shí)現(xiàn)了相同的檢測(cè)精度。MobileNetV2最后階段的計(jì)算量依然很大，Mobile-NetV3[45]對(duì)此做出了改進(jìn)，新的網(wǎng)絡(luò)設(shè)計(jì)結(jié)合自動(dòng)化搜索用更少的浮點(diǎn)運(yùn)算量實(shí)現(xiàn)了更好的檢測(cè)性能。Zhang等人[46]針對(duì)計(jì)算能力有限的移動(dòng)設(shè)備提出了ShuffleNet，使用1×1分組卷積取代普通卷積，減少了計(jì)算量和參數(shù)量，同時(shí)引入通道混合（channel shuffle）操作更好地融合了通道之間的信息。2018年，ShuffleNetV2[47]提出了4條輕量化原則，引入了通道分組channel split操作，顯著降低了計(jì)算的復(fù)雜度。

圖2 YOLO網(wǎng)絡(luò)檢測(cè)過程

2018年，PeleeNet[48]對(duì)傳統(tǒng)特征提取網(wǎng)絡(luò)進(jìn)行輕量化，采用DenseNet[27]的連接模式和一些關(guān)鍵設(shè)計(jì)原則，瓶頸層中通道的數(shù)量根據(jù)輸入形狀而變化，代替原始DenseNet中使用的4倍固定增長率；同時(shí)使用后激活（Conv-BN-Relu），方便了歸一化層與卷積層合并計(jì)算，大大加快了速度；特征提取部分也通過減少網(wǎng)絡(luò)的深度降低了部分計(jì)算成本，同時(shí)在預(yù)測(cè)類別分?jǐn)?shù)和邊界框偏移量時(shí)使用了更小的卷積核。最終PeleeNet模型大小僅僅是MobileNet的66%，獲得了比MobileNet[43]和MobileNetV2[44]更高的精度和超過1.8倍的速度。但是在預(yù)測(cè)部分，5個(gè)不同尺度的特征獨(dú)立預(yù)測(cè)，導(dǎo)致層之間缺乏信息的交互，檢測(cè)大物體時(shí)會(huì)存在感受野不匹配的問題。

受MobileNet[43]的啟發(fā)，2018年，Li等人[49]基于DSOD（Deeply Supervised Object Detection）網(wǎng)絡(luò)[50]提出了輕量化的Tiny-DSOD，將深度可分離卷積融入DenseNet，形成深度密集模塊，減少了對(duì)計(jì)算資源的需求。Tiny-DSOD在MS COCO數(shù)據(jù)集上，僅用了PeleeNet[48]的20%的參數(shù)量和1.12×109次浮點(diǎn)運(yùn)算實(shí)現(xiàn)了23.2%的mAP。

2019年，Chen等人[51]提出了一種適用于CPU處理器的一階段輕量級(jí)檢測(cè)框架RefineDetLite，在RefineDet[52]基礎(chǔ)上進(jìn)行改進(jìn)，主干網(wǎng)絡(luò)使用幾個(gè)重復(fù)的Res2Block，利用較低的計(jì)算成本實(shí)現(xiàn)了多尺度特征融合和感受野擴(kuò)展，同時(shí)嚴(yán)格確保Res2Block的輸入和輸出通道相同，最大限度地減少了對(duì)內(nèi)存的訪問，在MS COCO數(shù)據(jù)集上以比RefineDet快18%的速率實(shí)現(xiàn)了26.8%的mAP。

在對(duì)兩階段檢測(cè)模型輕量化的研究方面，2017年，Li等人[53]提出基于兩階段的實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)Light Head R-CNN，使用可分離的大卷積核來產(chǎn)生具有小通道數(shù)的“薄”特征映射，減少了后續(xù)ROI Pooling層的計(jì)算，同時(shí)R-CNN子網(wǎng)的檢測(cè)部分只使用了一個(gè)全連接層，大幅度減少了參數(shù)量。Light Head R-CNN以Xception[54]作為主干網(wǎng)絡(luò)在MS COCO上以102幀/s的速率獲得30.7%的mAP，在速度和精度上明顯優(yōu)于YOLO和SSD檢測(cè)器。2019年，Qin等人[5]提出了兩階段輕量級(jí)檢測(cè)器ThunderNet，使用基于ShuffleNetV2[55]改進(jìn)的輕量級(jí)主干網(wǎng)絡(luò)SNet，用可分離的大卷積核在不增加計(jì)算量的情況下擴(kuò)大了感受野。檢測(cè)部分沿用了Light Head R-CNN網(wǎng)絡(luò)的結(jié)構(gòu)，用5×5深度可分離卷積和1×1卷積替換原始RPN網(wǎng)絡(luò)中的3×3卷積，減少了28%的參數(shù)量，在R-CNN子網(wǎng)中通過減少通道數(shù)使檢測(cè)子網(wǎng)進(jìn)一步輕量化。在MS COCO數(shù)據(jù)集上，以SNet146作為主干網(wǎng)絡(luò)的ThunderNet僅用了PeleeNet[48]和Tiny-DSOD[43]40%的計(jì)算成本達(dá)到了23.7%的mAP。

表3 中分別比較了一階段主流網(wǎng)絡(luò)模型和輕量級(jí)的實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)在MS COCO數(shù)據(jù)集上的平均精度均值以及計(jì)算量（MFLOPs）。從表2中可以看出，YOLO系列中，在輸入尺度相同的情況下，最新提出的YOLOv4[38]使用比YOLOv3更少的參數(shù)量在MS COCO數(shù)據(jù)集上提升了10.5%的mAP。一階段和兩階段的輕量級(jí)網(wǎng)絡(luò)通過深度可分離卷積和網(wǎng)絡(luò)結(jié)構(gòu)的簡(jiǎn)化，使網(wǎng)絡(luò)的計(jì)算量大幅度降低，如一階段網(wǎng)絡(luò)Tiny-DSOD以1.12×109次浮點(diǎn)運(yùn)算實(shí)現(xiàn)了23.2%的mAP，Qin等人[5]提出的以SNet146作為主干網(wǎng)絡(luò)的兩階段輕量級(jí)檢測(cè)器ThunderNet，僅用PeleeNet[48]和Tiny-DSOD[43]40%的計(jì)算成本達(dá)到了23.7%的mAP。表4分析了各種實(shí)時(shí)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型的優(yōu)缺點(diǎn)及適用場(chǎng)景，YOLO系列[36-38]的網(wǎng)絡(luò)雖然檢測(cè)速度和精度不斷提升，但是模型變得更為復(fù)雜，對(duì)硬件的要求更高。其他輕量級(jí)網(wǎng)絡(luò)[5，42-48，53]利用更小的卷積核，或者引入深度可分離卷積減少模型的計(jì)算量和參數(shù)量，使網(wǎng)絡(luò)能夠應(yīng)用在運(yùn)算能力有限和內(nèi)存不足的移動(dòng)設(shè)備上，如手機(jī)、無人機(jī)和自動(dòng)駕駛汽車，但是模型仍存在一定的冗余。

表3 實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果對(duì)比

表4 不同的網(wǎng)絡(luò)模型的優(yōu)缺點(diǎn)及適用場(chǎng)景對(duì)比

1.3 弱監(jiān)督檢測(cè)模型

目標(biāo)檢測(cè)模型的性能在很大程度上取決于有標(biāo)簽的訓(xùn)練樣本數(shù)量，但是，圖像中目標(biāo)邊界注釋框的收集是一項(xiàng)耗時(shí)的任務(wù)，而且在一些特殊情況下，有監(jiān)督的訓(xùn)練樣本難以獲取。此外，在現(xiàn)實(shí)生活中一些稀有的物體類由于數(shù)量少，在訓(xùn)練集中此類樣本很少或者沒有，導(dǎo)致模型不能檢測(cè)這些類別。因此，一些學(xué)者開展了弱監(jiān)督檢測(cè)（Weakly Supervised Object Detection，WSOD）研究、少樣本檢測(cè)（Few-Shot Object Detection）和零樣本檢測(cè)（Zero-Shot Object Detection，ZSD）研究。

弱監(jiān)督目標(biāo)檢測(cè)任務(wù)通常指訓(xùn)練樣本只給出了圖像級(jí)的標(biāo)簽，缺少對(duì)象邊界注釋框。近年來多實(shí)例學(xué)習(xí)（Multiple Instance Learning，MIL）成為主流WSOD方法。如圖3所示，MIL將訓(xùn)練樣本標(biāo)注為正包和負(fù)包。擁有多個(gè)候選框?qū)嵗挠?xùn)練樣本包，只要有一個(gè)候選框?yàn)槟繕?biāo)，即標(biāo)注為正包，只有全部候選框?qū)嵗疾皇悄繕?biāo)時(shí)標(biāo)注為負(fù)包。通過包含正包和負(fù)包的訓(xùn)練集學(xué)習(xí)模型參數(shù)得到一個(gè)檢測(cè)器。當(dāng)測(cè)試圖片時(shí)，首先獲得正包，再從正包中的多個(gè)候選框中判斷最有可能包含目標(biāo)物體的候選框。

圖3 監(jiān)督學(xué)習(xí)與多實(shí)例學(xué)習(xí)的對(duì)比

然而MIL中的非凸損失函數(shù)使模型經(jīng)常陷入局部極小值，從而造成不能檢測(cè)整個(gè)物體，Wan等人[55]提出了C-MIL模型，將實(shí)例劃分為多個(gè)空間相關(guān)和類相關(guān)的子集，通過子集中一系列平滑損失函數(shù)的連續(xù)優(yōu)化來近似原始目標(biāo)損失函數(shù)，緩解了非凸性問題，避免訓(xùn)練過程過早陷入局部極小。另外，MIL方法中用選擇性搜索生成的候選區(qū)域框并不能很好地匹配真實(shí)框，只選擇得分最高的區(qū)域框及其空間重疊高的框作為正實(shí)例，其余作為負(fù)實(shí)例，會(huì)忽略一些非常有價(jià)值的正實(shí)例，引入不準(zhǔn)確的負(fù)實(shí)例。Cheng等人[56]結(jié)合了選擇性搜索和基于梯度加權(quán)的類激活映射來生成更多具有更高IOU值的區(qū)域框，選擇盡可能多置信度高的正樣本框，同時(shí)只選擇特定類的難負(fù)樣本框，將較大的權(quán)重分配給難負(fù)樣本，從而使訓(xùn)練更加有效，解決了框生成和框選擇兩個(gè)具有挑戰(zhàn)性的問題。

僅使用訓(xùn)練樣本的圖像級(jí)標(biāo)簽，造成對(duì)象實(shí)例的位置存在很大的不確定性。Arun等人[57]提出采用基于相異系數(shù)的概率目標(biāo)來模擬物體位置的不確定性，利用深度學(xué)習(xí)框架依賴隨機(jī)優(yōu)化的特點(diǎn)，使用離散的DISCO[58]網(wǎng)絡(luò)對(duì)復(fù)雜的不可分解的條件分布進(jìn)行建模，實(shí)現(xiàn)了不依賴注釋的預(yù)測(cè)分布和依賴注釋的條件分布之間的差異最小化。

在利用其他弱監(jiān)督信息方面，Yang等人[59]注意到物體的空間位置、外觀和運(yùn)動(dòng)與圖像中物體的動(dòng)作密切相關(guān)，提出了利用僅帶有動(dòng)作標(biāo)簽的樣本訓(xùn)練目標(biāo)檢測(cè)模型，不僅在訓(xùn)練過程中減少了目標(biāo)候選框的搜索范圍，還減少了目標(biāo)檢測(cè)模型所需的監(jiān)督量，實(shí)現(xiàn)了一定程度的性能提升。

在只利用少量監(jiān)督樣本的目標(biāo)檢測(cè)研究中，2019年，Karlinsky等人[60]提出了一個(gè)新的距離度量學(xué)習(xí)方法RepMet來衡量樣本之間的距離，同時(shí)學(xué)習(xí)主干網(wǎng)絡(luò)參數(shù)、嵌入空間以及每一個(gè)物體類別的多模態(tài)分布，在檢測(cè)實(shí)驗(yàn)中將新類別提供的少量訓(xùn)練樣本送入主干網(wǎng)絡(luò)，提取得到前景感興趣區(qū)域并計(jì)算出它們的嵌入特征向量，替代之前從已知類別里學(xué)到的表征向量，從而得到新類別的表征，有效地解決了少樣本檢測(cè)問題。同年，Kang等人[61]提出了一種包含元特征學(xué)習(xí)器和輕量特征重加權(quán)模塊的少樣本檢測(cè)模型，特征學(xué)習(xí)器從具有大量標(biāo)注數(shù)據(jù)的基礎(chǔ)訓(xùn)練類中學(xué)習(xí)元特征，并推廣到僅有少量標(biāo)注數(shù)據(jù)的新類中，特征重加權(quán)模塊學(xué)習(xí)圖像中支持樣例的全局特征，嵌入到特征重加權(quán)模塊中，以調(diào)整待檢測(cè)圖像的元特征，經(jīng)調(diào)整的元特征送入到檢測(cè)模塊，以預(yù)測(cè)新類目標(biāo)的類別和邊界框。在MS COCO數(shù)據(jù)集中，實(shí)現(xiàn)了19%的mAP和15.1%的平均召回率。

零樣本檢測(cè)指的是基于已知類的標(biāo)注信息進(jìn)行未知類的檢測(cè)訓(xùn)練，即零樣本學(xué)習(xí)未知類目標(biāo)檢測(cè)模型。零樣本檢測(cè)研究通常利用訓(xùn)練樣本的信息和相對(duì)應(yīng)的輔助信息學(xué)習(xí)視覺空間到語義空間的映射來訓(xùn)練模型，從而得到未知類的語義空間分布，再結(jié)合已知類和未知類的相關(guān)信息實(shí)現(xiàn)類別的遷移。由于零樣本目標(biāo)檢測(cè)可能涉及背景和不可見類相混淆的情況，2018年，Bansal等人[62使用語義嵌入來捕獲可見類和不可見類之間的關(guān)系，并通過在嵌入空間中為背景類添加一個(gè)固定向量形成固定背景類，和大的開放詞匯表共同來解決背景和不可見類區(qū)分不清楚的問題，同時(shí)將其他數(shù)據(jù)集中的可見類添加到MS COCO數(shù)據(jù)集中擴(kuò)充訓(xùn)練樣本，之后對(duì)嵌入空間進(jìn)行密集采樣，改進(jìn)了嵌入空間的特征和標(biāo)簽的對(duì)齊問題，提高了零樣本檢測(cè)的效果，在MS COCO數(shù)據(jù)集上測(cè)試不可見類獲得了0.54%的mAP和27.19%的召回率。進(jìn)一步，Gupta等人[2]充分利用區(qū)域框的視覺特征和語義嵌入空間中類標(biāo)簽的互補(bǔ)關(guān)系，將學(xué)習(xí)轉(zhuǎn)換后的語義和視覺空間獲得的相似性得分結(jié)合在一起，同時(shí)使用跨模態(tài)一致性損失來最小化兩個(gè)空間之間的相關(guān)性，在MS COCO數(shù)據(jù)集上僅測(cè)試不可見類時(shí)獲得了13.8%的mAP和35.0%的召回率。

2019年，Rahman等人[63]提出了直推學(xué)習(xí)方式來解決零樣本目標(biāo)檢測(cè)問題。如圖4所示，根據(jù)已知類預(yù)先訓(xùn)練好的模型給沒有標(biāo)記的未知類數(shù)據(jù)標(biāo)注偽標(biāo)簽，然后將其加入訓(xùn)練集進(jìn)行訓(xùn)練得到未知類檢測(cè)模型。這種新的偽標(biāo)記策略，將未標(biāo)記的樣本和相關(guān)的已知類動(dòng)態(tài)關(guān)聯(lián)起來，并使用一個(gè)固定的偽標(biāo)記策略保留在源域獲得的信息，有效地減少了對(duì)未知類的域偏移和模型偏差，在MS COCO數(shù)據(jù)集上獲得了14.1%的mAP和37.2%的召回率。表5比較了不同的弱監(jiān)督、少樣本、零樣本檢測(cè)模型的優(yōu)缺點(diǎn)及適用場(chǎng)景，在解決之前網(wǎng)絡(luò)模型中出現(xiàn)的問題的同時(shí)，也會(huì)出現(xiàn)新的問題。由于可利用的監(jiān)督信息很少，導(dǎo)致檢測(cè)精度和召回率不佳，有待探索新的方法進(jìn)一步提升此類網(wǎng)絡(luò)模型的檢測(cè)精度。

圖4 直推式零樣本檢測(cè)過程

1.4 解決訓(xùn)練樣本不均衡的目標(biāo)檢測(cè)方法

訓(xùn)練樣本不均衡是目標(biāo)檢測(cè)研究的一個(gè)挑戰(zhàn)。從一幅圖像中隨機(jī)采樣，會(huì)產(chǎn)生大量的負(fù)樣本，出現(xiàn)正負(fù)樣本極度不平衡。另外，訓(xùn)練樣本的檢測(cè)和識(shí)別的難易程度也不一樣，所以會(huì)出現(xiàn)難易樣本的不平衡。此外，在多類目標(biāo)檢測(cè)中，一些比較罕見類的樣本比較難獲得，造成樣本類的不均衡問題。近年來不少學(xué)者通過改進(jìn)訓(xùn)練樣本采樣方法或調(diào)整損失函數(shù)中樣本的權(quán)重，以及通過研究樣本之間的關(guān)系來解決目標(biāo)檢測(cè)領(lǐng)域中訓(xùn)練樣本不均衡問題。

通過改進(jìn)樣本采樣方法，Shrivastava等人[64]針對(duì)難易樣本的不平衡提出了OHEM算法，他們認(rèn)為少量難樣本相對(duì)于大量簡(jiǎn)單樣本對(duì)精度的提升更為有效，對(duì)每張圖片的感興趣區(qū)域損失進(jìn)行排序，篩選出損失較大的部分樣本作為難樣本，并對(duì)其重新訓(xùn)練，在MS COCO數(shù)據(jù)集上實(shí)現(xiàn)了31.1%的mAP。OHEM根據(jù)置信度選擇難樣本，但是這個(gè)過程對(duì)噪聲標(biāo)簽很敏感，并導(dǎo)致相當(dāng)大的存儲(chǔ)和計(jì)算成本。Pang等人[65]根據(jù)IoU的值將負(fù)樣本區(qū)域劃分為K個(gè)區(qū)間，然后對(duì)其進(jìn)行IoU平衡采樣，引導(dǎo)訓(xùn)練樣本的分布接近難負(fù)樣本的分布，使得具有較高IoU值的負(fù)樣本更有可能被選擇，這種處理方法使Faster R-CNN[14]模型在MS COCO數(shù)據(jù)集上實(shí)現(xiàn)了36.8%的mAP，提升了0.9%的mAP。Cao等人[66]通過設(shè)計(jì)訓(xùn)練樣本的采樣機(jī)制來解決樣本不均衡問題，他們提出了一種簡(jiǎn)單而有效的采樣和學(xué)習(xí)策略（PrIme Sample Attention，PISA），首先對(duì)樣本進(jìn)行分組，將每個(gè)實(shí)例的樣本分為一組，然后依次抽取組內(nèi)IOU值最高的樣本得到不同的等級(jí)，通過重新加權(quán)方式，將學(xué)習(xí)的焦點(diǎn)集中在具有高等級(jí)的優(yōu)質(zhì)樣本上。將PISA應(yīng)用到以ResNeXt-101作為主干網(wǎng)絡(luò)的Faster R-CNN[14]模型，在MS COCO數(shù)據(jù)集上提升了2.0%的mAP。進(jìn)一步，Cai等人[67]提出了一個(gè)統(tǒng)一動(dòng)態(tài)樣本加權(quán)網(wǎng)絡(luò)，利用樣本在分類損失、回歸損失、IoU和概率得分上的不確定性分布，在訓(xùn)練數(shù)據(jù)中學(xué)習(xí)樣本權(quán)重，聯(lián)合學(xué)習(xí)了分類和回歸任務(wù)的樣本權(quán)重，嵌入到以ResNeXt-101作為主干網(wǎng)絡(luò)的Mask R-CNN[34]模型中，使模型在MS COCO數(shù)據(jù)集上提升了1.1%的mAP。

表5 不同檢測(cè)模型的優(yōu)缺點(diǎn)及適用場(chǎng)景

有些學(xué)者通過改進(jìn)損失函數(shù)的方式來解決正、負(fù)樣本與難易樣本不平衡問題。如公式（1）所示，標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)沒有考慮樣本不平衡問題，在此基礎(chǔ)上，平衡交叉熵?fù)p失函數(shù)[68]引入加權(quán)因子α來平衡正負(fù)樣本的權(quán)重，如公式（2）所示，式中y=1表示正樣本。為了進(jìn)一步區(qū)分難易樣本，Lin等人[68]提出Focal Loss，在交叉熵?fù)p失中進(jìn)一步增加一個(gè)調(diào)制因子γ，如公式（3）所示，當(dāng)訓(xùn)練樣本是正樣本時(shí)，如果模型預(yù)測(cè)概率值p接近于1，或者當(dāng)樣本是負(fù)樣本時(shí)，p值接近于0，則表明此樣本是易樣本，所以它的權(quán)重就低；相反給難樣本的權(quán)重更大。當(dāng)調(diào)制因子γ為0時(shí)，F(xiàn)ocal Loss相當(dāng)于平衡交叉熵?fù)p失，隨著調(diào)制因子的增加，更多的損失集中在難樣本，從而達(dá)到同時(shí)平衡正負(fù)樣本和難易樣本的效果。將Focal Loss使用到以ResNet-50-FPN作為主干網(wǎng)絡(luò)的RetinaNet模型，調(diào)制因子γ設(shè)置為2和加權(quán)因子α設(shè)置為0.25時(shí)，在MS COCO數(shù)據(jù)集上獲得了39.1%的mAP。

但是Focal Loss有兩個(gè)超參數(shù)需要調(diào)整，而且它是一種不會(huì)隨著數(shù)據(jù)分布而變化的靜態(tài)損失函數(shù)，2019年，Li等人[69]在Focal Loss基礎(chǔ)上進(jìn)一步改進(jìn)，提出了一種梯度協(xié)調(diào)機(jī)制，把訓(xùn)練過程中存在類別中難易樣本的不平衡歸結(jié)為梯度分布不平衡。它首先統(tǒng)計(jì)具有相似屬性的實(shí)例數(shù)量和梯度密度，然后根據(jù)密度將協(xié)調(diào)參數(shù)附加到每個(gè)實(shí)例的梯度上。梯度協(xié)調(diào)機(jī)制通過降低訓(xùn)練過程中由簡(jiǎn)單實(shí)例產(chǎn)生的大量累積梯度和異常樣本的梯度，以及增加有效困難樣本的梯度，達(dá)到了提高訓(xùn)練的有效性和穩(wěn)定性的目的。相比Focal Loss，梯度協(xié)調(diào)機(jī)制使RetinaNet[68]檢測(cè)模型在MS COCO數(shù)據(jù)集上提高了0.8%的mAP。Pang等人[65]也關(guān)注了梯度對(duì)樣本的影響，提出了平衡L1損失，通過調(diào)整回歸損失的權(quán)重來平衡分類和定位兩項(xiàng)任務(wù)，解決了由簡(jiǎn)單樣品產(chǎn)生的小梯度淹沒在由難樣本產(chǎn)生的大梯度中的問題。使用該損失函數(shù)使Faster R-CNN[14]模型在MS COCO數(shù)據(jù)集上提升了0.8%的mAP。

在利用樣本之間的關(guān)系來解決樣本不均衡問題方面，Chen等人[70]提出模擬樣本關(guān)系的排序損失（APloss）作為目標(biāo)損失來解決樣本類不平衡問題，使用新的誤差驅(qū)動(dòng)學(xué)習(xí)算法來有效地優(yōu)化不可微的AP-loss。在不改變網(wǎng)絡(luò)架構(gòu)的情況下，基于AP-loss的RetinaNet[68]檢測(cè)模型在MS COCO數(shù)據(jù)集上實(shí)現(xiàn)了42.1%的mAP。Chen等人[71]提出完全基于學(xué)習(xí)的殘差機(jī)制，將分類子網(wǎng)中多分類的不平衡轉(zhuǎn)移到目標(biāo)類相關(guān)模塊，在模塊之間建立殘差連接，用激活函數(shù)計(jì)算更新目標(biāo)分?jǐn)?shù)，通過連續(xù)細(xì)化的過程來逐步解決樣本不平衡問題，應(yīng)用到以ResNet-101-FPN作為主干網(wǎng)絡(luò)的Faster R-CNN[14]模型中，在MS COCO數(shù)據(jù)集上實(shí)現(xiàn)了40.4%的mAP。

表6 列出了上述典型的解決樣本不均衡的目標(biāo)檢測(cè)方法在MS COCO數(shù)據(jù)集上的平均精度均值，從表中可以看出，在對(duì)樣本不均衡進(jìn)行有針對(duì)性的處理后，各類方法都獲得了比較好的效果。表7分析比較了解決樣本不均衡的各類方法的優(yōu)缺點(diǎn)及適用場(chǎng)景，這些方法主要是通過調(diào)整正負(fù)樣本和難易樣本的權(quán)重或者選取部分樣本再次訓(xùn)練，來提高訓(xùn)練的效果和檢測(cè)精度。硬采樣的方式由于存在大量的簡(jiǎn)單的負(fù)樣本，導(dǎo)致算法的效率很低。改進(jìn)損失函數(shù)的方法需要調(diào)整參數(shù)，不能有效地?cái)U(kuò)展到其他的檢測(cè)器。

表6 解決樣本不均衡的不同方法的實(shí)驗(yàn)結(jié)果對(duì)比

2 總結(jié)與展望

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)性研究，受到了很多學(xué)者的關(guān)注，近年來也取得了較大的進(jìn)展。本文針對(duì)目標(biāo)檢測(cè)研究存在的挑戰(zhàn)和難題，詳細(xì)綜述了解決這些問題的最新研究進(jìn)展。

表7 解決樣本不均衡的不同方法的特點(diǎn)對(duì)比

多尺度目標(biāo)檢測(cè)主要通過多尺度特征融合、擴(kuò)張卷積和改進(jìn)特征提取網(wǎng)絡(luò)的方式將圖像中不同尺度的物體檢測(cè)出來，更有利于對(duì)小目標(biāo)的檢測(cè)。實(shí)時(shí)目標(biāo)檢測(cè)通過簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)的參數(shù)量和計(jì)算量，來平衡檢測(cè)精度和實(shí)時(shí)需求，主要用于內(nèi)存有限的移動(dòng)設(shè)備，如自動(dòng)駕駛汽車。而在弱監(jiān)督或無監(jiān)督目標(biāo)檢測(cè)研究方面，針對(duì)只有圖像級(jí)標(biāo)注的弱監(jiān)督檢測(cè)問題，通過采用多實(shí)例學(xué)習(xí)和基于相異系數(shù)的概率目標(biāo)來模擬物體位置的不確定性；通過距離度量學(xué)習(xí)方法或者元特征學(xué)習(xí)器解決少樣本檢測(cè)問題；通過直推學(xué)習(xí)、語義及視覺空間的互補(bǔ)關(guān)系和固定背景類解決零樣本檢測(cè)問題。弱監(jiān)督或無監(jiān)督檢測(cè)主要用于對(duì)稀有物種的檢測(cè)或者不易獲取標(biāo)注的物體檢測(cè)。在解決訓(xùn)練樣本不均衡問題的目標(biāo)檢測(cè)研究方面，主要通過改進(jìn)訓(xùn)練樣本采樣方法或調(diào)整損失函數(shù)中樣本的權(quán)重、以及研究樣本之間的關(guān)系來減少樣本不平衡對(duì)模型的限制，進(jìn)而提高檢測(cè)性能，并降低了訓(xùn)練和檢測(cè)成本。

上述方法都在一定程度上提高了檢測(cè)模型的魯棒性和平均檢測(cè)性能，但還存在許多需要進(jìn)一步研究的問題：

（1）當(dāng)前主流的目標(biāo)檢測(cè)方法大多采用錨框機(jī)制，這在一定程度上帶來了正負(fù)樣本不均衡的問題。近兩年，一些學(xué)者提出了anchorfree方法，最新的CentripetalNet[72]提出向心移位方法匹配同屬于一個(gè)實(shí)例的角點(diǎn)，形成一個(gè)中心點(diǎn)，從而在左上和右下兩個(gè)角之間建立連接，進(jìn)一步提高了檢測(cè)精度。

（2）真實(shí)世界中的圖像存在各種復(fù)雜的環(huán)境，例如天氣影響的圖像模糊、背景對(duì)目標(biāo)的遮擋和對(duì)象之間的相互遮擋等等。這些實(shí)際生活中特定的場(chǎng)景對(duì)檢測(cè)網(wǎng)絡(luò)提出了更多的挑戰(zhàn)。未來應(yīng)該多關(guān)注目標(biāo)檢測(cè)和其他領(lǐng)域的結(jié)合，進(jìn)一步提高檢測(cè)效果。Pang等人[73]提出了一種新穎的掩模引導(dǎo)的空間注意網(wǎng)絡(luò)，提出的可視區(qū)域邊界框注釋近似替代密集像素級(jí)分割注釋形式，粗略的分段注釋產(chǎn)生了精確的掩模，使用可視區(qū)域信息產(chǎn)生像素級(jí)空間注意力，從而突出可見的身體區(qū)域，同時(shí)抑制行人被遮擋的部分，調(diào)整了分支中的多通道特征，大大減輕了遮擋特征的影響。

（3）現(xiàn)在獲得的圖像傾向于大尺度高分辨率的圖像，普通的檢測(cè)網(wǎng)絡(luò)不能很好滿足對(duì)這些圖像的檢測(cè)需求。Uzkent[74]等人提出一種自適應(yīng)的框架，粗搜索和細(xì)搜索相結(jié)合的方式，平衡了檢測(cè)精度和運(yùn)行速度。