基于深度學習的小目標檢測算法綜述

張新 郭福亮 梁英杰

摘 要：由于小目標分辨率低、攜帶的信息少，現(xiàn)有基于深度學習的目標檢測算法對小目標檢測精度遠遠小于對大目標的檢測精度。針對小目標檢測精度問題，以基于深度學習的目標檢測為切入點，系統(tǒng)總結了基于深度學習的目標檢測代表算法，并以檢測精度和檢測速度為標準分析各種算法優(yōu)缺點。將能有效提高小目標檢測精度的方法進行分類匯總，介紹了各種方法的相關應用。針對目標檢測及小目標檢測存在的問題，對未來目標檢測領域發(fā)展趨勢進行了預測與展望。

關鍵詞：目標檢測;小目標;深度學習;RCNN;SSD;YOLO

DOI：10. 11907/rjdk. 191987 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP312文獻標識碼：A 文章編號：1672-7800（2020）005-0276-05

0 引言

隨著人工智能應用研究不斷發(fā)展，深度學習等方法也隨之興起，在目標檢測、自然語言處理、語音識別等領域應用越來越廣泛。相比于傳統(tǒng)機器學習采用滑動窗口提取目標（如SIFT[1]、HOG[2]等視覺特征這種低效率方法），深度學習算法借助神經網絡產生候選區(qū)域提取目標特征，大大提升了目標檢測的精度和速率。但就像物理學中的烏云一般，目標檢測也存在一片烏云，即小目標檢測。小目標由于圖像像素較少，包含的特征信息不明顯，檢測時常會出現(xiàn)漏檢和誤檢情況，嚴重影響目標檢測效果，是目標檢測領域亟待解決的一個重難點問題。由于小目標檢測算法大多是在現(xiàn)有檢測算法上的改進與加強，因此本文首先總結現(xiàn)有深度學習目標檢測算法的優(yōu)缺點;然后對小目標檢測改進算法進行分析，最后對未來小目標檢測應用與發(fā)展進行展望。

1 基于深度學習的目標檢測算法

自從AlexNet[3]獲得ILSVRC2012挑戰(zhàn)賽冠軍后，用卷積神經網絡進行分類成為主流。該算法以其簡單的訓練方法、較高的檢測精度和不俗的檢測速度迅速取代了傳統(tǒng)的機器學習方法。如今基于深度學習的目標檢測逐漸出現(xiàn)了不同分支，根據(jù)檢測思想不同，可分為基于區(qū)域提取的檢測方法和基于回歸的檢測方法，兩種方法分別在檢測準確率和檢測速度上占據(jù)優(yōu)勢。

1.1 基于區(qū)域提取的檢測方法

基于區(qū)域提取的檢測方法首先通過選擇性搜索[4]（Selective Search）或RPN（Region Proposal Net）等方法提取出候選區(qū)域，然后利用回歸等方法對候選區(qū)域進行分類和位置預測，代表算法有RCNN[5]、SPP-Net[6]、Fast RCNN[7]、Faster RCNN[8]和Mask RCNN[9]等。

1.1.1 RCNN

2014年，Girshick等提出了RCNN算法，在VOC 2007測試集上mAP達到了48%。2014年修改網絡結構后又將mAP提升至66%，同時在ILSVRC 2013測試集上mAP達到了31.4%。RCNN算法主要包含4個步驟：①利用選擇性搜索算法提取候選區(qū)域，將候選區(qū)域縮放至同一大小;②使用卷積神經網絡提取候選區(qū)域特征;③SVM分類器對候選區(qū)域特征分類;④利用邊框回歸算法進行邊框預測。RCNN算法作為第一個基于深度學習的較成熟算法，相比于傳統(tǒng)機器學習算法有了很大進步，但其劣勢也很明顯：采用4個分離的步驟進行檢測不適于端到端訓練;每次檢測都需要生成2 000多個候選框，每個候選框都需要一次卷積操作，重疊的候選框帶來大量的重復計算，極大影響了檢測速度。

1.1.2 SPP-Net

針對RCNN這一缺點，2014年何愷明等提出了空間金字塔池化網絡進行了優(yōu)化。傳統(tǒng)的CNN網絡由于連接了全連接層，因此需要對輸入的圖片尺寸進行裁剪或拉伸，以符合全連接層輸入要求。但是在圖片裁剪或拉伸過程中會扭曲圖像，使目標特征有所變形。為解決這一問題，SPP-Net在CNN網絡中加入了空間金字塔池化層（SPP）。不管輸入尺寸如何，SPP都會將其輸出固定為同一個尺寸，提高了圖像的尺度不變性并降低了過擬合。采用SPP后，只需要對圖像作一次卷積操作，通過計算原圖與特征圖的映射關系即可得到圖像的候選區(qū)域，大幅縮減了算法的檢測時間。但是SPP-Net的后續(xù)操作與RCNN類似，并未完全擺脫RCNN的影響。

1.1.3 Fast RCNN

2015年Ren等提出了Fast RCNN算法。首先，將圖片送入神經網絡提取特征，利用Selective Search提取候選區(qū)域;然后，利用RoI Pooling將大小不同的輸入池化為統(tǒng)一大小輸出到全連接層;最后，對全連接輸出的特征進行邊框回歸和分類。Fast RCNN算法的一個重要改進就是引入了類似于SPP-Net的RoI Pooling層。RoI Pooling將特征圖像分割成W*H大小的網格，對每個網格做MaxPooling，將所有輸出值組合起來便形成固定大小為W*H的特征圖，避免了候選區(qū)域的縮放，也減少了算法的運行時間。將算法各步驟連接在一起，可以實現(xiàn)端到端的訓練，不用像RCNN那樣需要保存中間特征，節(jié)省了空間。但是Fast RCNN仍然采用Selective Search方法產生候選框，耗費了太多時間。

1.1.4 Faster RCNN

2015年Ren等提出了Faster RCNN算法，算法整體框架如圖1所示。首先，使用卷積神經網絡提取圖片特征;其次，將圖片特征送入RPN（Region Proposal Network）網絡得到提取的區(qū)域;然后，將以上兩步的結果送入RoI Pooling層綜合提取邊界框特征;最后，根據(jù)候選框特征預測物體的邊界框和類別。相比于Fast RCNN算法，該算法較重要的改進點就是采用RPN代替Selective Search提取候選區(qū)域。RPN是一個全卷積網絡，包含3個卷積層，采用滑動窗口機制遍歷每個特征點，通過分類層和回歸層后，輸出特征點映射的原圖區(qū)域是否為前景圖像及相對坐標。算法另一個極為重要的改進就是先驗框的引入。通過先驗框，RPN可以產生大小不同的候選區(qū)域，應對大小不同的目標，這一方法被許多算法借鑒。

1.2 基于回歸的目標檢測算法

基于區(qū)域提取的目標檢測算法需要提取候選區(qū)域并對其進行分類及邊框預測，在時間上不能達到實時要求。基于回歸的目標檢測算法只需要對圖片作一次卷積操作，然后直接在原始圖像上通過回歸的方法預測出目標的分類與位置，相比基于區(qū)域提取的目標檢測算法在時間上有很大優(yōu)勢。

1.2.1 YOLO

2016年Redmon等[10]提出YOLO（You Only Look Once）算法。YOLO算法采用一個單獨的卷積神經網絡，將目標檢測問題看成一個回歸問題，實現(xiàn)了端到端的目標檢測。YOLO算法首先將圖片縮放至448×448大小，然后將其送入神經網絡中，輸出一個維度為S×S*（B×5+C）的張量，將輸出的張量送入NMS得到最后的邊界框和分類信息。其中，S為劃分網格數(shù)，B為每個網格負責檢測的目標個數(shù)，C為類別個數(shù)。YOLO算法將輸入的圖片劃分為S×S個網格，如果一個目標的中心落在該網格中，則該網格負責檢測這個目標。每個網格需要預測B個邊界框信息，每個邊界框信息包含邊界框的位置信息及置信度，同時網格還需要預測各類目標的條件概率值。YOLO算法將檢測看作回歸問題，只作一次卷積操作，因此檢測速度很快。但是YOLO算法由于劃分尺度問題，對小目標的檢測效果不太理想。若同時出現(xiàn)兩個目標中心落在同一個網格中，算法就不能很好地檢測出目標。

1.2.2 SSD

2016年Liu等[11]提出了SSD（Single Shot MultiBox Director）算法，吸收了Faster RCNN和YOLO算法中的許多優(yōu)點，既有出色的檢測精度也有很快的檢測速度。SSD算法也采用了類似于YOLO的基于回歸的方法，在一個網絡中直接回歸出物體的類別和位置。SSD取消了YOLO算法中的全連接層，直接采用卷積神經網絡進行預測。算法在網絡結構的不同層次上提取不同尺度的目標特征進行多尺度預測，利用大尺度檢測小目標，小尺度檢測大目標。算法借鑒了Faster RCNN中先驗框的方法，采用不同尺度和長寬比的先驗框，有效解決了YOLO算法在小目標檢測上的不足。在網絡結構上，算法選用VGG16作為基礎網絡，在VGG16的基礎上新增卷積層來獲得更多的特征圖用于檢測。除此之外，算法還采用空洞卷積提高卷積核的感受野。

1.2.3 YOLO v2

2016年Redmon等[12]在YOLO基礎上提出了YOLO v2算法。YOLO v2借鑒Faster RCNN中的anchor box思想，取代了YOLO中每個網格的B個邊界框。不同于Faster RCNN的是，YOLO v2中邊界框的尺寸是利用K-means聚類計算得出的。YOLO v2在采用先驗框后，取消了網絡結構中的全連接層，把網絡輸入尺寸調整為416×416，在經過32倍下采樣后，圖片分成13×13個網格。YOLO算法可以預測7×7×2個邊界框，YOLO v2可以預測13×13×9個邊界框，因此劃分網格的尺度更細。YOLO v2算法在對小目標識別時準確率有了提升。另外由于沒有了全連接層，因此YOLO v2可以使用多尺度訓練的方式進行訓練，可以輸入大小尺度不同的圖片以增加算法對不同尺度的適應能力。YOLO v2算法也采用了新的網絡結構Darknet-19，具有比原網絡更好的性能。

1.2.4 YOLO v3

2018年Redmon[13]等提出YOLO v3算法。YOLO v3借鑒了Faster RCNN和SSD中的許多優(yōu)點。算法采用了新的網絡結構Darknet-53，網絡內部含有多個殘差模塊，可以減少梯度消失問題。算法采用32倍下采樣、16倍下采樣和8倍下采樣的方式生成52×52，26×26，13×13三種大小不同的網格尺度，在多尺度上對目標進行預測，可以有效提升小目標的檢測準確率。算法依然采用了先驗框思想。但和YOLO v2不同的是，YOLO v3將9個先驗框分給了3種不同的尺度，每種尺度有3個先驗框。算法還采用了特征融合和上采樣方法，將高層特征上采樣后與低層特征融合，充分結合高低層的特征信息，提高了算法的檢測準確率。通過這一系列改進，算法在目標檢測準確率上有了進一步提升，但是速度上稍有損失。

1.3 算法對比

在目標檢測中，比較常用的數(shù)據(jù)集有VOC2007、VOC2012和COCO。表1、表2為基于深度學習的目標檢測算法在各數(shù)據(jù)集上的檢測性能。

從表1、表2可以看出，基于區(qū)域提取的目標檢測算法檢測精度要高于基于回歸的目標檢測算法。同時也可以看出，各種算法對小目標的檢測精度要遠遠小于大目標的檢測精度。在檢測速度上，基于回歸的目標檢測算法要遠遠超過基于區(qū)域提取的目標檢測算法。

2 小目標檢測方法

小目標由于分辨率低，圖像模糊，攜帶的信息較少，導致特征表達能力弱，能提取到的特征很少，不利于小目標檢測。因此，針對小目標特性，在對小目標檢測識別時，通常會采用多尺度預測，利用低層特征信息檢測小目標或通過上采樣、反卷積，將高層特征放大，與低層特征融合，利用對抗生成網絡不斷生成和對抗，提高小目標質量。但這些方法相互之間不是獨立的，一種算法中可以采用一種或多種方法提高小目標檢測效果。

2.1 多尺度預測

不同網絡層次上特征圖所攜帶的信息不同，低層網絡能更多地提取到目標的位置形狀等信息，而高層網絡能更好地提取目標的深層特征。對于小目標來說，位置等低層特征在檢測中尤為重要。因此在檢測時，將低層用于小目標檢測，高層用于大目標檢測，能更有效地提升目標檢測效果。多尺度預測利用多層特征，在不同尺度的特征圖上預測不同大小的目標。

多尺度預測的代表FPN就是在3種尺度上預測目標的。FPN[14]模型結構如圖2所示。FPN由自底向上和自頂向下兩個路徑組成。自底向上的路徑通常是提取特征的卷積網絡。自底向上空間分辨率遞減，檢測到更多的高層結構，網絡層語義值相應增加。FPN還采用橫向連接，起到跳躍連接的作用，可以幫助檢測器更好地預測位置。FPN采用的多尺度預測合理利用了低層特征和高層特征信息，有效提升了小目標的檢測準確率?；贔PN的Faster RCNN在COCO數(shù)據(jù)集上[APS]達到了17.5%，比之前提升了5%。

Singh等[15]對COCO數(shù)據(jù)集尺度進行了分析，發(fā)現(xiàn)訓練集和測試集的尺度分布存在很大差異?；跀?shù)據(jù)集分布的考慮，提出Scale Normalization for Image Pyramids （SNIP）模塊，只對與預訓練尺度相匹配的目標進行梯度回傳。除此之外，作者還借鑒多尺度訓練思想，引入圖像金字塔處理數(shù)據(jù)集中不同尺寸的數(shù)據(jù)。SNIP算法在COCO數(shù)據(jù)集上[APS]達到了31.4%，比之前的算法有較大提升;Li等[16]在FPN基礎上改進了特征融合方式，將FPN由底向上逐層上采樣特征融合改為直接融合，檢測時同樣采用了多尺度預測方式，在不同網絡層次對目標進行檢測，在VOC07測試集上mAP達到了80.9%;趙亞男等[17]針對小目標檢測精度不佳問題，以SSD和DSSD[18]為基礎，設計融合模塊實現(xiàn)Top-Down結構提取多尺度特征，提出了一種基于MFDSSD網絡（Multi-scale Fusion Deconvolutional Single Shot Detector，MFDSSD）的小目標檢測算法，在不同尺度的特征圖上實現(xiàn)分類預測與位置回歸，在TILDA數(shù)據(jù)集上檢測精度為 78.2%mAP。

2.2 反卷積、上采樣

小目標在圖像中所占像素較少，而且輪廓比較粗糙。如果能提高圖像特征的分辨率，使小目標的特征變大，對小目標檢測是有幫助的。將反卷積和上采樣應用在網絡中可以提高特征圖尺寸，通過與低層特征融合可提高特征的表達力，更好地預測小目標。

Fu等[19]針對SSD對小目標檢測效果不好的缺點，將SSD改進成DSSD。DSSD將SSD中的VGG16網絡化成了更深的ResNet101，可以提取更深層次的目標特征。添加了新的回歸預測模塊，利用殘差模塊消除梯度消失問題。在SSD添加的輔助卷積層后又添加了反卷積層，將高層信息與低層特征融合，使特征圖同時擁有高層和低層特征信息。該算法在 VOC2007數(shù)據(jù)集上mAP達到了81.5%;Harish Krishna等[20]在Faster RCNN基礎上對分辨率低的小目標所在候選區(qū)域作超分辨率處理，提高了特征質量及小目標檢測準確率;Jonathan等[21]提出了全卷積FCN（Fully Convolutional Networks）網絡，舍棄了全連接層，對堆疊后的特征圖進行上采樣，使其與原圖大小一致。對上采樣后的堆疊特征圖，在其映射到原圖位置的像素點上作分類預測，這樣可以基于原圖作出精細的圖像分割。對于小目標檢測，可以通過像素點分類，作出更精細的位置劃分;Mate等[22]通過分析COCO數(shù)據(jù)集中小目標物體的數(shù)量，發(fā)現(xiàn)小目標檢測率低的原因之一是訓練數(shù)據(jù)中缺少小目標表示，因此提出了一種基于復制粘貼小對象的增強算法。除此之外還在訓練過程中對包含小物體的圖像進行過采樣，輕松提升了小目標物體的檢測性能，相比于Mask RCNN在小目標上的檢測準確率提升了7%;針對SSD網絡中用于預測的特征圖沒有再利用問題，范欽民[23]在SSD的基礎上將部分高層特征圖進行反卷積，以“element-sum”操作與低層特征圖進行融合形成新的特征圖，提出了AFFSSD，在COCO數(shù)據(jù)集上小目標檢測精度得到了提高;吳天舒[24]針對SSD對小目標檢測能力不足的問題，在SSD算法中引入轉置卷積結構，將低分辨率高語義信息特征圖與高分辨率低語義信息特征圖相融合，增強低層特征提取能力，提高SSD算法的平均精準度。

2.3 GAN

在目標檢測上，對于GAN的應用主要是通過生成模塊將小目標低質量的分辨率提高到高分辨率水平，然后利用辨別模塊不斷識別高分辨率圖像，兩者不斷競爭對抗以提高小目標檢測能力。

Li等[25]提出了使用感知生成網絡提取小目標檢測準確率的方法。PGAN包含兩個子網絡，分別是生成網絡和感知分辨網絡。生成網絡通過引入網絡低層細粒度的特征將其轉化為高分辨率特征，分辨網絡一方面分辨出高分辨率特征與真實大目標特征之間的關系，另一方面使用感知損失提高目標檢測率。通過上述網絡，PGAN可以挖掘不同尺度物體間的結構關聯(lián)，提高小物體的特征表示，該方法在小目標檢測準確率和召回率上均優(yōu)于Faster RCNN。針對小目標的高層特征包含信息不足的問題，黃繼鵬[26]提出了一種基于條件生成式對抗網絡（CGAN）的小目標數(shù)據(jù)增強算法。CGAN可以生成小目標與常規(guī)目標之間的殘差，并利用殘差強化小目標特征，應用該方法提升Faster RCNN對小目標的檢測精度;Bai等[27]提出了一種端到端的多任務生成對抗網絡（MTGAN）。MTGAN生成的模塊可以將小目標的模糊圖像采樣生成高分辨率圖像，并恢復詳細信息以便更準確地檢測。辨別模塊可以區(qū)分生成的高分辨率圖像真假，并輸出每個超分辨率圖像塊的對象類別得分和邊框回歸偏移量。在COCO數(shù)據(jù)集上，該方法對小目標有良好的檢測效果。

3 總結與展望

基于深度學習的目標檢測算法因其優(yōu)良的性能在許多方面取代傳統(tǒng)機器學習方法成為人們的首選。近幾年人們不斷提升目標檢測精度，小目標檢測準確率也有了明顯提升。但相比于大目標，小目標檢測依然是一個難點。隨著目標檢測應用場景的逐漸擴大，對于小目標檢測的需求也會越來越大。如何提高小目標檢測精度將成為目標檢測領域的研究方向。

基于深度學習的目標檢測兩個分支，即基于區(qū)域提取的目標檢測和基于回歸的目標檢測分別在檢測準確率和檢測速度上占據(jù)優(yōu)勢，但即便是檢測速度更快的基于回歸的目標檢測也無法滿足工業(yè)需求?，F(xiàn)有的檢測效果大多是建立在實驗室環(huán)境下的，性能出色的CPU和GPU為目標檢測提供了良好的保證。一個好的成果并不應該屬于實驗室，應該有更廣泛的應用場景。隨著人工智能應用領域的不斷擴展，無人機、智能機器人或軍工等領域都有目標檢測需求。但在工業(yè)嵌入式設備中，更多采用了輕量級CPU或FPGA設備。如何讓現(xiàn)有目標檢測算法在這些設備上更好地運行，將現(xiàn)有算法真正做到工業(yè)級應用，還有很多問題需要解決。

4 結語

按照基于深度學習的目標檢測算法分類，本文系統(tǒng)地介紹了基于區(qū)域提取的目標檢測算法和基于回歸的目標檢測算法。在此基礎上重點關注了小目標檢測改進方法，并將小目標檢測與現(xiàn)有目標檢測的改進方法進行了分類匯總。最后對小目標檢測未來的應用和發(fā)展方向作了展望?？傮w來看，小目標檢測在檢測精度上依然存在不足，是目標檢測的未來研究方向。

參考文獻：

[1] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision，2004，60（ 2）：91-110.

[2] DALAL N，TRIGGS B. Histograms of oriented gradients for human detection [C]. IEEE Computer Society Conference on Computer Vision&Pattern Recognition，2005.

[3] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems，2012： 1097-1105.

[4] UIJLINGS J R R， K E A，VAN DE SANDE，et al. Selective search for object recognition[J]. International Journal of Computer Vision， 2013， 104（2）：154-171.

[5] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. ?Computer Vision and Pattern Recognition， 2014.

[6] HE K M，ZHANG X Y，REN S Q. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2014.

[7] GIRSHICK R. Fast R-CNN[C]. IEEE International Conference on Computer Vision （ICCV）， 2015.

[8] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[C]. Proc of Conference on Neural Information Processing Systems. [S.I.]：NIPS Press，2015：1-15.

[9] HE K，GKIOXARI G，DOLLAR P，et al. Mask R-CNN[C]. IEEE Conference on Computer Vision and Pattern Gecognition，Washington DC：IEEE Computer Society， 2018.

[10] REDMON J，DIVVALA S，GIRSHICK R，et al. You only look once：unified， real-time object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.I.]：IEEE.2016：779-788.

[11] LIU W， ANGUELOV D， ERHAN D， et al. SSD：single shot multibox detector [C]. Proc of IEEE Conference on Computer Vision and Pattern Recognition. [S.I. ]：CVPR Press，2016：13-17.

[12] REDMON J，F(xiàn)ARHADI A. YOLO9000： better，faster，stronger[J]. IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016（6）：6517-6525.

[13] REDMON J，F(xiàn)ARHADI A. YOLOv3：an incremental improvement[C]. IEEE Conference on Computer Vision and Pattern Recognition， arXiv preprint：1804.02767， 2018.

[14] LIN T Y，DOLLAR P，GIRSHICK R，et al. Feature pyramid networks for object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition，2017： 936-944.