基于深度學(xué)習(xí)的目標(biāo)檢測(cè)研究綜述

谷永立，宗欣欣

（安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，安徽 淮南 232001）

0 引 言

我們將可對(duì)圖像中的目標(biāo)進(jìn)行識(shí)別和定位的技術(shù)稱之為目標(biāo)檢測(cè)，這些目標(biāo)包括人物、動(dòng)物以及日常生活中常見的物品。目標(biāo)檢測(cè)技術(shù)應(yīng)用廣泛，在建筑工地用于監(jiān)視以確保安全施工，在工業(yè)零件的生產(chǎn)中可用于檢測(cè)出瑕疵產(chǎn)品，在醫(yī)療場(chǎng)景中可進(jìn)行輔助診斷，在汽車行業(yè)可用于自動(dòng)駕駛。在現(xiàn)實(shí)生活中，由于光照、遮擋所造成的陰影、成像品質(zhì)等諸多因素，使目標(biāo)檢測(cè)具有更大的挑戰(zhàn)性。

傳統(tǒng)的目標(biāo)檢測(cè)方法會(huì)產(chǎn)生大量冗余候選框，從而增加了運(yùn)算負(fù)擔(dān)；整體算法由多個(gè)部分組成，難以達(dá)到全局最優(yōu)。

20多年來(lái)目標(biāo)檢測(cè)技術(shù)不斷創(chuàng)新和發(fā)展，從最開始傳統(tǒng)的手工設(shè)計(jì)特征的目標(biāo)檢測(cè)方法到目前采用深度學(xué)習(xí)設(shè)計(jì)特征的目標(biāo)檢測(cè)方法，檢測(cè)精度和檢測(cè)速度也隨著方法的更新而不斷提升。

1 基于錨框的兩階段目標(biāo)檢測(cè)算法

本節(jié)主要介紹基于錨框的兩階段目標(biāo)檢測(cè)算法，首先介紹R-CNN系列算法的發(fā)展，然后介紹經(jīng)典的兩階段目標(biāo)檢測(cè)算法Faster R-CNN的網(wǎng)絡(luò)框架。

1.1 R-CNN系列基礎(chǔ)框架的發(fā)展史

2014年，Girshick等人提出了R-CNN算法。R-CNN算法的執(zhí)行過(guò)程可分為四部分：首先在所輸入的圖像中使用Select Search算法提取約為2 000～3 000個(gè)目標(biāo)候選框；接著歸一化候選框，將先前所提取的候選區(qū)域縮放成一定比例大小后再使用卷積提取特征；然后使用SVM分類器對(duì)候選區(qū)域進(jìn)行分類，隨后使用邊界值回歸和非極大值抑制兩種方法對(duì)區(qū)域進(jìn)行調(diào)整，最后得到回歸并確定的位置。RCNN算法在VOC-07數(shù)據(jù)集上測(cè)試的結(jié)果顯示平均精度由原來(lái)的30%提升到了近60%。但缺點(diǎn)是其網(wǎng)絡(luò)只能輸入固定比例尺寸大小的候選區(qū)域，并且檢測(cè)速度慢，同時(shí)需要較大的存儲(chǔ)空間來(lái)存放候選區(qū)域。

2014年，何凱明等人提出了SPP-Net解決了R-CNN只能接受固定大小的輸入，SPP-Net中使用SPP層，用于生成統(tǒng)一尺寸的特征向量的輸出，只計(jì)算一次全圖特征，從而避免重復(fù)計(jì)算。SPP-Net在VOC-07數(shù)據(jù)集上檢測(cè)的結(jié)果顯示其檢測(cè)精度與R-CNN算法基本保持一致，但推理速度比R-CNN算法要快了近24倍。和R-CNN一樣，SPP訓(xùn)練過(guò)程也需要較大的存儲(chǔ)空間來(lái)存放候選區(qū)域；候選層提取依舊十分耗時(shí)。

Girshick等人在2015年對(duì)R-CNN算法檢測(cè)速度較慢的問(wèn)題進(jìn)行了創(chuàng)新進(jìn)而提出了Fast R-CNN算法，F(xiàn)ast R-CNN借鑒了SPP層的思想，在網(wǎng)絡(luò)結(jié)構(gòu)中增加了簡(jiǎn)化的ROI Pooling層用于生成統(tǒng)一尺寸的特征向量的輸出。Fast R-CNN算法在VOC-07數(shù)據(jù)集上測(cè)試的結(jié)果顯示平均精度均值將SPP-Net算法所達(dá)到的59.6%提高到69.9%，F(xiàn)ast R-CNN算法的推理速度更是比R-CNN算法快了200倍。

Fast R-CNN算法檢測(cè)精確時(shí)得到了一定程度上的提高，但是候選區(qū)域的生成方式仍采用的是較為傳統(tǒng)的算法，于是，2015年Ren等人再一次對(duì)Fast R-CNN算法進(jìn)行了改進(jìn)提出了新的Faster R-CNN算法，設(shè)計(jì)了RPN網(wǎng)絡(luò)來(lái)生成候選區(qū)域，實(shí)現(xiàn)了端到端訓(xùn)練。

1.2 Faster R-CNN

Faster R-CNN算法在VOC07、VOC12和COCO數(shù)據(jù)集上都實(shí)現(xiàn)了SOTA精度，其網(wǎng)絡(luò)主要分為四部分：特征提取網(wǎng)絡(luò)、ROI Pooling層網(wǎng)絡(luò)、RPN網(wǎng)絡(luò)和NMS算法。

Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，首先將整張圖片輸入CNN中通過(guò)主干網(wǎng)絡(luò)獲取整體特征圖，然后通過(guò)RPN網(wǎng)絡(luò)生成大量的候選區(qū)域（Anchor Box），其次在獲取每個(gè)候選區(qū)域相對(duì)應(yīng)的特征矩陣，然后使用RoI pooling來(lái)固定特征矩陣尺寸，接著再通過(guò)目標(biāo)分類器和邊界框回歸器來(lái)預(yù)測(cè)每個(gè)候選區(qū)域所對(duì)應(yīng)的類別以及邊界框回歸參數(shù)得到預(yù)測(cè)結(jié)果，最后通過(guò)NMS算法去除大部分概率較低的候選框得到最終的結(jié)果。

圖1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示為R-CNN算法中滑動(dòng)窗口與Anchor的關(guān)系，使用3×3大小的卷積核來(lái)滑動(dòng)生成多個(gè)錨框，滑動(dòng)窗口的中心會(huì)經(jīng)過(guò)特征圖的每個(gè)點(diǎn)，特征圖上的每一點(diǎn)都對(duì)應(yīng)著一組預(yù)先已設(shè)定的Anchor Box。

圖2 RPN網(wǎng)絡(luò)結(jié)構(gòu)

Faster R-CNN算法與上述其他算法相比檢測(cè)的精度和速度都有了更進(jìn)一步的提升，但仍然有著重復(fù)或多余的計(jì)算；同時(shí)，當(dāng)IOU閾值較低時(shí)，會(huì)部分噪聲的檢測(cè)會(huì)對(duì)結(jié)果產(chǎn)生影響，當(dāng)IOU閾值較高時(shí)，也同樣會(huì)產(chǎn)生過(guò)度擬合的問(wèn)題，所以對(duì)IOU閾值的設(shè)置需要較為合理。

2 基于錨框的單階段目標(biāo)檢測(cè)算法

基于錨框的單階段目標(biāo)檢測(cè)算法，對(duì)于給定的輸入圖像，直接在生成的候選區(qū)域進(jìn)行分類和回歸。本節(jié)主要介紹YOLO系列算法和SSD算法。

兩階段目標(biāo)檢測(cè)算法具有高精度低速度的特點(diǎn)，YOLOv1算法的提出真正實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)。YOLO的網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單，具備較快的檢測(cè)速度，但是其精度要遠(yuǎn)低于兩階段目標(biāo)檢測(cè)算法，檢測(cè)小目標(biāo)的效果也很差。YOLOv2在原先基礎(chǔ)上又增加了BN層，借鑒了兩階段算法中的Anchor思想，首先得到先驗(yàn)框，再在先驗(yàn)框上微調(diào)得到預(yù)測(cè)結(jié)果。YOLOv3中融合了其他檢測(cè)算法的優(yōu)點(diǎn)，在速度與精度上進(jìn)行了一定程度上的取舍，雖然檢測(cè)速度明顯低于YOLOv2，但檢測(cè)精度有了一定提升。YOLOv4的創(chuàng)新有馬賽克數(shù)據(jù)增強(qiáng)方法、自對(duì)抗訓(xùn)練方式、改進(jìn)注意力機(jī)制方式、改進(jìn)通帶組合方式等；YOLOv5采用了自適應(yīng)錨框、跨階段局部網(wǎng)絡(luò)等技術(shù)。

Liu等人提出了SSD算法。SSD算法使在特征圖上生成多個(gè)默認(rèn)框，直接在默認(rèn)框上微調(diào)來(lái)預(yù)測(cè)最終的結(jié)果，此外，SSD算法在許多特征圖上預(yù)測(cè)，其對(duì)于小目標(biāo)的檢測(cè)的性能相比于其他算法也更加高效。

2.1 YOLO系列目標(biāo)檢測(cè)算法

2.1.1 YOLOv1算法

YOLOv1是首個(gè)單階段的深度學(xué)習(xí)目標(biāo)檢測(cè)算法，具備非?？旖莸臋z測(cè)速度，如圖3所示，該算法的操作步驟是先把輸入的圖像分成×個(gè)不同的網(wǎng)格區(qū)域，每個(gè)網(wǎng)格設(shè)置了類別分?jǐn)?shù)和置信度信息。由于在YOLOv1算法只對(duì)每個(gè)網(wǎng)格生成預(yù)測(cè)同一類別的兩個(gè)邊界框，所以對(duì)于密集的小目標(biāo)其檢測(cè)精度急劇下降。

圖3 YOLO網(wǎng)絡(luò)結(jié)構(gòu)

2.1.2 YOLOv2算法

首先，YOLOv2通過(guò)增加BN層從而提升了2%的mAP，BN層能幫助模型起到正則化的作用，使用BN層后能夠?qū)⒉辉傩枰猟ropout操作（dropout操作起到減輕過(guò)擬合的作用）；其次，采用了更高分辨率的分類器，YOLOv1算法使用224×224大小圖像訓(xùn)練網(wǎng)絡(luò)，而YOLOv2算法使用的448×448大小的圖像輸入網(wǎng)絡(luò)訓(xùn)練能夠得到更大分辨率的分類器，進(jìn)一步提升了約4%的mAP值。然后，YOLOv1中是直接預(yù)測(cè)目標(biāo)的高度、寬度和中心坐標(biāo)的。YOLOv2采用基于先驗(yàn)框偏移的預(yù)測(cè)相比于直接預(yù)測(cè)坐標(biāo)，能簡(jiǎn)化目標(biāo)邊界框預(yù)測(cè)的問(wèn)題。最后，YOLOv2使用k-means聚類得到合適的先驗(yàn)框尺寸，對(duì)于網(wǎng)絡(luò)而言，如果選取合適的priors去訓(xùn)練網(wǎng)絡(luò)，是更容易去學(xué)習(xí)并且能得到比較好的檢測(cè)效果。YOLOv2進(jìn)行預(yù)測(cè)時(shí)，將priors的中心坐標(biāo)設(shè)置在cell的左上角，計(jì)算相對(duì)偏移量。

YOLOv2算法具有更高的精度、更快的速度和更多的分類量。YOLOv2所使用的DarkNet-19網(wǎng)絡(luò)也使其具備更快的速度。如圖4所示為YOLOv2的網(wǎng)絡(luò)結(jié)構(gòu)。YOLOv2算法在VOC 2007數(shù)據(jù)集上測(cè)試所得到的mPA值隨著檢測(cè)速度FPS的改變也存在小范圍的改變。當(dāng)FPS達(dá)到67時(shí)，mAP為76.8，當(dāng)FPS降低為40時(shí)，mAP上升到78.6。由于YOLOv2算法檢測(cè)分支很少且只有一條導(dǎo)致YOLOv2算法在小目標(biāo)檢測(cè)中的表現(xiàn)不佳。

圖4 YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)

2.1.3 YOLOv3算法

YOLOv3算法將不再使用DarkNet-19網(wǎng)絡(luò)而是使用了DarkNet-53網(wǎng)絡(luò)，同時(shí)使用Logistic分類器，并借鑒了提高模型魯棒性的FPN多尺度檢測(cè)思想。如圖5所示為YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)圖，YOLOv3中先驗(yàn)框的尺寸通過(guò)圖像由K-means算法得到，如圖6所示主干網(wǎng)絡(luò)為Darknet-53。

圖5 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

圖6 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3算法對(duì)輸入圖像通過(guò)Darknet-53網(wǎng)絡(luò)來(lái)提取特征，經(jīng)過(guò)第一個(gè)Convolutional Set，一條分支通向預(yù)測(cè)特征層1，另一條分支經(jīng)過(guò)一個(gè)上采樣層，高和寬會(huì)擴(kuò)大為原來(lái)的2倍和Darknet-53中26×26的輸出在深度上進(jìn)行拼接，將拼接后的特征矩陣再經(jīng)過(guò)一個(gè)Convolutional Set進(jìn)行處理。YOLOv3在VOC數(shù)據(jù)集上檢測(cè)速度可以達(dá)到20 FPS，mAP也可以達(dá)到60%。在YOLOv3剛推出的時(shí)候，其使用MSE為邊框回歸損失函數(shù)，但在后續(xù)的使用中發(fā)現(xiàn)MSE函數(shù)的定位能力并不夠強(qiáng)，于是后續(xù)又提出了IOU、GIOU等一系列邊框回歸損失函數(shù)。

2.1.4 YOLOv4和YOLOv5算法

YOLOv4算法在輸入端比YOLOv3算法通過(guò)增加Mosaic數(shù)據(jù)增強(qiáng)和SAT自對(duì)抗訓(xùn)練來(lái)豐富檢測(cè)目標(biāo)的背景和增強(qiáng)數(shù)據(jù)，使用cmBN來(lái)保證BM中batch的統(tǒng)計(jì)維度更加準(zhǔn)確。在檢測(cè)端中，YOLOv4算法在引入了SPP的同時(shí)還引用了FPN+PAN結(jié)構(gòu)。YOLOv4算法的提出對(duì)深度學(xué)習(xí)的發(fā)展也起到了促進(jìn)作用，當(dāng)前深度學(xué)習(xí)中最新設(shè)計(jì)的訓(xùn)練方式都使用YOLOv4算法來(lái)驗(yàn)證訓(xùn)練效率。

YOLOv5算法的產(chǎn)生源自于視覺(jué)領(lǐng)域SOTA方法的整合，大量SOTA方法的使用也使得其具備更加優(yōu)秀的性能。YOLOv5算法在速度和使用的靈活性上有了明顯的提高的同時(shí)速度也只是稍慢于YOLOv4。

2.2 SSD系列目標(biāo)檢測(cè)算法

對(duì)于輸入圖像尺寸為512×512像素的SSD網(wǎng)絡(luò)，其檢測(cè)精度甚至超過(guò)了Faster R-CNN。

如圖7所示為輸入圖像尺寸為300×300像素的SSD網(wǎng)絡(luò)結(jié)構(gòu)。圖像在輸入網(wǎng)絡(luò)前需要先經(jīng)過(guò)旋轉(zhuǎn)、縮放等預(yù)處理，然后圖片輸入到以VGG16作為主干網(wǎng)的部分，SSD網(wǎng)絡(luò)中修改了VGG16網(wǎng)絡(luò)中的部分池化核，SSD網(wǎng)絡(luò)將VGG16網(wǎng)絡(luò)的Conv4_3的輸出作為SSD網(wǎng)絡(luò)的第一個(gè)預(yù)測(cè)特征層。依次通過(guò)1×1×1 024的卷積層和3×3×1 024的卷積層后得到第二個(gè)預(yù)測(cè)特征層，接著通過(guò)一系列的卷積層，共得到6個(gè)預(yù)測(cè)特征層。與YOLO系列算法不同的是，SSD算法含有多個(gè)檢測(cè)分支，這使得SSD算法在對(duì)包含多尺度的數(shù)據(jù)集進(jìn)行檢測(cè)時(shí)具有更高精度。

圖7 SSD網(wǎng)絡(luò)結(jié)構(gòu)

3 基于Anchor-free的目標(biāo)檢測(cè)算法

基于錨框的目標(biāo)檢測(cè)算法在公用數(shù)據(jù)集上雖然取得了較好的結(jié)果，然而引入錨框機(jī)制四個(gè)缺點(diǎn)：（1）Anchor相關(guān)參數(shù)（如長(zhǎng)寬比例、數(shù)量等）的變化都可能導(dǎo)致該算法的測(cè)試結(jié)果發(fā)生很大的改變；（2）固定化的Anchor大大降低了使用的靈活性，對(duì)于不同的數(shù)據(jù)集，Anchor都可能不相同，這也使得前期的準(zhǔn)備工作較為煩瑣；（3）在訓(xùn)練的過(guò)程中為了目標(biāo)邊界框能夠進(jìn)行匹配，大量生成了會(huì)被標(biāo)記為負(fù)樣本的Anchor，從而導(dǎo)致樣本無(wú)法均勻分布；（4）大量生成的Anchor會(huì)會(huì)消耗大量的系統(tǒng)內(nèi)存。

Law等人在2018年提出了Cornernet算法，將Cornernet應(yīng)用到檢測(cè)人體關(guān)鍵點(diǎn)的問(wèn)題上時(shí)體現(xiàn)出了較好的性能，使用左上角和右下角作為目標(biāo)邊界框的兩個(gè)關(guān)鍵點(diǎn)，將對(duì)目標(biāo)進(jìn)行檢測(cè)的問(wèn)題轉(zhuǎn)換為對(duì)關(guān)鍵點(diǎn)進(jìn)行檢測(cè)的問(wèn)題，將CornerNet在COCO數(shù)據(jù)集上進(jìn)行測(cè)試的結(jié)果顯示Average precision可以達(dá)到42%，該平均精度已經(jīng)優(yōu)于當(dāng)前所有的單階段檢測(cè)算法。但是CornerNet也存在只重點(diǎn)關(guān)注所檢測(cè)物體的邊角點(diǎn)，而對(duì)物體內(nèi)部的細(xì)節(jié)不進(jìn)行考慮的問(wèn)題。

Zhou等人在2019年一月提出了ExtremeNet算法，ExtremeNet算法在關(guān)注物體邊緣點(diǎn)的同時(shí)和也關(guān)注物體內(nèi)部的信息。為了減少關(guān)鍵點(diǎn)檢測(cè)方法中產(chǎn)生大量錯(cuò)誤的目標(biāo)邊界框Duan等人提出了CenterNet，該網(wǎng)絡(luò)結(jié)構(gòu)直接對(duì)物體的中心關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，完全體現(xiàn)了Anchor free的思想。與之前提出的Cornernet網(wǎng)絡(luò)相比，CenterNet具備更高的準(zhǔn)確率和預(yù)測(cè)正確率。

4 目標(biāo)檢測(cè)數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

4.1 目標(biāo)檢測(cè)數(shù)據(jù)集

Pascal VOC 2007、Pascal VOC 2012、ImageNet、MS-COCO等。

PASCAL VOC數(shù)據(jù)集是計(jì)算機(jī)視覺(jué)領(lǐng)域常用的數(shù)據(jù)集，圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割等計(jì)算機(jī)視覺(jué)任務(wù)通常使用PASCAL VOC數(shù)據(jù)集來(lái)驗(yàn)證相關(guān)研究的可行性，該數(shù)據(jù)集中包含的20個(gè)類別基本涵蓋到日常生活中的所有目標(biāo)。

MS-COCO數(shù)據(jù)集中包含更多實(shí)例對(duì)象，不僅標(biāo)注了邊框信息，還對(duì)每個(gè)目標(biāo)進(jìn)行實(shí)例分割來(lái)輔助定位。除此以外，MS-COCO數(shù)據(jù)集中包含了更多復(fù)雜情況，使得整個(gè)數(shù)據(jù)集更加符合真實(shí)世界的數(shù)據(jù)分布。

ImageNet數(shù)據(jù)集類屬CV領(lǐng)域數(shù)據(jù)集，包含1 400萬(wàn)以上被注釋過(guò)的圖像，ILSVRC競(jìng)賽作為機(jī)器數(shù)據(jù)領(lǐng)域權(quán)威的學(xué)術(shù)競(jìng)賽使用的圖像就是在ImageNet數(shù)據(jù)集中抽取樣本。

4.2 評(píng)價(jià)指標(biāo)

檢測(cè)速度（FPS）、精確率（PR）、召回率（RR）是目標(biāo)檢測(cè)算法性能的三個(gè)基本指標(biāo)。其中檢測(cè)速度（FPS）和各個(gè)類別的平均精度（mAP）作為性能評(píng)價(jià)主要指標(biāo)。

mAP計(jì)算公式如下：

其中，AP表示每一類別的準(zhǔn)確率，表示類別數(shù)量。

每秒傳幀數(shù)（FPS）在目標(biāo)檢測(cè)領(lǐng)域中FPS指的是模型每秒可以處理圖像的數(shù)量。假如FPS=20，即每秒鐘該模型可以處理20張圖像。在目標(biāo)檢測(cè)領(lǐng)域中FPS和mAP都是很重要的評(píng)價(jià)指標(biāo)，在實(shí)際應(yīng)用的過(guò)程中，我們還需平衡上述各個(gè)指標(biāo)，尋找出處理當(dāng)前任務(wù)的最優(yōu)模型。

5 結(jié) 論

目標(biāo)檢測(cè)在如今依然具有廣泛的應(yīng)用前景和較大的提升空間，本文章先介紹了目標(biāo)檢測(cè)技術(shù)的背景，然后將目標(biāo)檢測(cè)算法劃分為基于錨框的雙階段、基于錨框的單階段和基于Anchor Free的目標(biāo)檢測(cè)算法三個(gè)階段分布進(jìn)行介紹，并介紹了主流的數(shù)據(jù)集及主要性能評(píng)價(jià)指標(biāo)。隨著二十多年的研究目標(biāo)檢測(cè)已經(jīng)廣泛應(yīng)用在日常實(shí)踐中，但是在其發(fā)展的過(guò)程中也存在著一些挑戰(zhàn)：目標(biāo)尺寸小，像素點(diǎn)少，無(wú)法提取足夠的有效特征；目標(biāo)物體的背景復(fù)雜，難以定位準(zhǔn)確的目標(biāo)輪廓；匹配過(guò)程中大量負(fù)樣本的Anchor，導(dǎo)致樣本分布不均衡。

結(jié)合當(dāng)前目標(biāo)檢測(cè)領(lǐng)域中仍有較大發(fā)展空間的問(wèn)題，未來(lái)可以從以下六個(gè)方面進(jìn)一步研究：

（1）輕量型目標(biāo)檢測(cè)。在保證一定精度的情況下，減少計(jì)算量來(lái)加快檢測(cè)速度。比如智能相機(jī)、人臉驗(yàn)證等可以在移動(dòng)設(shè)備如手機(jī)上實(shí)現(xiàn)的應(yīng)用。當(dāng)前目標(biāo)檢測(cè)算法的性能仍難以滿足移動(dòng)設(shè)備的需求，這使得需要通過(guò)購(gòu)買更高端的設(shè)備來(lái)提升運(yùn)行的速度，但也將增加相應(yīng)的費(fèi)用。因此在未來(lái)輕量級(jí)目標(biāo)檢測(cè)依舊會(huì)是研究的主要趨勢(shì)之一。

（2）領(lǐng)域自適應(yīng)的目標(biāo)檢測(cè)。在現(xiàn)實(shí)生活中很多數(shù)據(jù)不滿足目標(biāo)檢測(cè)訓(xùn)練的條件，如何快速且高質(zhì)量的訓(xùn)練這些數(shù)據(jù)也是一個(gè)非常大的挑戰(zhàn)。

（3）與AutoML結(jié)合的目標(biāo)檢測(cè)。當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法設(shè)計(jì)過(guò)程中人員的從業(yè)經(jīng)驗(yàn)所占的影響依然很大。為了設(shè)計(jì)檢測(cè)算法時(shí)減少人為參與未來(lái)的一個(gè)發(fā)展方向就是將目標(biāo)檢測(cè)與AutoML技術(shù)結(jié)合。

（4）小目標(biāo)檢測(cè)。在場(chǎng)景圖像中檢測(cè)小目標(biāo)一直是目標(biāo)檢測(cè)領(lǐng)域長(zhǎng)期以來(lái)所面臨的一個(gè)挑戰(zhàn)。如自動(dòng)駕駛，遠(yuǎn)程醫(yī)療，衛(wèi)星云圖分析都與小目標(biāo)檢測(cè)息息相關(guān)，因此提高小目標(biāo)檢測(cè)的性能一直以來(lái)都是研究的重點(diǎn)和難點(diǎn)。

（5）視頻檢測(cè)。當(dāng)前的目標(biāo)檢測(cè)算法大多都是基于對(duì)靜態(tài)圖像即單個(gè)圖像的目標(biāo)檢測(cè)而設(shè)計(jì)的，沒(méi)有考慮到圖像與圖像間的相關(guān)性。在未來(lái)可以通過(guò)研究視頻幀序列之間的空間和時(shí)間相關(guān)性來(lái)改善視頻檢測(cè)性能。

（6）信息融合目標(biāo)檢測(cè)。自動(dòng)駕駛領(lǐng)域中需要結(jié)合多種不同模態(tài)的數(shù)據(jù)源進(jìn)行分析。所以如何將訓(xùn)練好的檢測(cè)模型遷移到不同模態(tài)的數(shù)據(jù)中，如何通過(guò)信息融合技術(shù)來(lái)改進(jìn)檢測(cè)性能等也可以進(jìn)行更加深入的研究。