基于密集連接的FPN多尺度目標(biāo)檢測(cè)算法

張 寬 滕國(guó)偉* 范 濤 李 聰

1(上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院 上海 200444)2(上海大學(xué)通信與信息工程學(xué)院 上海 200444)3(華平信息技術(shù)股份有限公司 上海 200438)

0 引 言

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中一個(gè)重要的基礎(chǔ)研究領(lǐng)域。隨著具有出色特征提取和表達(dá)能力的深度卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)的出現(xiàn)和迅猛發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法得到了廣泛的重視和研究。目標(biāo)檢測(cè)是人臉識(shí)別、交通燈識(shí)別、異常行為監(jiān)控、無人駕駛以及智能機(jī)器人等人工智能相關(guān)領(lǐng)域的工作基礎(chǔ)，其主要工作是預(yù)測(cè)感興趣對(duì)象(ROI)在圖像中的位置，以及預(yù)測(cè)該對(duì)象ROI所屬的類別。

在深度學(xué)習(xí)網(wǎng)絡(luò)模型出現(xiàn)之前，目標(biāo)檢測(cè)的研究方法主要是通過手動(dòng)方式提取目標(biāo)對(duì)象檢測(cè)所需要的特征，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器(CNN-based Detector)憑借其出色的表現(xiàn)，迅速成為了目標(biāo)檢測(cè)領(lǐng)域新的研究方向，主要分為兩大類：二級(jí)目標(biāo)檢測(cè)和一級(jí)目標(biāo)檢測(cè)。二級(jí)目標(biāo)檢測(cè)方法首先通過篩選生成感興趣候選邊界框(ROI)，然后對(duì)篩選后的ROI做進(jìn)一步的類別得分預(yù)測(cè)和邊界框回歸，常見的算法有R-CNN[6]、Faster-RCNN[9]、Mask R-CNN[22]、R-FCN[10]以及FPN[2]等；一級(jí)目標(biāo)檢測(cè)算法舍棄了二級(jí)目標(biāo)檢測(cè)算法中的ROI生成部分，在一個(gè)端到端的網(wǎng)絡(luò)模型中直接完成目標(biāo)檢測(cè)的所有工作，主要有YOLO[4]、SSD[12]、DSSD[13]、RON[14]以及RetinaNet[15]等。

目標(biāo)檢測(cè)的主要任務(wù)是定位和識(shí)別圖像中出現(xiàn)的所有目標(biāo)對(duì)象，然而圖像中對(duì)象形狀和尺度的多樣性嚴(yán)重影響了基于深度學(xué)習(xí)目標(biāo)檢測(cè)器的檢測(cè)性能。雖然CNN網(wǎng)絡(luò)模型中不同深度的特征層具有不同尺度的感受野，不同尺度感受野對(duì)應(yīng)輸入圖像的不同尺度的對(duì)象區(qū)域，使用不同感受野特征層的特征信息能夠檢測(cè)不同尺度的對(duì)象。但是圖像中目標(biāo)對(duì)象尺度的隨機(jī)特性與CNN網(wǎng)絡(luò)模型的特征層感受野尺度固定不變特性之間的不一致，仍然是基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器性能不理想的主要原因之一。

針對(duì)目標(biāo)檢測(cè)的對(duì)象多尺度問題，最早的解決方法是圖形金字塔算法[7]，它使用不同尺度的訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的檢測(cè)模型來檢測(cè)不同尺度的目標(biāo)對(duì)象，如圖1(a)所示。圖形金字塔最大的不足是其模型過高的內(nèi)存消耗和計(jì)算復(fù)雜度。單一圖像輸入的目標(biāo)檢測(cè)器模型，相對(duì)來說模型參數(shù)更高效，比如SSD[12]和MS-CNN[1]直接使用具有不同感受野的多層預(yù)測(cè)特征層做不同尺度對(duì)象的檢測(cè)，如圖1(b)所示。而TDM[17]和FPN[2]通過引入自頂向下的傳輸模塊和橫向連接來彌補(bǔ)不同尺度對(duì)象對(duì)應(yīng)的預(yù)測(cè)特征層丟失的細(xì)節(jié)空間信息，如圖1(c)所示。PANet[11]通過額外的低層特征傳輸路徑來增強(qiáng)FPN的特征層中信息的多樣性，并使用自適應(yīng)的特征池化聚合各個(gè)層次的特征信息，提高尺度敏感檢測(cè)器的檢測(cè)性能。

圖1 多尺度目標(biāo)檢測(cè)網(wǎng)絡(luò)模型

大量關(guān)于特征層感受野尺度與檢測(cè)對(duì)象尺度之間關(guān)系的研究發(fā)現(xiàn)，僅靠一層特征層所具有的特征信息不足以滿足對(duì)相應(yīng)尺度范圍內(nèi)目標(biāo)對(duì)象的檢測(cè)和識(shí)別[11]。如圖2所示，折線(scale1,scale2,scale3,sacle4)分別表示4個(gè)尺寸不同(從小到大)的目標(biāo)對(duì)象檢測(cè)所需的特征信息集合在(F1,F2,F3,F4)4個(gè)不同感受野尺度的特征層中所占的比例。從折線scale1可以看出，小尺度對(duì)象檢測(cè)時(shí)所需的特征信息僅有30%分布在與其對(duì)應(yīng)的特征層F1上，將近70%的特征分布在其他感受野更大的特征層{F2,F3,F4}；折線sacle4表示大尺度對(duì)象檢測(cè)所需特征信息將近60%分布在其他特征層?，F(xiàn)實(shí)中大多數(shù)對(duì)象均是由不同尺度大小的部分/模塊組成，比如人或者其他動(dòng)物都是由不同尺度和形狀的軀體和器官組成。

圖2 不同尺度對(duì)象特征在不同層中的分布統(tǒng)計(jì)

為了實(shí)現(xiàn)對(duì)圖像中不同尺度對(duì)象的檢測(cè)，尤其是極端尺度(極大/極小)目標(biāo)對(duì)象的檢測(cè)，本文提出了一種能夠融合多個(gè)特征層的增強(qiáng)型FPN網(wǎng)絡(luò)模型——密集連接FPN(Dense Connectivity FPN，DC-FPN)。該網(wǎng)絡(luò)模型以FPN為基礎(chǔ)，將FPN的自底向上傳輸模塊的下采樣卷積使用空洞卷積[21]代替，空洞卷積能保證在空間分辨率不變的前提下，提升模型的感受野。DC-FPN使用密集連接代替原FPN中的橫向連接，該連接方式能夠融合多個(gè)包含低層精細(xì)空間信息和高層上下文語義信息的特征層，獲取多尺度目標(biāo)檢測(cè)所需的特征信息，提升模型的尺度魯棒性。實(shí)驗(yàn)表明，DC-FPN目標(biāo)檢測(cè)器能夠獲取不同尺度對(duì)象檢測(cè)所需的特征信息，并且能夠在不增加模型計(jì)算復(fù)雜度的情況下，提升檢測(cè)器的檢測(cè)精度。

1 模型介紹

1.1 DC-FPN目標(biāo)檢測(cè)器

目標(biāo)檢測(cè)所需的特征信息不只是分布在某一層特征層上，預(yù)測(cè)特征層僅從某一層中難以獲得目標(biāo)檢測(cè)所需的全部特征信息，如果能夠同時(shí)融合多個(gè)具有不同尺度感受野的特征層所包含的特征信息，則能夠提高檢測(cè)器的檢測(cè)性能。本文提出了一種能夠通過密集連接融合多層特征信息來實(shí)現(xiàn)不同尺度目標(biāo)檢測(cè)的尺度敏感目標(biāo)檢測(cè)網(wǎng)絡(luò)模型DC-FPN。如圖3所示，DC-FPN是通過改進(jìn)FPN[2]的橫向連接方式實(shí)現(xiàn)，用DenseNet[5]提出的密集連接代替原本FPN中的橫向連接，密集連接使FPN自頂向下傳輸模塊(top-down path)中的每個(gè)預(yù)測(cè)特征層{Pi}都能夠從FPN的自底向上傳輸模塊(bottom-up path)所有特征層{N4,N5,N6,N7}中獲取細(xì)粒度空間信息，以及從當(dāng)前層上一層特征層{Pi+1}中獲取高度抽象的語義信息，依此可以充分獲取多尺度目標(biāo)檢測(cè)所需的特征信息。同時(shí)，在FPN的自底向上傳輸模塊中使用空洞卷積代替下采樣卷積保證特征層的空間分辨率不變的前提下，增加網(wǎng)絡(luò)卷積層的感受野。

圖3 DC-FPN目標(biāo)檢測(cè)模型框架圖

1.2 DC-FPN自底向上傳輸模塊

因?yàn)榇罅烤矸e和池化層的存在，CNN網(wǎng)絡(luò)模型隨著模型深度的增加，網(wǎng)絡(luò)層的空間分辨率會(huì)逐層下降，同時(shí)特征層上像素點(diǎn)對(duì)應(yīng)輸入圖像的感受野也會(huì)逐漸增大。感受野尺度小、空間分辨率高的低層特征層擁有豐富的細(xì)粒度空間特征信息，有利于小尺度目標(biāo)對(duì)象的檢測(cè)；感受野尺度大、分辨率低的高層特征層包含有利于大尺度目標(biāo)類別識(shí)別的高度抽象的上下文語義信息語義信息。

DC-FPN使用感受野尺度不同的特征層來檢測(cè)與其對(duì)應(yīng)尺度大小的目標(biāo)對(duì)象。為了使目標(biāo)檢測(cè)模型能夠獲得充分的語義信息的同時(shí)保留足夠的細(xì)粒度空間信息，本文使用空洞卷積[21]代替FPN自底而上傳輸模塊中的下采樣卷積，實(shí)現(xiàn)在不增加計(jì)算量和保持空間分辨率不變率的同時(shí)增大特征層感受野尺度。

現(xiàn)在用ResNet50作為DC-FPN網(wǎng)絡(luò)模型的基礎(chǔ)部分，保持其前4個(gè)階段{Stage1,Stage2,Stage3,Stage4}網(wǎng)絡(luò)結(jié)構(gòu)不變，額外添加與Stage5結(jié)構(gòu)相似的Stage6和Stage7，如圖4(c)所示；{Stage5,Stage6,Stage7}中出現(xiàn)的3×3卷積均使用空洞因子為2的3×3空洞卷積代替，替換后的Bottleneck結(jié)構(gòu)如圖4(a-b)所示，空洞卷積保證{Stage5,Stage6,Stage7}與Stage4具有相同的空間分辨率，并增加模型相對(duì)于輸入圖像的感受野。為了不增加模型計(jì)算復(fù)雜度，將{Stage4,Stage5,Stage6,Stage7}的通道數(shù)均設(shè)為256；具有相同空間分辨率和不同感受野的{Stage4,Stage5,Stage6,Stage7}的輸出{N4,N5,N6,N7}共同組成DC-FPN的自底向上傳輸模塊。

(a) A,空洞bottleneck結(jié)構(gòu) (b) B,增加了1×1卷積映射 的空洞bottleneck結(jié)構(gòu)

1.3 密集連接

FPN[2]的自頂向下傳輸模塊由不同尺度對(duì)象對(duì)應(yīng)的預(yù)測(cè)特征層{P4,P5,P6,P7}組成，{P4,P5,P6,P7}擁有豐富的語義特征，并分別與FPN自底向上模塊中的特征層{N4,N5,N6,N7}一一對(duì)應(yīng)。為了提升小尺度目標(biāo)識(shí)別準(zhǔn)確度(召回率)和大尺度目標(biāo)回歸準(zhǔn)確度(IoU)，F(xiàn)PN中橫向連接可以輔助預(yù)測(cè)特征層{Pi}從FPN自底向上傳輸模塊中與其對(duì)應(yīng)的特征層{Ni}和具有豐富語義信息的預(yù)測(cè)特征層{Pi+1}中調(diào)制和選擇指定尺度對(duì)象檢測(cè)所需的特征信息，其模型結(jié)構(gòu)如圖5所示。

從對(duì)不同感受野尺度大小的特征層與不同尺度目標(biāo)對(duì)象之間關(guān)系的分析發(fā)現(xiàn)，僅使用特征層{Ni}和預(yù)測(cè)特征層{Pi+1}構(gòu)建預(yù)測(cè)特征層{Pi}，難以獲得目標(biāo)檢測(cè)所需的特征信息。為了充分融合多層特征層中的特征信息，DC-FPN網(wǎng)絡(luò)模型使用密集連接代替?zhèn)鹘y(tǒng)的橫向連接，直接將自底向上傳輸模塊中的各個(gè)特征層{N4,N5,N6,N7}連接到自頂向下傳輸模塊中各個(gè)預(yù)測(cè)特征層{P4,P5,P6,P7}。現(xiàn)以預(yù)測(cè)特征層P4為例做說明，其密集連接模型如圖6所示。

預(yù)測(cè)特征層P4的輸入由自底向上傳輸模塊中所有空間特征層{N4,N5,N6,N7}，以及語義特征層P5組成：

P4=H([N4,N5,N6,N7,P5])

(1)

式中:[N4,N5,N6,N7,P5]為P4的輸入特征層中特征融合的過程。DC-FPN自底向上傳輸模塊中各個(gè)特征層相同的空間分辨率，使得特征間融合變得非常簡(jiǎn)單。同時(shí)實(shí)驗(yàn)表明從各個(gè)輸入特征層中抽取的少量(比如16通道)特征信息的集合，便能為預(yù)測(cè)特征層提供目標(biāo)檢測(cè)所需的信息，因而在特征層融合前先使用1×1的卷積來降低輸入特征層的通道數(shù)量，這個(gè)過程能夠從諸多輸入層中提取當(dāng)前預(yù)測(cè)層所需的特征信息。這在一定程度降低模型的計(jì)算復(fù)雜度，并提升檢測(cè)器的參數(shù)效率。式(1)中的H(·)是由批量正則化層(BN)、激活函數(shù)層(RELU)以及3×3卷積層組成的特征層融合函數(shù)。如圖6所示，3×3表示連續(xù)的BN、RELU和3×3卷積，1×1表示連續(xù)的BN、RELU和1×1卷積層。

2 訓(xùn)練與測(cè)試

2.1 網(wǎng)絡(luò)實(shí)現(xiàn)

DC-FPN為全卷積神經(jīng)網(wǎng)絡(luò)，可以使用任意大小圖像[18]作為輸入，而輸出特征層的空間分辨率與輸入圖像的尺度成一定比例映射關(guān)系，不同的基礎(chǔ)網(wǎng)絡(luò)模型構(gòu)成和設(shè)置有不同的輸入、輸出以及中間特征提取過程。

本文使用ResNets[26]作為模型網(wǎng)絡(luò)基礎(chǔ)，其前4個(gè)Stages的網(wǎng)絡(luò)結(jié)構(gòu)保持不變，并額外增加兩個(gè)與Stage5結(jié)構(gòu)相同的Stage6和Stage7，后3個(gè)階段使用空洞卷積代替原本下采樣卷積，增加其感受野的同時(shí)保持其分辨率與Stage4相同({Stage4,Stage5,Stage6,Stage7}的空間分辨率下采樣步長(zhǎng)Stride={16,16,16,16})。DC-FPN在ResNet的基礎(chǔ)上構(gòu)建能夠使用不同預(yù)測(cè)特征層檢測(cè)不同尺度大小的目標(biāo)對(duì)象網(wǎng)絡(luò)模型，其自底向上傳輸模塊由{Stage4,Stage5,Stage6,Stage7}的輸出{N4,N5,N6,N7}共同組成。而DC-FPN的自頂向下傳輸模塊則使用密集連接代替原本的橫向連接從{N4,N5,N6,N7,Pn+1}中選擇和調(diào)制用于檢測(cè)特定尺度大小對(duì)象的特征信息，并生成對(duì)應(yīng)的預(yù)測(cè)特征層Pn，保持其特征通道數(shù)為256不變。自頂向下傳輸模塊的預(yù)測(cè)特征層{P4,P5,P6,P7}后分別跟隨分類子網(wǎng)絡(luò)和邊界框回歸子網(wǎng)絡(luò)，用來預(yù)測(cè)不同尺度的目標(biāo)對(duì)象所屬類別和所在位置的邊界框。

2.2 尺度敏感訓(xùn)練策略

DC-FPN的自頂向下傳輸模塊中的預(yù)測(cè)特征層分別具有不同尺度的感受野，能夠檢測(cè)出不同尺度大小的目標(biāo)對(duì)象。為了增強(qiáng)不同預(yù)測(cè)特征層檢測(cè)模塊的尺度敏感性，以及防止模型訓(xùn)練時(shí)訓(xùn)練數(shù)據(jù)與預(yù)測(cè)特征層尺度不匹配，本文在模型訓(xùn)練時(shí)使用尺度敏感訓(xùn)練策略[8]。

參考SNIP[3]提出的模型訓(xùn)練策略，分別為每個(gè)預(yù)測(cè)特征層{P4,P5,P6,P7}定義相應(yīng)的有效目標(biāo)尺度范圍[li,ui]，在訓(xùn)練網(wǎng)絡(luò)模型的預(yù)測(cè)特征層Pi及后續(xù)類別預(yù)測(cè)和邊界框回歸預(yù)測(cè)子網(wǎng)時(shí)，將邊界框尺度分布在范圍[li,ui]內(nèi)的對(duì)象標(biāo)注為正訓(xùn)練樣本，而其他尺度的對(duì)象標(biāo)注為負(fù)訓(xùn)練樣本。具體來說，在訓(xùn)練數(shù)據(jù)集中，假設(shè)目標(biāo)對(duì)象的邊界框真實(shí)值的長(zhǎng)和寬分別為h和w，當(dāng)它滿足式(2)定義的范圍區(qū)間時(shí)，則認(rèn)為該對(duì)象相對(duì)于預(yù)測(cè)特征層Pi是有效的。

(2)

當(dāng)訓(xùn)練好的模型做前向預(yù)測(cè)時(shí)，首先從預(yù)測(cè)結(jié)果中濾除尺度不在指定區(qū)間范圍[li,ui]的邊界框；然后使用NMS或者soft-NMS從所有預(yù)測(cè)特征層預(yù)測(cè)得到的預(yù)測(cè)結(jié)果集合中選擇最終的檢測(cè)結(jié)果。

2.3 匹配策略和損失函數(shù)

(1) 預(yù)定義邊界框設(shè)置：在訓(xùn)練數(shù)據(jù)預(yù)處理時(shí)需要按照上述訓(xùn)練策略將預(yù)定義邊界框與預(yù)測(cè)特征層關(guān)聯(lián)起來。預(yù)測(cè)特征層上每個(gè)像素點(diǎn)均有一組多尺度多長(zhǎng)寬比的預(yù)定義邊界框與其對(duì)應(yīng)。假設(shè)Smin為特征層相對(duì)與輸入圖像的最小縮放尺度，每個(gè)特征圖k對(duì)應(yīng)的預(yù)定義邊界框的尺度Sk為：

Sk={(2k-1)·Smin·2k·Smin}k∈{1,2,3,4,5,6}

(3)

其長(zhǎng)寬比設(shè)為{1∶2,1∶1,2∶1}。在訓(xùn)練樣本預(yù)處理時(shí)，與邊界框真實(shí)值之間的重疊率(IoU)高于閾值(0.5)的預(yù)定義邊界框設(shè)為正樣本，其余低于閾值的預(yù)定義邊界框的則作為負(fù)樣本。上述預(yù)定義邊界框匹配策略導(dǎo)致正負(fù)樣本不平衡問題，本文使用負(fù)樣本挖掘策略將正負(fù)樣本比例調(diào)整為1∶3。

(2) 分類子網(wǎng)絡(luò)模型：分類子網(wǎng)絡(luò)的作用是預(yù)測(cè)當(dāng)前預(yù)測(cè)特征層中像素點(diǎn)處預(yù)定義邊界框內(nèi)對(duì)象所屬類別的概率，它包含一個(gè)1×1卷積層和兩個(gè)3×3卷積層，每個(gè)卷積層前面都有一個(gè)正則化層BN和RELU激活層，最后一個(gè)卷積層包含K×A個(gè)卷積濾波器，其中K表示對(duì)象所屬類別的個(gè)數(shù)，A指每個(gè)空間像素點(diǎn)位置處預(yù)定義邊界框的數(shù)量，此處預(yù)設(shè)為6。分類損失用多個(gè)類別之間置信度的Softmax函數(shù)表示。

(4) 損失函數(shù)：目標(biāo)檢測(cè)網(wǎng)絡(luò)模型的損失函數(shù)是分類損失和邊界框回歸損失的聯(lián)合損失：

L(a,I,θ)=Lcls(ya,pcls(I,a,θ))+λ·1[ya>0]·

Lloc(φ(ba,a)-ploc(I,a,θ)

(4)

式中：a表示預(yù)定義邊界框；I表示輸入圖像;θ表示模型優(yōu)化參數(shù)；Lcls為分類損失；Lloc為邊界框回歸損失；ya∈{1,2,…,K}是類標(biāo)簽，ya=0表示當(dāng)預(yù)定義邊界框a不匹配；ploc(I,a,θ)和pcls(I,a,θ)分別表示預(yù)測(cè)得到的邊界框偏移量和對(duì)應(yīng)的類別概率值；φ(ba,a)是預(yù)定義邊界框a相對(duì)于邊界框真實(shí)值ba的偏移量；λ為兩個(gè)損失函數(shù)的權(quán)衡系數(shù)。

3 實(shí) 驗(yàn)

本文使用MS COCO數(shù)據(jù)集[24]作為訓(xùn)練和評(píng)估DC-FPN目標(biāo)檢測(cè)器的基準(zhǔn)數(shù)據(jù)集。該數(shù)據(jù)集包含80個(gè)類別，80 000幅訓(xùn)練數(shù)據(jù)集圖像，40 000幅驗(yàn)證數(shù)據(jù)集圖像；將40 000幅驗(yàn)證集分為35 000幅圖像的large-val驗(yàn)證數(shù)據(jù)集和5 000幅圖像的mini-val驗(yàn)證數(shù)據(jù)集。所有實(shí)驗(yàn)的網(wǎng)絡(luò)模型均使用訓(xùn)練數(shù)據(jù)集和large-val驗(yàn)證數(shù)據(jù)集(約115 000幅圖像)訓(xùn)練，并在5 000幅圖像的mini-val數(shù)據(jù)集上做測(cè)試。測(cè)試時(shí)使用MS COCO標(biāo)準(zhǔn)的評(píng)價(jià)指標(biāo)(Standard COCO Metrics)來評(píng)估DC-FPN網(wǎng)絡(luò)模型的檢測(cè)性能。

DC-FPN檢測(cè)器使用4個(gè) NVIDIA 1080Ti GPUs進(jìn)行端到端訓(xùn)練，采用同步SGD優(yōu)化，權(quán)值衰減設(shè)置為0.000 1，沖量為0.9；每個(gè)批次包含8幅訓(xùn)練圖像，訓(xùn)練圖像尺度為512×512。訓(xùn)練初始時(shí)學(xué)習(xí)率lr設(shè)置為0.02，分別在經(jīng)過120 000次和160 000次迭代后學(xué)習(xí)下降10倍，最終在第180 000次迭代結(jié)束訓(xùn)練；并且在前500次迭代中使用較小的學(xué)習(xí)率lr=0.02×0.3來預(yù)熱模型的訓(xùn)練。

3.1 實(shí)驗(yàn)分析

本文主要通過3組實(shí)驗(yàn)的對(duì)比來檢驗(yàn)DC-FPN目標(biāo)檢測(cè)器的各個(gè)模塊在整個(gè)模型中所起的作用，這3組實(shí)驗(yàn)分別是：(a) ResNet50+FPN，所有實(shí)驗(yàn)的基準(zhǔn)；(b) ResNet50+Dilate-FPN，為了保持特征層空間分辨率不變，使用空洞卷積代替FPN自底向上傳輸模塊中使用的下采樣卷積；(c) ResNet50+DC-FPN，F(xiàn)PN橫向連接使用Concatenation融合多層語義特征，即密集連接。3組實(shí)驗(yàn)主要使用召回率(AR)和準(zhǔn)確率(AP)兩個(gè)指標(biāo)來評(píng)估。不同的IoU閾值上的AP和AR值可以體現(xiàn)檢測(cè)器邊界框回歸能力，當(dāng)IoU閾值越大，對(duì)檢測(cè)器邊界框回歸能力要求越高；不同尺度范圍的邊界框區(qū)(small、middle、large)上的AP和AR值表示細(xì)節(jié)信息對(duì)不同尺度大小對(duì)象的影響。

通過比較表1中不同IoU閾值條件下不同尺度對(duì)象的AP和AR值來分析不同模型的檢測(cè)性能。首先比較模型(a)與(b)，可以發(fā)現(xiàn)大尺度對(duì)象的AP50和AR50沒有有明顯改變，而AP85和AR85值提高了5%～6%(28.7vs 33.9@AP85，47.6vs54.1 @AR85)。這說明使用空洞卷積保持FPN自底向上傳輸模塊中的特征層空間分辨率不變，使模型能夠獲得更多對(duì)大尺度目標(biāo)回歸有幫助的空間信息。同時(shí)可以發(fā)現(xiàn)，小尺度對(duì)象的AP85、AR85以及AP50均沒有明顯提升(1%左右)，而AR50值提高了5.9%(57.5vs63.4@AR50)，這說明保持特征層空間分辨率不縮小，對(duì)小尺度目標(biāo)的位置回歸沒有太大幫助，但對(duì)降低小尺度對(duì)象的漏檢率是有好處的。

表1 不同IoU閾值和不同尺度對(duì)象下不同檢測(cè)算法的檢測(cè)精度(AP)和召回率(AR)比較

比較檢測(cè)模型(b)和(c)，從表1可以發(fā)現(xiàn)大尺度對(duì)象的AP85和AR85分別提升了4.6%(37.5vs33.6@ AP85)和5.8%(60.3vs54.1@ AR85)，小目標(biāo)對(duì)象的AP85和AR85也分別提升了2.9%(7.6vs10.5@ AP85)和3.6%(16.8vs20.4@ AR85),這說明DC-FPN中的密集連接能夠從不同層中獲得對(duì)象邊界框回歸所需的特征信息。小尺度對(duì)象的AP85/AR85值的提升也說明了從感受野更大的特征層中也能得到用于邊界框回歸的特征信息。從表1也可以看出，小尺度目標(biāo)的AP50和AR50也提升了2%～3%，這說明從其他層抽取的特征信息對(duì)當(dāng)前層對(duì)象的檢測(cè)和識(shí)別都有幫助。

3.2 結(jié)果對(duì)比

本文使用MS COCO測(cè)試(test-dev)數(shù)據(jù)集和COCO標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)測(cè)試和評(píng)估DC-FPN目標(biāo)檢測(cè)器的性能，與其他優(yōu)秀目標(biāo)檢測(cè)算法的性能比較如表2所示。表2中所有的與DC-FPN檢測(cè)器做比較的算法模型大多使用ResNet101+FPN作為其模型基本結(jié)構(gòu)，CornerNet[23]使用HourglassNet網(wǎng)絡(luò)結(jié)構(gòu)，SSD512[12]使用的是VGG。Two-stage目標(biāo)檢測(cè)算法的輸入圖像尺寸為1 280×800，而One-stage目標(biāo)檢測(cè)算法的尺寸為512×512；其中使用“*”標(biāo)注的算法則是在模型測(cè)試時(shí)使用多尺度版本(Multi-Scale)測(cè)試數(shù)據(jù)集，本文提出的算法DC-FPN沒有使用多尺度測(cè)試數(shù)據(jù)集測(cè)試。

表2 MS COCO測(cè)試數(shù)據(jù)集測(cè)試結(jié)果比較

從表2中不同目標(biāo)檢測(cè)算性能的比較，可以發(fā)現(xiàn)在不使用多尺度測(cè)試數(shù)據(jù)集測(cè)試時(shí)，本文提出的DC-FPN目標(biāo)檢測(cè)器的檢測(cè)精度AP可以達(dá)到43.1%，比現(xiàn)今最優(yōu)目標(biāo)檢測(cè)TridentNet[8]、CornerNet[23]以及Cascade R-CNN[20]分別高了0.4%、2.6%和0.3%，但是DC-FPN的網(wǎng)絡(luò)模型復(fù)雜度要小很多，同時(shí)還比使用了多尺度測(cè)試數(shù)據(jù)集的RefineNet[16]高了1.3%。即使是使用模型更簡(jiǎn)單的Resnet-50作為基礎(chǔ)網(wǎng)絡(luò)，DC-FPN的檢測(cè)性能也能與其他網(wǎng)絡(luò)相媲美。

4 結(jié) 語

本文提出了一種基于多層特征層融合的方式來獲取多尺度對(duì)象檢測(cè)所需特征信息的尺度敏感特征檢測(cè)算法DC-FPN。該算法以FPN為網(wǎng)絡(luò)基礎(chǔ)，使用空洞卷積替換FPN自底向上傳輸模塊中的下采樣卷積，能夠增加模型感受野的同時(shí)保持其特征層空間分辨率不變；同時(shí)使用密集連接代替原本的橫向連接，使FPN的自頂向下傳輸模塊的預(yù)測(cè)特征層能夠從多層特征層中選擇和調(diào)制對(duì)應(yīng)尺度對(duì)象檢測(cè)所需的特征信息。大量實(shí)驗(yàn)表明，DC-FPN目標(biāo)檢測(cè)器能夠從多層特征層中獲得檢測(cè)不同尺度對(duì)象所需的豐富的特征信息，在MS COCO數(shù)據(jù)集訓(xùn)練和測(cè)試下，其檢測(cè)準(zhǔn)確度(mAP)可以達(dá)到43.1%。