基于CB-CenterNet的自動駕駛遮擋目標(biāo)檢測

時(shí)義,賈世杰

(大連交通大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，遼寧 大連 116028)

在自動駕駛場景下，車輛前方物體的檢測會受多種因素的影響，例如：光照、角度、形變、遮擋等，而其中遮擋目標(biāo)檢測問題在自動駕駛中亟待解決.根據(jù)檢測物體的被遮擋程度，將遮擋分為三個等級：0為無遮擋；1%～45%為部分遮擋;大于等于45%為嚴(yán)重遮擋；為解決自動駕駛場景下的遮擋檢測問題，目前普遍采用基于深度學(xué)習(xí)的目標(biāo)檢測方法，其中可以按訓(xùn)練過程是否預(yù)先設(shè)定錨點(diǎn)分為Anchor-based和Anchor-free的方法.在Anchor-based方法中，Wang等人[1]在Faster R-CNN[2]的基礎(chǔ)上提出Repulsion Loss，使預(yù)測框和真實(shí)框的距離縮短，與周圍其他目標(biāo)框的距離加大.相比于Anchor-based方法，Anchor-free方法在檢測精度和運(yùn)行速度上都有很大的提升，其中CenterNet[3]是基于關(guān)鍵點(diǎn)估計(jì)的端到端Anchor-free目標(biāo)檢測算法.姜建勇等[4]基于CenterNet算法設(shè)計(jì)具有注意力機(jī)制的特征融合模塊，提高算法模型的檢測精度.

盡管以上方法針對遮擋問題取得了一定效果，但Anchor-based檢測方法的網(wǎng)絡(luò)模型較大，超參數(shù)的選擇較為復(fù)雜，不滿足自動駕駛場景對算法性能的要求，并且由于自動駕駛場景的復(fù)雜性，上述方法不能很好地解決嚴(yán)重遮擋目標(biāo)的檢測問題.CenterNet是端到端可微分的Anchor-free檢測算法，其模型體積較小，無須事先設(shè)置錨點(diǎn)，避免了復(fù)雜的超參數(shù)選擇問題，同時(shí)免去了后處理過程，防止因該過程中非極大值抑制而導(dǎo)致目標(biāo)漏檢的情況，并且算法的整體檢測速度較快，實(shí)現(xiàn)了檢測精度和速度的平衡，滿足自動駕駛場景對檢測算法的要求.本文提出一種基于改進(jìn)CenterNet(CB-CenterNet)的無錨點(diǎn)端到端檢測算法，以實(shí)現(xiàn)自動駕駛場景中被遮擋物體的檢測.

1 CB-CenterNet檢測網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

CB-CenterNet網(wǎng)絡(luò)由四部分組成，分別是：輸入部分、特征提取部分、檢測頭部分和輸出部分.輸入為經(jīng)過裁剪處理后大小為512×512×3的圖片.網(wǎng)絡(luò)的特征提取部分首先在CenterNet的特征提取骨干網(wǎng)絡(luò)DLA34-Backbone的基礎(chǔ)上，通過借鑒CBNet[5]差級級聯(lián)結(jié)構(gòu)，設(shè)計(jì)了具有增強(qiáng)復(fù)合連接模塊的CBDLA34-Backbone差級級聯(lián)特征融合結(jié)構(gòu)；其次對CBAM(Convolutional Block Attention Module)注意力模塊[6]進(jìn)行擴(kuò)展，在CBDLA34-Backbone每個HDA模塊的殘差塊中添加了Fusion-CBAM注意力模塊.網(wǎng)絡(luò)的檢測頭部分將CenterNet三個檢測支路改變?yōu)閮蓚€檢測支路，并在兩個支路中都添加改進(jìn)的高斯采樣模塊.輸出部分圖片大小為512×512×3.改進(jìn)的CB-CenterNet檢測網(wǎng)絡(luò)如圖1所示.

圖1 CB-CenterNet檢測網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1.1 增強(qiáng)復(fù)合連接模塊

在CBNet中，通過復(fù)合連接模塊將分支網(wǎng)絡(luò)與主干網(wǎng)絡(luò)進(jìn)行連接，復(fù)合連接模塊由1×1卷積和批量歸一化層組成，在分支網(wǎng)絡(luò)的淺層特征輸出中，包含更多的內(nèi)容描述、位置和細(xì)節(jié)特征信息，但1×1卷積的感受野較小，不能充分利用淺層的特征輸出，影響網(wǎng)絡(luò)的特征融合.

為增強(qiáng)檢測網(wǎng)絡(luò)對遮擋目標(biāo)的特征提取和特征融合能力，在CBDLA34-Backbone中設(shè)計(jì)了增強(qiáng)復(fù)合連接模塊(Enhanced Composite Connection Module，ECCM)，將支路DLA34-Backbone高層輸出的小尺寸特征圖在ECCM中進(jìn)行多尺度的特征提取和上采樣后，再與主干網(wǎng)絡(luò)DLA34-Backbone低層輸入的大尺寸特征圖進(jìn)行特征融合.ECCM由1×1普通卷積、3×3的深度可分離卷積、批量歸一化和最近鄰插值上采樣組成，增強(qiáng)復(fù)合連接模塊如圖2所示.

圖2 增強(qiáng)復(fù)合連接模塊

其中，深度可分離卷積由逐通道卷積和逐點(diǎn)卷積組成，逐通道卷積中，對輸入層的每個通道獨(dú)立進(jìn)行卷積運(yùn)算.逐點(diǎn)卷積中，卷積運(yùn)算會將逐通道卷積的輸出在特征通道方向上進(jìn)行加權(quán)操作，生成新的特征圖，相比于1×1卷積，3×3的深度可分離卷積不僅具有更大的感受野，而且參數(shù)量和運(yùn)算成本也較低.

在ECCM中添加不同大小的卷積核可以獲得圖像中不同大小的感受野信息，有利于網(wǎng)絡(luò)提取不同程度遮擋目標(biāo)的特征，發(fā)掘不同大小的感受野對不同程度遮擋目標(biāo)的感知能力，獲得更豐富的語義信息.

1.1.2 Fusion-CBAM注意力模塊

在CBAM通道注意力模塊中，對輸入特征向量進(jìn)行通道注意力權(quán)值的計(jì)算時(shí)，使用全局平均池化和全局最大池化將特征向量分解為每個特征通道上只有一個像素，這會導(dǎo)致特征向量的空間信息缺失，破壞了通道維度和空間維度的交互.為此本文針對自動駕駛場景中嚴(yán)重遮擋目標(biāo)的檢測問題，通過擴(kuò)展CBAM中的通道注意力模塊，提出Fusion-CBAM注意力模塊.

Fusion-CBAM注意力模塊由融合通道注意力模塊(Fusion Channel Attention，F(xiàn)CA)和空間注意力模塊(Spatial Attention，SA)組成，其中FCA由三個負(fù)責(zé)跨維度交互的注意力模塊組成，分別是：①負(fù)責(zé)捕獲通道維度C與空間維度H跨維度交互的CHA(Channel High Attention)注意力模塊；②負(fù)責(zé)捕獲通道維度C和空間維度W跨維度交互的CWA(Channel Width Attention)注意力模塊；③負(fù)責(zé)捕獲不同通道間的跨通道維度交互的GPEA(Global Pooling Efficient Attention)注意力模塊.Fusion-CBAM注意力模塊如圖3所示.

圖3 Fusion-CBAM注意力模塊

Fusion-CBAM的輸入特征向量為χ∈C×H×W，融合通道注意力模塊可以表示為：

(1)

(2)

(3)

(4)

其中，AvgPool和MaxPool為分別沿著各自維度的平均池化和最大池化，GAvgPoolC和GMaxPoolC表示沿著通道維度的全局平均池化和全局最大池化，Cat為特征拼接操作，ψ7×7為卷積核大小為7×7的卷積層，C1d為一維卷積操作，將經(jīng)過σ激活函數(shù)的特征映射到輸入特征向量并將每個通道注意力模塊的輸出取平均構(gòu)成Fsuion-CBAM的FCA輸出AC(χ)∈C×H×W.

Fusion-CBAM的空間注意力模塊可以表示為：

AS(AC(χ))=AC(χ)Sa

(5)

其中，AC(χ)為輸入向量，Sa為空間注意力加權(quán)分支，AS(AC(χ))為完整的Fusion-CBAM注意力模塊的輸出.其中Sa可以表示為：

(6)

將輸入特征沿著特征通道維度做平均池化和最大池化，再經(jīng)過一個卷積核大小為7×7的卷積層，最后將得到的注意力特征圖經(jīng)過σ激活函數(shù)得到具有權(quán)重激活值的注意力加權(quán)分支Sa.

1.1.3 改進(jìn)高斯采樣模塊

通過借鑒TTFNet[7]編碼更多的訓(xùn)練樣本加快網(wǎng)絡(luò)訓(xùn)練速度的思想，在檢測頭部分的分類分支和回歸分支中分別加入改進(jìn)的高斯采樣模塊(Improved Gaussian Sampling Module，IGSM)，IGSM使用的二維高斯核公式如式(7)所示：

(7)

其中，Km為二維高斯核，(x0,y0)為目標(biāo)物體的中心位置，σx和σy為對象尺寸自適應(yīng)標(biāo)準(zhǔn)差，其中α為超參數(shù)，(h,w)為目標(biāo)物體邊界框的大小.高斯熱圖Hm由Km產(chǎn)生，(H,W)為輸入圖像的高度和寬度，輸出步長r為4.

在CB-CenterNet的分類和回歸支路中使用IGSM生成高質(zhì)量的訓(xùn)練樣本，這樣既可以貼近真實(shí)物體的大小比例，使目標(biāo)分類更準(zhǔn)確，又能增強(qiáng)檢測網(wǎng)絡(luò)對遮擋目標(biāo)的檢測能力，加快模型訓(xùn)練速度，改進(jìn)前后訓(xùn)練樣本采樣方式對比如圖4所示.

圖4 改進(jìn)前后樣本采樣方式對比

1.2 損失函數(shù)

CB-CenterNet的總體損失L如式(8)所示：

L=ωlocLloc+ωregLreg

(8)

式中：Lloc為定位損失；Lreg為回歸損失；ωloc和ωreg為超參數(shù)，定位損失采用改進(jìn)的Focal-Loss，公式如式(9)所示：

(9)

回歸損失采用GIoULoss，如式(10)所示：

(10)

(11)

式中：Gm(i,j)為高斯核采樣在高斯熱圖的(i,j)點(diǎn)產(chǎn)生的高斯概率；Am為高斯采樣的范圍；am為第m個邊界框的面積.

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)所使用的操作系統(tǒng)為Ubuntu 16.04，編程語言為Python，使用隨機(jī)梯度下降法優(yōu)化損失函數(shù)，初始學(xué)習(xí)率設(shè)為6×10-4，最大迭代次數(shù)為120個epoch，權(quán)重衰減值為4×10-4，批量大小設(shè)為6.其他參數(shù)設(shè)置如下：改進(jìn)高斯采樣模塊中的超參數(shù)α設(shè)為0.54，總體損失L中的超參數(shù)ωloc和ωreg分別設(shè)為1和5，分類損失中的超參數(shù)αf和βf都設(shè)為2.

使用的數(shù)據(jù)集是從公共自動駕駛數(shù)據(jù)集BDD100K[8]中篩選出的白天場景下18 430張圖片，圖片尺寸為1 280×720，將數(shù)據(jù)集按7∶2∶1的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集.

實(shí)驗(yàn)采用平均精確率均值(mAP)、訓(xùn)練時(shí)間(TrainTime,TT)和每秒傳輸幀數(shù)(FPS)作為算法性能定量評價(jià)的標(biāo)準(zhǔn)，其中訓(xùn)練時(shí)間的計(jì)時(shí)單位為小時(shí)(h).平均精確率均值mAP的計(jì)算公式如式(12)所示:

(12)

其中，AP(Average Precision)是每類目標(biāo)的平均正確率，N是總的類別數(shù)量.

2.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文設(shè)計(jì)的遮擋目標(biāo)檢測算法的有效性，將CB-CenterNet分別與SSD、YOLOv3、CornerNet和CenterNet算法進(jìn)行對比，結(jié)果如表1所示.

表1 CB-CenterNet與其他主流算法測試結(jié)果對比

從表1可以看出，CB-CenterNet的mAP比CenterNet提高4.9%，訓(xùn)練時(shí)間比CenterNet縮短15.9 h，F(xiàn)PS比CenterNet降低17.8.與其他主流算法相比，隨著使用更嚴(yán)格的IOU閾值進(jìn)行計(jì)算，CB-CenterNet的mAP50提高4.5%～15.5%，mAP75提高4.5%～20.8%.說明CB-CenterNet能達(dá)到更高的檢測精度，且模型的采樣效率也得到提升，訓(xùn)練速度更快.

圖5是CB-CenterNet與其他主流算法針對不同程度遮擋目標(biāo)的檢測結(jié)果對比，從上到下依次是無遮擋目標(biāo)檢測對比、部分遮擋目標(biāo)檢測對比和嚴(yán)重遮擋目標(biāo)檢測對比.從圖中可與看出，隨著目標(biāo)被遮擋面積的增加，SSD和YOLOv3出現(xiàn)漏檢的現(xiàn)象，CornerNet和CenterNet檢測精度大幅下降，但CB-CenterNet算法仍能保持較高的檢測精度.原因是CB-CenterNet中的差級級聯(lián)特征融合結(jié)構(gòu)可以加強(qiáng)檢測網(wǎng)絡(luò)對遮擋目標(biāo)的特征提取和特征融合能力，對于嚴(yán)重遮擋目標(biāo)，F(xiàn)usion-CBAM注意力模塊仍能利用被遮擋目標(biāo)的可視區(qū)域，提取目標(biāo)可視區(qū)域的特征進(jìn)行目標(biāo)檢測.

(a) YOLOv3 (b) SSD (c) CornerNet (d) CenterNet (e) CB-CenterNet圖5 不同檢測算法針對目標(biāo)的不同程度遮擋檢測效果對比

為了驗(yàn)證具有增強(qiáng)復(fù)合連接模塊的差級級聯(lián)特征融合結(jié)構(gòu)、Fusion-CBAM注意力模塊和改進(jìn)的高斯采樣模塊在解決遮擋問題中的有效性，將CenterNet目標(biāo)檢測網(wǎng)絡(luò)作為測試基準(zhǔn)(Baseline)，按2.1實(shí)驗(yàn)設(shè)置分別進(jìn)行訓(xùn)練，測試結(jié)果如表2所示.

表2 模型消融實(shí)驗(yàn)測試結(jié)果

從表2中可以看出：

(1)與基準(zhǔn)模型相比，在CBNet的基礎(chǔ)上添加ECCM之后，mAP比Baseline提升3.1%，比CBNet提升1.2%，說明在復(fù)合連接中設(shè)計(jì)的具有不同感受野大小的卷積核可以更有效地提取特征，且整個模塊也能夠產(chǎn)生更好的特征融合效果，提升檢測模型的檢測能力；

(2)添加Fusion-CBAM注意力模塊之后，mAP比Baseline提升1.9%，比CBAM提升0.7%，說明在FCA中進(jìn)行通道和空間的跨維度交互，相比CBAM在通道注意力中只做特征通道間的交互，能充分利用網(wǎng)絡(luò)模型提取出有效特征信息，提高模型的檢測精度；

(3)與基準(zhǔn)模型相比，在添加IGSM之后，訓(xùn)練時(shí)間縮短25 h，mAP提升0.9%，原因是IGSM不僅能充分利用帶注釋的邊界框產(chǎn)生更多信息，加快網(wǎng)絡(luò)的訓(xùn)練速度，還能學(xué)習(xí)到被遮擋目標(biāo)可視部分的更多特征，提升檢測性能.

3 結(jié)論

針對自動駕駛場景下的遮擋目標(biāo)檢測問題，本文提出CB-CenterNet遮擋檢測模型，通過優(yōu)化網(wǎng)絡(luò)的特征提取和特征融合過程，引導(dǎo)模型關(guān)注遮擋目標(biāo).在BDD100K數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相比目前主流檢測算法CB-CenterNet有更高的檢測精度，但是測試速度比CenterNet有所下降，今后將對網(wǎng)絡(luò)進(jìn)行一定的輕量化處理，在保證檢測速度的前提下提高網(wǎng)絡(luò)對遮擋目標(biāo)的檢測能力.