基于改進(jìn)SSD的航拍城市道路車輛檢測(cè)方法*

宋世奇, 李 旭, 祝雪芬, 楊 峰, 武文翀, 吳琳琦

(1.東南大學(xué) 儀器科學(xué)與工程學(xué)院，江蘇 南京 210096； 2.交通運(yùn)輸部路網(wǎng)監(jiān)測(cè)與應(yīng)急處置中心，北京 100020；3.浙江大華技術(shù)股份有限公司，浙江 杭州 310000)

0 引 言

隨著我國汽車保有量的爆發(fā)性增長，加之我國道路交通狀況復(fù)雜，致使交通擁堵和交通事故頻發(fā)。為了解決上述問題，智能交通系統(tǒng)的有關(guān)研究受到了各界學(xué)者的廣泛關(guān)注[1]。其中，準(zhǔn)確實(shí)時(shí)地對(duì)城市道路中車輛進(jìn)行檢測(cè)是構(gòu)建智能交通系統(tǒng)必不可少的重要環(huán)節(jié)。然而，在固定位置安裝視覺傳感器對(duì)道路交通中車輛進(jìn)行檢測(cè)的傳統(tǒng)方法覆蓋范圍小，靈活性差，且成本較高。隨著無人機(jī)技術(shù)的不斷提升，基于無人機(jī)搭載視覺傳感器對(duì)道路車輛檢測(cè)研究成為近年來的研究熱點(diǎn)[2～4]。與固定位置安裝攝像頭相比，無人機(jī)航拍可提供更大視角，更廣覆蓋范圍，且具有更高靈活性，可應(yīng)用在關(guān)鍵道路區(qū)域和突發(fā)交通場(chǎng)景，但充分

發(fā)揮無人機(jī)航拍的大視野和高度靈活性優(yōu)勢(shì)的同時(shí)，該視角下的大部分具有稀少特征點(diǎn)的小尺度車輛目標(biāo)以及快速性要求也為車輛的準(zhǔn)確、實(shí)時(shí)檢測(cè)帶來了挑戰(zhàn)。

目前，國內(nèi)外針對(duì)于無人機(jī)航拍視角下常用的車輛檢測(cè)方法可分為三類：基于運(yùn)動(dòng)目標(biāo)檢測(cè)、人工特征加傳統(tǒng)機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的方法?；谶\(yùn)動(dòng)目標(biāo)檢測(cè)的方法具體主要有背景差法[5]、偵差法[5,6]和光流法[7]，該類方法實(shí)現(xiàn)簡單，但對(duì)背景變化高度敏感、對(duì)于低速行駛及小尺度車輛識(shí)別困難；基于人工特征并結(jié)合傳統(tǒng)機(jī)器學(xué)習(xí)的方法從圖像中提取車輛尺度不變特征變換(scale invariant feature transform,SIFT)、方向梯度直方圖(histogram of oriented gradients,HOG)等特征，然后采用支持向量機(jī)(support vector machine,SVM)、AdaBoost等常用的分類器進(jìn)行學(xué)習(xí)和分類車輛目標(biāo)[8]，該類方法只提取淺層次特征、對(duì)于擁有較多小目標(biāo)的航拍場(chǎng)景應(yīng)用效果不佳；而近年來隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)憑借其強(qiáng)大的特征提取能力被廣泛應(yīng)用于計(jì)算機(jī)視覺等多個(gè)領(lǐng)域。其中，以R-CNN(region with CNN features)系列為代表的多階段網(wǎng)絡(luò)因采用先提取目標(biāo)候選區(qū)域后進(jìn)行回歸定位與目標(biāo)分類的雙步策略而取得了較高精度，但其實(shí)時(shí)性較差，無法滿足于無人機(jī)航拍車輛檢測(cè)場(chǎng)景的實(shí)時(shí)性要求；而以SSD(single shot detector)[9]為代表的單階段卷積神經(jīng)網(wǎng)絡(luò)模型因采用直接以回歸方式解決目標(biāo)檢測(cè)問題的方法，故速度較多階段網(wǎng)絡(luò)更快，更適宜部署應(yīng)用在航拍車輛檢測(cè)場(chǎng)景中，但其對(duì)于該場(chǎng)景中占較大比例的小尺度車輛目標(biāo)檢測(cè)效果不佳。

針對(duì)以上幾類方法存在的問題，本文針對(duì)SSD深度學(xué)習(xí)網(wǎng)絡(luò)框架進(jìn)行改進(jìn)，搭建針對(duì)無人機(jī)航拍城市道路的車輛檢測(cè)網(wǎng)絡(luò)。

1 基于SSD網(wǎng)絡(luò)改進(jìn)的航拍車輛目標(biāo)檢測(cè)方法

1.1 默認(rèn)候選框參數(shù)優(yōu)化

SSD[9]是經(jīng)典的單階段深度學(xué)習(xí)網(wǎng)絡(luò)檢測(cè)框架，其主要思路是均勻地在圖像多個(gè)層數(shù)的特征圖上進(jìn)行密集抽樣，抽樣時(shí)采用不同尺度和長寬比，然后利用卷積網(wǎng)絡(luò)進(jìn)一步提取特征后直接進(jìn)行分類與回歸。其密集抽樣時(shí)默認(rèn)候選框參數(shù)的設(shè)置，包括尺度和長寬比兩個(gè)方面。對(duì)于先驗(yàn)框的尺度，基準(zhǔn)SSD網(wǎng)絡(luò)遵守一個(gè)線性遞增規(guī)則，即隨著特征圖尺寸降低，先驗(yàn)框尺度線性增加。該方法得到的默認(rèn)候選框參數(shù)并不適用于小尺度目標(biāo)占比較大的無人機(jī)航拍城市道路車輛檢測(cè)場(chǎng)景，因此，為充分利用無人機(jī)航拍場(chǎng)景下的車輛目標(biāo)多為小尺度的先驗(yàn)知識(shí)，提高網(wǎng)絡(luò)的檢測(cè)精度，本文針對(duì)無人機(jī)航拍城市道路車輛數(shù)據(jù)集，采用K-means++聚類算法，分別得到默認(rèn)候選框的尺度和寬高比信息。

其次，運(yùn)用K-means++聚類算法對(duì)默認(rèn)候選框尺度和寬高比兩個(gè)樣本集進(jìn)行聚類，包括初始化K個(gè)聚類中心以及進(jìn)行標(biāo)準(zhǔn)K-means聚類迭代兩個(gè)步驟，在兩個(gè)步驟中所采用距離公式均為

(1)

式中sk,rk分別為尺度樣本集S和寬高比樣本集R中單個(gè)樣本,μsj,μrj分別為針對(duì)尺度樣本集S和寬高比樣本集R聚類過程中的第j個(gè)聚類中心。

K-means++聚類算法摒棄隨機(jī)選擇K個(gè)初始聚類中心的方式，而是先隨機(jī)獲取一個(gè)樣本集中的數(shù)據(jù)作為第一個(gè)聚類中心，然后通過式(1)運(yùn)算得出計(jì)算每個(gè)樣本到最近聚類中心的距離，由此，每一個(gè)樣本都有一個(gè)長度，長度越大的樣本，被選為下一個(gè)聚類中心的概率越高。然后不斷重復(fù)至得到K個(gè)初始聚類中心，之后運(yùn)行基準(zhǔn)K-means聚類算法，該方法選擇的初始聚類中心較基準(zhǔn)方法更加準(zhǔn)確。默認(rèn)候選框尺度聚類K值設(shè)為5，對(duì)應(yīng)改進(jìn)SSD網(wǎng)絡(luò)中5個(gè)用于檢測(cè)回歸的特征圖，寬高比聚類則根據(jù)基準(zhǔn)SSD網(wǎng)絡(luò)經(jīng)驗(yàn)設(shè)為6，則迭代收斂后，得到聚類結(jié)果如表 1所示。與基準(zhǔn)SSD網(wǎng)絡(luò)相同，5個(gè)用于分類回歸的特征圖層依據(jù)其尺寸選擇相應(yīng)默認(rèn)候選框尺度，每個(gè)尺度對(duì)應(yīng)聚類得到的6個(gè)寬高比，共得到11 634個(gè)候選框。

表1 默認(rèn)候選框尺度與寬高比聚類結(jié)果

1.2 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

卷積網(wǎng)絡(luò)結(jié)構(gòu)中用于特征提取的骨干網(wǎng)絡(luò)對(duì)特征圖不斷利用池化操作進(jìn)行下采樣，會(huì)導(dǎo)致出現(xiàn)采樣混疊效應(yīng)。該現(xiàn)象導(dǎo)致特征圖中前景與背景的邊緣等特征發(fā)生畸變，經(jīng)后續(xù)多次下采樣致使特征畸變不斷累積。尤其對(duì)于航拍場(chǎng)景下的小目標(biāo)，因?yàn)槠錁?gòu)建特征的像素點(diǎn)稀少，混疊現(xiàn)象對(duì)于該場(chǎng)景下深度卷積網(wǎng)絡(luò)模型的最終檢測(cè)效果影響更加顯著，而在下采樣之前對(duì)提取到的特征進(jìn)行低通濾波操作可以較為明顯地改善這一現(xiàn)象。因此，為減小混疊效應(yīng)給小目標(biāo)特征提取帶來的影響，并考慮到小目標(biāo)邊緣等特征提取主要位于特征提取網(wǎng)絡(luò)的前面部分，本文在基準(zhǔn)SSD網(wǎng)絡(luò)的特征提取骨干VGG網(wǎng)絡(luò)中加入了自適應(yīng)的低通濾波層。

由于特征圖的不同通道包含如邊緣、顏色變化等不同頻率的特征，故本文采用的濾波器結(jié)構(gòu)不僅針對(duì)特征的空間位置分布層面學(xué)習(xí)到對(duì)應(yīng)的濾波器參數(shù)，同時(shí)考慮到在特征圖的不同通道上學(xué)習(xí)不同的濾波器參數(shù)。如圖1所示，F(xiàn)為輸入特征圖的一個(gè)通道，共c個(gè)通道，考慮到為每個(gè)通道的特征預(yù)測(cè)不同的濾波器計(jì)算代價(jià)過大，便將輸入的特征圖依次分為g個(gè)連續(xù)通道組，每c/g個(gè)通道特征共享相同的濾波器參數(shù)。輸入特征圖經(jīng)過一個(gè)卷積操作后跟隨一個(gè)批量標(biāo)準(zhǔn)化(batch-normalization,BN)層，并引入SoftMax層以保證每個(gè)學(xué)習(xí)到的濾波器參數(shù)均為正數(shù)、和為1，以保證其為低通濾波器。每個(gè)通道特征學(xué)習(xí)到的濾波器為W，其維度為n×k2×h×w,n, 表示批處理樣本數(shù)，k2表示每個(gè)特征元素所對(duì)應(yīng)的k×k濾波器參數(shù)。在學(xué)習(xí)到濾波器參數(shù)后，對(duì)第g組中通道特征圖F，利用對(duì)應(yīng)的第g組濾波器進(jìn)行濾波操作

(2)

圖1 低通濾波層結(jié)構(gòu)

基準(zhǔn)SSD網(wǎng)絡(luò)的特征提取骨干VGG網(wǎng)絡(luò)中的Conv4_3層后的特征圖用于預(yù)測(cè)小尺度目標(biāo)，因此本文在該層前的三次最大池化層前，即在Conv1_2,Conv2_2,Conv3_3后引入低通濾波層Filter1,Filter2,Filter3，其中根據(jù)每個(gè)濾波層輸入的特征圖通道數(shù)設(shè)定濾波器核尺寸k均為3,特征圖通道組數(shù)分別為4,6,8。

卷積網(wǎng)絡(luò)中隨著卷積層的深度增加，得到的特征圖的感受野更大，因此會(huì)丟失掉更多的小尺度目標(biāo)的細(xì)節(jié)信息，且基準(zhǔn)SSD網(wǎng)絡(luò)中檢測(cè)回歸所使用的Conv11_2主要用于檢測(cè)在圖像中占比超過50 %的大目標(biāo)，故本文將基準(zhǔn)SSD網(wǎng)絡(luò)中的Conv11_2層的檢測(cè)部分丟棄，僅保留前5個(gè)特征圖進(jìn)行小尺度目標(biāo)檢測(cè)，最終搭建的針對(duì)無人機(jī)航拍城市道路車輛檢測(cè)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)后的SSD網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)后的車輛檢測(cè)網(wǎng)絡(luò)使用的損失函數(shù)包括類別置信度和位置損失兩部分

(3)

式中n為默認(rèn)框的正樣本數(shù)量，c為類別置信度預(yù)測(cè)值，l為默認(rèn)框所對(duì)應(yīng)邊界框的偏移位置預(yù)測(cè)值，g為真值標(biāo)簽的位置參數(shù)，包括航拍車輛目標(biāo)中心位置與寬高信息的偏移量。位置損失為

(4)

(5)

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)條件

本文所使用數(shù)據(jù)集由VisDrone多目標(biāo)航拍數(shù)據(jù)集中選取的城市環(huán)境下道路交通航拍圖像組成，數(shù)據(jù)集中標(biāo)注車輛目標(biāo)大部分為小目標(biāo)，包括小汽車、公交車、卡車、貨車4種車型，共1 800張圖片，最終將1 500張圖片作為訓(xùn)練集，300張圖片作為測(cè)試集，并保證測(cè)試集與訓(xùn)練集中數(shù)據(jù)相互獨(dú)立不重復(fù)。本文利用該數(shù)據(jù)集對(duì)基準(zhǔn)SSD網(wǎng)絡(luò)與改進(jìn)后的網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，網(wǎng)絡(luò)輸入圖片尺寸均為512×512，整個(gè)實(shí)驗(yàn)在Ubuntu18.04操作系統(tǒng)下完成，并使用單個(gè)NVIDIA GeForce 960M型號(hào)GPU加速訓(xùn)練和推理。

2.2 檢測(cè)結(jié)果及分析

將測(cè)試集中300張無人機(jī)航拍圖片分別輸入訓(xùn)練好的基準(zhǔn)SSD網(wǎng)絡(luò)和本文最終改進(jìn)的網(wǎng)絡(luò)模型中進(jìn)行測(cè)試，測(cè)試的部分結(jié)果如圖3所示，上下兩部分分別為基準(zhǔn)SSD網(wǎng)絡(luò)和本文最終改進(jìn)后的網(wǎng)絡(luò)模型測(cè)試結(jié)果，圖像中識(shí)別出的車輛由矩形框標(biāo)出。

圖3 城市環(huán)境下航拍車輛部分檢測(cè)結(jié)果

為進(jìn)一步分析改進(jìn)后網(wǎng)絡(luò)的效果，本文選擇均值平均精度(mean average precision,MAP)、檢測(cè)平均精度(average precision,AP)和幀率(frame per second,FPS)三個(gè)評(píng)價(jià)指標(biāo)來分析網(wǎng)絡(luò)的檢測(cè)效果和檢測(cè)速度。其中,在計(jì)算MAP時(shí)約定IOU大于5為目標(biāo)檢測(cè)正確。表2為基準(zhǔn)SSD網(wǎng)絡(luò)和本文改進(jìn)的網(wǎng)絡(luò)模型在測(cè)試集上的檢測(cè)性能對(duì)比情況,針對(duì)四種車型的檢測(cè)精度對(duì)比結(jié)果如圖4所示。

表2 城市環(huán)境下航拍車輛檢測(cè)結(jié)果對(duì)比

圖4 不同車輛類型的檢測(cè)精度對(duì)比

3 結(jié) 論

針對(duì)無人機(jī)航拍視角下城市道路車輛目標(biāo)識(shí)別任務(wù)，通過對(duì)比實(shí)驗(yàn)的檢測(cè)結(jié)果可知，較基準(zhǔn)SSD網(wǎng)絡(luò)，本文首先通過對(duì)航拍場(chǎng)景下城市道路車輛目標(biāo)檢測(cè)所需默認(rèn)候選框參數(shù)信息進(jìn)行優(yōu)化，提取了檢測(cè)目標(biāo)尺度信息的先驗(yàn)知識(shí)，使檢測(cè)精度提升了2.1個(gè)百分點(diǎn)；其次，在基準(zhǔn)SSD網(wǎng)絡(luò)骨架中引入可學(xué)習(xí)的低通濾波層，降低了混疊效應(yīng)對(duì)小目標(biāo)特征影響，并丟棄原有網(wǎng)絡(luò)中針對(duì)最后一層特征圖的檢測(cè)回歸，進(jìn)一步提高了網(wǎng)絡(luò)針對(duì)小尺度車輛目標(biāo)特征的

傳遞與提取能力。針對(duì)四種不同車型，本文最終的檢測(cè)算法平均精度較基準(zhǔn)SSD網(wǎng)絡(luò)均有提高，均值平均精度提高了4.3個(gè)百分點(diǎn)，而網(wǎng)絡(luò)每秒的推理速度達(dá)到了14幀，基本能夠滿足無人機(jī)航拍視角下城市環(huán)境道路車輛檢測(cè)的實(shí)時(shí)性要求。