用于ADAS實時目標車輛檢測的改進SSD算法

焦 鑫，楊偉東*，劉全周，李占旗，賈鵬飛

（1. 河北工業(yè)大學 機械學院，天津 300130，中國；2. 中國汽車技術研究中心有限公司，天津 300300，中國）

目標車輛檢測作為汽車駕駛輔助系統（advanced driving assistant system，ADAS）的基礎，能夠實時采集車輛周圍的環(huán)境信息，檢測結果為決策層和控制層提供依據，具有提升汽車行駛安全性，減少生命財產損失的優(yōu)點，是汽車工程領域的研究熱點之一。

目前，ADAS中常以視覺感知的方式實現目標車輛檢測。從早期的傳統目標檢測方法[1-3]，到近幾年逐漸深入的深度學習網絡的目標檢測方法[4-6]，在目標車輛檢測方面取得了較好的效果，尤其是基于深度學習網絡的目標檢測方法。為了更好的滿足ADAS對目標車輛檢測算法精確性、時效性和魯棒性的要求，實現輔助駕駛系統的精確預警，國內外學者做了大量工作。

Hu Xun[7]針對單發(fā)多盒探測器 (single shot multibox detector, SSD)模型過大的問題,使用輕量級網絡MobileNet，使算法能夠滿足在移動設備上的實時性目標檢測。吳天舒[8]使用DenseNet代替了SSD算法中VGG16基礎網絡，極大的減少了模型體積，降低了模型的計算量和硬件消耗。Tang[9]等人在原SSD算法基礎上引入了空間變換模塊的注意機制，并在指定層中加入了上下文信息傳遞，提升了對目標車輛的檢測精度。郭川磊[10]等人為了提升SSD算法中提取小目標特征信息的數量，在特征提取過程中增加了轉置卷積，但是通過轉置卷積得到的采樣圖像中像素點的值與原圖像中像素點的值可能不相同，因此在實驗發(fā)現通過轉置卷積操作進行小目標檢測的效果并不穩(wěn)定。

綜上可知：雖然國內外學者對于提升SSD算法檢測速度和目標檢測精度研究較多，但是應用于ADAS目標車輛檢測時，針對復雜場景下的小目標車輛和重疊目標車輛檢測效果較差，易出現漏檢和誤檢的現象。

本文對復雜場景下小目標車輛和重疊目標車輛特點進行分析。一方面，基于SSD算法模型，通過淺層特征層圖像超分辨率重建的方式，增加對淺層特征中小目標車輛信息提取數量，改進特征提取網絡，提出了目標車輛檢測模型SSD-S，提升對小目標車輛檢測精度；另一方面，基于非極大抑制（non-maximum suppression，NMS）中嵌入特征向量進行二次篩選，提出目標車輛檢測模型SSD-O，提升對重疊目標車輛的檢測效果。結合2種改進模型提出了ADAS實時目標車輛檢測模型SSD-P。在車輛數據集和虛擬交通場景中測試，對所搭建的目標車輛檢測系統在實際道路環(huán)境中進行了實驗，以驗證改進后SSD-P算法的精度。

1 目標車輛檢測算法

1.1 SSD算法基本原理

SSD算法是以直接回歸的方式進行單階段目標檢測。具體通過將輸入圖像劃分為S×S個柵格，并以每個柵格作為中心設置多個默認框，其尺寸和長寬比存在差異。通過計算默認框與真實框的重疊度，確定默認框所屬分類。

為了滿足對不同尺寸目標檢測的要求，SSD算法以VGG16網絡作為基本網絡，將主網絡結構中的2個全連接層改為卷積層，并增加了4個卷積層作為輔助卷積層。通過基礎網絡提取低尺度的特征映射圖，輔助卷積層提取高尺度的特征映射圖，預測卷積層輸出特征映射圖的位置和分類預測分數。這些預測分數經過非極大抑制（NMS）計算輸出最終的位置和分類結果。SSD算法網絡結構如圖1所示[11]。

1.2 改進的SSD算法

1.2.1 淺層特征超分辨率重建

SSD算法各個卷積層進行特征映射圖提取時，隨著卷積層數加深，特征圖感受野增大，包含的特征信息數量逐漸減少[12]。這就導致在最終的檢測任務中出現小目標車輛特征信息較少，檢測準確率較低的問題。針對該問題，本文以距離主車20～60 m內尺寸相對較小的前目標車輛作為小目標車輛，提出對圖像第Conv4-3層特征映射圖進行超分辨率重建，使重建后的特征映射圖具有更多的特征信息，而且該特征映射圖處在淺層特征層中，卷積核、感受野更利于小目標特征的提取[13]。

在超分辨率重建時，選擇第Conv4-3特征圖作為輸入圖像，經過特征提取、特征映射、反卷積等過程，形成新的特征映射圖Re-Conv4。特征映射圖Re-Conv4與其他各卷積層生成的特征映射圖都會產生一個默認框（default box）集合，這些默認框是在特征映射圖上每個單元形成的不同長寬比的矩形邊框，通過默認框與真實框匹配機制實現目標信息的輸出。

改進后得到的SSD-S算法網絡結構如圖2所示。

圖2中框選部分為特征圖超分辨率重建過程，以尺寸大小為38×38的Conv4-3特征圖作為輸入，經過超分辨率重建后特征圖像分辨率增大，重建后特征圖分辨率大小可以根據需求設置。在提升小目標檢測效果的同時還需要保證算法的運行速度，因此選擇超分辨重建后特征圖尺度為76×76。超分辨率重建后的特征圖Re-Conv4相較于第Conv4-3層特征圖，分辨率增加一倍，因此能夠提取到更多的小目標信息。

在進行淺層特征超分辨率重建時，第Conv4-3特征圖作為輸入假設為X，則特征圖重建過程表示為：

式中：w1為特征提取的卷積核權重，即n1個c×f1×f1大小的卷積核。由于特征圖像為單通道圖像，因此本文中c= 1，B1為卷積核的偏置個數，即為n1。

非線性映射過程是以特征提取得到的n1個特征圖作為輸入映射到n2個特征圖中，則非線性映射過程表示為

式中：W2為非線性映射的卷積核權重，即n2個大小為n1×f2×f2的卷積核，B2為卷積核的偏置個數，即為n2。反卷積過程是以非線性映射后圖像作為輸入，以目標尺寸圖像作為輸出，反卷積過程為

式中：W3為反卷積的卷積核權重，即c個n2×f3×f3卷積核，B3為卷積核的偏置個數，即為c= 1。

分辨率重建后得到的特征圖Re-Conv4尺寸為76×76，比SSD算法中用于提取特征信息的任意特征分辨率大，因此能夠在特征圖Re-Conv4中提取到更多的小目標信息。改進后的SSD-S算法網絡中共有7個特征層的默認框集合，由于每個特征層的感受野大小不同，因此默認框尺寸的大小與特征層的層數之間的函數關系可以表示為

式中：k∈（1，m），m為特征層的層數。本文中由于共有7個特征層的默認框集合，因此m= 7。smin= 0.2，smax= 0.9。

不同特征層中默認框的寬度為

默認框高度為

式中：an為默認框長寬比，n為特征層上默認框的個數。由于本文檢測目標為車輛，因此默認框尺寸及長寬比設置能夠符合實際車輛在圖像中的尺寸及長寬比即可。其默認框尺寸和長寬比如表1所示。其中，si×si代表特征層的尺寸。

表1 默認框尺寸及長寬比

由于特征圖中每個單元都會產生相應的默認框，因此默認框的總數量為

式中：ni表示第i層特征層中默認框長寬比個數。由式（8）可得：經過改進后的SSD-S算法各個特征層共能提取9 356個默認框，相較于原SSD算法，SSD-S算法提出的網絡在小目標特征提取數量上增加了624個；因此默認框集合中能夠提取并匹配更多的小目標，實現對小目標檢測效果的提升。

1.2.2 特征嵌入的非極大抑制

在目標車輛檢測中需要輸出目標車輛的分類信息，這就需要通過默認框和真實框的匹配機制判斷默認框所屬類別。一般地，匹配完成后可能出現一個真實框對應多個默認框。為了確定每個真實框所對應的最優(yōu)默認框，SSD算法在預測階段通過非極大抑制計算篩選出相同目標中置信度最大的默認框作為最終的位置和分類輸出，但是在檢測場景中出現重疊現象目標車輛時會出現漏檢現象。

針對SSD算法確定最優(yōu)默認框時會出現重疊目標漏檢的問題，本文通過在非極大抑制中嵌入特征向量的方式，對默認框進行二次篩選，并提出了重疊目標車輛檢測模型SSD-O。其嵌入特征向量的基本思想是：正圖像對（即顯示同一對象的圖像）的嵌入向量應該相似，負圖像對的嵌入向量之間由于存在差異，所以要有一定的距離。

通過對車輛檢測任務中出現重疊現象的特點分析可知：相似車型的車輛不會在圖像中處于相同高度。而車型不同的車輛可能會處于相同高度，但是車輛尺寸就會存在較大的差異，如圖3所示。本文利用不同車輛特征向量不同，嵌入非極大抑制NMS，提升算法對重疊目標檢測效果。

在經典NMS[14]中所有的默認框的集合P中先按照它們的置信度排序，然后添加到一個集合P*中，最終通過以下迭代步驟完成相同目標默認框的篩選：從集合P*中選擇置信度最大的默認框置于集合D中，集合P*中剩余的默認框置于集合M中。集合中每個默認框元素mi都與該輪次中最大置信度默認框集合D中的默認框元素d進行比較。如果集合M中默認框mi與集合D中默認框d的交并比（intersection over union，IoU）大于閾值，則默認框與默認框d屬于相同目標；否則默認框與默認框d屬于不同目標。其流程圖如圖4所示。

經典NMS在重疊車輛檢測時可能出現漏檢，如圖5情況所示。此時2個默認框IoU值大于0.5，因此會判定為相同目標，但實際中2個默認框所框選的為不同目標。

當在每個默認框中嵌入特征向量后，被判定為相同目標的2個默認框會進行二次判定，如果大于閾值則可判定為不同目標。嵌入特征向量的NMS判定流程如圖6所示。

本文中所嵌入的特征向量是將特征圖像映射成張量。由于不同目標形成的特征圖像映射得到的張量不同，因此可以結合張量之間的差值判斷預測目標是否為相同目標。每個默認框的輸出中主要包含了邊框的中心坐標（x，y）、邊框的長和寬(h，w)、置信度c、像素均值f等張量信息，通過對默認框張量中心坐標距離與像素均值的差值加權求和計算得到每個默認框的特征向量。特征向量為

式中：m、n表示2個不同默認框的編號，α、β為默認框中心距離和像素均值的加權系數0.5。當2個默認框的特征向量L大于閾值Ct時，即可判定為不同目標。通過IOU和特征向量共同判定后能夠有效提升重疊目標檢測效果。

2 車輛模型測試

2.1 測試數據評價方法

為了評價改進后SSD算法對目標車輛檢測的效果，本文計算了檢測結果的平均精度（mean average precision, mAP），即準確率Precision與召回率Recall之間的曲線關系：

式中： TP為預測準確的默認框數量，FP為檢測結果中篩選掉的默認框數量，FN為沒有檢測到的默認框數量。

針對測試集中不同圖片檢測出的車輛模型，可得這一類型目標的準確率與召回率之間曲線關系，即檢測精度（average precision，AP）為

式中：Ri為第i張圖像中車輛默認框的召回率，Pi為第i張圖像中車輛默認框的準確率。

由于車輛檢測和其他目標檢測屬于二分類問題，因此本文通過mAP作為檢測效果的評價指標，即

2.2 小目標車輛模型測試

本模型使用PASCAL VOC2012數據集中5 837張車輛模型用于訓練和驗證，在訓練集中有2 863張圖像包含小目標車輛模型。1 024張尺寸大小不同的車輛模型用于SSD算法和SSD-S測試集。在模型訓練中，為了增加訓練數據集數量，保證數據集的多樣化以及提升訓練模型的泛化能力，采用了現有的數據增廣方式，對數據集中模型進行隨機調整。通過測試集驗證，SSD-S算法能夠檢測出SSD算法中未檢測出的較小尺寸目標車輛。算法檢測結果如圖7所示。檢測結果平均精度如在3.2節(jié)的表2所示。

2.3 重疊目標車輛模型測試

由于現有數據集中不同重疊率車輛模型較少，因此在測試階段，本文通過在dspace場景軟件中搭建虛擬交通場景，設置相同車輛不同重疊率完成測試。

通過使用500張圖像分別測試SSD算法和SSD-O算法對重疊率0～60%的目標車輛檢測效果，SSD算法能夠檢測出重疊率小于39.8%的目標車輛，SSD-O算法能夠檢測出重疊率小于50.3%的目標車輛，檢測重疊率提升約10%。部分改進前后檢測效果如圖8、9所示，檢測結果平均精度如表2（在3.2節(jié)）所示。由于實際道路場景下小目標車輛檢測和重疊目標車輛檢測現象往往是同時出現，因此，本文將SSD-S和SSD-O算法結合，建立了目標車輛檢測改進算法SSD-P，并測試SSD-P算法在實際道路場景中的檢測效果。

3 實驗結果及數據分析

3.1 實驗數據采集

為進一步分析實際道路場景中SSD-P算法的檢測效果，本文還將攝像頭、SSD算法和SSD-P算法搭建在實車上驗證。搭建場景如圖10所示。實驗中通過攝像頭采集1 000張圖像，經SSD算法和SSD-P算法分別處理后，輸出圖像中目標車輛的位置及分類。

3.2 實驗結果及評價

實驗階段對SSD算法和SSD-P算法分別計算mAP值，計算結果如表2所示。由表2數據可知，SSD-S算法對小目標車輛檢測的平均精度較SSD算法提升3.3%，對重疊目標車輛的檢測效果幾乎無影響，最終SSD-S算法在測試集中平均精度為91.3%，較改進前SSD算法提升3.7%。SSD-O算法對重疊目標車輛檢測的平均精度較SSD算法提升2.5%，對小目標車輛的檢測效果幾乎無影響，最終SSD-O算法在測試集中平均精度為90.2%，較改進前SSD算法提升2.6%。

從兩方面改進后的SSD-P算法檢測精度相較于基本SSD算法在小目標檢測中平均精度由原來的85.3%提升到88.9%，提高了3.6%。重疊目標檢測中平均精度由原來的80.7%提升到83.8%，提高了3.1%。綜合性能平均精度由原來的87.6%提升到92.4%，提高了4.8%。

表2 各改進SSD算法檢測結果數據

圖11中2幅照片為實際場景下測試集結果，對比改進前后SSD算法檢測對包含重疊小目標車輛的識別效果。從圖11中可以看出，SSD-P算法不僅能夠檢測出基本SSD算法中漏檢的小目標車輛，還能正確識別出重疊目標車輛。

4 結 論

1） 在SSD算法網絡中增加對Conv4-3特征層超分辨率重建后，提取到特征信息和默認框數量增加，能夠比原SSD算法提取到小目標特征信息增加7.1%。

2） 在非極大抑制（NMS）中嵌入特征向量，對邊框篩選進行二次判定，提升了算法在存在重疊目標情況下檢測精度。

在實際道路場景中目標車輛的實驗結果表明：改進SSD-P算法進行目標車輛檢測的平均精度值為92.4%，與改進前的87.6%相比平均精度提升了4.8%。改進后SSD-P算法對小目標重疊車輛檢測準確性得到了提升。