基于多尺度聯合權重分配的目標檢測算法

崔靜雯，馬 杰，張 宇

河北工業(yè)大學 電子信息工程學院，天津 300401

隨著社會經濟的發(fā)展，我國汽車保有量連年提升。汽車使大眾生活愈加方便快捷的同時，也使得交通安全問題日益突出。交通標志的檢測與識別一直是智能交通系統(tǒng)的重點技術，在緩解駕駛員駕駛壓力和保證車輛行駛安全等方面具有重要的研究意義和廣闊的應用前景。在現實行車場景下，交通標志檢測受目標尺度大小、運動模糊、交通場景復雜程度等因素的影響。目前交通標志檢測方法的難點主要體現在兩個方面，一方面，在復雜交通場景下檢測目標需要保證較高的準確率和實時性。另一方面，交通標志數據集中包含大量的小目標，傳統(tǒng)算法對其檢測精度較低，存在漏檢和誤檢的現象。

傳統(tǒng)的目標檢測算法，大致可分為兩類。一類是基于候選區(qū)域的two-stage算法，需要先獲得候選區(qū)域再進行分類。如Girshick 等提出的R-CNN[1]算法，該算法對區(qū)域進行識別，利用CNN抽取從候選區(qū)域的特征向量，最后進行目標分類和回歸。R-CNN大幅度提高了算法準確度，但訓練過程復雜且存在大量重復計算。Fast R-CNN 只進行一次特征提取，速率比R-CNN 更快。Faster R-CNN[2]實現了端到端的訓練，該算法提出的區(qū)域提議網絡（region proposal network，RPN），進一步提高了檢測速率和精度。

另一類是基于邊框回歸的one-stage算法，如YOLO系列[3-6]算法采用單獨的CNN模型實現端到端的目標檢測，相比于R-CNN 算法，雖獲得了較高的檢測效率，但存在定位不準確的問題。因此Li等提出殘差嵌套機制改進YOLOv3-tiny。同時Liu等針對YOLO算法定位不準確的問題提出SSD[7]算法，該算法利用不同尺度的特征圖進行目標檢測，有著較好的檢測精度和速率。但SSD 算法存在缺件缺陷，首先，該算法不能充分利用淺層的高分辨率特征圖，對小目標的檢測不敏感；其次，隨著卷積神經網絡的加深，下采樣操作讓大量關于小目標的局部信息丟失；最后，SSD 借助不同尺度的特征層進行獨立預測，忽略了特征層之間的相互聯系。針對其對小目標物體檢測精度較低且存在漏檢的情況，Lin 等提出特征金字塔網絡[8（]feature pyramid network，FPN），使深層特征通過上采樣與淺層特征融合，在不影響算法速率的前提下構成一個自頂向下的網絡，提高檢測精度。FSSD[9]算法和DSSD[10]算法在SSD算法基礎上進行改進。FSSD 融合了三個不同尺度的淺層特征，在融合特征基礎上通過卷積下采樣生成特征金字塔，有效提升了目標檢測的精度。DSSD 利用反卷積層構建FPN 結構以獲取上下文信息，有效提升了目標檢測精度，但檢測速率降低。近年來許多研究人員也基于FSSD多尺度思想提出基于SSD的特征融合算法[11-12]。

目前已有很多基于深度學習的交通標志檢測算法，例如長沙理工大學研究團隊[13]創(chuàng)建了國內真實場景的交通標志數據集CCTSDB，并提出一種改進YOLOv2的目標檢測算法。Shan 等[14]提出了一種基于改進SSD 的小交通標志檢測算法，并在測試集上獲得了較高的精度。但是交通標志檢測算法仍存在以下問題：（1）真實道路場景復雜，采集圖片的質量、尺度參差不齊，對檢測算法的魯棒性要求高；（2）不同國家的交通標志存在差異，且不同類別樣本間的數量不平衡；（3）在實際檢測過程中，一些交通標志具有相似的外形和顏色特征，如何正確分類與識別十分關鍵。針對上述問題和SSD算法的缺陷，本文提出一種基于多尺度特征互補和聯合權重分配的目標檢測改進算法，較原SSD算法檢測精度有所提升且實時性得到保障，其主要優(yōu)勢包括三個方面：

（1）針對交通標志小目標漏檢的問題，利用跨階段局部網絡設計多尺度特征互補模塊，同時構建多路徑特征融合網絡，增強特征圖語義信息，有效提高淺層網絡對小目標的檢測精度。

（2）針對有效特征表示較弱的問題，將空洞卷積與并行的權重分配模塊相結合，從空間和通道兩個角度同時獲取更有效的重點特征信息。

（3）設計基于深度可分離卷積的殘差塊對預測模塊進行輕量化改進，使算法的目標檢測能力有所提升。

1 SSD算法基礎

SSD 目標檢測算法由Liu 等人提出，可一步完成目標的定位和分類；同時沿用了Faster R-CNN 中的Anchor 策略，利用候選框提升檢測精度，結構如圖1 所示。SSD算法以VGG16作為主干網絡，以300×300圖片作為輸入，整個網絡對Conv4_3、FC7、Conv8_2、Conv9_2、Conv10_2、Conv11_2這6個不同尺度的特征圖進行目標預測。最后通過非極大值抑制（non-maximum suppression，NMS）過濾掉冗余邊界框并得到最終檢測結果。

圖1 SSD算法結構Fig.1 Algorithm structure of SSD

2 MK-SSD檢測算法的具體實現

SSD 算法是一種端對端性能較好的網絡。但由于實際交通場景較為復雜，交通標志的尺度不盡相同，在較小的交通標志目標區(qū)域中SSD 算法淺層產生的小物體特征缺乏足夠的信息，同時對feature map 進行目標檢測時忽略了層與層之間的關系，這不僅會影響特征提取能力也不利于小目標的檢測。因此本文設計基于多尺度特征互補和重點特征信息挖掘的目標檢測改進算法（multi-scale feature complementary fusion and key feature information mining SSD，MK-SSD），網絡結構如圖2所示，具體改進方案如下。

圖2 MK-SSD算法的網絡結構Fig.2 Network structure of MK-SSD

（1）添加額外Conv5_3 和Conv6 兩層feature map，設計并利用多尺度特征互補模塊（multi-scale feature complementation module，MFCM）和上采樣構建多路徑特征融合網絡。

（2）在Conv8_2 層引入聯合權重分配模塊（combined weight distribution module，CWDM）進行重點信息挖掘，并利用新產生的feature map 替換原SSD 的后續(xù)網絡結構。

（3）對算法的預測模塊進行改進，設計新型的輕量化殘差塊（lightweight resblock，LR）用于目標的定位和分類。

2.1 多尺度特征互補模塊

受跨階段局部網絡（cross stage paritial network，CSPNet）[15]的啟發(fā)，對CSPNet 進行簡化改進，改進前后的結構圖如圖3 所示。簡化改進后的圖4（b）引入CSPNet 的核心結構，利用跨階段層次結構對兩條支路進行合并，相比普通的卷積結構既使得網絡特征信息更加豐富又降低了計算量。

圖3 CSPNet結構Fig.3 CSPNet structure

完整的MFCM結構如圖4（a）所示。MFCM中每個卷積層后都設有BN 和RELU 激活函數，其首先利用反卷積讓深層特征與淺層特征尺度一致。其次，模塊利用兩個改進后的CSPNet 結構，實現降維減少參數量的同時，增強網絡的特征學習能力。最后，結合殘差ResNet[16]對網絡的優(yōu)化效果，對模塊整體添加殘差分支，并將模塊終端的三個分支進行乘加互補運算實現多尺度特征融合。乘加互補運算結構如圖4（b）所示。首先，乘加互補運算將兩個降維feature map按對應元素相乘并經過3×3卷積結構進行特征提取，進而產生具有綜合性描述的模板特征，此模板特征反映了兩支路feature map 的互異信息，表征了有用信息和冗余噪聲信息的綜合特征分布。然后，將模板特征與殘差分支按元素相加，使得原feature map會根據其與模板特征的差異進行融合，此為特征互補的過程，最后得到MFCM的輸出。因此，相比于直接將兩個feature map 按元素相加或相乘，MFCM可充分利用上下文信息，有效加強對細節(jié)信息的表征，實現特征信息的互補融合。

圖4 特征互補結構Fig.4 Feature complementary structure

FPN、FSSD、DSSD 等算法證明，融合不同尺度的feature map可以有效提升目標檢測精度，因此面向淺層feature map的準確定位對小目標檢測尤為關鍵，本文進而構建了一種基于MFCM 的多路徑特征融合結構，整體結構如圖5所示，主要步驟如下。

（1）第一次特征融合如圖5（a）所示，已知Conv3_3層包含大量邊緣和非目標信息，Conv5_3 和Conv6 則擁有更高分辨率和基本輪廓信息。為充分利用淺層feature map 的細節(jié)信息，選取Conv4_3 至Conv7 并利用上采樣進行兩兩特征融合。

圖5 多路徑特征融合網絡Fig.5 Multi-path feature fusion network

（2）第二次特征融合如圖5（b）所示，Conv8_2 等深層feature map 擁有更強的語義信息，為充分利用深層feature map的語義信息，在第一次特征融合得到的兩個新feature map 基礎上，利用MFCM 和Conv8_2 層完成自上而下的特征融合。

（3）第三次特征融合如圖5（c）所示，此次融合利用CWDM 處理后的輸出并對其進行上采樣，以提升特征信息表達。再讓其與第二次特征融合得到的兩個新feature map 按元素相加的方式，自上而下進行融合，進一步增強淺層feature map語義信息。

同時，相關研究從特征圖可視化的角度[17]證明SSD中較淺層的feature map（Conv4_3 至Conv7）分辨率更高，包含更多細節(jié)信息適合檢測小目標；較深層的feature map（Conv8_2 至Conv11_2）分辨率較低，但語義較強，適合檢測大目標。本文從整體算法出發(fā)，要求特征融合網絡既要利用深層特征豐富的語義，又要考慮融合分辨率較低的深層特征不僅無法明顯提高檢驗精度，反而會增加運算量、降低檢測速率的情況，如3.4.5 節(jié)實驗所示。因此本文的多路徑特征融合網絡只利用了深層feature map 中的Conv8_2 和CW8_2，不再對CW9_2、CW10_2和CW11_2進行特征融合。

綜上，本文的特征融合是一個多路徑橫向連接并結合自上而下方法的網絡結構，提升了對細節(jié)信息的表征能力，較特征金字塔網絡具有更豐富的語義信息，可有效提高淺層網絡對交通標志小目標的檢測精度并減少目標尺度變化所帶來的影響。

2.2 聯合權重分配模塊

針對圖像中不同區(qū)域特征表征不均以及邊緣模糊導致目標檢測精度低的問題，提出聯合權重分配模塊。CWDM 包括多分支感知域模塊（receptive field module，RFM）和并行權重分配模塊兩個子模塊，其結構如圖6所示。首先，RFM中空洞卷積的卷積核均為3×3卷積，stride=1，其通過擴大感知域學習更多上下文信息并增加網絡寬度。其次，注意力模塊分別從通道注意力和空間注意力兩個角度對已通過RFM 的feature map 同時進行處理，以加強有效特征表示并抑制無用特征信息，該操作得到空間注意力圖F2和通道注意力圖F3。最后融合F2和F3特征，得到CWDM 最終輸出F′。整體運算過程如式（1）所示，式中⊕為逐個元素相加。

圖6 聯合權重分配模塊Fig.6 Combined weight distribution module

通道注意力圖F3反映了特征通道間的相關性和重要性，空間注意力圖F2則反映了空間維度特征差異的權重，用來抑制或強化不同空間位置的特征。同時由于F1已經過RFM 優(yōu)化處理，因此CWDM 最終輸出F′可提供更優(yōu)的有效特征信息。RFM 效果好的原因有兩點：（1）卷積和池化都是常見的下采樣操作，但下采樣在擴大感知域的同時也縮小了feature map 尺度，造成信息損失?？斩淳矸e則利用其特有的參數擴張率（dilated rates），使原卷積核在相同參數量下擁有更大的感知域。因此RFM 利用空洞卷積即可擴大感知域，從而無需下采樣，避免了信息損失且實現feature map 輸入與輸出尺度一致。（2）RFM設計不同擴張率的并行空洞卷積結構，可讓網絡學習到多尺度特征信息，因此解決了網格效應帶來的局部信息丟失的問題。且該結構使目標檢測可利用的小目標信息量增多，進而解決了傳統(tǒng)卷積神經網絡利用池化層所造成的小目標信息無法重建的問題。

本文將CWDM 嵌入到Conv8_2 層之后，同時讓經過CWDM 處理后的CW8_2 層代替原SSD 算法的Conv8_2層，并讓CW8_2經過后續(xù)卷積產生的特征層對應代替原Conv9_2、Conv10_2、Conv11_2層，特征圖參數如表1 所示。以上操作使得后續(xù)深層feature map 獲得較原SSD算法更豐富的特征多樣性，有效增強特征語義信息并提高算法的目標檢測能力。以下分別對CWDM兩個子模塊進行介紹。

表1 特征圖詳細參數Table 1 Feature map detail parameters

2.2.1 多分支感知域模塊

SSD 算法不利于小目標的檢測，原因是用于檢測小目標的淺層feature map 特征信息較少，然而空洞卷積[18-19（]dilated convolution）可以有效地解決此問題，其在標準卷積的基礎上通過調整dilated rates，在保證卷積核數量和feature map 尺寸不變的前提下擴大感知域和語義信息，大大提高網絡的特征信息提取能力。空洞卷積的感知域計算如式（2）、（3）所示。其中l(wèi)k-1為k-1 層感知域大小，fk為當前層卷積核大小，si為第i層的步長。相比于前一層，當前層感知域增加了

受多分支卷積Inception 和殘差網絡ResNet 良好性能的啟發(fā)，設計感知域模塊RFM。F為RFM模塊的輸入，F1為模塊的輸出。P1、P2、P3為各個分支通過空洞卷積后的輸出。P為經過Concat 操作后的輸出，KW×H×C為卷積核，S為步長，?為卷積，⊕為Concat算法，+為對應元素相加。RFM 的輸入輸出關系如式（4）、（5）所示：

2.2.2 并行權重分配模塊

已知用于預測的不同尺度feature map包含不同強度信息，對后續(xù)目標分類和定位的貢獻效果也存在差異。因此設計注意力塊，其從通道和空間這兩個角度進行高效并行權重分配，以在保證提取有用信息的同時抑制無用信息，保證目標分類和定位的準確性。

從通道權重分配角度出發(fā)，采用一種輕量級注意力機制，即高效通道注意力模塊（efficient channel attention for deep convolutional neural networks，ECA-Net）[20]，相較于squeeze-and-excitation networks（SE-Net）[21]參數量更少且效果更優(yōu)，ECA-Net結構如圖7所示。先將輸入特征信息F∈RH×W×C進行全局平均池化操作，得到對應于通道的權重信息Favg∈R1×1×C。然后通過一維卷積進行特征提取得到通道間相關性參數li，并經過Sigmoid激活函數得到輸出維度為1×1×C的通道注意力權重Wi，如式（6）所示。其中一維卷積的卷積核大小K由通道自適應參數決定，如式（7）所示。

圖7 高效通道注意力模塊Fig.7 Efficient channel attention module

式中，σ(· )為Sigmoid激活函數，C為通道數，|* |odd為取最鄰近奇數，γ和b為超參數。最后將通道注意力權重Wi與殘差分支連接得到輸出特征信息F′=RH×W×C。

從空間權重分配角度出發(fā)，feature map中相鄰像素間包含著差異性和相關性信息，也反映了feature map的空間抽象信息。Woo 等提出的卷積塊注意模塊（convolutional block attention module，CBAM）[22]沿著channel 和spatial 這兩個不同的維度按串聯順序輸入特征映射，并指出最大池化操作可獲取更加豐富的信息。因此本文設計spatial attention分支受CBMA啟發(fā)，對輸入feature map以并聯結構同時使用全局最大池化和全局平均池化，以提升網絡性能。然后將兩種方式得到的全局特征信息經過concat 和卷積操作。最后卷積輸出與原feature map 相乘得到最終特征輸出，在空間上得到自適應權重分配參數。

2.3 基于輕量化殘差塊的目標預測

SSD 算法利用3×3 卷積對6 個不同尺寸的feature map 進行預測。淺層特征圖語義性相對較低，分辨率高，適合小目標的檢測。但SSD算法在實際應用中會出現小目標的漏檢的現象，這是因為卷積神經網絡中不同尺度feature map具有不同的特征幅值，一般淺層feature map的特征幅值要高于深層feature map，較大的特征幅值會導致預測模塊產生較大的梯度值，從而影響網絡檢測能力。

針對此問題，本文設計基于殘差結構的輕量化檢測單元LR，并讓LR替換原檢測模塊中用于預測的3×3卷積核，使主干網絡的feature map 不再直接用于目標預測，進而減少特征幅值對目標檢測的影響，LR結構如圖8 所示。該模塊每個卷積層后都設有RELU 激活函數，首先進行輕量化處理，將原模塊3×3 卷積替換為一個3×3 深度卷積（depthwise conv）和1×1 逐點卷積（pointwise conv）的組合[23]，有效降低參數量。其次，模塊加入1×1 殘差卷積分支，控制feature map 維度，同時增加網絡深度。最后，對兩個分支的輸出進行融合。

圖8 輕量化殘差塊Fig.8 Lightweight resblock

新加入的殘差結構可起到緩沖器的作用，因此本文設計的LR 預測單元一方面可以使backbone 網絡訓練不受預測單元產生的梯度值影響。另一方面，實驗結果表明，在保證輕量化基礎上引入殘差結構可有效提升feature map 的語義表征，提高算法的目標檢測精度。

3 實驗與結果分析

3.1 實驗數據集與實驗平臺

本文實驗在Ubuntu16.04 LTS 操作系統(tǒng)上進行訓練，使用NVIDIA Tesla P100 顯卡，Python（3.6 版），Pytorch（1.8.1 版）。選擇中國CCTSDB 數據集和德國GTSDB 數據集作為數據來源，重點選取復雜交通場景下相似度低、差異性大，且包含多目標小目標的復雜圖像，使用Labelimg 軟件進行標注。本文針對警告標志（Warning）、禁止標志（Prohibitory）、指示標志（Mandatory）這三大類進行實驗分析。數據增強是深度學習中進行數據擴增的一種常用方法，以增加訓練的數據量，提高模型的泛化能力和魯棒性。本文利用旋轉、顏色變換、翻轉和加噪等方式對數據進行預處理，數據增強后數據集圖片數量達到15 829張。效果如圖9所示。

圖9 數據增強示例Fig.9 Data augmentation examples

3.2 網絡訓練策略

實驗中使用Adam優(yōu)化器，其在網絡訓練過程中計算梯度和平方梯度的指數移動均值，并利用平滑常數β1、β2控制移動均值的衰減率。選擇Adam優(yōu)化器結合了RMSprop和AdaGrad算法的優(yōu)點，通過計算梯度的一階矩估計和二階矩估計對不同參數的自適應學習率單獨進行調整，讓網絡在訓練過程中快速收斂。共設置200個迭代輪次（epoch）并引入凍結訓練思想，凍結前50個epoch的主干網絡，初始學習率為0.000 5，batchsize設置為32；在第51 個epoch 進行解凍訓練，學習率為0.000 1，batchsize設置為16，IOU閾值為0.5。

3.3 評價指標

實驗利用平均精度（average-precision，AP）、平均精度均值（mean average precision，MAP）和每秒幀率（frames per second，FPS）作為評價指標。以召回率（Recall）為橫軸，精確率（Precision）為縱軸繪制PR曲線并對其積分求出曲線下的面積即AP，表達式如下：

式中，TP為正樣本被正確識別為正樣本的數量，FP為負樣本被錯誤識別為正樣本的數量，Precision(R)為PR曲線中Precision值。mAP為所有類別AP的平均值，式中N指目標物體的種類數，APi為第i類目標體的AP值。

3.4 實驗結果分析

3.4.1 聯合權重分配模塊的擴張率

為確定本文聯合權重分配模塊中RFM 相對最佳的擴張率組合，在實現MK-SSD 算法的搭建后選取當前主流研究中常用的6 組擴張率組合，對RFM 調整后進行算法整體實驗，實驗結果如表2 所示。由表2 可知，過小的擴張率不利于檢測精度的提升，過大的擴張率則提升效果有限，因此選用擴張率為2、4、8 的空洞卷積組合。

表2 MK-SSD算法在不同擴張率下的檢測精度Table 2 Detection accuracy of MK-SSD algorithm at different dilated rates

3.4.2 MK-SSD算法與SSD算法對比實驗

MK-SSD 算法與SSD 算法在訓練過程中損失值的變化曲線如圖10所示。兩個算法的訓練策略均是先凍結前50個epoch的主干網絡，后在第51個epoch進行解凍訓練。因凍結和解凍訓練前后的學習率不同，因此在節(jié)點50 epoch 處會出現拐點。對比兩個算法的loss 曲線，發(fā)現改進后的MK-SSD 算法的loss 值下降更快，更容易收斂且loss最終收斂值低于SSD算法，進一步證明了本文算法的有效性。

圖10 不同算法的loss曲線Fig.10 Loss curves of different detection algorithms

熱力圖（heat map）以權重的形式來展現神經網絡對圖片的哪一部分激活值最大，直觀分析出算法重點利用圖片中哪些像素檢測出目標。利用heat map 對本文MK-SSD算法檢測效果進行可視化分析。如圖11所示，分別比較了原SSD算法與改進算法在多目標、小目標以及黑暗復雜背景下的熱力圖檢測效果，從中可以發(fā)現原SSD算法存在小目標漏檢、誤檢以及目標識別錯誤等問題。而本文改進算法能夠有效抑制無用信息，使網絡更聚焦于重要的特征，多目標情況下無漏檢現象，對于小目標檢測效果有明顯提升。

圖11 熱力圖效果對比Fig.11 Comparison of heat map

3.4.3 與其他算法對比實驗

為進一步驗證本文算法的性能，將其與其他主流目標檢測算法進行性能對比，如表3 所示，本文算法相較于SSD系列和YOLO系列的檢測精度均有提高，相比于SSD、DSSD、RSSD 和YOLOv3，分別提高了4.13、2.92、3.1 和1.19 個百分點。另外，原SSD 算法相較于Faster R-CNN 的檢測精度和速率均有提升，證明了多尺度特征金字塔結構能有效提高網絡性能，而本文借鑒特征金字塔思想設計多路徑特征融合網絡，實驗驗證后表明檢測精度也有明顯提高，證明了MK-SSD 算法的有效性。同時因網絡的復雜度增加，致使算法在速率上有所犧牲，但仍可滿足實時檢測的要求，證明了MK-SSD 算法的實時性。綜上，本文提出的算法改進策略綜合性能更優(yōu)，目標檢測精度更高。

表3 不同檢測算法對比Table 3 Comparison of different detection algorithms

本文選取復雜交通場景、復雜天氣場景、小目標以及多目標場景進行實驗，檢測效果如圖12 所示。對比圖（a）復雜交通場景的檢測結果可以發(fā)現，SSD 算法在復雜交通場景下存在誤檢現象，而本文MK-SSD 算法引入聯合權重分配，保證有效信息權重大，無效信息權重小，降低了誤檢；在圖（b）復雜天氣場景和圖（c）多目標場景下，原算法存在漏檢現象，本文算法通過特征互補融合不僅有效解決了漏檢問題也在檢測置信度上有所提升，即使在雨天視線條件不好的情況下也可有效識別出目標；從圖（d）可知，小目標場景下本文算法置信度較YOLOv3 算法基本均有提升，且無漏檢錯檢現象。綜上分析，本文算法相較于SSD 和YOLO 系列算法魯棒性和準度均有較大提升，取得了較好的綜合性能。

圖12 不同算法的檢測效果對比Fig.12 Comparison of detection effect of different algorithms

3.4.4 消融實驗

為驗證MK-SSD 中設計的模塊對SSD 算法的提升效果，本文對不同網絡分支進行實驗分析。實驗結果如表4所示，SSD算法的mAP為85.51%。

表4 消融實驗結果Table 4 Ablation experiment results

Model-1在淺層feature map引入MFCM，mAP提升2.97個百分點；Model-2添加CWDM，使網絡更關注有效特征信息，mAP 較SSD 提升2.45 個百分點；Model-3 添加MFCM和LR，mAP較Model-1提升0.19個百分點，且檢測精度均高于Model-2 和SSD 算法；Model-4 同時添加MFCM 與CWDM，不僅增強淺層語義而且提升深層有效特征表達，mAP 較Model-2 提升1.29 個百分點。最后是完整的MK-SSD 算法，彌補了Model-3 對深層feature map 處理效果不好的缺陷，mAP 達到89.64%。綜上，添加不同模塊都會給算法帶來性能的提升，且這些增益具有疊加性，驗證了本文算法的有效性。

3.4.5 多路徑特征融合網絡有效性分析

本文多路徑特征融合網絡如圖5 所示，以較淺層feature map（Conv4_3 至Conv7）為基礎，保留了更多細節(jié)信息，并利用Conv8_2 和經過CWDM 優(yōu)化處理后的CW8_2 引入深層語義。為驗證該網絡性能，設計實驗進行對比。

Model-1 可看作MK-SSD 結構的復雜化處理，在網絡結構圖2 的基礎上利用本文提出的MFCM 對較深層的feature map（CW8_2 至CW11_2）引入特征金字塔結構，如圖13 所示。并讓輸出F代替圖5（c）的最頂層輸入CW8_2，使F上采樣后參與add 運算，最終構成整體自上而下的特征融合結構。

圖13 Model-1中的特征金字塔網絡Fig.13 Feature pyramid network in Model-1

Model-2 對Conv8_2 至Conv11_2 不僅不再引入特征金字塔結構，并且將圖5（c）的最頂層的CW8_2 上采樣輸入去除，構成只有Conv4_3至Conv8_2的多路徑融合結構。

實驗結果如表5 所示，Model-1 因在MK-SSD 后端額外添加了深層特征融合，故結構復雜度較本文MKSSD 有所增加，但并沒有帶來檢測精度的明顯提升，反而增加了運算量，拖慢了檢測速率。這是因為大目標尺度大且特征明顯，故本文中主要負責檢測大目標的深層feature map 不需要額外的融合操作就可以準確檢測。Model-2 中，因多路徑特征融合網絡不再引入CW8_2，故失去了該層豐富的語義信息，mAP 較MK-SSD 下降了0.21 個百分點，但檢測速率基本一致。實驗表明，在MK-SSD 算法基礎上無需再對Conv8_2 后續(xù)低分辨率feature map 進行融合，同時不能忽視CW8_2 對系統(tǒng)性能的提升作用。綜上，本文提出的多路徑特征融合網絡綜合性能更優(yōu)。

表5 網絡有效性對比Table 5 Network effectiveness comparison

4 結語

為實現對交通標志小目標的實時準確檢測，本文針對SSD 算法小目標檢測存在漏檢、誤檢、準確率不高等問題，提出一種基于多尺度特征互補和重點特征信息挖掘的改進算法，網絡淺層引入多尺度特征互補模塊豐富上下文語義信息；網絡深層添加聯合權重分配模塊，擴大feature map感知域并提高算法對目標的特征提取能力；并利用輕量化殘差塊改進預測 模塊，提高算法的檢測精度。改進后的算法通過對Backbone結構和Head檢測區(qū)域的優(yōu)化，利用多信息多尺度的feature map 進行目標分類和回歸，使得其綜合性能優(yōu)于SSD系列算法且可實時性監(jiān)測交通標志，更適合在復雜交通場景下的交通標志小目標檢測。但實際應用對檢測精度和檢測速率均有較高要求，因此后續(xù)工作將利用輕量化模型改進網絡結構，減小生成框預測階段的算力消耗，提高檢測速率，實現算法整體性能的進一步優(yōu)化。