基于Dim env-YOLO 算法的昏暗場景車輛多目標檢測

郭克友，王蘇東，李 雪，張 沫

（1.北京工商大學 人工智能學院，北京 100048；2.交通運輸部公路科學研究院，北京 100088）

0 概述

據(jù)調(diào)查顯示，截止2020 年末，中國汽車保有量已經(jīng)達到28 087 萬輛，超過美國成為全球汽車總量最大的國家［1］。汽車的普及能夠方便出行，但是同時也導致交通擁堵問題，提高了交通壓力。近年來，計算機技術(shù)不斷進步，人工智能發(fā)展迅速，智能識別技術(shù)在交通行業(yè)的應用也越來越廣泛，其中的車輛目標智能檢測引起了研究人員的關(guān)注。

車輛目標檢測是一個計算機視覺領(lǐng)域的經(jīng)典任務，在輔助駕駛、交通監(jiān)控等方面具有巨大的研究價值和應用前景，在自動無人駕駛領(lǐng)域更是不可或缺［2］。夜間車況復雜、照度急劇下降、駕駛員視線變差、不規(guī)范使用的遠光燈等都成為車輛行駛的巨大干擾。因此，在昏暗的場景下對車輛進行識別檢測具有實際應用價值。白天室外平均照度大約為500 lx（lx 為勒克斯，是照度單位）［3］，陰天照度一般低于100 lx，昏暗場景一般為照度低于50 lx 的道路環(huán)境。人眼在照度低于50 lx 時對周邊事物的判別感知能力明顯下降，相較于白天的自然光，駕駛員對車燈、路燈等輔助照明的適應性也明顯不足。我國一般城市道路夜間照度平均為17.5 lx，本文針對該照度條件下的車輛目標檢測展開研究。

智能檢測技術(shù)可以減少城市智慧交通中的人力成本，降低因駕駛員反應不及時或誤操作等因素導致的交通事故發(fā)生概率，進一步保障出行安全。對于道路目標的識別，通常分為傳統(tǒng)檢測方法和深度學習檢測方法。傳統(tǒng)檢測方法須隨道路場景和背景不斷變化從而提取不同特征，精度較低，魯棒性也較差［4］。基于深度學習的目標檢測算法可分為兩類：一類是以R-CNN［5］、Faster R-CNN［6］等為代表的兩階段檢測算法，它們使用區(qū)域候選網(wǎng)絡來提取候選目標信息；另一類是以YOLO［7］、SSD［8］等為代表的端到端的一階段目標檢測算法。兩階段算法的區(qū)域建議模塊計算機內(nèi)存消耗很大，而一階段算法從學習輸入圖像直接到目標位置和類別的輸出，由于沒有區(qū)域候選過程，目標檢測被視為回歸問題，因此提升了檢測速度。其中，YOLOv4 算法以其檢測速度較快、精度較高的特性而受到廣泛的青睞［9］。

本文在YOLOv4 的基礎(chǔ)上提出一種Dim env-YOLO 改進算法。利用MobileNetV3［10］網(wǎng)絡替換YOLOv4 的主干網(wǎng)絡，并在特征金字塔部分引入注意力機制，進一步降低參數(shù)量。由于現(xiàn)有公開車輛數(shù)據(jù)集夜間場景樣本有限，因此本文自制昏暗道路場景下的車輛數(shù)據(jù)集，在此數(shù)據(jù)集上對改進網(wǎng)絡進行訓練及測試。為驗證極端照度條件下算法的有效性，設計不同照度實驗場景探索環(huán)境照度邊界值，同時為驗證模型的魯棒性，在高斯噪聲、模糊處理、雨霧夜晚等干擾下進行實驗分析。

1 算法原理

1.1 YOLOv4 模型結(jié)構(gòu)

YOLOv4 是YOLOv3 的改進版，其在YOLOv3的基礎(chǔ)上大幅提高了精度和速度［11］。YOLOv4 的主干網(wǎng)絡CSPDarknet53 在Darknet53 網(wǎng)絡的基礎(chǔ)上加入CSP（Cross Stage Partial），特征金字塔部分使用SPP 結(jié)構(gòu)和PANet 結(jié)構(gòu)［12］，如圖1 所示。

圖1 YOLOv4 結(jié)構(gòu)Fig.1 Structure of YOLOv4

Darknet 網(wǎng)絡采用Mish 激活函數(shù)，如圖2 所示。Mish 激活函數(shù)是對Leaky-ReLU 的折點小修正，平滑的激活函數(shù)允許更好的信息深入神經(jīng)網(wǎng)絡，從而得到更好的準確性和泛化能力［13］。Mish 函數(shù)如式（1）所示：

圖2 函數(shù)圖像Fig.2 Function images

Darknet53 存在一系列殘差模塊，它們由一次下采樣和多次殘差結(jié)構(gòu)堆疊構(gòu)成。CSP Net 即為跨階段局部網(wǎng)絡，在原有Darknet53 的殘差模塊中加入了交叉分通道卷積［14］。交叉分通道卷積雖然可以增強CNN 的學習能力，在輕量化和低內(nèi)存訪問成本的同時增強梯度融合，減小計算瓶頸，但是由于YOLOv4原網(wǎng)絡結(jié)構(gòu)中存在較多的卷積過程，這些卷積模塊計算冗長，導致模型參數(shù)過多，計算量仍然較大。

1.2 MobileNet 網(wǎng)絡

神經(jīng)網(wǎng)絡中的數(shù)據(jù)在卷積層最耗費時間，輕量化網(wǎng)絡模型一直是研究熱點，因此，深度可分離卷積塊DW 應運而出［15］，利用DW 卷積替換傳統(tǒng)的卷積，可以減小參數(shù)量，提升檢測速度。DW 卷積分為逐通道卷積和逐點卷積，逐通道卷積過程中一個通道只被分配一個卷積核，兩者一一對應［16］，逐點卷積核尺寸為1×1×Cout。對于深度可分離卷積，設輸入特征圖通道數(shù)為Cin，shape 為H×W，卷積核尺寸是Ksize，輸出特征圖通道數(shù)為Cout，大小為H×W，則：

其中：FLOPsdw指深度可分離卷積計算量；FLOPsconv指傳統(tǒng)卷積計算量。在一般情況下，假定采用3×3的卷積核，那么當Cout相對較大時可以降低近90%的計算量［17］。

此外，MobileNetV3 結(jié)合了 MobileNetV1、MobileNetV2 的一系列特點，并使用h-swish 代替swish作為激活函數(shù)，減少了運算量，提高了檢測性能。h‐swish函數(shù)表達式如式（5）所示：

MobileNetV3 結(jié)構(gòu)詳解如表1 所示。

表1 MobileNetV3 結(jié)構(gòu)參數(shù)Table 1 Structural parameters of MobileNetV3

在表1 中，HS 和RE 分別代表h-swish 激活函數(shù)和ReLU 激活函數(shù)，步距表示每次block 結(jié)構(gòu)所用的步長［18］。由表1 可知，每個特征層經(jīng)過bneck 模塊，輸入的特征層尺度均多次發(fā)生相應的變化，其中又在5、6、7、12～16 層加入了注意力機制。

1.3 損失函數(shù)

在YOLO 網(wǎng)絡中，每一張完整圖片都被有效特征層分成S×S的網(wǎng)格，隨后在網(wǎng)格中心建立先驗框的局部坐標，再通過網(wǎng)絡預測的坐標偏移量、物體置信度和種類置信度［19］三項指標，與每一個先驗框分別比較損失以進行擬合，最后根據(jù)得分排序和非極大值抑制篩選得出預測結(jié)果。本文模型采用二分類交叉熵的方法計算損失函數(shù)［20］，將多分類目標問題轉(zhuǎn)化為二分類問題，類別劃分轉(zhuǎn)為此目標物體是否屬于該分類類別，損失函數(shù)如式（6）所示：

其中：Lxywh為真實框的坐標軸偏移量和長寬差值；λcoord為坐標系數(shù)；Lconfi為目標置信度誤差，分為有無目標兩項，λobj和λnobj分別表示是否有目標的置信度系數(shù)；Lclasses為物體種類的分類損失；表示第i個網(wǎng)格第j個先驗框的擬合情況。

IoU［21］是目標檢測中經(jīng)典的評價指標，它反映了預測邊框與真實邊框的重疊程度，即預測框與真實框交集與并集之間的比值，計算方式如圖3 所示，其中，A、B分別表示預測框和真實框的面積。

圖3 IoU 定義Fig.3 The definition of IoU

但是，僅僅依靠IoU 進行評價會存在一些問題［22］，若真實框和預測框并無相交，則IoU 為0，此時無法體現(xiàn)兩者的距離（重合度）。同時，因為損失LLoss=0，梯度不回向傳播，所以無法進行學習訓練。此外，IoU 僅依靠預測框和真實框的重合面積，忽略了位置關(guān)系，如圖4 所示，3 種情況下IoU 均相等，為0.33，然而真實框和預測框的重合程度存在差異，回歸效果從左至右依次遞減。

圖4 3 種IoU 均相同的情況Fig.4 Three cases that IoUs are the same

針對上述問題，本文引入CIoU 代替IoU 作為邊框回歸損失函數(shù)評價指標［23］。CIoU 將預測框和真實框之間的關(guān)鍵幾何因素，即重疊面積、中心點距離和長寬比列入邊框回歸損失，使得邊框回歸更加穩(wěn)定，收斂精度更高。CIoU 損失函數(shù)如式（7）所示：

其中：b和bgt分別表示預測框與真實框的中心點；ρ（·）表示歐氏距離；c表示預測框與真實框重疊多邊形的最小外接矩形對角線長度；α和v為懲罰因子，它們擬合了預測框和真實框的長寬比，α是協(xié)調(diào)比例參數(shù)，v是用來衡量長寬比一致性的參數(shù)。α與v的計算公式分別如式（8）和式（9）所示：

2 Dim env-YOLO 網(wǎng)絡

2.1 框架改進

由于環(huán)境昏暗，使得目標檢測精度有所下降，為了在低光照的條件下增強圖像的色彩對比度，凸顯目標信息，可以引入圖像暗光增強技術(shù)。傳統(tǒng)的暗光圖像處理法有直方圖處理、伽馬均衡等方法［24］。近年來，隨著計算機技術(shù)的發(fā)展，研究人員嘗試利用深度學習的方法處理暗光圖像，如MSR-net 算法、Ret-Net 模型、K.D++算法等［25］。

本文選擇一種輕量化HDR 暗光圖像增強方法，如圖5 所示。該方法僅對缺失光照部分進行補光增強，對于光照充足的區(qū)域，不會產(chǎn)生較大的影響，從而避免已有一些方法在暗光增強的同時造成圖片過度曝光從而影響檢測處理效果的問題。

圖5 HDR 圖像增強效果Fig.5 HDR image enhancement effect

針對昏暗環(huán)境的車輛目標檢測，本文在YOLOv4的基礎(chǔ)上結(jié)合HDR 圖像暗光增強技術(shù)，設計一種Dim env-YOLO 道路車輛檢測網(wǎng)絡，其結(jié)構(gòu)如圖6 所示。網(wǎng)絡輸入是經(jīng)暗光增強預處理后的數(shù)據(jù)圖片，主干網(wǎng)絡由CSPDarknet 替換成MobileNetV3 網(wǎng)絡，將主干網(wǎng)絡中用到的普通卷積替換成深度可分離卷積，并在隨后有效特征層和加強特征網(wǎng)絡以及上采樣后的結(jié)果中引入注意力機制模塊，進一步減少模型的參數(shù)量［26］。

圖6 Dim env-YOLO 網(wǎng)絡結(jié)構(gòu)Fig.6 Dim env-YOLO network structure

2.2 算法優(yōu)化

神經(jīng)網(wǎng)絡的學習率是比較重要的超參數(shù)，其值大小與模型性能密切相關(guān)［27］，如何設置學習率一直是個難題，同時，訓練過程中的損失通常只對參數(shù)空間的某些特定方向敏感。為進一步提高算法的檢測效率，研究人員提出一系列算法優(yōu)化方法。為避免引入過多的新參數(shù)，致使參數(shù)量增加，本文采用優(yōu)化效果較好、魯棒性較高的Adam 自適應學習率算法，其描述如下：

3 實驗結(jié)果與分析

3.1 實驗描述

本文采集北京市某區(qū)域一帶道路的數(shù)據(jù)自制數(shù)據(jù)集，對于昏暗城市道路，主要目標類別分為轎車、公交車和卡車，如圖7 所示。數(shù)據(jù)集包含2 000 張圖片，約11 000 個車輛目標，使用LableImg 對車輛進行標注，制作成VOC 數(shù)據(jù)集，標注情況如圖8 所示。

圖7 車輛類別Fig.7 Classes of vehicle

圖8 數(shù)據(jù)集示例Fig.8 Dataset example

本文實驗在Ubuntu18.0 操作系統(tǒng)上運行，GPU 為NVIDIA 1080Ti，內(nèi)存為16 GB。深度學習框架為PyTorch1.2.0，CUDA 版本為11.4，Python 版本為3.7.0。

實驗采用凍結(jié)訓練的方式以提高訓練速度，節(jié)省GPU 顯存［28］。由于主干特征提取網(wǎng)絡所提取的特征通用，因此引入遷移學習的思想，依次進行凍結(jié)、解凍訓練，由此提高訓練效率并防止權(quán)值被破壞。網(wǎng)絡參數(shù)設置如表2 所示。

表2 網(wǎng)絡參數(shù)設置Table 2 Network parameters setting

網(wǎng)絡的最終性能不僅取決于模型本身的結(jié)構(gòu)和參數(shù)，還依賴于硬件平臺的配置，檢測結(jié)果影響因素如圖9 所示。

圖9 網(wǎng)絡模型的影響因素Fig.9 Influence factors of network model

計算機的計算能力用算力和帶寬來評估［29］，算力即FLOPs（Floating-point Operations Per Second），表示計算機每秒執(zhí)行的浮點運算次數(shù)；計算機的帶寬指計算機內(nèi)存交換能力，用Byte/s 表示。算力和帶寬之比則為計算機的計算強度上限Imax，單位是FLOPs/Byte，表示每單位內(nèi)存交換中完成的浮點運算量，公式表達如式（10）所示，計算強度上限數(shù)值越大，表示計算機內(nèi)存使用效率越高。

網(wǎng)絡模型的計算能力是指模型的計算量和訪存量，分別是模型浮點計算次數(shù)和模型一次迭代（iteration）前后傳播的內(nèi)存交換量，即時間復雜度和空間復雜度。模型的時間復雜度表示為：

其中：D表示模型卷積層數(shù)；Cl-1表示l層輸入通道數(shù)；Cl表示輸出通道數(shù)；K為卷積核邊長；M是輸出特征圖的大小。時間復雜度決定訓練的時長，訓練耗時過多的模型結(jié)構(gòu)較為復雜。

模型的空間復雜度表示為：

空間復雜度是網(wǎng)絡的各層參數(shù)權(quán)重和輸出特征圖所占的內(nèi)存，訪存量越大表示網(wǎng)絡參數(shù)越多。

3.2 實驗數(shù)據(jù)分析

本文進行實驗驗證所提模型的效果，如圖10 所示，設置凍結(jié)階段迭代次數(shù)為50 次，由于模型主干被凍結(jié)，特征提取網(wǎng)絡不發(fā)生改變，占用顯存較少，因此網(wǎng)絡僅發(fā)生微調(diào)。

圖10 Dim env-YOLO 訓練過程中l(wèi)oss 的變化情況Fig.10 Changes of loss during Dim env-YOLO training

在凍結(jié)階段，改進的網(wǎng)絡loss 值不斷下降并收斂。在解凍階段，占用顯存變大，主干網(wǎng)絡參數(shù)發(fā)生變動，但是訓練效果提升，損失值進一步下降，由此可以看出網(wǎng)絡模型具有良好的收斂能力。

圖11 所示為本文算法在簡單場景下的檢測效果，可以看出，該算法可成功檢測出昏暗環(huán)境下的近距離車輛目標。

圖11 簡單場景下的檢測效果Fig.11 Detection effect in simple scenes

如圖12 所示，對于昏暗道路常見的小汽車、SUV 中型車和大巴客車，本文算法的檢測AP 值分別為93%、91%和87%，檢測mAP 值達到90.49%。

圖12 本文算法的AP 值Fig.12 AP values of this algorithm

3.3 復雜場景對比實驗

為了進一步驗證復雜道路情況下的車輛目標檢測效果，擴充已有數(shù)據(jù)集，新增包括擁擠路口場景下的車輛目標、遠距離車輛目標以及重疊的車輛目標。制作數(shù)據(jù)集時要訓練樣本的多樣性，同時減少數(shù)據(jù)冗余和訓練體量。隔幀抽取所拍攝的車流視頻能夠保證不同密度，從而獲得較優(yōu)的數(shù)據(jù)樣本，如圖13 所示。

圖13 復雜路口數(shù)據(jù)樣本Fig.13 Complex intersection data sample

夜間環(huán)境照度不足、車燈刺眼干擾、明暗對比強烈，嚴重影響駕駛員對道路情況的判斷，使得暗光條件下路口阻塞車流檢測難度提升。如圖14 所示，對于昏暗復雜的路口，Dim env-YOLO 檢測效果優(yōu)異，證明其在低照度的復雜場景下具有有效性，可以為夜間智能出行提供一定技術(shù)支持。

圖14 復雜場景下的檢測效果Fig.14 Detection effect in complex scenes

3.4 算法魯棒性驗證和最低照度研究

按照國家相關(guān)規(guī)定，一般城市主干道路路燈照明要求為30 lx，次路約為10 lx。為了進一步探究更低照度的道路車輛識別效果，測試微弱路燈光的城市次干道（照度僅為3～5 lx）和支路以及幾乎黑暗（照度為0.05 lx）的居民巷等路況下的車輛目標識別效果，實驗結(jié)果如圖15 所示。從圖15 可以看出，當車燈直射車輛和在照度極低的暗處角落，車輛依舊可以被準確檢測出，即對于光照不均勻、光斑混照等復雜情況，本文算法識別效果依然良好。

圖15 城市支路檢測效果（照度為5 lx）Fig.15 Detection effect of urban branch road（illumination is 5 lx）

對于照度低于0.5 lx 的黑暗道路場景，實驗結(jié)果如圖16 所示。從圖16 可以看出，對于汽車燈光照射的區(qū)域，可檢測出車輛目標，而無車燈照射區(qū)域，車輛目前無法被識別，純黑暗區(qū)域可以通過閃光燈補光來提升識別率。

圖16 黑暗道路檢測效果（照度為0.5 lx）Fig.16 Detection effect of dark road（illumination is 0.5 lx）

綜上，在照度不低于5 lx 的道路環(huán)境，本文算法識別準確率較好。為了進一步驗證模型的魯棒性，隨機選取夜間道路車輛并加入高斯噪聲、模糊、雨霧夜晚等擾動，路況如圖17 所示，檢測結(jié)果如圖18 所示，實驗定量結(jié)果如表3 所示。

表3 不同照度條件及干擾下的目標識別情況Table 3 Target recognition under different illumination conditions and interference

圖17 擾動下的4 種路況Fig.17 Four road conditions under disturbance

圖18 不同路況下的檢測結(jié)果Fig.18 Detection results under different road conditions

從圖18 和表3 中的數(shù)據(jù)可以看出，即使在低照度、復雜噪聲下，實驗結(jié)果也未隨擾動而大幅退化，平均識別率能達到86.00%以上。在極黑暗的環(huán)境中，車燈照射區(qū)域識別準確率良好，對于模糊擾動敏感度稍有降低，對于高斯噪聲具有更好的魯棒性，尤其在雨夜體現(xiàn)出良好的泛化性能，使得本文算法具有廣闊的應用前景。

3.5 與經(jīng)典模型的對比

為了驗證本文Dim env-YOLO 模型相較其他經(jīng)典網(wǎng)絡的優(yōu)勢，選取3 種常用的目標檢測模型與本文Dim env-YOLO 進行性能對比分析，用于對比的檢測模型包括Faster-RCNN、YOLOv3 以及原始YOLOv4。在實驗驗證過程中，用4 類檢測器分別訓練相同的數(shù)據(jù)集，訓練結(jié)果如表4 所示。

表4 不同模型的效果對比Table 4 Effect comparison of different models

從表4 可以看出，在昏暗場景下，本文算法的mAP值比原始YOLOv4 提高了3.18 個百分點，優(yōu)于同等情況下的其他網(wǎng)絡模型，且通過對比可知，本文模型的體量約為Faster-RCNN 的40%，約為YOLOv3 和YOLOv4的50%。

4 結(jié)束語

本文基于YOLOv4 提出一種昏暗條件下面向道路車輛目標檢測的Dim env-YOLO 算法，以改善原始YOLOv4 網(wǎng)絡夜間檢測精度和速度較低的問題。對夜間圖片進行暗光增強處理，使用MobileNetV3替換CSPDarknet 主干特征提取網(wǎng)絡，引入注意力機制選擇重要信息，利用深度可分離卷積減少模型參數(shù)，從而提升檢測效果。實驗結(jié)果表明，Dim env-YOLO 對于夜間小汽車的檢測AP 值達到96%以上，且在各種噪聲干擾下依然具有良好的魯棒性，優(yōu)于同類型模型在昏暗光照條件下的檢測效果，本文算法可以為夜間場景下的車輛目標檢測提供一種新的思路。

Dim env-YOLO 算法可以滿足夜間智慧交通的實時性要求，為識別道路車輛、分析夜間道路路況和路口阻塞情況等提供技術(shù)支持。但是模型同時也存在一些問題，如數(shù)據(jù)集采集角度單一化。下一步將豐富訓練集，采用俯角拍攝道路車輛，增加卡車、公共汽車等大型車輛的樣本集，以及使用更多不同的目標場景數(shù)據(jù)集等，從而實現(xiàn)更復雜場景下的高效車輛目標檢測。