霧天車輛目標檢測域適應(yīng)模型

董惠文，田 瑩

（遼寧科技大學(xué) 計算機與軟件工程學(xué)院，遼寧 鞍山 114051）

常用的車輛目標檢測數(shù)據(jù)集大多是在晴天清晰情況下拍攝，用此數(shù)據(jù)集訓(xùn)練出來的模型在晴天檢測效果良好，但在霧霾天或者雨雪天準確率就會大幅下降。以往研究主要采用兩種方式來解決：數(shù)據(jù)集去霧后檢測和一體化的霧霾天目標檢測模型。

數(shù)據(jù)集去霧后檢測采用分步實驗，先將數(shù)據(jù)集整體去霧，再將處理好的圖像放入目標檢測模型進行實驗。去霧方法主要分為傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)上的去霧模型是將圖像退化后的大氣散射模型進行恢復(fù)，例如，He等［1］提出的暗通道先驗，還有顏色衰減先驗［2］、色調(diào)差異先驗［3］。傳統(tǒng)方法主要缺點是：恢復(fù)的圖像中由于手工的嚴格約束，造成不期望的霧偽影；或是目標場景與大氣光類似，如雪地、白色的樓房等，結(jié)果較差。近幾年深度學(xué)習(xí)去霧方法中，Li等［4］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的一體化去霧網(wǎng)絡(luò)（All-in-one dehazing network，AOD-Net），可直接重建無霧圖像，但圖像往往較暗且不夠清晰。Liu等［5］使用對抗性方法CycleGAN，輸入不成對的有霧與無霧的圖像，通過周期不變性以及對抗性學(xué)習(xí)增強去霧效果。這些深度學(xué)習(xí)的方法都是將有霧圖片轉(zhuǎn)換成無霧，還需要進行二次訓(xùn)練才能得出適合檢測霧天車輛的模型。

一體化的霧霾天目標檢測模型通過深度學(xué)習(xí)，在訓(xùn)練中學(xué)得霧霾中車輛的特征，直接用于目標檢測。2018年，Chen等［6］提出將域適應(yīng)算法與雙階段目標檢測模型相結(jié)合，設(shè)計在圖像上和實例上的域適應(yīng)組件，將對抗性訓(xùn)練引入域適應(yīng)，以減少域漂移導(dǎo)致的性能下降。汪昱東等［7］在Faster R-CNN中添加霧濃度判別模塊以及注意力機制，結(jié)合擴充后的數(shù)據(jù)集完成對行人和車輛的檢測。Sun等［8］在Faster R-CNN基礎(chǔ)上提出一種基于無監(jiān)督領(lǐng)域分類的多目標檢測方法，首先在所有目標域中提取不同風(fēng)格特征，再使用k均值（kmeans）算法進行無監(jiān)督聚類，進一步訓(xùn)練出在所有天氣情況下都可使用的目標檢測模型。以上方法都是基于Faster R-CNN的雙階段目標檢測模型進行改進。對于自動駕駛或其他交通檢測模型來說，模型的運行速度也是需要考慮的因素。

雙階段目標檢測模型速度較單階段模型慢很多。在霧霾天氣下檢測車輛和在清晰天氣下檢測車輛效果不同，主要是由于兩種不同的域之間存在著分布差異。因此，本文提出一種單階段域自適應(yīng)目標檢測模型，在YOLO模型損失上添加聯(lián)合最大平均差異（Joint maximum mean discrepancy，JMMD）［9］域間損失，稱之為JMMD-YOLO模型，對齊跨域的多個域特征層的聯(lián)合分布參數(shù)，并學(xué)習(xí)傳輸網(wǎng)絡(luò)，使無霧到有霧的跨域檢測效果得以提升。

1 JMMD-YOLO模型

1.1 聯(lián)合最大平均差異

最大平均差異（Maximum mean discrepancy，MMD）［10］最開始用于衡量兩個分布和之間的接近程度。如果兩個分布是相同的，那么兩個數(shù)據(jù)差值應(yīng)該為零式中：是包含所有連續(xù)函數(shù)的集合，廣義再生核希爾伯特空間中的函數(shù)類足以區(qū)分任意兩個分布。數(shù)據(jù)集滿足P分布，數(shù)據(jù)集滿足Q分布。

在實際應(yīng)用時，采用的是經(jīng)驗核均值嵌入之間的平方距離MMD，計算式

式中：ns是有標簽的示例；nt是無標簽的示例；k(x,x′)為核函數(shù)。

利用張量積特征空間與再生核希爾伯特空間結(jié)合［11］，推廣到多個變量的聯(lián)合分布，得到

式中：P為聯(lián)合分布，P中變量X`,…,Xm嵌入到m階張量積特征空間中。

將式（2）與聯(lián)合分布式（3）結(jié)合，產(chǎn)生的度量即是聯(lián)合最大平均差異［9］，計算式

式中：P和Q分別為從源域Ds和Dt目標域中提取的標記點，深層網(wǎng)絡(luò)分別從L中生成激活，如和

JMMD模塊結(jié)構(gòu)如圖1所示。Block1為YOLO模型的特征提取層，Block2為后續(xù)的卷積層，中間部分為本文所用的JMMD模塊。該模塊zs1,…,zs|L|特征部分來自源域，zt1,…,zt|L|部分來自目標域，分別把對應(yīng)層的特征映射到希爾伯特核空間，再進行內(nèi)積計算，最后計算源域與目標域之間的JMMD。通過優(yōu)化JMMD達到域自適應(yīng)。

圖1 JMMD模塊示意圖Fig.1 Schematic diagram of JMMD module

1.2 YOLO域自適應(yīng)網(wǎng)絡(luò)

YOLO模型［12］最先由Redmon等在2015年提出，將目標檢測轉(zhuǎn)成一個回歸問題，在一次評估中完成邊界框預(yù)測與類別預(yù)測，運算速度是當時其他實時檢測器的兩倍，但它的定位誤差相對其他雙階段目標檢測模型較高，無法從背景中預(yù)測假陽性。

2016年，YOLOv2［13］在YOLO的基礎(chǔ)上增加多尺度訓(xùn)練方法，引入候選區(qū)域框（Anchor boxes），取消隨機失活方法，在卷積層全部使用批標準化，增加了細粒度特征，使較小的物體檢測準確度提升，召回率也明顯提升。YOLOv3［14］在YOLOv2基礎(chǔ)上，更新了Darknet-19的結(jié)構(gòu)，變?yōu)?3層，檢測效果進一步提升。在多尺度檢測方面，采用兩次上采樣，在原來的5個候選區(qū)域框的基礎(chǔ)上提升到9個，使小物體檢測效果進一步提升。近年來也有基于YOLO模型改進的YOLOv4以及YOLOv5模型，結(jié)合SPP（Spatial pyramid pooling）訓(xùn)練的YOLOv3也是工業(yè)界常用的版本。本文采用跨域后效果依舊穩(wěn)定的YOLOv3-SPP模型進行改進。為使原始檢測效果更佳，還使用了馬賽克數(shù)據(jù)等增強方法。

YOLO域適應(yīng)模型所采用的優(yōu)化目標包括兩大部分：一個是目標檢測損失，另一個是域適應(yīng)損失。目標檢測損失又包括邊界框置信度損失（Lconf）、類別損失（Lclass）以及坐標損失（LCIoU）。計算式

其中

式中：S2為劃分的網(wǎng)格數(shù)量；B為每個網(wǎng)格預(yù)測邊界框數(shù)量；為判斷第i個網(wǎng)格的第j個邊界框是否有需要預(yù)測的目標；λobj和λnobj為網(wǎng)格有無目標的權(quán)重系數(shù)；Ci,C^i為預(yù)測目標和實際目標的置信度值；c為邊界框預(yù)測的目標類別；pi(c)為第i個網(wǎng)格檢測到目標時，其所屬c的預(yù)測概率；p^i(c)為第i個網(wǎng)格檢測到目標時，其所屬c的實際概率；IoU為預(yù)測框與真實框之間交并比的差值；c1為預(yù)測框與真實框最小包圍框的對角線長度；b為預(yù)測框中心點坐標；bgt為真實框中心點坐標；ρ(b,bgt)為計算兩者間的歐式距離；α為平衡參數(shù)，不參與梯度計算；v為懲罰項，判斷預(yù)測框的寬高是否接近于真實框的寬高；w和h為預(yù)測框的寬高；wgt和hgt為真實框的寬高。

將JMMD與YOLO損失函數(shù)結(jié)合即為本文的損失函數(shù)

其中μ＞0為平衡目標檢測和域適應(yīng)損失的參數(shù)，整體目標為最小化目標檢測損失和JMMD聯(lián)合調(diào)整。

1.3 模型整體結(jié)構(gòu)

模型整體分為五個模塊，分別是輸入端、主干網(wǎng)絡(luò)（Backbone）、頸部、檢測頭以及域適應(yīng)模塊。模型主要結(jié)構(gòu)如圖2所示。

圖2 JMMD-YOLO結(jié)構(gòu)圖Fig.2 Structure diagram of JMMD-YOLO

輸入為源域Cityscape和目標域Foggy Cityscape，在經(jīng)過馬賽克數(shù)據(jù)增強以及隨機圖像翻轉(zhuǎn)等數(shù)據(jù)增強方法后，處理成640×640大小輸入到主干網(wǎng)絡(luò)中。

主干網(wǎng)絡(luò)采用DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)，由殘差模塊和卷積層堆疊構(gòu)成，圖中僅簡要畫出五個步長為2的卷積以及最后一層卷積。為得到更好的泛化效果，其中激活函數(shù)采用平滑的非單調(diào)函數(shù)Swish。

頸部為DarkNet-53和檢測頭之間的部分，使用特征金字塔網(wǎng)絡(luò)（Feature pyramid networks，F(xiàn)PN），同時應(yīng)用高層語義信息與低層位置信息，融合不同層特征，達到較好的預(yù)測效果。

檢測頭部分為三種尺寸，分別是80×80、40×40、20×20，在不同的感受野下檢測對應(yīng)尺度的目標。

域適應(yīng)部分在三個特征層中分別獲取源域和目標域的特征，求出JMMD，并加入總體損失進行計算。

2 仿真實驗

2.1 配置及設(shè)置

服務(wù)器配置采用CentOs7，計算統(tǒng)一設(shè)備架構(gòu)（Computer unified device architecture，CUDA）采用10.1.105版本，CUDA深度神經(jīng)網(wǎng)絡(luò)庫（CUDA deep neural network library，cuDNN）采用7.65版本，深度學(xué)習(xí)框架采用PyTorch1.7.1。硬件使用兩張NVIDIAGTX1080Ti顯卡。

模型的圖像增強采用的是馬賽克數(shù)據(jù)增強、隨機翻轉(zhuǎn)、剪切、水平以及垂直平移。此種混合的圖像增強可明顯提升小目標的檢測效果。代碼采用Ultralytics的YOLOv3-SPP。實驗中圖像輸入大小均為640×640，域適應(yīng)實驗中，每批次為兩張源域和兩張目標域圖像。文中平衡目標檢測和域適應(yīng)損失參數(shù)μ選用0.01。

2.2 數(shù)據(jù)集

Cityscapes［15］數(shù)據(jù)集包括來自50個不同城市的街道場景，共有5 000張具有高質(zhì)量像素級注釋，2萬張圖像具有粗糙注釋。其中公開帶標簽的高質(zhì)量數(shù)據(jù)包括訓(xùn)練集2 975張，驗證集500張。數(shù)據(jù)集場景較為復(fù)雜多變，專為城市環(huán)境中的自動駕駛設(shè)計，共有8個類別。本文僅比較轎車、自行車、摩托車、公共汽車、卡車以及火車這6個類別。

Foggy Cityscapes［16］數(shù)據(jù)集是在Cityscapes真實晴天圖像的基礎(chǔ)上合成的高質(zhì)量霧天數(shù)據(jù)集，可用于目標檢測與分割。根據(jù)衰減系數(shù)分為三種，分別是0.005、0.01、0.02的三個版本，分別對應(yīng)600 m、300 m、150 m的能見度范圍。

兩個數(shù)據(jù)集的類別按照標簽數(shù)目從多到少排列分別為：轎車、自行車、摩托車、公共汽車、卡車、火車。數(shù)據(jù)集示例如圖3所示。

圖3 Cityscapes和Foggy Cityscape數(shù)據(jù)集示例圖Fig.3 Example graphs of Cityscapes and Foggy Cityscape datasets

將數(shù)據(jù)集無關(guān)類別刪除后，域適應(yīng)訓(xùn)練過程中源域選用帶標注的Cityscapes數(shù)據(jù)集，目標域采用無標注的Foggy Cityscapes數(shù)據(jù)集，驗證集采用Cityscapes的驗證部分，測試集采用Foggy Cityscapes的驗證集。

2.3 模型評估

評價指標采用平均精度mAP（mean average precision）、PR（Precision-Recall）曲線以及每秒傳輸幀數(shù)（Frames per second，F(xiàn)PS），計算式

式中：TP為目標正確檢測的數(shù)量；FP為目標未檢測數(shù)量；FN為目標錯誤檢測的數(shù)量；P為精確率；R為召回率（Recall）；N為測試輸入圖片數(shù)；C為分類類別數(shù)；k為輸入的第k張圖片；ΔR(k)為召回率k-1到k時的變化情況。

各類的平均精度（AP）以及整體平均精度（mAP）閾值均采用0.5。

2.4 結(jié)果與討論

為選用更適合的模型進行域適應(yīng)，本節(jié)采用多種模型進行比較。選用YOLOv3-SPP以及YOLOv5的兩種版本YOLOv5l、YOLOv5x進行對比，測試結(jié)果如表1所示。YOLOv3-SPP的檢測效果與YOLOv5x接近，在速度上YOLOv3-SPP介于YOLOv5l與YOLOv5x之間。

表1 各模型在Cityscapes下測試效果Tab.1 Test results of each model under Cityscapes

表2為使用Cityscapes數(shù)據(jù)集進行訓(xùn)練后的模型在Foggy Cityscapes進行測試的結(jié)果，其中測試數(shù)據(jù)均采用150 m可見度下的霧霾圖像，為跨域?qū)嶒灐Ｔ诳缬蚝?，所有模型的效果均大幅下降，說明霧霾對車輛檢測效果影響較大。其中YOLOv3-SPP在跨域后實驗效果最佳。

表2 各模型在150 m可見度下Foggy Cityscapes的測試效果Tab.2 Test results of each model at 150 m visibility under Foggy Cityscapes

顯然，在同域下的實驗效果佳并不能代表跨域后依舊有很好的適應(yīng)性，在一個數(shù)據(jù)集中學(xué)習(xí)好的特征在跨域后由于域之間的差異并不能適應(yīng)新的數(shù)據(jù)集。因此，采用跨域后效果最好的YOLOv3-SPP結(jié)合JMMD，進一步縮小兩個數(shù)據(jù)集之間的域差異。

域適應(yīng)測試結(jié)果詳見表3。能見度列中的“混合”是使用Foggy Cityscape數(shù)據(jù)集中的3種能見度混合驗證集進行測試，“無霧”是使用Cityscape驗證集進行測試。在源域與目標域霧霾區(qū)別程度較大的情況下，JMMD-YOLO可有效提升車輛的檢測效果。在標簽數(shù)比較少的類別上提升效果更為突出，在150 m可見度范圍下，公共汽車類別提升6.4%，卡車類別提升2.46%，火車類別提升2.29%，整體平均精度提升2.2%。在三種可見度混合的數(shù)據(jù)集中，火車類別提升5.4%。從速度上看，改進后的模型速度略有下降，但依舊能達到57.8幀/s，具有實時性。

表3 域適應(yīng)測試結(jié)果Tab.3 Test results of domain adaptation

實驗結(jié)果證明，多個特定特征層的聯(lián)合激活，可有效糾正跨域聯(lián)合分布的偏移。同時，將JMMD嵌入到目標檢測模型中，無需額外訓(xùn)練網(wǎng)絡(luò)就可以達到域適應(yīng)效果，避免了分步訓(xùn)練的麻煩。

圖4為150 m可見度下域適應(yīng)前后對比圖。圖4a中，由于霧霾漏掉了一些車輛，而在圖4b中，域適應(yīng)后的模型可以檢測出這些車輛。圖4c將卡車誤檢成火車，自行車誤檢成公共汽車，圖4e將摩托車誤檢成自行車，域適應(yīng)后也能識別出正確的類別，使各類的識別準確率也有所提升。

圖4 150 m可見度下域適應(yīng)前后對比圖Fig.4 Comparison before and after domain adaptation at 150 m visibility

將JMMD-YOLO模型與其他目標檢測域適應(yīng)模型從無霧到有霧的檢測效果進行對比，結(jié)果詳見表4。其中DA-YOLO為單階段域適應(yīng)，其他三種均為Faster R-CNN下的域適應(yīng)。與DA-YOLO單階段域適應(yīng)模型相比，JMMD-YOLO對6種車輛的檢測效果都更好一些。與其余幾種雙階段域適應(yīng)模型相比，JMMD-YOLO模型對個別類別車輛檢測準確率稍低，但均值準確率mAP效果最佳。

表4 不同域適應(yīng)模型對比結(jié)果Tab.4 Comparison between results of different domain adaptation models

3 結(jié)論

霧霾天氣情況下數(shù)據(jù)集較少，在晴天拍攝標注的數(shù)據(jù)集難以滿足霧霾天氣車輛檢測?；诖藛栴}，本文采用域適應(yīng)的方法對模型進行改進。在對多種單階段模型進行實驗后，本文選用其中跨域檢測效果最好的YOLOv3-SPP進行改進，調(diào)整原有YOLO輸入結(jié)構(gòu)，將跨域多個特定層的聯(lián)合分布對齊，提出域適應(yīng)目標檢測JMMD-YOLO模型。與傳統(tǒng)的目標檢測網(wǎng)絡(luò)相比，JMMD-YOLO在訓(xùn)練時目標域的輸入無需注釋，可便捷地用于霧霾下的車輛檢測。實驗結(jié)果顯示，JMMDYOLO模型可以更好地檢測出霧霾天中的車輛，在150 m可見度下，單類識別準確率最高提升6.4%，整體平均精度提升2.2%，并且速度達到57.8幀/s，具有實時性。