基于DCP-Imp CycleGAN CenterNet去霧算法的交通標(biāo)志檢測

霍愛清，馮若水，胥靜蓉

(西安石油大學(xué) 電子工程學(xué)院，陜西 西安 710065)

0 引言

道路交通標(biāo)志檢測是智能駕駛的熱門研究方向[1-2]。近年來由于環(huán)境污染使城市霧霾天氣頻發(fā),霧霾天氣不僅對日常出行造成嚴(yán)重不便,同時也對交通標(biāo)志的檢測造成干擾,使檢測結(jié)果容易出現(xiàn)誤檢、漏檢現(xiàn)象。對于這個問題的解決思路主要分為2種:一種是聯(lián)合去霧和檢測算法,生成端到端的去霧檢測模型,如Li等[3-4]、陳瓊紅等[5]分別提出將不同檢測模型與AODNet[3]進(jìn)行結(jié)合,但該類方法對去霧結(jié)果過度依賴而影響檢測的效果。另一種是先去霧后檢測的無關(guān)聯(lián)方法,如陳秀新等[6]通過有霧先驗(yàn)知識優(yōu)化和判別學(xué)習(xí)對圖像去霧還原,使檢測精度和泛化能力皆有提高;Tanwar等[7]基于對大氣模型的重構(gòu),通過輕量級CNN得到較好的識別效果。

上述2種思路首要解決的都是對去霧效果的優(yōu)化問題。目前常用的傳統(tǒng)去霧算法有DCP[8]、AODNet和EPDN[9],以及其他不同的方法[10-11]。傳統(tǒng)去霧算法存在去霧后圖像顏色有偏差且失真的問題?；谏疃葘W(xué)習(xí)的去霧算法雖然能有效提高清晰化效果[12-13],但仍會存在一定霧霾殘留。

針對小型交通標(biāo)志的檢測,基于深度學(xué)習(xí)的檢測模型已被廣泛使用,如SSD[14]、EfficientNet[15]、M2Det[16]、FPN[17]和Faster-RCNN[18]等,在復(fù)雜環(huán)境下基于錨框的算法會引入大量超參數(shù),使訓(xùn)練速度大幅下降。相較之下anchor-free的CenterNet[19]算法更適合霧天環(huán)境的檢測任務(wù),故本文還將以CenterNet為框架進(jìn)行進(jìn)一步優(yōu)化,以實(shí)現(xiàn)去霧后的交通標(biāo)志檢測。

綜上,本文提出了一種無關(guān)聯(lián)的DCP-Imp CycleGAN(Dark Channel Prior-Improve Cycle-Consistent Generative Adversarial Network)融合去霧算法,主要工作如下:

① 采用DCP和CycleGAN結(jié)合的方式,對圖像進(jìn)行去霧清晰化;

② 針對去霧后圖像質(zhì)量不高的問題,將對抗網(wǎng)絡(luò)輸出的圖像進(jìn)行感知融合,使圖像更趨近真實(shí);

③ 對檢測網(wǎng)絡(luò)CenterNet中殘差卷積模塊進(jìn)行輕量化操作,并引入注意力機(jī)制CBAM以及FPN特征融合來提高對小型交通標(biāo)志的檢測性能。

1 改進(jìn)算法

1.1 DCP-Imp CycleGAN融合去霧算法

在交通標(biāo)志檢測前先對圖像進(jìn)行預(yù)處理操作,對圖像進(jìn)行去霧還原。如圖1所示,DCP算法存在無法適應(yīng)高亮區(qū)域而導(dǎo)致去霧后圖像整體偏暗的問題,去霧效果不理想。

(b)DCP去霧后圖1 暗通道先驗(yàn)法去霧結(jié)果Fig.1 Results of dehazing by dark channel prior method

而循環(huán)一致性生成對抗網(wǎng)絡(luò)(Cycle-Consistent Generative Adversarial Network,CycleGAN)存在優(yōu)化成對數(shù)據(jù)集的弱監(jiān)督訓(xùn)練優(yōu)勢,故本文將DCP嵌入到CycleGAN網(wǎng)絡(luò)中,從而提高去霧圖像分辨率及紋理信息恢復(fù)質(zhì)量,解決DCP算法存在色差導(dǎo)致的不真實(shí)問題。為此本文提出了DCP-Imp CycleGAN融合去霧算法,該算法框架如圖2所示。

圖2 DCP-Imp CycleGAN算法框架Fig.2 DCP-Imp CycleGAN algorithm framework

該算法將DCP算法嵌入到改進(jìn)的CycleGAN框架中,通過不斷學(xué)習(xí)更新產(chǎn)生與原始圖像高度相似的圖像,保留圖像中高質(zhì)量的紋理信息,并將細(xì)化后的圖像進(jìn)行感知融合,從而得到更清晰真實(shí)的圖像。主要流程如下:

① 輸入待處理的有霧圖像Ireal到DCP中,獲得透射圖TDCP和初步去霧圖像JDCP,并由RT和RJ兩個網(wǎng)絡(luò)對其分別精細(xì)化處理,將結(jié)果與大氣光值A(chǔ)通過構(gòu)建的關(guān)系式得到模糊圖像Irec。

② 通過CycleGAN網(wǎng)絡(luò)進(jìn)行成對的數(shù)據(jù)集優(yōu)化訓(xùn)練。不斷學(xué)習(xí)更新精煉網(wǎng)絡(luò)RT,以提高模糊圖像Irec和輸入圖像Ireal的相似度,使輸出的精細(xì)化透射圖Tref得到適當(dāng)細(xì)化。另一個精細(xì)化網(wǎng)絡(luò)RJ通過鑒別器D來更新,將精細(xì)化去霧圖像Jref與準(zhǔn)備好的自然無霧樣本Jreal進(jìn)行對抗學(xué)習(xí),進(jìn)行真?zhèn)闻袆e,來獲得更自然的無霧圖像Jref。

③ 將前2步獲得的模糊圖像Irec、精煉化圖像Jrec和自然無霧圖像Jref輸入到感知融合模塊中,通過權(quán)重分配處理,輸出最終的去霧圖像Jfused。

1.1.1 CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

為降低參數(shù)量并提高分類質(zhì)量,本文針對原CycleGAN網(wǎng)絡(luò)中的主干網(wǎng)絡(luò)RJ以及判別器D分別進(jìn)行改進(jìn)。RJ的結(jié)構(gòu)共由9個殘差塊組成,為避免大量殘差計(jì)算而影響對抗學(xué)習(xí)的速度,將殘差塊中第一個3×3卷積改為一個3×3的空間卷積和一個1×1卷積,這樣可以確保網(wǎng)絡(luò)參數(shù)量的降低,再通過引入串行空洞卷積擴(kuò)大感知,使細(xì)節(jié)特征得到保留,其空洞率設(shè)為2、2、2、4、4、4。圖3為改進(jìn)前后的殘差塊示意。

(a)原殘差塊

(b)改進(jìn)后殘差塊圖3 改進(jìn)前后殘差模塊結(jié)構(gòu)Fig.3 Residual module structure before and after improvement

鑒別器D是對抗學(xué)習(xí)的關(guān)鍵部分,負(fù)責(zé)圖像的真?zhèn)闻袛?即判斷精細(xì)化去霧圖像Jref和自然無霧圖像Jreal之間的相似度。為了在保留原始輸入圖像空間信息同時還能進(jìn)一步提高分類性能,本文使用全卷積網(wǎng)絡(luò)作為鑒別器,其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 鑒別器D的結(jié)構(gòu)Fig.4 Structure of discriminator D

前4個卷積塊由卷積核大小為4×4的卷積層、實(shí)例歸一化層和LeakyReLU激活函數(shù)組成;添加了一個4×4×1的卷積層,經(jīng)過一個Sigmoid激活函數(shù)層;最后進(jìn)行一個0-1的真?zhèn)闻袛?輸出1則為真實(shí)圖像,0為重建圖像。

1.1.2 感知融合模塊

在保證能見度的情況下,感知融合模塊是通過給對抗性學(xué)習(xí)生成的Jrec和Jref分配合適的權(quán)重,在保證能見度的情況下,獲得二者融合后更自然真實(shí)的圖像。其中權(quán)重的分配計(jì)算通過自然圖像Ireal,與Jrec、Jref的相似度圖計(jì)算而形成的真實(shí)性指標(biāo)確定。

為了得到合適的相似度圖,采用高斯顏色空間LMN的廣義梯度幅值(Gradient Modulus,GM)和色度信息(Chrominance information of the LMN color space,ChromMN)兩個特征來進(jìn)行度量。根據(jù)圖像質(zhì)量評價(Image Quality Assessment,IQA)研究表明,GM是通過YIQ顏色空間的Y通道(即亮度通道)進(jìn)行計(jì)算,而ChromMN是指LMN顏色空間的M和N通道。因此,為了得到GM,將彩色圖像由RGB空間轉(zhuǎn)換為YIQ顏色空間并保留Y分量如式(1)和式(2)所示:

Y=0.299R+0.587G+0.114B,

(1)

(2)

式中:x表示像素點(diǎn),Gx(x)和Gy(x)表示Y通道處的水平方向和垂直方向的偏導(dǎo)數(shù)。

LMN顏色空間的M和N通道計(jì)算式為:

M=0.30R+0.04G-0.35B,

(3)

N=0.34R-0.60G+0.17B。

(4)

通過計(jì)算與GM和ChromMN這2個特征的相似性來評估去霧圖像的真實(shí)性。將2幅相似圖像的GM值分別用G1(x)和G2(x)表示,則像素x處的廣義梯度相似性SG(x)和色度相似性SC(x)可定義為[20]:

(5)

(6)

式中:C1、C2是一個正常數(shù)以避免無效運(yùn)算,此處C1取值160,C2取值130。

同時考慮SG(x)、SC(x),則總的相似度SGC(x)為:

SGC(x)=SG(x)·[SC(x)]α,

(7)

式中:α為用來調(diào)整GM和ChromMN相似性的重要參數(shù),實(shí)驗(yàn)中設(shè)為0.4。

(8)

經(jīng)softmax后,Wref(x)+Wrec(x)=1。

由精細(xì)化處理后的去霧圖像Jrec是一個清晰但不符合大氣散射物理模型的圖像,為了得到更理想的效果,由文獻(xiàn)[21]中的Koschmieder定律(式(9),圖2中Eq1)重新構(gòu)建另外一個清晰無霧圖像Jrec。最后,將Jref和Jrec分別與相對應(yīng)的權(quán)重融合,獲得最終結(jié)果Jfused:

(9)

Jfused=Jref⊙Wref+Jrec⊙Wrec。

(10)

1.2 DF-CenterNet算法優(yōu)化

針對CenterNet網(wǎng)絡(luò)對小型目標(biāo)檢測精度不高、網(wǎng)絡(luò)參數(shù)量過大的問題,本文提出了DF-CenterNet (Depthwise Separable Convolution and Feature Pyramid Network-CenterNet)改進(jìn)算法,主要從殘差模塊和特征融合兩方面對CenterNet進(jìn)行改進(jìn),DF-CenterNet的整體框架如圖5所示。

圖5 DF-CenterNet模型框架Fig.5 DF-CenterNet model framework

由圖5可知,DF-CenterNet模型框架主要由主干特征提取網(wǎng)絡(luò)Backbone、特征融合網(wǎng)絡(luò)FPN及熱圖Heatmap三部分組成。本文將原CenterNet中的殘差塊替換為改進(jìn)后的D-Conv Block,并引入CBAM注意力機(jī)制提高對有效信息的提取能力;在特征融合部分結(jié)合FPN網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì),將淺層的小目標(biāo)特征與深層特征堆疊,以減少細(xì)節(jié)紋理的丟失;使目標(biāo)位置直觀地反映在Heatmap中。

1.2.1 殘差模塊優(yōu)化

ResNet50作為CenterNet的特征提取網(wǎng)絡(luò),主要由封裝后的殘差卷積塊(Conv Block)和身份卷積塊(ID Block)組成,而殘差塊的大量使用會導(dǎo)致計(jì)算量大幅增加。因此首先對其進(jìn)行了輕量化改進(jìn),改進(jìn)后的D-Conv Block結(jié)構(gòu)示意如圖6所示。

圖6 D-Conv Block結(jié)構(gòu)Fig.6 Structure of D-Conv Block

采用深度可分離卷積替換原始?xì)埐顗K中的第二個3×3卷積層,以減少過大的參數(shù)量堆積;同時在激活函數(shù)的選擇上,考慮到ReLU函數(shù)會存在激活無效的問題,在D-Conv Block中選用Mish函數(shù)作為激活函數(shù),從而避免激活值過大導(dǎo)致函數(shù)飽和。

為了使網(wǎng)絡(luò)更專注有效信息,增強(qiáng)對小型交通標(biāo)志的檢測,本文引入了輕量級卷積塊注意力機(jī)制(Convolutional Block Attention Module,CBAM)[22],如圖7所示。

圖7 CBAM示意Fig.7 Schematic diagram of CBAM

CBAM包含通道注意力(Channel Attention Mo-dule,CAM)和空間注意力(Spatial Attention,SAM)兩個子模塊,分別在通道和空間維度進(jìn)行特征關(guān)注。輸入特征設(shè)為F∈RC×H×W,通過CAM的一維卷積MC∈RC×1×1后與原輸入特征殘差相乘,再將CAM的輸出結(jié)果傳入SAM并進(jìn)行二維卷積MS∈R1×H×W,將輸出結(jié)果與殘差相乘,得到2次特征細(xì)化提取后的結(jié)果。其整體過程描述如下:

F′=MC(F)?F,

(11)

F″=MC(F′)?F′。

(12)

1.2.2 FPN特征融合

CenterNet模型將主干網(wǎng)絡(luò)提取到的特征層進(jìn)行3次反卷積,得到大小為128 pixel×128 pixel、通道數(shù)為64的特征層,再將其傳遞到檢測模塊進(jìn)行關(guān)鍵點(diǎn)預(yù)測。而伴隨網(wǎng)絡(luò)的加深,目標(biāo)的細(xì)節(jié)紋理信息存在丟失情況,在預(yù)測時使用單一的深層特征信息是造成小尺寸交通標(biāo)志檢測精度不高、甚至漏檢的主要原因。因此本文借鑒了FPN的網(wǎng)絡(luò)構(gòu)建,將ResNet50中的ID Block層特征進(jìn)行通道調(diào)整作為FPN的特征,記為圖5中{C2、C3、C4、C5}。經(jīng)過3次上采樣以及特征堆疊的方式,將深層的語義信息與淺層高分辨率的信息進(jìn)行特征間信息融合,以增強(qiáng)對小型標(biāo)志的檢測能力。

2 實(shí)驗(yàn)及分析

2.1 數(shù)據(jù)集

本文的實(shí)驗(yàn)數(shù)據(jù)包括:去霧實(shí)驗(yàn)用BeDDE數(shù)據(jù)集進(jìn)行訓(xùn)練并用自制數(shù)據(jù)集(500張有霧圖像、200張無霧圖像)進(jìn)行測試;檢測實(shí)驗(yàn)采用CCTSDB數(shù)據(jù)集,共計(jì)15 734張包含不同天氣和道路的自然場景下的交通標(biāo)志圖像,訓(xùn)練集和測試集按9∶1劃分,圖像尺寸為512 pixel×512 pixel,使用LabelImg進(jìn)行圖像標(biāo)注,并將標(biāo)注數(shù)據(jù)分為三大類目標(biāo):指示標(biāo)志、禁止標(biāo)志、警告標(biāo)志。

2.2 實(shí)驗(yàn)環(huán)境

本文在實(shí)驗(yàn)階段的環(huán)境平臺為CPU:Intel Corei7-10875H,單顯卡GPU:NVIDIA GeForce RTX 2060 6 GB,通過PyTorch深度學(xué)習(xí)框架搭建模型,并基于CUDA10.1 和 Cudnn7.6.0來完成GPU的加速運(yùn)算。實(shí)驗(yàn)中共設(shè)置100個epoch,batchsize大小設(shè)為4,采用梯度下降法加快模型收斂速度,學(xué)習(xí)率經(jīng)25個周期進(jìn)行一次更新,分別為0.001、0.005、0.000 1、0.000 5。

2.3 實(shí)驗(yàn)評價標(biāo)準(zhǔn)

本文對于去霧效果的評估采用結(jié)構(gòu)相似度(Structural Similarity Index,SSIM)及峰值信噪比(Peak Signal to Noise Ratio,PSNR)兩個參數(shù)[23]。

SSIM是常用的圖像評價指標(biāo),從亮度、對比度和結(jié)構(gòu)三方面來綜合度量圖像的相似性。其中SSIM取值[0,1],大小與圖像相似度呈正相關(guān)。

SSIM計(jì)算表達(dá)為:

(13)

PSNR是基于對應(yīng)像素點(diǎn)的誤差評價,其計(jì)算表達(dá)為:

(14)

式中:MSE為圖像的均方誤差,MaxI為圖像可能的最大像素值,PSNR單位dB,取值越大則表示保真程度越高。

本文對于目標(biāo)檢測實(shí)驗(yàn)采用平均精確度均值mAP、參數(shù)量(M)和FPS三項(xiàng)指標(biāo)進(jìn)行評估。

2.4 實(shí)驗(yàn)結(jié)果

2.4.1 DCP-Imp CycleGAN融合去霧實(shí)驗(yàn)

本文將DCP初步去霧的圖像和準(zhǔn)備好的有霧圖像輸入到循環(huán)對抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練,學(xué)習(xí)并更新對應(yīng)的權(quán)重,使用感知融合模塊融合相似性圖像實(shí)現(xiàn)圖像的去霧清晰化。

為了驗(yàn)證本文去霧算法的可行性,將DCP-Imp CycleGAN融合去霧算法與DCP、AODNet以及EPDN進(jìn)行了實(shí)驗(yàn)對比。圖8為不同算法去霧的可視化結(jié)果。

(a)原圖

(b)DCP

(c)AODNet

(d)EPDN

(e)本文圖8 去霧算法可視化結(jié)果Fig.8 Visualization results of the dehazing algorithm

由圖8可見,DCP算法去霧后圖像存在整體色彩失真、暗部細(xì)節(jié)不足的問題;AODNet和EPDN算法這2種監(jiān)督網(wǎng)絡(luò)對于圖像中心區(qū)域去霧效果較明顯,但仍存在圖像顏色偏暗問題,其中AODNet還出現(xiàn)了偽光暈現(xiàn)象。相較之下,本文提出的DCP-Imp CycleGAN算法對圖像去霧效果最好,且對暗部紋理細(xì)節(jié)高度還原,解決了去霧后圖像色差大、不清晰的問題。

采用SSIM和PSNR兩個評價參數(shù)對實(shí)驗(yàn)結(jié)果進(jìn)行客觀評價,對比結(jié)果如表1所示。

表1 不同去霧算法對比結(jié)果Tab.1 Comparison results of different dehazing algorithms

由表1可以看出,本文的DCP-Imp CycleGAN融合去霧算法的SSIM和PSNR都是4種算法中最大值,其中峰值信噪比最高達(dá)18.06 dB,相較于原DCP算法提高了6.06 dB,表明了對圖片的細(xì)節(jié)還原度更高,而結(jié)構(gòu)相似度可高達(dá)85%,顯示出在圖像色彩表現(xiàn)上的優(yōu)越性。

2.4.2 交通標(biāo)志檢測實(shí)驗(yàn)及分析

為更直觀表現(xiàn)檢測模型的改進(jìn)效果,本文用去霧后的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),設(shè)計(jì)了消融實(shí)驗(yàn)、可視化對比實(shí)驗(yàn)和不同算法對比實(shí)驗(yàn)。

① 消融實(shí)驗(yàn)

首先,為驗(yàn)證本文模型改進(jìn)的有效性,設(shè)計(jì)了相應(yīng)的消融實(shí)驗(yàn)。在CenterNet的基礎(chǔ)上,分別驗(yàn)證不同改進(jìn)策略對模型的影響,實(shí)驗(yàn)結(jié)果如表2所示,其中“×”表示在改進(jìn)模型中沒有使用該模塊,“√”表示在改進(jìn)模型中使用該模塊。

表2 DF-CenterNet模塊消融實(shí)驗(yàn)Tab.2 DF-CenterNet module ablation experiments

由表2可以看出,在將原殘差塊改為D-Conv Block+Mish后,提高了網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性和檢測速度,因此mAP提高了1.21%,FPS提升了2幀/秒。再引入CBAM注意力機(jī)制,使得mAP進(jìn)一步提高了2.31%,FPS也提高了3幀/秒,驗(yàn)證了特征提取過程中使用注意力機(jī)制可以減少資源消耗,同時提升模型的檢測性能。最后通過FPN網(wǎng)絡(luò)將位置信息和語義信息進(jìn)行融合,在犧牲一點(diǎn)檢測速度代價下使模型mAP進(jìn)一步提升1.96%?？梢姼倪M(jìn)后的DF-CenterNet可以獲得更良好的檢測效果。

② 可視化對比實(shí)驗(yàn)

圖9為CenterNet算法改進(jìn)前后的交通標(biāo)志檢測可視化對比結(jié)果。由圖9可以看出,相較于改進(jìn)之前的算法,DF-CenterNet算法對較小型的交通標(biāo)志的檢測效果更為顯著,使第一行圖中小型標(biāo)志的分類置信度明顯提升,第二行圖中在多個小型交通標(biāo)志的場景下,也能有效防止漏檢和誤檢現(xiàn)象,由此可見本文算法具備良好的識別能力。

(a)CenterNet (b)DF-CenterNet圖9 CenterNet改進(jìn)前后可視化結(jié)果Fig.9 Visualization results of CenterNet before and after improvement

③ 不同算法對比實(shí)驗(yàn)

為了驗(yàn)證DF-CenterNet 模型對交通標(biāo)志的檢測性能,在同一實(shí)驗(yàn)環(huán)境下分別與SSD、Faster-RCNN、EfficientNet、M2Det、CenterNet 這幾個模型進(jìn)行對比分析實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同算法的檢測對比結(jié)果Tab.3 Detection result comparison of different algorithms

由表3分析可知,本文算法相較于原CenterNet的檢測精度和速度均有提升,且網(wǎng)絡(luò)更加輕量,實(shí)現(xiàn)了對CenterNet網(wǎng)絡(luò)的全面優(yōu)化。本文算法的mAP值達(dá)到94.63%,在檢測精度上優(yōu)于其他算法,相較于SSD、Faster-RCNN、EfficientNet、M2Det分別提升了8.38%、10.65%、15.15%、9.87%。在參數(shù)量方面,本文算法的參數(shù)量略高于SSD算法,但與其他算法相比更為輕量。從算法整體性能來看,本文算法的檢測精度和速度均為最高值,在道路交通標(biāo)志檢測任務(wù)中占據(jù)很大優(yōu)勢。

3 結(jié)束語

本文提出了一種基于DCP-Imp CycleGAN與CenterNet的融合去霧檢測算法。

該方法在圖像預(yù)處理階段,將DCP嵌入到CycleGAN中進(jìn)行網(wǎng)絡(luò)框架改進(jìn),再采用感知模塊將學(xué)習(xí)后的清晰圖像進(jìn)行加權(quán)融合,從而保證了圖像的高質(zhì)量紋理信息,提高了圖像的清晰度和真實(shí)性。

對CenterNet檢測網(wǎng)絡(luò)進(jìn)行了優(yōu)化改進(jìn),首先對主體的殘差塊進(jìn)行了輕量化設(shè)計(jì),提高了網(wǎng)絡(luò)運(yùn)行速度,其次引入CBAM注意力機(jī)制,聯(lián)合特征融合部分的FPN模塊,構(gòu)建了新的DF-CenterNet檢測模型,增強(qiáng)對小型交通標(biāo)志的特征獲取能力。

本文模型與多種去霧模型的對比實(shí)驗(yàn)結(jié)果表明,本文的融合去霧算法使圖像表現(xiàn)更趨近于真實(shí)圖像;目標(biāo)檢測的對比實(shí)驗(yàn)結(jié)果表明,DF-CenterNet模型相較原CenterNet算法,mAP提高了5.48%,FPS提高了4幀/秒,具有更精確、更快速的優(yōu)勢,能夠有效避免霧天環(huán)境小型交通標(biāo)志的漏檢、誤檢。