雨天下基于注意力機制與特征融合的交通標志識別

查超能,羅素云,何 佳

(上海工程技術大學 機械與汽車工程學院, 上海 201620)

0 引言

交通標志識別(traffic sign recognition,TSR)技術是高級駕駛輔助系統(tǒng)(advanced driving assistance system,ADAS)和自動駕駛系統(tǒng)(automated driving system,ADS)的重要組成部分,它可以幫助駕駛員和自動駕駛車輛捕捉重要的道路信息。

TSR可分為2種:一是交通標志檢測,主要包括獲取圖像、預處理和閾值分割;二是交通標志識別,主要包括交通標志特征提取和分類[1]。交通標志檢測是交通標志識別的前提,交通標志檢測是否正確,將直接影響到最終識別結果。

而在現實環(huán)境中,交通標志的檢測識別極易受到環(huán)境、天氣和車速等因素的干擾,需要在無法預知的復雜天氣及環(huán)境下進行檢測識別,其檢測速度和精度往往會受到極大影響。如何減少外界干擾使TSR系統(tǒng)在已有移動計算設備支持下較準確地完成交通標志的檢測和識別,同時保證算法的實時性是本文著重解決的問題。

王文成等[2]提出了一種雨、雪天氣中的道路交通標志識別方法。在圖像去雨方面,主要使用低通濾波處理方法將不同類型的雨雪特征進行分類;在交通標志識別方面,主要根據交通標志特有的顏色、形狀、梯度以及位置建立了多層特征顯著性模型,從而提升了分類的效率和準確度[3]。Mohamed等[4]使用馬來西亞交通標志數據集(malaysia traffic sign dataset,MTSD)測試3種方法(自動白平衡(automatic white balance,AWB)、策略增強和圖像到圖像轉換(image-to-image-translation,I2IT)技術)對雨天交通標志檢測性能的影響。

雖然以上方法對雨天環(huán)境進行了不同程度的研究探討,但大多采用傳統(tǒng)的先驗去雨算法,較少使用深度學習的去雨算法,其可靠性有待考證,也很少涉及對TT100K中涵蓋多個小目標檢測識別任務進行研究。

本文對雨天環(huán)境下交通標志檢測識別進行研究,首先對現有數據集進行處理,生成雨天環(huán)境下的交通標志數據集,并提出一種基于YOLOv5的改進交通標志檢測識別網絡YOLOv5s-traffic。在圖像預處理階段添加了去雨模塊和圖像增強模塊,針對交通標志檢測識別的需求,通過引入4種改進方法,顯著提高網絡的整體性能,提出的算法可針對晴天和雨天環(huán)境靈活切換使用。

1 雨天環(huán)境下交通標志檢測識別架構

如圖1所示,YOLOv5s-traffic整體架構主要由3部分組成,分別為去雨模塊、圖像增強模塊與基于注意力機制與特征融合方法改進的YOLOv5交通標志檢測識別網絡。

圖1 YOLOv5s-traffic整體架構示意圖

去雨模塊采用的是基于對抗生成網絡的去雨算法,由于該網絡是基于深度學習方法,可根據不同雨天環(huán)境個性化訓練達到良好的去雨效果。

圖像增強模塊采用的是MIRNetv2圖像增強模塊,該網絡可自由調節(jié)不同的增強方法達到不同的增強效果,而由于雨天環(huán)境通常會模糊圖像,本文中采用超分辨率(super resolution,SR)方法對模糊圖像進行視覺增強,去除一定的模糊干擾,降低后續(xù)檢測識別的難度。

針對TT100K小目標數據集,基于注意力機制與特征融合方法的YOLOv5交通標志檢測識別網絡在4個方面對網絡進行了改進。通過向主干網絡(backone)引入Transformer模塊、在網絡頸部(neck)中加入CA注意力機制、在網絡檢測頭(head)中加入ASFF特征融合機制和將原先的CIoU(complete-IOU)改進為SIoU (SCYLLA-IoU)檢測框損失函數對網絡的性能進行了全方位增強。

而為保證交通標志檢測識別網絡對于準確性和實時性的平衡,對去雨模塊與圖像增強模塊作出相應改進,通過對特征提取次數的減少和方式的改進來適應網絡對于實時性的要求,實驗證明可通過這種方法在網絡實時性大幅提升的同時,略微降低其處理效果。

最后,為使得網絡可模塊化搭配使用,滿足不同的環(huán)境需求(晴天和雨天)與性能需求(精確度與實時性),將去雨模塊和圖像增強模塊圖像處理前后大小進行了統(tǒng)一,即保證模塊輸出前后的圖像大小一致,同時設置了2條處理捷徑。因此,圖像在進入網絡后可根據環(huán)境需求選擇是否去雨,并可根據是否需要更精確的識別進行圖像增強,來滿足不同環(huán)境和性能的需求。

1.1 去雨模塊

處理交通標志檢測識別因雨滴帶來的外部干擾主要有2個困難,首先是沒有給出被雨滴遮擋的區(qū)域,其次是遮擋區(qū)域的背景環(huán)境信息大部分完全丟失。

因此,為解決這2個問題,從問題根源著手,將基于對抗生成網絡(generative adversarial network,GAN)[5]的去雨算法融入到交通標志檢測識別算法中,通過視覺上去除雨滴來解決根本問題。從而將帶有雨滴的圖像轉化為干凈的圖像,大大減少后續(xù)目標檢測識別網絡的阻礙[6]。

圖2所示為去雨模塊深度架構,圖像從輸入到輸出的大小沒有變化,而在中間部分通過卷積、池化、反卷積和反射填充操作來縮放圖像大小和深度,以獲得淺層次和深層次的雨滴及其周圍環(huán)境特征,達到良好的去雨效果。原網絡共有165層,6 747 789個參數。

本文中去雨模塊的主要想法是將視覺注意力注入生成器(generator)和辨別器(discriminator)[7],首先通過生成器找到雨滴特征并恢復為無雨形象,接著通過辨別器引導注意力地圖來判別圖像受雨滴影響主要部分的真實性,最終將結果傳回生成器來優(yōu)化其去雨效果。該生成對抗網絡的損失函數如式(1)所示。

minGmaxDER～Pclean[log(D(R))]+

El～praindrop[log(1-D(G(I)))]

(1)

式中:G表示生成網絡;D表示判別網絡;I表示從雨天圖像池中抽取的樣本;R表示從干凈圖像中選取的樣本。

圖3展示了生成器和辨別器的網絡架構。對于生成器部分,每張圖片在輸入后需要經過由5層ResNet、卷積LSTM和1個生成2D注意力地圖(attention map)的卷積層組成的注意力循環(huán)網絡(attentive-recurrent network)來進行雨滴特征提取,隨后進入1個上下文自編碼器(contextual autoencoder)生成去雨圖像。對于辨別器部分,輸入圖像首先在7個卷積層中提取特征,然后在1個全連接層中判別圖像真假。

本文中對該網絡結構進行進一步簡化處理,通過犧牲部分去雨效果來換取更多的實時性。同時,該網絡結構作為目標檢測識別網絡中的圖像預處理模塊,僅需保留生成器部分來輸出處理圖像,可大大節(jié)省算力。具體處理方法是將原先的特征提取部分進行簡化,使網絡結構從165層下降為134層,參數量下降167 809;當輸入100×100的三通道圖像,所需內存大小僅為326.31 MB,比原先下降約20%。

圖2 去雨模塊深度架構示意圖

圖3 去雨模塊整體架構示意圖

在訓練過程中,放入TT100K的有雨和無雨環(huán)境對進行訓練,視覺注意力會學習雨滴區(qū)域及其周圍環(huán)境,通過觀察這些區(qū)域,判別網絡將能夠評估恢復區(qū)域的局部一致性[8]。具體做法是將自制TT100K雨天數據集和原數據集輸入到網絡訓練得到相應權重,并且通過將不同程度的雨天環(huán)境數據集代入對抗生成網絡進行個性化訓練,得到不同的去雨效果,模塊的去雨能力具有極大的靈活性。經實驗證明,使用該模塊能極大地恢復雨天環(huán)境下的交通標志數據集,降低雨天環(huán)境對交通標志檢測識別可靠性的阻礙。

1.2 圖像增強模塊

一個優(yōu)良的感知網絡,不僅是網絡自身檢測識別的能力,同時也包含去干擾以適應各種環(huán)境的能力。將圖像增強模塊加入網絡前處理部分,可以極大地降低后續(xù)網絡檢測識別的難度。

MIRNet-v2[9]的整體目標是通過整個網絡保持空間精確的高分辨率表示,并從低分辨率表示接收互補的上下文信息[10]。該方法的核心是一個多尺度殘留塊,其核心思想在于:用于提取多尺度特征的并行多分辨率卷積流、跨多分辨率流的信息交換、用于捕獲上下文信息的非局部注意力機制,以及基于注意的多尺度特征聚合[11]。如式(2)所示,使用Charbonnier loss優(yōu)化該網絡,其中I*表示地面真實圖像,ε是一個常數。

(2)

圖4所示為MIRNet-v2框架,圖像從左側輸入完成圖像增強后輸出到右側。該框架可學習豐富的特征表示,用于圖像恢復和增強。

圖4 MIRNet-v2框架示意圖

將圖像處理網絡MIRNet-v2嵌入交通標志檢測識別網絡,以增加網絡適應各種雨天環(huán)境的能力,同時通過減少MIRNet-v2中RRG和MRB的層數以加快網絡推理速度。MIRNet-v2以原始分辨率處理特征,保留空間細節(jié),同時有效地融合來自多個并行分支的上下文信息,在圖像處理時便能保證不會破壞原始信息。由于TT100K交通標志數據集是小目標檢測,所以本文中使用MIRNet-v2中的超分辨率網絡以盡量減小雨天環(huán)境下帶來的模糊干擾。

2 基于注意力機制與特征融合方法的YOLOv5多重改進模型

YOLOv5整個網絡模型分為4個部分:輸入層、主干層、頸部層和預測層。圖5展示了YOLOv5s-traffic的網絡結構和各模塊的詳細結構。

圖5 YOLOv5s-traffic結構示意圖

不同于原先的網絡結構,本文中通過向主干網絡引入Transformer模塊(C3TR模塊)、在網絡頸部中加入CA注意力機制(C3CA模塊)、在網絡檢測頭中加入ASFF特征融合機制(ASFF-Detect模塊)和將原先的CIoU改進為SIoU檢測框損失函數對網絡的性能進行增強。

2.1 添加Transformer模塊

圖6所示為VIT[12](vision transformer)結構,該網絡通過標準的視覺Transformer對圖像進行處理。首先對圖像進行切片分割,然后通過位置和Transformer編碼實現多頭注意力機制(multi-head attention)圖像處理,最后經過多層感知機(multilayer perceptron,MLP)對圖像進行縮放操作后進行交通標志分類。

本文中通過在骨干網絡中加入Transformer模塊,引入位置編碼機制,來解決傳統(tǒng)卷積神經網絡對交通標志檢測識別的自注意力機制(self-attention)排列不變(permutation-invariant)問題。對于機器學習而言,特征之間沒有空間位置關系,輸入序列順序的調整不會影響輸出結果,而對于卷積神經網絡而言,需要Transformer中的位置編碼機制來解決特征之間關于空間位置關系的問題。

圖6 VIT結構示意圖

將C3替換為C3TR,C3與C3TR模塊的不同之處在于將Bottleneck替換為Transformer Block(如圖7所示),即通過將Bottleneck中原先的 1×1卷積降維、3×3卷積升維和相加操作改進為Transformer結構,實現可學習的嵌入方法。該結構對圖像使用Transformer對自然語言特有的處理方法,結構中的Attention和MLP模塊可控制循環(huán)次數,通過引入空間位置關系,達到傳統(tǒng)卷積網絡無法達到的良好分類效果,從而大大提升如TT100K這樣的小目標檢測識別任務的精確度。

圖7 C3與C3TR結構示意圖

2.2 融合CA注意力機制

坐標注意力(coordinate attention,CA)機制[13]旨在增強移動網絡學習特征的表達能力,可以對網絡中的任意中間特征張量進行轉化變化后輸出同樣尺寸的張量[14]。通過捕獲位置信息和通道關系,增強移動網絡的特征表示。

本文中將CA注意力模塊嵌入到YOLOv5網絡中,對于交通標志檢測識別而言,可進一步強化網絡對方向和位置等信息的敏感度,提升網絡性能。

2.3 添加ASFF特征融合方法

金字塔特征融合策略(adaptively spatial feature fusion,ASFF)[15]能夠在空域過濾沖突信息以抑制不一致特征,如圖8所示,可提升網絡對不同尺度目標的特征融合能力。

圖8 ASFF特征融合過程示意圖

本文中將ASFF特征融合方法加入網絡的檢測頭部分,使得網絡能夠直接學習如何在其他級別對特征進行空間濾波,從而僅保留有用的信息以進行組合。

將ASFF加入YOLOv5網絡有2個優(yōu)勢:一方面,由于搜索最優(yōu)融合的操作是可微的,可使網絡更好地利用回歸算法進行反向傳播學習;另一方面,其實現較為簡單,與基礎網絡無關,附加計算代價極其小。因此,在交通標志檢測識別網絡準確性和實時性方面[16],ASFF特征融合方法可通過學習不同特征圖之間的聯系來解決特征金字塔的內部不一致性問題的同時,兼顧計算代價。

2.4 損失函數改進

原YOLOv5中使用的損失函數為CIoU[17],而本文將原先的CIoU改進為SIoU,除考慮CIoU已經考慮的3個要素(預測框和真實框的距離、重疊區(qū)域和縱橫比)外,加入了角度因素,解決了使用CIoU訓練模型時方向不匹配的問題。

SIoU[18]中的角度因素用于輔助兩框之間的距離計算,由于在目標檢測的起始訓練中,大多數的預測框是跟真實框不相交的,所以如何快速地收斂兩框之間的距離是值得考慮的。

圖9所示為SIoU回歸示意圖。不同于CIoU,SIoU在考慮兩框角度和距離時引入了角度參數α和γ,角度的大小決定著模型的回歸方向。當角度小于45°時,使用α角度,模型沿著x軸使預測框相接近;而當角度大于45°時,模型切換到β角度,模型將預測帶到y(tǒng)軸繼續(xù)接近。同樣對于γ參數而言,通過觀察Λ角度參數相對于1的大小,來判斷兩框之間的距離和角度對于整體loss的貢獻。

圖9 SIoU回歸示意圖

如式(3)所示,最終損失函數由分類損失(classification loss)和坐標損失(box loss)組成,其中Lcls為焦點損失,Wbox和Wcls分別為坐標損失和分類損失權重。

L=WboxLbox+WclsLcls

(3)

在交通標志檢測識別中使用SIoU可以極大地改善模型的整體性能。通過在損失函數中引入方向性,降低損失自由度,在訓練階段實現了更快和更準確的收斂,并且在推理方面具有更好的性能。

3 實驗結果及分析

3.1 數據集構建

對于在雨天環(huán)境下的交通標志檢測識別,必須具備雨天環(huán)境下的交通標志數據集。圖10所示為原環(huán)境與3種雨天環(huán)境(小雨、中雨及大雨)數據集的前后對比。不同種類的雨天圖像較原圖像加入了不同程度的雨滴干擾并進行了模糊化和暗化處理,在不改變圖像分辨率的情況下3種雨天環(huán)境使得圖像質量分別下降約20%、30%及40%,對于小目標檢測識別任務而言,難度顯著增加。

圖10 環(huán)境對比

而數據集的構建分為數據處理和數據劃分兩步驟:

第一步是數據處理,由于戶外拍攝新數據集無法橫向比較網絡的可靠性,所以本文通過使用pix2pixHD條件對抗生成網絡(conditional GANs,cGANs)結合Automold自動駕駛環(huán)境構建庫來對TT100K(Tsinghua-Tencent 100K)交通標志數據集進行處理以最大限度還原雨天場景,且通過控制pix2pixHD網絡訓練的輸入(雨天環(huán)境雨滴的強度)以及使用Automold庫調整場景能見度來有效還原3種雨天環(huán)境。確保每張圖片還原雨天環(huán)境的真實性以檢驗網絡對雨天場景的適應能力,且通過不改變圖像大小以保證官方標簽的準確性。

由于不同種類的雨天場景對目標檢測的干擾程度不同,為檢驗本文中網絡處于不同類型雨天環(huán)境的實際檢測能力,使用峰值信噪比(peak signal to noise ratio,PSNR)與結構相似性(structural similarity,SSIM)指標來綜合衡量所構建不同類型雨天場景相對于原環(huán)境的真實差異。

將原環(huán)境數據集的數據與其對應的3種雨天環(huán)境中的數據一一對應計算PSNR與SSIM,并對其取均值以獲取3種雨天環(huán)境相對原環(huán)境的閾值,如表1所示。設定PSNR≥28 dB且SSIM≥0.7為小雨;26 dB≤PSNR<28 dB且0.6≤SSIM<0.7為中雨;25 dB≤PSNR<26 dB且0.5≤SSIM<0.6為大雨。

對比而言,3種雨天環(huán)境相對于原環(huán)境的PSNR與SSIM均有不同程度的下降,且雨天強度越大,能見度越低,兩值越低。

表1 不同雨天環(huán)境對比

第二步是數據劃分,將圖像按照 8∶2 的比例劃分訓練集和測試集,共計圖像3 415張,包含訓練集2 390張,測試集1 025張。同時,為豐富數據量并減少過擬合,在加入雨天環(huán)境后,對整體數據集進行了數據增強并重新進行了標注。而由于交通標志的翻轉會帶來錯誤的特性(例如左轉和右轉),放棄了翻轉和鏡像2種增強方式,僅通過圖像縮放和旋轉2種方式對原始圖像進行數據增強。

3.2 評價指標

通過平均精度值(mAP)、幀率(FPS)和模型復雜度(GFLOPs)等指標來評估網絡性能,使用原數據集和雨天數據集分開對網絡進行評價。

(4)

(5)

(6)

如式(4)(5)(6)所示,其中mAP是整體性能的指標,由對多個驗證集個體求平均AP值得到; 使用精確率(P)和召回率(R)這2個指標來衡量模型的好壞,并使用F1score來權衡考慮兩者以提升模型決策效率;而FPS衡量檢測方法實時性的指標,代表檢測網絡每秒可以處理的圖像數量。

3.3 實驗環(huán)境

采用Pytorch深度學習框架,使用Python編程語言,Ubuntu 20.04.3操作系統(tǒng),硬件配置為GeForce RTX 3080顯卡,10 GB顯存。具體訓練環(huán)境如表2所示。

表2 基于Pytorch訓練環(huán)境

設置初始學習率為0.01,使用余弦退火算法和warm-up學習率優(yōu)化方法。Batch size設為16,在130個epoch后停止訓練。

3.4 實驗結果分析

改進YOLOv5s-traffic算法在不加入去雨和圖像增強模塊時,對于原TT100K數據集,其平均識別準確率達到了88.6%,與原YOLOv5算法相比提升了5.4%,FPS達到50.4幀/s,較原網絡僅下降了18.3幀/s,說明改進后的YOLOv5算法對原環(huán)境下可以在保證實時性的同時能更準確地對交通標志進行檢測識別。圖11所示為改進后訓練和驗證過程中整體損失變化,在網絡改進之后訓練損失相對驗證損失收斂速度明顯更快,訓練損失和驗證損失都逐漸下降至較小值,且驗證過程的最終損失明顯更小。

在雨天環(huán)境下,包含去雨模塊和圖像增強模塊的YOLOv5s-traffic算法,其對雨天的準確率達到了75.3%,相較于不使用兩模塊和主網絡改進方法提升了12.5%,FPS達到了49.4幀/s,說明改進后的YOLOv5算法對于雨天環(huán)境也可以在保證實時性的同時大幅提升對交通標志進行檢測識別的精度。而當不包含圖像增強模塊時,其算法準確率僅上升了5.3%,說明了在去雨模塊與YOLOv5網絡間嵌入圖像增強模塊的必要性。

圖11 損失變化曲線

3.4.1模型大小對比

首先從模型的大小進行對比分析,將原YOLOv5模型與加入各種改進方法的模型進行對比實驗,同時也將Faster RCNN與YOLOv4作為參考目標納入對比范圍。

表3列出了衡量不同模型大小的兩項重要指標。可以看出,僅修改網絡結構而未加入去雨和圖像增強模塊的YOLOv5s-traffic的參數量為11.26 M,GLOPs為21.4。其參數量與原YOLOv5s相比提升了4.2M,模型復雜度與原YOLOv5s相比上升了約24%,但仍遠遠小于Faster RCNN和YOLOv4,分別為其8.5%和71.5%,表明了YOLOv5s-traffic相比于其精度的提升并不會增加太多的參數量和模型復雜度。

而模型在加入去雨模塊后,其參數量分別提升了6.2M,其GLOPs提升了14%,仍遠小于Faster RCNN和YOLOv4的數據量和復雜度,對于雨天這樣的復雜環(huán)境而言在可接受范圍內。

在模型中繼續(xù)加入圖像增強模塊后,其參數量再次提升了3.8M,其GLOPs提升了22%,模型仍然平衡和準確性和實時性,其計算成本的消耗帶來了的是精度的顯著增加。

表3 模型大小指標

3.4.2消融實驗

為驗證YOLOv5s-traffic各成分的有效性,對所有模塊進行了消融實驗,所有實驗均在同一交通標志數據集(TT100K)上完成,并將其分為原環(huán)境和雨天環(huán)境以展示網絡在不同環(huán)境下的表現。在TT100K中隨機選取了2 215張圖像對模型進行評估,去雨和圖像增強都是在這基礎上進行,保證了原環(huán)境和雨天環(huán)境的統(tǒng)一性。當統(tǒng)一設置輸入圖像分辨率為640×640, Bitch-size為1時,認為FPS大于30幀/s可達到實時處理。由于去雨模塊和圖像增強模塊都屬于圖像預處理,因此不會改變模型結構、影響推理速度[19]。

表4所示為原環(huán)境下YOLOv5網絡在是否加入圖像增強模塊和主網絡改進方法(主干網絡、頸部、檢測頭和損失函數)的消融實驗。從中可知,在分開加入圖像增強模塊和主網絡改進方法后,后者較之前者mAP有顯著提升,而當將兩者一同加入后疊加效果產生了7.2%的大幅提升。對比后文雨天環(huán)境下圖像增強模塊的使用可大幅增加mAP,說明即使圖像增強模塊中的多尺度殘留塊可較好地融合上下文特征,達到高低分辨率特征相互鞏固的效果,但由于晴天環(huán)境下原圖像的質量本身就足夠高,因此其對于圖像識別精度提升不大。相對而言,注意力機制和特征融合方法在晴天環(huán)境下可顯著提升mAP,且FPS僅下降了18.3幀/s,仍能遠超圖像實時處理的基準。

如表5、表6及表7所示,為雨天環(huán)境下YOLOv5網絡在是否加入去雨模塊、圖像增強模塊及主網絡改進方法(主干網絡、頸部、檢測頭和損失函數)的分別針對3種雨天環(huán)境的消融實驗。

表4 消融實驗(原環(huán)境)

表5 消融實驗(小雨環(huán)境)

表6 消融實驗(中雨環(huán)境)

表7 消融實驗(大雨環(huán)境)

中雨與大雨環(huán)境相對于小雨環(huán)境的mAP有不同程度的下降,其中中雨較小雨的下降幅度整體略大于大雨較中雨的下降幅度。在加入所有改進模型后,中雨較小雨與大雨較中雨的mAP分別下降了3.4%與2.6%。

為充分展現本文中算法對于雨天環(huán)境的適應能力,在此具體對比分析大雨環(huán)境相對原環(huán)境各指標的變化。在分開加入去雨模塊和主網絡改進方法后,mAP分別提升了4.5%和2.7%,證明去雨模塊可很好地提取淺層次和深層次的雨滴及其周圍環(huán)境特征,達到良好的去雨效果,且主網絡中的多種改進方法相互配合可較好地在雨天環(huán)境下捕獲位置信息和通道關系,并解決特征金字塔內部不一致性,同時極大地提升網絡整體推理性能;而單獨加入圖像增強后下降較多,這是由于圖像增強會連同雨滴干擾一同增強,說明在雨天環(huán)境下圖像增強前必須先加入去雨模塊盡量減少雨滴干擾才會有良好的精度效果。而在組合使用3種方法時,組合1(去雨和圖像增強)達到了71.2%的mAP,組合2(去雨和主網絡改進方法)有些許下降;同樣是由于未使用去雨模塊,組合3(圖像增強和主網絡改進方法)的mAP大幅下降;而3種方法一同疊加網絡精度效果最好可達75.3%的mAP,說明YOLOv5s-traffic構建的雨天環(huán)境下交通標志檢測識別網絡中的兩前處理模塊可明顯降低雨天環(huán)境帶了的外部干擾,三者配合可達到最好的精度效果,而FPS下降了17.4幀/s,同樣超過實時處理的基準。

3.4.3模型識別效果對比

本文分別展現了原環(huán)境和雨天環(huán)境、去雨模塊前后應用和圖像增強模塊前后應用的效果對比圖(左側為原圖,右側為效果圖)。從中可以看到,主網絡在改進之后,識別效果有明顯提升;而在加入去雨模塊后,模型對雨天環(huán)境的適應性明顯提升;再加入圖像增強模塊后,模型對雨天環(huán)境的識別精度再次提升,達到YOLOv5s-traffic的最好識別效果。

圖12展現了原環(huán)境和雨天環(huán)境下模型對交通標志檢測識別的效果。從圖12中可以看到,改進模型不但提升了相對易檢標志(pl50、p11和pn)的置信度,而且避免了難檢標志(w57)的漏檢問題,說明改進后的網絡可較好地對模糊特征信息加以捕獲,提升整體識別性能。

圖12 原環(huán)境效果

圖13—圖16分別展現了去雨模塊和圖像增強模塊在3種雨天環(huán)境下對交通標志檢測識別的效果。類似于原環(huán)境,低置信度標志的提升要遠好于高置信度標志,在雨天環(huán)境下由于環(huán)境干擾會導致許多標志無法檢測,而加入去雨模塊后可有效減少干擾,但會因環(huán)境干擾存在部分誤檢情況;應用去雨模塊后,不同類型的雨天環(huán)境對于標志識別帶來的不同程度的干擾大多是對其置信度的改變;而加入圖像增強模塊后可進一步增加識別精度,將大部分標志檢測并正確識別,有效避免誤檢。

圖13 小雨環(huán)境去雨效果

圖14 中雨環(huán)境去雨效果

圖15 大雨環(huán)境去雨效果

圖16 圖像增強效果

由此說明,改進的YOLOv5交通標志檢測識別系統(tǒng)對于原環(huán)境可明顯提高識別精度,對于小目標檢測識別有良好的效果。而雨天環(huán)境的干擾會明顯造成檢測和識別的障礙,并顯著降低置信度。在加入去雨和圖像增強模塊后,改進的YOLOv5交通標志檢測識別系統(tǒng)對于雨天環(huán)境下的交通標志檢測識別首先通過去雨模塊生成的注意力地圖準確找到雨滴特征替換為無雨形象,然后以圖像增強模塊融合高低分辨率的上下文信息生成特征信息更為明顯的圖像,最后輸入到融合了多種特征提取方法適用于小目標檢測的YOLOv5網絡,可準確地獲得交通標志特征信息,保證較高的識別準確率。

4 結論

針對當前目標檢測識別模型極難在雨天環(huán)境下準確且實時地完成交通標志檢測識別任務,基于YOLOv5提出了一種雨天環(huán)境下適用于交通標志檢測識別模型YOLOv5s-traffic,該模型能極大地減少外部環(huán)境干擾,在小目標檢測識別任務中取得良好效果。

該網絡的前處理部分為一個基于對抗生成網絡的去雨算法和一個基于多尺度殘留塊的圖像增強算法,主干網絡為融合了Transformer模塊、CA注意力機制、ASFF特征融合方法和SIoU損失函數的YOLOv5網絡,該融合方法可使網絡無論在晴天還是雨天環(huán)境下均可在保證實時性的前提下顯著提升檢測識別精度。此外,通過對原始數據集進行大規(guī)模處理和重構,模擬了雨天環(huán)境中交通標志檢測識別。實驗表明,雨天環(huán)境對該任務有極大地干擾,而相對于原網絡,mAP為75.3%,提升12.5%,且FPS達到49.4幀/s,網絡在顯著提升精度的同時可保證其實時性。對于ADAS和ADS來說,它是交通標志識別系統(tǒng)的一個進步;對于計算機視覺來說,它是對目標檢測識別任務的一個貢獻。

目前,主流的TSR方法和公共數據集主要涉及白天正常的天氣情景,對于各種復雜環(huán)境如雨天、霧天和暴風雪環(huán)境涉及較少,且無法達到精度和實時性的良好平衡,從未有一種網絡可適用于各類環(huán)境的交通標志檢測識別任務。未來,將重點關注各種復雜環(huán)境下的交通標志檢測識別任務,解決各類環(huán)境下的外部干擾問題,嘗試構建一種網絡適用于各類復雜環(huán)境下的交通標志檢測識別網絡。