基于多特征融合注意力機制的交通標志檢測①

李國強 付 樂 查琳琳 王天雷

(燕山大學電氣工程學院 秦皇島 071000)

0 引言

交通標志識別在智能交通領域占據(jù)著重要的地位,它能夠為車輛提供準確的交通標志信息,在無人駕駛領域擁有廣闊的前景,通過實時監(jiān)測前方交通標志,使無人駕駛技術在遵守交通規(guī)則的前提下安全行駛[1]

對于交通標志識別的研究,早期利用傳統(tǒng)圖像識別[2]的方法,采用滑動窗口對圖像遍歷得到候選區(qū)域,然后用基于手工設計的特征提取器提取候選區(qū)域的特征,之后利用支持向量機(support vetor machine,SVM)對得到的特征進行分類,最后通過目標類別進行邊框回歸。由于存在光照、遮擋、變形等問題,傳統(tǒng)圖像方法在實際的交通標志檢測任務中很難取得很好的效果。近年來卷積神經(jīng)網(wǎng)絡[3](convolutional neural network,CNN)被越來越多地應用在目標檢測和分類領域,利用CNN 替代手工特征,提取圖像中高層特征的優(yōu)勢,使深度學習算法在目標檢測領域取得了很大的成果。這些檢測算法可以分為2 大類:兩階段方法(R-CNN[4]、Fast R-CNN[5]和Faster R-CNN[6]等)和單階段方法(YOLO 系列[7-10]、SSD(single shot multibox detector)[11])。其中以Faster R-CNN 為代表的兩階段方法使用區(qū)域侯選網(wǎng)絡(region proposal network,RPN)通過共享卷積特征在特征層上生成建議框,再利用建議框區(qū)域的卷積特征進行分類和目標框的定位,而YOLO 系列和SSD為代表的單階段檢測方法將物體的分類任務和定位任務統(tǒng)一按照回歸邏輯在輸出層完成預測,并不需要提取候選區(qū),從而大幅提高了運算速度。目前已有很多學者將目標檢測算法應用于交通標志檢測中,文獻[12]在YOLO v3 基礎上提出了融合注意力機制與上下文信息的交通標志檢測方法。文獻[13]提出了一種融合空間金字塔池化(spatial pyramid pooling,SPP)和改進特征金字塔網(wǎng)絡(feature pyramid network,FPN)的YOLOv3 交通標志檢測方法。文獻[14]以CSPDarkent53 為基礎設計帶有反卷積級聯(lián)結構的特征提取網(wǎng)絡。文獻[15]提出一種利用擴張卷積在CNN 中實現(xiàn)多尺度滑動窗的方法并在GTSDB 數(shù)據(jù)集[16]上取得優(yōu)異的檢測結果。

對于實際場景應用下的交通標志檢測來說,實時性是算法的一個關鍵指標,所以提高單階段檢測方法的精度對交通標志檢測更有意義。本文以單階段目標檢測算法YOLO v4 為基礎,針對存在小目標漏檢的問題,提出一種reSE-BYOLO v4 算法。該算法對YOLO v4 檢測層進行改進,在減少網(wǎng)絡模型參數(shù)的同時又增強了對尺寸偏小交通標志的檢測能力;在多特征融合中引入橫向連接,使模型融合了更多的特征;對通道注意力(SE)模塊[17]進行了優(yōu)化并與模型相融合。最后本文通過大量的實驗證實了該算法的可行性。

1 相關工作

1.1 YOLO v4 網(wǎng)絡結構

YOLO v4 算法由進行特征提取的主干網(wǎng)絡(Backbone)、進行特征融合的頸部(Neck)和用于分類及回歸的檢測頭(Head) 3 部分組成。與YOLO v3算法相比,在YOLO v3 算法的“Darknet53 +FPN +YOLO-Head”結構上,借鑒了近年來深度學習中其他優(yōu)秀的算法模型和一些訓練技巧。YOLO v4 主干網(wǎng)絡在Darknet 基礎上,與CSPNet[18]算法相融合,形成CSPDarknet;頸部由YOLO v3 采用的特征金字塔網(wǎng)絡[19](FPN)改成了加入了空間金字塔池化層[20](SPP)的路徑聚合網(wǎng)絡[21](PANet),可以將主干網(wǎng)絡輸出的深層特征向淺層傳遞,彌補了FPN 網(wǎng)絡特征融合中淺層特征丟失的缺陷;檢測頭繼續(xù)延用了YOLO v3 中的YOLO-Head。表1 為YOLO v3和YOLO v4 網(wǎng)絡對比圖。

表1 YOLOv3 和YOLOv4 網(wǎng)絡對比圖

1.2 雙向特征金字塔

雙向特征金字塔(BiFPN)[22]由谷歌大腦團隊提出,在FPN 中加入了跳躍連接,并將FPN 中自上而下特征融合替換為自上而下和自下到上的特征融合,使網(wǎng)絡不增加額外參數(shù)的同時融合更多相同尺度的特征,使不同尺度特征更充分融合。其結構如圖1 所示,BiFPN 有效地融合了不同尺度的特征并增加了同一尺度特征的信息融合。

圖1 BiFPN 結構圖

1.3 通道注意力

通道注意力機制(sequeeze and excitation net,SENet)[23]其結構如圖2 所示,SENet 分為3 個步驟。首先進行壓縮操作,采用全局平均池化對輸入的C×H×W的特征圖進行壓縮,使其變?yōu)镃個1×1的實數(shù)列,使每張?zhí)卣鲌D具有全局感受野;其次進行激勵操作,將實數(shù)列送入到由2 個全連接構成的瓶頸結構,第1 個全連接層對特征圖C個通道進行降維,得到1×1×(C/r)的向量(其中r為縮放參數(shù)),經(jīng)過Relu 函數(shù)激活后,通過第2 個全連接層升維,得到1×1×C的向量,再利用Sigmoid 激活函數(shù)獲得對應歸一化權重;最后通道權重與輸入特征按通道相乘,完成通道注意力的標定。

圖2 通道注意力SE 模塊結構

2 模型分析與改進

2.1 檢測層改進

對于608×608 的輸入圖像,YOLOv4 的3 個輸出層的網(wǎng)格尺寸為76×76、38×38 和19×19,分別負責預測大、中、小物體,而在自然場景中遠距離的標志牌一般尺度較小,為了讓模型對小目標檢測有更好的表現(xiàn),在淺層再增加一層輸出特征層152×152。因為淺層特征圖尺度更大,包含更多的像素細節(jié),另一方面考慮到19×19 的輸出層主要負責檢測大物體,而交通標志一般尺寸較小,故19×19 層對小目標的檢測意義不大。圖3(a)、(b)、(c)、(d)分別是152×152、76×76、38×38、19×19 部分特征圖,在尺寸為19×19 的特征圖中可以看出小目標特征丟失嚴重,無法看出交通標志的輪廓,而尺寸為152×152 的特征圖保留了更多小目標的特征信息。因此本文去掉19×19 的檢測層,添加152×152 的檢測層,改進后的網(wǎng)絡依舊是3 個檢測頭,主要針對小目標交通標志的檢測,分別用38×38、76×76 和152×152 的檢測層來進行預測。

圖3 殘差塊輸出的特征圖

2.2 多特征融合

YOLOv4 在多尺度特征融合部分選取了C3、C4、C5 3 個不同尺度特征輸入到路徑聚合網(wǎng)絡(path aggregation network,PAN)結構中,通過構造由上而下和自底而上的雙向通道融合3 個尺度的特征,最終得到3 個尺度的輸出。針對交通標志尺寸小和尺度變化的問題,原始網(wǎng)絡只對3 個尺度特征進行了提取,對不同大小目標不敏感,不同尺度的特征信息融合較少,且并沒有利用信息豐富的特征圖C2。本文所提出的多特征融合網(wǎng)絡在檢測層改進基礎上借鑒BiFPN 網(wǎng)絡中的橫向連接進行改進。

在圖4 和圖5 中P5～P2 分別是本文中提到的19×19、38×38、76×76、152×152 的檢測層,Ci則表示前饋網(wǎng)絡提取到的多尺度特征。Di和Pi分別是由上而下和自底而上的特征融合,虛線是借鑒BiFPN 橫向連接的思想將同一尺度下的特征進一步融合,緩解因網(wǎng)絡層級過多造成的特征信息丟失。以P4 特征生成為例,原始網(wǎng)絡由P3 下采樣和D4兩部分的特征按通道維度拼接得到,生成過程如式(1)所示。改進后的網(wǎng)絡增加了對C4 特征的融合用式(2)體現(xiàn),在不增加成本情況下融合了更多的特征。圖中的斜箭頭是通過雙線性插值來實現(xiàn)C3的2 倍上采樣,對高分辨率下C3 特征充分利用,使網(wǎng)絡融入了更多的語義信息。

圖4 YOLO v4 的特征融合網(wǎng)絡

圖5 改進后的特征融合網(wǎng)絡

其中,符號[;]表示通道維度的拼接,F表示用于調整通道的卷積操作,Downsample 是通過卷積操作實現(xiàn)2 倍下采樣。

本文對多尺度特征融合部分進行改進,充分利用了淺層特征圖C2 中的特征信息,提高了對小目標的檢測能力,同時借鑒BiFPN 網(wǎng)絡中的橫向連接,在同尺度特征層引入跳躍連接融合更多的相同尺度特征,緩解因網(wǎng)絡層級過多造成的特征信息丟失,使網(wǎng)絡對不同大小的目標更敏感,提升網(wǎng)絡的檢測能力并降低漏檢率。

2.3 通道注意力的構建

由于SENet 是針對于圖像分類而設計的通道注意力,在圖像分類中目標物體一般占據(jù)圖片較大面積,使用全局平均池化可以很好地獲得通道特征響應,利用每個通道的平均值來代表該通道的目標情況。然而對于目標檢測任務而言,目標物體通常較小,只能占據(jù)圖片很小的區(qū)域,而且圖片中包含許多無關物體,這些物體雖然在通道中占據(jù)很小的特征響應,但是數(shù)量偏多,總的特征響應貢獻依舊很大,因此在空間維度上使用全局平均池化并不能很好地反映圖片中的前景目標,而每個通道的最大值可能會很好地反映該通道對于前景目標的情況。另一方面,SENet 首先把特征在空間維度上壓縮,再經(jīng)過全連接網(wǎng)絡的學習和激活,完成原始特征在通道維度上的重新標定。在激活階段利用Sigmoid 函數(shù)將輸出特征歸一化到0～1 之間,再與主干分支完成點乘,這樣會使原始特征圖上每一個點的數(shù)值變得很小,輸出響應變?nèi)?有效特征不明顯,從而導致網(wǎng)絡可能出現(xiàn)退化現(xiàn)象。

針對以上2 個問題,通道注意力的改進結構如圖6 所示。以輸入特征圖F1為例,先對F1特征在通道方向上分別進行全局平均池化和全局最大池化,并將池化結果按通道進行拼接,此時壓縮后的特征向量為1×1×2C。利用1×1 的卷積核調整通道為1×1×C,經(jīng)過第1 個全連接進行特征融合和降維,并使用ReLU 函數(shù)進行激活,此時將C個通道壓縮成C/r個通道,通過全局特征編碼,達到降低計算量的目的;第2 個全連接層將特征通道數(shù)恢復成C個通道并用Sigmoid 函數(shù)激活,進而得到通道權重Mc。其中F為殘差學習,將通道權重Mc與特征圖F1先進行殘差連接再按通道相乘,即F=(1+Mc)F1,得到最終的通道注意力特征,以確保網(wǎng)絡不會出現(xiàn)退化問題。

圖6 改進后的通道注意力模塊結構

本文利用全局平均池化和全局最大池化的并行組合結構替代原始的全局平均池化,使網(wǎng)絡在關注全局特征的同時又兼顧了特征圖中響應最大的局部特征;利用1×1 的卷積核用較少的參數(shù)量完成特征的壓縮;同時將殘差學習的思想引入通道注意力中,以保證引入的注意力機制不會導致網(wǎng)絡退化,避免了SENet 中輸出權重歸一化與主干分支進行點乘會導致降低特征值的問題。將Mc作為特征圖F1的選擇器,使特征圖中的有效特征增強而噪聲被抑制,將基于殘差學習的通道注意力模塊記為reSE;利用reSE 模塊對多尺度特征進行通道間的重新標定,以達到增強有效通道特征、抑制冗余通道特征的目的?？紤]到通道拼接方式的特征融合會給模型帶來豐富的特征,此時利用reSE 模塊可以對特征更好地進行選擇,對特征圖中的有效特征進行增強。本文選擇在模型的頸部上采樣和下采樣的特征融合區(qū)域之后分別嵌入該模塊并進行對比實驗。

3 實驗與結果分析

實驗平臺為操作系統(tǒng)Windows 10,學習框架Pytorch 1.4,GPU 為Nvidia TITAN Xp,顯存為12 GB。

3.1 實驗數(shù)據(jù)集

本文實驗數(shù)據(jù)集采用Tsinghua-Tencent 100K Tutorial (TT100K)交通標志數(shù)據(jù)集[24],剔除未標注和標注錯誤的圖片,訓練集和驗證集共包含9170 張圖片,實例數(shù)超過100 的共有43 類交通標志,分別為pn、pne、i5、p11、pl40、pl50、pl80、io、pl60、p26、i4、pl100、pl30、il60、pl50、i2、w57、p5、p10、ip、pl120、il80、p23、pr40、ph4.5、w59、p12、w55、p3、pm20、pl20、pg、pl70、pm55、il100、p27、w13、p19、ph4、ph5、p6、pm30 和w32。隨機抽取1500 張圖片作為測試集,剩余7670 張圖片按照8∶2 進行訓練集和驗證集的劃分。針對TT100K 數(shù)據(jù)集中存在不同類別樣本數(shù)目不平衡問題產(chǎn)生的長尾效應,本文對數(shù)目實例數(shù)少于200 的類別利用Mixup 數(shù)據(jù)增強[25]進行數(shù)據(jù)擴充。Mixup 數(shù)據(jù)增強將2 張不同的圖像混合生成新圖像,新樣本的標簽由原標簽混合而來,實現(xiàn)方式如式(3)所示。最終得到的訓練集數(shù)據(jù)共有14 460張圖片。

式中,λ∈[0,1],其取值符合Beta 分布β(α,α),參數(shù)α滿足α∈(0,∞);(xi,yi)和(xj,yj)是訓練集中隨機抽取的2 個樣本。圖7 為不同混合系數(shù)λ的Mixup 數(shù)據(jù)增強示意圖。

圖7 不同混合系數(shù)λ 的Mixup 數(shù)據(jù)增強圖

3.2 錨框參數(shù)的設置

YOLO v4 模型預設的9 個目標框(12,16;19,36;40,28;36,75;76,55;72,146;142,110;192,243;459,401)涵蓋了大到汽車、火車,小到鳥類、盆栽等多尺度的目標尺寸,而對于目標大小較為極端的數(shù)據(jù)集,需要重新對邊界框聚類分析。

本實驗使用K-means++聚類算法[26]對TT100K數(shù)據(jù)集進行聚類分析。與傳統(tǒng)的K-means 算法[27]相比,K-means++優(yōu)化了初始點的選擇,能顯著改善分類結果的誤差,以獲得更適合的Anchor box,提高交通標志檢測的精度。K-means++算法首先隨機選取某一個目標框作為初始聚類中心C1;然后計算每個樣本與已有聚類中心點的距離D(x),并計算每個樣本被選為下一個聚類中心的概率,以此類推直至選出k個聚類中心;最后不斷重復計算每個樣本到k個聚類中心的距離,并將它劃分到最近的聚類中心再重新計算聚類中心,直至得到的Anchor 大小不再發(fā)生改變。在輸入圖片尺寸為608×608 時,聚類結果如圖8 所示,分別用不同的顏色標注出聚類簇,其中9 個星星代表每個聚類簇的聚類中心,其坐標即為初始候選框的寬高[5×6,7×8,10×10,8×15,13×14,17×19,24×27,35×37,56×56]。

圖8 k-MEANS++聚類可視化結果

3.3 評價指標及模型訓練

以精確度(precision,P),召回率(recall,R)和平均檢測精確度(mean average precision,mAP)作為評價指標。精確度(P)和召回率(R)的公式分別為式(4)和(5)所示。

其中,TP為實際為正樣本被系統(tǒng)判定為正樣本,FP為實際是負樣本但是被系統(tǒng)誤判為正樣本,FN為實際為正樣本但被系統(tǒng)誤判為負樣本。本文設置0.5 的置信度閾值,對比模型的精確度和召回率。

設置初始學習率為0.001,每25 次迭代后將學習率衰減為原來的0.1 倍,動量為0.9,衰減系數(shù)為0.0005,使用SGDM 梯度優(yōu)化算法,批處理(batchsize)前50 次迭代設為4,后50 迭代設為2,設置迭代次數(shù)(epochs)為100 次。

3.4 實驗結果對比及分析

本文在YOLO v4 的基礎上提出了reSE-BYOLO v4,并在TT100K 交通標志數(shù)據(jù)集上進行了大量實驗及消融實驗。其中包括2 部分:第1 部分對reSEBYOLO v4 的各個改進點進行對比實驗;第2 部分對模型整體的改進策略進行效能評估及分析。

3.4.1 對比實驗及分析

在輸入圖片分辨率為608 ×608 時,本節(jié)對改進后的YOLO v4 模型進行實驗分析。其中主要包括檢測層改進、多特征融合以及reSE 模塊的消融實驗2 部分,其實驗結果如表2 和3 所示。

表2 為本文3.1 和3.2 節(jié)提出的模型優(yōu)化實驗數(shù)據(jù),其中YOLO v4-A 是在YOLO v4 基礎上舍棄19×19 的檢測層,增加了152×152 的檢測層。YOLO v4-B 是在YOLO v4-A 的基礎上增加了同一尺度下特征的橫向連接和對高分辨率下特征信息的融合。從實驗可以看出,YOLO v4-A 相比于原始YOLO v4其mAP 提升了2.3%,表明將原始模型大目標檢測層去掉,并不影響檢測交通標志,同時增加高分辨率的檢測層能夠利用圖像中小目標的信息,更好地檢測交通標志;YOLO v4-B 相比于原始YOLO v4 其mAP 提升了4.53%,檢測精度優(yōu)于YOLO v4-A,這表明多特征融合能夠在不增加模型復雜度的情況下使模型融入更多的特征,從而進一步提高模型的檢測精度。

表2 YOLO v4 模型優(yōu)化對比實驗

表3 主要研究SE 和reSE 2 種模塊嵌入在YOLO v4 模型的不同特征融合位置所帶來的性能變化,其中“Upsampling_concat”表示在每一個頸部上采樣特征融合區(qū)域之后添加該模塊,而“Downsampling_concat”則是每次完成下采樣特征融合之后添加。

表3 通道注意力消融實驗

從表3 可以看出,注意力模塊嵌入在模型的不同特征融合位置帶來的性能有所不同,從實驗1、2和實驗3、4 的對比中,可以發(fā)現(xiàn)在“Downsamplingconcat”處添加注意力模塊要比“Upsampling_concat”處效果提升明顯,本文認為網(wǎng)絡更深層的特征圖表現(xiàn)出更豐富的語義特征,特征信息高度融合,每個通道上的特征分布更加明顯。從實驗1、3 和實驗2、4 的對比中,可以發(fā)現(xiàn)reSE 模塊所帶來的性能提升要優(yōu)于SE 模塊,進一步說明了將殘差學習的思想引入注意力模塊中能夠幫助模型對有效特征的選擇。實驗4 相比于原始YOLOv4 提升了其mAP 3.1%,表明reSE 模塊的嵌入有效提升模型對交通標志的檢測性能。

3.4.2 reSE-YOLOv4 模型性能測試以對比實驗

結合3.4.1 的實驗結果,本文發(fā)現(xiàn)YOLOv4-B和實驗4(即表4 中的“reSE-YOLOv4”)都可以有效提升交通標志的檢測性能,因此將兩者相結合,提出一種基于殘差注意力的多特征融合的交通標志算法——reSE-BYOLOv4 模型,該模型具體結構如圖9所示(圖中“?”代表特征融合的concat 操作)。

表4 reSE-BYOLOv4 和相關實驗結果對比

圖9 reSE-BYOLO v4 模型結構圖

從表4 中可以看出,本文提出的改進方法檢測效果均比YOLO v4 模型好,其中reSE-BYOLO v4 模型在交通標志檢測中較YOLO v4 相比其mAP 提升了6.57%,并對比于其他改進模型,reSE-BYOLO v4達到了80.48%的最高mAP 值,并且其準確度和召回率均有不同程度的提升。實驗證實了本文所提出的改進方法能夠有效提升對交通標志的檢測。

表5 展示了reSE-BYOLO v4 模型與其他模型的性能效率對比。模型的運行環(huán)境均為Nvidia TITAN Xp GPU,由于訓練數(shù)據(jù)量較大耗時普遍較長,在相同輸入尺寸608×608 時,檢測效果最佳的reSE-BYOLO v4 模型訓練時間相比于原YOLO v4 額外增加約1 min,以犧牲很小的訓練時間來換取更好的檢測效果,檢測速度相比于原YOLO v4 慢了0.02 s,但仍滿足實時檢測要求。

表5 模型性能效率對比

圖10 展示了4 種模型在TT100K 測試集上對4 3類交通標志識別的AP值,因為訓練數(shù)據(jù)分布存在差異,即使同一個模型在相同的訓練策略下訓練2 次也會出現(xiàn)同一類別AP 值的小波動。從圖中可以看出,YOLOv4-B 和reSE-YOLOv4 模型相比于YOLO v4 模型整體AP 略有提升,極少類別AP 出現(xiàn)下滑,屬于數(shù)據(jù)的正常波動。本文提出的reSE-BYOLO v4 模型相比于其他模型在測試各個交通標志AP 值上表現(xiàn)更優(yōu),證明了該模型的在交通標志檢測上的有效性。

圖10 不同模型的AP 對比

3.5 圖片檢測效果

為了證明reSE-BYOLO v4 的檢測效果,從數(shù)據(jù)集中隨機抽取了3 張圖片進行比較并將圖片較小部分進行局部放大。

從圖11 可以看出,子圖(a)只檢測出了尺寸較大的6 個交通標志,忽略了較小的1 個交通標志;子圖(b)檢測出了較小的交通標志;子圖(c)中出現(xiàn)了漏檢情況,漏檢了2 個交通標志;子圖(d)中可以檢測出圖中的所有的交通標志;子圖(e)中只檢測出了2 個較大的交通標志;子圖(f)則將遠處較小的2個交通標志也檢測了出來。因此reSE-BYOLOv4模型大幅提高了小目標交通標志的成功率。

圖11 效果對比圖

3.6 reSE-BYOLO v4 模型與其他模型對比

為近一步驗證該模型的有效性,將reSE-BYOLO v4 模型與其他先進的模型進行對比實驗,實驗結果如表6 所示。

從表6 可以看出,reSE-BYOLO v4 相比兩階段檢測的Faster-RCNN,其mAP 提升了10.95%,精準度和召回率均有大幅提升;相比于基于Anchor-free系列的CenterNet、FCOS 其mAP 分別提升了8.03%、4.61%,精準度和召回率也均有不同程度的提升。文獻[13]以YOLO v3 為基礎網(wǎng)絡通過融合SPP 結構和改進FPN,使mAP 達到75.20%。文獻[14]利用帶有反卷積級聯(lián)結構的特征提取網(wǎng)絡,提高了小目標的檢測能力,使mAP 高達77.45%,僅次于reSE-YOLO v4 模型。實驗證明,本文所述的reSEBYOLOv4 模型對小目標交通標志有更好的檢測效果。

表6 不同模型實驗對比

4 結論

本文基于YOLO v4 提出一種reSE-BYOLO v4模型。針對多數(shù)交通標志尺寸偏小的問題,優(yōu)化檢測層并在特征融合區(qū)域引入同一尺度特征的橫向連接,使模型學習更多的特征,有效提高了對小目標的檢測能力;同時將reSE 模塊和YOLO v4 模型進行結合,使模型從諸多特征中選擇有效特征來進行學習。但reSE-BYOLO v4 會增加模型的參數(shù)量,下一步研究中將會考慮對模型進行壓縮和剪枝,在保證算法精度的基礎上提高模型的實時性。