基于YOLO v3的交通標志牌檢測識別*

潘衛(wèi)國, 劉 博, 陳英昊, 石洪麗

(1.北京聯合大學 北京市信息服務工程重點實驗室,北京 100101;2.北京聯合大學 機器人學院，北京 100027; 3.北京聯合大學 應用科技學院,北京 100101)

0 引 言

交通標志牌檢測是無人駕駛和輔助駕駛的重要組成部分，也是實現安全駕駛的一個重要環(huán)節(jié)，車輛需要檢測到前方道路的交通標志才能獲取路況信息，這樣才能增加自動駕駛的安全性和減少事故發(fā)生的可能性。

目前已有的相關研究包括Xiong C Z[1]提出的一種基于Faster R-CNN檢測交通標志牌的方法。 Guo J K[2]提出的算法不僅可以識別出交通標志牌，還可以識別道路信息、設施服務和交通信號燈標識。Lee H S等人[3]提出了一種基于SSD實時的交通標志牌識別方法，同時可以提供精確的位置估計及標志牌精確的邊界信息。Li C P[4]提出了基于channel-wise顯著圖和深度學習的端到端的交通標志檢測方法，基于channel-wise的特征提取、層次性細化和特征融合等方法。Rehman Y W等人[5]提出了一種基于d-patches的方法解決交通標志牌檢測過程中遮擋的問題。Wang D D等人[6]提出了一種基于級聯的方法檢測交通標志，同時使用了基于中層語義特征的顯著圖提升檢測的速度。Yuan Y等人[7]提出了一種針對視頻中交通標志檢測、追蹤和識別的增量式的框架。Zhu Z等人[8]提出了一種改進的交通標志定位方法，通過交通標志牌的顏色形狀信息，使交通標志牌的邊界框更加緊致。Zhu Y G等人[9]利用級聯網絡實現了一種針對文本類標志牌的檢測方法。Liu Z G等人[10]提出了一種基于區(qū)域的多尺度卷積神經網絡方法，能夠檢測識別出交通場景中較小的交通標志牌。目前的交通標志牌檢測算法以深度學習為主，但是如何快速準確的檢測出交通場景中的交通標志牌是一個難題。

在交通信號識別的過程中，交通信號的檢測是關鍵的一步，直接決定了后續(xù)分類的效果，近幾年，涌現出的基于深度卷積網絡的目標檢測可以分為single-stage[11,12]和two-stage[13～15]兩種，在目標檢測方面展現了顯著的優(yōu)勢；基于single-stage的方法具有較快的檢測速度，而基于two-stage的方法需要產生許多候選區(qū)域，檢測速度較慢，但具有很高的準確率。目前研究的難點是如何達到這兩類算法之間的平衡，既能夠達到高的準確度又具有實時的檢測效果。

1 交通標志牌檢測

根據國家交管部門的規(guī)定，交通標志分為警告標志、禁令標志、指示標志、指路標志、旅游區(qū)標志和其他標志。本文的方法主要檢測警告、禁令和指示三類交通標志牌，如圖1所示。

圖1 交通標志牌類別

本文提出的交通標志牌檢測流程：

首先將圖像進行顏色空間的轉換，根據交通標志牌的顏色特性提取出ROI，再基于YOLO v3實現對場景中交通標志牌的檢測。

ROI獲?。簩⑤斎雸D像的顏色空間由RGB轉換為HSV

V=Cmax

式中R'=R/255，G'=G/255，B'=B/255，Cmax=max(R',G',B'),Cmin=min(R',G',B'),Δ=Cmax-Cmin。

在HSV顏色空間提取指示、警示、禁止類交通標志牌的主顏色，分別是藍色、黃色和紅色，色彩的范圍如下所示：H，S，V三分量都歸一化到[0,1] 范圍,具體地

在提取完三大類標志牌主顏色后，對獲得的圖像進行二值化處理，通過計算二值圖像中連通區(qū)域(8連通)，去除掉連通區(qū)域較小的區(qū)域(350～550)，獲得圖像Image，同時考慮圖像中目標由遠及近的規(guī)律，對整幅圖像的底邊部分(w×h/5)不處理。

更重要的是，人們關注這個問題，不僅是擔心新生代外部審美的娘性傾向，更擔心新生代內部精神失去陽剛之氣。孟子曰：“我善養(yǎng)吾浩然之氣?！边@種浩然之氣，就是陽剛之氣，既有“天行健，君子以自強不息”的自立，也有“不阿權不阿世”的剛正，還有“咬定青山不放松，立根原在破巖中”的堅毅，以及“長風破浪會有時，直掛云帆濟滄?！钡淖孕艠酚^。如果我們的民族失去了這樣的精神品質，如果我們的男孩子失去了這樣的價值導向，很可能就是一個悲劇的開始。

式中xmin為Image中所有像素x方向上最小值，ymin為Image中所有像素y方向上最小值；xmax為Image中所有像素x方向的最大值，ymax為Image中所有像素y方向上最大值。h為圖像x方向的長度，最后獲得的ROI。

邊界框預測調整：(tx,ty,tw,th)是網絡預測的邊界框的4個坐標，如果網格偏離圖像左上角的量為(cx,cy)，pw,py是先前邊界框的寬度和高度，對應的預測框調整如下

bx=σ(tx)+cx,by=σ(ty)=cy,bω=pwetw,bh=pheth

類別預測：在分類階段，soft-max有類間互斥的表現，不利于有包含屬性關系的數據分類，因此使用多標簽分類方法，取而代之的是多個獨立的邏輯分類器，在訓練階段對于類別的預測采用的是二元交叉熵函數

特征提?。篩OLO v3使用Darknet—53網絡實現特征提取，相比較Darknet—19網絡添加了殘差單元，使用連續(xù)的3×3和1×1卷基層，該網絡結果包括53個卷積層以及5個最大池化層，同時在每個卷積層后增加了批量歸一化操作和去除dropout操作，防止過擬合現象。訓練過程損失函數為

2 實 驗

本文實驗的計算機配置為:CPU E5—2670v2，顯卡Gtx1080Ti，內存32G，操作系統(tǒng)為Ubuntu16.04。為了驗證本文提出的方法，同時也在智能車實驗平臺上進行了實驗，智能車實驗平臺如圖2所示，車輛配有：GPS，16線激光雷達，前視攝像頭和慣性導航等設備。

目前公開的交通標志牌數據集由于存在國內外的差異，所以標志牌數據不能直接使用，國內的數據集如CCTSDB只暫時公布了一部分數據，TSD-max數據集也由于舉辦“中國智能車未來挑戰(zhàn)賽離線比賽”的需要只開放了很少一部分數據；TT100k是清華和騰訊合作標注的交通標志牌數據，可以公開下載使用，但是該數據也存在著標注樣本數量不平衡的問題。目前還沒有一個能夠完全涵蓋所有標志牌類型且每一類數量平衡的數據集，本文實驗的數據來源包括CCTSDB、TSD-max、TT100k和自采數據標注4部分共計29 000張標注圖像，其中自行標注的數據9 000張，采集的地點城市包括；北京、天津、上海、蘇州、常熟、深圳、重慶等地；包含不同天氣、不同時間、不同季節(jié)的交通場景數據，標注的類別如圖1所示分為三類，標注過程中對于圖像中信號燈目標區(qū)域小于的不予標注。隨機抽取23 000張圖像作為訓練集，余下的6 000張圖像作為測試集。

本文所提出方法的效果圖如圖2所示。

圖2 測試平臺與識別效果

用來衡量二分類模型精確度的一種指標，值越大說明模型越好。實驗效果對比如表1所示。

表1 實驗效果對比

從表1中前兩行可以看出，本文的方法在上述各方面都得到了提升，主要得益于所提方法過濾了大部分的干擾(如汽車尾燈等)，在幀率方面也得到了提升，但是提升的幅度不大，原因主要是由于在確定ROI方面，存在一定的經驗因素的影響，同時由于在處理過程中默認將圖像底部1/5高度的區(qū)域去除掉，并且根據ROI選擇的策略，如果ROI的點坐標落在底部區(qū)域，將在原始圖像大小上進行交通標志牌的檢測，所以提升幅度不大，本文提出的算法已經可以滿足在日程行駛速度下智能車輛對交通標志牌的實時處理。表中的第3～5行，分別是基于Faster RCNN的方法對交通標志牌的檢測結果，分別對應于使用VGG16、Res50和Res101三種不同的特征提取網絡實現的效果，整體上召回率和查準率要優(yōu)于基于YOLO的方法，但在處理的實時性上卻遠不如基于YOLO的方法。

本文中檢測的對象為交通標志牌，分布于全路段中，為了保證能夠在智能車輛正常行駛的過程中實時檢測交通標志牌，從本文的實驗結果中可以看出，本文所提出的方法在準確率和實時性能上都得到了一定程度的提升，并且在實際的無人駕駛車輛平臺上得到了驗證，能夠滿足在全路段下實時的處理。

3 結束語

通過實驗對比驗證了所提方法的有效性，并根據交通標志牌數據集的現狀，標注了9 000張交通場景圖像，擴充了現有的數據集。下一步將在數據的多樣性和平衡性方面擴充數據，同時由于光照等因素交通標志牌的顏色也會有所差異，顏色的提取也需要進一步的完善。