基于深度學(xué)習(xí)的交通標(biāo)志測距方法研究

王艷麗 王志林 侯憲春 聶妍 儲怡

摘要：自動駕駛技術(shù)和高級駕駛輔助系統(tǒng)設(shè)計(jì)成為近幾年的研究熱點(diǎn)，對交通標(biāo)志進(jìn)行實(shí)時的識別和定位在其中扮演了至關(guān)重要的角色，但目前研究大都局限于對交通標(biāo)志的檢測和識別，沒有涉及對交通標(biāo)志距離的測量。針對以上問題，提出了一種基于深度學(xué)習(xí)的交通標(biāo)志檢測與測距方法，該方法是基于回歸的深度神經(jīng)網(wǎng)絡(luò)檢測和步進(jìn)式三維重建測距網(wǎng)絡(luò)相結(jié)合，通過單階段目標(biāo)檢測神經(jīng)網(wǎng)YOLOv3完成交通標(biāo)志的識別，并輸出交通標(biāo)志的像平面坐標(biāo)，進(jìn)行步進(jìn)式轉(zhuǎn)換處理，預(yù)測交通標(biāo)志的距離。實(shí)驗(yàn)結(jié)果表明：檢測速度達(dá)到29f/s（每秒傳輸幀數(shù)），距離檢測平均誤差為3%左右，準(zhǔn)確率達(dá)到91.58%以上，該方法在精度和速度上均能獲得較高的檢測性能，完全滿足自動駕駛中交通標(biāo)志檢測的實(shí)時性需求。

關(guān)鍵詞：交通標(biāo)志檢測;深度學(xué)習(xí);測距;YOLOv3

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）15-0001-03

1引言

自動駕駛技術(shù)和高級駕駛輔助系統(tǒng)（advanced driver assis-tance systems，ADAS）作為前沿的主動安全技術(shù)，已成為近幾年汽車領(lǐng)域的研究熱點(diǎn)，當(dāng)下急需一種準(zhǔn)確、高效、全面的交通標(biāo)志識別方法。對于交通標(biāo)志的檢測和識別有傳統(tǒng)的算法，主要是基于手工特征構(gòu)建的，魯棒性比較差。隨著深度學(xué)習(xí)應(yīng)用的迅速發(fā)展，又出現(xiàn)許多基于深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)秀算法，在開放的目標(biāo)檢測數(shù)據(jù)集GTSDB，LISA，KITFI等上表現(xiàn)出了出色的檢測效果和性能，特別是基于回歸的檢測算法YO-LO，YOLOv2，YOLOv3，SSD等，在保持速度優(yōu)勢的前提下，提升了預(yù)測精度和對小物體的識別能力，成為當(dāng)下綜合性能最好的目標(biāo)檢測方法之一。而對于自動駕駛和ADAS技術(shù)來說，如果沒有每個交通標(biāo)志的距離信息，無法準(zhǔn)確地制定導(dǎo)航策略。目前對距離的測量大部分都是采用傳統(tǒng)的單目或雙目測距方法，但是這些方法涉及諸多參數(shù)，如相機(jī)的內(nèi)參、外參、畸變參數(shù)，同時還需要進(jìn)行多個坐標(biāo)系之間的變換，非常復(fù)雜，并且都是對車輛、行人等目標(biāo)檢測及測距，并未涉及交通標(biāo)志的距離的測量。為此，本文提出了基于回歸的深度神經(jīng)網(wǎng)絡(luò)檢測和步進(jìn)式三維重建測距網(wǎng)絡(luò)相結(jié)合的交通標(biāo)志檢測與距離測量方法，稱為交通標(biāo)志檢測與測距方法（Traffic-Sign-Detec-tion-and-Ranging Method，TSDRM），實(shí)驗(yàn)結(jié)果表明，本文所提出的方法具有很高的準(zhǔn)確率和良好的魯棒性，滿足自動駕駛實(shí)時檢測的要求，對智能交通和無人駕駛領(lǐng)域具有重要的意義和應(yīng)用價值。

2交通標(biāo)志檢測與測距模型設(shè)計(jì)

2.1模型結(jié)構(gòu)

交通標(biāo)志檢測與測距模型結(jié)構(gòu)如圖1所示，系統(tǒng)由三部分組成，前端輸入處理模塊，包括視頻幀處理模塊和GPS輸入模塊，視頻幀處理模塊的主要功能是處理攝像頭視頻，將車輛行駛過程中實(shí)時錄制的視頻流中的每一幀圖像提取出來，經(jīng)過預(yù)處理變成神經(jīng)網(wǎng)絡(luò)需要的數(shù)據(jù)流格式發(fā)送給檢測識別模塊，GPS輸入模塊計(jì)算視頻相鄰幀的車輛位移和偏角，以便提供給三維重建測距模塊;檢測識別模塊是基于回歸的單階段深度神經(jīng)網(wǎng)絡(luò)YOLO v3負(fù)責(zé)相鄰的視頻幀中的交通標(biāo)志的檢出和其在像平面內(nèi)邊界框位置信息的處理，通過深度殘差網(wǎng)絡(luò)檢測出交通標(biāo)志，輸出交通標(biāo)志在相鄰幀中的像素坐標(biāo)集合：{幀t-1（xi，1，Yi，1，xi，2，Yi，2）幀。（Xj，1Yj，1X Yj，1）};三維重建測距模塊，通過學(xué)習(xí)車輛地理位置和交通標(biāo)志在像平面位置的變化，估算交通標(biāo)志的距離信息。

2.2步進(jìn)式三維重建測距方法

步進(jìn)式三維重建測距方法采用回歸神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，其基本思想就是通過正向傳播過程來學(xué)習(xí)相鄰視頻幀中的交通標(biāo)志邊框在像素坐標(biāo)系中的變化，結(jié)合GPS所反映的車輛相應(yīng)的位移信息，計(jì)算得到輸出的距離值與真實(shí)值的誤差。然后通過反向傳播過程將學(xué)習(xí)到的三維映射信息更新到神經(jīng)網(wǎng)絡(luò)模型的權(quán)重中去。

步進(jìn)式三維重建方法是通過兩幀（或以上）的單視點(diǎn)二維圖像信息來重構(gòu)三維空間，從而還原距離信息。隨著自動駕駛車輛的運(yùn)動，交通標(biāo)志在像平面中會發(fā)生偏移，這個偏移在像平面中的映射，實(shí)際上是由車輛在世界坐標(biāo)系中相對于交通標(biāo)志移動所引起的，這樣兩幀（或以上）的單視點(diǎn)圖像的視差，會將距離信息引入二維空間，因此可以根據(jù)這個映射來重建三維空間，進(jìn)而實(shí)現(xiàn)距離的測量。

三維測距的網(wǎng)絡(luò)構(gòu)架如圖2所示，共分四層：輸入層，兩個隱藏層，一個輸出層。其輸人參數(shù)由兩部分組成：第一部分參數(shù)來自前面深度殘差網(wǎng)絡(luò)檢測交通標(biāo)志的輸出，有2XNx（TSC+C）個，其中2表示需要兩幀數(shù)據(jù)來進(jìn)行三維重建，N表示同時處理交通標(biāo)志的個數(shù)，TSC（traffic Sign Center）表示交通標(biāo)志邊框的中心點(diǎn)像素坐標(biāo)，c是交通標(biāo)志的類別信息;第二部分輸入?yún)?shù)有2個，分別是車輛在截取兩個相鄰幀的相對位移D和偏角θ。隱藏層的激活函數(shù)選擇Relu，模型采用Adam為優(yōu)化函數(shù)。

5.把公式（8）、（9）求得的偏導(dǎo)值代人公式（2）、（3）更新測距神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)。

按照步驟5重復(fù)梯度下降法的迭代步驟來減小代價函數(shù)J，（W，b）的值，最終得到測距神經(jīng)網(wǎng)絡(luò)的參數(shù)。

3模型的訓(xùn)練

3.1訓(xùn)練環(huán)境

整個模型采用python Tensorflow的開發(fā)框架實(shí)現(xiàn)，并在配有英特爾i7-8700處理器和英偉達(dá)NVIDIA GTXl080Ti GPU的PC機(jī)上完成訓(xùn)練過程。

3.2訓(xùn)練步驟

3.2.1訓(xùn)練交通標(biāo)志識別檢測模塊

為了優(yōu)化模型的學(xué)習(xí)效率，加快模型對交通標(biāo)志檢測的收斂，訓(xùn)練采用了神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的方法。首先，把在微軟團(tuán)隊(duì)提供的圖像識別的數(shù)據(jù)集（COCO）上得到的預(yù)訓(xùn)練權(quán)重作為的模型初始化參數(shù)，然后凍結(jié)其基礎(chǔ)網(wǎng)絡(luò)Darknet-53，以德國交通數(shù)據(jù)集（GTSDB）微調(diào)（fine-tune）模型參數(shù)來實(shí)現(xiàn)交通標(biāo)志的檢測。GTSDB記錄了各種路況和在各種天氣狀況及不同光照條件下的自然交通場景。數(shù)據(jù)集共有900張圖片，包含1206個交通標(biāo)志。測試類別劃分為4類：指示（mandatory），禁止（prohibitory），危險(xiǎn)（danger）和其他（0ther）。為了提高模型的泛化能力，在模型的訓(xùn)練過程中使用了數(shù)據(jù)增強(qiáng)技術(shù)，如改變圖像尺寸、圖像旋轉(zhuǎn)、隨機(jī)剪裁、圖像水平翻轉(zhuǎn)、圖像顏色抖動等，生成更多的訓(xùn)練數(shù)據(jù)。

為了使模型更好地適應(yīng)中國的交通標(biāo)志的檢測，訓(xùn)練進(jìn)一步凍結(jié)了YOLOv3模型中除了3個輸出層之外的所有其他層。采用中國交通標(biāo)志檢測數(shù)據(jù)集CCTSDB對上面訓(xùn)練好的模型進(jìn)一步微調(diào)，目前中國交通數(shù)據(jù)集（CCTSDB）有15000多張圖片，圖片大小有1024×768、1280×720和513×999等多種尺度。訓(xùn)練模型的輸入圖片大小設(shè)為416×416，采用批量梯度下降法，批量（Batchsize）設(shè)置為64，最大迭代次數(shù)設(shè)置為100000，動量設(shè)置為0.9，權(quán)值衰減為5x10^-4，初始學(xué)習(xí)率為1x10^-3，在迭代40000次和50000次開始時分別衰減為原來的10%。

3.2.2訓(xùn)練步進(jìn)式三維測距模塊

三維測距模塊的訓(xùn)練中使用了攝像頭和GPS采集的5000組數(shù)據(jù)，這些數(shù)據(jù)采自于距離交通標(biāo)志120米范圍內(nèi)的3條車道。首先將數(shù)據(jù)分為每兩幀一組，對采集的數(shù)據(jù)進(jìn)行預(yù)處理，以獲得測距模塊的兩個輸入信息，對GPS數(shù)據(jù)進(jìn)行預(yù)處理后獲得的車輛位置輸入信息;將視頻幀的圖像數(shù)據(jù)輸入檢測模塊獲得的交通標(biāo)志檢測邊框像素坐標(biāo)，計(jì)算出檢測交通標(biāo)志的位置輸入信息。訓(xùn)練過程中，通過采用不同的幀間隔進(jìn)行分組（2幀，3幀和5幀），將訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)展，以適應(yīng)測量過程中的各種抖動。學(xué)習(xí)率初始為0.001，最大迭代次數(shù)設(shè)為15000。

3.3實(shí)驗(yàn)結(jié)果及分析

3.3.1三維測距模塊的實(shí)際測量性能

在距離交通標(biāo)志120米范圍內(nèi)分別在3條車道進(jìn)行測量，其中圖3顯示了車輛在第一車道上行駛時的三維測距模塊的實(shí)際測量結(jié)果和性能（第一車道到交通標(biāo)志的橫向距離是4米，車輛到交通標(biāo)志的縱向距離為120米以內(nèi)），圖3-1中的散點(diǎn)部分是交通標(biāo)志到車輛的實(shí)際距離，連線部分是三維測距模塊預(yù)測的距離，預(yù)測值與實(shí)際值吻合得很好。圖3-2中的平均誤差顯示90米以內(nèi)交通標(biāo)志的距離估測平均誤差均在2米以下，大于90米的距離估測平均誤差也是在2-3米左右，即交通標(biāo)志距離估測誤差錯誤率均在5%以內(nèi)。經(jīng)過訓(xùn)練的三維測距模塊體現(xiàn)了較高的準(zhǔn)確率和較強(qiáng)的魯棒性。

3.3.2系統(tǒng)的整體性能

交通標(biāo)志檢測和測距系統(tǒng)的整體性能參見表1，在檢測速率方面，交通標(biāo)志檢測模塊的檢測速率為30.71幀每秒，即平均耗時為32.56ms，加上測距模塊后總檢測速率為29.29幀每秒，即總的平均耗時為34.14ms，測距模塊的平均耗時僅為1.58ms，即增加測距過程后，總耗時增加了5.4%，這使得系統(tǒng)總的檢測速率稍有下降，但依然達(dá)到了29幀每秒的速率，完全滿足實(shí)時性系統(tǒng)要求。另外，增加三維測距模塊導(dǎo)致的系統(tǒng)模型的大小變化不大，權(quán)重參數(shù)的增量僅為0.52%，因此對模型的存儲和運(yùn)算影響也很小。由于測距模塊和檢測模塊在實(shí)現(xiàn)上的相對獨(dú)立性，增加測距過程并沒有改變系統(tǒng)對于交通標(biāo)志檢測的均值平均精度（mAP），系統(tǒng)依然保持了較高的識別、檢測精度。

整個系統(tǒng)具有較高的檢測精度（mAP）與檢測速率，完全滿足自動駕駛的實(shí)時檢測交通標(biāo)志的要求。

4結(jié)論

總之，本文提出的方法完全可以在駕駛過程中，實(shí)時準(zhǔn)確地完成交通標(biāo)志的檢測和測距，為自動駕駛和高級駕駛輔助系統(tǒng)制定準(zhǔn)確的駕駛策略提供了有效的幫助。本系統(tǒng)具有很強(qiáng)的泛化能力和可移植性，例如，為了得到更快的檢測速度，可以將模型中的YOLOv3模塊換成tiny-YOLOv3、tiny-YOLOv2等，而無改動三維測距模塊，并且基于目前市場上通用的AI芯片（如海思的Hi3519A/3559A等），非常便利地開發(fā)出真正的車載便攜式的、高實(shí)用性的、具有成本優(yōu)勢的導(dǎo)航產(chǎn)品。