基于改進(jìn)YOLOv3的交通標(biāo)志檢測(cè)與識(shí)別

海 聰, 趙 峰

(桂林電子科技大學(xué) 計(jì)算機(jī)與信息安全學(xué)院,廣西 桂林 541004)

交通標(biāo)志檢測(cè)與識(shí)別[1]是無(wú)人駕駛領(lǐng)域中一項(xiàng)基礎(chǔ)的技術(shù),一方面能夠輔助駕駛員安全行駛,另一方面也有益于軌道交通的優(yōu)化設(shè)計(jì)。在實(shí)際行車過(guò)程中,為了及時(shí)提醒駕駛?cè)藛T并給出一定的反應(yīng)時(shí)間,需要能夠檢測(cè)到較遠(yuǎn)距離的周邊環(huán)境中的交通標(biāo)志,通常距離在50米以上。這樣得到的圖片中目標(biāo)相對(duì)較小,因而需要高清的圖片以便后續(xù)精準(zhǔn)識(shí)別。此外,拍攝到的全景圖片受不同光照、環(huán)境、天氣的影響也會(huì)產(chǎn)生不同的變化。例如在惡劣的天氣狀況下圖片的能見(jiàn)度很低,目標(biāo)特征表現(xiàn)也不明顯。因此,能夠快速準(zhǔn)確地對(duì)交通標(biāo)志進(jìn)行檢測(cè)和識(shí)別是一項(xiàng)極具挑戰(zhàn)的任務(wù)。

傳統(tǒng)的交通標(biāo)志檢測(cè)方法主要有:基于顏色、形狀的方法和基于機(jī)器學(xué)習(xí)的方法?；陬伾姆椒╗2-3]由于對(duì)光照較為敏感,使得分割任務(wù)較為困難?；谛螤畹臋z測(cè)方法[4-5]則計(jì)算較為復(fù)雜,耗時(shí)較長(zhǎng),且無(wú)法有效檢測(cè)受遮擋的交通標(biāo)志?；跈C(jī)器學(xué)習(xí)的檢測(cè)方法[6]相比前2種方法魯棒性和適應(yīng)性更強(qiáng),但由于需要根據(jù)不同的類別來(lái)設(shè)計(jì)相應(yīng)的特征來(lái)表示,在實(shí)際操作中存在一定的局限性。近幾年來(lái),深度學(xué)習(xí)目標(biāo)檢測(cè)方法有了很大突破,主要包含兩大類:1)以R-CNN[7-9]系列為代表的基于候選區(qū)域的檢測(cè)方法;2)基于回歸的檢測(cè)方法,檢測(cè)框架以YOLO[10-12]系列為代表,YOLOv3 針對(duì)小目標(biāo),通過(guò)2次上采樣來(lái)進(jìn)行多尺度的檢測(cè),檢測(cè)精度有了較大提升。但在實(shí)際應(yīng)用中,對(duì)于小目標(biāo)的檢測(cè)還遠(yuǎn)遠(yuǎn)不夠。文獻(xiàn)[13]針對(duì)遙感圖像中的小目標(biāo),將YOLOv3的3個(gè)尺度添加至4個(gè),并以密集相連融合不同尺度模塊特征層的信息。文獻(xiàn)[14]為解決雷達(dá)圖像中船艦?zāi)繕?biāo)有干擾物的問(wèn)題,基于YOLOv3提出了改進(jìn)多尺度特征融合算法,融合了多層特征信息,并加入空間金字塔池化。文獻(xiàn)[15]針對(duì)手機(jī)液晶面板生產(chǎn)工業(yè)中缺陷檢測(cè)面臨的精度低的問(wèn)題,提出了雙向特征融合的網(wǎng)絡(luò)結(jié)構(gòu),并提出一種新型的特征融合方法。

在全景圖片中,交通標(biāo)志僅占視野的一小部分,約占視野圖像的0.01%～0.70%,基于這樣小尺度的目標(biāo),設(shè)計(jì)并搭建了一個(gè)改進(jìn)YOLOv3網(wǎng)絡(luò)——TSR-YOLOv3。TSR-YOLOv3通過(guò)加深前期的特征提取殘差網(wǎng)絡(luò),以提取更為準(zhǔn)確的語(yǔ)義信息。針對(duì)小尺度檢測(cè),將低層與高層特征進(jìn)行融合,增加特征圖的位置信息和邊緣特征信息,加強(qiáng)對(duì)小目標(biāo)的準(zhǔn)確定位。采用包含各種天氣狀況下的數(shù)據(jù)集來(lái)進(jìn)行實(shí)驗(yàn),通過(guò)暗通道去霧算法對(duì)圖片進(jìn)行圖像增強(qiáng),增加圖像的能見(jiàn)度和對(duì)比度。將裁剪后的低分辨率圖片訓(xùn)練網(wǎng)絡(luò)得到的權(quán)重用于高分辨率網(wǎng)絡(luò),進(jìn)行遷移學(xué)習(xí)再訓(xùn)練。

1 YOLOv3網(wǎng)絡(luò)模型

YOLOv3是Redmon于2018年3月提出的最具有代表性的深度學(xué)習(xí)檢測(cè)框架之一。在YOLOv3中,經(jīng)歷5次縮小,將特征圖縮小到原輸入尺寸的1/32。輸入為416×416,輸出為13×13。所以通常要求輸入圖片是32的倍數(shù),在訓(xùn)練中輸入選擇416×416大小。

YOLOv3可進(jìn)行3種不同尺度的預(yù)測(cè)。檢測(cè)層在分別具有步幅32、16、8的3種不同尺寸的特征圖上進(jìn)行檢測(cè)。

YOLOv3對(duì)圖像中檢測(cè)到的對(duì)象執(zhí)行多標(biāo)簽分類,在早期YOLO 中,曾用softmax獲取類別得分,并用最大得分的標(biāo)簽表示包含在邊界框的目標(biāo)。這種分類的前提是類別之間相互獨(dú)立。但當(dāng)數(shù)據(jù)集中存在人或女人的標(biāo)簽時(shí),該前提便失去了意義。所以在YOLOv3中使用邏輯回歸來(lái)預(yù)測(cè)每個(gè)類別得分,并用一個(gè)閾值對(duì)目標(biāo)進(jìn)行多標(biāo)簽預(yù)測(cè)。

邏輯回歸用于對(duì)anchor包圍的一部分進(jìn)行一個(gè)目標(biāo)性評(píng)分,即這塊位置是目標(biāo)的可能性有多大,這一步在預(yù)測(cè)之前進(jìn)行,可去掉不必要的anchor,以減少計(jì)算量。若模板框非最佳,即使其超過(guò)設(shè)定的閾值,也不會(huì)對(duì)其進(jìn)行預(yù)測(cè)。不同于Faster R-CNN 的是,YOLOv3只會(huì)對(duì)1個(gè)prior進(jìn)行操作,也就是那個(gè)最佳prior,而邏輯回歸就是用來(lái)從9 個(gè)anchor priors中找到目標(biāo)存在可能性得分最高的那個(gè)。

對(duì)于尺寸為416×416 的圖像,YOLO 預(yù)測(cè)(52×52+26×26+13×13)×3=10 647個(gè)邊界框。因而,需要?jiǎng)h減掉大部分邊界框。先根據(jù)目標(biāo)分?jǐn)?shù)過(guò)濾邊界框,通常低于閾值分?jǐn)?shù)的框會(huì)被刪除,再運(yùn)用NMS算法,解決同一圖像的多重檢測(cè)問(wèn)題。

2 改進(jìn)YOLOv3網(wǎng)絡(luò)模型

針對(duì)無(wú)人駕駛道路行駛過(guò)程中交通標(biāo)志的檢測(cè)與識(shí)別,對(duì)YOLOv3在網(wǎng)絡(luò)結(jié)構(gòu)與多尺度小目標(biāo)檢測(cè)上進(jìn)行以下3點(diǎn)改進(jìn)。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

借鑒ResNet的殘差結(jié)構(gòu),提出了基于YOLOv3的Darknet53網(wǎng)絡(luò)結(jié)構(gòu)。整個(gè)網(wǎng)絡(luò)屬于全卷積網(wǎng)絡(luò),不包含池化層和全連接層,使用具有步幅為2的卷積層來(lái)下采樣特征圖,有助于防止由于池化導(dǎo)致低級(jí)特征的丟失。

深度模型一個(gè)關(guān)鍵的點(diǎn)就是能否正常收斂。殘差這種結(jié)構(gòu)能夠保證網(wǎng)絡(luò)在很深的情況下仍能很好地收斂,且用這種結(jié)構(gòu)可使網(wǎng)絡(luò)結(jié)構(gòu)更深,網(wǎng)絡(luò)越深,表達(dá)的特征越好。殘差中的1×1卷積,大量減少了每次卷積的通道數(shù),既減少了參數(shù)量,也減少了計(jì)算量。

在改進(jìn)的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)中,通過(guò)加深前期的特征提取網(wǎng)絡(luò),以便提取更為準(zhǔn)確的語(yǔ)義信息。為了解決小目標(biāo)定位不準(zhǔn)確的問(wèn)題,在前期的特征提取網(wǎng)絡(luò)第2次下采樣后,加入了幾層卷積。改進(jìn)后的特征提取網(wǎng)絡(luò)如表1所示。

表1 改進(jìn)后的提取交通標(biāo)志特征的深度殘差網(wǎng)絡(luò)結(jié)構(gòu)

2.2 特征融合

針對(duì)全景圖片中交通標(biāo)志占比較小的特點(diǎn),利用YOLOv3多尺度的檢測(cè)方法,分別在13×13、26×26、52×52的特征圖上進(jìn)行檢測(cè),網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行下采樣,直到第一個(gè)檢測(cè)層為止,它使用具有步幅為32的層的特征圖進(jìn)行檢測(cè)。將層上采樣2倍,并與具有相同特征圖尺寸的前一層的特征圖連接,之后在具有步幅16的層上進(jìn)行另一次檢測(cè),重復(fù)相同的上采樣過(guò)程,且在步幅8的層處進(jìn)行最終檢測(cè)。整個(gè)過(guò)程如圖1中板塊②所示。

圖1 TSR-YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖

上采樣可以幫助網(wǎng)絡(luò)學(xué)習(xí)小物體檢測(cè)的細(xì)粒度特征。3種尺度通過(guò)k-mean算法選用了9個(gè)anchor prior,9個(gè)anchor被3個(gè)輸出張量平分,根據(jù)大、中、小3種尺寸各自取自己的anchor。這類自上而下的融合方式在卷積層數(shù)較少時(shí)表現(xiàn)較好,而對(duì)于較深的網(wǎng)絡(luò)則效果欠佳。因而,對(duì)于無(wú)人駕駛道路行駛過(guò)程中的交通標(biāo)志小目標(biāo)檢測(cè)需要更進(jìn)一步的改進(jìn)。

實(shí)驗(yàn)中的檢測(cè)目標(biāo),即交通標(biāo)志,僅占整個(gè)全景圖像的0.01%～0.70%,包含像素較少,導(dǎo)致在特征提取時(shí)包含的信息相對(duì)較少,且目標(biāo)和背景所占比例相對(duì)較大,當(dāng)用淺層特征檢測(cè)目標(biāo)時(shí),將會(huì)過(guò)多地關(guān)注背景信息,造成后期檢測(cè)一系列的干擾因素,而使用深層特征進(jìn)行檢測(cè)時(shí),只能提取到少量的目標(biāo)信息。

在前期網(wǎng)絡(luò)特征提取過(guò)程中,低層大尺度的特征圖分辨率高,包含著更為準(zhǔn)確的位置信息,但語(yǔ)義信息相對(duì)匱乏,而高層特征分辨率低,通常包含較為豐富的語(yǔ)義信息,能夠詳細(xì)刻畫目標(biāo)的顏色、紋理和形狀等視覺(jué)信息以及目標(biāo)的一些屬性特征。因而針對(duì)全景圖片中小目標(biāo)較難檢測(cè)的問(wèn)題,提取低層特征,采用自下而上的方法和高層小尺度檢測(cè)層進(jìn)行特征融合,最終使得在小尺度檢測(cè)特征圖上既包含準(zhǔn)確的位置信息,又包含豐富的語(yǔ)義信息,從而達(dá)到對(duì)小目標(biāo)的進(jìn)一步準(zhǔn)確檢測(cè)。

如圖1板塊①所示,具體做法為提取第2次下采樣,即第5層的特征信息,對(duì)其進(jìn)行最大值池化,將得到的特征與第3次下采樣,即第19層的特征信息,進(jìn)行contact拼接,最后將通過(guò)提取融合得到的低層特征與第2次上采樣得到的特征信息再次進(jìn)行contact拼接,即可完成對(duì)小尺度交通標(biāo)志目標(biāo)檢測(cè)的高低層特征融合。在檢測(cè)52×52小尺度目標(biāo)時(shí),加入低層特征信息,有利于精準(zhǔn)定位目標(biāo)的位置,降低較小標(biāo)志的誤檢率和漏檢率。

2.3 遷移學(xué)習(xí)

實(shí)驗(yàn)采用比賽數(shù)據(jù)集,其圖像大小為3 200×1 800。將高分辨率的圖像作為網(wǎng)絡(luò)輸入,GPU 內(nèi)存會(huì)嚴(yán)重不足,將導(dǎo)致神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)速度較慢,且由于交通標(biāo)志在全景圖片中占比很小,直接對(duì)全景圖片訓(xùn)練的準(zhǔn)確率較低。

針對(duì)這一問(wèn)題,采用滑動(dòng)窗口算法以一定的步長(zhǎng)對(duì)原圖進(jìn)行滑動(dòng)裁剪,將原圖裁剪為多個(gè)416×416大小的子圖,將上述低分辨率數(shù)據(jù)集圖片輸送至網(wǎng)絡(luò)之后,遷移到高分辨率數(shù)據(jù)集上進(jìn)行訓(xùn)練。經(jīng)過(guò)統(tǒng)計(jì),目標(biāo)的邊長(zhǎng)范圍在25～193,為了使得更多目標(biāo)更為完整地落入每張子圖片中,選取416 的一半(208)為滑動(dòng)窗口的步長(zhǎng),對(duì)原圖像進(jìn)行有重疊的滑動(dòng),以保證得到的訓(xùn)練集涵蓋更多背景干擾因素,使得網(wǎng)絡(luò)訓(xùn)練具有更好的魯棒性。

通過(guò)調(diào)用shapely包分別計(jì)算裁剪后圖片中目標(biāo)的標(biāo)記和目標(biāo)原本的標(biāo)記坐標(biāo),再計(jì)算子圖片中目標(biāo)與完整目標(biāo)的IOU,這與傳統(tǒng)的IOU 計(jì)算方式不同,傳統(tǒng)的IOU 計(jì)算為

將IOU>0.7的標(biāo)記圖片留下。由于交通標(biāo)志在整張圖片中占比較小,約為0.01%～0.70%,做滑動(dòng)裁剪會(huì)導(dǎo)致很多圖片中不包含目標(biāo),且這類背景大多為遠(yuǎn)離目標(biāo)的天空、大地等環(huán)境,對(duì)目標(biāo)的干擾因素較少,因而選擇去掉這類背景,以提高檢測(cè)效率。

將上述圖片輸送到網(wǎng)絡(luò)進(jìn)行訓(xùn)練,迭代30個(gè)epoch,保存得到的權(quán)重文件,再遷移到全景圖片上,進(jìn)行遷移訓(xùn)練。通過(guò)先對(duì)裁剪過(guò)后的低分辨率圖片進(jìn)行預(yù)訓(xùn)練,大大減少了直接在高分辨圖片上訓(xùn)練的時(shí)間,且由于樣本數(shù)據(jù)相似,也能取得較好的訓(xùn)練效果。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

現(xiàn)在有一些被廣泛使用的交通標(biāo)志數(shù)據(jù)集,由不同的研究小組收集和注釋,以便為檢測(cè)和識(shí)別任務(wù)創(chuàng)建一個(gè)適合的基準(zhǔn)。其中使用最多的有:德國(guó)交通標(biāo)志識(shí)別基準(zhǔn)[16],包括43 個(gè)識(shí)別類;比利時(shí)交通標(biāo)志[17]數(shù)據(jù)集,包含62個(gè)檢測(cè)和識(shí)別類;清華-騰訊100 K數(shù)據(jù)集[18],共45類。現(xiàn)在使用較多的是清華-騰訊100 K數(shù)據(jù)集。圖2為清華-騰訊100 K數(shù)據(jù)集與數(shù)據(jù)集中各類的類別數(shù)。該數(shù)據(jù)集對(duì)于不同類別的交通標(biāo)志數(shù)量存在均衡問(wèn)題,在訓(xùn)練時(shí)不能很好地提取每類別的特征,從而達(dá)到與其他類加以區(qū)分的目的。而實(shí)驗(yàn)中用到的數(shù)據(jù)集共包含20類交通標(biāo)志,其數(shù)量均為1 000張以上,能夠充分保證后期對(duì)每類標(biāo)志進(jìn)行同等有效的訓(xùn)練。其他數(shù)據(jù)集中的訓(xùn)練圖片大多是晴朗天氣狀況下的圖片,對(duì)于檢測(cè)難度較高的場(chǎng)景例,如大霧、大雨、大雪這類能見(jiàn)度較低的場(chǎng)景包含較少。

圖2 清華-騰訊100

K數(shù)據(jù)集與本數(shù)據(jù)集各類類別數(shù)量對(duì)比

實(shí)驗(yàn)采用2019“泰達(dá)·華博杯”華僑華人創(chuàng)新創(chuàng)業(yè)大賽中的數(shù)據(jù)集,如圖3所示。此數(shù)據(jù)集中的數(shù)據(jù)包括道路周邊交通標(biāo)志牌數(shù)據(jù),場(chǎng)景中會(huì)有不同的天氣狀況作為干擾因素,如圖中夜晚和黃昏時(shí)的場(chǎng)景,以及大霧、大雨、大雪這類惡劣天氣狀況下的場(chǎng)景,同時(shí)還有不同的行人狀況作為干擾因素。數(shù)據(jù)集的上述特點(diǎn)使得訓(xùn)練時(shí)能夠考慮到多種惡劣情況下對(duì)于交通標(biāo)志的檢測(cè)情況。

圖3 數(shù)據(jù)集示例

實(shí)驗(yàn)共包含道路場(chǎng)景圖片20 257張,將圖片進(jìn)行暗通道去霧處理,處理前后的圖片對(duì)比如圖4所示。從圖4可看出,經(jīng)過(guò)去霧處理的圖片非常清晰,增強(qiáng)了交通標(biāo)志與背景的對(duì)比度。按照8∶2的比例將其分為訓(xùn)練集和測(cè)試集。實(shí)驗(yàn)中共對(duì)20類交通標(biāo)志進(jìn)行檢測(cè)和識(shí)別,原圖大小為3 200×1 800。

圖4 去霧前后圖片對(duì)比

3.2 實(shí)驗(yàn)環(huán)境和評(píng)估指標(biāo)

實(shí)驗(yàn)的硬件環(huán)境為英特爾Xeon E5-2675處理器、16 GiB 顯存和128 GiB 運(yùn)行內(nèi)存,軟件環(huán)境為Ubuntu 16.04 X64操作系統(tǒng)、CUDA 9.0、Pytorch 1.1.0和Python 3.6.5。

采用的評(píng)估指標(biāo)為所有交通標(biāo)志種類的平均準(zhǔn)確率(mean average precision, 簡(jiǎn)稱mAP)和每張圖片所需的時(shí)間t=1/N。

其中:NTP為網(wǎng)絡(luò)模型將交通標(biāo)志檢測(cè)為交通標(biāo)志的數(shù)量;NFP為將其他目標(biāo)檢測(cè)為交通標(biāo)志的數(shù)量;

NFN為將交通標(biāo)志檢測(cè)為其他目標(biāo)的數(shù)量。通過(guò)式(3)、(4)計(jì)算出網(wǎng)絡(luò)模型的查準(zhǔn)率和查全率。SmAP定義為所有交通標(biāo)志類別的準(zhǔn)確率-召回率曲線面積之和除以檢測(cè)的交通標(biāo)志類別數(shù)。

3.3 實(shí)驗(yàn)結(jié)果分析

在訓(xùn)練階段,采用的動(dòng)量為0.9,采用隨機(jī)梯度下降法(stochastic gradient descent,簡(jiǎn)稱SGD),初始學(xué)習(xí)率為0.001,衰減系數(shù)為0.005。batch_size=16,迭代2 532次。訓(xùn)練采用基于低分辨率圖片的遷移學(xué)習(xí)的方法,將全景高分辨率圖片裁剪成多張416×416的低分辨率圖片,在設(shè)計(jì)好的網(wǎng)絡(luò)上進(jìn)行訓(xùn)練,得到一個(gè)預(yù)訓(xùn)練權(quán)重。在此基礎(chǔ)上用實(shí)驗(yàn)中的數(shù)據(jù)根據(jù)訓(xùn)練權(quán)重對(duì)參數(shù)進(jìn)行微調(diào)。

3種模型訓(xùn)練的loss曲線如圖5所示。從圖5可看出,YOLOv3模型的初始loss較大,而改進(jìn)后的TSR-YOLOv3網(wǎng)絡(luò)模型的初始loss較YOLOv3模型有所下降,而遷移訓(xùn)練后的TSR-YOLOv3網(wǎng)路模型初始loss 直降到了100 左右。遷移訓(xùn)練后的TSR-YOLOv3模型的收斂速度最快,且最終收斂得到的loss最小。通過(guò)對(duì)比表明,經(jīng)過(guò)改進(jìn)后的模型和遷移學(xué)習(xí)后的模型的魯棒性相對(duì)YOLOv3模型較好。

圖5 3種模型loss曲線對(duì)比

將TSR-YOLOv3、遷移訓(xùn)練后的TSR-YOLOv3與YOLOv3進(jìn)行比較,圖像在訓(xùn)練前均縮放為416×416,性能對(duì)比見(jiàn)表2。從表2 可看出,TSRYOLOv3網(wǎng)絡(luò)的m AP達(dá)到了49%,遠(yuǎn)高于原網(wǎng)絡(luò)。

雖然YOLOv3針對(duì)小目標(biāo)做了一定改進(jìn),但在交通標(biāo)志的檢測(cè)中,目標(biāo)遠(yuǎn)遠(yuǎn)小于可檢測(cè)的范圍,所以通過(guò)高低層特征融合來(lái)加強(qiáng)小目標(biāo)的檢測(cè)精確度。從表2可看出,遷移學(xué)習(xí)后的TSR-YOLOv3網(wǎng)絡(luò)的m AP達(dá)到了64%,三者在檢測(cè)時(shí)間上區(qū)別不大,單張圖片檢測(cè)時(shí)間均在25 ms左右。

為了驗(yàn)證圖像預(yù)處理中去霧算法對(duì)精度的影響,將原圖和處理過(guò)后的圖片分別放入YOLOv3網(wǎng)絡(luò)、TSR-YOLOv3及遷移訓(xùn)練后的TSR-YOLOv3中進(jìn)行訓(xùn)練。從表2可看出,經(jīng)過(guò)暗通道去霧處理后的圖片在網(wǎng)絡(luò)上達(dá)到了更高的檢測(cè)精確度,去霧后的圖片在TSR-YOLOv3網(wǎng)路上較去霧前的圖片m AP提高了12%,遷移訓(xùn)練后的TSR-YOLOv3在去霧后的圖片訓(xùn)練m AP較原圖像提升了6%。由于原圖包含各種惡劣天氣狀況下的圖片,整個(gè)圖片清晰度不高,目標(biāo)的細(xì)節(jié)特征也表現(xiàn)不明顯。經(jīng)過(guò)去霧處理后,加強(qiáng)了圖片的對(duì)比度和明亮程度,因而提升了檢測(cè)精度。

表2 去霧前后圖片在不同網(wǎng)絡(luò)模型上的平均精度

從表2還可看出,在去霧圖片上進(jìn)行訓(xùn)練,改進(jìn)后的TSR-YOLOv3網(wǎng)絡(luò)在去霧后圖片上的檢測(cè)率較原始的YOLOv3網(wǎng)絡(luò)模型m AP提升了7%,處理時(shí)間雖略有上升,但仍符合實(shí)時(shí)檢測(cè)的要求。在對(duì)滑動(dòng)窗口裁剪后的圖片訓(xùn)練后,繼續(xù)在全景去霧圖片上進(jìn)行遷移學(xué)習(xí),最終檢測(cè)m AP達(dá)到了70%,精確度提升了16%。

圖6為模型在不同天氣狀況下的檢測(cè)效果圖。從圖6可看出,在各種能見(jiàn)度較低的場(chǎng)景下本模型都能夠?qū)δ繕?biāo)進(jìn)行準(zhǔn)確定位,且對(duì)于非常小的目標(biāo)都能檢測(cè)出來(lái)并進(jìn)行準(zhǔn)確識(shí)別。

圖6 改進(jìn)后的模型在不同天氣狀況下的檢測(cè)結(jié)果

將全景圖片在不同的網(wǎng)絡(luò)模型下進(jìn)行訓(xùn)練,最終得到的結(jié)果如表3所示。從表3可看出,改進(jìn)后的TSR-YOLOv3網(wǎng)絡(luò)較其他網(wǎng)絡(luò)綜合性能最優(yōu)。

表3 全景圖片在不同網(wǎng)絡(luò)模型上的平均精度對(duì)比

4 結(jié)束語(yǔ)

提出了一種基于改進(jìn)YOLOv3的無(wú)人駕駛道路行駛過(guò)程中交通標(biāo)志牌的檢測(cè)和識(shí)別方法。該方法通過(guò)加深前期的深度殘差網(wǎng)絡(luò),通過(guò)提取低層網(wǎng)絡(luò)特征與高層特征融合來(lái)檢測(cè)小尺度物體,從而達(dá)到對(duì)交通標(biāo)志小目標(biāo)檢測(cè)精度提升的目的。利用裁剪后低分辨率圖片的訓(xùn)練權(quán)重對(duì)改進(jìn)后的網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí),最終得到了更高的檢測(cè)精度。但實(shí)驗(yàn)仍有較大的進(jìn)步空間,對(duì)于交通標(biāo)志較小目標(biāo)存在一定程度的誤檢,后續(xù)將進(jìn)一步優(yōu)化網(wǎng)絡(luò),提高精度。