基于YOLOv5 的交通燈識(shí)別系統(tǒng)建立

姚雨含 劉慧舟

（海南大學(xué)信息與通信工程學(xué)院,海南 ?？?570100）

在無人駕駛中，對(duì)于交通燈交通標(biāo)志的識(shí)別是智能環(huán)境中的重要一環(huán)。準(zhǔn)確地識(shí)別出交通燈的信息，并且對(duì)傳輸信號(hào)進(jìn)行及時(shí)處理，對(duì)于保障自動(dòng)駕駛的安全性和可靠性具有極其重要的意義。為此，本文基于YOLOv5對(duì)交通燈的識(shí)別展開研究。通過圖像采集系統(tǒng)收集圖像，構(gòu)建數(shù)據(jù)集，對(duì)交通燈的顏色進(jìn)行識(shí)別并提高準(zhǔn)確度[1]。

目前對(duì)于交通燈的識(shí)別可以分為傳統(tǒng)的圖像處理和基于視覺的目標(biāo)檢測(cè)方法。圖像處理主要有模糊隸屬度函數(shù)、歸一化法、殘差法、k均值聚類法、高斯分布建模方法等，他們檢測(cè)圖像顏色的方法多為圖像處理的方法，主要有對(duì)圖像進(jìn)行降噪預(yù)處理、顏色空間閾值分割、通過形狀特征過濾等步驟[2]?；谟?jì)算機(jī)視覺的目標(biāo)檢測(cè)方法可以分為兩類：傳統(tǒng)的目標(biāo)檢測(cè)算法和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法。傳統(tǒng)的目標(biāo)檢測(cè)算法主要是通過逐步滑動(dòng)窗口對(duì)整幅圖像進(jìn)行遍歷，選取目標(biāo)框，再利用方向梯度直方圖（Histogram of Oriented Gradient，HOG）、尺度不變特征變換（Scale Invariant Feature Transform，SIFT）等方式對(duì)目標(biāo)框提取特征，最后結(jié)合SVM、Adaboost分類器等對(duì)目標(biāo)進(jìn)行分類。而基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測(cè)算法，通過將整幅圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，直接在輸出層通過回歸得到目標(biāo)框的位置和種類等信息，有著更高的檢測(cè)速度。與傳統(tǒng)的檢測(cè)方法相比，其檢測(cè)結(jié)果更好，泛化能力更強(qiáng)，更能夠滿足自動(dòng)駕駛汽車對(duì)可靠性和實(shí)時(shí)性的要求。

基于這些特點(diǎn)，本文采用基于深度學(xué)習(xí)的方法，對(duì)路面交通燈進(jìn)行檢測(cè)和識(shí)別，致力于構(gòu)建一個(gè)更加智能化的路面信息系統(tǒng)[3]。

1 識(shí)別控制系統(tǒng)

在系統(tǒng)中可采用光學(xué)裝置和非接觸的傳感器裝置，通過鏡頭對(duì)目標(biāo)物體的圖像進(jìn)行采集，然后將采集到的信號(hào)傳遞到系統(tǒng)處理器，由此處理器對(duì)傳遞過來的圖像進(jìn)行識(shí)別與分類此時(shí)的交通燈情況，并針對(duì)這些情況發(fā)送控制指令至汽車的控制系統(tǒng)。汽車控制系統(tǒng)可以控制汽車啟動(dòng)發(fā)動(dòng)機(jī)運(yùn)轉(zhuǎn)、制動(dòng)等，使汽車根據(jù)交通燈情況進(jìn)行行駛，從而保證無人駕駛的安全性。如圖1所示，根據(jù)實(shí)際應(yīng)用設(shè)計(jì)出應(yīng)用系統(tǒng)。

圖1 系統(tǒng)結(jié)構(gòu)圖

2 數(shù)據(jù)集分析

為了準(zhǔn)確檢測(cè)和識(shí)別交通燈，需要使用合適的數(shù)據(jù)集來進(jìn)行訓(xùn)練。常用數(shù)據(jù)集有Bosch Small Traffic Lights Dataset（BSTLD）和Lara數(shù)據(jù)集，Bosch數(shù)據(jù)集圖像采集自德國，是目前國內(nèi)外公開的最大的有標(biāo)注的交通燈數(shù)據(jù)集；而Lara數(shù)據(jù)集來自巴黎，只含單一的交通燈標(biāo)簽且交通場(chǎng)景復(fù)雜，分辨率較低。本次設(shè)計(jì)中試驗(yàn)的數(shù)據(jù)集也部分來自于自主制作的交通燈圖像數(shù)據(jù)集。

3 基于YOLOv5的交通燈識(shí)別的設(shè)計(jì)

2020年YOLOv5算法出現(xiàn)，其設(shè)計(jì)了馬賽克數(shù)據(jù)增強(qiáng)、Focus結(jié)構(gòu)等，使模型結(jié)構(gòu)變得更加輕量化，對(duì)試驗(yàn)設(shè)備的資源要求非常友好，同時(shí)進(jìn)一步平衡了檢測(cè)精度和速度。

YOLOv5模型根據(jù)其深度、寬度的差異可以分為四個(gè)不同規(guī)模的模型：YOLOv5nano、YOLOv5samll、YOLOv5middle以及YOLOv5large。本文以YOLOv5s為例進(jìn)行說明，其他版本模型都是在YOLOv5s的基礎(chǔ)之上對(duì)網(wǎng)絡(luò)進(jìn)行加深和擴(kuò)展，其結(jié)構(gòu)原理都與YOLOv5s類似。

YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)主要由三部分組成，即Backbone、Neck和Prediction部分。

第一，Backbone（骨干網(wǎng)絡(luò)）包含了Focus、CBL、CSP和SPP四種模塊。首先，輸入大小為640×640×3的圖片，通過Focus模塊進(jìn)行切片處理，輸出大小為320×320×12的特征圖，以此來減少網(wǎng)絡(luò)的計(jì)算量，提升選擇區(qū)域的特征提取速度并通過Concat將切片圖像的高度和寬度整合，增加輸入圖像的通道數(shù)。其次，切片后的圖像通過CBL模塊來提取特征，在特征提取的過程中，使用CSP殘差結(jié)構(gòu)來優(yōu)化網(wǎng)絡(luò)中的梯度信息，減少了推理計(jì)算量，加快網(wǎng)絡(luò)的計(jì)算速度。最后，由SPP模塊通過多次池化，完成對(duì)高層次語義特征的提取與融合。將不同尺寸的輸入轉(zhuǎn)變?yōu)橄嗤笮〉妮敵?，解決了輸入圖像尺寸不統(tǒng)一的問題，提升模型精度。

第二，Neck（頸部結(jié)構(gòu)）主要是進(jìn)行特征融合，Neck部分使用了ReLU激活函數(shù)，采用路徑聚合網(wǎng)絡(luò)（Path Aggrega-tion Network，PANet）結(jié)構(gòu)融合不同尺寸的特征圖。先通過從上到下對(duì)圖片進(jìn)行上采樣，將提取到的特征與主干網(wǎng)絡(luò)中提取到的特征進(jìn)行融合，添加一個(gè)自下向上的特征金字塔結(jié)構(gòu)，對(duì)圖片進(jìn)行降采樣，將提取到的所有特征進(jìn)行融合。通過PANet網(wǎng)絡(luò)結(jié)構(gòu)可以彌補(bǔ)并融合強(qiáng)定位信息，最終將輸出用于Head的檢測(cè)中。

第三，Prediction（輸出端）使用GIoU作為目框的損失函數(shù)，通過非極大值抑制（NMS）來篩選目標(biāo)框。YOLOv5s結(jié)構(gòu)圖如圖2所示。

圖2 YOLOv5s結(jié)構(gòu)圖

與YOLOv4系列相同，YOLOv5系列使用了Mosaic數(shù)據(jù)增強(qiáng)的方式。將1～4 張圖片進(jìn)行隨機(jī)裁剪、縮放后，再隨機(jī)排列拼接形成一張圖片，在豐富了檢測(cè)數(shù)據(jù)集的同時(shí)，通過隨機(jī)縮放增加了很多小目標(biāo)樣本，使網(wǎng)絡(luò)具有更好的魯棒性，增加了網(wǎng)絡(luò)訓(xùn)練的速度，同時(shí)降低了GPU的占用。YOLOv5系列新增了自適應(yīng)錨框，在之前的兩個(gè)版本中，訓(xùn)練不同的數(shù)據(jù)集初始錨框的值是通過運(yùn)行單獨(dú)的程序得到的；但YOLOv5中將此功能加入到了代碼中，每次訓(xùn)練自適應(yīng)地計(jì)算得到不同訓(xùn)練集中的最佳錨框值，從而幫助網(wǎng)絡(luò)快速收斂。

與YOLOv3相同，YOLOv5仍然利用 K-means 方法進(jìn)行預(yù)測(cè)框的預(yù)測(cè)，依據(jù)預(yù)測(cè)框中心位置、左上角的相對(duì)偏移進(jìn)行邊界回歸，進(jìn)行實(shí)際框的計(jì)算

式中，mx、my、mw、mh為預(yù)測(cè)框的中心點(diǎn)坐標(biāo)、寬度、高度；nx、ny為卷積殘差操作所得特征圖單元格左上角坐標(biāo)；、ty表示預(yù)測(cè)框中心點(diǎn)相對(duì)于網(wǎng)格最左上角坐標(biāo)的偏移量；tw、th表示預(yù)測(cè)框的寬高相對(duì)于錨框?qū)捀叩南鄬?duì)比例；、ph為錨框的寬度和高度。

YOLOv5的損失函數(shù)由預(yù)測(cè)框位置損失函數(shù)、目標(biāo)置信度損失函數(shù)和預(yù)測(cè)框目標(biāo)分類函數(shù)組成

式中，Lbox——預(yù)測(cè)框位置損失函數(shù)；

Lobj——目標(biāo)置信度損失函數(shù)；

Lcls——預(yù)測(cè)框目標(biāo)分類函數(shù)。

通常情況下用PR曲線和AP值來評(píng)價(jià)一個(gè)該模型的性能。

4 試驗(yàn)

4.1 參數(shù)設(shè)置

試驗(yàn)采集了不同時(shí)間、不同天氣情況、不同交通道路的交通燈圖片3 000張，選取其中2 500張進(jìn)行訓(xùn)練，剩余的500張作為預(yù)測(cè)集。使用Python語言進(jìn)行程序的編寫。主要配置參數(shù)：在最優(yōu)方法中動(dòng)量因子（momentum）設(shè)置為 0.9，學(xué)習(xí)的效率設(shè)置為0.001，更新間隔（batch）為32，訓(xùn)練樣本數(shù)（subdivisions）設(shè)置為 16，權(quán)重衰減因子（decay）設(shè)置為0.000 5。對(duì)每次學(xué)習(xí)后的參數(shù)按照比例進(jìn)行降低，以防止過擬合（該參數(shù)越大，對(duì)過擬合的抑制作用越強(qiáng)），迭代終止條件（max_batches）設(shè)置為20 200。本次試驗(yàn)采取了兩種學(xué)習(xí)的方案，分別對(duì)比它們的學(xué)習(xí)效果。

方案一：不使用steps策略，從0～30 000次迭代統(tǒng)一使用0.001的學(xué)習(xí)率。

方案二：使用steps策略，將整個(gè)過程分為三個(gè)階段，第一、二、三階段迭代次數(shù)分別為16 000次、8 000次和6 000次。在16 000次迭代和24 000次迭代將學(xué)習(xí)率調(diào)整為第一階段的0.5倍和第二階段的0.2倍，即調(diào)整為0.000 5和0.000 1。

4.2 訓(xùn)練結(jié)果

經(jīng)過訓(xùn)練，比較方案一和方案二在不同迭代次數(shù)下的平均損失如表1所示，并繪制平均損耗曲線（Avg Loss Curve）和平均交并比曲線（Avg IOU Curve），同時(shí)對(duì)比加入目標(biāo)跟蹤（DeepSort）和不加入的區(qū)別。分別如圖3、圖4和圖5所示。

表1 兩種方案迭代次數(shù)與平均損失

圖3 平均交并比曲線

圖4 平均損耗曲線

圖5 加入DeepSort后的Loss曲線

對(duì)比方案一與方案二訓(xùn)練結(jié)果可知：

方案一的loss值在迭代24 000次以后的變化非常不明顯，24 000次迭代到30 000次迭代的Avg Loss只下降了15.40%，且逐漸趨于一個(gè)值不再下降，最后Avg Loss值為0.028也略大。且觀察其Avg Loss曲線發(fā)現(xiàn)，在接近30 000次迭代時(shí)曲線斜率趨近于0，過于平緩幾乎不再變化。

方案二的loss值在迭代24 000次以后的變化較為明顯，24 000次迭代到30 000次迭代的Avg Loss下降了33.20%。最后Avg Loss值為0.019較方案一也明顯更理想。且觀察其Avg Loss曲線發(fā)現(xiàn)，在接近30 000次迭代時(shí)曲線并未趨于平緩。

對(duì)比兩種方案發(fā)現(xiàn)，發(fā)現(xiàn)采用steps策略可以更高效地降低Avg Loss值，避免Avg Loss過早地趨于平穩(wěn)不再下降。

5 結(jié)果

將訓(xùn)練模型得到的模型權(quán)重best.pt用來做測(cè)試，輸入測(cè)試所需的命令行，將待測(cè)試的圖片放入文件夾中并輸入在命令中進(jìn)行測(cè)試，改進(jìn)前和改進(jìn)后對(duì)比結(jié)果如圖6、圖7所示。

圖6 改進(jìn)前的檢測(cè)結(jié)果

圖7 改進(jìn)后的檢測(cè)結(jié)果

由改進(jìn)前后的檢測(cè)結(jié)果圖可以看出，采用了step學(xué)習(xí)的檢測(cè)，能夠更準(zhǔn)確地區(qū)分方向和數(shù)字的區(qū)別，提高了交通燈識(shí)別的準(zhǔn)確性。固定交并比（IoU）閾值=0.5，改變置信度閾值，計(jì)算得到不同的Precision-Recall點(diǎn)。連接所有的點(diǎn)，得到了PR曲線，求PR曲線下的面積就是該類別的平均精準(zhǔn)度（mAP）。識(shí)別結(jié)果的PR曲線如圖8所示。可以得出該模型的性能良好。

圖8 識(shí)別結(jié)果的PR曲線

6 結(jié)語

為了提高自動(dòng)駕駛技術(shù)的可靠性和準(zhǔn)確性，設(shè)計(jì)了一套基于YOLOv5的交通燈識(shí)別系統(tǒng)，該系統(tǒng)通過對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練。調(diào)試合適的參數(shù)，對(duì)比了使用step學(xué)習(xí)和不使用step學(xué)習(xí)的兩種方案，得出使用step學(xué)習(xí)能夠提升識(shí)別的準(zhǔn)確性。本文使用的YOLOv5算法相較于傳統(tǒng)的識(shí)別方法，實(shí)時(shí)性和準(zhǔn)確性都有了很大的提高，有利于汽車無人駕駛技術(shù)和無人駕駛的發(fā)展。