基于TTFNet的實時交通信號燈檢測

李在潤，寧芊，2

(1.四川大學(xué)電子信息學(xué)院，成都 610065；2.新疆師范大學(xué)物理與電子工程學(xué)院，烏魯木齊 830054)

0 引言

交通信號燈檢測任務(wù)的目標(biāo)是檢測出圖像中出現(xiàn)的交通燈以便識別出信號燈所表達的具體信息。隨著現(xiàn)代交通網(wǎng)絡(luò)的飛速發(fā)展，道路結(jié)構(gòu)復(fù)雜多樣，路上行駛的車輛也日益增多，交通信號燈在保證交通有序和安全進行中發(fā)揮著至關(guān)重要的作用?？焖贉?zhǔn)確的檢測并識別交通信號燈，不僅可以用于輔助駕駛系統(tǒng)，即時提醒或者干預(yù)駕駛員做出正確反應(yīng)，讓駕駛員更好地駕駛車輛，減少交通事故的發(fā)生，而且在未來的無人駕駛系統(tǒng)上更是關(guān)鍵的任務(wù)之一。近年來，國內(nèi)外學(xué)者對于交通信號燈檢測算法的研究一直在不斷推進，但是目前的算法往往只關(guān)注了檢測的準(zhǔn)確性，而欠缺目標(biāo)檢測的實時性和高效性。在車輛駕駛中，不論是駕駛員還是無人駕駛系統(tǒng)，信號燈從出現(xiàn)在視野中到需要做出反應(yīng)的時間非常短。因此，我們通過減少網(wǎng)絡(luò)通道的方法，在保證性能的同時提高任務(wù)的效率。

針對交通信號燈檢測任務(wù)的算法隨著時間和技術(shù)的發(fā)展不斷更新，大致可以分別3類：①基于圖像處理的方法；②基于機器學(xué)習(xí)的方法；③基于深度神經(jīng)網(wǎng)絡(luò)的來檢測交通信號燈的方法。

基于圖像處理的方法中，顏色和形狀是最常被用來做交通信號燈檢測任務(wù)的。基于顏色的方法便通過分離圖像的顏色空間，設(shè)定相關(guān)的閾值進行計算。交通信號燈的另一個特征是形狀，基于形狀的算法就是利用交通信號燈的形狀特征，檢測交通信號燈外圍矩形框的區(qū)域和燈的圓形區(qū)域。然而，這些基于圖像處理的方法，只有在相對簡單的場景中能得到較好的效果，在復(fù)雜場景下往往會檢測不到信號燈或者識別錯誤。

基于機器學(xué)習(xí)的方法，首先要找到圖像中的感興趣區(qū)域，對區(qū)域中的單個目標(biāo)進行特征提取，然后利用分類器對目標(biāo)進行分類。不過基于機器學(xué)習(xí)的算法往往有魯棒性較差，適應(yīng)性不足，時間復(fù)雜度高、實時性差等缺點。

近年來，基于深度學(xué)習(xí)的方法在交通信號燈檢測和識別任務(wù)中取得巨大進步。深度學(xué)習(xí)方法能夠同時進行特征提取和分類，從大量樣本中自主學(xué)習(xí)目標(biāo)的特征，這很好地解決了傳統(tǒng)方法中魯棒性差和適應(yīng)性不足的問題。但是，目前基于深度學(xué)習(xí)的交通信號燈檢測算法普遍只關(guān)注精確度的指標(biāo)，而日常駕駛場景和無人自動駕駛場景中，交通信號燈檢測的實時性也非常重要。

針對交通信號燈檢測的實時性問題，本文提出通過減少網(wǎng)絡(luò)的通道數(shù)并添加層級U型連接結(jié)構(gòu)的方法改進TTFNet網(wǎng)絡(luò)模型，構(gòu)造出了能更高效檢測交通信號燈的網(wǎng)絡(luò)模型。實驗結(jié)果表明，使用該網(wǎng)絡(luò)結(jié)構(gòu)能在犧牲少量精確的情況下大幅度地減少網(wǎng)絡(luò)訓(xùn)練的開銷和提高交通信號燈檢測的效率。

1 相關(guān)工作

交通信號燈檢測和識別的研究早期主要是基于傳統(tǒng)的顏色方法。吳慶國等人[1]通過對RGB圖像進行歸一化處理后再利用圖像空間中三通道的差值分布對不同顏色的信號燈進行檢測。而因為RGB空間受光照的影響較大，D.Barnes等人[2]選擇了更適合識別交通信號燈的HLS顏色空間。除了基于顏色空間的方法，交通信號燈的形狀特征也常常被用到檢測任務(wù)中，如通過檢測邊界的矩形框和圓形燈來定位交通燈。CaiZ等人[3]在拉夫斯基邊緣檢測濾波器的邊緣上添加霍夫變換，而E.Koukoumidis等人[4]改進霍夫變換來尋找實心圓，進一步優(yōu)化了通過形狀檢測交通信號燈的算法。

隨著深度學(xué)習(xí)的崛起，深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺任務(wù)中快速發(fā)展并得到大量應(yīng)用，越來越多的研究人員開始設(shè)計不同的卷積神經(jīng)網(wǎng)絡(luò)來完成交通信號燈的檢測和識別。Jensen等人[5]討論了在使用目標(biāo)檢測算法進行交通信號燈檢測中卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)選擇。Julian Muller等人[6]通過改進SSD網(wǎng)絡(luò)，將原始的VGG網(wǎng)絡(luò)替換成Inception網(wǎng)絡(luò)來進行交通信號燈檢測，對小目標(biāo)檢測有一定的效果。潘衛(wèi)國等人[7]對Faster R-CNN網(wǎng)絡(luò)進行改進，提高了在復(fù)習(xí)場景下檢測交通信號燈的準(zhǔn)確率。T.V.Janahiraman等人[8]對比了SSD MobilenetV2和Faster R-CNN這兩種目標(biāo)檢測模型在交通燈檢測中的靈活性，提出了一種穩(wěn)健的檢測方法。然而，上述的網(wǎng)絡(luò)設(shè)計是針對交通信號燈檢測和識別的穩(wěn)健性和準(zhǔn)確率在不斷優(yōu)化，需要進行大量的訓(xùn)練和時間代價。而現(xiàn)實情況中，訓(xùn)練時間更少，檢測速率更快也是交通燈識別中一個重要的問題。

本文在TTFNet的網(wǎng)絡(luò)模型基礎(chǔ)上，減少網(wǎng)絡(luò)的通道數(shù)并添加層級U型連接結(jié)構(gòu)的方法，構(gòu)造出了能更高效檢測交通信號燈的網(wǎng)絡(luò)模型。

2 交通信號燈檢測方法

2.1 CenterNet

CenterNet將目標(biāo)檢測分為中心定位和大小回歸兩部分。對于定位，它在CornerNet中采用高斯核來產(chǎn)生一個熱圖，使網(wǎng)絡(luò)在物體中心附近產(chǎn)生更高的激活。對于回歸，它定義目標(biāo)中心的像素作為訓(xùn)練樣本并直接預(yù)測對象的高度和寬度。它還預(yù)測了偏移以恢復(fù)由輸出步幅引起的離散化誤差。由于網(wǎng)絡(luò)在推理過程中會在對象中心附近產(chǎn)生更高的激活度，因此耗時的非極大值抑制NMS可以用開銷可以忽略不計的其他組件來代替。

為了消除對非極大值抑制的需求，本文采用了類似的中心定位策略。在CenterNet中不考慮高斯核中長方體的縱橫比顯然是次優(yōu)的，于是我們進一步考慮了它。

對于尺寸回歸，主流的方法是處理整個框或把子矩形中的像素框的面積作為訓(xùn)練樣本，而我們將高斯區(qū)域的所有像素作為訓(xùn)練樣本。另外，為了更好地利用信息，我們還對這些樣本應(yīng)用了由對象大小和高斯概率來計算的權(quán)重。

2.2 TTFNet

在中心點的正樣本中，僅僅將高斯分布的峰值看成是正樣本，也就是框中心的像素，其他任何像素都看成是負樣本。

(1)

其中αf和βf是交叉熵的超參數(shù)。

(2)

其中s是一個固定的標(biāo)量，用來擴大預(yù)測結(jié)果，便于優(yōu)化。

如果一個像素不在任何子區(qū)域中，則在訓(xùn)練過程中將其忽略；如果一個像素在多個子區(qū)域中，則訓(xùn)練時將它的目標(biāo)設(shè)置為面積較小的對象。

(3)

由于物體的大尺度變化，大的物體可能產(chǎn)生數(shù)千個樣本，而小的物體可能只產(chǎn)生很少的樣本。對所有樣本的損失進行歸一化后，小目標(biāo)的損失幾乎可以忽略不計，這將影響小目標(biāo)的檢測性能。因此，采用權(quán)重Wij起到了平衡的作用。假設(shè)(i，j)在第m個標(biāo)注框的子區(qū)域Am中，則：

(4)

其中Gm(i，j)是在位置(i，j)的高斯概率，am是第m個框的面積。該方法能充分利用大對象所包含的更多注釋信息，并保留小對象的注釋信息。它還可以在目標(biāo)中心附近強調(diào)這些樣本，減少模糊和低質(zhì)量樣本的影響。

總損失：總損失L由定位損失和回歸損失組成：

L=wlocLloc+wregLreg

(5)

其中wloc=1.0，wreg=5.0。

網(wǎng)絡(luò)：我們使用ResNet18作為實驗的主干，并將網(wǎng)絡(luò)的通道數(shù)減少到1/4，如圖1所示。定位網(wǎng)絡(luò)在靠近物體中心的位置產(chǎn)生高的激活，而回歸網(wǎng)絡(luò)直接預(yù)測從這些位置到框四邊的距離。由于物體中心對應(yīng)于特征圖上的局部最大值，因此可以借助2D最大池化抑制非最大值。然后使用局部最大值的位置來收集回歸結(jié)果，最終得到檢測結(jié)果。

圖1 ResNet-18(a)和ResNet-18 1/4(b)

2.3 層級網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

因為卷積神經(jīng)網(wǎng)絡(luò)的特征，深層的特征圖有更大的感受野，可以看到更多的“背景信息”，適合檢測大目標(biāo)。而淺層的特征圖感受野比較小，對小目標(biāo)的檢測更適合。我們的方法有效地利用了大中型目標(biāo)中的標(biāo)注信息，但是對于小目標(biāo)卻僅包含了較少的信息。為了提升小目標(biāo)檢測的性能，本文添加了層級連接來引入底層中高分辨率的特征。對于網(wǎng)絡(luò)的2、3、4階段，卷積層數(shù)設(shè)置為3、2、1，每個連接都由3×3卷積層實現(xiàn)，除了網(wǎng)絡(luò)的最后一層外，每個層后面都跟著一個ReLu函數(shù)，這樣就引入了網(wǎng)絡(luò)中2、3、4階段后的特征，層級網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 層級網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗及結(jié)果分析3.1 數(shù)據(jù)集

為了驗證上述網(wǎng)絡(luò)模型的性能，我們在巴黎LaRa公開的Traffic Lights Recognition(TLR)交通信號燈數(shù)據(jù)集上進行實驗。TLR是一個交通信號燈識別的視頻數(shù)據(jù)，它是由法國一所大學(xué)從C3車輛中用相機傳感器Marling F-046C在真實的道路上采集的交通信號燈視頻，圖像分辨率為640×480。該數(shù)據(jù)集包含城市場景中交通燈識別的基本事實和基準(zhǔn)，它有8分鐘的彩色視頻序列和9168個標(biāo)注的交通燈實例?？梢钥闯觯鞘兄械慕煌ㄐ盘枱舻那闆r非常復(fù)雜，一個路口可能有多個類型的交通信號燈，也可能有不同路口的交通信號燈，同時，每張圖里的信號燈大小也不盡相同。此外，在城市的道路場景中，還包好了各種車燈，其中包括容易與紅色信號燈混淆的汽車尾燈，如圖3所示。

圖3 交通信號燈數(shù)據(jù)集

3.2 評估指標(biāo)

本文采用目標(biāo)檢測算法中常用的評價指標(biāo)mAP(mean Average Precision)來評估性能。

在mAP指標(biāo)中，精確度P(Precision)的計算公式為：

(6)

其中，TP(True Positive)是真正例，F(xiàn)P(False Positive)是假正例。

召回率R(Recall)的計算公式為：

(7)

其中，F(xiàn)N(False Negative)是假反例，即沒有檢測到的Ground Truth的數(shù)量。

得到精確度P和召回率R以后，采用PASCAL VOC的計算方式，將R分為11個點(0.0，0.1，0.2，…，1.0)，計算每個召回率下的精確度，可以得到P-R曲線，AP(Average Precision)值就是P-R曲線下與坐標(biāo)圍成的面積。再將所有類別的AP求和后再取平均就得到了mAP。

除了檢測準(zhǔn)確度，目標(biāo)檢測算法的另一個重要評估指標(biāo)是速度，只有速度快，才能夠?qū)崿F(xiàn)實時檢測，這一指標(biāo)在交通信號燈的檢測和識別任務(wù)中更是尤為重要。我們用FPS(Frame Per Second)即每秒內(nèi)可以處理的圖片數(shù)量來評估目標(biāo)檢測的速度。

另外，為了對比網(wǎng)絡(luò)模型的執(zhí)行效能，還加入了GFLOPS(Giga Floating-point Operations Per Second)評估指標(biāo)，即每秒10億次的浮點運算數(shù)。而FLOPS的計算公式為：

FLOPS=2HW(CinK2+1)Cout

(8)

其中，H和W分別是卷積層輸入特征圖的長和寬，Cin是卷積層輸入特征圖的通道數(shù)，K是卷積核的大小，Cout是卷積層輸出特征圖的通道數(shù)。

然后，1GFLOPS=109FLOPS。

3.3 實驗配置

以下實驗所使用的硬件設(shè)備為：PC端為聯(lián)泰集群LT-5038A工作站，配置了一塊Intel Core e5-1650(12核)處理器和一塊NVIDIA GeForce 1080Ti(12GB顯存)GPU。使用的系統(tǒng)環(huán)境為Ubuntu18.04；采用的深度學(xué)習(xí)框架為PyTorch 1.5.0。

3.4 實驗細節(jié)

我們使用了ResNet作為使用的主干網(wǎng)絡(luò)。為了更好的進行訓(xùn)練，同時保證數(shù)據(jù)集中的所有樣本都能保持原有的分辨率大小，實驗中對網(wǎng)絡(luò)的輸入進行正負0.1的平移，然后再對應(yīng)進行正負0.1的尺度變化。經(jīng)過尺度變化后，每個樣本的大小被填充到了640×480，并且沒有改變圖像的長寬比。對于，ResNet，初始化其學(xué)習(xí)率為1.25×10-7。另外，我們將ResNet的通道數(shù)減少為原來的1/4來降低GFLOPS。

3.5 實驗結(jié)果

首先，在不加入層級連接的情況下，通過將ResNet的通道數(shù)減少為原來的1/4和不減少ResNet的通道數(shù)進行對比實驗。然后，在將ResNet的通道數(shù)減少為原來的1/4的基礎(chǔ)上，加入層級連接，再進行實驗，結(jié)果如表1所示。

表1 實驗結(jié)果

ResNet18_0.2520.90.7374.79ResNet18_0.25Hierarchy U-net21.30.7512.50

由表1可見，將ResNet的通道數(shù)減少到原來的1/4后，檢測的精確度損失了約2%，但是檢測的幀數(shù)從6.9提升到了20.9，GFLOPS更是減少了71.5%。在加入層級連接后，檢測的精確度不再損失，幀數(shù)為21.3，GFLOPS進一步減少到2.5。

實驗結(jié)果表明，使用減少網(wǎng)絡(luò)的通道數(shù)并添加層級連接結(jié)構(gòu)的改進TTFNet，可以在不損失檢測精確度的同時，明顯提升檢測的幀數(shù)，并且大幅減少網(wǎng)絡(luò)訓(xùn)練需要的計算資源開銷，對于實時檢測交通信號燈具有應(yīng)用價值。

4 結(jié)語

通過減少ResNet的通道數(shù)，加入層級連接結(jié)構(gòu)來改進TTFNet，提升了其在交通信號燈檢測的實時性，也減少了網(wǎng)絡(luò)訓(xùn)練所需要的計算資源。但是對于這種方法在交通信號燈的檢測中，還可以繼續(xù)提升檢測的精確度，下一步將考慮繼續(xù)改進層級連接結(jié)構(gòu)來構(gòu)建出對交通信號燈檢測精確度更高的網(wǎng)絡(luò)模型。