基于先驗信息的交通信號燈識別方法

曾楊帆，陳章勇*，夏甫根，陳勇，陳松格

基于先驗信息的交通信號燈識別方法

曾楊帆1，陳章勇*1，夏甫根2，陳勇1，陳松格1

（1.電子科技大學 自動化工程學院 電動汽車動力系統(tǒng)與安全技術(shù)研究所，四川 成都 611731；2.成都壹為新能源汽車有限公司，四川 成都 611730）

針對基于顏色的交通信號燈識別（TLR）準確率不高的問題，文章提出一種融合色調(diào)、飽和度、明度（HSV）顏色空間和圖像灰度信息的交通信號燈識別方法。先將圖像進行傾斜校正和大小標準化，以滿足融合交通信號燈識別方法的需求。然后，將紅綠藍（RGB）圖像轉(zhuǎn)化為色調(diào)、飽和度、明度顏色空間，對交通信號燈進行初步識別。通過霍夫直線檢測提取交通信號燈的矩形邊界，實現(xiàn)感興趣區(qū)域（ROI）檢測。針對色調(diào)、飽和度、明度顏色空間無法識別的交通信號燈圖像，以交通信號燈的結(jié)構(gòu)特點做為先驗信息，進行灰度圖像感興趣區(qū)域像素值求和，進一步識別交通信號燈。通過實驗對該融合交通信號燈識別方法進行了分析，并與單獨使用色調(diào)、飽和度、明度顏色空間和灰度圖像感興趣區(qū)域像素值求和的方法進行對比，驗證文章算法的有效性。

色調(diào)、飽和度、明度顏色空間；交通信號燈識別；霍夫直線檢測；感興趣區(qū)域檢測；灰度圖像感興趣區(qū)域像素值求和

智能交通系統(tǒng)（Intelligent Traffic System, ITS）是一個融合人工智能、計算機視覺、圖像處理等眾多學科的綜合系統(tǒng)。視覺場景信息作為ITS場景信息中的關(guān)鍵一環(huán)，包含了諸如交通信號燈、車道線、交通標志等重要道路交通安全信息，因此，如何有效準確識別交通信號燈（Traffic Light Recognition, TLR），是ITS中不可避免的一個重要話題。

多位學者對TLR進行研究，谷明琴等人[1]和余澤東[2]均根據(jù)色調(diào)、飽和度、明度（Hue, Saturation, Value, HSV）顏色空間中的H分量的分布特征識別交通信號燈的類型，谷明琴等人結(jié)合圓形度和背板顏色確定交通信號燈區(qū)域，提升了復雜環(huán)境下的識別性能；余澤東利用面積、周長、Hu不變矩等信息確定交通信號燈區(qū)域，有效提升識別準確率。田謹?shù)热薣3]與武瑩等人[4]均使用色調(diào)、明度、飽和度（Hue, Intensity, Saturation, HIS）顏色空間識別交通信號燈，田瑾等人結(jié)合位置信息與二維Gabor小波特征有效提升了箭頭型交通信號燈的識別準確率；武瑩等人結(jié)合模板匹配提升識別準確率。HASSAN N等人[5]提出了一種基于HSV顏色空間和深度學習的行人交通信號燈檢測方法，提升了識別準確率。金濤等人[6]提出了基于級聯(lián)濾波和色彩分割的候選區(qū)域分類方法，有效改善了復雜城市環(huán)境中交通信號燈識別的有效性和實時性。錢弘毅等人[7]提出了一種基于Split- CS-Yo-lo深度學習模型的交通信號燈識別算法，有效提升了檢測速度和識別準確率。CHEN X等人[8]HSV顏色空間與自適應(yīng)線程方法識別交通信號燈識別，提高了識別精度和效率。李宗鑫等人[9]提出一種基于時空關(guān)系模型的交通信號燈識別算法，有效提升了識別結(jié)果的魯棒性。許明文等人[10]利用交通信號燈的幾何特征和HSV顏色特征，通過支持向量機（Support Vector Machine, SVM）進行識別，獲得了較高的檢測率與識別率。

基于顏色的交通信號燈識別方法在很大程度上取決于環(huán)境光照、天氣等因素，且HSV各個分量很難選取一個通用適合的范圍，導致在實際識別過程中精度仍不夠高?；诮煌ㄐ盘枱艚Y(jié)構(gòu)特點的先驗信息，采用顏色信息與圖像灰度信息融合的方法，進一步提升交通信號燈的識別準確率。

1 圖像預處理

1.1 圖像傾斜校正

常用的傾斜校正方法有基于投影的方法、基于Hough變換的方法[11]、基于線性擬合的方法以及基于傅里葉變換的方法等，這里采用基于霍夫變換的傾斜校正方法。

1.1.1Canny邊緣檢測

Canny邊緣檢測能夠得到圖像中細化的邊緣，確保Hough直線檢測的效果。先將紅綠藍（Red, Green, Blue, RGB）彩色圖像轉(zhuǎn)化為灰度圖像，對得到的灰度圖像作高斯平滑濾波處理：

(x,y)為掩膜內(nèi)任意一點(,)的系數(shù)。進行歸一化處理得到歸一化掩膜矩陣normal，將掩膜與圖像中相同大小像素區(qū)域作卷積運算：

其中，為原圖像素矩陣，'為進行卷積運算后得到的新圖像的像素矩陣，圖1為灰度圖像與其平滑處理后的圖像。

圖1 高斯平滑濾波

計算平滑處理后新圖像的梯度幅值和方向，利用Sobel水平算子和垂直算子與輸入圖像卷積，得到水平梯度分量和垂直梯度分量：

圖像梯度的幅值(,)的計算公式為

方位角為圖像梯度方向與軸的夾角：

沿著梯度方向?qū)Ψ颠M行非極大值抑制，圖2為Canny邊緣提取后的圖像。

圖2 Canny邊緣提取后的圖像

1.1.2Hough直線檢測

對經(jīng)過Canny邊緣提取的圖像進行霍夫直線檢測，以確定旋轉(zhuǎn)補償角度。Hough直線與原點距離為，極角為，直線上每一點滿足：

選出最長直線Lmax，對其對應(yīng)的極角θi取負值，作為原始圖像的旋轉(zhuǎn)補償?shù)慕嵌?，圖3為完成傾斜校正后的圖像。

1.2 圖像大小標準化

采用計算量小，同時輸出圖像質(zhì)量較高的雙線性插值方法，將旋轉(zhuǎn)補償后的圖像統(tǒng)一為30×30大小。設(shè)原圖中的5個像素點：00(0,0)、01(0,1)、10(1,0)，11(1,1)，點(,)為目標圖的像素點在原圖上的投影。四個像素點為距離點最近的點，滿足1-0=1，1-0=1。通過插值計算得到新圖像的像素值，具體計算為

式中，u=h-h0，v=w-w0。圖4為經(jīng)過傾斜校正與標準化大小后的圖像。

2 HSV顏色空間

顏色特征作為交通信號燈最顯著的特征，識別方法實現(xiàn)簡單，且對設(shè)備硬件要求不高，因而基于顏色的交通信號燈識別方法被廣泛使用。RGB彩色圖像轉(zhuǎn)化為HSV顏色空間的轉(zhuǎn)換公式[12]為

基于HSV顏色空間的識別方法流程圖如圖5所示。

圖5 基于HSV顏色空間的識別方法流程圖

3 灰度圖像ROI像素值求和

對HSV顏色空間中不滿足閾值范圍要求的圖像，保留霍夫直線檢測得到的水平直線與垂直直線，如圖6(a)所示。

定義圖像左上角為原點，水平向右為軸，垂直向下為軸，圖像水平中線15，垂直中線=15，坐標范圍1∈[0,14]，2∈[15,29]；若水平直線y在1的坐標范圍內(nèi)，取top=max{y}；若y∈2，取bottom=min{y}；top與bottom即為交通信號燈主體區(qū)域所在的上下邊界對應(yīng)的縱坐標，同理可得左右邊界對應(yīng)的橫坐標left與right。檢測得到交通信號燈主體所在感興趣區(qū)域（Region of Interest, ROI）如圖6(b)所示。

圖6 ROI區(qū)域篩選與檢測

數(shù)據(jù)集圖像中的交通信號燈均具有紅燈在上、黃燈在中、綠燈在下的結(jié)構(gòu)特點，以此為先驗信息，沿軸對軸灰度像素值進行求和。定義ROI內(nèi)坐標1:(left,top)，3:(left,bottom)，2: (right,top)，4:(right,bottom)，如圖7所示。

圖7 圖像坐標軸定義及ROI關(guān)鍵坐標

對經(jīng)過圖像預處理后的圖像轉(zhuǎn)化為灰度圖像。軸灰度像素值求和范圍：[left,right]，y軸求和范圍：[top,bottom]。將[top,bottom]作三等分：

求和過程如下：

取三張紅燈、黃燈、綠燈的圖片進行灰度像素求和，紅燈灰度像素值求和結(jié)果集中分布在red:(4,11)；黃燈灰度像素值求和結(jié)果集中分布在yellow:(12,17)；綠燈灰度像素值求和結(jié)果集中分布在green:(18,25)，如圖8所示。

圖8 紅燈、綠燈、黃燈灰度圖像像素值求和結(jié)果分布

4 實驗與結(jié)果分析

本章對麻省理工學院自動駕駛數(shù)據(jù)集中的 1 484張紅綠燈數(shù)據(jù)圖像進行處理，其中，904張紅色交通燈圖片，536張綠色交通燈圖片，44張黃色交通燈圖片。使用基于Ubuntu 16.04操作系統(tǒng)的Intel Core i5 @ 2.5 GHz和8 GB內(nèi)存計算機進行實驗，編程環(huán)境為Pycharm 2019，并依托OpenCV完成部分圖像處理步驟。

4.1 有無ROI檢測對比試驗

程序的判斷并不總和事實一致，會有以下四種情況：True Positive（）、False Positive（）、False Negative（）和True Negative（）。準確率（Precision）和檢測率（Detection Rate）計算公式為

式（19）中，為真值（Ground Truth）。對三種識別方法分別測試識別效果，如表1所示。ROI檢測對HSV顏色空間法的影響不大；灰度圖像ROI像素值求和法識別準確率比未進行ROI檢測時高23.951%；融合識別方法的識別準確率比未進行ROI檢測時高5.392%。因為ROI檢測減少了每幅圖像的處理面積，平均單張圖像檢測時間減少了1 ms～2 ms。融合算法的平均單張圖像檢測耗時為16.33 ms，滿足一般的實時識別交通信號燈系統(tǒng)的要求。

表1 三種識別方法有無ROI檢測對比

ROI檢測識別準確率/%檢測率/%檢測耗時/ms HSV有92.11693.26113.01 無92.18393.53114.73 灰度圖像像素求和法有95.2161002.97 無71.2651004.11 融合算法（閾值T=0）有96.96910016.33 無91.57710017.24

三種交通信號燈識別方法中，本文提出的灰度圖像ROI像素值求和法與融合算法（閾值=0）的識別準確率分別達到95.216%與96.969%，在進行ROI檢測前提下，比HSV顏色空間識別法分別高出3.100%和4.853%。

4.2 融合識別方法在不同閾值T下對比試驗

融合HSV顏色空間法與灰度像素求和法，其算法流程圖如圖9所示。

在4.1中，閾值均被設(shè)置為0。本節(jié)將閾值設(shè)置為[0, 200]，測試不同閾值對融合識別方法識別準確率的影響。如圖10所示，當閾值從0開始增加時，識別準確率開始上升，在=14時，識別準確率達到峰值點98.383%，此后準確率逐漸下降，并在=100時開始接近灰度圖像ROI像素值求和法的精度。

圖9 融合算法流程圖

圖10 閾值T對融合識別方法識別準確率的影響

由此對比試驗，融合識別方法的識別準確率可以超過98%，在檢測ROI的前提下，比HSV顏色空間的識別準確率提高6.627%，比灰度像素求和法提高3.167%，比閾值=0時的融合識別法的識別準確率高1.414%。因此，設(shè)置適合的閾值，可以繼續(xù)提升交通信號燈的識別準確率。

5 結(jié)束語

針對基于顏色的交通信號燈識別準確率不高的問題，對原始圖像進行傾斜校正和大小標準化，先采用基于HSV顏色空間的TLR方法對交通信號燈進行初步識別。針對部分圖像中由于天氣、相機特性等原因造成的顏色失真情況，以及HSV顏色空間識別法存在的難以選取合適的（H,S,V）范圍等缺點，利用先驗信息和灰度信息，進行ROI檢測，濾掉了大量的錯誤識別。通過設(shè)定合適的閾值，將HSV顏色空間與灰度圖像ROI像素值求和兩種TLR識別方法相融合，能夠有效、快速地識別交通信號燈類型，又能保證交通信號燈識別的高準確率。

[1] 谷明琴,蔡自興,李儀.應(yīng)用圓形度和顏色直方圖的交通信號燈識別[J].計算機工程與設(shè)計,2012,33(1): 243-247.

[2] 余澤東.基于otsu算法和Hu不變矩的交通信號燈識別[J].武漢大學學報（工學版）,2020,53(4):371-376.

[3] 田謹,應(yīng)捷,朱丹丹.一種新的箭頭形交通信號燈識別方法[J].電子科技,2015,28(11):150-153.

[4] 武瑩,張小寧,何斌. 基于圖像處理的交通信號燈識別方法[J].交通信息與安全,2011,29(3):51-54.

[5] HASSAN N, MING K W, WAH C K. A Comparative Study on HSV-based and Deep Learning-based Object Detection Algorithms for Pedestrian Traffic Light Signal Recognition[C]//2020 3rd International Confe- rence on Intelligent Autonomous Systems. Piscataway: IEEE, 2020:71-76.

[6] 金濤,王春香,王冰,等.基于級聯(lián)濾波的交通信號燈識別方法[J].上海交通大學學報,2012,46(9):1355- 1360.

[7] 錢弘毅,王麗華,牟宏磊.基于深度學習的交通信號燈快速檢測與識別[J].計算機科學,2019,46(12):272-278.

[8] CHEN X,CHEN Y,ZHANG G. A Computer Vision Algorithm for Locating and Recognizing Traffic Signal Control Light Status and Countdown Time[J]. Journal of Intelligent Transportation Systems,2021 (12):1-19.

[9] 李宗鑫,秦勃,王夢倩.基于時空關(guān)系模型的交通信號燈的實時檢測與識別[J].計算機科學,2018,45(6): 314-319.

[10] 許明文,張重陽. 基于顯著性特征的交通信號燈檢測和識別[J].計算機與數(shù)字工程,2017,45(7):1397-1401.

[11] 梁添才,皮佑國,彭晶,等.基于Hough變換的列車客運票圖像傾斜校正[J].華南理工大學學報（自然科學版）,2007,35(5):35-40.

[12] 曹義親,丁要男.基于HSV色彩空間S分量的軌面區(qū)域提取方法[J].南京理工大學學報（自然科學版）, 2021,45(4):464-471.

A Traffic Light Recognition Method Based on Prior Information

ZENG Yangfan1, CHEN Zhangyong*1, XIA Fugen2, CHEN Yong1, CHEN Songge1

(1.School of Automation Engineering, Institute for Electric Vehicle Driving System and Safety Technology,University of Electronic Science and Technology of China, Chengdu 611731, China;2.Chengdu Yiwei New Energy Automobile Company Limited, Chengdu 611730, China )

To solve the problem of low accuracy of color-based traffic light recognition (TLR), a TLR method that combines HSV (Hue, Saturation, Value) color space and gray image information is proposed. First, image tilt correction and size standardization is needed to meet the needs of the proposed fusion traffic light recognition method. Then, the RGB (Red, Green, Blue) images are converted into HSV (Hue, Saturation, Value) color space to initially recognize the state of traffic light. The boundaries of traffic lights is extracted by hough line detection, and region of interest (ROI) detection is realized. Considering that some traffic light images cannot be recognized by HSV (Hue, Saturation, Value) color space method, and the structure characteristics of the traffic light are used as the prior information, and the region of interest pixel values of the gray image is summed to further identify the state of traffic light. The fusion traffic light recognition method is evaluated through experiments and compared with the methods that separately use HSV (Hue, Saturation, Value) color space and gray image region of interest pixel values summation to evaluate the performance of the proposed algorithm.

HSV(Hue,Saturation,Value) color space; Traffic light recognition; Hough line detec- tion; Region of interest detection; Gray image region of interest pixel values summation

U495

A

1671-7988(2022)21-37-06

U495

A

1671-7988(2022)21-37-06

10.16638/j.cnki.1671-7988.2022.021.007

曾楊帆（1998—），男，碩士研究生，研究方向為新能源車智能感知技術(shù)，E-mail:1520654540@qq.com。

陳章勇（1988—），男，副教授，研究方向為新能源車技術(shù)，E-mail:zhang_yong_ch@126.com。

四川省科技計劃項目資助（2020YFG0325）。