基于色域差分與伽馬校正的交通燈識別 

葉茂勝李必軍莫檸鍇孔格菲

摘要：無人駕駛中交通燈的識別是一項重要任務(wù)，提出無人駕駛中基于車載攝像頭拍攝的視頻序列的交通燈檢測和識別技術(shù)。通過對圖像進(jìn)行伽馬校正，增強圖像的對比度和亮度，得到預(yù)處理后的圖像；通過形態(tài)學(xué)處理，從而比較準(zhǔn)確地提取交通燈的候選區(qū)域；計算候選區(qū)域的幾何特征，保留符合特征的區(qū)域作為交通燈區(qū)域；在RGB色彩空間內(nèi)進(jìn)行色域差分，得到交通燈的色彩信息。

關(guān)鍵詞：無人駕駛；伽馬校正；幾何特征；RGB彩色空間；色域差分

DOIDOI：10.11907/rjdk.161783

中圖分類號：TP317.4

文獻(xiàn)標(biāo)識碼：A文章編號文章編號：16727800（2016）009015704

基金項目基金項目：國家自然科學(xué)基金重點項目（41531177）

作者簡介作者簡介：李必軍（1969-），湖北武漢人，博士，武漢大學(xué)測繪遙感信息工程國家重點實驗室教授，研究方向為地面激光掃描集成技術(shù)、汽車導(dǎo)航技術(shù)與智能交通技術(shù)。

0引言

計算機視覺在無人駕駛領(lǐng)域發(fā)揮了重要作用，它以攝影機和電腦代替人眼對目標(biāo)進(jìn)行識別、跟蹤和測量，在交通燈、車道線方面有著重要作用。本文主要針對交通燈檢測和識別，基于計算機視覺提出了一種基于色域差分和伽馬校正的新方法，有效提高了檢測的效率和準(zhǔn)確性。

過去幾年，無人駕駛飛速發(fā)展。國內(nèi)國外的研究團(tuán)隊對交通燈的識別和檢測進(jìn)行了大量的研究工作，谷歌無人車團(tuán)隊[1]更提出了基于地圖進(jìn)行交通燈定位后識別的新思路，傳統(tǒng)交通燈檢測使用色彩空間轉(zhuǎn)換至HSV空間[210，14]或Lab空間[11]、分類器[37，8，13]、模板匹配[24，10，1213]等方法進(jìn)行識別。在國內(nèi)，楊明等[8]提出了基于級聯(lián)濾波器的交通燈識別，利用RGB空間提取色彩信息，通過級聯(lián)濾波器過濾非交通燈區(qū)域，再利用NCC匹配的方法確定信號燈。但是這種方法在陰雨天氣下識別能力不佳，而且有賴于模板的選擇，實用性有待提高。谷明琴等[9]提出了基于圓形度和顏色直方圖的信號燈識別，利用圓形度特征作為選取候選區(qū)域的一個標(biāo)志，然后將得到的候選區(qū)域圖像轉(zhuǎn)為HSV空間，統(tǒng)計H分量，識別交通燈的類型。這種方法在對黃燈的識別中，準(zhǔn)確性不足，對于候選區(qū)域的過濾僅僅利用形狀信息，約束性略差。

為了克服上述缺點，本文提出了一種在RGB空間下基于伽馬校正以及色域差分的交通燈識別方法。首先對原始圖像進(jìn)行伽馬校正，通過伽馬校正提高紅綠燈區(qū)域的對比度；接著進(jìn)行灰度化與二值化處理，并且利用形態(tài)學(xué)濾波的方法進(jìn)行濾波，利用交通燈的幾何特征進(jìn)行篩選，標(biāo)定交通燈區(qū)域；最后對交通燈區(qū)域進(jìn)行色域差分，在R通道上，與G通道上進(jìn)行差分處理，進(jìn)而判斷出交通燈的類型。算法描述如圖1所示。

1伽馬校正

在交通燈識別中，交通燈區(qū)域定位是一個關(guān)鍵步驟。常規(guī)方法是利用RGB空間的色彩信息，或者利用HSV空間的色彩信息，在一定程度上確定出候選區(qū)域。但是在復(fù)雜環(huán)境中，利用上述方法確定的候選區(qū)域數(shù)量過多，有時甚至難以找出候選的交通燈區(qū)域，需要通過調(diào)整閾值才能完成候選區(qū)域的提取。因此，這些算法缺乏健壯性與自適應(yīng)性。

在相機條件不佳或者直射強光源條件下，檢測的圖像出現(xiàn)泛白光現(xiàn)象。當(dāng)光照條件不足時，圖像亮度偏暗。從攝影學(xué)專業(yè)術(shù)語上講，這兩種情況稱為過曝、欠曝現(xiàn)象。在這兩種情況下，圖像的色調(diào)和亮度都將發(fā)生失真，這種失真使得運用上述方法進(jìn)行檢測時，RGB顏色信息發(fā)生改變，（經(jīng)過實驗改變量在百分二十浮動），對應(yīng)的閾值無法適應(yīng)當(dāng)前情況，因此無法正確識別出紅綠燈區(qū)域。

當(dāng)進(jìn)行伽馬校正之后，校正值大于1時，整體亮度被壓縮，高光部分被擴展，但是對比度得到提升，而暗調(diào)部分被壓縮；校正值小于1時，整體亮度得到提升，而暗調(diào)部分被擴展，對比度得到提升。利用這一特性，可以改善畫面失真、成像扭曲的情況。在圖像偏暗時，使用大于1的伽馬值，可以迅速拉升圖像中的亮區(qū)域，使得紅綠燈區(qū)域更加明顯。在圖像泛白光或者偏亮?xí)r，使用小于1的伽馬值，可以有效降低白光亮度對比，在一定程度上解決白光問題。

因此，本文根據(jù)伽馬校正的特點，利用伽馬校正在增強圖像對比度中的優(yōu)秀特性，在圖像預(yù)處理之前對圖像進(jìn)行了伽馬校正，以此凸顯紅綠燈區(qū)域。對圖像進(jìn)行非線性色調(diào)編輯的方法，檢測出圖像信號中的深色部分和淺色部分，并使兩者比例增大，從而提高圖像對比度效果。

在圖像處理之前預(yù)先進(jìn)行伽馬校正，如圖3所示，圖像經(jīng)過伽馬校正之后，紅綠燈的區(qū)域變得更加明顯。原本未經(jīng)檢測出的紅綠燈區(qū)域，經(jīng)過伽馬校正后，提取效果得到提升。

corrected=255×（uncorrected255）gamma

2圖像預(yù)處理

圖像預(yù)處理包括圖像的灰度化和二值化處理。選取0.299R分量、0.587G分量、0.144B分量將彩色圖轉(zhuǎn)化為灰度圖像。

g（x，y）=0.299×R（x，y）+0.587×G（x，y）+0.144×B（x，y）

其中，（x，y）為像點坐標(biāo)，R、G、B分別代表顏色的3個分量，g（x，y）代表灰度圖像上（x，y）點上的灰度值，這樣的比例比較符合人類視覺的灰度。將得到的灰度圖像使用閾值T進(jìn)行分割，得到二值圖像。

Binary（x，y）=0，g（x，y）T

通過實驗，取T=100時，分割效果最好。

3濾波器處理

通過上述兩個步驟處理可以得到一幅包含若干候選區(qū)域的二值圖像。但是圖像中存在過多的噪聲區(qū)域以及噪聲點，經(jīng)過形態(tài)學(xué)處理，可有效減弱噪聲對于圖像的干擾。同時進(jìn)行濾波處理，可過濾掉大量不屬于交通燈區(qū)域的候選區(qū)域。

交通燈區(qū)域應(yīng)具有較好的幾何形狀特征以及填充的飽和度。經(jīng)過形態(tài)學(xué)處理后，圖像中仍然保留著區(qū)域較大的候選對象。對于這些區(qū)域，本文選擇直接利用交通燈本身的幾何特征進(jìn)行濾波處理。

經(jīng)過上述步驟處理后的交通燈區(qū)域很難保持圓形的屬性特征，但其最小外接矩形仍可以保持較好的形狀特性。本文定義Ratio值及填充比進(jìn)行濾波處理。

（1）長寬比。圖像中候選區(qū)域的最小外接矩形長度為length，寬度為width，則定義Ratio值為：

Ratio=widthlength

由于交通區(qū)域是一個圓形區(qū)域，其最小外接矩形應(yīng)為正方形區(qū)域，但受到圖像處理過程中的一些誤差影響，所得到的最小外接矩形并不是嚴(yán)格的正方形。本文經(jīng)過大量的數(shù)據(jù)統(tǒng)計，給出Ratio閾值范圍，將Ratio值大于0.8或者小于0.2視為噪聲區(qū)域直接過濾。

（2）像元個數(shù)。交通燈區(qū)域不會存在較大的空洞區(qū)域。根據(jù)交通燈這一特性，本文定義了填充比作為判斷要素之一。實際計算中，通過計算最小外接矩形內(nèi)像素的個數(shù)除以最小外接矩形的面積，可得到這一要素值。根據(jù)統(tǒng)計資料，本文取0.8作為閾值。

經(jīng)過上述兩項濾波處理，可以得到滿意的交通燈區(qū)域。

4色域差分

在得到交通燈區(qū)域后，為進(jìn)一步判定交通燈顏色，必須對區(qū)域的屬性作出判斷。常規(guī)的判斷方法，如通過RGB空間或者HSV空間的某些分量設(shè)定閾值，在一定程度上，精度受限于圖像質(zhì)量，同時，閾值的選取較為復(fù)雜，甚至需要通過模板訓(xùn)練的方式才能確定。這在一定程度上影響了交通燈識別的實時性。因此，本文利用紅綠燈區(qū)域在RGB空間的成像特點，提出色域差分的方法。

通過將RGB空間的圖像在3個通道上進(jìn)行分離，得到3個色域上的圖像。將R通道的圖像與G通道的圖像做差分。本文采用改化后的Sigmod函數(shù)進(jìn)行差分運算。

y=1.00.008+0.01×e-0.1×（Diff-70）

根據(jù)大量統(tǒng)計資料可以發(fā)現(xiàn)，紅綠燈區(qū)域在RGB存在如下特性：在紅燈時，紅綠燈區(qū)域的R分量遠(yuǎn)大于G分量，而在綠燈時，紅綠燈區(qū)域的G分量遠(yuǎn)大于R分量。

基于這一特性，只需對R色域的圖像與G色域的圖像相互做一次差分，便可以將綠色信息與紅色信息相互分離開來，得到差分紅色信息圖像R-G與差分綠色信息圖像G-R。同時，對R-G和G-R，在差分之時對差異較大的區(qū)域進(jìn)行指數(shù)拉伸，以增加區(qū)域信息飽和度。

為避免出現(xiàn)其它物體顏色干擾現(xiàn)象，增強算法的魯棒性，本文在進(jìn)行差分處理后，對交通燈區(qū)域再次進(jìn)行形態(tài)學(xué)處理。通過在差分圖像內(nèi)提取輪廓，統(tǒng)計輪廓內(nèi)的平均灰度信息，在R-G的差分圖像內(nèi)，如果平均灰度信息大于一定的閾值，則認(rèn)定該區(qū)域是紅燈區(qū)域，在G-R的差分圖像內(nèi)，如果平均灰度信息大于一定閾值，則認(rèn)定該區(qū)域是綠燈區(qū)域。

本文通過預(yù)處理的形態(tài)學(xué)處理，以及色域差分過程中的形態(tài)學(xué)處理，保證了交通燈區(qū)域的可信度。在圖像最終輸出時，利用顏色信息以及形態(tài)學(xué)信息作為檢核條件確保整個提取方法的準(zhǔn)確率。

5驗證實驗與結(jié)果

為驗證本文所提出的交通燈識別方法的有效性，本文進(jìn)行了大量實驗。利用車載攝像頭，以25幀/s的速度在在不同光照條件、不同天氣條件以及不同的街頭進(jìn)行數(shù)據(jù)采集。本文實驗所使用的相機為行車記錄儀中的相機。對采集的圖像利用本文算法進(jìn)行識別，得出識別率如表1所示。

6結(jié)語

在交通燈識別和檢測方法中，很多方法都是基于色彩空間或者形態(tài)特征進(jìn)行分割識別。本文在總結(jié)這些方法時，發(fā)現(xiàn)了這些方法在自適應(yīng)性以及實時性方面的不足，尤其在確定閾值方面，在不同環(huán)境下存在很大的不確定性，這給交通燈的識別帶來了很大困難。因此，通過大量的統(tǒng)計資料以及對圖像成像特點的理解，本文提出了基于伽馬校正及色域差分的交通燈識別方法。在RGB空間內(nèi)先是利用伽馬校正增強了圖像的對比度，簡化了后序處理，接著利用形態(tài)學(xué)處理得到候選區(qū)域，通過形態(tài)特征的濾波去除噪聲區(qū)域以及大的背景區(qū)域的干擾，最后對確定的交通燈區(qū)域進(jìn)行色域差分，識別顏色信息。大量實驗證明，本文提出的方法在復(fù)雜環(huán)境下仍然有較高的識別準(zhǔn)確率，充分說明了本文方法的魯棒性以及有效性。

圖9顯示了本文交通燈識別方法在不同環(huán)境下的識別效果，包含了雨天、陰天、背光、正對光等的情況，其中圖像均已進(jìn)行過伽馬校正。

從實驗結(jié)果來看，本文提出的算法在各種光照條件以及天氣條件下的識別率都比較高，均達(dá)到94%。但本文的交通燈識別方法是在主動光的前提下，當(dāng)被動光強度過大時，容易產(chǎn)生一定的誤檢現(xiàn)象。

參考文獻(xiàn)參考文獻(xiàn)：

[1]NATHANIEL FAIRFIELD CHRIS URMSON.Traffic light mapping and detection[C].2011 IEEE International Conference on Robotics and Automation （ICRA），2011：54215426.

[2]CHUNG Y C，WANG J M，CHEN S W.A visionbased traffic light detection system at intersections[J].Taiwan Normal University：Mathematics，Science & Technology，2002，47（1）：6786.

[3]DE CHARETTE R，NASHASHIBI F.Traffic light recognition using image processing compared to learning processes[C].In Proc.IROS，USA：IROS，2009：333338.

[4]LINDNER F，KRESSEL U，KAELBERER S.Robust recognition of traffic signals[C].In Intelligent Vehicles Symposium，2004：4953.

[5]S WENDER，O LOEHLEIN.A Cascade detector approach applied to vehicle occupant monitoring with an Omnidirectional Camera[C].Intelligent Vehicles Symposium，2004：345350.

[6]C WOEHLER，J ANLAUF.Realtime object recognition on image sequences with the adaptable time delay neural network algorithmapplications for autonomous vehicles[J].Image and Vision Computing，2001，19（910）：593618.

[7]KIM Y，KIM K，YANG X.Real time traffic light recognition system for color vision deficiencies[C].Harbin：ICMA 2007 International Conference on Mechatronics and Automation，2007：7681.

[8]金濤，王春香，王冰，等.基于級聯(lián)濾波的交通信號燈識別方法[J].上海交通大學(xué)學(xué)報，2012，46（9）：13551360.

[9]谷明琴，蔡自興，李儀.應(yīng)用圓形度和顏色直方圖的交通信號燈識別[J].計算機工程與設(shè)計，2012，33（1）：243247.

[10]YEHU SHEN，UMIT OZGUNER，KEITH REDMILL，et al.Arobust video based traffic light detection algorithm for intelligent vehicles[C].IEEE Intelligent Vehicles Symposium，2009：521526.

[11]徐成，譚乃強，劉彥.基于Lab色彩空間和模板匹配的實時交通燈識別算法[J].計算機應(yīng)用，2010，30（5）：12511254.

[12]JOHN V，YONEDA K，ZHENG LIU，et al.Saliency map generation by the convolutional neural network for realtime traffic light detection using template matching[J].IEEE Transactions on Computational Imaging，2015，1（3）：159173.

[13]GOMEZ A E，ALENCAR F A R，PRADO P V，et al.They are used for traffic lights detection and distance estimation[C].2014 IEEE Intelligent Vehicles Symposium Proceedings，2014：750755.

責(zé)任編輯（責(zé)任編輯：孫娟）