霧霾天氣下交通標(biāo)志的檢測與識別

張國山，劉 振

（天津大學(xué) 電氣與自動化工程學(xué)院，天津 300072）

霧霾天氣下交通標(biāo)志的檢測與識別

張國山，劉 振

（天津大學(xué) 電氣與自動化工程學(xué)院，天津 300072）

針對我國當(dāng)前交通環(huán)境的多變性，尤其是霧霾天氣的出現(xiàn)，提出了一種在霧霾天氣下快速實現(xiàn)交通標(biāo)志分類識別的算法.首先，將圖像從RGB顏色空間轉(zhuǎn)換到HSV空間，對S通道圖像邊緣檢測，計算標(biāo)志牌的圓形度、矩形度等，判定標(biāo)志牌的形狀，定位提取標(biāo)志牌所在的區(qū)域，根據(jù)標(biāo)志牌的顏色和形狀的匹配唯一性，對標(biāo)志牌進(jìn)行初步分類，然后提取標(biāo)志牌所在的區(qū)域進(jìn)行模板匹配，讀取標(biāo)志牌的具體含義.實驗結(jié)果表明：該算法能有效地提高霧霾等惡劣天氣下交通標(biāo)志的檢測率，并能滿足實時性需求.

交通標(biāo)志；檢測識別；圖像去霧；HSV；邊緣檢測；模板匹配；霧霾天氣

近年來，智能交通系統(tǒng)（intelligent transport system，ITS）逐漸成為國內(nèi)外專家研究的熱點，而交通標(biāo)志作為智能交通系統(tǒng)的重要組成部分，也受到各國政府和學(xué)術(shù)界的重視.交通標(biāo)志提供指示、警告等信息，它的自動檢測和識別，對汽車安全駕駛起到至關(guān)重要的作用[1-2].然而，由于交通環(huán)境的復(fù)雜多變性，基于單一環(huán)境研究狀態(tài)下的交通標(biāo)志檢測算法魯棒性很差，識別率低，尤其是霧霾天氣下，大氣中充斥著大量懸浮微粒，比如塵埃、薄霧、煙等，光線在傳播中受到懸浮顆粒的吸收和散射，使獲取的圖像可視性差、色彩失真、質(zhì)量下降，給后續(xù)的圖像處理帶來大量問題[3].霧霾天氣下的交通標(biāo)志牌識別，首先圖像去霧，然后檢測識別標(biāo)志.

在圖像去霧方面，Narasimhan等[4]提出一種基于物理模型的去霧算法，該算法從同一場景在不同天氣條件下的多幅圖像中獲取景物的結(jié)構(gòu)信息；Tan[5]提出了一種以增強圖像對比度為目的，適用于灰度和彩色圖像的去霧算法；He等[6]基于暗原色先驗求取透射率，利用軟摳算法進(jìn)行修正，恢復(fù)無霧圖像；Tarel等[7]分析環(huán)境光取值范圍，提出一種快速去霧算法，在圖像白平衡后，利用多次中值濾波估計環(huán)境光，恢復(fù)無霧圖像.以上去霧算法，在處理速度和處理效果上難以達(dá)成一致.本文提出了一種去霧圖像算法，僅利用一次簡單的均值濾波來估計環(huán)境光和全局大氣光，運行速度快，效果良好.

標(biāo)志牌圖像去霧處理后，圖像清晰、色彩飽和度高，有利于交通標(biāo)志的定位檢測和識別.交通標(biāo)志識別主要包括2個基本技術(shù)環(huán)節(jié)：標(biāo)志檢測和標(biāo)志判別.首先是如何快速有效地從復(fù)雜的交通場景圖像中獲取交通標(biāo)志邊緣區(qū)域ROI，然后定位出交通標(biāo)志具體位置，也即標(biāo)志檢測.ROI獲取通常是利用交通標(biāo)志的顏色和幾何形狀信息來實現(xiàn)的.在RGB空間設(shè)定閾值濾除不需要的信息，利用標(biāo)志形狀、邊角特征檢測交通標(biāo)志位置.文獻(xiàn)[8]提出一種基于顏色指示的標(biāo)志檢測與提取的快速方法.以上算法，實現(xiàn)標(biāo)志定位檢測中存在很大干擾信息，效果一般.其次是如何判別標(biāo)志牌的分類，主要有基于神經(jīng)網(wǎng)絡(luò)、基于形狀（模板匹配）和基于顏色等方法，文獻(xiàn)[9]將判別問題化簡，采用神經(jīng)網(wǎng)絡(luò)組成兩級智能分類器，實現(xiàn)了交通標(biāo)志的粗分類（按大類判別）和細(xì)分類（判定是哪種具體標(biāo)志）.文獻(xiàn)[10]運用數(shù)學(xué)形態(tài)學(xué)方法提取交通標(biāo)志的形態(tài)骨架函數(shù)，根據(jù)形態(tài)骨架進(jìn)行分類.針對以上問題，本文在標(biāo)志定位檢測中，首先將圖像從RGB空間轉(zhuǎn)換到HSV空間，對S通道圖像進(jìn)行邊緣檢測[11]，檢測形狀特征實現(xiàn)標(biāo)志牌的準(zhǔn)確定位；在標(biāo)志識別中，鑒于標(biāo)志牌的顏色和形狀的唯一性，利用顏色特征初步分類，模板匹配準(zhǔn)確識別標(biāo)志.

1 圖像去霧處理

本文設(shè)計的霧霾天氣交通標(biāo)志牌識別檢測系統(tǒng)，首先需要檢測圖像是否含有霧霾，即能簡單有效地判斷出當(dāng)前圖像中是否含有霧霾，如果圖像中存在霧霾，則需進(jìn)行去霧處理；如果圖像中不含有霧霾，則直接跳過這一步，直接進(jìn)行標(biāo)志牌的識別與檢測.

1.1 圖像霧霾檢測

當(dāng)拍攝設(shè)備獲得的圖像數(shù)量過大時，僅靠人工判斷圖像狀態(tài)是否含有霧霾，具有局限性，而且困難很大.所以，關(guān)鍵問題在于如何快速智能化判別待檢測圖像是霧霾圖像還是非霧霾圖像.

通過深入研究霧霾圖像和清晰無霧圖像的區(qū)別，提取以下相關(guān)特征：圖像清晰能見度、圖像強度、圖像對比度和有霧區(qū)域單一性.其中，圖像清晰能見度測量主要集中于圖像邊緣和亮度信息；圖像強度主要指的是物體成像像素的亮度值，物體表面發(fā)射光直接到達(dá)成像設(shè)備，則圖像強度大，反之，在傳輸過程中發(fā)生散射等現(xiàn)象致使圖像強度降低；圖像對比度指的是一幅圖像中明暗區(qū)域最亮的白和最暗的黑之間不同亮度層次級的測量，霧霾圖像整體發(fā)灰白色，圖像對比度降低；關(guān)于有霧區(qū)域單一性，該部分采用Ancuti提出的構(gòu)造半逆圖像來檢測圖像中的有霧區(qū)域算法，檢測相關(guān)特征，判斷當(dāng)前圖像是否有霧[12].

1.2 圖像去霧

若圖像被判別為霧霾圖像，則需對其進(jìn)行去霧處理.啟發(fā)于文獻(xiàn)[7]中分析環(huán)境光取值范圍，提出了一種簡單快速有效的去霧算法.該算法與文獻(xiàn) [7]相比在處理速度方面有極為顯著提高，同時，去霧效果與文獻(xiàn)[7]的去霧效果相當(dāng)，甚至更優(yōu)于文獻(xiàn)[7]的去霧效果.

在計算機視覺領(lǐng)域，通常用下述物理模型來描述霧霾等惡劣天氣條件對圖像造成的影響.該模型包括衰減模型和環(huán)境光模型兩部分，模型表達(dá)式為：

式中：x為圖像像素的空間坐標(biāo)；H是待處理的含有交通標(biāo)志的霧霾圖像；F是帶恢復(fù)的圖像；r表示大氣散射系數(shù)；d代表景物深度；A為全局大氣光，通常情況下設(shè)為全局常量，與空間坐標(biāo)無關(guān).

式（1）中，F(xiàn)（x）e-rd(x)被稱為直接衰減，表示景物表面的反射光在介質(zhì)中傳播時因散射等作用而衰減；A（1-e-rd(x)）被稱為環(huán)境光或大氣光幕，它導(dǎo)致圖像色彩和亮度的偏移.

對于式（1），用L（x）代替A（1-e-rd(x)），則式（1）被改寫為

由此可見，需要從圖像H（x）中估計出環(huán)境光L（x）和全局大氣光A，以恢復(fù)清晰無霧圖像.

本文在文獻(xiàn)[7]的基礎(chǔ)上，對于環(huán)境光L（x）和全局大氣光A的估算做出如下改進(jìn)：首先文獻(xiàn)[7]在大氣光的估算上，直接采用出入圖像中最亮點的灰度值作為大氣光A的估算值，本文針對A的估算值采用其暗原色通道中最亮的0.1%比例的像素值中最大灰度值作為大氣光A的估算值，這種處理方式更為合理有效，使得A值的取值有了可選范圍，避免了因為大氣光A值的取值造成圖像去霧效果不明顯.而對于環(huán)境光L（x）的估算，文獻(xiàn)[7]首先分析環(huán)境光的取值范圍，將圖像分成R、G、B三顏色通道，對每一通道圖像進(jìn)行白平衡化處理，然后進(jìn)行中值濾波，濾除圖像不必要的紋理信息及圖像中的噪聲，在過濾后的三通道圖像中抽取最小值作為景深V通道圖像，而L（x）=A（1-e-rd(x)），其中L（x）表示圖像的深度信息，則可由上式得到.而本文針對L（x）的估算，未對圖像進(jìn)行白平衡處理，直接對圖像進(jìn)行雙邊濾波處理，過濾掉圖像噪聲，并由公式（1）、（2）以及公式t（x）=e-rd(x)，在圖像三通道中去像素最小值，作為圖像深度信息的預(yù)選值，同時取三通道圖像像素的平均值組成單通道圖像，然后設(shè)置比例調(diào)節(jié)參數(shù)，取兩者之中較小值，作為圖像深度信息，進(jìn)而估算出環(huán)境光L（x）.

圖1所示為圖像處理效果展示圖比較，圖像從左至右分別為：原圖、文獻(xiàn)[7]效果圖、本文算法效果圖.表1為文章去霧算法與文獻(xiàn)[7]算法在圖像去霧處理上的時間比較.

圖1 去霧效果圖比較Fig.1 Haze removal images

表1 圖像去霧算法時間比較Tab.1 Result of comparation

由圖1和表1可知，本文提出的圖像去霧算法與文獻(xiàn)[7]相比，未對圖像做白平衡化處理，因為圖像白平衡化處理耗時長，算法復(fù)雜，在針對重霧圖像處理時，效果不明顯；而是采用雙邊濾波直接過濾圖像中噪聲，在輕、重霧圖像處理中，效果明顯，算法速度快.

2 交通標(biāo)志的檢測

2.1 交通標(biāo)志檢測類流程

我國道路交通標(biāo)志的顏色和形狀特征顯著，以圓形、三角形和矩形為基本形狀，以紅色、黃色和藍(lán)色為基本顏色，其類別與形狀及顏色之間具有唯一確定性關(guān)系.本文提出了一種簡單實用的交通標(biāo)志顏色特征提取方法，用于交通標(biāo)志的定位.圖2所示為交通標(biāo)志檢測分類的流程圖.

2.2 HSV顏色空間

HSV顏色空間從人的視覺系統(tǒng)出發(fā)，用色調(diào)（Hue）、飽和度（Saturation）和亮度（Value）來描述色彩.其中，飽和度是指色彩的純度（鮮艷程度），飽和度越高色彩越純，飽和度低則逐漸變灰.交通標(biāo)志圖像的基本顏色由紅、黃、藍(lán)3種飽和度偏高的色彩組成，去霧處理后，色彩飽和度增強，對比度變大，質(zhì)量提高，亮度稍暗.所以，采取HSV顏色空間代替RGB空間，能更好地利用H通道和S通道.圖3所示為HSV顏色空間圖像.

圖2 程序框圖Fig.2 System programming block diagram

圖3 HSV顏色空間圖像Fig.3 HSV color space images

由圖3可以看出，S通道圖像中標(biāo)志牌邊框明亮和背景完全區(qū)分開，而灰度圖像左側(cè)標(biāo)志邊框與背景區(qū)分不開，相比之下，S通道圖像更有利于邊緣檢測.

2.3 Canny算子邊緣檢測

常用的邊緣檢測算法有：Canny算子、Sobel、Robert、Prewitt算子等.Canny算子的邊緣檢測效果相比其他的邊緣檢測算法，檢測效果最好，但缺點是其實現(xiàn)速度慢.

圖4為Canny邊緣檢測算法的效果圖.

2.4 交通標(biāo)志形狀的判別及定位

交通標(biāo)志的基本形狀為圓形、矩形和三角形，圖像邊緣檢測處理后，需要從各邊緣中，判別出邊緣的形狀. 形狀判別常用方法有很多，主要有：邊界跟蹤提取拐角點的方法、圖像做掩模運算搜索拐角、計算圓形度、矩形度和伸長度的判別法來判別形狀等.本文采用計算圓形度、矩形度和三角形度來判別交通標(biāo)志的幾何形狀.

圖4 Canny邊緣檢測Fig.4 Canny edge detection

圓形度計算公式為：

式中：S為邊緣所包圍住的面積；L為邊緣周長，當(dāng)邊緣的幾何形狀為圓形形狀時，P1=1.

矩形度計算公式為：

式中：H為圖像的高度；W為圖像的寬度，當(dāng)邊緣的幾何形狀為矩形形狀時，P2=1.

三角形度計算公式為：

由于實際圖像拍攝中角度和距離等因素的影響，交通標(biāo)志的形狀接近圓形或三角形或矩形，所以需設(shè)定一個誤差值ε，用其來表示因為以上因素造成的誤差，取兩者的絕對差，和ε比較大小，設(shè)定一個固定的值，當(dāng)兩者的絕對差大于這個值時，認(rèn)為當(dāng)前邊緣不是交通標(biāo)志；當(dāng)兩者之差小于ε時，認(rèn)為該邊緣是某種基本形狀，根據(jù)圓形度、矩形度、三角形度的計算公式判別出相應(yīng)的形狀.然后返回原圖，并將標(biāo)志取出來，圖5所示為本文交通標(biāo)志定位效果圖.

圖5 交通標(biāo)志定位Fig.5 Traffic signs positioning

3 交通標(biāo)志的識別

交通標(biāo)志主要包括主標(biāo)志和輔助標(biāo)志.主標(biāo)志由禁令標(biāo)志（紅色圓形）、警告標(biāo)志（黃色三角形）和指示標(biāo)志（藍(lán)色圓形或者藍(lán)色矩形）組成.本文針對交通標(biāo)志的分類識別提出了顏色分類和模板匹配兩者相結(jié)合的算法.首先，借助上一步標(biāo)志形狀的確定，可以確定警告標(biāo)志和部分指示標(biāo)志，也即黃色三角形的警告標(biāo)志和藍(lán)色矩形的指示標(biāo)志.

3.1 交通標(biāo)志的顏色分類識別

交通標(biāo)志形狀確定后，可根據(jù)形狀確定一部分標(biāo)志的粗分類，但圓形標(biāo)志中，有一部分是紅色警告標(biāo)志，另一部分是藍(lán)色指示標(biāo)志.所以，在判別出圓形形狀后，還需要對其進(jìn)行顏色判別.首先，將定位的交通標(biāo)志從原圖像中提出來，將其轉(zhuǎn)換到HSV顏色空間，由H通道可得，當(dāng)前標(biāo)志的顏色為藍(lán)色或者是紅色，從而將標(biāo)志的類別識別出.為確定該標(biāo)志的分類，就必須對標(biāo)志進(jìn)行顏色分類識別.

在HSV顏色空間中，H代表色調(diào)，用角度度量，取值范圍為0°～360°，從紅色開始按照逆時針方向計算，紅色為0°，綠色為120°，藍(lán)色為240°.由RGB顏色空間轉(zhuǎn)換到HSV空間，H通道的轉(zhuǎn)換函數(shù)為：

式中：r、g、b分別為圖像像素中R、G、B三通道的值；max為RGB三顏色通道中像素的最大值；min則為相應(yīng)的最小值.

3.2 模板匹配精確識別

目前交通標(biāo)志識別算法，只能識別出交通標(biāo)志的大分類，即對一副輸入的待識別的圖像，只能識別出該標(biāo)志是禁令標(biāo)志或者指示標(biāo)志或者警告標(biāo)志，但不能準(zhǔn)確地識別出該標(biāo)志所代表的具體含義.對此問題，文章提出模板匹配實現(xiàn)交通標(biāo)志準(zhǔn)確識別，即能識別交通標(biāo)志具體含義.

模板匹配在圖像處理中是一種常見的圖像處理手段，用于在一幅大圖像中搜尋目標(biāo)，已知該圖中有要找的目標(biāo)，且該目標(biāo)同模板有相同的尺寸、方向和圖像，通過一定的算法可以在圖中找到目標(biāo)，確定其坐標(biāo)位置.本文的模板匹配算法優(yōu)勢之處主要體現(xiàn)在，已經(jīng)尋找到目標(biāo)（交通標(biāo)志）所在的位置，并且將交通標(biāo)志所在的區(qū)域從原圖像中提取出來，計算兩者的相識度.

首先建立模板庫.將指示標(biāo)志、警示標(biāo)志和禁令標(biāo)志分別建立相應(yīng)的模板庫，并標(biāo)記上數(shù)字代碼，每一種代碼表示不同的標(biāo)志牌，其含義也是不一樣，針對數(shù)字代碼建立相應(yīng)的字符庫，當(dāng)明確為某一交通標(biāo)志后，將相應(yīng)的數(shù)字代碼讀出，并從字符庫中調(diào)取相應(yīng)的字符，該字符即為當(dāng)前的標(biāo)志牌的含義，圖6為部分標(biāo)志牌的模板庫.

圖6 標(biāo)志牌模板庫Fig.6 Template library of traffic sign

4 識別結(jié)果分析

4.1 識別系統(tǒng)

論文針對霧霾惡劣天氣下交通標(biāo)志的識別檢測，設(shè)計了一套程序，主要包括4個模塊：圖像獲取模塊、去霧模塊、檢測定位模塊、識別模塊.圖7為整個系統(tǒng)的界面圖.

圖7 系統(tǒng)界面圖Fig.7 System interface

4.2 識別結(jié)果分析

該系統(tǒng)能識別出當(dāng)前標(biāo)志牌的大類別，而且能讀出具體含義.系統(tǒng)運行速度快，能滿足實時性的要求.

表2為本文和傳統(tǒng)經(jīng)典顏色識別檢測標(biāo)志牌算法[9]在識別準(zhǔn)確率和識別速度上的比較結(jié)果，圖8為相應(yīng)的識別效果圖.

表2 本文算法與傳統(tǒng)顏色識別檢測算法比較Tab.2 Comparison of two algorithms

圖8 識別效果圖Fig.8 Picture of recognition effect

從分析結(jié)果來看，本文在標(biāo)志牌識別檢測算法模塊的識別速度相比于傳統(tǒng)經(jīng)典的顏色識別算法仍有需要改進(jìn)的地方，但識別準(zhǔn)確率相比之，有較大提升.

5 結(jié) 語

本文提出了一種在霧霾天氣下快速實現(xiàn)交通標(biāo)志分類識別的算法.經(jīng)實驗結(jié)果表明：本文算法運行速度快，消耗時間短，在標(biāo)志牌檢測中，取得較高檢測率和較低的誤檢率.本文提出的圖像檢測算法可以應(yīng)用于其他圖像檢測問題.

[1]朱雙東，陸曉峰.道路交通標(biāo)志識別的研究現(xiàn)狀及展望[J].計算機工程與科學(xué)，2006，28（12）：50-53.

[2]沙莎，肖學(xué)鋼.一種多通道融合的交通標(biāo)志檢測方法[J].計算機工程，2009，35（6）：202-205.

[3]XU Haoran，GUO Jianming，LIU Qing，et al.Fast image dehazing using improved dark channel prior[C]//Information Science and Technology.Shenzhen：Chinese Academy of Sciences，2012：663-667.

[4]NARASIMHAN S G，NAYAR S K.Contrast restoration of weatherdegradedimages[J].IEEETransonPatternAnalysisand Machine Intelligence，2003，25（8）：713-724.

[5]TAN R T.Visibility in bad weather from a single image[C]// Computer Vision and Pattern Recognition.Portland OR：IEEE Computer Society，2008：1-8.

[6]HE Kaiming，SUN Jian，TANG Xiaoou.Single image haze removal using dark channel Prior[C]//Computer Vision and Pattern Recognition.Columbus Ohio：IEEE Computer Society，2009：1956-1963.

[7]TAREL J P，HAUTIèRE N.Fast visibility restoration from a single color or gray level image[C]//Computer Vision.Kyoto：Institute of Electrical and Electronics Engineers（IEEE），2009：2201-2208.

[8]CARSON Mark，SANTAY Darrin.NIST Net：A linux-based net work emulation tool[J].ACM SI GCOMM Computer Communications Review，2003，33（3）：111-126.

[9]ZHU Shuangdong.Two hierarchy classifier for recognition of traffic signs based on neural net work[C]//5th World Congress on Intelligent Control and Automation.Beijing：Chinese A-cademy of Sciences，2004：5302-5306.

[10]蔣剛毅，鄭義.基于數(shù)學(xué)形態(tài)學(xué)的交通標(biāo)志自動識別[J].汕頭大學(xué)學(xué)報：自然科學(xué)版，1998，13（1）：90-96.

[11]常發(fā)亮，黃翠，劉成云，等.基于高斯顏色模型和SVM的交通標(biāo)志檢測[J].儀器儀表學(xué)報，2014，35（1）：43-49.

[12]ANCUTI Cosmin.Codruta orniana ancuti and philippe bekaert deblurring by matching[J].Computer Graphics Forum，2009，28（2）：619-628.

Traffic sign detection and recognition under haze weather

ZHANG Guo-shan，LIU Zhen
（School of Electrical Engineering and Automation，Tianjin University，Tianjin 300072，China）

A fast traffic sign detection algorithm under haze environment is proposed for the characteristics of Chinese traffic environment variability，especially haze weather.First，transfer the image from RGB color space to HSV color space，edge detection with the S channel image，calculate signs of circle and rectangle，judging the shape of traffic signs and positioning its area.According to the sign of color and shape matching and uniqueness，preliminary classification is carried out on the sign，and then the sign area is extracted to template matching，read out the specific meaning of the sign.The experimental results show that the algorithm can effectively improve the rates of detection of traffic signs under haze weather，it also can satisfy the real-time requirements.

traffic sign；detection and recognition；haze removal；HSV；edge detection；template matching；haze weather

TP391.41

A

1671-024X（2015）05-0071-05

10.3969/j.issn.1671-024x.2015.05.015

2015-05-29

國家自然科學(xué)基金資助項目（61473202）

張國山（1961—），男，教授，博士生導(dǎo)師，主要研究方向為線性與非線性系統(tǒng)控制、智能控制等.E-mail：zhanggs@tju.edu.cn