基于邊緣增強型MSER特征的道路標(biāo)志檢測

王淑丹　徐向華

摘 要： 針對自然場景下道路標(biāo)志檢測所面臨的一些問題，提出了一種基于邊緣增強型MSER特征的標(biāo)志檢測方法。首先采用灰度世界法對圖像做光照平衡處理，并對處理后的圖像進行顏色增強，區(qū)分標(biāo)志和環(huán)境背景；然后基于邊緣增強型MSER特征，提取標(biāo)志候選區(qū)域；最后對這些候選區(qū)域使用基于霍夫變換的形狀分析方法進行篩選處理。通過在GTSDB數(shù)據(jù)集上的實驗驗證，該方法對光照條件、局部遮擋、旋轉(zhuǎn)尺度變化等情況均具有較好的魯棒性。

關(guān)鍵詞： 道路標(biāo)志檢測； 邊緣增強型MSER； 霍夫變換； GTSDB

中圖分類號：TP393.0 文獻標(biāo)志碼：A 文章編號：1006-8228（2016）06-04-04

Abstract： Aiming at the various problems which occur in the process of traffic sign detection in natural images， a novel traffic sign detection method based on edge-enhancement MSER （Maximally Stable Extremal Regions） feature is proposed. Firstly， the gray world balance method is used for the image preprocessing to reduce the effect of illumination change， and through color enhancement， the traffic signs are distinguished from the environment background. Then， the traffic sign ROI candidate regions are extracted with edge-enhancement MSER feature. Finally， these candidate regions are further filtered by using a shape analysis method based on Hough transform. The experiment results on GTSDB （German Traffic Sign Detection Benchmark） data sets show that the proposed method is robust to lighting condition， partial occlusion， and rotation scale change.

Key words： traffic sign detection； edge-enhancement MSER； Hough transform； GTSDB

0 引言

交通標(biāo)志識別系統(tǒng)（Traffic Sign Recognition，TSR）主要是通過在道路場景中識別到的交通標(biāo)志信息來提高交通安全，比如告知駕駛員限制車速，或者注意潛在的危險，例如道路結(jié)冰等。

TSR系統(tǒng)通常分為兩階段。①交通標(biāo)志檢測：利用交通標(biāo)志的色彩和形狀等先驗特征從圖像或視頻流中提取標(biāo)志候選區(qū)域。②交通標(biāo)志識別：采用機器學(xué)習(xí)，或鄰近搜索的方法對候選區(qū)域進行分類識別。其中，交通標(biāo)志檢測階段是后續(xù)標(biāo)志識別的基礎(chǔ)， 影響著整個系統(tǒng)的召回率和準(zhǔn)確率。

現(xiàn)有論文的研究點多側(cè)重于識別方法和性能評估，很少有利用公開數(shù)據(jù)集進行檢測算法評估的研究。但值得一提的是，Stallkamp J等人[1]針對標(biāo)志檢測階段缺少公開數(shù)據(jù)集的問題，在2013年IJCNN會議上提出了GTSDB數(shù)據(jù)庫（German Traffic Sign Detection Benchmark， GTSDB）。

本文提出了一種基于邊緣增強型MSER特征的交通標(biāo)志檢測方法，其流程如圖1。在GTSDB數(shù)據(jù)集上進行了實驗驗證，實現(xiàn)表明該方法對光照條件、局部遮擋、旋轉(zhuǎn)尺度變化等情況均具有較好的魯棒性。

1 交通標(biāo)志檢測方法

1.1 灰度世界法光平衡處理

在自然場景下，光照條件對拍攝的道路場景圖像（RGB格式）的清晰度、顏色等因素都會產(chǎn)生直接影響，因此我們采用灰度世界法對圖像進行光照平衡預(yù)處理，以減少光照條件造成的影響。

灰色世界法假設(shè)圖像中的反射面足夠豐富，以至于可以作為自然界景物的一個縮影。若這幅圖像是在經(jīng)典光源下拍攝的，其通道均值就應(yīng)該等于灰色值；若這幅圖是在非經(jīng)典光源下拍攝的，那么其通道均值就會大于或者小于灰色值。而該均值相對于灰色值的偏離程度則反映了未知光源相對于已知光源的偏離性。此處，我們假設(shè)反射光譜是均衡的，即本文選?。?29，129，129）作為灰色值?；疑澜绶ǖ挠嬎氵^程如圖2所示。

1.2 圖像顏色增強

GTSDB數(shù)據(jù)庫中交通標(biāo)志輪廓顏色多為紅色或藍色，因此RGB圖像中的紅色和藍色通道是交通標(biāo)志的重要顏色特征?；谶@一點，我們將Ruta等人[2]提出的顏色分割方法與形態(tài)學(xué)濾波相結(jié)合，進行圖像顏色增強處理。

首先，對圖像中的每個像素點x={xR，xG，xB}，我們使用公式⑴對圖像進行R通道和B通道的顏色增強；

其中，I為光照平衡處理后的圖像，IO，IC，ID，IE分別表示開運算，閉運算，膨脹和腐蝕運算操作，，分別表示頂帽和底帽變換。

1.3 邊緣增強型MSER特征檢測

由于GTSDB數(shù)據(jù)集中的交通標(biāo)志無論是其外圍邊緣或是其內(nèi)部區(qū)域都具有均勻的亮度或顏色信息，這使得MSER特征成為了很受歡迎的交通標(biāo)志區(qū)域檢測子[3]。MSER（maximally stable extremal regions）[4]就是當(dāng)圖像在不同層次上閾值化時，每次都分析其所產(chǎn)生的連通區(qū)域，能夠在多個層次閾值上都維持其形狀的那些連通區(qū)域。

然而，交通標(biāo)志周圍往往存在很多顏色與其非常相似的背景干擾，這會導(dǎo)致MSER特征檢測時產(chǎn)生過大的候選區(qū)域，如圖3（a）中間圖片。而這些過大的候選區(qū)域可能會被誤認為背景噪聲（比如幾何條件約束）。

因此，本文使用精確定位但不一定連續(xù)的Log邊緣檢測來提高極值區(qū)域的邊緣響應(yīng)。具體來講就是，首先基于Log邊緣構(gòu)成的邊界，移除那些位于邊界之外的原屬于MSER區(qū)域的像素點；然后，使用基于灰度圖得到的梯度方向圖，對MSER區(qū)域沿梯度方向進行修剪，將交通標(biāo)志和具有相似顏色的背景區(qū)域分割開來，效果如圖3（a）最右側(cè)圖片所示。

這種邊緣增強型MSER特征檢測方法，結(jié)合了Log邊緣和MSER區(qū)域檢測子的優(yōu)點，相較于原MSER特征，不僅提高了算法對復(fù)雜道路場景的適應(yīng)性，降低了方法系統(tǒng)的漏檢率，而且能大大減少環(huán)境背景的干擾，如圖3（b）。

雖然邊緣增強型MSER特征能更加精準(zhǔn)地提取出候選區(qū)域，但卻可能會導(dǎo)致標(biāo)志候選區(qū)域的輪廓發(fā)生缺陷，如圖3（b）的中左側(cè)的圓形交通標(biāo)志。為了解決這個問題，我們提出了一種基于原MSER區(qū)域的外圍邊界的缺陷修補方法：首先將邊緣增強型的MSER特征檢測結(jié)果逐個區(qū)域地與原MSER區(qū)域的外圍邊界（單像素寬）進行邏輯或運算，得到封閉的圖像輪廓；然后使用孔洞填充的方法填充該封閉輪廓，逐個區(qū)域修補缺陷后效果如圖4所示。

經(jīng)實驗論證，我們提出的這種基于MSER區(qū)域的外圍邊界的缺陷修補方法，在保持圖像中候選區(qū)域的大小及其基本形狀特征不變的基礎(chǔ)上，能快速且有效的解決輪廓缺陷的問題。

1.4 幾何條件約束

通過邊緣增強型MSER特征檢測，我們從顏色增強后的灰度圖像中獲得了一系列的連通區(qū)域，這些連通區(qū)域就是初步的標(biāo)志候選區(qū)域。隨后，我們將選用一組簡單而靈活的幾何條件，對候選區(qū)域進行限制約束，篩除掉那些明顯非交通標(biāo)志的候選區(qū)域。本文選取的各項幾何條件約束的閾值范圍如表1所示。

1.5 基于霍夫變換的形狀分析

交通標(biāo)志都具有明確的外圍形狀，故我們采用霍夫變換方法對邊緣增強型MSER特征檢測的結(jié)果中的候選區(qū)域的輪廓信息進行更加具體的形狀分析。

為了實現(xiàn)圖像中的ROI區(qū)域的精確地定位，我們首先來提取邊緣增強型MSER特征檢測結(jié)果中的三角形區(qū)域。我們知道，任意的三角形的內(nèi)切圓圓心是其三個內(nèi)角的角平分線的交點，如圖5所示，a，b，c分別為線段 BC，AC和AB的長度。

假定OD與x軸間的夾角用θa表示，OG與x軸間的夾角用θb表示，OE與x軸間的夾角用θc表示（角度按逆時針旋轉(zhuǎn)計算）。根據(jù)三角形原理性知識，采用如下方法及步驟來檢測圖像中的三角形區(qū)域：

⑴ 對那些通過幾何條件約束的標(biāo)志候選區(qū)域執(zhí)行霍夫直線變換，并得到與候選區(qū)域相對應(yīng)的霍夫變換矩陣；

⑵ 原點到候選區(qū)域中的每條線段的距離ρ，以及其所在直線與橫軸x的夾角都可以通過霍夫變換矩陣被計算出來；

⑶ 在該線段集合中，如果任有三條線段滿足下列條件，那么這三條線段就組成了一個三角形，其中，Ta，Tb為閾值，則該候選區(qū)域的外圍輪廓形狀就是三角形。

另外，也可以將霍夫直線檢測結(jié)果中的直線線段按照矩行定義進行擬合，從而判斷圖像中是否存在矩形圖形，以及其具體參數(shù)和位置。類似地，我們可以采用霍夫圓變換的方法來檢測邊緣增強型MSER特征檢測的結(jié)果中的圓形區(qū)域。

通過基于霍夫變換的輪廓形狀分析，我們快速且精準(zhǔn)地定位出了邊緣增強型MSER特征檢測結(jié)果中與標(biāo)志的形狀有關(guān)聯(lián)的候選區(qū)域。這種方法不僅使圖像中那些明顯非標(biāo)志候選項的區(qū)域得到了有效地篩除，而且能為識別階段提供更加精確的候選區(qū)域。

2 實驗結(jié)果

為了驗證本文檢測方法的有效性，我們將本文所提出的交通標(biāo)志檢測方法與Jack Greenhalgh等人[3]，MA Garcia-Garrido等人[5]的檢測算法在公開數(shù)據(jù)集GTSDB上進行了一系列的對比實驗。GTSDB數(shù)據(jù)集含有900張1360×800 pixels大小的圖像，其中包含了光照條件的劇烈變化，相似的背景顏色干擾，運動模糊和局部遮擋等不同狀況的道路場景圖片。

從表2中可以看出，我們提出的這種基于邊緣增強型MSER特征的道路標(biāo)志檢測方法，相較于Jack Greenhalgh等人[3]的（基于MSER特征檢測標(biāo)志區(qū)域）方法，在準(zhǔn)確率和F-measure上分別提升了20%和16%左右；而相較于MA Garcia-Garrido等人[5]（基于邊緣圖像的霍夫變換來檢測標(biāo)志區(qū)域）的方法，在準(zhǔn)確率和F-measure上分別提升了5%和3%左右。顯然，我們所提出的這種基于邊緣增強型MSER特征的檢測算法的檢測性能要優(yōu)于傳統(tǒng)的MSER特征檢測算法和基于霍夫變換的標(biāo)志檢測算法。

3 結(jié)束語

本文針對自然場景下道路標(biāo)志檢測所面臨的一些問題，提出了一種基于邊緣增強型MSER特征的交通標(biāo)志檢測方法。該方法充分利用了交通標(biāo)志的顏色特征和邊緣信息，結(jié)合了MSER特征和邊緣特征的優(yōu)勢。在公開GTSDB數(shù)據(jù)集上的實驗測試表明，我們所提出的這種基于邊緣增強型MSER特征的交通標(biāo)志檢測方法，在準(zhǔn)確率和F-measure上都明顯優(yōu)于傳統(tǒng)的MSER特征檢測算法[3]和基于霍夫變換的標(biāo)志檢測算法[5]。但是，由于邊緣檢測的線段大都是不連續(xù)的，這可能會使得待檢測的ROI區(qū)域發(fā)生邊界丟失的現(xiàn)象，從而導(dǎo)致漏檢情況發(fā)生，這將會是我們以后研究工作中需要進一步解決的問題。

參考文獻（References）：

[1] Houben， S.， et al.， Detection of Traffic Signs in

Real-World Images： The German Traffic Sign Detection Benchmark[C]. Proceedings of International Joint Conference on Neural Networks （IJCNN），2013：1-8

[2] Ruta， A.， et al.， In-vehicle camera traffic sign detection and

recognition[J]. Machine Vision and Applications，2011.22（2）：359-375

[3] Greenhalgh J， Mirmehdi M. Real-Time Detection and

Recognition of Road Traffic Signs[J]. IEEE Transactions on Intelligent Transportation Systems，2012.13（4）：1498-1506

[4] Matas J， Chum O， Urban M， et al. Robust wide-baseline

stereo from maximally stable extremal regions[J]. Image and Vision Computing，2004.22（10）：761-767

[5] Garcia-Garrido MA， Ocana M， Llorca DF， et al. Robust

Traffic Signs Detection by means of Vision and V2I Communications[C]. Proceedings of 14th International IEEE Conference on Intelligent Transportation Systems （ITSC），2011：1003-1008