基于顏色規(guī)格化和輪廓多邊形的交通標(biāo)志檢測(cè)

李 賀， 郝曉莉，齊 飛

(北京交通大學(xué) 電子信息工程學(xué)院， 北京 100044 )

交通標(biāo)志在規(guī)范交通行為、確保安全駕駛等方面具有重要的意義。交通標(biāo)志檢測(cè)是交通標(biāo)志識(shí)別的前提，是智能交通系統(tǒng)的重要組成部分。

國(guó)內(nèi)大多數(shù)的交通標(biāo)志檢測(cè)文獻(xiàn)是針對(duì)某種特定形狀的交通標(biāo)志設(shè)計(jì)檢測(cè)算法。文獻(xiàn)[1～2]基于最小二乘法和圓形度特征檢測(cè)圓形交通標(biāo)志；文獻(xiàn)[3]基于輻射對(duì)稱(chēng)性和Hough變換的方法檢測(cè)三角形交通標(biāo)志。國(guó)外一些文獻(xiàn)提出了可以檢測(cè)多種形狀交通標(biāo)志的算法。文獻(xiàn)[4]結(jié)合顏色和形狀信息檢測(cè)感興趣區(qū)域，用相干匹配法確定交通標(biāo)志的位置，能夠檢測(cè)圓形、三角形、矩形、五邊形等美國(guó)交通標(biāo)志。文獻(xiàn)[5]在HSI顏色空間構(gòu)造色調(diào)和飽和度分量查找表，實(shí)現(xiàn)顏色分割，采用遺傳算法進(jìn)行交通標(biāo)志檢測(cè)，能夠檢測(cè)圓形、三角形等西班牙交通標(biāo)志。

本文采用顏色規(guī)格化[6~7]技術(shù)，將顏色信息復(fù)雜的交通場(chǎng)景圖像映射為只含8種標(biāo)準(zhǔn)顏色的圖像。選取紅、黃、藍(lán)為感興趣顏色將圖像二值化。提取二值圖像各連通區(qū)域最外層輪廓，對(duì)每一輪廓逐一判斷。通過(guò)輪廓周長(zhǎng)、面積、圓形度及本文提出的基于重心的干擾區(qū)域判定規(guī)則排除干擾區(qū)域。對(duì)候選區(qū)域最外層輪廓進(jìn)行多邊形擬合，通過(guò)判斷擬合多邊形的凸性來(lái)判定交通標(biāo)志候選區(qū)域。最后，選取面積最大的候選區(qū)域（面積最大說(shuō)明目標(biāo)最近）為交通標(biāo)志區(qū)域。本文算法可以檢測(cè)我國(guó)任意形狀的交通標(biāo)志并對(duì)交通標(biāo)志傾斜及旋轉(zhuǎn)的情況具有較好的魯棒性。

1 交通標(biāo)志顏色形狀信息統(tǒng)計(jì)

為了引起行人和車(chē)輛駕駛?cè)藛T注意，交通標(biāo)志具有鮮明的顏色和形狀特征。根據(jù)國(guó)標(biāo)GB 5768.1-2009[8]，我國(guó)指示、禁令和警告標(biāo)志共131種（警告標(biāo)志47種、禁令標(biāo)志48種、指示標(biāo)志36種），主要包含5種顏色：紅、黃、藍(lán)、黑、白。5種形狀：圓形、矩形、正三角形、倒三角形、正八邊形。其中，矩形包括正方形和長(zhǎng)方形，長(zhǎng)方形的長(zhǎng)寬比范圍約為1.3~1.4。警告標(biāo)志顏色以黃黑為主，形狀包括正三角形、矩形和一個(gè)叉形標(biāo)志；禁令標(biāo)志顏色以紅白黑為主，形狀包括圓形、矩形、倒三角形和正八邊形；指示標(biāo)志顏色以藍(lán)白為主，形狀包括圓形和矩形。131種交通標(biāo)志中具有規(guī)則形狀的有130種，并且都為凸多邊形。

2 圖像預(yù)處理

2.1 顏色規(guī)格化

顏色規(guī)格化將R、G、B3分量分別與給定閾值作比較，把交通場(chǎng)景圖像復(fù)雜的顏色空間映射到只含8種標(biāo)準(zhǔn)顏色的簡(jiǎn)單顏色空間，該顏色空間涵蓋了我國(guó)交通標(biāo)志所有的顏色種類(lèi)。設(shè)R、G、B3通道的規(guī)格化閾值分別是Tr、Tg、Tb，圖像中第i個(gè)像素點(diǎn)為（Ri, Gi, Bi）。對(duì)R通道，根據(jù)式（1）進(jìn)行規(guī)格化：

G、B通道規(guī)格化方法與R通道相同。規(guī)格化產(chǎn)生的標(biāo)準(zhǔn)顏色為紅、黃、藍(lán)、綠、青、品紅、黑、白，將品紅色簡(jiǎn)并為紅色，青色簡(jiǎn)并為藍(lán)色。具體規(guī)格化流程見(jiàn)文獻(xiàn)[7]。8種標(biāo)準(zhǔn)顏色分別位于RGB立方體的8個(gè)頂點(diǎn)，具有最大的顏色距離，各顏色之間的RGB向量具有正交性。

2.2 圖像二值化及形態(tài)學(xué)處理

選取感興趣顏色，將規(guī)格化后的圖像二值化。感興趣的顏色對(duì)應(yīng)的像素點(diǎn)二值化為255，否則二值化為0。圖像二值化以保持交通標(biāo)志候選區(qū)域完整性為前提，最大限度的排除干擾區(qū)域。指示標(biāo)志以藍(lán)色為主，選藍(lán)色為感興趣顏色。禁令標(biāo)志邊框?yàn)榧t色（8種除外），選紅色為感興趣顏色。警告標(biāo)志主要以黑色邊框?yàn)橹?，而?shí)景圖像中黑色干擾較多，如建筑物、車(chē)輛、樹(shù)木的陰影及車(chē)窗玻璃、交通燈外殼等。警告標(biāo)志黑色邊框較窄，而黃色內(nèi)核明顯，選黃色為感興趣顏色。

圖1 交通實(shí)景圖像黑色干擾

圖1中，(a)為交通實(shí)景圖像。(b)為以紅、藍(lán)、黑為感興趣顏色的二值圖像。(c)為以紅、藍(lán)、黃為感興趣顏色的二值圖像?？梢?jiàn)(b)中由于選取黑色為感興趣顏色，帶來(lái)了較多干擾。

形態(tài)學(xué)開(kāi)運(yùn)算可以斷開(kāi)交通標(biāo)志區(qū)域與干擾區(qū)域的粘連，使各個(gè)連通區(qū)域保持獨(dú)立。提取各個(gè)連通區(qū)域，對(duì)各連通區(qū)域分別做多次閉運(yùn)算，這一點(diǎn)非常重要，這樣可以確保候選區(qū)域閉合，使提取的連通區(qū)域輪廓為最外層輪廓。如果對(duì)整幅圖像做多次閉運(yùn)算，就會(huì)導(dǎo)致相鄰區(qū)域的粘連。

3 基于形狀特征的干擾區(qū)域判定規(guī)則

顏色規(guī)格化和二值化只能排除明顯的干擾區(qū)域，與交通標(biāo)志相似（如顏色相近）的干擾區(qū)域需要根據(jù)交通標(biāo)志特有的形狀特征進(jìn)一步排除。

3.1 圓形度

實(shí)驗(yàn)所用圖像大小為500像素×375像素。圖像形態(tài)學(xué)處理后，依據(jù)規(guī)則1判定干擾區(qū)域。

規(guī)則1：設(shè)連通區(qū)域最外輪廓的周長(zhǎng)為Perim eter，面積為A rea，如果Perim eter<100像素 或A rea<400像素，則該區(qū)域?yàn)楦蓴_區(qū)域。

丟棄干擾區(qū)域后，復(fù)制候選區(qū)域輪廓到一幅新的二值圖像中，并把輪廓內(nèi)部填充為白色。對(duì)該區(qū)域進(jìn)行4次膨脹操作，對(duì)膨脹后的區(qū)域再次提取最外層輪廓，計(jì)算輪廓的圓形度。

圓形度表示圖形與圓形的接近程度，可以有效地排除不規(guī)則的干擾區(qū)域。交通標(biāo)志輪廓的圓形度理論值見(jiàn)表1。

表1 交通標(biāo)志圖像圓形度理論值

考慮到交通標(biāo)志的傾斜，以及多次膨脹帶來(lái)的誤差，設(shè)定圓形度的閾值為：[0.5, 1.0]，不在此范圍內(nèi)的區(qū)域判定為干擾區(qū)域。

3.2 基于重心的干擾區(qū)域判定規(guī)則

重心是物體各部分所受重力的合力的作用點(diǎn)，對(duì)于形狀規(guī)則且密度均勻的物體，其重心與形心重合。我國(guó)交通標(biāo)志基本都是規(guī)則圖形，在二值圖像中，交通標(biāo)志候選區(qū)域被填充為白色，可視為密度均勻的物體。重心與候選區(qū)域輪廓的相對(duì)位置能夠很好地描述交通標(biāo)志的形狀特征。對(duì)于不規(guī)則的區(qū)域，重心與輪廓的相對(duì)位置有3種情況：重心在輪廓外部、重心在輪廓上、重心在輪廓內(nèi)部但不符合交通標(biāo)志的形狀特征。針對(duì)以上情況定義規(guī)則2和規(guī)則3，如下：

規(guī)則2：重心在區(qū)域最外層輪廓的外部或在區(qū)域最外層輪廓上，則該區(qū)域?yàn)楦蓴_區(qū)域。

規(guī)則3：重心到區(qū)域最外輪廓的最大距離為dmax，最小距離為dm in，最大與最小距離的比值為r。設(shè)定r的閾值T，如果r大于T，則該區(qū)域?yàn)楦蓴_區(qū)域。

我國(guó)交通標(biāo)志圖像，r的理論值見(jiàn)表2。依據(jù)表2及實(shí)際檢測(cè)情況，取T=2.3。

表2 交通標(biāo)志r的理論值

3.3 多邊形擬合

我國(guó)交通標(biāo)志的形狀基本都是凸多邊形，這是交通標(biāo)志區(qū)別于干擾區(qū)域的重要形狀特征。本文采用道格拉斯-普克（Douglas-Peucker）算法[9]，對(duì)交通標(biāo)志候選區(qū)域最外層輪廓進(jìn)行多邊形擬合，通過(guò)判斷擬合多邊形的凸凹性來(lái)決定候選區(qū)域的取舍。

3.3.1 道格拉斯-普克多邊形擬合算法

道格拉斯-普克多邊形擬合算法的主要思想是以直代曲：根據(jù)指定精度，用有限條直線(xiàn)逼近一條曲線(xiàn)。

對(duì)于非閉合曲線(xiàn)，將曲線(xiàn)首、尾相連，形成一條直線(xiàn)L。如果曲線(xiàn)上其余各點(diǎn)到直線(xiàn)L的最大距離小于給定的擬合精度，則將曲線(xiàn)上介于直線(xiàn)L兩端的所有點(diǎn)舍去，直線(xiàn)L便是該曲線(xiàn)的擬合直線(xiàn)。如果最大距離大于給定的擬合精度，則保留到該直線(xiàn)距離最大的點(diǎn)，以此點(diǎn)為界，把曲線(xiàn)分成兩部分，并對(duì)這兩部分重復(fù)上述操作，直到曲線(xiàn)段上的所有點(diǎn)到對(duì)應(yīng)直線(xiàn)的距離小于給定的擬合精度。

對(duì)于閉合曲線(xiàn)，首先找到曲線(xiàn)上距離最遠(yuǎn)的兩點(diǎn)，連接這兩點(diǎn)把閉合曲線(xiàn)分成兩部分，對(duì)每一部分的擬合方法參照非閉合曲線(xiàn)。

圖2 道格拉斯-普克法多邊形擬合示意圖

如圖2所示，對(duì)圖中的橢圓進(jìn)行多邊形擬合。首先找到橢圓上距離最遠(yuǎn)點(diǎn)a、b，連接ab把橢圓分為兩部分。對(duì)于上半部分，求出各點(diǎn)（如圖中c、d、e）到直線(xiàn)ab的距離，點(diǎn)d到直線(xiàn)ab的距離最大且大于擬合精度，以點(diǎn)d為界把上半橢圓分為兩部分。連接ad、bd。對(duì)ad、bd之間的曲線(xiàn)依照上述方法分別處理，直到點(diǎn)到相應(yīng)直線(xiàn)的最大距離都小于擬合精度，算法結(jié)束。

3.3.2 凸多邊形判定準(zhǔn)則

把一個(gè)平面多邊形任意一邊向兩方無(wú)限延長(zhǎng)成為一條直線(xiàn)，如果多邊形的其他各邊均在此直線(xiàn)的同一側(cè)，該多邊形就叫做凸多邊形。

由線(xiàn)性規(guī)劃的知識(shí)，目標(biāo)函數(shù)相同側(cè)的點(diǎn)帶入到目標(biāo)函數(shù)中，函數(shù)值的符號(hào)是一致的。設(shè)多邊形有N個(gè)頂點(diǎn)，其中兩個(gè)相鄰頂點(diǎn)為P(x1，y1)、Q（x2，y2），根據(jù)直線(xiàn)的兩點(diǎn)式方程，PQ所在的直線(xiàn)方程為，整理可得：

令 t=x(y2－ y1)+y(x1－ x2)－ x1y2+x2y1，把其余N-2個(gè)點(diǎn)代入，當(dāng)且僅當(dāng)t的值全為正或負(fù)時(shí)，線(xiàn)段PQ為凸多邊形的一條邊。遍歷多邊形的所有邊，當(dāng)且僅當(dāng)多邊形的邊都為凸多邊形的邊，則多邊形為凸多邊形。

4 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)以VC++6.0為開(kāi)發(fā)環(huán)境，并基于Opencv1.0編程實(shí)現(xiàn)。該實(shí)驗(yàn)在W indow s XP系統(tǒng)的PC機(jī)上完成，處理器為E6700，主頻3.20 GHz，內(nèi)存2 GB，平均檢測(cè)時(shí)間為150 ms。

圖3 交通標(biāo)志檢測(cè)演示圖

圖3中，（a）為原始圖像，（b）為顏色規(guī)格化后的二值圖像。提?。╞）中交通標(biāo)志候選區(qū)域的最外層輪廓，把輪廓內(nèi)部填充為白色，并分別做4次膨脹運(yùn)算后得到（c）、（d）、（e）3幅二值圖像。（f）中紅色框內(nèi)區(qū)域表示（d）中區(qū)域因不滿(mǎn)足規(guī)則3被判定為干擾區(qū)域；黃色框區(qū)域?yàn)椋╟）、（e）兩區(qū)域最外層輪廓的擬合多邊形。（e）中區(qū)域擬合多邊形不是凸多邊形，被判定為干擾區(qū)域。最終檢測(cè)結(jié)果為（f）中藍(lán)色框標(biāo)定的部分。

圖4中，紅色框內(nèi)的區(qū)域，在二值圖像中為交通標(biāo)志干擾區(qū)域，因?yàn)椴粷M(mǎn)足規(guī)則3被排除，紅色的點(diǎn)為交通標(biāo)志候選區(qū)域的重心，藍(lán)色框?yàn)樽罱K檢測(cè)結(jié)果?？梢?jiàn)本文算法可以檢測(cè)我國(guó)任意形狀的交通標(biāo)志。

圖4 各種形狀交通標(biāo)志的檢測(cè)

圖5 傾斜及平面內(nèi)旋轉(zhuǎn)交通標(biāo)志的檢測(cè)

圖 5 中，（a）、（b）、（c）為傾斜的交通標(biāo)志，（d）、（e）、（f）、（g）分別為交通標(biāo)志旋轉(zhuǎn) 30°、90°、120°、210°的情況。重心及交通標(biāo)志的凸性具有傾斜和旋轉(zhuǎn)不變性，所以本文算法對(duì)交通標(biāo)志傾斜及平面內(nèi)旋轉(zhuǎn)的情況具有較好的魯棒性。

圖6 不含交通標(biāo)志圖像的檢測(cè)

圖6表明，對(duì)于沒(méi)有交通標(biāo)志的圖像，本文算法沒(méi)有帶來(lái)誤檢。

5 結(jié)束語(yǔ)

本文討論了對(duì)顏色規(guī)格化后的圖像進(jìn)行二值化操作時(shí)，感興趣顏色的選取問(wèn)題，得出了以紅、藍(lán)、黃為感興趣顏色引入干擾較少的結(jié)論。本文提出了兩種基于重心的干擾區(qū)域判定規(guī)則和一種基于道格拉斯-普克（Douglas-Peucke）多邊形擬合算法的交通標(biāo)志檢測(cè)方法。基于重心的干擾區(qū)域判定規(guī)則能夠快速有效地排除干擾區(qū)域；基于多邊形擬合的交通標(biāo)志檢測(cè)方法能夠檢測(cè)我國(guó)各種形狀的交通標(biāo)志。實(shí)驗(yàn)證明，本文算法簡(jiǎn)單有效，并且對(duì)交通標(biāo)志傾斜及旋轉(zhuǎn)的情況具有較好的魯棒性。

本文算法的不足之處在于顏色規(guī)格化閾值為經(jīng)驗(yàn)值，魯棒性較差；算法基于連通區(qū)域最外層輪廓進(jìn)行設(shè)計(jì)，對(duì)輪廓的完整性和獨(dú)立性要求較高。這兩點(diǎn)是后續(xù)研究待改進(jìn)的地方。

[1] 張 靜，何明一，戴玉超，屈曉剛.多特征融合的圓形交通標(biāo)志檢測(cè)[J].模式識(shí)別與人工智能，2011，24（2）：226-232.

[2] 簡(jiǎn) 楹.基于顏色和邊緣信息的交通標(biāo)志檢測(cè)[J].山西電子技術(shù)，2011（3）：6-7.

[3] 何江萍，馬 彥.基于形狀信息的三角形交通標(biāo)志檢測(cè)方法[J].計(jì)算機(jī)工程，2010，36（19）：198-199，202.

[4] Jesm in F. Khan, Sharif M. A. Bhuiyan, Reza R. Adham i. Image Segmentation and Shape Analysis for Road-Sign Detection[J]. IEEE TRANSACTION ON INTELLIGENTTRANSPORTATION SYSTEMS,2011,12(1):83-96.

[5] A. de la Escalera, J. Ma Armingol, M. Mata.Traffi c sign recognition and analysis for intelligent vehicles[J]. Image and Vision Computing, 2003,21(3):247-258.

[6] 朱雙東，蔣甜甜，劉蘭蘭.基于顏色規(guī)格化的交通標(biāo)志識(shí)別[J].計(jì)算機(jī)應(yīng)用與軟件，2008，25（1）：202-222.

[7] 劉 鑫，揚(yáng)立敬，朱雙東.快速交通標(biāo)志檢測(cè)預(yù)處理方法[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（29）：229-231，244.

[8] GB 5768.1—2009. 道路交通標(biāo)志和標(biāo)線(xiàn)[S].中國(guó)標(biāo)準(zhǔn)出版社，2009，7.

[9] Douglas D H, Peucker T K. A lgorithms for the reduction of the number of points required to represent a digitized line or its caricature[J]. The Canadian Cartographer,1973,10(2):112-122.