基于改進(jìn)Shape Context的分層交通標(biāo)志識別系統(tǒng)

秦 瑾，張新峰

（復(fù)旦大學(xué) 計算機科學(xué)技術(shù)學(xué)院，上海201203）

0 引 言

復(fù)雜背景中交通標(biāo)志的識別可以為智能車輛行駛提供很有價值的道路環(huán)境信息。智能交通標(biāo)志識別系統(tǒng)包括兩個基本步驟，即檢測與識別。通過顏色分割等技術(shù)可以檢測到交通標(biāo)志所在的區(qū)域，我們稱之為ROI（region of interest）。在交通標(biāo)志檢測方法中，可以通過顏色分割直接檢測出交通標(biāo)志［1］，也可以利用邊緣信息進(jìn)行形狀的檢測，通過離散曲線演變方法［2］檢測出交通標(biāo)志的形狀，該方法有較強的魯棒性，但計算過程比較繁瑣；還有利用Hough變換［3］及傅利葉變換［4］等方法確定形狀，但計算過程都比較復(fù)雜，時間復(fù)雜度較高。

對于交通標(biāo)志的識別技術(shù)，可以分為基于學(xué)習(xí)訓(xùn)練分類和基于模板分類兩種方法?；趯W(xué)習(xí)訓(xùn)練對交通標(biāo)志進(jìn)行分類的方法中，常見的有利用神經(jīng)網(wǎng)絡(luò)［5］進(jìn)行分類，通過SVM［6］分類器進(jìn)行分類等。另一種方法是直接利用模板進(jìn)行匹配分類，在與模板匹配的過程中有很多不同的方法。如用SURF技術(shù)［7］，利用角點或某些特征點建立描述子，進(jìn)行模板匹配。此外，J.F.Khan等［8］用Gabor濾波提取與亮度和顏色相關(guān)的局部穩(wěn)定特征點作為特征表述，與模板進(jìn)行匹配。對于模板匹配分類的方法，需要特征描述進(jìn)行模板匹配。

本文采用基于模板的識別方法，充分利用交通標(biāo)志的顏色形狀信息，提出了一種分層交通標(biāo)志識別系統(tǒng)。首先通過RGB空間的顏色分割，得到交通標(biāo)志的ROI，利用交通標(biāo)志的外輪廓信息實現(xiàn)形狀粗分類；然后采用文中提出的改進(jìn)Shape Context描述子對其內(nèi)部圖像進(jìn)行特征描述，與模板匹配，完成細(xì)分類，識別出交通標(biāo)志。通過粗分類到細(xì)分類兩層操作，可以快速準(zhǔn)確地識別出自然場景中的交通標(biāo)志。

1 分層交通標(biāo)志識別系統(tǒng)的設(shè)計

1.1 系統(tǒng)設(shè)計流程圖

交通標(biāo)志可以看作是圖形、符號和顏色的結(jié)合，充分利用交通標(biāo)志的這一特征，將其形狀和顏色結(jié)合起來進(jìn)行交通標(biāo)志的檢測與識別，可以達(dá)到較好的效果。本文提出了一種基于改進(jìn)Shape Context算法的快速分層交通標(biāo)志識別系統(tǒng)，系統(tǒng)的流程圖如圖1所示。整個識別系統(tǒng)分為三層，包括預(yù)處理層、粗分類層和細(xì)分類層。預(yù)處理層對輸入的測試圖像進(jìn)行處理后，可以突出目標(biāo)區(qū)域。

圖1 分層交通識別系統(tǒng)流程

1.2 預(yù)處理層

1.2.1 RGB空間顏色分割

交通標(biāo)志主要起提示、指示和警示作用，為了引起人們足夠的注意及判斷，日常生活中交通標(biāo)志通常采用一些比較固定特殊的顏色。我們可以看到，世界各國的交通標(biāo)志彼此間存在一定的差異，但幾乎都采用紅、藍(lán)、黃等顏色。因為在自然場景中，這些顏色比較突出，和背景顏色有著明顯的差異，我們的感官可以快速地區(qū)分出它們。

根據(jù)這樣一個經(jīng)驗，我們利用交通標(biāo)志的顏色特征在RGB空間進(jìn)行顏色分割，將交通標(biāo)志區(qū)域與背景區(qū)域分開。這樣可以縮小目標(biāo)范圍，減少計算量，更快速地定位識別出交通標(biāo)志。

交通標(biāo)志的識別通常是在自然場景中進(jìn)行，光照的影響無法避免。研究發(fā)現(xiàn)，在各個季節(jié)中白天不同時刻光照雖然不同，但是在一天中從早上到晚上，交通標(biāo)志區(qū)域特定的顏色，在RGB空間，與其它顏色的值有較大的差距［9］。以紅色交通標(biāo)志為例，在一天中不同光照強度下，交通標(biāo)志處R值與G值、B值間差值仍然比較明顯。據(jù)此，可以利用它們之間的差值作為顏色分割的標(biāo)準(zhǔn)。

在本文中，通過RGB空間顏色分割，足以為后繼的各層處理提供足夠的信息。以R、G、B為軸建立空間直角坐標(biāo)系，將每個軸量化為0－255之間的值，用3個通道來表示圖像中的每個像素點。我們令ΔRG、ΔRB分別表示在RGB空間中紅色通道和綠色與藍(lán)色通道之間的差值。同理，用ΔGR和ΔGB作為綠色通道的閾值，ΔBG和ΔBR則代表藍(lán)色通道的閾值。本文中采用算法1作為圖像分割算法。

算法1：RGB 圖像分割算法輸入：測試圖像輸出：分割結(jié)果對圖像中每一個像素點Pi，用 （Ri，Gi，Bi）來表示。（1）FOR每一個像素點Pi（2） IF Ri＞Gi ＆ ＆ Ri－Gi≥ΔRG ＆ ＆ Ri－Bi≥ΔRB則Pi為紅色（3） ELSE IF Gi＞Ri ＆ ＆ Gi－Ri≥ΔGR ＆ ＆ Gi－Bi≥ΔGB則Pi為綠色（4） ELSE IF Bi＞Gi ＆ ＆ Bi－Gi≥ΔBG ＆ ＆ Bi－Ri≥ΔBR則Pi為藍(lán)色（5） ELSE Pi為白色或黑色（6） ENDIF（7）END

在算法1中，由于用顏色通道之間的差值來分割，考慮了各顏色通道之間的相互關(guān)系。所以對各閾值的取值要求并不高。我們根據(jù)經(jīng)驗數(shù)據(jù)確定閾值參數(shù)ΔRG＝30、ΔRB＝20、ΔBG＝30、ΔBR＝50。為方便后面各層的進(jìn)一步處理，將分割結(jié)果以 （0，1）二值圖形式保存。對自然場景圖2（a）采用顏色分割后，圖中紅色交通標(biāo)志的分割結(jié)果如圖2（b）所示。圖2中，通過分割后，可以得到交通標(biāo)志的外部輪廓區(qū)域，將目標(biāo)的范圍大大縮小。

圖2 RGB空間顏色分割

1.2.2 確定感興趣區(qū)域 （ROI）

通過前面RGB空間的顏色分割，得到的分割區(qū)域通常不止一塊，我們感興趣的交通標(biāo)志區(qū)域包含在分割圖像中。需要將干擾部分去掉，得到交通標(biāo)志的候選區(qū)域。在自然場景圖像中，交通標(biāo)志所占的比例很小，所以檢測到交通標(biāo)志ROI，縮小目標(biāo)區(qū)域，可以使整個識別系統(tǒng)的處理速度大大提高。

很多文章中利用膨脹及腐蝕的方法來去除干擾。在本文中，我們利用顏色分割后得到的連通區(qū)域的大小特征來去除干擾。為了提取到盡可能緊密的連通區(qū)域，但又可以把一些不是同一塊目標(biāo)的區(qū)域區(qū)分開，文中選擇4連通原則來確定連通區(qū)域。得到各個連通區(qū)域后，統(tǒng)計連通區(qū)域的面積 （即連通域中的像素點個數(shù)），根據(jù)面積大小去除干擾。通常干擾部分的面積比交通標(biāo)志的面積要小得多，如圖2（b）中結(jié)果所示。本文中采用算法2中所示的步驟得到交通標(biāo)志的候選ROI。

算法2：確定候選ROI算法輸入：RGB空間顏色分割二值圖像輸出：候選ROI的連通域（1）用4連通原則對顏色分割得到的二值圖像提取連通域；（2）計算各個連通域的面積，統(tǒng)計各連通域中的像素點個數(shù)，找出面積最大的兩個區(qū)域，依次記為S1，S2；（3）若面積S2與S1之間相差很大，即S1－S2＞TS（TS為面積閾值，實驗中取TS＝0.5S1）則直接舍去S2，將S1作為候選ROI連通域輸出，否則將S1，S2都作為候選ROI連通域輸出。

用算法2對圖2（b）中分割圖像確定候選ROI，得到的結(jié)果如圖3所示，背景中的干擾被消除掉了。在文中提出的分層識別系統(tǒng)中，得到交通標(biāo)志ROI后，對其進(jìn)行交通標(biāo)志的形狀粗細(xì)分類完成識別功能。

1.3 粗分類層

對形狀分類的方法有很多，文中我們采用標(biāo)記 （signature）實現(xiàn)交通標(biāo)志外輪廓的形狀粗分類。由于直接對顏色分割后的ROI區(qū)域 （圖3）進(jìn)行邊緣提取，得到的形狀輪廓不一定是單一像素的邊緣，如圖4所示。

圖4 中的邊界有兩層，如果直接進(jìn)行ROI邊界標(biāo)記圖描述，不利于準(zhǔn)確進(jìn)行形狀分類，需要對圖像進(jìn)行一些處理消除這種干擾?？梢栽谛螤畲址诸惽埃炔捎每锥刺畛浼夹g(shù)，得到單一像素邊緣后再作進(jìn)一步處理。

圖5 （a）中是對ROI進(jìn)行孔洞填充后的結(jié)果，此時再對ROI進(jìn)行邊緣提取，得到圖5（b）中所示的單一像素邊緣。得到單一像素邊緣后，采用標(biāo)記圖 （signature）作為形狀特征對ROI進(jìn)行形狀粗分類。

圖5 孔洞填充實現(xiàn)單一像素邊緣

標(biāo)記 （signature）作為一種圖像邊界表示方法，將最初的二維邊界簡化為一個一維函數(shù)，于是更容易描述邊界形狀［10］。標(biāo)記可以通過多種方法產(chǎn)生，文獻(xiàn) ［11］中采用（r，θ）標(biāo)記來表示邊界，本文中我們采用一種簡單的生成方法，利用質(zhì)心到邊界上各點i的距離Dis（i）作為邊界的標(biāo)記。

將待確定形狀的圖像邊界點集用集合E＝｛（xi，yi）｝來表示，其中i＝1，2，...，N表示第i個邊界點，N表示邊界點的個數(shù)。該形狀的質(zhì)心 （x0，y0）用式 （1）表示

則圖像邊界的標(biāo)記可以表示為式 （2）

日常生活中常見的交通標(biāo)志主要有圓形、三角形和矩形等形狀。文中采用標(biāo)記法主要對這3種常見形狀進(jìn)行粗分類。圖6中給出了圓形、三角形和矩形這3種形狀的標(biāo)記圖曲線。圖6中上面表示3種形狀，下面的波形分別對應(yīng)其標(biāo)記圖曲線。標(biāo)記圖曲線中，坐標(biāo)橫軸每一刻度對應(yīng)一個邊界點，表示從水平夾角開始，逆時針遍歷各個邊界點；縱軸表示邊界點到質(zhì)心點的距離，圖6中將所有距離都作了歸一化處理，幅值范圍為（0，1］。

圖6 形狀標(biāo)記曲線

從圖6所示的曲線中我們可以看出，這3種形狀標(biāo)記圖的均值和方差都有各自的特點。據(jù)此，可以對ROI進(jìn)行形狀粗分類。定義Dis（i）的均值Meand和標(biāo)準(zhǔn)差Vard為

計算出目標(biāo)圖像中候選ROI的標(biāo)記圖均值和方差，并根據(jù)式 （5）的標(biāo)準(zhǔn)對其進(jìn)行形狀粗分類。若都不滿足，則說明該候選ROI不屬于交通標(biāo)志，將其排除

為了確保真實性，式 （5）中的閾值根據(jù)交通標(biāo)志模板中形狀的標(biāo)記特征確定。對模板中交通標(biāo)志形狀進(jìn)行邊界標(biāo)記描述，并統(tǒng)計標(biāo)記的均值和方差特征，結(jié)果見表1。

表1 形狀特征參數(shù)

用上述的標(biāo)記特征描述形狀并用其對形狀進(jìn)行分類，其中一個優(yōu)點是具有旋轉(zhuǎn)不變性，對形狀的分類有較高的準(zhǔn)確率，并且可以去掉偽候選ROI。此外，由于只需對圖像中交通標(biāo)志所在的ROI進(jìn)行處理，邊界點的數(shù)量并不大，分類速度比較快。

1.4 細(xì)分類層

交通標(biāo)志可以視為由兩個部分構(gòu)成的圖形，如圖7中所示，包括交通標(biāo)志的外部形狀及內(nèi)部內(nèi)容。

圖7 交通標(biāo)志的結(jié)構(gòu)

經(jīng)過前面的粗分類后，交通標(biāo)志內(nèi)部圖形的識別可以看作是和模板內(nèi)部圖形的匹配問題。對于同一外輪廓形狀的交通標(biāo)志，通過對其內(nèi)部內(nèi)容與模板進(jìn)行匹配實現(xiàn)細(xì)分類，即可完成整個交通標(biāo)志識別系統(tǒng)的功能。文中利用改進(jìn)的Shape Context實現(xiàn)細(xì)分類，識別交通標(biāo)志。

在本文中改進(jìn)的算法中，并不像傳統(tǒng)的Shape Context那樣，需要對所有采樣點都統(tǒng)計直方圖，而是用粗分類步驟中的質(zhì)心 （x0，y0）（見式 （1））為中心點，計算質(zhì)心和內(nèi)部圖形邊界點之間形成的直方圖。與具有相同外部輪廓形狀的交通標(biāo)志模板計算cost值，cost值最小的模板即為識別結(jié)果。

由于交通標(biāo)志的內(nèi)部圖像占相對面積不大，當(dāng)光照條件影響較大時，利用顏色信息效果不理想。同時，輪廓信息對于人類的感知而言同樣重要，即使是在一些復(fù)雜的環(huán)境中，輪廓也是一種比較突出且穩(wěn)定的信息。于是我們針對不同的交通標(biāo)志內(nèi)容，通過目標(biāo)與模板的內(nèi)部圖形形狀相似度比較，找到匹配的模板。本文中將采用一種改進(jìn)的Shape Context描述子來描述兩幅圖像的相似度。

Shape Context描述子［12］利用輪廓上點與點之間的關(guān)系判斷兩者相似性。對一幅圖中的N個點，任意一個點p，它與其它的N－1個點之間的位置關(guān)系可以形成N－1維向量。利用極坐標(biāo)圖對點p周圍的點進(jìn)行統(tǒng)計。通過式 （6）統(tǒng)計點p的對數(shù)極坐標(biāo)直方圖，k表示第k個統(tǒng)計區(qū)間，統(tǒng)計過程如圖8所示。對于字符A中標(biāo)記的點，利用對數(shù)極坐標(biāo)系統(tǒng)對其進(jìn)行直方圖統(tǒng)計。圖8（b）中，將對數(shù)極坐標(biāo)按長度分為5個區(qū)間，按角度分為12個區(qū)間，則總共得到60個區(qū)間。圖8（c）中，對每個區(qū)間的邊界點個數(shù)進(jìn)行統(tǒng)計，顏色越深，表示該區(qū)間的點個數(shù)越多

圖8 Shape Context描述子

文中的改進(jìn)主要體現(xiàn)在兩個方面：

（1）采用外部形狀質(zhì)心與內(nèi)部圖形邊界點的相互關(guān)系計算相似度

在傳統(tǒng)的Shape Context中，對于圖像中的所有形狀邊界點，都會進(jìn)行直方圖統(tǒng)計，然后進(jìn)行匹配度的計算。采用外部形狀的質(zhì)心為中心點，而不是所有邊界點，更有利于去掉冗余計算，提高識別系統(tǒng)的識別速度。

（2）利用邊緣點總數(shù)進(jìn)行歸一化統(tǒng)計

Shape Context需要匹配的邊緣點個數(shù)一致。為了保留內(nèi)部圖形的完整性，當(dāng)被識別的標(biāo)志與模板中的邊界點個數(shù)不一樣時，不需要進(jìn)行稀疏采樣或插入點使其點個數(shù)一致，而是采用對點總數(shù)進(jìn)行歸一化來統(tǒng)計直方圖。

得到直方統(tǒng)計圖后，通過計算需匹配的兩邊界點pi和qi直方圖的χ2距離［12］來判斷其是否匹配。匹配標(biāo)準(zhǔn)cost值定義為式 （7）。cost的值在0～1之間，其值越小形狀越匹配

與傳統(tǒng)的Shape Context相比較，本文中的算法大大減少了計算時間，不需要進(jìn)行重復(fù)的匹配計算。在測試圖像與模板圖像匹配過程中，取cost值最小的為識別結(jié)果。實驗表明，當(dāng)與模板匹時，cost值介于0.1～0.3之間。

2 實驗結(jié)果與分析

本文提出的分層交通標(biāo)志識別系統(tǒng)使用文獻(xiàn) ［13］中的數(shù)據(jù)集進(jìn)行實驗。該數(shù)據(jù)集中的模板如圖9所示。數(shù)據(jù)集中分別有三角形、圓形和矩形三類交通標(biāo)志。

圖9 交通標(biāo)志模板

實驗中分別對圓形、三角形、矩形交通標(biāo)志進(jìn)行識別，利用本文中提出的分層識別系統(tǒng)，先進(jìn)行形狀細(xì)分類，再對內(nèi)部圖像用改進(jìn)后的Shape Context計算與模板的相似度，得出最終的分類。本文與另一種直接分割用Shape Context描述子進(jìn)行匹配的識別系統(tǒng)［14］進(jìn)行了對比。實驗結(jié)果見表2。

表2 實驗結(jié)果

從表2的實驗結(jié)果中可以看出，通過分層后，總體而言，可以實現(xiàn)更高的準(zhǔn)確率，準(zhǔn)確率基本達(dá)到90%以上。此外，實驗中采用改進(jìn)Shape Context描述子，把質(zhì)心作為中心點，并通過歸一化的方法求相似度，減少了很多冗余的計算，提高了交通標(biāo)志識別系統(tǒng)的速度。

3 結(jié)束語

本文中提出的分層交通識別系統(tǒng)，包括圖像預(yù)處理層、粗分類層和細(xì)分類層。圖像經(jīng)過預(yù)處理后，進(jìn)行外部形狀的粗分類，再對內(nèi)部圖像利用改進(jìn)的Shape Context與模板中的標(biāo)志進(jìn)行匹配細(xì)分類。實驗表明，本文中的方法可以快速并準(zhǔn)確地對交通標(biāo)志進(jìn)行識別。本文只針對三角形、矩形和圓形3種形狀的交通標(biāo)志進(jìn)行識別，在今后的工作中可以考慮更多形狀類型的交通標(biāo)志，使文中的分層識別系統(tǒng)性能更加完善。

［1］Eom Tae Jung，Kalyan Goswami.Hybrid color space based road sign detection technique［C］／／Berlin：ICCE，2012：81－83.

［2］XU Shaoqiu.Traffic sign detection and shape recognition in outdoor environments［J］.Journal of Image and Graphics，2009，14 （4）：707－711（in Chinese）.［許少秋.戶外交通標(biāo)志檢測與形狀識別［J］.中國圖象圖形學(xué)報，2009，14 （4）：707－711.］

［3］ZHU Guiying，ZHANG Ruilin.Circle detection using Hough transform ［J］.Computer Engineering and Design，2008，29（6）：1462－1464 （in Chinese）.［朱 桂英，張瑞林.基 于Hough變換的圓檢測方法 ［J］.計算機工程與設(shè)計，2008，29（6）：1462－1464.］

［4］Pedro Jimenez，Saturnino Maldonado.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2－D homographies ［J］.Signal Processing，2008，88 （12）：2943－2955.

［5］Ciresan D，Meier U，Masci J.A committee of neural networks for traffic sign classification ［C］／／CA：The International Joint Conference on Neural Networks，2011：1918－1921.

［6］Saturnino Maldonado－Bascón.Road－sign detection and recognition based on support vector machines［J］.IEEE Transactions on Intelligent Transportation Systems，2007，8 （2）：264－278.

［7］Erdal Oruklu，Damien Pesty.Real－time traffic sign detection and recognition for in－car driver assistance systems ［C］／／USA：MWSCAS，2012：976－979.

［8］Konchar A，Janbn H，Halgamuge S.Gabor wavelet similarity maps for optimising hierarchical road sign classifiers ［J］.Pattern Recognition Letters，2007，28 （2）：260－267.

［9］Yang Siyan，Wu Xiaoying，Miao Qiguang.Road－sign segmentation and recognition in natural scenes ［C］／／Xi’an：ICSPCC，2011：1－4.

［10］Rafael C Gonzale，Woods R E，Eddins S L.Digital image processing using MATLA ［M］.RUAN Qiuqi，transl.Beijing：Publishing House of Electronics Industry，2009：337－340 （in Chinese）.［岡薩雷斯，Woods R E，Eddins S L.數(shù)字圖像處理 （MATLAB版）［M］.阮秋琦，譯.北京：電子工業(yè)出版社，2009：337－340.］

［11］GU Mingqin，CAI Zixing，HE Fenfen.Traffic sign recognition based on shape signature and Gabor wavelets ［J］.CAAI Transactions on Intelligent Systems，2011，6 （6）：526－530 （in Chinese）.［谷明琴，蔡自興，何芬芬.形狀標(biāo)記圖和Gabor小波的交通標(biāo)志識別 ［J］.智能系統(tǒng)學(xué)報，2011，6 （6）：526－530.］

［12］Kai Li，Weiyao Lan.Traffic indication symbols recognition with shape context［C］／／Singapore：ICCSE，2011：852－855.

［13］Grigorescu C，Petkov N.Traffic sign image database ［DB］.［2013－03－17］.http：／／www.cs.rug.nl／～imaging／databases／traffic＿sign＿database／traffic＿sign＿database.html.

［14］Guan Ruimin，Yang Su，Wang Yuanyuan.Symbol recognition in natural scenes by shape matching across multi－scale segmentations［G］.Lecture Notes in Computer Science 7423：New Trends and Challenges，2011：59－68.