基于分水嶺變換的互相遮擋交通標志自適應(yīng)分離

李 厚 杰, 邱 天 爽, 宋 海 玉, 賀 建 軍

( 1.大連理工大學(xué) 電子信息與電氣工程學(xué)部, 遼寧 大連 116024;2.大連民族學(xué)院 信息與通信工程學(xué)院, 遼寧 大連 116600;3.大連民族學(xué)院 計算機科學(xué)與工程學(xué)院, 遼寧 大連 116600 )

?

基于分水嶺變換的互相遮擋交通標志自適應(yīng)分離

李 厚 杰1,2, 邱 天 爽*1, 宋 海 玉3, 賀 建 軍2

( 1.大連理工大學(xué) 電子信息與電氣工程學(xué)部, 遼寧 大連 116024;2.大連民族學(xué)院 信息與通信工程學(xué)院, 遼寧 大連 116600;3.大連民族學(xué)院 計算機科學(xué)與工程學(xué)院, 遼寧 大連 116600 )

針對交通標志檢測中標志互相遮擋導(dǎo)致檢測性能下降的問題,提出一種基于分水嶺變換的互相遮擋標志自適應(yīng)分離算法．基于RGB歸一化閾值分割算法對標志圖像進行二值化處理,然后構(gòu)造區(qū)域輪廓特征矢量對二值圖像中各個興趣區(qū)域進行匹配,確定并提取互相遮擋標志候選區(qū)域Blob．對提取的低維數(shù)Blob進行形態(tài)學(xué)膨脹處理,使不連續(xù)的邊緣趨于連續(xù),然后利用歐氏距離變換和分水嶺變換尋求標志間分水嶺脊線,利用脊線實現(xiàn)標志的自適應(yīng)分離．實驗結(jié)果表明算法取得較好的分離效果,在整個標志檢測應(yīng)用中,與現(xiàn)有算法相比,檢測率提高了6.1%,處理速度提升了近3倍．

分水嶺變換；交通標志；互相遮擋；區(qū)域特征；自適應(yīng)分離

0 引 言

基于計算機視覺的交通標志識別系統(tǒng)(TSR)是智能交通系統(tǒng)的重要組成部分,交通標志圖像的標志檢測是識別系統(tǒng)的關(guān)鍵技術(shù)．近年來,出現(xiàn)了很多交通標志檢測算法,主要分為兩類:依賴訓(xùn)練數(shù)據(jù)的機器學(xué)習(xí)算法和基于標志形狀的理論模型算法[1]．在基于機器學(xué)習(xí)的檢測算法中,主要采用SVM[2]、決策樹[3]、神經(jīng)網(wǎng)絡(luò)[4],以及Cascaded[5]等分類器,它們提取和利用HOG特征、Haar小波特征、DtB特征或形狀標簽的FFT特征等對訓(xùn)練集進行訓(xùn)練,獲取相應(yīng)的分類器,再用于標志檢測．基于標志形狀的理論模型算法,是根據(jù)交通標志的特有形狀,利用形狀檢測器進行搜索檢測．Moutarde 等[6]采用Hough變換檢測器檢測限速標志,但計算開銷大,很難滿足實時要求．Loy等[7]提出了一種快速徑向?qū)ΨQ變換,Barnes等[8]首次利用它進行澳大利亞限速標志的檢測,取得了較好的檢測效果,它計算快速,易于滿足實時性要求．Loy等在文獻[9]中對徑向?qū)ΨQ變換進行了擴展,不僅能夠?qū)A形標志進行檢測,而且能夠檢測正多邊形標志,得到了廣泛的關(guān)注和應(yīng)用[1]．

在兩類檢測算法,特別是第二類算法中,往往利用交通標志特有的顏色信息進行圖像分割[1],以期初步確定標志和縮小搜索空間,進而降低計算復(fù)雜度．但在分割之后的二值圖像中,可能會出現(xiàn)交通標志互相遮擋問題．互相遮擋的多個交通標志(通常為2～3個)在二值圖像中會形成一個連通區(qū)域,從而被誤判為一個標志,在后續(xù)處理中往往被濾除,降低了檢測性能．目前的檢測算法對此關(guān)注較少,在文獻[10]中,Bui-Minh等提出了兩種分離算法．第一種算法利用互相遮擋標志內(nèi)部區(qū)域之間不連通的特性進行分離,但當遮擋程度高時,分離失?。诙N算法基于分水嶺變換進行分離,不再受遮擋程度的約束,但這種算法是對整幅圖像進行處理,即使沒有互相遮擋的標志,也會進行同樣的分離處理,大大增加了計算成本,而且當互相遮擋的標志外輪廓在二值化圖像中出現(xiàn)不連續(xù)時,可能會產(chǎn)生孔洞填充失效現(xiàn)象,從而導(dǎo)致標志被丟棄,降低了整體檢測性能．

本文針對以上問題,提出一種基于分水嶺變換的自適應(yīng)分離算法,僅對低維數(shù)的Blob區(qū)域進行分離處理,以有效降低時間開銷,提高整體檢測性能．

1 基于分水嶺變換的自適應(yīng)分離算法

1.1 基于RGBN的彩色分割

為了從背景中提取交通標志候選目標區(qū)域,首先對交通標志圖像進行二值化處理．本文采用RGB歸一化(RGBN)彩色圖像分割算法[11],利用標志顏色信息對彩色輸入圖像進行二值化分割處理．在RGB空間,三基色的歸一化分量可表示為

(1)

對于禁止標志而言,利用了紅色信息,紅色掩模表示如下:

(2)

其中Rth和Gth分別為紅色和綠色歸一化分量的閾值．

1.2 互相遮擋標志候選Blob區(qū)域判決與提取

1921年，當北平協(xié)和醫(yī)學(xué)院協(xié)和醫(yī)院開展社會服務(wù)之時，它被認為是“試驗性的”。當時即便是在美國，在大型醫(yī)療中心之外提供醫(yī)療性社會服務(wù)也屬鳳毛麟角。當時，在中國存在著關(guān)于進行家訪是否可行？社區(qū)是否擁有足夠的資源以使社會工作可以有效開展的疑慮。因此，北平協(xié)和醫(yī)院社會服務(wù)部成立之初的3-4年間，始終在探索哪些是可以開展的服務(wù)。實踐證明，除極少數(shù)情況之外，病患們都歡迎社會服務(wù)部的人員到家中探訪。病患們因為有人對他們像關(guān)心自己一樣而感到格外高興。他們不僅與我們交談，向我們傾訴，允許我們訪問他們的家庭，而且他們還帶著他們的問題主動來拜訪我們。

為了降低計算開銷,本文算法僅對互相遮擋標志候選Blob區(qū)域進行處理．為此,本文構(gòu)造了一個區(qū)域輪廓特征矢量V=(NpArSLmin),其中Np為二值圖像8連通區(qū)域中值為1的像素數(shù),Ar為8連通區(qū)域的最小外接矩形的縱橫比,S為最小外接矩形的面積,Lmin為外接矩形的最小邊長．對于交通圖像中的交通標志而言,有意義的標志區(qū)域尺寸是有限的,比如德國交通標志數(shù)據(jù)集GTSDB[12],交通標志的區(qū)域尺寸范圍為16 pixel×16 pixel至128 pixel×128 pixel．因此,根據(jù)經(jīng)驗可以獲取區(qū)域輪廓特征閾值,即Vth=(Np,thAr,thSthLmin,th),通過閾值匹配處理,可以確定Blob區(qū)域的特性．判決和提取步驟如下:

步驟1去噪預(yù)處理:利用形態(tài)學(xué)開運算對二值分割圖像中8連通區(qū)域像素小于Np,th的干擾區(qū)域進行消除處理．

步驟2計算最小外接矩形:對預(yù)處理后二值圖像進行連接分量標注,獲得標記矩陣L,然后對標記矩陣L中所有標注的連接分量計算最小外接矩形,獲取各個候選標志Blob區(qū)域信息．

步驟3區(qū)域判決:計算各個Blob區(qū)域特征參數(shù),獲得區(qū)域輪廓特征矢量V．依據(jù)特征參數(shù)S和Lmin進一步確定非目標區(qū)域,并丟棄不予考慮．對于確認的候選目標Blob,設(shè)定縱橫比參數(shù)閾值A(chǔ)r,th．對于單個正方形或圓形標志而言,理想狀態(tài)下外接矩形Blob區(qū)域的縱橫比為1；而對等邊三角形標志而言,縱橫比近似為1.15(垂直放置)或0.87(水平放置)．同時,考慮到傾斜、旋轉(zhuǎn)等實際復(fù)雜環(huán)境,需設(shè)置縱橫比偏移因子αi和βi(互相遮擋標志通常為2～3個,i=1,2,3)．對于標志水平排列時,縱橫比閾值A(chǔ)r,th=[i-αi,i+βi]；而對于標志垂直排列時,采用縱橫比的倒數(shù)作為判別變量,閾值A(chǔ)r,th不變,i為Blob區(qū)域標志個數(shù)．當候選目標Blob區(qū)域的縱橫比擊中i=1的閾值區(qū)間時,該區(qū)域判定為單個標志Blob區(qū)域,無須分離,直接提??；如果縱橫比擊中i=2,3的閾值區(qū)間,則判定為標志互相遮擋Blob區(qū)域．

步驟4區(qū)域提取:對于互相遮擋標志Blob區(qū)域,根據(jù)其最小外接矩形的坐標信息,進行Blob區(qū)域提取．

1.3 基于分水嶺變換的標志分離

分水嶺變換是一種基于拓撲理論數(shù)學(xué)形態(tài)學(xué)的圖像分割算子,能夠把圖像分割為多個互不重疊的相似區(qū)域．Vincent等[13]提出了一種基于模擬淹沒快速計算方法,使分水嶺變換得到了廣泛應(yīng)用．本文利用分水嶺變換對含有遮擋標志的Blob區(qū)域進行處理,尋求遮擋標志之間的分水嶺脊線,實現(xiàn)遮擋標志的自適應(yīng)分離．具體步驟如下:

步驟1形態(tài)學(xué)膨脹處理:對Blob區(qū)域進行形態(tài)學(xué)膨脹算子處理,通過其變粗或加長功能使不連續(xù)的標志邊緣趨于連續(xù)．對于膨脹運算,變粗的程度取決于結(jié)構(gòu)元素,在本算法中,采用了平坦的圓盤形結(jié)構(gòu)算子,半徑取為2,既保證了邊緣的連續(xù)性,又不至于過膨脹．

Xk=(Xk-1⊕B)∩Ac；k=1,2,…

(3)

步驟3分水嶺變換:距離變換結(jié)果圖像在三維上形象為一個分水嶺地形結(jié)構(gòu),互相遮擋中的每個交通標志區(qū)域構(gòu)成了一個匯水盆地,通過分水嶺變換在匯水盆地之間構(gòu)建水壩,也即尋求分水嶺脊線．令P1,P2,…,Pm表示圖像I(x,y)區(qū)域最小值點的坐標集合,令C(Pi)表示與Pi相聯(lián)系的匯水盆地中的點坐標集合,T(n)表示滿足I(s,t)

T(n)={(s,t)|I(s,t)

(4)

利用模擬淹沒過程實現(xiàn)分水嶺變換[14],令Cn(Pi)表示匯水盆地中與淹沒階段n的最小值Pi相關(guān)聯(lián)點的坐標集合,則Cn(Pi)是一幅由式(5)給出的二值圖像．

Cn(Pi)=C(Pi)∩T(n)

(5)

令C(n)表示階段n中已被淹沒的匯水盆地的合集,C(Imax+1)則為所有匯水盆地的合集．即

(6)

顯然,C(n)是T(n)的一個子集,所以,C(n-1)可以理解為T(n)的一個子集,也就是說C(n-1)中的每個連通分量都恰好包含在T(n)的一個連通分量中．初始化C(Imin+1),即C(Imin+1)=T(Imin+1),通過遞歸處理,由C(n-1)構(gòu)建C(n),從而尋找分水嶺脊線．令Q表示T(n)中的連通分量的集合,對于每個連通分量q∈Q(n),當遇到一個新的最小值時,q∩C(n-1)為空集,則q并入C(n-1)形成C(n)；當q位于某些局部最小值的匯水盆地時,q∩C(n-1)包含C(n-1)的一個連通分量,q并入C(n-1)形成C(n)；當遇到全部或部分分隔兩個或多個匯水盆地的山脊線時,q∩C(n-1)包含C(n-1)的一個以上連通分量,此時,使用3×3元素值為1的對稱結(jié)構(gòu)元素對q∩C(n-1)進行形態(tài)學(xué)膨脹處理,并且膨脹被約束在q,這樣就可以構(gòu)建一個像素寬度為1的分水嶺脊線．

步驟4標志分離:通過分水嶺變換獲取分水嶺脊線二值圖像(脊線為0,背景為1),然后與標志互相遮擋Blob子圖像進行“與”運算,從而通過脊線分離了重疊在一起的標志區(qū)域．再通過區(qū)域輪廓特征矢量對分離后的區(qū)域進行候選標志再確認,對滿足單個標志特征的分離區(qū)域進行提取,否則,丟棄處理．

2 實 驗

為了驗證本文算法的有效性,在德國交通標志數(shù)據(jù)集GTSDB上對含有紅色信息的交通標志進行了實驗測試．GTSDB的TrainIJCNN2013數(shù)據(jù)集含有600幅交通標志圖像,其中出現(xiàn)交通標志互相遮擋圖像20幅,涉及互相遮擋交通標志約60個．本實驗以CPU 2.8 GHz,內(nèi)存1.99 GB的個人PC機為硬件平臺,Windows XP操作系統(tǒng)為軟件平臺,使用Matlab R2010b進行仿真．另外,根據(jù)實驗數(shù)據(jù)集,主要參數(shù)設(shè)置為Rth=3.5；Gth=3；Vth=(80 [270,20 000] {[0.8,1.3],[1.4,2.3],[2.6,3.2]} 16)．

2.1 分離效果比較

本文對不進行分離、采用文獻[10]算法分離和本文算法分離3種情況進行了比較實驗,如圖1所示．為了視覺效果,分別對原始圖像中的交通標志以及標志的二值圖像進行了局部放大．從圖1(d)可以看到,干擾區(qū)域的消除效果明顯．圖1(e) 顯示了三角形反向彎路標志和限速70圓形標志之間產(chǎn)生了互相遮擋問題,如不進行分離,則被看成一個區(qū)域,不滿足單個標志的區(qū)域輪廓特征而被丟棄,如圖1(f)所示．在文獻[10]的分離算法中,反向彎路標志邊緣的不連續(xù)性,導(dǎo)致孔洞填充失效,只保留了70限速標志,反向彎路標志定位失敗,如圖1(h)～(j)所示．而本文算法解決了這一問題,互相遮擋標志得到了有效分離．

從圖2中可以看到,圖中左邊的120限速標志和卡車禁止超速標志之間不存在互相遮擋現(xiàn)象,文獻[10]分離算法不具有識別能力,仍然進行了分離處理．而本文算法進行了判決,能夠自動識別標志遮擋特性,僅對右邊具有遮擋標志進行分離處理,體現(xiàn)了較好的自適應(yīng)能力．

另外,文獻[10]提出的算法是對整幅圖像進行處理,而本文算法僅對具有互相遮擋標志的Blob區(qū)域進行處理,如圖3所示．顯然,從視覺效果上看,文獻[10]算法的計算處理開銷要遠大于本文算法．

圖1 交通標志分離對比實驗結(jié)果

圖2 標志分離自適應(yīng)性實驗結(jié)果

圖3 計算開銷比較結(jié)果

2.2 在標志檢測中的效果評價

本文把分離處理作為整個標志檢測的一個重要階段進行實驗測試,通過整體檢測效果來客觀評價分離算法的有效性．在標志檢測中,對分離處理后的Blob候選標志,采用本文提出的基于徑向?qū)ΨQ變換的禁止標志圓形檢測器進行標志檢測．以GTSDB的TrainIJCNN2013數(shù)據(jù)集600幅圖像為測試對象,其中圓形禁止標志396個,實驗結(jié)果如表1所示．Tp為交通標志真正數(shù),即檢測結(jié)果是交通標志的數(shù)量；Fn為交通標志假負數(shù),即所有沒有被檢測出的交通標志數(shù)；Fp為交通標志假正數(shù),即不是標志而被檢測為標志的數(shù)量；R為召回率,即正確檢測率；Fppf為每幀圖像平均假正率；Atpf為每幀圖像平均處理時間．從結(jié)果中可以看出,本文算法的正確檢測率比文獻[10]分離算法提高了6.1%,在每幀平均處理速度上提升了近3倍,體現(xiàn)了本文算法的有效性．

表1 兩種算法在交通標志檢測中的性能比較

2.3 討 論

本文實驗分別給出了標志分離效果和在交通標志檢測中的有效性客觀評價．從實驗結(jié)果上看,本文提出的自適應(yīng)分離算法無論在分離效果上,還是在整個標志檢測中檢測率和處理速度上均優(yōu)于文獻[10]的分離算法．本文算法通過構(gòu)造區(qū)域輪廓特征矢量,利用匹配處理能夠自動識別區(qū)域Blob標志遮擋特性,對于單個標志Blob不做分離處理,直接提取進行后續(xù)標志檢測；對于不滿足標志區(qū)域輪廓特征的Blob直接丟棄；而對于滿足標志互相遮擋區(qū)域特征的候選Blob區(qū)域,開始啟動分水嶺分離處理．顯然,這種自適應(yīng)分離算法,僅對維數(shù)較低的Blob區(qū)域進行處理,計算成本必然下降,處理速度得到提高．而對于標志邊緣不連續(xù)性,通過形態(tài)學(xué)膨脹處理,使其趨于連續(xù),有效緩解了分離性能變差的問題．當然,對于不連續(xù)性嚴重的狀況,膨脹處理的效果不再明顯．如圖3(b) 所示,圖中左邊的三角形標志邊緣斷裂嚴重,兩種算法都定位失?。绾胃玫馗纳七吘夁B續(xù)性和優(yōu)化顏色分割性能將是下一步的研究重點．

3 結(jié) 論

本文提出的互相遮擋標志自適應(yīng)分離算法,較好地實現(xiàn)了遮擋標志的分離．利用構(gòu)造的區(qū)域輪廓特征判決標志候選區(qū)域的遮擋特性,自適應(yīng)地進行遮擋標志的分離處理,有效解決了現(xiàn)有方法計算開銷大的問題．本文提出的分離算法在整個標志檢測應(yīng)用中體現(xiàn)了較好的有效性,與現(xiàn)有方法相比,有效提升了標志檢測率和執(zhí)行效率．

[1]M?gelmose A, Trivedi M M, Moeslund T B. Vision-based traffic sign detection and analysis for intelligent driver assistance systems:Perspectives and survey [J]. IEEE Transactions on Intelligent Transportation System, 2012,13(4):1484-1497.

[2]Lafuente-Arroyo S, Salcedo-Sanz S, Maldonado-Bascón S,etal. A decision support system for the automatic management of keep-clear signs based on support vector machines and geographic information systems [J]. Expert System Application, 2010,37(1):767-773.

[3]Mathias M, Timofte R, Benenson R,etal. Traffic sign recognition — How far are we from the solution? [C] // IJCNN2013, International Joint Conference on Neural Networks. New York:IEEE, 2013.

[4]Berger M, Forechi A, Souza A F D,etal. Traffic sign recognition with VG-RAM weightless neural networks [C] //12th International Conference on Intelligent Systems Design and Applications (ISDA). New York:IEEE, 2012:315-319.

[5]Prisacariu V, Timofte R, Zimmermann K,etal. Integrating object detection with 3D tracking towards a better driver assistance system [C] // ICPR2010,20th International Conference on Pattern Recognition. Berlin:Springer, 2010:3344-3347.

[6]Moutarde F, Bargeton A, Herbin A,etal. Robust on-vehicle real-time visual detection of American and European speed limit signs, with a modular traffic signs recognition system [C] //2007IEEE Intelligent Vehicles Symposium. New York:IEEE, 2007:1122-1126.

[7]Loy G, Zelinsky A. Fast radial symmetry for detecting points of interest [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003,25(8):959-973.

[8]Barnes N, Zelinsky A. Real-time radial symmetry for speed sign detection [C] //2004IEEE Intelligent Vehicles Symposium. New York:IEEE, 2004:566-571.

[9]Loy G, Barnes N. Fast shape-based road sign detection for a driver assistance system [C] // IROS2004,2004IEEE/RSJ International Conference on Intelligent Robots and Systems. New York:IEEE, 2004:70-75.

[10]Bui-Minh T, Ghita O, Whelan P F,etal. Two algorithms for detection of mutually occluding traffic signs [C] // ICCAIS2012,2012International Conference on Control, Automation and Information Sciences. New York:IEEE, 2012:120-125.

[11]Gomez-Moreno H, Maldonado-Bascon S, Gil-Jimenez P,etal. Goal evaluation of segmentation algorithms for traffic sign recognition [J]. IEEE Transactions on Intelligent Transportation System, 2010,11(4):917-930.

[12]Institut für neuroinformatik. The German traffic sign detection benchmark [DB/OL]. [2013-01-12]. http://benchmark.ini.rub.de/?section=gtsdb&subsection=dataset.

[13]Vincent L, Pierre S. Watersheds in digital spaces:an efficient algorithm based on immersion simulations [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991,13(6):583-598.

[14]Gonzalez R C, Woods R E. Digital Image Processing [M]. 3rd ed. Beijing:Electronic Industry Press, 2010.

Adaptiveseparationofmutuallyoccludingtrafficsignsbasedonwatershedtransformation

LI Hou-jie1,2, QIU Tian-shuang*1, SONG Hai-yu3, HE Jian-jun2

( 1.Faculty of Electronic Information & Electrical Engineering, Dalian University of Technology, Dalian 116024, China;2.College of Information & Communication Engineering, Dalian Nationalities University, Dalian 116600, China;3. School of Computer Science & Engineering, Dalian Nationalities University, Dalian 116600, China )

In view of the performance degradation of traffic sign detection due to mutually occluding signs, an adaptive separation algorithm is proposed based on watershed transformation. Traffic image is segmented based on RGB-normalized thresholding algorithm and binary image is generated. Then, a regional contour feature vector is constructed and used to match every interested region in binary image. Thus, a Blob containing candidate mutually occluding traffic signs is determined and extracted from binary image. In order to make the discontinuous edges of traffic sign possess continuity, the Blob with lesser dimensions is processed using morphological dilation operator. For the obtained Blobs, watershed ridge line between the traffic signs is achieved by adopting Euclidean distance transform and watershed transformation, which is used to separate the traffic signs. The experimental results show that the proposed method provides superior results to the existing algorithm, improving 6.1% in detection rate and about 3 times in processing speed.

watershed transformation; traffic signs; mutually occlusion; region feature; adaptive separation

1000-8608(2014)01-0100-06

2013-01-14；

: 2013-11-20．

國家自然科學(xué)基金資助項目(81241059,61172108,61139001)；“十一五”國家科技支撐計劃資助項目(2012BAJ18B06)；國家民委科研資助項目(12DLZ011)；中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(DC110313,DC120101073).

李厚杰(1977-),男,博士生,講師,E-mail: lihoujie@sina.com；邱天爽*(1954-),男,教授,博士生導(dǎo)師,E-mail: qiutsh@dlut.edu.cn.

TP751

：A

10.7511/dllgxb201401016