基于ASIFT道路交通標(biāo)志的定位與識(shí)別方法*

焦再?gòu)?qiáng)，呂玉祥，馬維青，趙曉龍，李孟春*

(1.太原理工大學(xué)物理與光電工程學(xué)院，太原030024; 2.陽(yáng)泉供電分公司，山西陽(yáng)泉045000)

?

基于ASIFT道路交通標(biāo)志的定位與識(shí)別方法*

焦再?gòu)?qiáng)1，呂玉祥1，馬維青2，趙曉龍2，李孟春1*

(1.太原理工大學(xué)物理與光電工程學(xué)院，太原030024; 2.陽(yáng)泉供電分公司，山西陽(yáng)泉045000)

摘要:針對(duì)智能交通系統(tǒng)中的交通標(biāo)志識(shí)別，提出了一種基于ASIFT(仿射尺度不變特征變換)算法的定位與識(shí)別方法。首先，分類(lèi)道路交通標(biāo)志并提取模板;然后，采用ASIFT算法選擇目標(biāo)圖像對(duì)應(yīng)的模板和交通標(biāo)志集合;其次，根據(jù)匹配模板ASIFT特征點(diǎn)的幾何分布，定位交通標(biāo)志的目標(biāo)區(qū)域;最后，計(jì)算目標(biāo)區(qū)域和交通標(biāo)志集合的特征向量歐氏距離?；贏SIFT算法，達(dá)到了準(zhǔn)確的定位與識(shí)別效果。通過(guò)實(shí)驗(yàn)，驗(yàn)證了該方法的可行性。

關(guān)鍵詞:仿射尺度不變特征變換;交通標(biāo)志;定位;識(shí)別

項(xiàng)目來(lái)源:國(guó)家自然科學(xué)基金項(xiàng)目(61274089)

隨著城市化進(jìn)程的推進(jìn)，道路交通安全和運(yùn)輸效率問(wèn)題日益突出。作為解決道路交通問(wèn)題的重要方案，智能交通系統(tǒng)ITS(Intelligent Transport System)應(yīng)運(yùn)而生。在ITS中，交通標(biāo)志識(shí)別是一個(gè)重要的技術(shù)環(huán)節(jié)，由于應(yīng)用環(huán)境復(fù)雜，目前尚不成熟［1］。而交通標(biāo)志傳遞的豐富信息對(duì)于規(guī)范交通運(yùn)行，確保道路安全以及提高運(yùn)輸效率有著重要作用。因此，交通標(biāo)志識(shí)別成為了當(dāng)前的研究熱點(diǎn)。交通標(biāo)志識(shí)別分為定位與識(shí)別兩個(gè)部分，而定位與識(shí)別又相輔相成。鑒于此，本文提出了一種基于ASIFT算法［2］的定位與識(shí)別方法。借助ASIFT算法良好的仿射不變性，該方法在一定程度上克服了光照，噪聲以及視覺(jué)條件的影響，達(dá)到了較好的定位與識(shí)別效果。

1　ASIFT仿射不變性

David Lowe于1999年提出了SIFT(尺度不變特征變換)算法，并于2004年作了進(jìn)一步的完善總結(jié)［3］。SIFT算法對(duì)圖像間的平移、旋轉(zhuǎn)和尺度縮放［4］保持了良好的匹配能力。Yu和Morel在SIFT算法的基礎(chǔ)上，于2009年提出了ASIFT(仿射尺度不變特征變換)算法。ASIFT算法保留了SIFT對(duì)平移、旋轉(zhuǎn)和尺度縮放的特征提取方法，增加了空間描述參量經(jīng)度角和緯度角的特征提取［2］。因此，在繼承SIFT算法優(yōu)點(diǎn)的同時(shí)，ASIFT算法對(duì)視角角度也具有完全不變性［2］。

2　交通標(biāo)志的定位

基于ASIFT算法的交通標(biāo)志定位過(guò)程可以描述如下: (1)模板與目標(biāo)ASIFT特征匹配; (2)交通標(biāo)志幾何定位; (3)交通標(biāo)志ROI提取。

2.1模板與目標(biāo)ASIFT特征匹配

為了減少ASIFT特征匹配過(guò)程中的計(jì)算量，首先對(duì)GB 5768.2—2009文件公布的道路交通標(biāo)志進(jìn)行分類(lèi)并提取模板。以禁令標(biāo)志為例，可以得到如圖1(a)所示的10個(gè)模板。對(duì)應(yīng)每個(gè)模板，均有一個(gè)交通標(biāo)志集合與之對(duì)應(yīng)，圖1(b)中顯示了bm1模板及其對(duì)應(yīng)集合中的部分交通標(biāo)志圖像。

圖1　

采用ASIFT算法對(duì)模板和目標(biāo)圖像進(jìn)行特征點(diǎn)匹配［5］，并從匹配結(jié)果中選擇匹配程度最優(yōu)的一個(gè)模板。根據(jù)該模板的信息，確定目標(biāo)圖像所含交通標(biāo)志對(duì)應(yīng)的集合;同時(shí)，記錄特征點(diǎn)在該模板和目標(biāo)圖像中的像素坐標(biāo)分布［5］。

2.2交通標(biāo)志幾何定位

根據(jù)特征點(diǎn)的像素坐標(biāo)分布和模板及目標(biāo)圖像的特征點(diǎn)仿射關(guān)系，理論上能夠計(jì)算出交通標(biāo)志的外輪廓。但是，受ASIFT算法對(duì)特征點(diǎn)識(shí)別率的影響，特征點(diǎn)的仿射關(guān)系會(huì)發(fā)生小概率錯(cuò)誤。錯(cuò)誤的仿射關(guān)系給最終的計(jì)算結(jié)果造成了較大的誤差，使計(jì)算趨于發(fā)散。

針對(duì)上述情況，本文提出了一種新的定位方法來(lái)解決上述問(wèn)題。該方法首先統(tǒng)計(jì)并提取特征點(diǎn)較為密集的區(qū)域，然后計(jì)算各個(gè)區(qū)域的重心坐標(biāo)。假設(shè)密集區(qū)域A包含N個(gè)特征點(diǎn)，第i(0＜i＜N+1)個(gè)特征點(diǎn)的像素坐標(biāo)為(xi，yi)，區(qū)域A重心坐標(biāo)G(x，y)的計(jì)算方式如下:

通過(guò)上述方法，在模板中，計(jì)算得到特征點(diǎn)密集區(qū)域的重心坐標(biāo)序列。同理，從目標(biāo)圖像對(duì)應(yīng)的特征點(diǎn)密集區(qū)域中，計(jì)算得到對(duì)應(yīng)的重心坐標(biāo)序列。在模板的重心坐標(biāo)序列中，根據(jù)如下兩個(gè)條件選取3個(gè)重心點(diǎn):?三個(gè)重心點(diǎn)非共線;?任意兩個(gè)重心點(diǎn)的連線與模板邊界相交。

圖2　模板幾何圖

如圖2所示，設(shè)選取的非共線重心點(diǎn)及坐標(biāo)分別為A(xA，yA)，B(xB，yB)，C(xC，yC)，模板圖像的4個(gè)頂點(diǎn)及坐標(biāo)分別為O1(XL，YU)、O2(XR，YU)、O3(XL，YD)、O4(XR，YD)，通過(guò)模板4個(gè)邊的直線分別記作a，b，c，d。根據(jù)A、B、C 3個(gè)點(diǎn)的選取條件，直線AB與直線a，直線b，直線c，直線d分別相交于點(diǎn)U1、點(diǎn)L1、點(diǎn)D1、點(diǎn)R1;直線AC分別與直線a、直線b、直線c、直線d相交于點(diǎn)U2、點(diǎn)L2、點(diǎn)D2、點(diǎn)R2。8個(gè)向量分別滿足下列公式:

由于8個(gè)點(diǎn)(U1，U2，L1，L2，D1，D2，R1和R2)的坐標(biāo)確定了模板的4條邊: a，b，c，d，因此可以確定模板的輪廓。同理，將目標(biāo)圖像中與之對(duì)應(yīng)的8個(gè)點(diǎn)設(shè)為:，根據(jù)仿射關(guān)系，則可以通過(guò)對(duì)應(yīng)8個(gè)點(diǎn)的坐標(biāo)確定目標(biāo)區(qū)域的輪廓。

如圖3所示，從目標(biāo)圖像的重心坐標(biāo)序列中選取與A、B、C 3點(diǎn)對(duì)應(yīng)的3個(gè)重心點(diǎn): A'(xA'，yA')，B'(xB'，yB')，C'(xC'，yC')。根據(jù)模板與目標(biāo)圖像的仿射關(guān)系，8個(gè)向量分別滿足下列公式:

圖3　目標(biāo)圖像幾何圖

在上述公式中，修正因子ρ∈［1，∞)。在實(shí)際應(yīng)用中，離散的數(shù)據(jù)源會(huì)引入計(jì)算誤差;成像透視變形會(huì)導(dǎo)致特征點(diǎn)對(duì)應(yīng)的比例失真;同時(shí)，其他的因素也會(huì)帶來(lái)一定的誤差。這些誤差會(huì)導(dǎo)致對(duì)目標(biāo)區(qū)域定位的非完整性。引入修正因子ρ后，可適當(dāng)調(diào)整選取范圍，以完整定位目標(biāo)區(qū)域。通過(guò)以上8個(gè)公式，可以計(jì)算得到8個(gè)點(diǎn)()的坐標(biāo)，從而確定目標(biāo)區(qū)域的4條邊: a'，b'，c'，d'，進(jìn)而確定目標(biāo)區(qū)域的輪廓:

2.3交通標(biāo)志ROI提取

3　交通標(biāo)志的識(shí)別

模板與目標(biāo)圖像的ASIFT特征匹配確定了ROI所含交通標(biāo)志的集合信息。在集合范圍內(nèi)，進(jìn)一步識(shí)別ROI所含交通標(biāo)志的具體類(lèi)型。

3.1ROI特征點(diǎn)檢測(cè)

在尺度空間［8］上，圖像數(shù)據(jù)包含了圖像自身的多尺度特征［9］。根據(jù)文獻(xiàn)［10］提出的方法，利用高斯卷積核，可將二維圖像I(x，y)的尺度空間描述如下［10－12］:

尺度可變高斯函數(shù)G(x，y，σ)定義如下［10－12］:

高斯差分尺度空間［13］(DOG Scale Space)利用高斯差分核與圖像進(jìn)行卷積生成，DOG算子的定義如下所示［10－12］:

利用DOG算子將ROI圖像的采樣點(diǎn)和其相鄰點(diǎn)比較，如果該點(diǎn)是鄰域中的極值點(diǎn)，則將其判斷為一個(gè)特征點(diǎn)。

3.2生成特征點(diǎn)描述

在ROI的特征點(diǎn)中，對(duì)每個(gè)特征點(diǎn)鄰域窗口的梯度分布建立直方圖統(tǒng)計(jì)，選取直方圖峰值的梯度方向作為該特征點(diǎn)的主方向。將坐標(biāo)軸旋轉(zhuǎn)至主方向，以保證特征向量的旋轉(zhuǎn)不變性。以特征點(diǎn)為中心選取16×16窗口，建立8個(gè)梯度方向的直方圖。將16×16窗口分為16個(gè)4×4小塊，在每個(gè)4×4小塊上，標(biāo)定每個(gè)梯度方向的累加值，形成一個(gè)種子點(diǎn)。這樣一個(gè)特征點(diǎn)包含了16個(gè)種子點(diǎn)，每個(gè)種子點(diǎn)含有8個(gè)方向的向量信息。因此，每個(gè)特征點(diǎn)可以描述為一個(gè)128維的特征向量，該特征向量包含了鄰域方向性信息，既增強(qiáng)了抗噪聲能力，又對(duì)定位誤差提供了較好的容錯(cuò)性［3］。

3.3特征向量匹配

將ROI所包含的圖像記作Isrc，將ROI對(duì)應(yīng)集合中的任意一幅交通標(biāo)志圖像記作Idst，計(jì)算Isrc特征向量與Idst特征向量的歐式距離［14］，將歐氏距離的大小作為特征點(diǎn)相似性的判定度量［15］。方法如下:

選取Isrc中的一個(gè)特征點(diǎn)，記作點(diǎn)M，在Idst中找出與點(diǎn)M特征向量歐氏距離最近的兩個(gè)特征點(diǎn)，最近特征點(diǎn)記作點(diǎn)T，次近特征點(diǎn)記作點(diǎn)R。計(jì)算點(diǎn)T與點(diǎn)R特征向量歐氏距離的比值，若比值小于一定的閾值，則認(rèn)為點(diǎn)M與點(diǎn)T匹配成功［16］。閾值的大小與匹配個(gè)數(shù)正相關(guān)，與匹配穩(wěn)定性負(fù)相關(guān)。根據(jù)最終的匹配結(jié)果，選取集合中匹配個(gè)數(shù)最多的交通標(biāo)志圖像作為最終的識(shí)別結(jié)果。

4　實(shí)驗(yàn)結(jié)果及算法性能分析

本節(jié)將圍繞上述算法進(jìn)行實(shí)驗(yàn)測(cè)試，并根據(jù)實(shí)驗(yàn)結(jié)果分析上述算法的識(shí)別性能。

實(shí)驗(yàn)平臺(tái)的系統(tǒng)配置為: Windows 7操作系統(tǒng)和Intel Core i3－2310M處理器。在VS2010開(kāi)發(fā)環(huán)境下，實(shí)現(xiàn)并測(cè)試了本文中提出的交通標(biāo)志定位與識(shí)別方法。

4.1測(cè)試目標(biāo)選擇

為了證明上述算法具有適應(yīng)光照，噪聲和旋轉(zhuǎn)變化的魯棒性，被測(cè)試目標(biāo)圖像的取材條件為:光照條件下拍攝，交通標(biāo)志與周?chē)h(huán)境輕微融合，拍攝視角傾斜。如圖4所示。

圖4　測(cè)試目標(biāo)圖像

4.2模板匹配和集合確定

如圖5所示，從左至右，從上至下，分別為模板bm1、bm4、bm5、bm10與目標(biāo)圖像的ASIFT特征匹配結(jié)果。從匹配結(jié)果可知，匹配程度最好的模板為bm1。

圖5　模板與目標(biāo)匹配

4.3交通標(biāo)志ROI定位與提取

根據(jù)2.2和2.3中的定位與提取方法，確定的3個(gè)非共線重心點(diǎn)如圖6(a)所示。修正因子取值1.2時(shí)，提取的交通標(biāo)志ROI如圖6(b)所示。圖6(b)中，ROI的輪廓是掩碼邊界框與圖像邊界取交集的結(jié)果。

4.4交通標(biāo)志識(shí)別

根據(jù)3.3中的方法，在最佳模板bm1相關(guān)集合范圍內(nèi)，匹配ROI與交通標(biāo)志圖像的特征向量。由于特征向量匹配涉及的數(shù)據(jù)量非常大，因此用ROI與交通標(biāo)志圖像的特征點(diǎn)匹配來(lái)演示最終的識(shí)別效果。如圖7所示，從左至右，從上至下，分別為模板bm1集合中bm1_1、bm1_2、bm1_3、bm1_4與ROI的特征點(diǎn)識(shí)別結(jié)果。從識(shí)別效果中可以判斷，目標(biāo)圖像中含有的交通標(biāo)志為bm1_1所表示的交通標(biāo)志，即禁止機(jī)動(dòng)車(chē)通行標(biāo)志。

圖6　

圖7　交通標(biāo)志識(shí)別結(jié)果

4.5算法性能分析

為了進(jìn)一步證明該算法在實(shí)際應(yīng)用中的可行性，在紅色禁令標(biāo)志，藍(lán)色指示標(biāo)志和黃色警告標(biāo)志中，隨機(jī)選取30種交通標(biāo)志，并對(duì)其從不同角度拍攝取材進(jìn)行實(shí)驗(yàn)。將標(biāo)志平面與相機(jī)光軸的夾角記作θ，拍攝角度θ的范圍為: 5°到175°，每隔5°拍攝一張，最后收集1 050張測(cè)試圖像。用經(jīng)典的LDA (Linear Discriminant Analysis)算法和本文中的算法同時(shí)對(duì)1 050張測(cè)試圖像進(jìn)行識(shí)別，識(shí)別結(jié)果如表1和表2所示。

表1　兩種算法總體性能對(duì)比

表2　兩種算法對(duì)不同角度圖像的識(shí)別率　單位: %

分析表1和表2可以得出如下結(jié)論:本文算法的總體識(shí)別率高于LDA算法，并且對(duì)圖像角度的變化適應(yīng)性較強(qiáng)。但是，本文算法的不足之處是識(shí)別時(shí)間較長(zhǎng)，這是由ASIFT算法中多個(gè)仿射變換匹配引起的，導(dǎo)致算法的時(shí)間復(fù)雜度大于LDA算法。在空間復(fù)雜度上，由于研究目的傾向于識(shí)別率的提高，所以采用128維的特征向量來(lái)描述一個(gè)特征點(diǎn)，產(chǎn)生了較大的空間復(fù)雜度。實(shí)際應(yīng)用時(shí)，可對(duì)空間復(fù)雜度和識(shí)別率折衷選擇。借助專(zhuān)用數(shù)字信號(hào)處理器，可以在滿足識(shí)別率的同時(shí)，優(yōu)化該算法的時(shí)間和空間復(fù)雜度，從而實(shí)現(xiàn)該算法的實(shí)際應(yīng)用。

5　結(jié)束語(yǔ)

本文通過(guò)分析ASIFT算法的特點(diǎn)，提出了一種基于ASIFT算法的交通標(biāo)志定位與識(shí)別方法，并通過(guò)VS2010開(kāi)發(fā)環(huán)境驗(yàn)證了該方法的可行性。通過(guò)實(shí)驗(yàn)結(jié)果可以得出，該方法在一定程度上克服了光照，噪聲以及視覺(jué)條件的影響，達(dá)到了較好的定位與識(shí)別效果。在下一步的研究中，將結(jié)合DSP硬件平臺(tái)，對(duì)該方法中涉及的關(guān)鍵環(huán)節(jié)進(jìn)行優(yōu)化，以降低時(shí)間和空間復(fù)雜度，從而實(shí)現(xiàn)該方法在嵌入式領(lǐng)域的實(shí)時(shí)應(yīng)用。

參考文獻(xiàn):

［1］李祥熙，張航.交通標(biāo)志識(shí)別研究綜述［J］.公路交通科技應(yīng)用技術(shù)版，2010(6) : 253－257.

［2］Morel J M，Yu G.ASIFT: A New Framework for Fully Affine Invariant Image Comparison［J］.SIAM Journal on Imaging Sciences，2009，2(2) : 438－469.

［3］Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints ［J］.International Journal of Computer Vision，2004，60(2) :91－110.

［4］鄭永斌，黃新生，豐松江.SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，2(2) : 286－292.

［5］蔣慶斌，王浩，趙力.基于UKF與SIFT的車(chē)輛跟蹤算法研究［J］.計(jì)算機(jī)測(cè)量與控制，2012，20(10) : 2824－2826.

［6］王鵬宇.基于小波和色彩傳遞夜視圖像彩色融合算法研究［J］.電子器件，2014，37(1) : 143－145.

［7］劉歡，郝礦榮，丁永生，等.光照魯棒的抗模糊新組合不變矩圖像匹配方法［J］.傳感技術(shù)學(xué)報(bào)，2013，26(9) : 1258－1264.

［8］傅衛(wèi)平，秦川，劉佳，等.基于SIFT算法的圖像目標(biāo)匹配與定位［J］.儀器儀表學(xué)報(bào)，2011，32(1) : 163－169.

［9］溫文雅.一種改進(jìn)的Harris多尺度角點(diǎn)檢測(cè)算法［J］.重慶理工大學(xué)學(xué)報(bào)，2012，26(8) : 94－97.

［10］陳杏環(huán)，閆海煜.基于隨機(jī)游走策略改進(jìn)的降雪模型圖像分割方法［J］.電子器件，2014，37(2) : 350－354.

［11］高紹雷，沈建新，周洪亞，等.高斯核函數(shù)在角膜地形圖儀圖像處理中的應(yīng)用［J］.小型微型計(jì)算機(jī)系統(tǒng)，2011，32(10) : 2074－2077.

［12］田瑩，徐超，張一鳴.基于Gabor小波和ASIFT特征點(diǎn)的人耳識(shí)別［J］.計(jì)算機(jī)應(yīng)用與軟件，2013，30(11) : 202－205.

［13］張良，王海麗，吳仁彪.基于改進(jìn)局部不變特征的興趣點(diǎn)匹配［J］.電子與信息學(xué)報(bào)，2009，31(11) : 2620－2625.

［14］周強(qiáng)，楊智勇，孫小燕，等.基于圖像歐式距離的KPCA SAR圖像目標(biāo)識(shí)別算法［J］.火力與指揮控制，2012，37(12) : 38－41.

［15］張闖，王婷婷，孫東嬌，等.基于歐式距離圖的圖像邊緣檢測(cè)［J］.中國(guó)圖象圖形學(xué)報(bào)，2013，18(2) : 176－183.

［16］唐朝偉，肖健，邵艷清，等.全局結(jié)構(gòu)化SIFT描述子在圖像匹配中的應(yīng)用［J］.華中科技大學(xué)學(xué)報(bào):自然科學(xué)版，2012，40(1) : 15－20.

焦再?gòu)?qiáng)(1989－)，男，漢族，山西臨汾人，太原理工大學(xué)碩士研究生，主要研究方向?yàn)樾畔⑻幚砼c微系統(tǒng)，jiaozaiqiang@ foxmail.com;

李孟春(1963－)，女，漢族，山西太原人，太原理工大學(xué)教師，副教授，碩士生導(dǎo)師，主要研究方向?yàn)楣怆娂夹g(shù)，limmc163@ 163.com。

An Algorithm of Fast Video Block Motion Estimation
Based on Sub-GCK*

WANG Guan1*，LUO Shen1，GE Jia2
(1.The 28th Research Institude of China Electronics Technology Group Corporation，Nanjing 210007，China; 2.Laboratory of Image Science and Technology，Southeast University，Nanjing 210096，China)

Abstract:Fast video block motion estimation is one of the most important problems in video coding.Based on Gray Code Kernels(GCK) algorithm，the paper proposes an improved Sub Search Gray Code Kernels(Sub-GCK) algorithm，whose computational complexity reduces to 22.1% comparing to GCK.We also compare the encoding performance of new algorithms with that of GCK as well as some other common motion estimation algorithms in experiments.The results show that the proposed Sub-GCK algorithm，comparing to other ones，effectively reduces the time for motion estimation with guaranteed reasonable encoding quality.The running time of Sub-GCK algorithm is about 41.9% of original GCK algorithm.

Key words:video coding; motion estimation; sub search gray code kernels(Sub-GCK) ; computational complexity; running time

中圖分類(lèi)號(hào):TP391

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1005－9490(2015) 03－0693－06

收稿日期:2014－07－01修改日期: 2014－07－11

doi:EEACC: 6120B10.3969/j.issn.1005－9490.2015.03.045