基于SIFT算法的交通標(biāo)志識別方法研究

余澤東，黃妙華

(1.武漢理工大學(xué) 汽車工程學(xué)院，湖北 武漢 430070；2.武漢理工大學(xué) 現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實驗室，湖北 武漢 430070)

無人駕駛作為未來汽車最主要的發(fā)展方向之一，在業(yè)內(nèi)受到越來越多的關(guān)注，眾多高校、企業(yè)和科研單位對此做了大量的研究，逐漸形成了四大研究領(lǐng)域：環(huán)境感知、定位導(dǎo)航、路徑規(guī)劃和運(yùn)動控制[1]。交通標(biāo)志識別作為環(huán)境感知的研究方向之一，涉及到多個理論和學(xué)科的交叉，具有極高的研究價值[2-4]。

目前，對于交通標(biāo)志的識別問題，大多數(shù)研究都是通過提取顏色、形狀、HOG(histogram of oriented gradient)、LBP(local binary pattern)等特征，并結(jié)合SVM(support vector machine)分類器或BP(back propagation)神經(jīng)網(wǎng)絡(luò)完成的，這些方法不僅識別的實時性差，而且在強(qiáng)光、陰雨、形變等不利條件下無法對交通標(biāo)志進(jìn)行準(zhǔn)確地識別。文獻(xiàn)[5]通過霍夫變換檢測圓形標(biāo)志，并提取Hu不變矩和高階Zernike不變矩利用SVM進(jìn)行分類識別；文獻(xiàn)[6]通過凸殼輪廓的Hu不變矩、周長、面積檢測待識別區(qū)域， 利用橫縱向直方圖縮放匹配進(jìn)行識別；文獻(xiàn)[7]用小波不變矩提取形狀特征，對Gabor濾波后的圖像提取紋理特征，將兩種特征融合后，送入BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練測試，完成分類識別；文獻(xiàn)[8]通過融合式的空間塔式算子和直方圖交叉核支持向量機(jī)(histogram intersection kernel-support vector machine，HIK-SVM)來進(jìn)行分類識別；文獻(xiàn)[9]提取圖像的HOG和LBP特征，并將其串行融合后，通過SVM分類器完成識別。此外，一些研究人員將SIFT(scale invariant feature transform)特征與其他特征融合進(jìn)行交通標(biāo)志識別，這不僅加大了特征提取的難度，還降低了算法的運(yùn)行效率。文獻(xiàn)[10]將LBP特征、SIFT特征、HOG特征線性融合后，利用SVM-NB(naive bayes)分類器進(jìn)行識別。文獻(xiàn)[11]將基于視覺注意模型提取的顏色特征和SIFT特征融合后，與標(biāo)準(zhǔn)圖像庫進(jìn)行相似度計算完成識別。

基于上述研究成果，筆者通過提取待識別圖像的SIFT特征，并與標(biāo)準(zhǔn)樣本庫進(jìn)行匹配，完成交通標(biāo)志的識別。與傳統(tǒng)的形狀特征、HOG特征相比，SIFT算法準(zhǔn)確率有明顯提高，且具有較高的魯棒性，能應(yīng)對各種不利條件下交通標(biāo)志的識別問題。

1　圖像預(yù)處理

在GTSRB(german traffic sign recognition benchmark)數(shù)據(jù)庫中，各個待識別圖像的感興趣區(qū)域已被明確標(biāo)注，因此不需要再對圖像進(jìn)行分割、檢測和定位。為了方便下一步的特征提取，還需要對圖像進(jìn)行灰度化和灰度變換處理。

灰度化能夠有效減少圖像中的數(shù)據(jù)量，降低后續(xù)數(shù)據(jù)處理的難度。常用的圖像灰度化方法有單分量法、最大值法、加權(quán)平均法和平均值法，由于前兩種方法處理圖像的過程未考慮到人的視覺行為特性，極易受到周圍環(huán)境色彩的影響，而加權(quán)平均法的各個分量的權(quán)重參數(shù)不容易確定，因此本文通過平均值法對目標(biāo)區(qū)域進(jìn)行灰度化。

灰度變換是指將灰度圖像的每一個像素點(diǎn)的灰度值按照一定的函數(shù)關(guān)系進(jìn)行轉(zhuǎn)化，其目的主要是增強(qiáng)圖像的對比度，減少實時環(huán)境中光照強(qiáng)度對畫質(zhì)的影響。常用的灰度變換方法有對數(shù)變換、指數(shù)變換、直方圖均衡法和分段線性變換等，針對交通標(biāo)志識別中的問題，采用分段線性變換，效果較好?；叶然突叶茸儞Q的結(jié)果如圖1所示。

圖1　灰度化與灰度變換處理效果

2　SIFT特征提取

尺度不變特征變換(SIFT特征)在機(jī)器視覺領(lǐng)域有著廣泛的運(yùn)用，具有尺度不變性，不隨拍攝視角的改變而改變，對于光線、噪聲等環(huán)境條件的容忍度相當(dāng)高，是一種局部特征描述子[12]，提取方法如下。

2.1　構(gòu)建尺度空間并檢測極值點(diǎn)

構(gòu)建尺度空間的目的是模擬圖像數(shù)據(jù)的多尺度特征，一副二維圖像的尺度空間定義如下：

L(x,y,σ)=G(x,y,σ)×I(x,y)

(1)

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×

I(x,y)=L(x,y,kσ)-L(x,y,σ)

(2)

式中：k為尺度空間中相鄰兩層的比例因子。在DOG尺度空間中，一個檢測點(diǎn)在本層有8個相鄰點(diǎn)，在上下兩層各有9個相鄰點(diǎn)，比較該檢測點(diǎn)與相鄰的26個點(diǎn)的大小，如果該檢測點(diǎn)是最大或者最小的，就認(rèn)為該檢測點(diǎn)為極值點(diǎn)。

在檢測極值點(diǎn)的過程中，由于要在相鄰的兩層中進(jìn)行比較，因此每一組圖像的第一層和最后一層無法按上述方法檢測。為了滿足尺度變化的連續(xù)性，需要在DOG金字塔中增加兩層，即總共有S+2層圖像。而DOG金字塔是由高斯金字塔相鄰兩層之差得到，因此高斯金字塔需要增加3層，即總共有S+3層圖像，增加的這3層圖像可以通過高斯模糊在高斯金字塔的頂層生成。

2.2　關(guān)鍵點(diǎn)定位

上述極值點(diǎn)是在離散空間中檢測的，是不穩(wěn)定的，為了求得穩(wěn)定的關(guān)鍵點(diǎn)，需要對尺度空間DOG函數(shù)的泰勒展開式進(jìn)行曲線擬合。此外，因為DOG算子具有較強(qiáng)的邊緣響應(yīng)，所以還要剔除一些不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以提高特征匹配時的穩(wěn)定性，增強(qiáng)抵抗噪聲的能力。筆者主要研究SIFT識別算法，不再過多闡述擬合、求導(dǎo)、解方程的具體過程。

2.3　計算梯度方向

利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為關(guān)鍵點(diǎn)指定方向參數(shù)。其中，任意一個像素點(diǎn)(x,y)處梯度的模值和方向公式如下：

(3)

θ(x,y)=αtan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

(4)

式中：L(x,y)為特征點(diǎn)位置坐標(biāo)，所用的尺度為像素點(diǎn)所在的尺度，α為調(diào)和因子，一般取1。

將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。以關(guān)鍵點(diǎn)為中心，選取周圍8×8的領(lǐng)域窗口，計算其中所有像素點(diǎn)梯度的模值和方向，用高斯窗口對其進(jìn)行加權(quán)運(yùn)算，若像素點(diǎn)越靠近關(guān)鍵點(diǎn)，則其梯度方向的貢獻(xiàn)也就越大，據(jù)此形成梯度直方圖，如圖2所示。在梯度直方圖中，每45度一個柱，總共8個柱，分別代表8個方向。通過對關(guān)鍵點(diǎn)周圍圖像區(qū)域分塊，計算塊內(nèi)梯度直方圖，生成具有獨(dú)特性的向量，這個向量是該區(qū)域圖像信息的一種抽象，具有唯一性。

圖2　梯度方向與梯度直方圖

2.4　生成關(guān)鍵點(diǎn)描述子

以關(guān)鍵點(diǎn)為中心，計算關(guān)鍵點(diǎn)周圍的16×16的窗口中每一個像素的梯度，使用高斯下降函數(shù)降低遠(yuǎn)離中心的權(quán)重。在每個4×4的1/16小窗口中，按上一步的方法，形成一個具有8個方向的梯度方向直方圖，如圖3所示。這樣每個關(guān)鍵點(diǎn)就生成了一個4×4×8=128維的描述子，將這個向量歸一化之后，就可以進(jìn)一步去除光照的影響。

圖3　特征點(diǎn)128維描述子

3　SIFT特征匹配

當(dāng)兩幅圖像的SIFT特征向量生成后，將采用關(guān)鍵點(diǎn)特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。如果直接將兩幅圖像中歐式距離最近的兩個關(guān)鍵點(diǎn)進(jìn)行匹配，那么會產(chǎn)生較多的錯配點(diǎn)。因此筆者采用一種新的匹配方法，先取待識別圖像中的某個關(guān)鍵點(diǎn)，再在標(biāo)準(zhǔn)樣本圖像中找出與其在歐式距離上最近的前兩個關(guān)鍵點(diǎn)，在這兩個關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距離小于某個比例閾值，那么這一對匹配點(diǎn)符合要求。

匹配時比例閾值通常選取在0.5～0.8之間，為了選取最合適的閾值，筆者在閾值分別為0.50，0.55，0.60，0.65，0.70，0.75，0.80時按照上述方法將待識別圖像與標(biāo)準(zhǔn)圖像進(jìn)行SIFT特征匹配，得到相應(yīng)的匹配對數(shù)和匹配準(zhǔn)確率，結(jié)果如表1所示。所謂匹配準(zhǔn)確率，不同于下面所述的識別準(zhǔn)確率，它是指兩幅圖像中正確匹配的關(guān)鍵點(diǎn)數(shù)目與所有參與匹配的關(guān)鍵點(diǎn)數(shù)目的比值。可以看出，比例閾值越高，匹配對數(shù)就會越多，但匹配準(zhǔn)確率會越低。在進(jìn)行交通標(biāo)志識別時，要求能有較多的匹配對數(shù)和較高的匹配準(zhǔn)確率，在這種情況下，從表1中可以發(fā)現(xiàn)，當(dāng)閾值取為0.60時，能夠取得較多的匹配對數(shù)和較高的匹配準(zhǔn)確率，閾值大于0.60時，匹配準(zhǔn)確率太低，閾值小于0.60時，匹配對數(shù)太少。因此筆者選取比例閾值為0.60，此時關(guān)鍵點(diǎn)SIFT特征匹配結(jié)果如圖4所示。

圖4　閾值為0.60時關(guān)鍵點(diǎn)SIFT特征匹配結(jié)果

比例閾值0.500.550.600.650.700.750.80匹配對數(shù)22264244485258匹配準(zhǔn)確率/%98969182736659

4　實驗分析

實驗采用的圖像來自于GTSRB數(shù)據(jù)庫，該數(shù)據(jù)庫擁有從德國真實交通環(huán)境中采集的43類交通標(biāo)識，包含了大量低分辨率、不同光照強(qiáng)度、局部遮擋、視角傾斜、運(yùn)動模糊等各種不利條件下的圖像，能夠較全面地反映交通標(biāo)志分類識別方法的實際應(yīng)用潛力。該數(shù)據(jù)庫總共5萬多幅交通標(biāo)志圖像，每幅圖像只包含一個交通標(biāo)識，圖像大小從15×15像素到222×193像素不等[13]，部分交通標(biāo)志圖像如圖5所示。為了提高交通標(biāo)志的識別準(zhǔn)確率，筆者收集了完善的德國交通標(biāo)志圖像，作為實驗的標(biāo)準(zhǔn)樣本圖像，部分標(biāo)準(zhǔn)樣本圖像如圖6所示。

圖5　GTSRB數(shù)據(jù)庫部分交通標(biāo)志圖像

圖6　部分交通標(biāo)志標(biāo)準(zhǔn)樣本

為了驗證SIFT算法的有效性，引入了識別準(zhǔn)確率這個評價指標(biāo)。在GTSRB數(shù)據(jù)庫中分別選取了各種特定條件下的200張待識別交通標(biāo)志圖像，對每張圖片按照本文算法進(jìn)行識別，根據(jù)識別結(jié)果，正確識別的圖像數(shù)目與實驗圖像的總數(shù)目(即200張)的比值即為識別準(zhǔn)確率。算法運(yùn)行環(huán)境為VS2013，編程語言為C++，實驗平臺為3.40 GHz、8 G 內(nèi)存的臺式機(jī)。標(biāo)準(zhǔn)交通標(biāo)志樣本庫由不同亮度下的各個交通標(biāo)志的標(biāo)準(zhǔn)樣本圖像組成，并將所有圖像按照正方向、反方向各旋轉(zhuǎn)20°，每隔5°取樣一次，這樣一幅圖像又能形成8幅樣本圖像。為了簡化標(biāo)準(zhǔn)交通標(biāo)志樣本庫，提高識別速度，選取其中60%的樣本圖像作為實驗時的標(biāo)準(zhǔn)樣本庫。

比較了單一的形狀特征、HOG特征和SIFT特征在不同條件下對交通標(biāo)志的識別準(zhǔn)確率，如表2所示。SIFT算法對不同類別交通標(biāo)志的識別準(zhǔn)確率，如表3所示。

表2　不同條件下各個特征識別準(zhǔn)確率

表3　不同類別標(biāo)志識別準(zhǔn)確率

實驗結(jié)果清楚地表明，相比于傳統(tǒng)的形狀特征和HOG特征，SIFT算法的識別準(zhǔn)確率更高，特別是在強(qiáng)光、陰天、形變、遮擋等不利條件下，SIFT算法擁有明顯優(yōu)勢。此外，SIFT算法對圓形標(biāo)志的識別準(zhǔn)確率要高于三角形標(biāo)志。

5　結(jié)論

針對交通標(biāo)志識別準(zhǔn)確率低的問題，提出了一種SIFT特征匹配識別算法，通過構(gòu)建DOG尺度空間并檢測極值點(diǎn)、關(guān)鍵點(diǎn)定位、計算梯度方向、生成關(guān)鍵點(diǎn)描述子、特征匹配完成識別過程。SIFT算法大大提高了交通標(biāo)志的識別準(zhǔn)確率，具有較好的魯棒性，能夠應(yīng)對強(qiáng)光、陰雨、形變、遮擋等不利環(huán)境下交通標(biāo)志的識別問題，有較大的推廣運(yùn)用價值。但因為SIFT特征描述子的維數(shù)太高，數(shù)據(jù)量太大，影響了特征匹配速度，導(dǎo)致算法效率較低，因此在保證準(zhǔn)確率的情況下提高算法的識別效率將是下一步研究的重點(diǎn)。

參考文獻(xiàn)：

[1]陳慧巖，熊光明，龔建偉，等.無人駕駛汽車概論[M].北京：北京理工大學(xué)出版社，2014.

[2]劉占文，趙祥模，李強(qiáng)，等.基于圖模型與卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別[J].交通運(yùn)輸工程學(xué)報，2016，16(5)：122-131.

[3]王昔鵬.復(fù)雜場景下的交通標(biāo)志識別技術(shù)研究[D].合肥：合肥工業(yè)大學(xué)，2017.

管理人工智能系統(tǒng)和機(jī)器人技術(shù)的法律機(jī)制分為以下幾個方面：法律責(zé)任（民事的、行政的和刑事責(zé)任）；財產(chǎn)所有權(quán)（物權(quán)）、知識產(chǎn)權(quán)；交易（合同）及其自動化、勞動法；財產(chǎn)保險和責(zé)任；《道路交通安全法細(xì)則》、俄聯(lián)邦《航空法》、俄聯(lián)邦《內(nèi)河運(yùn)輸章程》、俄聯(lián)邦《海上商務(wù)航行法》、俄聯(lián)邦《行政處罰法》、國際合約規(guī)定；技術(shù)管理（產(chǎn)品質(zhì)量證書）、許可證制度；對人工智能系統(tǒng)和機(jī)器人技術(shù)的征稅；為發(fā)展機(jī)器人技術(shù)而出臺的城市建設(shè)管理規(guī)則等法律法規(guī)[7]。

[4]彭祖勝.交通標(biāo)志和信號燈實時檢測與識別技術(shù)研究[D].重慶：重慶大學(xué)，2012.

[5]張震，程偉偉，吳磊，等.基于不變矩和SVM的圓形交通標(biāo)志識別方法研究[J].電子測量與儀器學(xué)報，2017，31(5)：773-779.

[6]宋文杰，付夢印，楊毅.一種面向無人駕駛汽車的高效交通標(biāo)志識別方法[J].機(jī)器人，2015，37(1)：102-111.

[7]甘露，田麗華，李晨.基于融合特征和BP網(wǎng)絡(luò)的交通標(biāo)志識別方法[J].計算機(jī)工程與設(shè)計，2017，38(10)：2783-2787.

[8]劉亞辰，陳躍鵬，張賽碩，等.融合式空間塔式算子和HIK-SVM的交通標(biāo)志識別研究[J].交通運(yùn)輸系統(tǒng)工程與信息，2017，17(1)：220-226.

[10]曹奧陽.交通標(biāo)志識別算法研究[D].北京：北京交通大學(xué)，2017.

[11]家曉艷，許合利，郭海儒.基于視覺注意模型和SIFT的交通標(biāo)志識別方法[J].河南理工大學(xué)學(xué)報(自然科學(xué)版)，2014，33(3):339-343.

[12]張琪，何寧，池悅，等.基于改進(jìn)的SIFT算法交通標(biāo)志牌的檢測與識別[J].北京聯(lián)合大學(xué)學(xué)報，2017，31(2)：59-65.

[13]梁敏健，崔嘯宇，宋青松，等.基于HOG-Gabor特征融合與Softmax分類器的交通標(biāo)志識別方法[J].交通運(yùn)輸工程學(xué)報,2017，17(3)：151-158.