基于SIFT的車標(biāo)識(shí)別算法

耿慶田, 于繁華, 王宇婷, 趙宏偉， 趙 東

(1. 長春師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長春 130032； 2. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長春 130012)

為了有效打擊利用車輛套牌的犯罪行為, 工作人員需要借助車輛其他特征對車輛進(jìn)行甄別. 因此車標(biāo)識(shí)別技術(shù)被廣泛關(guān)注. 目前, 已有多種車標(biāo)識(shí)別技術(shù), 如： 李文舉等[1]給出了用二維主元分析(2DPCA)技術(shù)和獨(dú)立成分分析(ICA)技術(shù)以及支持向量機(jī)(SVM)的車標(biāo)識(shí)別方法； 文獻(xiàn)[2]采用方向梯度直方圖(HOG)特征進(jìn)行車標(biāo)識(shí)別； Sam等[3]使用Modest AdaBoost組合技術(shù)實(shí)現(xiàn)車標(biāo)識(shí)別. 這些方法雖然改善了特征提取, 但人為因素較多. 為了減少對圖像特征選取的主觀干擾， 并提高車標(biāo)識(shí)別的實(shí)時(shí)性, 本文提出一種基于尺度不變特征變換(SIFT)的車標(biāo)識(shí)別算法. 該算法利用SIFT算子對圖像的視角、 平移、 放射、 亮度、 旋轉(zhuǎn)等不變特性進(jìn)行特征提取, 并采用BP神經(jīng)網(wǎng)絡(luò)算法自主選取車標(biāo)圖像特征進(jìn)行學(xué)習(xí)識(shí)別. 仿真實(shí)驗(yàn)結(jié)果表明, 該車標(biāo)識(shí)別方法識(shí)別速度快、 識(shí)別率高, 具有一定的實(shí)用價(jià)值.

1 SIFT算法特征提取

1.1 SIFT算法

傳統(tǒng)圖像識(shí)別算法中特征點(diǎn)的提取主要通過對角和邊沿像素點(diǎn)的特征進(jìn)行檢測, 該方法對復(fù)雜環(huán)境中特征點(diǎn)檢測強(qiáng)度較弱. 尺度不變特征變換算法(SIFT)是一種局部的匹配算法, 在利用高斯模糊函數(shù)建立的不同尺度空間上查找關(guān)鍵點(diǎn)[4]. 該算法對圖像屬性變化(包括旋轉(zhuǎn)、 平移、 大小、 亮度)具有不變性, 采用DoG(difference of Gaussian)算法對圖像局部特征進(jìn)行提取完成相應(yīng)任務(wù)[5]. SIFT算子采用的二維高斯模糊函數(shù)為

(1)

對相應(yīng)的尺度空間經(jīng)過高斯模糊函數(shù)處理過的圖像進(jìn)行定義：

W(Px,y)=Px+1,y-Px,y.

(2)

由于SIFT算法中要選取抗噪能力較強(qiáng)的特征點(diǎn), 因此對圖像特征點(diǎn)的選取分為特征向量確定和特征向量比對兩部分. 利用

(3)

計(jì)算圖像P的高斯差值, 得

D(x,y,σ)=(g(x,y,kσ)-g(x,y,σ))*P=L(x,y,kσ)-L(x,y,k),

(4)

其中L表示一個(gè)圖像的尺度空間函數(shù), 可定義為一個(gè)變化的高斯函數(shù)G與原圖像I的卷積:

L(x,y,kσ)=G(x,y,kσ)*I(x,y).

(5)

先通過高斯函數(shù)搜尋所有尺度圖像上屬性不變的興趣點(diǎn), 再根據(jù)每個(gè)興趣點(diǎn)的穩(wěn)定程度確定其位置和尺度, 根據(jù)尺度空間局部梯度方向?qū)γ總€(gè)關(guān)鍵點(diǎn)分配相應(yīng)的方向, 最后在關(guān)鍵點(diǎn)的鄰域內(nèi)為其測量圖像的局部梯度.

為了對候選關(guān)鍵點(diǎn)進(jìn)行濾波, 采用均一閾值法, 利用局部邊緣強(qiáng)度、 穩(wěn)定性等屬性剔除配比度較低、 不準(zhǔn)確的邊緣特征點(diǎn)[6]. 而那些可能受噪聲影響的關(guān)鍵點(diǎn), 可通過考慮邊緣上的曲率與垂直于邊緣的曲率之間的比進(jìn)行濾波. 為了描述每個(gè)尺度上經(jīng)過濾波的關(guān)鍵點(diǎn)特征, 可通過

(6)

(7)

計(jì)算梯度幅度, 得

(8)

(9)

為保證描述子自身所具有的旋轉(zhuǎn)不變性, 局部方向通過方向直方圖的最大值確定. 通過分析固定尺度空間圖像的區(qū)域, 就會(huì)對噪聲以及亮度非線性變化影響的處理非常有效.

1.2 車標(biāo)圖像特征提取

車標(biāo)圖像特征提取過程如下：

1) 構(gòu)建尺度空間. 不同分辨率圖像邊緣和角點(diǎn)的檢測篩選及特征提取可通過對尺度空間主輪廓選取實(shí)現(xiàn)[7]. 尺度空間理論是偏微分方程在圖像信息處理模型中的應(yīng)用, 尺度是模型中的參數(shù), 尺度空間表示序列的建立基于連續(xù)變化尺度參數(shù)的調(diào)整, 在調(diào)整過程中, 首先要定義尺度空間內(nèi)核[8]：

fout=K*fin,

(10)

如果fout的值小于或等于被采樣圖像的最大值, 則K被定義為尺度空間內(nèi)核.K是構(gòu)建尺度空間關(guān)鍵, 高斯卷積核是實(shí)現(xiàn)尺度變換的唯一線性變換核[9], 即

(11)

2) 極值點(diǎn)檢測. 在不同尺度空間, 關(guān)鍵點(diǎn)由DoG空間的局部極值點(diǎn)組成, 因此需要確定極值點(diǎn)的檢查范圍. 為選取DoG函數(shù)的極值點(diǎn), 每個(gè)像素點(diǎn)要與其所有的相鄰點(diǎn)比較, 一般以3×3關(guān)系網(wǎng)格為基準(zhǔn), 除去當(dāng)前像素點(diǎn), 本尺度空間及相鄰尺度空間共計(jì)26個(gè)像素點(diǎn). 比較結(jié)束后, 記錄滿足灰度值在當(dāng)前范圍最大或最小的像素點(diǎn).

3) 定位極值點(diǎn). 為提高關(guān)鍵點(diǎn)的穩(wěn)定性, 屏蔽低對比度關(guān)鍵點(diǎn)產(chǎn)生的噪聲, 需通過三維二次函數(shù)對尺度空間DoG函數(shù)進(jìn)行曲線擬合完成圖像增強(qiáng).

與高斯函數(shù)相對應(yīng)的Taylor展開式(擬合函數(shù))為

(12)

對于備選點(diǎn)D和D′,D′=0, 計(jì)算x為

(13)

計(jì)算與x所對應(yīng)的D(x), 同時(shí)進(jìn)行閾值設(shè)定:

(14)

再剔除不穩(wěn)定的邊緣響應(yīng)點(diǎn), 從而達(dá)到降噪的目的.

獲取特征點(diǎn)處的Hessian矩陣[10], 主曲率通過一個(gè)2×2的Hessian矩陣H求出：

tr(H)=Dxx+Dyy=α+β,

(15)

det(H)=DxxDyy-(Dxy)2=αβ.

(16)

② 篩選邊緣響應(yīng)點(diǎn). 設(shè)r為兩個(gè)特征值之比,α=rβ, 則有

(17)

通過下式進(jìn)行閾值判斷：

(18)

可調(diào)整式(18)中R值的大小, 以保留有意義的關(guān)鍵點(diǎn), 剔除不穩(wěn)定的響應(yīng)點(diǎn).

4) 計(jì)算關(guān)鍵點(diǎn)的特征方向. 為了保持關(guān)鍵點(diǎn)描述符合旋轉(zhuǎn)不變性, 需要給每個(gè)關(guān)鍵點(diǎn)分配一個(gè)基準(zhǔn)方向[11]. 本文采用兩步法通過自動(dòng)調(diào)整SIFT算子中對比度的權(quán)重, 提高選取關(guān)鍵點(diǎn)的均衡性.

① 計(jì)算梯度的模值和方向?yàn)?/p>

(19)

θ(x,y)=tan-1(L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)),

(20)

其中L(x,y)是關(guān)鍵點(diǎn)(x,y)的尺度函數(shù).

② 產(chǎn)生梯度直方圖. 在0°～360°內(nèi)將其以10°為單位平均對應(yīng)給36個(gè)特征向量, 關(guān)鍵點(diǎn)的主方向由該方向上的較高特征值決定, 如圖1所示.

圖1 關(guān)鍵點(diǎn)的特征方向Fig.1 Characteristic direction of key points

5) 特征向量的生成. 將正在操作的特征點(diǎn)鄰域所在尺度空間中的每個(gè)窗口等分為16個(gè)小窗口, 每個(gè)小窗口內(nèi)包含8個(gè)方向信息, 則得到特征向量的維數(shù)為16×8=128, 記為SIFT128, 如圖2所示.

圖2 SIFT特征描述子構(gòu)造示意圖Fig.2 Schematic diagram of SIFT feature descriptor construction

1.3 構(gòu)造BP神經(jīng)網(wǎng)絡(luò)分類器

已證明BP神經(jīng)網(wǎng)絡(luò)只要有滿足一定數(shù)量的隱含層節(jié)點(diǎn), 即可以任意精度接近具有斷點(diǎn)的非線性函數(shù)[12]. 但隱含層的數(shù)量越多, 誤差越大[13]. 為減少誤差, 提高車標(biāo)的識(shí)別精度, 采用三層結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)對車標(biāo)進(jìn)行識(shí)別. 由于不同廠商的車標(biāo)規(guī)格不一致, 因此將車標(biāo)的幾何形狀根據(jù)經(jīng)驗(yàn)分為簡單和復(fù)雜兩種類型. 為使訓(xùn)練的樣本集具有代表性, 選擇一定數(shù)量的、 不同品牌、 不同清晰度、 不同對比度、 不同角度、 不同污損程度、 不同光照的車標(biāo)圖像進(jìn)行訓(xùn)練, 并保證車標(biāo)訓(xùn)練樣本和測試樣本互不重疊, 每種類型的訓(xùn)練樣本數(shù)量不少于6個(gè). 對車標(biāo)圖像進(jìn)行識(shí)別的過程如圖3所示.

圖3 車標(biāo)圖像識(shí)別過程Fig.3 Image recognition process of vehicle-logo

本文在對圖像樣本進(jìn)行分類時(shí), 將SIFT算子提取后的特征向量維數(shù)設(shè)定為輸入層神經(jīng)元個(gè)數(shù), 待識(shí)別的車標(biāo)圖像種類數(shù)量設(shè)定為輸出層的神經(jīng)元個(gè)數(shù). 隱含層根據(jù)實(shí)際車標(biāo)圖像信息的變化進(jìn)行信號單向傳遞[14], 隱含層的層數(shù)和每層神經(jīng)元的個(gè)數(shù)均大于1, 根據(jù)以往經(jīng)驗(yàn)本文中隱含層的神經(jīng)元個(gè)數(shù)取為106.

本文通過改進(jìn)迭代算法和增大學(xué)習(xí)率的方法提高BP神經(jīng)網(wǎng)絡(luò)的收斂速度和訓(xùn)練效率. 在對車標(biāo)圖像的特征關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行分類時(shí), 需先對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行預(yù)處理, 采用歸一化的處理方式, 將輸入、 輸出的數(shù)據(jù)映射到[-1,1]內(nèi), 將最后的訓(xùn)練結(jié)果再映射到原有數(shù)據(jù)的范圍內(nèi), 以提高數(shù)據(jù)分類速度.

2 實(shí)驗(yàn)結(jié)果及分析

本文以網(wǎng)絡(luò)車標(biāo)圖像庫為研究對象, 對車標(biāo)識(shí)別采用SIFT特征提取. 由于車標(biāo)原始圖像的采集受各種光照及天氣等噪聲的影響, 因此在識(shí)別過程中要去除這些干擾因素. 同時(shí), 原始圖像的采集有時(shí)通過無線客戶端進(jìn)行, 因此要求圖像對自身的旋轉(zhuǎn)和縮放有一定的自適應(yīng)性, 而通過SIFT算法獲取的特征向量能滿足這些性能要求. 實(shí)驗(yàn)結(jié)果如圖4所示.

由于車標(biāo)圖像的幾何形狀有較大差異, 因此不同車標(biāo)提取特征關(guān)鍵點(diǎn)的數(shù)量也不同. 形狀簡單的車標(biāo)特征關(guān)鍵點(diǎn)提取數(shù)量少, 反之則提取數(shù)量多.圖5為不同車標(biāo)圖像特征關(guān)鍵點(diǎn)的提取結(jié)果. 由圖5可見, 簡單結(jié)構(gòu)如Volkswagen,Opel,Citroen等車標(biāo), SIFT特征向量提取的關(guān)鍵點(diǎn)個(gè)數(shù)相對較少, 而復(fù)雜結(jié)構(gòu)形狀如Lamborghini,Lorinser,Rolls-Royce等車標(biāo)結(jié)構(gòu), SIFT特征向量提取獲得的特征關(guān)鍵點(diǎn)個(gè)數(shù)較多.

圖4 縮放、 旋轉(zhuǎn)圖像匹配Fig.4 Zoom and rotation image matching

圖5 不同車標(biāo)圖像特征關(guān)鍵點(diǎn)的提取Fig.5 Extraction of key points of image features for different vehicle-logos

為驗(yàn)證本文算法的可行性, 滿足實(shí)際匹配標(biāo)識(shí), 本文將待識(shí)別車標(biāo)幾何圖像分成簡單和復(fù)雜兩種類型進(jìn)行實(shí)驗(yàn)測試. 同時(shí)采用DoG,SURF,GOBOR,LBP算法等進(jìn)行測試, 對比結(jié)果分別如圖6和圖7所示.

圖6 簡單車標(biāo)的不同特征向量提取Fig6. Extraction of different feature vectors of simple vehicle-logos

圖7 復(fù)雜車標(biāo)的不同特征向量提取Fig.7 Extraction of different feature vectors of complex vehicle-logos

由圖6可見, 對幾種簡單車標(biāo)圖像進(jìn)行特征提取時(shí), SIFT算法對各種車標(biāo)特征提取后對車標(biāo)的正確識(shí)別率都能達(dá)到90%以上, 在對Mazda,Honda,Lexus,Citroe,Chevrole,Benz等一些幾何形狀較簡單的車標(biāo)圖像進(jìn)行特征提取時(shí), SIFT算法優(yōu)于對比算法特征向量的提取.

本文還對相對復(fù)雜幾何形狀的車標(biāo)進(jìn)行了特征向量提取的測試, 實(shí)驗(yàn)過程中選擇Rolls-Royce,Maserati,Koenigsegg,Saab,AstonMartin,Jaguar等幾種相對復(fù)雜的車標(biāo)進(jìn)行實(shí)驗(yàn)結(jié)果對比. 由圖7可見, SIFT算法特征提取正確識(shí)別率達(dá)到92%以上, 且高于對比算法的特征提取.

仿真實(shí)驗(yàn)結(jié)果表明, SIFT算法更適合復(fù)雜車標(biāo)圖像的識(shí)別, 且識(shí)別效果較好, 能滿足實(shí)際應(yīng)用的需要.