基于尺度顯著性算法的車型識(shí)別方法

袁愛龍 ，陳懷新 ，吳云峰

（1.電子科技大學(xué) 光電信息學(xué)院，四川 成都 610054；2.中國電子科技集團(tuán)公司第十研究所，四川 成都 610036）

車輛自動(dòng)識(shí)別技術(shù)是智能交通系統(tǒng)ITS（Intelligent Transportation System）的重要組成部分，它對(duì)特定地點(diǎn)和時(shí)間的車輛進(jìn)行識(shí)別和分類，并以之作為交通收費(fèi)、調(diào)度和統(tǒng)計(jì)的依據(jù)。

根據(jù)GB/T 3730.1-2001《汽車和掛車類型的術(shù)語和定義》[1]，汽車分為乘用車（不超過9座）和商用車。車型識(shí)別的研究主要應(yīng)用在車輛結(jié)構(gòu)和車輛型號(hào)（不同品牌型號(hào)）兩個(gè)方面。本文主要是在車輛結(jié)構(gòu)上進(jìn)行車型識(shí)別，將識(shí)別的車輛分為乘用車（小車）和商用車（大車）兩類。

車型識(shí)別的汽車圖片中汽車所處環(huán)境復(fù)雜多變，并且同類車型包括眾多不同的車輛，車型識(shí)別的難點(diǎn)在于獲取最本質(zhì)、最有代表性的特征。在提取特征方面，英國曼徹斯特大學(xué)的PETROVIC V S等人對(duì)汽車前景圖像的參考曲面提取梯度特征[2]，NEGRI P和CLADY X等人提取汽車正面圖像定向輪廓點(diǎn)特征[3-4]，但是光線特征和輪廓點(diǎn)特征對(duì)光線變換敏感，當(dāng)光線不同時(shí)，識(shí)別率變化較大。隨后，PSYLLOS A等人采用尺度不變換特征（SIFT）提取車臉圖像特征[5]。SIFT特征具有圖像尺度（特征大?。┖托D(zhuǎn)不變性，而且對(duì)光照變化也具有一定程度的不變性，但是圖像出現(xiàn)損壞、遮擋時(shí)，識(shí)別率也會(huì)受到影響。

本文根據(jù)人眼分辨事物的特點(diǎn)提取車輛前景圖像（車臉圖像）尺度顯著性特征，然后用徑向基神經(jīng)網(wǎng)絡(luò)作為分類器去測(cè)試提取特征方法的識(shí)別效果。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法能有效地對(duì)車型進(jìn)行識(shí)別處理。

1 尺度顯著性算法

尺度顯著性算子是基于提取魯棒而有關(guān)聯(lián)的特征的需要而提出的[6]。如果一幅圖像的某些區(qū)域不能在特征和尺度空間同時(shí)進(jìn)行預(yù)測(cè)，尺度顯著性算法將認(rèn)為這些區(qū)域是顯著特征區(qū)域，即人眼辨別事物時(shí)的感興趣區(qū)域。其中的不可預(yù)測(cè)性通過統(tǒng)計(jì)方法確定，計(jì)算出位置和尺度的顯著特征值空間作為進(jìn)一步理解圖像的基礎(chǔ)。與傳統(tǒng)方法相比，其目標(biāo)是成為一個(gè)尺度和顯著特征的通用方法，因?yàn)檫@兩者的定義與特殊的基本形態(tài)意義無關(guān)，這些基本形態(tài)意義不是基于粒子、邊緣和角點(diǎn)等特殊的幾何特征。該方法通過確定某一尺度上圖像塊內(nèi)的熵（entropy，即一種稀有性的量度）進(jìn)行處理，熵 HD定義為：

連續(xù)條件下，顯著性因子是熵峰值的加權(quán)和，定義為圖像尺度 s和坐標(biāo)x→的函數(shù)：

其中，權(quán)重函數(shù) WD（，→）定義為：

在離散條件下，HD、WD和定義為：

提取圖像顯著性區(qū)域的算法描述如下：

（1）對(duì)圖像 I中的每個(gè)像素點(diǎn)（x，y），遍歷所有的尺度 s，其中s∈（smin，smax）。

①在尺度為s的圖像窗口中計(jì)算局部描述值i；

②用局部描述值i和局部圖像灰度值分布來計(jì)算局部概率密度函數(shù) P（i，s，）；

（2）對(duì) WD（s，→）進(jìn)行平滑濾波處理。

（4）用式（3）計(jì)算顯著性因子 yD（，）。

該算法產(chǎn)生了一個(gè)由二維圖像平面向量和一維尺度向量組成的R3空間，構(gòu)成了尺度顯著性空間。

對(duì)不同的圖像簡(jiǎn)單提取熵值最大點(diǎn)作為尺度顯著性空間有不妥之處，因?yàn)樵摽臻g中會(huì)包含圖像中的噪聲點(diǎn)，因此有必要用聚類算法優(yōu)化該顯著性空間。這個(gè)聚類算法必須滿足提取原始顯著性空間的顯著性因子較高的點(diǎn)和去除許多噪聲引起的顯著性點(diǎn)兩個(gè)要求。

具體的聚類算法描述如下：

（1）設(shè)置尺度間顯著性全局閾值wt和顯著性因子全局閾值yt，并應(yīng)用于上述算法提取的顯著性空間Rn3；

（2）在顯著性空間 Rn3中選出最大顯著性因子 ymax，這一顯著性區(qū)域包含中心點(diǎn)（x0，y0）和尺度 s0；

（4）去除所有D＜s0的顯著性因子，構(gòu)成新的顯著性空間 Rm3，m≤n；

（5）在新的顯著性空間Rm3中找出第二個(gè)最大顯著性因子 ymax，重復(fù)步驟（2）。

圖1為顯著性算法在實(shí)際圖像中的應(yīng)用。在這個(gè)例子中，將局部的圖像灰度值的直方圖作為描述值，并設(shè)置了一個(gè)整體的閾值S→。圖1（a）中圓形區(qū)域即為該圖像的顯著區(qū)域，圓形區(qū)域半徑是尺度顯著性算法中的尺度。圖1（a）只顯示了顯著性因子值在前15的顯著區(qū)域，能夠看出有紋理的背景并不影響該算法選擇圖像的顯著區(qū)域。圖1（b）為原始圖像光線變暗后采集的顯著性，圖1（c）為原始圖像縮小一半后采集的顯著性區(qū)域，圖1（d）為原始圖像順時(shí)針旋轉(zhuǎn)后采集的顯著性區(qū)域，圖1（e）為原始圖像添加椒鹽噪聲后采集的顯著性區(qū)域。

圖1 不同條件下圖像顯著性區(qū)域采集圖

為衡量在不同條件下收集的圖像顯著性區(qū)域的相似度，以兩個(gè)圖像矩陣的相關(guān)性來評(píng)價(jià)。設(shè)某圖像某塊顯著區(qū)域的矩陣為 Am×n，另一圖像某塊顯著區(qū)域的矩陣為 Bm×n，則 Am×n與 Bm×n的相似度即相關(guān)系數(shù) Corr 可表示為

圖2顯示了圖 1（a）和圖 1（e）的顯著區(qū)域最相關(guān)的部分，第1行為圖 1（a）的前 10個(gè)顯著性區(qū)域圖像，第 2行圖1（e）中與上面區(qū)域?qū)?yīng)顯著性區(qū)域。分別計(jì)算對(duì)應(yīng)區(qū)域的相似度，結(jié)果顯示，每對(duì)顯著性區(qū)域的相關(guān)性都在0.72以上，相關(guān)性良好，體現(xiàn)了該算法提取的特征對(duì)噪聲具有很好的魯棒性。

圖2 不同條件下圖像顯著性區(qū)域匹配圖

為驗(yàn)證尺度顯著性算法提取的顯著性區(qū)域?qū)D像光線變化、尺度變化以及旋轉(zhuǎn)的魯棒性，計(jì)算圖1中各種情況下采集的顯著性區(qū)域與原始圖像顯著性區(qū)域之間的相似度，結(jié)果如表1所示。

表1 顯著性區(qū)域相似度計(jì)算結(jié)果

從表1可以看出，各種情況下提取的顯著性區(qū)域之間的相似度都在0.72以上，表明尺度顯著性算法提取顯著性區(qū)域的方法實(shí)踐能力強(qiáng)，對(duì)均一亮度變化、縮放、旋轉(zhuǎn)以及噪聲都具有不變性，可以證明對(duì)視點(diǎn)的細(xì)微變化也有魯棒性。

2 基于尺度顯著性的車型識(shí)別

2.1 尺度顯著性算子提取車型特征

車臉圖像這一區(qū)域包含了豐富的分類特征，不同品牌、不同設(shè)計(jì)目的的車輛其車燈和散熱器隔柵在形狀、尺寸和線條上有很大的不同，不同的車輛系列、不同的車輛型號(hào)都有獨(dú)特的區(qū)別于其他車臉圖像的外觀設(shè)計(jì)。因此本文選擇車臉區(qū)域進(jìn)行研究，通過識(shí)別車臉的圖像特征識(shí)別車輛所屬類型。

由于提取顯著性因子與尺度有關(guān)系，在提取不同類車型的顯著性特征時(shí)，將其大小歸一化處理，這樣提取的顯著性特征才能較好地區(qū)分車輛類型。本文將車輛圖像歸一化為180 pix×210 pix。不同車型的顯著性特征提取示例如圖3所示。

圖3 車臉圖像顯著性區(qū)域示例

從圖3提取的顯著性區(qū)域可知，乘務(wù)車（小車）的顯著性區(qū)域主要分布在散熱器格柵處，分布在車燈上的區(qū)域很少，且尺度大小相差不大；商務(wù)車（大車）的顯著性區(qū)域主要分布在車燈和車窗處，且尺度大小不一。

2.2 構(gòu)造車型分類特征空間

本文將歸一化車臉圖像中顯著性區(qū)域的中心點(diǎn)和尺度構(gòu)成汽車車型分類的特征空間。用圖3中大車和小車圖像構(gòu)成的車型分類特征空間如圖4所示。

圖4 車型分類的特征空間

在車型分類的特征空間中，小車特征點(diǎn)表示為α=（xa，ya，sa）T，大車特征點(diǎn)表示為 β=（xb，yb，sb）T，兩點(diǎn)之間的歐式距離表示為：

大車所有特征點(diǎn)與小車所有特征點(diǎn)的最小歐式距離表示為：

最小歐氏距離越大，表示類間距離越大，特征向量區(qū)分度越大，特征提取方法越好。

計(jì)算圖4中小車和大車所有特征點(diǎn)的最小歐式距離Dmin=21.63，最小歐式距離較大，表示特征向量區(qū)分度較好。

3 算法性能分析

鑒于基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的模式分類方法在網(wǎng)絡(luò)結(jié)構(gòu)方面的簡(jiǎn)潔性以及在識(shí)別率和訓(xùn)練速度方面的優(yōu)勢(shì)，本文采用其作為車型識(shí)別方法。用采集到的部分車輛圖去訓(xùn)練已經(jīng)設(shè)計(jì)好的RBF網(wǎng)絡(luò)，最后驗(yàn)證該特征提取方法的有效性，計(jì)算車型識(shí)別率。

3.1 網(wǎng)絡(luò)模型設(shè)計(jì)

為驗(yàn)證提取顯著性特征的區(qū)分性，選擇RBF神經(jīng)網(wǎng)絡(luò)作為分類器。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)一般采用具有輸入層、隱藏層和輸出層的3層模型，各層的權(quán)值向量維數(shù)等于其神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)。

輸入層的節(jié)點(diǎn)數(shù)由特征向量的維數(shù)決定，本文選取車臉圖像的前15個(gè)顯著性區(qū)域作為車臉圖像顯著性特征，每個(gè)顯著性區(qū)域包含中心點(diǎn)（x，y）和尺度 s，提取得到的特征向量為15×3=45維，故輸入層節(jié)數(shù)為45。

輸出層的節(jié)點(diǎn)數(shù)由輸出向量維數(shù)決定。本文將帶識(shí)別的車型分為乘務(wù)車（小車）和商務(wù)車（大車）兩類，因此輸出向量為二維向量，即輸出層節(jié)點(diǎn)數(shù)為2。

隱藏層的節(jié)點(diǎn)數(shù)可以通過網(wǎng)絡(luò)學(xué)習(xí)自適應(yīng)獲得。

3.2 試驗(yàn)與結(jié)果分析

實(shí)驗(yàn)數(shù)據(jù)來自于相機(jī)采圖，相機(jī)不是固定的，放置在車輛正前方 3～5 m處，距離地面 1.4～1.6 m，因此采集的車輛圖片在尺度和角度±5°都有的變化。在一個(gè)月時(shí)間內(nèi)不同天氣和不同光線條件下采集1 046幅車臉圖像，圖5為采集到的車臉圖像樣例。其中，700幅圖像用于訓(xùn)練 （大車和小車圖像各350幅），346幅圖像用于測(cè)試（198幅小車圖像和148幅大車圖像），用這些訓(xùn)練圖像一次性完成對(duì)已設(shè)計(jì)好的RBF網(wǎng)絡(luò)的訓(xùn)練，得到車型識(shí)別結(jié)果如表2所示。

圖5 車輛訓(xùn)練圖像樣例

表2 車型識(shí)別結(jié)果

從表2可知，基于尺度顯著性的車型識(shí)別方法，乘用車（小車）和商務(wù)車（大車）的識(shí)別率都在 94%以上，達(dá)到較好的效果。未能正確識(shí)別的車輛圖像中，大部分都是背景比較復(fù)雜，或是車輛目標(biāo)不是很明顯。為進(jìn)一步提高識(shí)別率，需在復(fù)雜背景下提取車輛圖像，這也是今后改進(jìn)的方向。

本文首次提取圖像尺度顯著性因子作為圖像的分類特征，并應(yīng)用到圖像識(shí)別領(lǐng)域，提出了一種基于尺度顯著性的車型識(shí)別方法。相比于傳統(tǒng)的特征提取方法，尺度顯著性因子對(duì)圖像均一亮度變化、縮放、旋轉(zhuǎn)以及噪聲都具有不變性，并對(duì)視點(diǎn)的細(xì)微變化也有魯棒性。用RBF神經(jīng)網(wǎng)絡(luò)去驗(yàn)證算法性能，實(shí)驗(yàn)結(jié)果顯示，基于尺度顯著性的車型識(shí)別方法是有效的。鑒于圖像尺度顯著性因子的特性，可以將這種方法應(yīng)用復(fù)雜背景下的目標(biāo)檢測(cè)和跟蹤，這也是下一步將研究的問題。

[1]GB/T 3730·1-2001.Motor Vehicles and Trailers-Types：Terms and Definitions[S].

[2]PETROVIC V S，COOTES T F.Vehicle type recognition with match refinement[C].International Conference on Pattern Recognition， 2004（3）：95-98.

[3]NEGRI P，CLADY X，MILGRAM M，et al.An orientedcontour pointbased voting algorithm for vehicle type classification[C].18th International Conference on Pattern Recognition， 2006（1）：574-577.

[4]CLADY X， NEGRI P， MILGRAM M， et al.Multi-class vehicle type recognition system [C].Lecture Notes in Computer Science， 2008（5064）：228-239.

[5]PSYLLOS A， ANAGNOSTOPOULOS C N， KAYAFAS E.Vehicle model recognition from frontal view image measurements[J].Journal Computer Standards&Interfaces，2011（33）：142-151.

[6]KADIR T， BRADY M.Scale， saliency and image description[J].International Journal of Computer Vision， 2001，45（2）：83-97.