基于卷積神經(jīng)網(wǎng)絡(luò)的車型顏色綜合識(shí)別

馮 錦，李玉惠

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500)

交通監(jiān)管部門常采用車牌[1]進(jìn)行車輛信息跟蹤[2]。但是，辨識(shí)車輛的唯一標(biāo)識(shí)不能僅僅應(yīng)用車牌信息，因?yàn)椴糠周囍鬟M(jìn)行違法活動(dòng)時(shí)為了逃避責(zé)任會(huì)對(duì)車牌進(jìn)行故意破損、遮擋或套牌。因而，車輛顏色、車輛類型、其他特征(如年檢標(biāo)、車內(nèi)掛飾等)被視為實(shí)現(xiàn)車輛識(shí)別的基本特征。車輛類型、車輛顏色因易于區(qū)分，且不易改動(dòng)，便作為車輛識(shí)別中重要的特征。

美國(guó)California大學(xué)的Sayanan Sivaraman等人利用主動(dòng)學(xué)習(xí)方法，并將梯度特征、Haar特征結(jié)合，再將SVM和Adaboost分類器兩者結(jié)合進(jìn)行車型識(shí)別[3-6];Lebanese的Bassam Daya等采用一種基于幾何參數(shù)，并利用神經(jīng)網(wǎng)絡(luò)的分類器實(shí)現(xiàn)多類車型識(shí)別[7-8];根據(jù)GA24-8公安車輛顏色代碼、GB-T3181-1995漆膜顏色標(biāo)準(zhǔn)結(jié)合公安和交通對(duì)車輛對(duì)象顏色應(yīng)用的需求，將車輛顏色統(tǒng)一分為：黑色、藍(lán)色、綠色、棕色、白色、黃色、粉色、紫色、紅色、灰色和其它共11類?，F(xiàn)階段主要有對(duì)車輛全身顏色特征[9]、提取車輛感興趣區(qū)域顏色特征兩種對(duì)車輛顏色識(shí)別的方法。其中涉及的機(jī)器學(xué)習(xí)理論主要有KNN、人工神經(jīng)網(wǎng)絡(luò)[10]和SVM[11]。

吳藝塔等人提出的先目標(biāo)分割去除反光鏡、車輪等干擾后得到車輛顏色顯著區(qū)域，之后對(duì)聯(lián)通區(qū)域再分析，使用SVM兩層分類器將顏色分為紅、黃、藍(lán)、綠、白、黑、銀7種的方法，對(duì)綠黑銀3種顏色的識(shí)別率不高[12]。方靜等人應(yīng)用BP神經(jīng)網(wǎng)絡(luò)把顏色分了7類[13]。其中經(jīng)過了為獲得車顏色每個(gè)像素的微觀特性值，利用HSI的3個(gè)通道，定義7種顏色彼此關(guān)系、閾值范疇的過程。為降低各因素對(duì)識(shí)別的干擾，縮小車輛檢索范圍，現(xiàn)有方法多是類似先進(jìn)行車型識(shí)別再顏色識(shí)別。[14]的這種分布式多次特征篩選后，縮小檢索范圍再進(jìn)一步得出最終目標(biāo)車輛。

本文采用深度學(xué)習(xí)Caffe框架中LeNet網(wǎng)絡(luò)、AlexNet網(wǎng)絡(luò)、GoogLeNet網(wǎng)絡(luò)3種卷積神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用提前已做出車型、顏色兩種特征標(biāo)記的車輛圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練與驗(yàn)證。再與基于SVM的車型顏色識(shí)別方法進(jìn)行比較驗(yàn)證實(shí)驗(yàn)。最終得出應(yīng)用深度學(xué)習(xí)Caffe框架下GoogLeNet網(wǎng)絡(luò)的分類方法對(duì)車型顏色的綜合識(shí)別準(zhǔn)確率高，實(shí)時(shí)性強(qiáng)。

1 車型與顏色識(shí)別方法原理與結(jié)構(gòu)

1.1 深度學(xué)習(xí)框架3種網(wǎng)絡(luò)模型分析

Caffe的全稱應(yīng)該是Convolutional Architecture for Fast Feature Embedding，它是開源的，核心語(yǔ)言是C++，支持命令行、Python和Matlab接口，既可以在CPU上運(yùn)行也可以在GPU上運(yùn)行。

LeNet網(wǎng)絡(luò)包含了卷基層、Pooling層、全連接層，其構(gòu)造規(guī)模不大，是現(xiàn)今CNN網(wǎng)絡(luò)的根本組件。LeNet-5共8層，每層有多個(gè)參數(shù)，蘊(yùn)含輸入層在內(nèi)。C層為卷積層，S層為下采樣層。為使原信號(hào)特征增強(qiáng)可通過卷積層操作來(lái)實(shí)現(xiàn)，同時(shí)也可降低噪音。

1.1.2 AlexNet網(wǎng)絡(luò)模型分析

2012年，Geoffrey和他的學(xué)生Alex為了回應(yīng)質(zhì)疑，在ILSVRC競(jìng)賽中所用的網(wǎng)絡(luò)結(jié)構(gòu)被稱為AlexNet模型。

AlexNet模型的卷積層在前5層，全連接層在后3層，共8層，參數(shù)量達(dá)60 MB以上。有1 000個(gè)輸出的softmax是全連接層的最后一個(gè)輸出。網(wǎng)絡(luò)最后的優(yōu)化目標(biāo)是最大化平均的多項(xiàng)邏輯回歸。

1.1.3 GoogLeNet網(wǎng)絡(luò)模型分析

GoogLeNet網(wǎng)絡(luò)模型[15]，是22層的深度網(wǎng)絡(luò)模型，輸入的原始數(shù)據(jù)大小為2 242 243。該模型證明，用更多卷積、更深層次能獲取到更好的訓(xùn)練驗(yàn)證成果。同時(shí)，GoogLeNet應(yīng)用了Inception結(jié)構(gòu)后，既減少了參數(shù)量，也提高了預(yù)測(cè)分類的成功率。

1.2 SVM網(wǎng)絡(luò)分類原理

支持向量機(jī)完成原理，是將輸入向量，經(jīng)過某個(gè)提前選擇好的非線性映射(核函數(shù))，映射至一個(gè)高維，可構(gòu)建最優(yōu)分類超平面的特征空間。是針對(duì)分類兩個(gè)數(shù)據(jù)類別情況而提出的。對(duì)于樣本集(xi,yi),i=1,2…n,xi∈Rn,yi∈{-1,1}，構(gòu)建的分類面為：wx+b=0，可將兩類樣本無(wú)錯(cuò)且無(wú)偏差的分開，使它們間隔最大。w,x為n維的向量，普通線性判別函數(shù)，模式為g(x)=wx+b，對(duì)w和b采用相同大小的縮放方法，進(jìn)行歸一化。兩類全部的樣本均滿足g(x)≥1，兩類總共的樣本分類距離為2/‖w‖，距離分類面最近的樣本滿足|g(x)|=1。

基于SVM網(wǎng)絡(luò)車型顏色特征數(shù)據(jù)分類算法流程如圖1所示。

天脊集團(tuán)是中國(guó)硝酸磷型復(fù)合肥的締造者。正因?yàn)槿绱?，“天脊化肥就要打造中?guó)硝基肥第一品牌”這是天脊集團(tuán)確定的天脊產(chǎn)品定位、實(shí)施的品牌戰(zhàn)略目標(biāo)。

圖1 算法流程圖

它是一個(gè)二類分類學(xué)習(xí)模型，學(xué)習(xí)策略是間隔最大化，常被用來(lái)做模式的辨認(rèn)識(shí)別、模型的分類工作。

2 實(shí)驗(yàn)過程

2.1 數(shù)據(jù)集準(zhǔn)備

通過交通高速公路主干線各卡口24 h照相設(shè)備，采集高速公路過往車輛圖片，獲取高速公路車輛高清圖片數(shù)據(jù)集。為保證數(shù)據(jù)的真實(shí)可靠性，對(duì)該數(shù)據(jù)集進(jìn)行人工分類標(biāo)注，分為了小車-黑色、微面-白色、卡車-藍(lán)色、客車-綠色這樣的車型-顏色模式21類。共采集不同尺度、光照、角度的車輛圖片35 951張，其中小車分為9種顏色，共14 943張；微面分為3種顏色，共5 425張；卡車分為4種顏色，共10 938張；客車分為5種顏色，共4 645張。通過英偉達(dá)(NVIDIA)的digits中制作分類數(shù)據(jù)的工具將高速公路車輛高清圖片數(shù)據(jù)集制作成深度學(xué)習(xí)框架能夠快速讀取的格式，同時(shí)將高速公路車輛高清圖片數(shù)據(jù)集劃分90%為訓(xùn)練集，10%為驗(yàn)證集，并將彩色圖片尺度歸一化為統(tǒng)一大小。

圖2和圖3為訓(xùn)練集和驗(yàn)證集實(shí)驗(yàn)數(shù)據(jù)的具體情況，圖4為實(shí)驗(yàn)?zāi)Ｐ椭?56 256像素的部分車型顏色圖片。

圖2 訓(xùn)練集

圖3 驗(yàn)證集

圖4 部分車型與顏色圖片

2.2 利用Caffe框架的實(shí)驗(yàn)

利用3種網(wǎng)絡(luò)模型分別進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)方案如下：將28×28像素?cái)?shù)據(jù)集輸入到LeNet網(wǎng)絡(luò)、256 256像素?cái)?shù)據(jù)集輸入到AlexNet和GoogLeNet兩個(gè)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。將訓(xùn)練好的網(wǎng)絡(luò)模型用于驗(yàn)證集識(shí)別率的驗(yàn)證分析；再以小車圖片為例，驗(yàn)證單張車型顏色圖片識(shí)別準(zhǔn)確率，并將每層網(wǎng)絡(luò)輸出結(jié)果可視化；得到結(jié)果后，先對(duì)3個(gè)網(wǎng)絡(luò)模型實(shí)驗(yàn)結(jié)果進(jìn)行類內(nèi)對(duì)比分析；之后，再與運(yùn)用SVM后的識(shí)別結(jié)果進(jìn)行類間比較，分析后得出結(jié)論。

3 實(shí)驗(yàn)結(jié)果分析

3.1 3種網(wǎng)絡(luò)模型類內(nèi)對(duì)比

實(shí)驗(yàn)結(jié)果顯示，3種網(wǎng)絡(luò)模型訓(xùn)練過程中訓(xùn)練集損失率、驗(yàn)證集損失率隨迭代次數(shù)的增加而下降，并逐漸趨于平穩(wěn)；驗(yàn)證集準(zhǔn)確率隨迭代次數(shù)的加大而提高，逐漸趨于平穩(wěn)。文章實(shí)驗(yàn)中共迭代了30次，學(xué)習(xí)率的

初始值為0.01；迭代10次時(shí)，學(xué)習(xí)率下降至0.001；當(dāng)?shù)?0次時(shí)，學(xué)習(xí)率下降至0.000 1。在網(wǎng)絡(luò)訓(xùn)練的過程中可以看到損失與準(zhǔn)確率的跨度隨學(xué)習(xí)率的下降而逐漸變小，漸漸趨于平穩(wěn)。圖5給出3種模型中識(shí)別效果較佳的GoogLeNet網(wǎng)絡(luò)模型對(duì)一張圖片的車型顏色識(shí)別效果圖。

圖5 GoogLeNet網(wǎng)絡(luò)模型識(shí)別效果圖

實(shí)驗(yàn)中的GoogLeNet模型對(duì)一張圖片數(shù)據(jù)分類結(jié)果如表1所示。

表1 一張小車-黑色圖片預(yù)測(cè)分類結(jié)果

從表1可看出GoogLeNet模型被訓(xùn)練好以后，對(duì)于單張圖片數(shù)據(jù)的分類結(jié)果很理想，但預(yù)測(cè)分類所用時(shí)間比AlexNet網(wǎng)絡(luò)模型的長(zhǎng)。

由于分類種類繁多，3種網(wǎng)絡(luò)模型實(shí)驗(yàn)結(jié)果的混淆矩陣過大且類似。為合理布局，僅選取訓(xùn)練好的GoogLeNet網(wǎng)絡(luò)模型，對(duì)總數(shù)據(jù)量10%的驗(yàn)證集里4種車型部分車輛顏色分類結(jié)果的混淆矩陣為例來(lái)顯示實(shí)驗(yàn)結(jié)果，如表2所示。

表2 GoogLeNet網(wǎng)絡(luò)模型下部分車型顏色分類結(jié)果混淆矩陣

從混淆矩陣中可以看出，Caffe框架下的3種模型對(duì)車型顏色綜合識(shí)別的準(zhǔn)確率較傳統(tǒng)識(shí)別方法有較大提升。

首先，通過對(duì)Caffe框架下3種模型的車型顏色識(shí)別研究實(shí)驗(yàn)結(jié)果可知：LeNet網(wǎng)絡(luò)模型構(gòu)造簡(jiǎn)單，對(duì)手寫數(shù)字的辨識(shí)率較高，但對(duì)大數(shù)據(jù)量、復(fù)雜的物體圖片分類還遠(yuǎn)遠(yuǎn)不夠。本文利用該模型對(duì)車型顏色綜合分類識(shí)別的結(jié)果為90.3%，AlexNet網(wǎng)絡(luò)模型證明，在復(fù)雜模型下，CNN具有的有效性。但是，由于AlexNet模型，在回歸到全連接層時(shí)，參數(shù)總量達(dá)到60 MB，所需網(wǎng)絡(luò)參數(shù)最多。準(zhǔn)確率為92.13%，略高于LeNet。該模型下車型顏色識(shí)別中卡車綠色和卡車白色兩類的識(shí)別率不高，僅達(dá)到88%。分析可能的原因：一是兩類圖片數(shù)據(jù)量不足，使得本身訓(xùn)練結(jié)果不佳導(dǎo)致驗(yàn)證結(jié)果偏低；二是采集到的兩類圖片數(shù)據(jù)都是正面圖，由于采集時(shí)各種外界因素使得兩類特征過于相似而不易區(qū)分。后續(xù)將會(huì)對(duì)此問題做出進(jìn)一步實(shí)驗(yàn)驗(yàn)證分析；GoogLeNet模型表明，用更多卷積、更深層次能獲取到更好的訓(xùn)練驗(yàn)證成果，本文利用GoogLeNet模型對(duì)車型顏色進(jìn)行識(shí)別后結(jié)果可達(dá)95.9%，甚至對(duì)個(gè)別車型顏色綜合識(shí)別的準(zhǔn)確率可達(dá)100%，效果較好。

另外，應(yīng)用GPU后，在LeNet、AlexNet、GoogLeNet3種網(wǎng)絡(luò)模型下完成的實(shí)驗(yàn)消耗GPU顯存容量分別為1 GB、3 GB、3 GB依次增加；訓(xùn)練模型與驗(yàn)證結(jié)果總共耗時(shí)分別為8 min、60 min、110 min。使大數(shù)據(jù)訓(xùn)練在可接納時(shí)間長(zhǎng)短內(nèi)，獲得了較好結(jié)果。

3.2 SVM與Caffe框架下3種模型結(jié)果對(duì)比

選取SVM與caffe框架下3種模型對(duì)車型顏色綜合識(shí)別準(zhǔn)確率較高的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，數(shù)據(jù)如表3所示。

表3 4種車型顏色綜合識(shí)別準(zhǔn)確率

4 結(jié)束語(yǔ)

針對(duì)高速公路復(fù)雜環(huán)境對(duì)車型顏色綜合識(shí)別的干擾以及常用分布識(shí)別步驟繁瑣的問題，提出利用Caffe框架下的LeNet、AlexNet、GoogLeNet3種模型進(jìn)行綜合識(shí)別的方法，以提高識(shí)別準(zhǔn)確率，降低因素干擾，節(jié)省時(shí)間。再與基于SVM的車型顏色識(shí)別方法進(jìn)行實(shí)驗(yàn)結(jié)果比較分析后表明：Caffe框架中3種模型對(duì)車型顏色的綜合識(shí)別率高于基于SVM方法的識(shí)別率；并且其中GoogLeNet的識(shí)別率最高效果最好。對(duì)于綜合識(shí)別率，本文方法自動(dòng)進(jìn)行網(wǎng)絡(luò)訓(xùn)練與驗(yàn)證，實(shí)現(xiàn)了“提取-識(shí)別-分類”全過程的主動(dòng)進(jìn)行。避免了常用分布識(shí)別的繁雜流程和步驟，大幅降低了高速公路環(huán)境中復(fù)雜因素對(duì)車型顏色識(shí)別造成的影響。同時(shí)也縮小了車輛搜尋的排查范圍，節(jié)省了時(shí)間，為最終實(shí)現(xiàn)車輛檢索奠定基礎(chǔ)。

[1] 孫陽(yáng),王云龍,何文鐸.低清晰度車牌識(shí)別技術(shù)的研究與應(yīng)用[J].華中科技大學(xué)學(xué)報(bào),2016,10(44):138-142.

[2] 劉陽(yáng),王忠立,蔡伯根.復(fù)雜環(huán)境基于多特征融合的車輛跟蹤方法[J].交通運(yùn)輸系統(tǒng)工程與信息.2015,15(6):74-81.

[3] Sivaraman,Sayanan,Trivedi,et al.Active learning for on-road vehicle detection:acomparative study[J].Machine Vision and Applications,2014,25(3):599-611.

[4] Sivaraman,Sayanan,Trivedi,et al.Looking at vehicles on the road:a survey of vision-based vehicle detection,tracking,and behavior analysis[J].Transactions on Intellgent Transportation Systems,2013,14(4):1773-1795.

[5] Eshed Ohn-Bar,Sayanan Sivaraman,Mohan Trivedi.Partially occluded vehicle recognition and tracking in 3D[C].Orleans:IEEE Intelligent Vehicles Symposium,2013.

[6] Wei W,Zhang Y,Wu Linlin.Application of GA-based AdaBoost algorithm in vehicle identification[J].Journal of Highway&Transportation Research&Development,2010,27(2):114-118.

[7] Bassam Daya,Al Hussain Akoum,Pierre Chauvet.Neural network approach for the identification system of the type of vehicle[C]. Louisiana:International Conference on Computational Intelligence and Communication Network,2010.

[8] Wang L,Zhang N,Du H.Real-time identification of vehicle motion-modes using neural networks[J].Mechanical Systems & Signal Processing,2015(7):632-645.

[9] 趙紅波,張涵.車輛顏色識(shí)別方法研究[J].電視技術(shù),2013(23):207-209.

[10] 徐博.基于卷積神經(jīng)網(wǎng)絡(luò)的車輛屬性識(shí)別[D].北京:北京理工大學(xué),2016.

[11] 薛丹,孫萬(wàn)榮,李京京.一種基于SVM的改進(jìn)車牌識(shí)別算法[J].電子科技,2013,26(11):22-25.

[12] Wu Y T,Kao J H,Yu M.A vehicle color classification method for video surveillance system concerning model-based background subtraction[C].Shanghai:Proceeding of Pacific Rim Conference on Multimedia,2010.

[13] Fang Jing,Yue Hengjun,Li Xiuzhi.Color identifying of vehicles based on color container and BP network[C].Harbin:Proceeding of IEEE Conference on Business Management and Electronic Information,2011.

[14] 郭藝帆.基于融合特征的車輛識(shí)別[D].成都:電子科技大學(xué),2016.

[15] Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C].LA,USA:IEEE Conference on Computer Vision&Pattern Recognition,2014.