基于邊緣檢測和深度學(xué)習(xí)的車輛定位與分類

□ 文/張驊 戚悅

引言

隨著現(xiàn)代社會生活水平的不斷提高，汽車數(shù)量高速增長，交通監(jiān)管面臨巨大挑戰(zhàn)。高清智能卡口系統(tǒng)作為交通監(jiān)管的一種重要手段，已被廣泛應(yīng)用于現(xiàn)代交通的各個領(lǐng)域。然而傳統(tǒng)的依賴人工判讀的方法已無法滿足如今海量交通圖像處理的需要，構(gòu)建智能識別系統(tǒng)以自動處理各種交通圖像信息成為必然趨勢。不同類型車輛，具有不同的道路使用權(quán)，高清卡口系統(tǒng)的一項(xiàng)主要任務(wù)就是識別車輛類型。本文就定位并識別高清卡口圖片中的小轎車和大客車進(jìn)行了研究。

車輛定位一般是基于視頻監(jiān)控系統(tǒng)。對于時(shí)域連續(xù)的圖片，可以利用幀間差分和光流法等技術(shù)方便提取出運(yùn)動車輛的位置。但是不同于視頻監(jiān)控系統(tǒng)，高清智能卡口系統(tǒng)只能獲取離散的抓拍圖片，傳統(tǒng)的基于視頻的定位系統(tǒng)不能取得理想的效果。目前，基于圖片的定位方法主要有：滑動窗和圖像分割，但是這兩種方法都非常耗時(shí)。本文充分利用高清智能卡口圖片背景信息，將卡口圖片的邊緣與背景邊緣進(jìn)行差分，提取出前景車輛位置。確定車輛位置之后，就可以進(jìn)行車型識別。本文的車型識別主要是利用卷積神經(jīng)網(wǎng)絡(luò)對提取的前景車輛進(jìn)行分類。相較于傳統(tǒng)方法，卷積神經(jīng)網(wǎng)絡(luò)的識別正確率可以做到90%以上，此外將卷積神經(jīng)網(wǎng)絡(luò)放入GPU中處理速度非?？?。本文采取經(jīng)典的AlexNet網(wǎng)絡(luò)進(jìn)行車輛分類，取得了很好的效果。

車輛定位

背景建模和感興趣區(qū)域提取

高清智能卡口系統(tǒng)通過高清卡口抓拍攝像機(jī)對過往車輛進(jìn)行抓拍，攝像機(jī)抓拍的所有圖片都是同一角度，背景完全相同。但是由于抓拍系統(tǒng)的工作時(shí)間間隔可能很長，無法實(shí)時(shí)建模，導(dǎo)致不能直接通過背景相減提取出前景。為了利用背景信息，必須消除光照影響。本文通過平均值法得到背景圖，然后提取出背景邊緣圖。考慮到抓拍攝像機(jī)不可能保持絕對不動，不同的圖片背景之間會有一定的位移，但是絕大數(shù)情況下，這種位移是很小的，所以對背景圖的邊緣進(jìn)行膨脹操作以消除這些微小位移的影響?？谙到y(tǒng)都是針對特定車道的抓拍，對于其他車道的信息并不關(guān)心。因此可以劃定車道，只對特定車道進(jìn)行處理，對于車道外信息完全屏蔽。

圖片預(yù)處理

高清智能卡口圖片清晰度好高，能很好的還原車輛的細(xì)節(jié)信息。但是對于車輛定位而言，許多細(xì)節(jié)信息并不重要，太大的圖片反而影響處理速度。所以將圖像縮放至原圖的1/4，并對原圖進(jìn)行修剪，去除非車道部分。

在不同時(shí)間和天氣條件下，圖片的明暗程度差別很大。直方圖均衡化處理，可以很好的提高圖片的對比度，從而更有利于邊緣的提取。處理后圖片如下圖所示，從圖中可以看出，未處理之前的圖片光照條件很差，右下角的車輛幾乎看不清楚，經(jīng)過均衡化處理提高了對比度，車輛外觀清晰可見。

▲圖1：均衡化處理結(jié)果

車輛定位

利用canny算法提取出抓拍圖片的邊緣信息，減去背景的邊緣信息即可得到前景信息。但是此時(shí)的前景邊緣可能會被背景邊緣切斷，需要對得到的前景邊緣進(jìn)行膨脹處理以便將斷開的邊緣重新連接。抓拍系統(tǒng)一次抓拍目標(biāo)只有一個，即距離攝像頭最近的車輛。由于相機(jī)的透視效應(yīng)，離攝像頭最近的車輛也是最大的，因此只需找出最大連通域并求出其最小外接矩形，即可定位車輛。但是由于陰影的影響，以及前后車輛粘連，會導(dǎo)致，定位框過大。對于固定卡口，攝像頭的參數(shù)是固定的，攝像頭與車輛之間的距離也是固定的，因此車輛在不同位置的大小也是可以確定的。本文選取一系列抓拍圖片，對不同位置的車輛大小進(jìn)行了測量，最終擬合出一個近似換算公式。對于過小、過窄以及過寬的外接矩形進(jìn)行剔除，對于過大的外接矩形進(jìn)行修正。

定位結(jié)果如圖所示。這張抓拍圖片抓拍的是左車道，本文算法屏蔽了右側(cè)車道只檢測出右車道的兩輛小轎車，最終保留了最近的轎車。

▲圖2：車輛定位結(jié)果

基于卷積神經(jīng)網(wǎng)絡(luò)的車型分類算法

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是人工神經(jīng)網(wǎng)絡(luò)算法（ANN）的一種，近年來廣泛應(yīng)用于圖像處理領(lǐng)域，是一種高效的識別方法。

卷積神經(jīng)網(wǎng)絡(luò)的前向傳播

卷積神經(jīng)網(wǎng)絡(luò)分為兩個部分：學(xué)習(xí)和預(yù)測，其中預(yù)測過程稱為卷積神經(jīng)網(wǎng)絡(luò)的前向傳播，典型的卷積神經(jīng)網(wǎng)絡(luò)一般有三步操作：卷積、激活和池化。其中卷積操作與圖像的卷積操作一致，它將每一個多通道的圖像看作是一層輸入，每個神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來；卷積操作的本質(zhì)是輸入按照權(quán)重進(jìn)行疊加，這是一個線性操作，如果直接將疊加值作為輸出，則神經(jīng)網(wǎng)絡(luò)的隱藏層將失去作用，卷積神經(jīng)網(wǎng)絡(luò)將與原始的感知機(jī)無異，因此為了增加神經(jīng)元的擬合能力，必須引入一個非線性的函數(shù)，即激活函數(shù)；卷積神經(jīng)網(wǎng)絡(luò)的池化操作主要用于降低提取特征的維度以降低計(jì)算量，即通過對不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，可以有效的降低運(yùn)算的復(fù)雜度，并一定程度上防止過擬合，常用的池化方法有平均池化或者最大池化。

卷積神經(jīng)網(wǎng)絡(luò)的后向傳播

前面我們所介紹的卷積神經(jīng)網(wǎng)絡(luò)的前向傳播過程是建立在權(quán)重已知的前提下，但是實(shí)際上我們并不能確定權(quán)重，因此我們需要通過后向傳播進(jìn)行權(quán)重的更新學(xué)習(xí)（或稱為訓(xùn)練）。通過學(xué)習(xí)，我們的算法計(jì)算得出的結(jié)果與實(shí)際結(jié)果越接近越好。數(shù)學(xué)上，我們用損失函數(shù)來衡量計(jì)算結(jié)果與實(shí)際結(jié)果的距離的指標(biāo)。卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是最小化損失函數(shù)的優(yōu)化過程，常用的優(yōu)化方法有梯度下降法。

車型分類

我們利用邊緣檢測針對高清卡口圖片進(jìn)行車輛定位，確定了待分類車輛的候選框。確定候選框之后，為了確定候選框內(nèi)是否包含車輛和車輛的具體類別，就需要對候選框中圖像進(jìn)行分類。卷積神經(jīng)網(wǎng)絡(luò)作為一個自學(xué)習(xí)的特征提取器，避免了傳統(tǒng)算法手工挑選特征的主觀性，并且可以應(yīng)對各種復(fù)雜環(huán)境。

車型分類作為物體分類的一個子問題，完全可以使用卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)車型的分類。目前大型卷積神經(jīng)網(wǎng)絡(luò)，例如AlexNet、VGGNet以及GoogleNet等在物體識別上取得了巨大的成功。三個網(wǎng)絡(luò)在imagenet比賽中，一千類物體識別率均在80%以上。但是相對而言，AlexNet網(wǎng)絡(luò)最為扁平，處理速度最快。因此本文以AlexNet為基礎(chǔ)，針對車輛數(shù)據(jù)集進(jìn)行訓(xùn)練。AlexNet網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。整個網(wǎng)絡(luò)由5個卷積層和3個全連接層組成，最后接入softmax進(jìn)行分類。

▲圖3：網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)訓(xùn)練

數(shù)據(jù)集建立

卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程雖然不需要手工選取特征，可以實(shí)現(xiàn)對圖像特征的自動化學(xué)習(xí)，但是這種學(xué)習(xí)需要以大量的學(xué)習(xí)資料作為基礎(chǔ)，即數(shù)據(jù)集。然而目前物體識別領(lǐng)域已有的經(jīng)典數(shù)據(jù)集，如imagenet和VOC，圖像數(shù)量龐大，物體種類繁多，對本文的研究并不具有針對性。因此為了針對性地提升識別效果，我們需要建立基于卡口圖像的車型數(shù)據(jù)庫。

參照標(biāo)準(zhǔn)圖像分類數(shù)據(jù)集，我們對數(shù)據(jù)集進(jìn)行車輛區(qū)域和車輛類型的標(biāo)注，其中，車輛區(qū)域用一個矩形框標(biāo)定，包括左上角頂點(diǎn)的橫縱坐標(biāo)以及右下角頂點(diǎn)的橫縱坐標(biāo)；車輛類型分為小轎車和大客車兩大類，圖4是一個圖像的標(biāo)注結(jié)果。

本文原始數(shù)據(jù)集中共標(biāo)定了2800張圖像，其中2000張小轎車，800張大客車。本文選取1900張小轎車，700張大客車作為訓(xùn)練集，余下100張小轎車，100張大貨車作為驗(yàn)證集。由于兩類訓(xùn)練數(shù)據(jù)并不均衡，且訓(xùn)練集數(shù)據(jù)對于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是遠(yuǎn)遠(yuǎn)不足的，因此在原有已標(biāo)定數(shù)據(jù)集的基礎(chǔ)上，我們又進(jìn)行了數(shù)據(jù)的增廣，具體的數(shù)據(jù)增廣方式如下：

對圖像進(jìn)行上下左右的鏡像翻轉(zhuǎn)，候選框坐標(biāo)做相應(yīng)更改；

將圖像進(jìn)行90°、180°、270°的選擇，候選框坐標(biāo)做相應(yīng)更改

對圖像添加小強(qiáng)度的高斯噪聲，候選框坐標(biāo)無需更改；

在原圖上隨機(jī)裁剪圖像，保留包含完整候選框的圖像，并相應(yīng)更改候選框坐標(biāo)。

經(jīng)過這樣的數(shù)據(jù)增廣處理，數(shù)據(jù)集可以擴(kuò)大10倍，可以滿足卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需求。

▲圖4：數(shù)據(jù)集標(biāo)注

網(wǎng)絡(luò)訓(xùn)練過程

卷積神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射。用大量的已知輸入以及對應(yīng)輸出，對卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)就可以學(xué)習(xí)到這種映射關(guān)系。和標(biāo)準(zhǔn)AlexNet相同，本文也采取隨機(jī)梯度下降法訓(xùn)練。每一層的權(quán)重用均值為0，標(biāo)準(zhǔn)差為0.01的高斯分布進(jìn)行初始化。

學(xué)習(xí)率初始化為0.1，每訓(xùn)練完一輪數(shù)據(jù)集驗(yàn)證一次正確率。每當(dāng)正確率不再提高時(shí)，將學(xué)習(xí)率除以10。最終，將數(shù)據(jù)集訓(xùn)練200輪之后，正確率趨于穩(wěn)定，訓(xùn)練結(jié)束。

實(shí)驗(yàn)結(jié)果及分析

本文數(shù)據(jù)集采用手動標(biāo)定高清卡口圖像2800張，原始圖片大小為2208×2752像素，其中2600張用于訓(xùn)練，200張用于驗(yàn)證，并經(jīng)過數(shù)據(jù)增廣將數(shù)據(jù)集擴(kuò)大至原始數(shù)據(jù)集的十倍。

本文利用邊緣檢測針對高清卡口圖像進(jìn)行車輛定位提取候選框，并將候選框輸入卷積神經(jīng)網(wǎng)絡(luò)對車輛進(jìn)行分類，每張圖的處理時(shí)間為180毫秒，具體結(jié)果如表1所示。在保證識別準(zhǔn)確率基本不變的前提下，與RCNN算法比較，本文的定位速度要快280倍，識別速度快250倍；與fast rcnn算法比較，本文的的定位速度快11倍，識別速度快27倍。

表1：結(jié)果對比

結(jié)束語

與傳統(tǒng)物體識別算法和純粹的卷積神經(jīng)網(wǎng)絡(luò)識別算法不同，本文結(jié)合了兩者的優(yōu)點(diǎn)，并針對性地標(biāo)注和選用數(shù)據(jù)集，利用邊緣檢測針對高清卡口圖片進(jìn)行車輛定位，并選用了扁平化的卷積神經(jīng)網(wǎng)絡(luò)AlexNet對車輛進(jìn)行分類。實(shí)驗(yàn)表明，相對于rcnn和fast rcnn算法，本文算法在較快的識別出卡口圖片中車輛的同時(shí)，在車輛定位速度上也有顯著提高。但是相較于識別過程，車輛定位花費(fèi)時(shí)間太長，且定位精確度有所降低，后續(xù)有望對此進(jìn)行改進(jìn)。由于候選框回歸網(wǎng)絡(luò)和車型分類網(wǎng)絡(luò)都需要進(jìn)行特征提取，候選框回歸網(wǎng)絡(luò)希望提取出車輛的位置及大小，車型分類網(wǎng)絡(luò)希望提取出車型的細(xì)節(jié)、組成及輪廓等信息。這兩種特征是密切相關(guān)甚至互相包含的，因此后期可以考慮讓這兩個網(wǎng)絡(luò)共享特征提取提取網(wǎng)絡(luò)以提高定位和識別速度。