基于卷積神經(jīng)網(wǎng)絡(luò)的道路標(biāo)識識別方法

胡慶文 陳湘

摘要：道路指示標(biāo)識準(zhǔn)確檢測識別是智能交通領(lǐng)域?qū)崿F(xiàn)車輛自動導(dǎo)航和安全駕駛一個關(guān)鍵問題。本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)檢測識別道路指示標(biāo)識的方法，首先將所采集的道路指示標(biāo)識圖像進(jìn)行幾何歸一化與灰度化，再進(jìn)行濾波等圖像預(yù)處理，采用分塊二值化及腐蝕膨脹處理方法得到理想的二值化圖像，然后采用卷積神經(jīng)網(wǎng)絡(luò)方法識別圖像。本文建立了道路指示標(biāo)識圖像數(shù)據(jù)庫，并進(jìn)行訓(xùn)練和測試，取得了較好的效果。實驗結(jié)果表明，與傳統(tǒng)機器學(xué)習(xí)方法相比，本文提出的方法，能更好地識別道路指示標(biāo)識。

關(guān)鍵詞：道路標(biāo)識；卷積神經(jīng)網(wǎng)絡(luò)；分塊二值化；圖像識別

1.國內(nèi)外研究現(xiàn)狀

在智能交通領(lǐng)域，道路指示標(biāo)識準(zhǔn)確并快速的檢測與識別是實現(xiàn)車輛自動導(dǎo)航和安全駕駛的首要問題。隨著路面交通的不斷發(fā)展，交通壓力也在急劇增加，交通系統(tǒng)的智能化也在逐步成為重要的研究方向。作為交通系統(tǒng)智能化的核心部分，準(zhǔn)確檢測識別出交通道路指示標(biāo)識，成為智能交通的重要研究方向。

圖像檢測的中心任務(wù)是對圖像進(jìn)行識別和對圖像進(jìn)行特征提取，即是將物體形狀，位置，圖像邊界，陰影輪廓等重要圖像邊緣產(chǎn)生的視覺信息讓計算機分析理解，圖像的邊緣負(fù)載的信息，能讓圖像處理過程中達(dá)到識別作用。在對圖像進(jìn)行檢測和邊緣提取的研究中，出現(xiàn)了許多的邊緣檢測識別方法，有各自的局限性。傳統(tǒng)的邊緣檢測對噪聲敏感，實際效果運用有時不能達(dá)到預(yù)期目標(biāo)。故而近年來較主流研究方向是尋找更普遍適用的邊緣檢測方法。瑞典的Gareth Loy實驗室和澳大利亞的Nick Barnes的自動化研究所合作構(gòu)建了利用圖形形狀和交通標(biāo)志圖像對稱性來確定交通標(biāo)志圖形質(zhì)心位置的交通標(biāo)志識別系統(tǒng)達(dá)到了極高的識別準(zhǔn)確率。在我國，由于國內(nèi)道路設(shè)施和道路交通研究的起步晚于國外，使得國內(nèi)在道路交通系統(tǒng)的智能化方面也相對于國外研究相比有一定的差距，而其中有代表性的是一種基于數(shù)學(xué)形態(tài)學(xué)的交通標(biāo)志自動識別方法[1]，針對一些警告標(biāo)志采用數(shù)學(xué)形態(tài)及形態(tài)學(xué)骨架函數(shù)為特征做模板匹配，再對交通標(biāo)識進(jìn)行分類識別，取得了比較好的識別效果；常規(guī)的采用SVM、PCA主成分分析法，取得了較好的效果，但是對于不同角度形態(tài)的指示標(biāo)志圖像，效果較差。本文采用的方法是先采集所需圖像，再對圖像進(jìn)行尺寸歸一化、進(jìn)行灰度處理再濾波，去除雜散邊緣和雙邊緣，然后采用邊緣特征的閾值選取方法實現(xiàn)圖像二值化，二值化后的圖像再經(jīng)過腐蝕膨脹，分塊狀區(qū)域處理，尋找當(dāng)中最大連通域，結(jié)合抗干擾能力強的Hough變換校正和歸化，最后采用卷積神經(jīng)網(wǎng)絡(luò)方法識別圖像，反饋出錯誤率。本文針對常見的六類指示標(biāo)識進(jìn)行處理。

2.道路指示標(biāo)識的圖像處理

2.1道路指示標(biāo)識檢測

本文針對的道路指示標(biāo)識主要為城市道路路面交通方向標(biāo)志，圖像獲取傳感器為安裝在汽車正前方的攝像機。由于道路周圍環(huán)境的復(fù)雜性，特別是在陽光以及路面損壞的狀態(tài)下，極大地干擾了道理指示標(biāo)識的定位，因此，如何從影像中減少干擾信息是成功定位道路指示標(biāo)識的一個必須面對的問題。通過觀察大量的圖片發(fā)現(xiàn)，道路指示標(biāo)識一般出現(xiàn)在所采集的圖像的正中間的位置，其附近一般不會出現(xiàn)和道路指示標(biāo)識混淆的其他特征的物件。隨著道路指示標(biāo)識的逐漸靠近，其形狀越來越大，其位置也逐漸慢慢地向正前方移動。因此，在圖像采集后，通過顏色對比判斷疑似道路標(biāo)志物，再進(jìn)行圖像的裁剪，僅僅采用如圖1所示位置的圖像。通過如此的處理方式，不僅大大減少了影像中干擾交通標(biāo)志的信息，同樣也大大減少了后續(xù)環(huán)節(jié)處理的計算量。

2.2道路指示標(biāo)識圖像灰度化

由于安裝在汽車正前方的攝像機采集圖像分辨率可能不同，所以需要進(jìn)行幾何尺寸的歸一化。道路指示標(biāo)識采集之后，因為道路標(biāo)志檢測識別對于顏色要求不高，為了減少圖像計算數(shù)據(jù)量，將三維彩色圖像轉(zhuǎn)化為二維灰度圖像，即進(jìn)行灰度處理。在圖像灰度化時，加權(quán)平均法是目前最常用的方法，其灰度化結(jié)果更為合理，更符合實際應(yīng)用的需要，所采用灰度化公式如（1）所示。道路標(biāo)志圖像及灰度化之后的圖像如圖2 所示。

（1）

2.3圖像中值濾波去噪

圖像在采集時，由于車輛行駛中受外界各種因素干擾，例如由于電子干擾、光照以及噪聲影響，會產(chǎn)生一些噪聲或模糊。需要采用濾波器進(jìn)行去噪。目前常見的兩種濾波是鄰域濾波與中值濾波，本文經(jīng)過試驗對比，發(fā)現(xiàn)中值濾波的優(yōu)點是可以很好的過濾掉椒鹽噪聲，并且更加的適合道路指示標(biāo)識圖像的處理。道路標(biāo)志圖像及中值濾波之后的圖像如圖3所示。

2.4圖像分塊二值化以及腐蝕膨脹找最大連通域

Otsu（大津展之）于1978年提出的最大類間方差法[2，3]是引起較多關(guān)注的一種閾值選取方法，它是在判決分析或最小二乘原理的基礎(chǔ)上推導(dǎo)出來的，可以獲取二值化之后的圖像。但是由于道路標(biāo)志圖像受光照影響較大，當(dāng)強光照時，如果一部分道路標(biāo)志圖像在樹蔭下，二值化效果誤差較大，本文采用分塊二值化的方式，將圖像均勻分成4塊，每塊圖像采用最大類間方差法進(jìn)行二值化，再將分塊二值化之后的結(jié)果匯總，可以得到不受光照和樹蔭干擾的更加準(zhǔn)確的二值化圖像，如圖4（a）所示。

在經(jīng)過圖像二值化與濾波后得到的圖像還存在一些噪聲點，說明普通的濾波方法不能完全的去除噪聲點，所以本文采用先腐蝕后膨脹的方式[4]，然后尋找圖像中的最大連通域[5]，從而得到準(zhǔn)確的道路指示標(biāo)志的二值化圖像，如圖4（b）所示。將處理后的圖像重新建立圖像庫，以便后續(xù)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識別。

3. 基于卷積神經(jīng)網(wǎng)絡(luò)的道路標(biāo)識識別

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）是一個受生物視覺啟發(fā)、以最簡化預(yù)處理操作為目的的多層感知器的變形，本質(zhì)是一個前向反饋神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)與多層感知器的最大區(qū)別是網(wǎng)絡(luò)前幾層由卷積層和池化層交替級聯(lián)組成，模擬視覺皮層中用于高層次特征提取的簡單細(xì)胞和復(fù)雜細(xì)胞交替級聯(lián)結(jié)構(gòu)， 2012年Yann等將CNN用于手寫數(shù)字識別，并取得了該問題的霸主地位。近年來，神經(jīng)網(wǎng)絡(luò)在多個領(lǐng)域均表現(xiàn)出突出的效果和潛力，在圖像處理領(lǐng)域，以卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneural network，簡稱CNN）為代表的深度學(xué)習(xí)模型已經(jīng)突破了人類自身的識別能力[6，7]。并且在語音識別、人臉識別、通用物體識別、運動分析、自然語言處理甚至腦電波分析方面均有突破。

二維離散數(shù)據(jù)卷積公式：

（2）

卷積神經(jīng)網(wǎng)絡(luò)是受視覺神經(jīng)機制啟發(fā)而設(shè)計的一種多層感知器（Multi-Layer Perceptron，MLP）。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)一樣，它運用反向傳播（Back Propagation，BP）[8]算法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練[9]。卷積神經(jīng)網(wǎng)絡(luò)與普通神經(jīng)網(wǎng)絡(luò)的區(qū)別在于，卷積神經(jīng)網(wǎng)絡(luò)包含了一個由卷積層和子采樣層構(gòu)成的特征抽取器。如果將神經(jīng)網(wǎng)絡(luò)看作是一種訓(xùn)練生成分類器的算法，那么卷積神經(jīng)網(wǎng)絡(luò)可以概括為提取特征和訓(xùn)練生成分類器的算法。

卷積神經(jīng)網(wǎng)絡(luò)的三個基本概念是：局部感知[10]、權(quán)值共享[11]，以及時間或空間降采樣。一般認(rèn)為人對外界的認(rèn)知是由局部到全局的，而圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密，而距離較遠(yuǎn)的像素相關(guān)性則較弱。因而，每個神經(jīng)元其實沒有必要對全局圖像進(jìn)行感知，只需要對局部進(jìn)行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。網(wǎng)絡(luò)部分連通的思想，也是受啟發(fā)于生物學(xué)里面的視覺系統(tǒng)結(jié)構(gòu)。視覺皮層的神經(jīng)元就是局部接受信息的（即這些神經(jīng)元只響應(yīng)某些特定區(qū)域的刺激）。

（3）

在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中，一個神經(jīng)元只與部分鄰層神經(jīng)元連接。在CNN的一個卷積層中，通常包含若干個特征平面（featureMap），每個特征平面由一些矩形排列的的神經(jīng)元組成，同一特征平面的神經(jīng)元共享權(quán)值，這里共享的權(quán)值就是卷積核。卷積核以隨機小數(shù)矩陣的形式初始化，在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核將學(xué)習(xí)得到合理的權(quán)值。共享權(quán)值（卷積核）帶來的直接好處是減少網(wǎng)絡(luò)各層之間的連接，同時又降低了過擬合的風(fēng)險。

在通過卷積獲得了特征之后，下一步采用這些特征去做分類。使用提取到的特征去訓(xùn)練分類器會使計算量過大，且容易出現(xiàn)擬合現(xiàn)象，再進(jìn)行池化處理。

本文采用上一節(jié)處理后獲取的標(biāo)準(zhǔn)二值化圖像，將圖像輸入到深層CNN進(jìn)行訓(xùn)練，能大大提高圖像檢測識別準(zhǔn)確率，過程包括以下步驟：

（1） JIANCE數(shù)據(jù)集：原始輸入數(shù)據(jù)集共6類。4800張訓(xùn)練圖像，120張測試圖像，每張圖像大小為56*56。

（2）網(wǎng)絡(luò)層級結(jié)構(gòu)概述：5層神經(jīng)網(wǎng)絡(luò)。

（3）輸入層： 輸入數(shù)據(jù)為原始訓(xùn)練圖像。

（4）一層卷積：5個5*5的卷積核，步長為1。

（5）一層池化：卷積核大小為2*2，步長為2。

（6）二層卷積：12個5*5的卷積核，步長為1。

（7）二層池化：卷積核大小為2*2，步長為2。

（8）輸出層：輸出為12維向量。

主要的Matlab代碼流程：

（1）獲取訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)：

（2）定義網(wǎng)絡(luò)層級結(jié)構(gòu)；

（3）初始設(shè)置網(wǎng)絡(luò)參數(shù)（權(quán)重W，偏置b）cnnsetup（cnn， train_x， train_y）

（4）訓(xùn)練超參數(shù)opts定義（學(xué)習(xí)率，batchsize，epoch）

（5）網(wǎng)絡(luò)訓(xùn)練之前向運算cnnff（net， batch_x）

（6）網(wǎng)絡(luò)訓(xùn)練之反向傳播cnnbp（net， batch_y）

（7）網(wǎng)絡(luò)訓(xùn)練之參數(shù)更新cnnapplygrads（net， opts）

（8）重復(fù)（5）（6）（7），直至滿足epoch

（9）網(wǎng)絡(luò)測試cnntest（cnn， test_x， test_y）

（10） 得到錯誤率

4.實驗及結(jié)果分析

應(yīng)用層主要面向于有車載攝像頭的汽車，通過攝像頭捕捉道路標(biāo)志，將得到的信息逐幀分析，將其中較為清晰的圖像交給程序進(jìn)行識別。

本實驗主要結(jié)合手寫字體識別主要代碼，參考其數(shù)據(jù)庫布局與標(biāo)簽分類形式。手寫字體識別運用的神經(jīng)網(wǎng)絡(luò)識別模型是卷積神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)庫使用數(shù)據(jù)形式為mat格式下的JIANCE數(shù)據(jù)集。本文模仿mnist數(shù)據(jù)集用采集得到的圖像庫建立一個新的JIANCE數(shù)據(jù)集。

實驗的第一步就是需要將jpg格式的圖像轉(zhuǎn)化為JIANCE數(shù)據(jù)集，其中JIANCE數(shù)據(jù)集由四個部分組成，分別是一個訓(xùn)練圖片集，一個訓(xùn)練標(biāo)簽集，一個測試圖片集，一個測試標(biāo)簽集。標(biāo)簽格式為x（y）（x為圖像種類數(shù)目，y為每類圖像的數(shù)目）。實驗采用的轉(zhuǎn)換方法是先將所要用到的圖像統(tǒng)一切割成56*56像素大小，再通過c語言程序，將預(yù)先做好標(biāo)簽的圖片進(jìn)行處理，獲得4個主要的txt文件后，再用matlab將文件轉(zhuǎn)化為mat格式。Mat格式下的JIANCE數(shù)據(jù)集就是在隨后的訓(xùn)練測試中所要使用的數(shù)據(jù)庫。數(shù)據(jù)庫包含4920張圖片，種類為6類（每類820張），本實驗使用其中的4800張（每類800張）用來訓(xùn)練，剩余的120張（每類20張）進(jìn)行測試。

結(jié)果分析：

實驗數(shù)據(jù)的最終記錄結(jié)果見下文表格1。本文采用5層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，將道路標(biāo)識共6類樣本進(jìn)行輸入，經(jīng)過網(wǎng)絡(luò)訓(xùn)練與檢測后，每類標(biāo)識的檢測準(zhǔn)確率最高達(dá)到83.67%，實驗結(jié)果較為理想。從訓(xùn)練樣本中提取特征，利用原始數(shù)據(jù)提供的信息進(jìn)行路標(biāo)分類與識別，實驗結(jié)果表明，對于圖片模糊，噪聲污染面大以及對比度小于正常值的場景，也同樣可以有效地識別出道路標(biāo)識。

從表1中可以看出，本實驗采用20次訓(xùn)練次數(shù)。神經(jīng)網(wǎng)絡(luò)隨著訓(xùn)練次數(shù)迭代量的增長，通過優(yōu)化訓(xùn)練樣本的誤差，不斷修復(fù)誤差，大幅度提升了多標(biāo)簽功能識別圖像能力，對比于傳統(tǒng)SVM[12]算法，本文所采用的CNN算法能更加準(zhǔn)確識別道路指示標(biāo)識。

表1 方向檢測交叉驗證準(zhǔn)確率

5.結(jié)論

本文針對城市道路交通路面方向指示標(biāo)識，提出了一種深度學(xué)習(xí)檢測方法。本文利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對道路標(biāo)識線的識別，該算法簡單，很大程度上降低了對路面標(biāo)識匹配系統(tǒng)的容量，與傳統(tǒng)方法相比，道路標(biāo)識線識別精度明顯提高，而且得到的圖像邊緣接近于理想邊緣，明顯提高了道路標(biāo)識線檢測準(zhǔn)確率。實驗還表明，其抗干擾能力強，能克服一定路面陰影、光照等的影響。

參考文獻(xiàn)

[1] 蔣剛毅，鄭義，郁梅.基于數(shù)學(xué)形態(tài)學(xué)的交通標(biāo)志自動識別[J].汕頭大學(xué)學(xué)報（自然科學(xué)版），1998，（1）：90-96.

[2] Otsu N. A threshold selection method from gray-level histogram. IEEE Trans， 1979； SMC-9； 62-66.

[3] 石為人，方莉，陳舒涵.基于改進(jìn)Otsu和Niblack的圖像二值化方法[J].世界科技研究與發(fā)展，2013，（3）：395-398.

[4] 李曉飛，馬大瑋，粘永健， 等.圖像腐蝕和膨脹的算法研究[J].影像技術(shù)，2005，（1）：37-39.

[5] Rumelhart D， Hinton G， Williams R. Learning representations by backpropagatingerrors[J].Nature， 1986， 323（6088）： 533-536.

[6] 陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D].杭州：浙江工商大學(xué)2014.

[7] LeCun Y， Boser L， Denker J， et al.Backpropagation applied to handwritten zip code recognition[J].Neural Computation， 1989， 1（4）： 541-551.

[8] 黃志斌，陳鍛生. 支持向量機在車牌字符識別中的應(yīng)用[J]. 計算機工程，2003，（5）.

[9] 孫曄，吳銳文.基于卷積神經(jīng)網(wǎng)絡(luò)的車標(biāo)識別[J].現(xiàn)代計算機（普及版），2015，（4）：84-87.