基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別算法

徐仙偉 曹霽

摘? 要： 智能車(chē)在移動(dòng)時(shí)需要對(duì)周?chē)h(huán)境進(jìn)行快速有效的認(rèn)知，文章在規(guī)則環(huán)境下對(duì)視覺(jué)中所包含的信息理解標(biāo)志牌等進(jìn)行研究，提出了一種基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別算法。該算法先進(jìn)行邊緣檢測(cè)，提取出圖像中交通標(biāo)志所在的興趣區(qū)域;再利用LeNet-5深度學(xué)習(xí)算法，對(duì)已提取出來(lái)的興趣區(qū)域進(jìn)行識(shí)別。以德國(guó)標(biāo)準(zhǔn)交通標(biāo)志圖數(shù)據(jù)庫(kù)為實(shí)驗(yàn)數(shù)據(jù)的結(jié)果表明，該方法能有效理解交通標(biāo)志信息，具有識(shí)別效率高、使用簡(jiǎn)單等特點(diǎn)。

關(guān)鍵詞： 交通標(biāo)志; 環(huán)境理解; 邊緣檢測(cè); 深度學(xué)習(xí)

中圖分類(lèi)號(hào)：TP301? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ?文章編號(hào)：1006-8228（2019）06-67-04

Abstract： Smart cars need fast and effective recognition of the surrounding environment when moving. This paper studies the information understanding signs contained in the vision of rule environment， and proposes a traffic sign recognition algorithm with deep learning. Firstly， edges in image are detected to get the interesting area which includes the traffic sign; then， a trained LeNet-5 deep learning algorithm is used to recognize it. The experiment results on benchmark images of German traffic sign database show that this method can effectively understand traffic sign information， and has the characteristics of high recognition efficiency and easy to use.

Key words： traffic sign; environment perception; edge detection; deep learning

0 引言

對(duì)交通標(biāo)志牌的認(rèn)知，不僅涉及到機(jī)器本身的安全，也涉及到對(duì)周?chē)＝煌ǖ陌踩?，已成為?dāng)前圖像識(shí)別研究領(lǐng)域的一個(gè)重要方向。其中應(yīng)用最廣的是基于視覺(jué)的方案，對(duì)交通標(biāo)志信息進(jìn)行深度識(shí)別。該方案的優(yōu)點(diǎn)是信息量大、成本低，容易普及。具體包括交通標(biāo)識(shí)檢測(cè)和交通標(biāo)識(shí)識(shí)別兩部分工作。由于交通標(biāo)示牌與周?chē)h(huán)境相比包含特殊的顏色和形狀，這些信息將成為在視頻中識(shí)別交通標(biāo)志的主要區(qū)別所在[1-2]。目前可利用的有顏色信息，例如RGB模型、HSI模型和其他顏色模型;還有形狀、大小和邊緣角度信息等[1-2]。為此很多學(xué)者提出了很多基于顏色和外形信息的識(shí)別交通標(biāo)志的算法。例如基于圖像分割和邊緣分析的方法，基于模板匹配的方法，這類(lèi)方法可以解決一定的識(shí)別問(wèn)題。通常情況下，基于顏色特征的檢測(cè)方法能夠取得良好效果，但是這類(lèi)方法受到自然條件和光照影響較大，僅僅依靠顏色信息還是不能很精確的檢測(cè)交通標(biāo)識(shí)的區(qū)域。由于交通標(biāo)識(shí)一般都具有特定的幾何形狀，最常見(jiàn)的是三角形和圓形，并且?guī)缀涡螤畈皇芄庹蘸吞鞖庾兓挠绊?，因此又有學(xué)者利用交通標(biāo)識(shí)的形狀作為特征進(jìn)行交通標(biāo)識(shí)的檢測(cè)。目前，基于形狀的圖像檢測(cè)的方法主要有邊緣分析法、輪廓分析法、模板匹配法。而交通標(biāo)識(shí)識(shí)別目前一般采用以下幾種方法進(jìn)行分類(lèi)：最近鄰方法、神經(jīng)網(wǎng)絡(luò)、模板匹配、支持向量機(jī)、模糊C均值方法[1-2]。

深度學(xué)習(xí)作為一種無(wú)特征提取的機(jī)器學(xué)習(xí)的方法，由于其無(wú)需特征提取、無(wú)監(jiān)督學(xué)習(xí)，而獲得了很多學(xué)者的認(rèn)可，成為研究的熱點(diǎn)[3-7]。

基于以上的研究基礎(chǔ)，結(jié)合以上算法和算子的優(yōu)缺點(diǎn)，本文提出了一種新的基于稀疏表達(dá)的交通標(biāo)志識(shí)別算法。該算法主要研究的是交通標(biāo)志識(shí)別中的兩個(gè)方面，一個(gè)是交通標(biāo)志區(qū)域的快速檢測(cè);另一個(gè)是候選區(qū)域的交通圖像的精確識(shí)別。其主要步驟如下。

第一步，在交通標(biāo)志的區(qū)域檢測(cè)中，采用基于像素顏色、邊緣等特征的快速粗糙的識(shí)別方法，尋找紋理單調(diào)、顏色單一、輪廓為三角形、圓形等標(biāo)準(zhǔn)形式的交通標(biāo)識(shí)區(qū)域，一種速度快、精確度差的圖像模式檢測(cè)方法。

第二步，在交通圖像的精確識(shí)別中，采用基于LeNet-5的深度學(xué)習(xí)算法進(jìn)行交通道路標(biāo)志的識(shí)別。

1 交通標(biāo)志檢測(cè)

本文在交通標(biāo)志檢測(cè)時(shí)，采用Laplace算子提取特征，然后在圓形度、三角形等外觀特征、以及最小內(nèi)部像素和等參數(shù)下提取出交通標(biāo)志部分。

具體流程如圖1所示，首先對(duì)把圖像從RGB空間轉(zhuǎn)化為HSV空間;再轉(zhuǎn)化為灰度圖;然后進(jìn)行邊緣檢測(cè);在檢測(cè)到邊緣的基礎(chǔ)上，計(jì)算聯(lián)通區(qū)域的面積，選擇出像素值大于100個(gè)的區(qū)域，然后對(duì)比顏色特征，在符合顏色特征要求下，計(jì)算聯(lián)通區(qū)域的圓形度、三角形度特征，在顏色空間范圍內(nèi)，選擇圓形度大于80%，三角形度大于80%，然后輸出交通標(biāo)志的興趣區(qū)域。

⑴ 圓形度的計(jì)算方法為

e=（周長(zhǎng)*周長(zhǎng)）/4π*面積。e為1時(shí)，圖形即為圓形;e越大，圖形越不規(guī)律，與圓形的差距越大。

⑵ 三角形度的計(jì)算方法為

步驟1 選擇適當(dāng)大小的窗口在圖像中滑動(dòng);

步驟2 在窗口的中心點(diǎn)為原點(diǎn)對(duì)窗口進(jìn)行Hough變換，若窗口中有若干線(xiàn)段，那么計(jì)算這些線(xiàn)段到原點(diǎn)的距離以及與x軸的夾角;

步驟3 使這些線(xiàn)段的長(zhǎng)度及夾角滿(mǎn)足文獻(xiàn)[8]中的五個(gè)條件。

運(yùn)用上述方法和步驟檢測(cè)，效果如圖2，其中圖2（a）是原圖，圖2（b）是邊緣圖，圖2（c）是檢測(cè)結(jié)果圖。結(jié)果表明，該方法可有效的檢測(cè)出交通標(biāo)志，即興趣區(qū)域。

2 交通標(biāo)志識(shí)別

Geoffrey Hinton在2006年提出深度學(xué)習(xí)（Deep Learning，DB）的概念[3-7]。特點(diǎn)是使用人腦的多層抽象的概念來(lái)對(duì)目標(biāo)進(jìn)行抽象表達(dá)，把整個(gè)特征和分類(lèi)器在一起。具體實(shí)現(xiàn)方式是通過(guò)大量的神經(jīng)元，組成多層的神經(jīng)網(wǎng)絡(luò)，首先在訓(xùn)練樣本中，每一層的神經(jīng)元接收低一層神經(jīng)元的數(shù)據(jù)，用非線(xiàn)性的方法把低層數(shù)據(jù)表達(dá)層更高層的抽象數(shù)據(jù)，在計(jì)算出數(shù)據(jù)的分布特征后，使用自下而上的學(xué)習(xí)方法形成的整體的抽象表達(dá)。在識(shí)別檢驗(yàn)樣本時(shí)，采用該學(xué)習(xí)好的神經(jīng)網(wǎng)絡(luò)，將需要識(shí)別的目標(biāo)映射成各種層次的特征，最后再對(duì)輸出的數(shù)據(jù)進(jìn)行分類(lèi)和識(shí)別。

對(duì)于有n層系統(tǒng)， 輸入為I，輸出為O，其任務(wù)就是不斷的逼近，即，逼近的過(guò)程是不斷調(diào)整系統(tǒng)中參數(shù)的過(guò)程，最終就得到輸入I的系列層次特征，這樣，對(duì)輸入數(shù)據(jù)的一層層的分層表達(dá)，一層層的逼近目標(biāo)，就是深度學(xué)習(xí)的基本思想。當(dāng)然，最終的結(jié)果O不是絕對(duì)意義上的完全與O一致，只是使得這兩個(gè)的差別盡量地小即可。

在深度學(xué)習(xí)的眾多方法里面，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種比較著名的一種。1962年Hubel和Wiesel通過(guò)對(duì)貓視覺(jué)皮層細(xì)胞的研究，提出了感受野（receptive field）的概念，在1984年Fukushima基于感受野概念提出的神經(jīng)認(rèn)知機(jī)（neocognitron）可以看作是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)，也是感受野概念在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的首次應(yīng)用。

這里神經(jīng)元有兩種，一種是用于特征提取的S神經(jīng)元，一種是用于抗變形的C神經(jīng)元。其中，S神經(jīng)元有兩個(gè)重要的參數(shù)，分別稱(chēng)為感受野和閾值參數(shù)，感受野用于確定上級(jí)輸入連接的數(shù)據(jù)，閾值參數(shù)用于對(duì)特定子模式的反應(yīng)。

如圖3所示，卷積神經(jīng)網(wǎng)絡(luò)可以理解為一個(gè)立體架構(gòu)，它由多層網(wǎng)絡(luò)組成，每層網(wǎng)絡(luò)再由多個(gè)二維平面的網(wǎng)絡(luò)組成，每個(gè)平面網(wǎng)絡(luò)又由很多的獨(dú)立神經(jīng)元所組成。

如圖3所示，卷積神經(jīng)網(wǎng)絡(luò)中，輸入圖像通過(guò)和三個(gè)濾波器以及可加偏置進(jìn)行卷積，卷積后在C1層產(chǎn)生三個(gè)特征映射圖，然后特征映射圖中每組的四個(gè)像素再進(jìn)行求和，加權(quán)值，加偏置，通過(guò)一個(gè)Sigmoid函數(shù)得到三個(gè)S2層的特征映射圖。這些映射圖再進(jìn)過(guò)濾波得到C3層。這個(gè)層級(jí)結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最后，這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。

卷積神經(jīng)網(wǎng)絡(luò)主要具有以下優(yōu)點(diǎn)：

一是避免了以前的特征提取，而隱藏的直接地從訓(xùn)練數(shù)據(jù)中進(jìn)行自主學(xué)習(xí);二是因?yàn)橥粋€(gè)特征映射面上的神經(jīng)元的各項(xiàng)權(quán)值一樣，所以整體網(wǎng)絡(luò)可以并行學(xué)習(xí)，從而提高學(xué)習(xí)速度;三是多維的數(shù)據(jù)可以直接輸入到網(wǎng)絡(luò)，從而減少了工程人員的開(kāi)發(fā)量。

3 實(shí)驗(yàn)分析

結(jié)合文獻(xiàn)[1]的驗(yàn)證方法，本文實(shí)驗(yàn)對(duì)象采用德國(guó)標(biāo)準(zhǔn)交通標(biāo)志圖數(shù)據(jù)庫(kù)[9]，該數(shù)據(jù)擁有30000多張訓(xùn)練圖像，10000多張測(cè)試圖像，其部分?jǐn)?shù)據(jù)如圖4所示。

在使用本算法對(duì)德國(guó)交通標(biāo)準(zhǔn)庫(kù)的數(shù)據(jù)進(jìn)行反復(fù)實(shí)驗(yàn)，文中用了30個(gè)類(lèi)，每類(lèi)100個(gè)樣本作為訓(xùn)練樣本，20個(gè)樣本作為測(cè)試樣本，在進(jìn)行了100次的訓(xùn)練和200次的訓(xùn)練次數(shù)下，統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的數(shù)據(jù)的訓(xùn)練次數(shù)、訓(xùn)練樣本的識(shí)別率，得出如表1所示的實(shí)驗(yàn)結(jié)果。

通過(guò)表1可見(jiàn)，該算法在100次和200次的訓(xùn)練下，已經(jīng)沒(méi)有太多的提高。其結(jié)果識(shí)別率極高，可以用于交通標(biāo)志的識(shí)別工作。

4 結(jié)論

機(jī)器人在移動(dòng)時(shí)，需要對(duì)周?chē)h(huán)境進(jìn)行快速有效的認(rèn)知。本文研究了在規(guī)則環(huán)境下，對(duì)視覺(jué)中所包含信息理解標(biāo)志牌等信息，提出了一種基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別算法。該算法首先采用邊緣、顏色、形狀等特征提取出交通標(biāo)志的區(qū)域，然后通過(guò)深度學(xué)習(xí)的算法，對(duì)數(shù)據(jù)庫(kù)進(jìn)行識(shí)別。通過(guò)對(duì)德國(guó)標(biāo)準(zhǔn)交通標(biāo)志圖數(shù)據(jù)庫(kù)的實(shí)驗(yàn)，結(jié)果表明該方法能有效理解交通標(biāo)志信息，能充分利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的跟蹤和非線(xiàn)性學(xué)習(xí)能力的優(yōu)點(diǎn)，使交通標(biāo)志的識(shí)別算法具有更高的識(shí)別精度和魯棒性特點(diǎn)。此外，由于文中采用的是標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，與實(shí)際環(huán)境中交通標(biāo)志圖像信息還存在一定的差異性，對(duì)其數(shù)據(jù)的采集與預(yù)處理還有待進(jìn)一步學(xué)習(xí)與研究，同時(shí)針對(duì)數(shù)據(jù)量的增加，對(duì)識(shí)別算法的實(shí)時(shí)性效果有待進(jìn)一步分析與研究。

參考文獻(xiàn)（References）：

[1] 王鏗.基于稀疏表示的交通標(biāo)識(shí)識(shí)別[D].南京理工大學(xué)碩士學(xué)位論文，2013.

[2] Gangadhar H， Srinivasan E. Performance Comparison ofROAD Statistic Based Nonlinear Filters for Image Denoising[C]//Industrial and Information Systems， 2008. ICIIS 2008. IEEE Region 10 and the Third international Conference on. IEEE，2008：1-5

[3] Tivive， Fok Hing Chi. Bouzerdoum， Abdesselam.? An eyefeature detector based on convolutional neural network [C]// Proc. 8th Int. Symp. Signal Process. Applic. Sydney， New South Wales， Australia. USA： IEEE，2005：90-93

[4] Szarvas? Mate，? Yoshizawa? Akira，? Yamamoto Munetaka，?Ogata Jun. Pedestrian detection with convolutional neural networks[C]//IEEE Intelligent Vehicles Symposium Proceedings. USA：IEEE，2005：224-229

[5] J Wright， A Yang ， Arvind? Ganesh， Shankar Shastry， YiMa. Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009.31（2）： 210-227

[6] M Elad. Optimized projections for compressed sensing[J].IEEE Transaction on Signal Processing，2007.55（12）：5695-5702

[7] Garnett R， Huegerich T， Chui C， et al. A universal noise?removal algorithm with an impulse detector[J]. Image Processing，IEEE Transactions on，2005.14（11）：1747-1754

[8] 何江萍.圖像中任意三角形檢測(cè)方法.計(jì)算機(jī)應(yīng)用，2009.29（4）：1022-1025

[9] 德國(guó)交通標(biāo)識(shí)數(shù)據(jù)庫(kù)（German Traffic Sign Recognition?Benchmark）[EB/OL].http：//benchmark.ini.rub.de/？section=home&subsection=news.