基于神經(jīng)網(wǎng)絡(luò)的紅綠燈識(shí)別研究

詹玉 吳欽木

摘?要：交通燈的識(shí)別對(duì)人工智能以及無(wú)人駕駛都有著舉足輕重的作用，本文研究交通識(shí)別中的紅綠燈判斷，用于改善駕駛員疲勞以及維護(hù)交通秩序從而提高駕駛安全系數(shù)減少交通事故的發(fā)生。通過(guò)機(jī)器視覺采集紅綠燈交通信號(hào)圖，運(yùn)用Matlab進(jìn)行圖片處理截取紅綠燈區(qū)域，提取每張圖片的121個(gè)像素點(diǎn)RGB值，運(yùn)用1和2分別表示綠燈和紅燈，建立紅綠燈樣本訓(xùn)練庫(kù)，通過(guò)Matlab自帶的數(shù)據(jù)擬合工具nftool進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，調(diào)整訓(xùn)練、驗(yàn)證、測(cè)試數(shù)據(jù)比例，最終得到識(shí)別效果較好的神經(jīng)網(wǎng)絡(luò)算法。運(yùn)用樣本均值進(jìn)行測(cè)試也能夠得到較好的識(shí)別。

關(guān)鍵詞： 機(jī)器視覺;紅綠燈識(shí)別;RGB值;數(shù)據(jù)擬合工具nftool;神經(jīng)網(wǎng)絡(luò)

文章編號(hào)： 2095-2163（2021）01-0032-04 中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A

【Abstract】The identification of traffic lights plays a decisive role in both artificial intelligence and unmanned driving. This paper studies the judgment of traffic lights in traffic identification， which can be used to improve driver fatigue and maintain traffic order so as to improve the driving safety coefficient and reduce the occurrence of traffic accidents.By machine vision gathering traffic signal of traffic light， using Matlab image processing to crop traffic area， in each image RGB values of 121 pixels are extracted， 1 and 2 are used to represent the traffic lights respectively， and red and green traffic light sample training library in built， through the Matlab's own data fitting tool nftool neural network training is conducted， the ratio among training， validation， test data is adjusted， so the neural network algorithm with better identification effect is achieved.Using the sample mean for testing can also be well identified.

【Key words】machine vision; traffic light identification; RGB values; nftool， a data fitting tool; the neural network

0 引?言

在道路交通信息中，作為重要交通信號(hào)標(biāo)志的紅綠燈出現(xiàn)得最為頻繁，及時(shí)且準(zhǔn)確地識(shí)別紅綠燈對(duì)保障交通安全與交通秩序穩(wěn)定具有重要意義。因此，本文基于神經(jīng)網(wǎng)絡(luò)對(duì)紅綠燈識(shí)別開展研究。以紅綠燈顏色為研究對(duì)象，通過(guò)機(jī)器視覺系統(tǒng)采集紅綠燈圖像數(shù)據(jù)，建立紅綠燈的圖像數(shù)據(jù)庫(kù)作為訓(xùn)練樣本，利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練模型，實(shí)現(xiàn)對(duì)紅燈與綠燈的識(shí)別。

在顏色識(shí)別中，傳統(tǒng)方法是對(duì)圖片進(jìn)行處理，轉(zhuǎn)換顏色空間運(yùn)用算法進(jìn)行識(shí)別，涉及的方法包括模糊隸屬度函數(shù)[1]、歸一化方法[2]、高斯分布建模方法[3]、殘差法[4]、k均值聚類法[5]。這些方法都是通過(guò)圖像處理來(lái)進(jìn)行顏色識(shí)別，在車聯(lián)網(wǎng)中識(shí)別速度有待提高。對(duì)比傳統(tǒng)方法，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)優(yōu)勢(shì)就在于能夠通過(guò)大量樣本進(jìn)行訓(xùn)練，訓(xùn)練出的算法識(shí)別精度也較高，例如支持向量機(jī)[6]、深度學(xué)習(xí)[7]等。因此，本文將機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)相結(jié)合來(lái)訓(xùn)練紅綠燈識(shí)別網(wǎng)絡(luò)，最終得到了識(shí)別效果較好的算法。

1 機(jī)器視覺系統(tǒng)

機(jī)器視覺運(yùn)用光學(xué)裝置和非接觸的傳感器裝置通過(guò)視覺鏡頭對(duì)目標(biāo)物體的圖像進(jìn)行采集，將模擬信號(hào)自動(dòng)轉(zhuǎn)換為計(jì)算機(jī)可以識(shí)別的數(shù)字信號(hào)，而后進(jìn)行特征提取以獲得所需要的信息。一個(gè)典型的機(jī)器視覺應(yīng)用系統(tǒng)包括光源系統(tǒng)、視覺傳感器、圖像采集系統(tǒng)、圖像處理系統(tǒng)、以及控制系統(tǒng)等模塊，如圖1所示。

本文研究的機(jī)器視覺主要完成圖像采集，選擇白天在適合的天氣條件下對(duì)各個(gè)路口的紅綠燈進(jìn)行圖像采集，采用CCD、CMOS傳感器的攝像頭根據(jù)拍攝當(dāng)天的光照強(qiáng)度和紅綠燈的位置調(diào)好攝像頭的焦距、光圈等，盡可能地拍攝出符合要求的圖片。

2 建立訓(xùn)練樣本集

RGB空間是一種色光表色模式，現(xiàn)已廣泛用于社會(huì)生活中。計(jì)算機(jī)定義顏色時(shí)，R、G、 B三種成分的取值范圍是0～255，0表示沒有刺激量，255表示刺激量達(dá)到最大值。RGB模式是一種加色法模式，通過(guò)R、G、B的輻射量，可描述出任一顏色。

將采集到的圖片運(yùn)用Matlab進(jìn)行處理，提取出紅燈和綠燈區(qū)域，將提取的圖片分為RGB三層提取像素點(diǎn)R、G、B的值。本次研究中，采集到的綠燈圖片見圖2，提取的綠燈區(qū)域見圖3，采集的紅燈圖片見圖4，提取的紅燈區(qū)域見圖5。

進(jìn)而得到，Matlab提取紅綠燈圖片區(qū)域代碼如下：

clearall

clc

a=imread（'16.bmp'）;

a_gray=rgb2gray（a）;

[m，n]=size（a_gray（：，：））;

a_new=a（m/2-5：m/2+5，n/2-5：n/2+5，：）;

將20張紅綠燈圖片作為樣本數(shù)據(jù)，其中紅燈和綠燈分別為10張。每張圖片提取121個(gè)像素點(diǎn)RGB值，總共2420個(gè)樣本進(jìn)行訓(xùn)練。由此得到RGB部分訓(xùn)練樣本見表1。表1中，1表示綠燈圖片，2表示紅燈圖片。

3 基于nftool的神經(jīng)網(wǎng)絡(luò)紅綠燈判斷系統(tǒng)設(shè)計(jì)

目前，機(jī)器學(xué)習(xí)研究的是如何通過(guò)計(jì)算手段，利用經(jīng)驗(yàn)來(lái)改善系統(tǒng)自身的性能，神經(jīng)網(wǎng)絡(luò)即是機(jī)器學(xué)習(xí)的一種。其主要研究?jī)?nèi)容可概括為：是關(guān)于在計(jì)算機(jī)上從數(shù)據(jù)中產(chǎn)生“模型”的算法，即學(xué)習(xí)算法。也就是將經(jīng)驗(yàn)數(shù)據(jù)提供給學(xué)習(xí)算法，如此就能基于數(shù)據(jù)產(chǎn)生模型，當(dāng)有新的情況時(shí)，模型就能做出相應(yīng)的判斷[8]。

3.1 Matlab神經(jīng)網(wǎng)絡(luò)工具箱

神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)擬合工具nftool用于數(shù)據(jù)擬合問(wèn)題，也就是采用前向神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)輸入數(shù)據(jù)到輸出數(shù)據(jù)的映射。通過(guò)R、G、B三個(gè)值的范圍進(jìn)行顏色評(píng)估，R、G、B屬于一個(gè)數(shù)據(jù)群，是神經(jīng)網(wǎng)絡(luò)的輸入，紅色和綠色所對(duì)應(yīng)的數(shù)字則是另一個(gè)數(shù)據(jù)集，是神經(jīng)網(wǎng)絡(luò)的輸出。

3.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練

將樣本分為3部分，即：訓(xùn)練、驗(yàn)證和測(cè)試。訓(xùn)練部分的數(shù)據(jù)提供給神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)誤差進(jìn)行調(diào)整。驗(yàn)證數(shù)據(jù)用于測(cè)量網(wǎng)絡(luò)泛化，并在泛化停止改進(jìn)時(shí)結(jié)束訓(xùn)練。在訓(xùn)練期間和訓(xùn)練后，訓(xùn)練數(shù)據(jù)提供一個(gè)獨(dú)立的網(wǎng)絡(luò)性能測(cè)量。這里，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本中的85%用作訓(xùn)練，5%用作驗(yàn)證，10%用作測(cè)試。

3.2.1 學(xué)習(xí)算法

研究中選擇Levenberg-Marquardt。Levenberg-Marquardt學(xué)習(xí)算法本質(zhì)上是一種擬牛頓算法，該算法的步驟可簡(jiǎn)述如下：

Step 1 隨機(jī)給定初始權(quán)值w0，設(shè)定目標(biāo)誤差ε，k=1。

Step 2 對(duì)于如下n元方程組，計(jì)算其對(duì)權(quán)值向量w的Jacobi矩陣J。此時(shí)需要用到：

Step 3 按公式（2）進(jìn)行搜索：

Step 4 若E（w（k）≤ε），則算法終止，得到滿足精度要求的權(quán)值向量;否則，轉(zhuǎn)Step 5。

3.2.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置

神經(jīng)網(wǎng)絡(luò)是由自帶適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，在整體上能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所做出的交互反應(yīng)。將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為3層，即：輸入層、隱含層、輸出層。其中，隱含層神經(jīng)元個(gè)數(shù)設(shè)置為10，其結(jié)構(gòu)如圖6所示。

3.2.3 訓(xùn)練結(jié)果

數(shù)據(jù)擬合圖見圖7，誤差直方圖見圖8，訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)、測(cè)試數(shù)據(jù)以及所有樣本數(shù)據(jù)回歸圖則詳見圖9。由圖7可知，在第37步時(shí)，最好的驗(yàn)證值為1.6092e-13。

通過(guò)訓(xùn)練結(jié)果分析后可知，在誤差直方圖中誤差很小的數(shù)據(jù)都集中在一起，訓(xùn)練效果理想，數(shù)據(jù)回歸圖中所有R=1，數(shù)據(jù)相關(guān)性好，訓(xùn)練后的網(wǎng)絡(luò)不僅能識(shí)別原有樣本，將訓(xùn)練樣本的每張圖片取RGB均值作為輸入，測(cè)試所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，訓(xùn)練的算法也能夠完全識(shí)別，部分識(shí)別結(jié)果見表2。

4 結(jié)束語(yǔ)

本文通過(guò)機(jī)器視覺采集紅綠燈圖片，將紅綠燈圖片通過(guò)Matlab算法進(jìn)行預(yù)處理，將圖片分成R、G、B三層提取RGB值制作樣本訓(xùn)練集，運(yùn)用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)擬合工具nftool進(jìn)行訓(xùn)練，得到的紅綠燈識(shí)別算法能夠精確地識(shí)別樣本，將每張樣本紅綠燈圖片的RGB均值作為神經(jīng)網(wǎng)絡(luò)輸入也能夠精準(zhǔn)地識(shí)別紅綠燈圖片，本文為車聯(lián)網(wǎng)的紅綠燈識(shí)別研究提供了一種思路，利用神經(jīng)網(wǎng)絡(luò)能夠訓(xùn)練出高效、快速的算法，相較于傳統(tǒng)圖像處理識(shí)別更具優(yōu)勢(shì)。

參考文獻(xiàn)

[1]HU Mingdi， ZHANG M， LOU Y. Retrieval of vehicle images based on color space fuzzy quantification in criminal investigation[J]. International Journal of Performability Engineering ， 2017，13（6）：823-831.

[2]OMACHI M， OMACHI S. Traffic light detection with color and edge information[C]//2009 2nd IEEE International Conference on Computer Science and Information Technology（ICCSIT 2009）. Beijing， China：IEEE， 2009：945-948.

[3]SHEN Yehu， OZGUNER U， REDMILL K， et al. A robust video based traffic light detection algorithm for intelligent vehicles[C]//2009 IEEE Intelligent Vehicles Symposium. Xi'an， China： IEEE，2019：521-526.

[4]薛旭琴. 基于機(jī)器學(xué)習(xí)的車輛顏色識(shí)別方案的研究[D]. 北京：北京郵電大學(xué)，2018.

[5]佀君淑，朱文興，沙永賀.復(fù)雜背景下的交通信號(hào)燈綜合識(shí)別方法[J].山東大學(xué)學(xué)報(bào)（工學(xué)版），2014，44（2）：64-68，75.

[6]HU Chuanping，BAI Xiang， QI Li，et al.Vehicle color recognition with spatial pyramid deep learning[J]. IEEE Transactions on Intelligent Transportation Systems， 2015，16（5）：2925-2934.

[7]KIM H K， PARK J H， JUNG H Y，et al. An efficient color space for deep-learning based traffic light recognition[J]. Journal of Advanced Transportation， 2018， 2018：2365414.

[8]周志華. 機(jī)器學(xué)習(xí)[M]. 北京：清華大學(xué)出版社，2016.

[9]陳攀. 自然場(chǎng)景下車輛顏色識(shí)別研究[D]. 武漢：華中科技大學(xué)，2016.

[10]?？镂? 智能車輛的交通信號(hào)燈識(shí)別[D]. 上海：上海交通大學(xué)，2012.

[11]WANG Xiaoqiang， CHENG Xianghui， WU Xue， et al. Design of traffic light identification scheme based on TensorFlow and HSV color space[J]. Journal of Physics Conference Series，2018， 1074（1）：012081.