基于視覺的軌道信號燈檢測方法

翟國銳 張強 陳成林

摘 要：隨著我國經(jīng)濟的快速發(fā)展，鐵路運輸在人們生活中所占的比重也越來越大，而保障列車運行安全也愈發(fā)重要。其中軌道交通信號燈的主動識別可以輔助駕駛員進行燈色判斷，從而可有效的降低列車運行安全隱患，提升列車運行安全。本文提出了一種基于視覺的軌道交通信號機識別算法，該算法主要包括有信號機提取部分、信號機檢測部分以及信號機融合過濾部分。其中信號機提取可有效的提取信號機的檢測區(qū)域，信號機檢測部分可實現(xiàn)對信號機的檢測，而信號機融合過濾部分可對檢測結(jié)果進行進一步優(yōu)化。通過對工業(yè)相機采集的視頻數(shù)據(jù)集進行測試，獲得了較高的精確度，證明了本文方法的可行性和魯棒性。

關(guān)鍵詞：信號燈檢測;圖像處理;軌道交通;深度學習

中圖分類號：U284.1 文獻標識碼：A

0 引言

隨著我國經(jīng)濟的快速發(fā)展，交通運輸在人們生活中所占的比重也越來越大，其中鐵路運輸在交通運輸中處于較為重要的地位[1]。近幾年，列車速度進過多次的提高，鐵路列車的載客量及運輸量也不斷的提升，隨之造成的鐵路安全事故也隨之提高，如2011年，上海地鐵10號線豫園至老西門下行區(qū)間兩列車發(fā)生追尾事故，事故造成271人受傷。2017年11月15日，新加坡地鐵東西線因信號系統(tǒng)改造過程中防護功能出現(xiàn)故障，列車未能識別出前車并繼續(xù)向前自動運行，導致相撞事故，造成20多人受傷。列車事故的頻發(fā)讓鐵路運輸安全受到了人們越來越多的關(guān)注。

影響鐵路列車運輸安全的影響因素有很多種，比如認為影響因素、周圍設(shè)備的影響因素、環(huán)境的因素等。其中環(huán)境影響因素中，鐵路信號燈的誤判斷及誤識別是影響鐵路運輸安全的因素的主要原因之一。軌道交通信號燈是軌道交通系統(tǒng)的重要設(shè)施，主要用于輔助列車駕駛員根據(jù)信號燈狀態(tài)做出正確決策，以保證鐵路系統(tǒng)正常運轉(zhuǎn)。然而列車司機容易出現(xiàn)疲勞等狀態(tài)，同時列車實際運行時會因光線、天氣等多種因素造成列車駕駛員對信號燈燈色進行誤判，從而提高了列車運行時的安全隱患。因此列車運行系統(tǒng)需要有一套能夠準確檢測并識別軌道信號燈的技術(shù)來輔助駕駛員進行信號燈識別，從而提升列車的運行安全[2-3]。

軌道交通信號燈識別不僅是列車無人駕駛系統(tǒng)的核心感知模塊，而且對現(xiàn)階段手動駕駛列車進行駕駛員輔助判斷也有著重要的意義。近年來在汽車自動駕駛方面，車路協(xié)同V2X技術(shù)越來越受到重視，但V2X的發(fā)展依賴公共交通設(shè)施的建設(shè)與覆蓋，暫未得到普及，同時在列車自動駕駛方面也受到了同樣的路側(cè)設(shè)施限制。另一方面，基于視覺的信號機檢測由于不依賴路側(cè)設(shè)備，完全依賴于相機進行主動識別，基于視覺傳感器的信號燈的檢測與識別還是迄今為止的最優(yōu)解決方案[4-5]。

本研究提出了一種基于視覺的軌道信號燈檢測算法，該算法主要包括三大階段：信號燈提取階段、信號燈識別階段以及信號機融合過濾階段。信號燈取階段主要結(jié)合列車的運行位置結(jié)合信號燈的顏色等特征對信號燈可能的位置進行提取;信號燈識別階段主要通過深度學習對提取的信號燈位置進行分類，從而判斷是否存在有信號機;信號機過濾階段主要對識別的信號機進行進一步過濾，從而提升檢測的可靠性。

1 信號機提取

信號機區(qū)域提取，主要是在圖像區(qū)域中提取處可能的信號機區(qū)域，基于提取的信號機區(qū)域可實現(xiàn)信號機的檢測。本文主要通過融合信號機的位置信息進行信號機區(qū)域提取，其提取流程如圖1所示。首先本文獲取車載相機返回的實時圖像信息，在此基礎(chǔ)上通過時間同步獲取與此圖像對應(yīng)的列車實時位置信息，并通過位置查詢從而獲取信號機在圖像中的搜索區(qū)域;在此基礎(chǔ)上本文將切割后的精準信號機檢測區(qū)域進行顏色空間轉(zhuǎn)換，考慮到本研究檢測的軌道交通信號機主要為紅色、和綠色，而不同顏色對不同色彩通道的敏感度不同，因此我們選取灰度道用于潛在區(qū)域提取，增加信號機潛在區(qū)域提取數(shù)目，防止漏檢。

眾所周知，圖像采集設(shè)備所獲取的圖像大多情況下利用RGB色彩通道表示，但該色彩通道在處理顏色信息時，魯棒性較差，精確性不高。因此，我們選擇將原始圖像轉(zhuǎn)換到灰度色彩通道，如圖2所示。在灰度圖像中，信號機區(qū)域較為敏感，這與周圍其他的顏色形成了鮮明的對比。因此我們再一次將RGB三通道彩色圖像轉(zhuǎn)換為單通道的灰度圖像，然后利用閾值N（常取大于220）再將灰度圖像轉(zhuǎn)換為二值圖像。進一步的我們利用二值圖像的連通域信息與形態(tài)學濾波可得到二值圖中潛在信號機區(qū)域。

軌道交通信號機的顏色、大小、形狀都有其固有的特征，而在不同的外部環(huán)境下其特征值也會發(fā)生相應(yīng)的變化。通過列車信號信息信息，我們先將運行環(huán)境分為白天、晚上、隧道三種情況，同時挑選出潛在區(qū)域的面積大小、區(qū)域長寬比、面積距離比三個特征作為信號機形態(tài)學濾波參數(shù)，通過濾波參數(shù)，可對灰度兩色彩通道產(chǎn)生的連通域進行優(yōu)化，減少信號機潛在區(qū)域數(shù)量，從而獲取有效的信號機區(qū)域。

2 信號機檢測

在獲取信號機區(qū)域后，需判斷此區(qū)域是否為信號機，并進一步的分析屬于哪種類型信號機，本文選取了ShuffleNet[6]分類網(wǎng)絡(luò)對提取的每一個信號機區(qū)域進行圖像分類。

本文引入了ShuffleNet神經(jīng)網(wǎng)絡(luò)模型，作為一種極其高效的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，該網(wǎng)絡(luò)架構(gòu)專門為計算能力非常有限的移動設(shè)備而設(shè)計，是一個非常輕量化的網(wǎng)絡(luò)架構(gòu)。該網(wǎng)絡(luò)架構(gòu)在進行卷積層設(shè)計時采用了兩個新的操作：逐點群卷積（Pointwise Group Convolution）和通道混洗（Channel Shuffle），這使得應(yīng)用于圖像分類問題時在保障算法能夠?qū)崿F(xiàn)精準的分類同時實現(xiàn)較小的計算資源消耗。

本文所應(yīng)用的ShuffleNet神經(jīng)網(wǎng)絡(luò)整體架構(gòu)如表1所示。本文所提出的網(wǎng)絡(luò)主要包含有一系列的ShuffleNet單元，網(wǎng)絡(luò)結(jié)構(gòu)可分解為三個步驟。主要有如下特點：

1）每個階段的第一個構(gòu)建塊的步長為2，下一階段的通道翻倍;2）同一階段內(nèi)的除步長外的其他超參數(shù)保持不變;3）本文所選用的ShuffleNet網(wǎng)絡(luò)模型結(jié)構(gòu)與ResNet模型的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計較為類似，結(jié)構(gòu)中每個ShuffleNet單元的瓶頸通道數(shù)均為輸出通道的1/4。

上表為本文信號機分類網(wǎng)絡(luò)的整體架構(gòu)，表中表示為分組數(shù)量，其大小表示了卷積的連接稀疏性。

3 信號機融合過濾

在實際的軌道車輛運行過程中，圖像采集器獲得的圖像是連續(xù)的，可融合的，而非孤立的。因此，利用連續(xù)幀的信號機檢測信息，融合輸出檢測結(jié)果可以大大提高信號機檢測的質(zhì)量，提高算法的魯棒性與精確性。在實際的信號機檢測中，往往會存在漏檢、誤檢、多信號機、檢測時間過短等多種問題，因此通過綜合分析，確定了以下的融合思路：

3.1 基于位置篩選信號機

在實際的軌道運行過程中，不同的信號機設(shè)計思路使得可利用的信號機信息各自不同。有些線路只需要關(guān)注車輛運行線路右側(cè)的信號機，有些線路則需要觀測兩側(cè)信號機。因此，首先根據(jù)線路實情，根據(jù)位置信息對可利用信號機進行初步選取。然后，當檢測到多個信號機的時候，如圖3，根據(jù)距離關(guān)系，選取最近的信號機為當前幀所需考慮的信號機，確保每一幀圖像中，僅有一個信號機為利用信號機。

3.2 多幀結(jié)果融合

在得到每一幀圖像的利用信號機后，我們以連續(xù)5幀圖像作為一組判定值，若5幀中有超過2幀檢測到信號機，才考慮信號機存在，并選取最多出現(xiàn)的信號機作為最終輸出結(jié)果。但是在某些情況下，可能會出現(xiàn)存在信號機但漏檢了，此時則會暫時用上一幀檢測到的信號機信息替換本幀的檢測信息，但若連續(xù)3幀都沒檢測到信號機，則認為信號機不再存在。此外，我們還會將每一個融合得到的信號機位置信息輸入到下一幀的類別判定層中，作為一個潛在的信號機區(qū)域，以提升檢測的魯棒性。最終，將最終的信號機檢測位置與類別輸出到系統(tǒng)中，已完成軌道信號機檢測。

4 實驗結(jié)果

為了對本文的信號機識別效果進行驗證，本文列車運行環(huán)境中真實行車視頻及位置同步數(shù)據(jù)，進一步的對紅燈以及綠燈識別效果進行評估。本文選取了6 000張樣本進行性能評估，其中紅燈、綠燈以及無燈場景數(shù)據(jù)各2 000張，并選取了誤識別率和漏識別率作為評價標準，其中誤識別率表示錯誤的識別的信號機占總總樣本的比例，漏識別率表示漏識別的信號機占總樣本的比例。本文的算法精度如下表所示。

由上表可得，本文提出的信號機識別算法在紅燈以及綠燈的識別上均有較好的效果。以上結(jié)果證明了本文方法對環(huán)境光強和障礙物的大小變化不敏感，適應(yīng)范圍廣，魯棒性高，部分場景的識別效果如下圖所示。

5 總結(jié)

本文提出了一種基于視覺的軌道交通信號機識別算法，該算法主要包括有信號機提取部分、信號機檢測部分以及信號機融合過濾部分。其中信號機提取可有效的提取信號機的檢測區(qū)域，信號機檢測部分可實現(xiàn)對信號機的檢測，而信號機融合過濾部分可對檢測結(jié)果進行進一步優(yōu)化。通過對工業(yè)相機采集的視頻數(shù)據(jù)集進行測試，獲得了較高的精確度，證明了本文方法的可行性和魯棒性。

參考文獻：

[1]陸遠.鐵路運輸安全管理問題及其管理體制改革對策[J].企業(yè)改革與管理，2018，26（12）：205+220.

[2]CHEN Z L，HUANG X M.Accurate and reliable detection of traffic lights using multiclass learning and multi object tracking[J].IEEE Intelligent Transportation Systems Magazine，2016，8（04）：28-42.

[3]許明文，張重陽.基于顯著性特征的交通信號燈檢測和識別[J].計算機與數(shù)字工程，2017，45（07）：1397-1401.

[4]Kim J ，Cho H ，Hwangbo M ，et al.Deep Traffic Light Detection for Self-driving Cars from a Large-scale Dataset[C].2018 IEEE International Conference on Intelligent Transportation Systems （ITSC）.IEEE，2018.

[5]YELAL M R，SASI S，SHAFFER G R，et al.Color-based signal light tracking in real-time video[C].IEEE International Conference on Video and Signal Based Surveillance，Sydney，IEEE，2006：8-12.

[6]Zhang X ，Zhou X ，Lin M ，et al.ShuffleNet： An Extremely

Efficient Convolutional Neural Network for Mobile Devices[J].2017.