基于視覺的地鐵列車前向目標(biāo)識別系統(tǒng)研究

趙輝 張陸軍 張永鵬 田文健

摘 要：為解決地鐵列車前向運行環(huán)境中障礙物判斷問題，提出基于視覺的地鐵列車前向目標(biāo)識別系統(tǒng)。該系統(tǒng)利用語義分割算法提取行駛軌道區(qū)域，結(jié)合軌道區(qū)域識別，基于 SSD 算法提取前向運行環(huán)境中軌道限界范圍內(nèi)的列車、行人等目標(biāo)。針對上述場景，建立列車前向運行環(huán)境樣本庫，并基于該樣本庫完成模型訓(xùn)練。實驗結(jié)果證明所得模型可有效識別列車前向行駛多目標(biāo)。

關(guān)鍵詞：地鐵列車;視覺;深度學(xué)習(xí);語義分割;目標(biāo)識別

中圖分類號：U284.1

1 研究背景

隨著地鐵的大規(guī)模建設(shè)，城市軌道交通技術(shù)也隨之快速發(fā)展。但目前的技術(shù)主要聚焦在常規(guī)運營場景下的無人化作業(yè)方面，故障應(yīng)急場景下通常仍需要人工介入處理。由于無人駕駛系統(tǒng)在異常場景下的安全性、可靠性、可用性以及無人化水平方面，尚存在很大的提升空間，目前亟需一種技術(shù)手段增強列車對復(fù)雜周邊運行環(huán)境的自主識別能力，使之在信號系統(tǒng)故障時，仍能在照明不良、視距受限的隧道、彎道、坡道等運行環(huán)境下，對前方列車和其他影響行車安全的障礙物進行準(zhǔn)確地距離判斷和制動防護，為司機提供可靠的制動預(yù)警信息，從而有效避免因設(shè)備故障或人為失誤造成的追尾、側(cè)沖或闖信號等運行事故。

如何檢測并識別軌道線及其周邊是否存在障礙物（行人、車輛）并迅速做出反應(yīng)，是實現(xiàn)無人駕駛列車運行的重要環(huán)節(jié)。目前針對軌道區(qū)域目標(biāo)的識別，國內(nèi)外采用了不同的識別技術(shù)，對這一領(lǐng)域的發(fā)展都做出了貢獻(xiàn)。AL Polivka等人[1]通過光纖陀螺提供的角速度信息來判斷通過岔道時的列車運行軌道。蔡伯根等人[2]提出了一種新的列車軌道占用自動識別算法，分析了LTS-Hausdorff距離的計算過程及軌道占用自動識別決策方法。王劍等人[3]提出了一種基于隱馬爾可夫模型（HMM）軌道占用自動識別的算法，即利用不同軌道的列車運行歷史數(shù)據(jù)建立各自對應(yīng)的HMM。

現(xiàn)今目標(biāo)識別的問題多依賴于視覺傳感器，計算機視覺的研究從傳統(tǒng)基于特征的方法，如邊緣特征、紋理特征、模板匹配等[4-5]，到現(xiàn)如今基于機器學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，效果大幅提升[6]。文獻(xiàn)[7]使用滑窗、小波、哈爾特征進行識別，它是第一個可以實時處理的物體類別識別算法。文獻(xiàn)[8]利用方向梯度直方圖（HOG）和支持向量機（SVM）作為分類器可識別行人。文獻(xiàn)[9]提出了DPM算法以解決非剛體識別問題。文獻(xiàn)[10]提出基于卷積神經(jīng)絡(luò)的方法，使得計算機視覺領(lǐng)域開始進入深度學(xué)習(xí)時代。文獻(xiàn)[11]使用深度網(wǎng)絡(luò)進行目標(biāo)回歸。文獻(xiàn)[12]使用卷積網(wǎng)絡(luò)預(yù)測目標(biāo)包圍盒。文獻(xiàn)[13]提出了SSD目標(biāo)識別算法，使得網(wǎng)絡(luò)實現(xiàn)端到端訓(xùn)練，并且大幅提高了網(wǎng)絡(luò)速度，效果也達(dá)到當(dāng)時的頂級。基于深度學(xué)習(xí)的方法可有效提升識別效果，故本文采用深度學(xué)習(xí)的方法進行前向目標(biāo)識別。

基于上述研究基礎(chǔ)，本文提出了一種基于視覺的列車前向目標(biāo)識別系統(tǒng)，該系統(tǒng)利用語義分割算法提取出行駛軌道區(qū)域，與此同時應(yīng)用目標(biāo)識別算法識別出前向列車、行人等目標(biāo)，在此基礎(chǔ)上結(jié)合識別的軌道區(qū)域，從而判別識別的目標(biāo)是否影響車輛行駛。本系統(tǒng)可有效提升列車行駛安全，實現(xiàn)列車信號系統(tǒng)故障時的前向列車安全防護。

2 系統(tǒng)介紹

本文提出的基于視覺的列車前向目標(biāo)識別系統(tǒng)的功能如圖1所示，主要包含樣本庫構(gòu)建和算法開發(fā)兩大部分。由于列車運行場景較為特殊，樣本庫無法使用MNIST、VOC、COCO、ImageNet等公用數(shù)據(jù)集，因此本文針對軌道交通列車實際運行場景采集視頻素材，并根據(jù)采集的視頻進行處理可得到針對列車前向運行場景的樣本庫。算法開發(fā)部分包含軌道區(qū)域識別算法開發(fā)，列車、行人識別算法開發(fā)以及信號機識別算法開發(fā)3個部分。其中軌道區(qū)域識別是基于深度學(xué)習(xí)的語義分割算法，列車、行人識別和信號機識別是基于卷積神經(jīng)網(wǎng)絡(luò)中的多目標(biāo)識別算法。為使上述算法有良好的封裝和應(yīng)用功能，本文的算法設(shè)計、訓(xùn)練、測試和應(yīng)用都是基于Caffe深度學(xué)習(xí)框架完成，硬件設(shè)備使用Nvidia Titan X Pascal。將構(gòu)建好的樣本庫輸入已設(shè)計完成的深度學(xué)習(xí)網(wǎng)絡(luò)，并利用Caffe訓(xùn)練網(wǎng)絡(luò)模型，在網(wǎng)絡(luò)權(quán)值及參數(shù)最優(yōu)之后得到訓(xùn)練模型。

2.1 樣本庫構(gòu)建

構(gòu)建良好的樣本庫對于深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練來說尤為重要，增加特征不夠明顯、應(yīng)用場景不夠準(zhǔn)確的樣本會破壞訓(xùn)練模型精度，大幅度提高誤識別率和漏識別率。因此為了提高訓(xùn)練模型性能，本文將根據(jù)實際列車行駛場景采集視頻素材，并根據(jù)不同的算法處理該視頻素材，構(gòu)建針對列車前向行駛的樣本庫。

為結(jié)合長焦攝像機探測距離遠(yuǎn)，短焦攝像機探測視角廣的優(yōu)點，視頻素材采集過程中同時使用了長短焦攝像機。長短焦攝像機的安裝位置在列車駕駛室內(nèi)，以保證獲取的視頻素材不受天氣影響，不僅能維持高質(zhì)量的識別度，還無需頻繁擦拭或者更換攝像機。攝像機安裝時面向列車行駛正前方，以保證沒有遮擋。攝像機安裝完成后需進行聯(lián)合標(biāo)定，從而實現(xiàn)長短焦坐標(biāo)信息的統(tǒng)一，主要應(yīng)用基于張正友相機標(biāo)定算法進行相機內(nèi)參標(biāo)定，同時應(yīng)用相機幾何成像原理進行相機外參標(biāo)定。標(biāo)定完后在列車實際行駛時采集視頻素材。由于視頻素材無法直接輸入模型訓(xùn)練，需要進行圖片截取和標(biāo)注并構(gòu)建樣本庫。

2.2 軌道區(qū)域識別算法

列車實際行駛時通常會有兩條甚至多條軌道，由于列車某一時間只能在一條軌道內(nèi)固定行駛，因此通常不在該列車行駛軌道中的物體不需要關(guān)注，否則會引起誤報警。針對以上需求，對列車行駛的軌道區(qū)域識別尤為重要。

本文針對軌道區(qū)域識別采用語義分割算法，相比于其他傳統(tǒng)算法，語義分割算法可更好地解釋道路環(huán)境，十分適用于本文的軌道區(qū)域識別場景?；谏疃葘W(xué)習(xí)的語義分割算法可構(gòu)建端到端的網(wǎng)絡(luò)映射框架，并能實現(xiàn)像素級分類。將處理好的樣本庫輸入進語義分割算法網(wǎng)絡(luò)中，利用Caffe框架訓(xùn)練即可得到軌道區(qū)域識別模型。

2.3 多目標(biāo)識別算法

在軌道區(qū)域識別的基礎(chǔ)上引入多目標(biāo)識別，目的是識別出列車前向的多目標(biāo)物體，通過判斷該目標(biāo)是否在軌道區(qū)域內(nèi)進而提供預(yù)警或決策信息。若在列車前進軌道的安全限界內(nèi)，則判斷其目標(biāo)為前向行駛障礙物，若不在列車前進軌道上，則判斷為安全物體。同時利用該識別方法還能夠獲取信號機信息。

目標(biāo)識別任務(wù)可以分為傳統(tǒng)圖像處理方法和基于深度學(xué)習(xí)的方法，由于傳統(tǒng)圖像處理方法應(yīng)用場景單一且精度較差，因此本文將采用基于深度學(xué)習(xí)的方法?；谏疃葘W(xué)習(xí)的多目標(biāo)識別算法有Faster R-CNN[14]、YOLO[15]以及SSD算法等。Wei Liu等提出的SSD算法是一種one-stage的目標(biāo)檢測方法，可在一張圖像中檢測多類目標(biāo)。它保留了Faster R-CNN中的錨點（Anchor）機制，識別精度高于YOLO算法。它的待識別目標(biāo)類別和識別方框可一次性預(yù)測，識別速度快于Faster R-CNN算法。由于其速度精度俱佳的良好特性，因此十分適用于本文的列車多目標(biāo)識別場景。針對列車行駛場景樣本庫輸入進SSD卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，可得到多目標(biāo)識別模型。

3 實驗驗證

為分別說明并驗證軌道區(qū)域識別及多目標(biāo)識別的訓(xùn)練模型是否有效，測試視頻數(shù)據(jù)分別選用只含有軌道、列車不在前進軌道以及列車在前進軌道3類。分別如圖2、圖3、圖4所示。從測試結(jié)果能夠發(fā)現(xiàn)，所得的訓(xùn)練模型不僅能夠有效分割前向軌道區(qū)域，還能有效識別目標(biāo)，并結(jié)合兩者判斷該目標(biāo)是否在列車行駛軌道上。

為深入分析算法的性能，進一步采集大量的列車正常運行視頻數(shù)據(jù)進行分析。采集的視頻數(shù)據(jù)分辨率大小均為1280dpi×720dpi，本文中采集的數(shù)據(jù)集包含10000幀數(shù)據(jù)，其中前向有車的數(shù)據(jù)為4 800幀。

本文選取了2個指標(biāo)用于評估列車的識別精度，包括漏識別率和誤識別率，漏識別率指的是漏識別的列車數(shù)占數(shù)據(jù)集中所有樣本的比例，誤識別率指的是錯誤識別的列車數(shù)占數(shù)據(jù)集中所有樣本的比例，本文的識別結(jié)果如表1所示。

通過表1可知，該地鐵列車前向目標(biāo)識別算法在漏識別和誤識別上均有較高精度，對于保障列車運行安全具有重要意義。

4 結(jié)語

本文針對列車行駛環(huán)境特征提取問題，提出了基于視覺的列車前向目標(biāo)識別系統(tǒng)研究。針對特定場景，通過在列車前方安裝長短焦攝像頭，來采集實際列車運行的視頻素材，并構(gòu)建該特定場景的樣本庫。該系統(tǒng)首先利用語義分割算法進行軌道區(qū)域識別任務(wù)，可將列車前向軌道進行像素級分類提取。結(jié)合軌道區(qū)域識別，利用SSD算法進行多目標(biāo)識別任務(wù)，可判斷列車前進軌道內(nèi)是否包含列車、行人等危險障礙物，還能夠識別信號機等信息。實驗結(jié)果表明上述算法所得模型識別效果較好。現(xiàn)階段本研究基于視覺數(shù)據(jù)，檢測效果易受光線等因素干擾，下一步研究將采用視覺與激光雷達(dá)融合進行前向列車識別，從而提升列車的識別效果。

參考文獻(xiàn)

[1]Polivka A，Ede B M，Drapa J. North American joint positive train control project [R]. Railroad Safety，2009.

[2]蔡伯根.低成本列控系統(tǒng)的列車組合定位理論與方法[D]. 北京：北京交通大學(xué)，2010.

[3]王劍，張輝，蔡伯根，等. 基于HMM的列車軌道占用自動識別算法研究[J].鐵道學(xué)報，2009（3）：54-58.

[4]張宇，韓振軍，焦建彬.一種基于綜合特征評估的運動目標(biāo)跟蹤算法[J].中國科學(xué)技術(shù)大學(xué)學(xué)報，2010（5）：491-495.

[5]Mithun N C， Howlader T， Rahman S M M. Video-based tracking of vehicles using multiple time-spatial images[J]. Expert Systems with Applications，2016（6）： 17-31.

[6]Zhang Z， Peng H. Deeper and wider siamese networks for real-time visual tracking[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019.

[7]Viola P， Jones M. Rapid object detection using a boosted cascade of simple features[J]. Computer Vision and Pattern Recognition，2001（2）：511-518.

[8]Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]. 2005 IEEE Computer Society Conference on Computer Vision，2005.

[9]Felzenszwalb P F， Girshick R B， McAllester D， et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，32（9）：1627-1645.

[10] Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems，2012.

[11] Szegedy C， Toshev A， Erhan D. Deep neural networks for object detection[C]. Advances in Neural Information Processing Systems，2013.

[12] Erhan D， Szegedy C， Toshev A， et al. Scalable object detection using deep neural networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014.

[13] Liu W， Anguelov D， Erhan D， et al. SSD： Single shot multibox detector[C]. European Conference on Computer Vision，2016.

[14] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[C]. Advances in Neural Information Processing Systems. 2015.

[15] Redmon J， Divvala S， Girshick R， et al. You only look once： Unified， real-time object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

收稿日期 2019-07-15

責(zé)任編輯 胡姬

Research on visual based metro train forward target recognition system

Zhao Hui， Zhang Lujun， Zhang Yongpeng， et al.

Abstract： In order to solve the problem of identifying obstacles in the metro train forward direction running environment， this paper proposes a visaul-based forward target recognition system. Taking into consideration of the track area recognition， and based on SSD algorithm to extract the train， pedestrian and other targets in the forward running environment， the system uses semantic segmentation algorithm to extract the running track area. In view of the above scenarios， it establishes the train forward operation environment sample database， and completes the model training based on the sample database. The experimental results show that the model effectively identifies the train moving forward multiple targets.

Keywords： metro train， visual， deep learning， semantic segmentation， target recognition