一種基于視覺的列車智能障礙物檢測裝置

汪陽 戴林恩

摘要：隨著列車自動化程度的增加，列車智能障礙物檢測變得越來越重要。本文運用圖像處理技術，基于Journey2設計了一種非接觸式列車智能障礙物檢測裝置。該裝置可實現(xiàn)軌道線檢測、障礙物識別、障礙物綜合判斷，可應用于城市軌道交通車輛非接觸式障礙物檢測。試驗結果表明，其對障礙物的檢測判斷，準確度可達到99%。

關鍵詞：圖像處理;非接觸式;障礙物檢測;Journey2

中圖分類號：U284.48 文獻標識碼：A 文章編號：1004-9436（2020）23-00-03

0 引言

隨著技術的發(fā)展，無人駕駛的時代悄然降臨。在城市軌道交通行業(yè)，全自動運行地鐵具有正點兌現(xiàn)率高、運力靈活可配置、人員一崗多職能等優(yōu)點，日益成為城市軌道交通建設的發(fā)展方向[1-2]。由于取消了司機崗位，原來由司機承擔的軌道區(qū)域障礙物檢測職責需要智能檢測設備來負責。傳統(tǒng)列車的智能障礙物檢測主要依靠被動式障礙物檢測（碰撞檢測）。被動式障礙物檢測依靠安裝于車輛前端的多組碰撞開關，將多組開關狀態(tài)反饋給車輛信號系統(tǒng)，由車輛執(zhí)行制動操作。

被動式障礙物檢測存在以下問題：無法在非接觸情況下實現(xiàn)檢測，即只能實現(xiàn)碰撞后檢測、需要安裝多組碰撞傳感器增加了車載設備的復雜度。隨著技術發(fā)展，非接觸式障礙物檢測的優(yōu)勢漸漸體現(xiàn)。在非接觸式障礙物檢測方案中，視覺檢測占據(jù)了重要地位。現(xiàn)有的視覺檢測大多采用傳統(tǒng)檢測方案，數(shù)據(jù)處理和數(shù)據(jù)采集分開進行。這種方式雖然可以增加配置的靈活性，但這也是它的弊端所在，信號延遲高、設備架構復雜[3]。

針對上文提到的現(xiàn)有障礙物檢測方式的不足，本文設計了一種基于視覺的列車智能障礙物檢測裝置，通過智能算法處理，在地鐵列車處于無人駕駛模式下運行時，對軌面上方突發(fā)侵入或隧道結構設備落下障礙物，實時遠距離檢測、提前告警，達到保護車輛和鐵路設施、保障乘員的生命安全的目標。該裝置將數(shù)據(jù)采集、數(shù)據(jù)處理合二為一，高度集成化，并且針對城市軌道交通這種使用場景增加了軌道線檢測等功能，可滿足城市軌道交通設備非接觸式障礙物檢測需求。

1 功能分析

列車智能障礙物檢測裝置主要實現(xiàn)的功能有三大塊：一是軌道線的檢測，在圖像傳感器將列車前端的視頻數(shù)據(jù)采集后進行處理，使用軌道線檢測算法，識別出車輛前進方向上的軌道限界。二是障礙物的識別，通過AI算法智能識別列車前方障礙物類型與位置信息。三是障礙物的綜合判斷，將軌道線數(shù)據(jù)和障礙物數(shù)據(jù)結合，綜合判斷障礙物所處的位置對列車行進的影響。

城市軌道車輛一般運行在地下和地面線路，環(huán)境溫度為-25℃～45℃，運行場景固定。

通過上述分析可以得到如下幾點系統(tǒng)需求：CMOS（互補金屬氧化物半導體）采集芯片需滿足低照度，寬動態(tài)需求;ISP（圖像信號處理）芯片實現(xiàn)轉碼功能，將原始視頻數(shù)據(jù)RAW格式轉成BT1120格式;AI芯片實現(xiàn)軌道線檢測、障礙物檢測、障礙物的綜合判斷等功能;電源采用直流供電，寬電壓輸入;以太網(wǎng)接口，實現(xiàn)視頻流、檢測結果傳輸;

功能架構如圖1所示。

2 硬件設計

總覽設計要求，列車智能障礙物檢測裝置硬件架構分為3個模塊：圖像采集模塊、數(shù)據(jù)處理模塊、電源供電模塊。圖像采集模塊主要通過CMOS圖像傳感器實現(xiàn)圖像采集，圖像采集后需要對圖像數(shù)據(jù)進行轉碼操作以適配不同的數(shù)據(jù)處理模塊對圖像數(shù)據(jù)格式的需求。轉碼后的數(shù)據(jù)傳輸給數(shù)據(jù)處理模塊。

數(shù)據(jù)處理模塊實現(xiàn)圖像數(shù)據(jù)處理（軌道線檢測、障礙物檢測）。對于傳輸過來的視頻數(shù)據(jù)，數(shù)據(jù)處理模塊取其中的一幀畫面，利用圖像識別算法實現(xiàn)障礙物檢測，記錄檢測出的數(shù)據(jù)結果，對該幀圖片進行軌道線識別檢測，檢測出的軌道線與障礙物數(shù)據(jù)結合后判斷障礙物是否影響列車運行，判斷結果通過以太網(wǎng)進行輸出。

電源供電模塊通過電平轉換芯片將輸入的標準電壓轉換成各個模塊需要的電壓，保障其他功能模塊的正常運行。電源供電模塊使用隔離電源模塊和非隔離電平轉換芯片實現(xiàn)功能。隔離電源模塊可實現(xiàn)寬電壓輸入、寬工作溫度范圍、欠壓保護、輸出短路過流過壓過溫保護。保證了電源供電的可靠。非隔離電平轉換芯片則實現(xiàn)各種不同標準電壓的輸出。

列車智能障礙物檢測裝置采用千兆以太網(wǎng)接口作為數(shù)據(jù)傳輸接口，可實現(xiàn)檢測結果傳輸、視頻流傳輸。

列車智能障礙物檢測裝置硬件整體架構如圖2所示。

2.1 圖像采集模塊

圖像采集模塊，選用IMX385作為圖像采集芯片。IMX385為低照度、寬動態(tài)CMOS傳感器，最低可至0.001LUX（光照度）?？蓾M足城市軌道車輛的各種復雜運行環(huán)境。支持輸出1080P@30fps（畫面分辨率為1920×1080，畫面流暢度為每秒30幀）實時圖像，快速連續(xù)檢測。視頻數(shù)據(jù)處理芯片選用海思HI3516，用于將IMX385輸出的原始視頻數(shù)據(jù)（RAW）轉碼成AI芯片可接收處理的視頻數(shù)據(jù)格式（BT1120）。海思提供了MPP（媒體處理軟件平臺），該平臺對應用軟件屏蔽了芯片相關的復雜的底層處理，并對應用軟件直接提供MPI（媒體處理軟件平臺程序接口）接口完成相應功能，可以簡化開發(fā)流程。

2.2 數(shù)據(jù)處理模塊

數(shù)據(jù)處理模塊，選用Journey2作為處理芯片。該芯片采用Cortex-A53 CPU處理器，并設計有專門的AI處理器，針對AI處理進行強化。且功耗低于2W，可使用被動式散熱方案，增加裝置可靠性。該芯片配有一個千兆以太網(wǎng)接口，用于數(shù)據(jù)交互，可實現(xiàn)視頻流的傳輸。該模塊主要實現(xiàn)視頻數(shù)據(jù)處理，通過圖像算法將視頻數(shù)據(jù)中的特定目標區(qū)分出來，進行邏輯判斷并輸出結果。

2.3 電源供電模塊

隔離電源模塊采用URF1D12QB，該隔離電源模塊是為鐵路電源領域設計的一款高性能的產(chǎn)品，輸出功率達到50W，無最小負載要求，擁有43～160VDC（V表示電壓，DC表示直流）寬電壓輸入，允許工作溫度高達105℃，具有輸入欠壓保護、輸出過壓保護、短路保護、過溫保護、遠程遙控及補償、輸出電壓調(diào)節(jié)等功能。通過EN50155鐵路標準，滿足使用場景的要求。非隔離電平轉換芯片采用TPS65251，該芯片也具有寬電壓輸入（4.5～18V）。該芯片可根據(jù)需求設置3個不同的輸出電壓，可簡化芯片供電電路，增強其可靠性，該芯片為工業(yè)級芯片，符合城市軌道列車運行環(huán)境要求。

3 軟件設計

根據(jù)功能定義，軟件模塊主要分成以下幾個部分：障礙物檢測、軌道線檢測、日志記錄、視頻推流。障礙物檢測模塊實現(xiàn)障礙物類型識別及距離位置判斷;軌道線檢測模塊實現(xiàn)軌道線識別并將AI目標與軌道線表達式融合，判定是否在軌道線內(nèi);日志記錄采用開源、輕量級日志記錄工具，能夠提供向流、標準輸出、文件、系統(tǒng)日志、調(diào)試器等目標輸出日志的能力。視頻推流采用RTSP（實時流傳輸協(xié)議），RTSP與RTMP（實時消息傳輸協(xié)議）相比具有傳輸效率高、等特點。

3.1 障礙物檢測

障礙物檢測模塊獲取視頻源數(shù)據(jù)，利用人工智能算法進行目標檢測，提取出可上報的障礙物信息輸出軌道線檢測模塊。同時記錄視頻源數(shù)據(jù)保存文件，供維護模塊通過SFTP（安全文件傳送協(xié)議）方式下載查看。

障礙物檢測模塊主要由以下幾個組件組成：

主調(diào)組件：進行程序初始化，記錄視頻原始文件，調(diào)用其他各組件。主要流程包括：初始化AI網(wǎng)絡，加載AI配置文件，加載AI權重文件，創(chuàng)建視頻讀寫器，調(diào)用視頻獲取及圖像保存組件，保存原始視頻，調(diào)用圖像識別組件，調(diào)用UDP（用戶數(shù)據(jù)報協(xié)議）收發(fā)組件。

圖像分割組件：獲取視頻圖像，對圖像進行分割轉換后供圖像識別組件進行識別，并對圖像進行保存，供軌道線檢測模塊使用。主要流程包括：獲取一幀圖像;圖像分割并轉換，保存轉換后的圖像。

圖像識別：利用人工智能算法，識別圖像中物體的類別，并將識別的障礙物信息上送到軌道線檢測模塊中進行與軌道線的融合。主要流程包括：圖像預測，預測框輸出，預測過濾并按照物體類別進行排序（去除無物體檢測或低于閾值的檢測物體），計算每個檢出物體的位置和距離，釋放圖像信息，釋放目標信息。

TCP收發(fā)組件：識別到的障礙物信息上送到軌道線檢測模塊中與軌道線融合。主要流程包括：TCP端口的初始化，監(jiān)聽建立連接，數(shù)據(jù)發(fā)送。

3.2 軌道線檢測

軌道線檢測模塊從障礙物檢測模塊中獲取障礙物信息，同時讀取保存在本地的圖片，進行軌道線檢測，并將檢測的軌道線結果和障礙物信息融合，判斷障礙物是否在軌道線內(nèi)，并上送障礙物消息。根據(jù)圖片數(shù)據(jù)的內(nèi)容，判斷視頻源的接收狀態(tài)后，整合上送給數(shù)據(jù)處理模塊。同時記錄日志文件，供維護使用（可通過FTP即文件傳輸協(xié)議下載查看）。

軌道線檢測模塊主要由以下幾個組件組成：

UDP收發(fā)消息組件：接收UDP Socket（網(wǎng)絡上的兩個程序通過一個雙向的通信連接實現(xiàn)數(shù)據(jù)的交換，這個連接的一端稱為一個Socket），將其數(shù)據(jù)解封裝，再轉為內(nèi)部結構體數(shù)據(jù)。發(fā)送UDP Socket，將發(fā)送的數(shù)據(jù)基本信息組包組成MsgPack包，Socket發(fā)送。主要工作流程包括：軌道線檢測模塊TCP客戶端連接到障礙物檢測模塊（服務端）;接收TCPsocket消息;根據(jù)頭部信息和數(shù)據(jù)長度剔除錯誤數(shù)據(jù);根據(jù)頭部消息判斷消息類型（障礙物消息、圖片更新消息）;如果是障礙物消息則獲取障礙物信息，如果是圖片更新消息則獲取圖片序號和產(chǎn)生圖片的時間戳。

基于網(wǎng)絡的通信在傳輸數(shù)據(jù)時為了避免不同平臺下字節(jié)序及內(nèi)存對齊的影響，通常會將數(shù)據(jù)序列化成字節(jié)流來傳輸。在本設計中，選用MsgPack格式來序列化格式數(shù)據(jù)。MsgPack是一種類似于JSON的數(shù)據(jù)格式，但是其在序列化/反序列化的速度上進行了較大的優(yōu)化，可以進行高效處理，并且在庫支持方面，所有的主流語言都可以找到開源、免費的支持方案。

軌道線圖片獲取與目標獲取組件：接收視頻檢測模塊發(fā)送的新圖片消息及新圖片中AI目標消息，解析AI目標消息，并記錄日志。日志記錄采用spdlog，這是一種開源的日志庫，只包含頭文件，不依賴第三方庫文件可以輕松實現(xiàn)部署。

軌道線檢測組件：檢測圖像中的軌道線，得到軌道線表達式。軌道線檢測組件首先加載未經(jīng)檢測的視頻圖片，后根據(jù)圖片大小判斷是否加載成功，該圖片是否已經(jīng)過障礙物檢測，經(jīng)過障礙物檢測的圖片進入下一步的軌道線檢測步驟。主要工作流程包括：對圖片進行預處理（轉換成灰度圖后進行直方圖均衡，全圖LSD檢測，即一種直線檢測分割算法）;根據(jù)LSD線段集及軌道特性查找當前軌道起點;根據(jù)新的軌道起點建立搜索框，由起點到軌道盡頭劃框搜索，搜索劃窗內(nèi)疑似軌道線段;將線段保存到線段集;將軌道線段集擬合，斜率相差小的部分擬合成直線，斜率相差大的擬合成貝塞爾曲線;將軌道線表達式與障礙物融合，將融合數(shù)據(jù)發(fā)送給障礙物綜合判斷模塊。

4 系統(tǒng)測試

4.1 障礙物檢測測試

根據(jù)城市軌道車輛的運行環(huán)境，選取了幾種典型障礙物類型——球、人、行李箱、列車，作為測試目標。在實際的使用場景中進行測試，實際測試效果如圖3所示：

障礙物檢測準確率如表1所示：

4.2 軌道線檢測測試

在軌道線檢測實際測試中，檢測出的軌道線穩(wěn)定連續(xù)，且與軌道線邊緣吻合。軌道線檢測實際測試效果如圖4所示：

4.3 障礙物綜合判斷測試

障礙物綜合判斷，可實現(xiàn)碰撞風險分析。障礙物處于軌道界限之內(nèi)，認為障礙物將會影響列車的運行安全，此時將障礙物信息上報并告警。障礙物處于軌道界限之外，認為障礙物不會影響列車的正常運行，將信息記錄至日志。

障礙物綜合判斷實際測試效果如表2所示。

在實際測試1中，處于軌道界限外的箱子已經(jīng)被檢測到，經(jīng)過綜合判斷，認為不會對列車運行造成影響，因此不將障礙物信息上報。實際測試2中，檢測到障礙物是人，并處于軌道界限內(nèi)，綜合判斷后認為會對列車的運行造成影響，將障礙物信息上報。

5 結語

列車智能障礙物檢測是列車智能化發(fā)展的重要組成部分，本文針對列車障礙物檢測技術的現(xiàn)狀，設計了一種基于視覺的列車智能障礙物檢測裝置。該裝置對列車運行前方軌道的障礙物（如車輛、人、行李箱等）主動進行識別同時感知障礙物距離，并具備向車輛預警的能力。當檢測出列車前方有障礙物時，根據(jù)視頻檢測結果，提取出障礙物，當障礙物被識別出來的時候，會顯示具體目標的類型，當不能識別出具體類別時，作為未知障礙物，但障礙物是存在的。同時不需要人為采取措施，只要前方檢測到障礙物會實現(xiàn)自動報警功能，該裝置在全線直道、彎道、道岔區(qū)域能準確可靠地識別運行前方障礙物，不受相鄰軌道障礙物或軌旁障礙物（軌旁圍墻、信號機等）的影響。經(jīng)過實際測試，該方案可穩(wěn)定運行，并滿足功能要求。

參考文獻：

[1] 周勇.智能車輛中的幾個關鍵技術研究[D].上海：上海交通大學，2007.

[2] 苗彩霞.現(xiàn)代有軌電車系統(tǒng)特點及應用前景[J].都市快軌交通，2013，26（03）：9-12.

[3] 同磊，朱力強，余祖俊，等.基于車載前視攝像機的軌道異物檢測[J].交通運輸系統(tǒng)工程與信息，2012，12（04）：79-83+134.

作者簡介：汪陽（1992—），男，山東嘉祥人，學士，助理工程師，系本文通訊作者，研究方向：城軌地鐵車輛電氣系統(tǒng)設計。

戴林恩（1993—），男，江蘇啟東人，碩士，助理工程師，研究方向：圖像處理及嵌入式開發(fā)。