基于深度學(xué)習(xí)的鐵路輔助巡檢系統(tǒng)

蔡檬嶼，郭 旭，王浩帆，李良平，張瀚文

（西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 611756）

隨著我國(guó)鐵路高速發(fā)展，安全隱患逐漸增加，定期巡檢、及時(shí)排查故障和安全隱患愈加必要。目前，巡檢主要依賴人工目測(cè)，難以保證巡檢質(zhì)量，且占用大量人力[1]。

隨著人工智能的興起和計(jì)算機(jī)圖像處理技術(shù)的日漸成熟，機(jī)器視覺和虛擬現(xiàn)實(shí)在很多領(lǐng)域得到應(yīng)用，采用機(jī)器視覺等前沿技術(shù)的鐵路巡檢系統(tǒng)正在成為趨勢(shì)。張毅[2]針對(duì)接觸網(wǎng)巡檢圖像定位器缺陷檢測(cè)的問(wèn)題，提出一種基于圖像深度表示和直線檢測(cè)的目標(biāo)檢測(cè)一體化算法。何玉娟等人[3]分析鐵路隧道漏纜巡檢維護(hù)的現(xiàn)狀及發(fā)展趨勢(shì)，提出利用射頻識(shí)別（RFID）技術(shù)輔助定位的視頻巡檢方案。張德光等人[4]研究開發(fā)一種鐵路電務(wù)智能巡檢機(jī)器人，解決高速鐵路區(qū)間信號(hào)中繼站監(jiān)測(cè)的漏報(bào)、誤報(bào)問(wèn)題。王留軍等人[5]通過(guò)實(shí)時(shí)視頻采集和判別，實(shí)現(xiàn)鋼軌、軌枕、扣件等軌道主要部件相關(guān)缺陷的快速檢測(cè)。

目前，在以排查異物為主的鐵路線路巡檢方面，采用深度學(xué)習(xí)技術(shù)的相關(guān)研究尚不多見。本文基于深度學(xué)習(xí)開源模型YOLO，設(shè)計(jì)了一個(gè)鐵路輔助巡檢系統(tǒng)，通過(guò)修改YOLO 模型最后一個(gè)卷積層的卷積核數(shù)，將模型遷移到定制數(shù)據(jù)集上，利用虛擬現(xiàn)實(shí)（VR）視覺和服務(wù)器推流技術(shù)，實(shí)時(shí)遠(yuǎn)程視頻監(jiān)測(cè)鐵路異常狀況，并以第1 視角獲得沉浸式體驗(yàn)，以期利用深度學(xué)習(xí)，達(dá)到人機(jī)協(xié)調(diào)、高效巡檢的效果，推動(dòng)傳統(tǒng)人工異物排查作業(yè)模式向智能化發(fā)展。

1 系統(tǒng)構(gòu)成及工作過(guò)程

1.1 系統(tǒng)構(gòu)成

鐵路輔助巡檢系統(tǒng)由室外和室內(nèi)2 部分組成：室內(nèi)部分由App 軟件和中央處理單元、控制設(shè)備、VR 設(shè)備等硬件構(gòu)成；室外部分包括攝像頭、搭載設(shè)備和無(wú)線通信模塊。系統(tǒng)結(jié)構(gòu)如圖1 所示。

圖1 系統(tǒng)構(gòu)成示意

1.2 系統(tǒng)工作過(guò)程

系統(tǒng)主要工作過(guò)程簡(jiǎn)述如下：

（1） 系統(tǒng)啟動(dòng)后，攝像頭采集數(shù)據(jù)，利用服務(wù)器推流技術(shù)，將數(shù)據(jù)上傳到服務(wù)器；（2）使用深度學(xué)習(xí)算法對(duì)所采集的數(shù)據(jù)進(jìn)行異物檢測(cè)，標(biāo)識(shí)出異物的位置與類別；（3）將帶識(shí)別結(jié)果的視頻流實(shí)時(shí)傳送到用戶App 端，實(shí)現(xiàn)VR 視覺顯示效果；（4）通過(guò)方向傳感器，使攝像頭視角跟隨用戶視角同步切換，用戶根據(jù)巡檢情況做出判斷，命令控制設(shè)備將動(dòng)作指令發(fā)送到服務(wù)器，搭載設(shè)備從服務(wù)器獲取指令并執(zhí)行動(dòng)作。

2 輔助巡檢關(guān)鍵技術(shù)

2.1 基于深度學(xué)習(xí)的異物識(shí)別技術(shù)

2.1.1 數(shù)據(jù)集定制

定制鐵路異物檢測(cè)數(shù)據(jù)集是為了使模型對(duì)鐵路環(huán)境下異物識(shí)別達(dá)到一定的精度和速度。定制的鐵路異物檢測(cè)數(shù)據(jù)集由開源數(shù)據(jù)集VOC2007 中1 000張圖片和根據(jù)鐵路周邊常見異物拍攝的約3 000 張圖像組成。對(duì)拍攝圖片的物體邊框、類別等必要信息進(jìn)行統(tǒng)一標(biāo)注，受限于人力和時(shí)間，僅收集了14 類常見鐵路異物圖像，包括紙張、塑料袋、卡車、石塊等，如圖2 所示。

圖2 鐵路異物圖像

2.1.2 實(shí)時(shí)異物檢測(cè)方法

異物檢測(cè)問(wèn)題可視為深度學(xué)習(xí)領(lǐng)域中的物體檢測(cè)問(wèn)題。物體檢測(cè)問(wèn)題主要有2 類方法：one-stage detection 和two-stage detection。one-stage detection 類方法具有低時(shí)延和較高精度，適合處理需要實(shí)時(shí)監(jiān)測(cè)的問(wèn)題，而two-stage detection 類方法具有很高精度，但檢測(cè)時(shí)間非常長(zhǎng)，適用于對(duì)實(shí)時(shí)性要求不高的場(chǎng)景。

考慮到需要對(duì)畫面中異物進(jìn)行實(shí)時(shí)檢測(cè)，選擇one-stage detection 類方法中具有代表性的YOLO 開源模型[6-7]，利用其開源的模型參數(shù)作為預(yù)訓(xùn)練模型，利用定制數(shù)據(jù)集對(duì)模型進(jìn)行擬合和微調(diào)。

2.1.3 異物檢測(cè)模型結(jié)構(gòu)

異物檢測(cè)模型共使用19 個(gè)卷積層和5 個(gè)最大池化層提取圖片特征。通過(guò)殘差網(wǎng)絡(luò)（ResNet）的跳躍式連接，提高了模型對(duì)細(xì)粒度物體的檢測(cè)率；再利用一個(gè)卷積層進(jìn)一步提取融合特征，通過(guò)全局平均池化后，使用softmax 函數(shù)輸出分類結(jié)果，達(dá)到識(shí)別目的。該模型的結(jié)構(gòu)如圖3 所示。

圖3 異物檢測(cè)模型結(jié)構(gòu)示意

2.1.4 模型訓(xùn)練

模型訓(xùn)練分為3 步：（1）將模型最后一層卷積層之前的各層全部?jī)鼋Y(jié)，用224×224 分辨率的圖像對(duì)參數(shù)擬合5 個(gè)epoch；（2）將凍結(jié)的層全部解凍，再用224×224 分辨率的圖訓(xùn)練15 個(gè)epoch；（3）使用448×448 分辨率的圖對(duì)模型訓(xùn)練20 個(gè)epoch。

為加快模型訓(xùn)練速度和提升模型的檢測(cè)質(zhì)量，通過(guò)遷移學(xué)習(xí)對(duì)模型進(jìn)行擬合。遷移學(xué)習(xí)[8]的過(guò)程如圖4 所示，在學(xué)習(xí)任務(wù)A 時(shí)，可獲得一定的相關(guān)知識(shí)經(jīng)驗(yàn)，當(dāng)學(xué)習(xí)另一個(gè)相似的任務(wù)B 時(shí)，可以快速將經(jīng)驗(yàn)應(yīng)用于新問(wèn)題。

圖4 遷移學(xué)習(xí)原理示意

2.2 基于服務(wù)器推流的可視化VR 遠(yuǎn)程控制技術(shù)

鐵路輔助巡檢系統(tǒng)基于C/S 架構(gòu)，通過(guò)以太網(wǎng)通信實(shí)現(xiàn)服務(wù)器與客戶端之間的數(shù)據(jù)交互，圖像和控制指令分別通過(guò)2 個(gè)通道獨(dú)立傳輸。

圖像傳輸過(guò)程為：搭載設(shè)備接收遠(yuǎn)程訪問(wèn)命令后，攝像頭將畫面實(shí)時(shí)傳輸給服務(wù)器，經(jīng)算法處理后轉(zhuǎn)發(fā)至VR 端，VR 端接收并解析處理服務(wù)器回應(yīng)的最新Http 報(bào)文，通過(guò)VR 顯示插件顯示監(jiān)測(cè)圖像。

控制指令傳輸過(guò)程為：手機(jī)的方向傳感器捕捉用戶頭部動(dòng)作，將其轉(zhuǎn)化為攝像頭的角度旋轉(zhuǎn)指令后，發(fā)送給控制設(shè)備，使攝像頭與用戶轉(zhuǎn)頭動(dòng)作同步?？梢暬h(yuǎn)程控制[9]所依托的服務(wù)器推流技術(shù)[10]可保證在服務(wù)器發(fā)送批量數(shù)據(jù)的同時(shí)，客戶端能繼續(xù)接收數(shù)據(jù)。

3 實(shí)驗(yàn)分析

3.1 室內(nèi)實(shí)驗(yàn)分析

3.1.1 異物識(shí)別模型實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)室環(huán)境的相關(guān)軟件配置包括Ubuntu16.04 系統(tǒng)、CUDA 10.0.130、cuDNN 7.6.3，Python 3.6.8、TensorFlow 1.15.0、Keras 2.2.4；相關(guān)硬件配置包括NVIDIA GeForce RTX2080Ti 顯卡、AMD Ryzen 5 2600X Six-Core Processor 處理器、16 GB 運(yùn)行內(nèi)存。

以IoU 取值為0.5 時(shí)的平均精度均值（mAP）作為評(píng)價(jià)指標(biāo)，測(cè)試數(shù)據(jù)集上mAP 計(jì)算結(jié)果為64.5，AP 值見表1。結(jié)果表明：在保持模型對(duì)VOC 數(shù)據(jù)集中5 個(gè)類別精度差別不大的情況下，對(duì)定制圖像數(shù)據(jù)也具有較高的精度。

表1 AP 值計(jì)算結(jié)果

3.1.2 遠(yuǎn)程巡檢控制實(shí)驗(yàn)結(jié)果分析

在室內(nèi)較理想情況下，搭載設(shè)備（本實(shí)驗(yàn)中采用小車）與網(wǎng)關(guān)間距50 m，測(cè)試20 組數(shù)據(jù)，每組間隔15 min，共進(jìn)行90 min，記錄其中3 組的平均幀數(shù)和時(shí)延數(shù)據(jù)，見表2。經(jīng)測(cè)試發(fā)現(xiàn)：隨著測(cè)試時(shí)間推移，2 類數(shù)據(jù)都僅在小范圍內(nèi)波動(dòng)，驗(yàn)證該系統(tǒng)性能較為穩(wěn)定，可實(shí)現(xiàn)流暢的遠(yuǎn)程控制。

表2 平均幀數(shù)和平均時(shí)延測(cè)試數(shù)據(jù)

3.2 室外基地系統(tǒng)測(cè)試

室外測(cè)試的目的是驗(yàn)證該系統(tǒng)的可行性、異物識(shí)別的準(zhǔn)確性以及室外無(wú)線傳輸?shù)姆€(wěn)定性。

利用履帶小車作為搭載設(shè)備，在校園局域網(wǎng)（模擬5G）環(huán)境下，使用校內(nèi)鐵路實(shí)習(xí)基地總長(zhǎng)為200 m 的鐵道進(jìn)行測(cè)試。將10 類100 個(gè)異物隨機(jī)投放到鐵道沿線，利用手柄、App 及VR 設(shè)備，遠(yuǎn)程控制小車沿軌道線路進(jìn)行實(shí)時(shí)可視化巡檢。分別在晴天、微風(fēng)、小雨3 種天氣下，按不同傳輸距離分別進(jìn)行20 次測(cè)試，記錄所識(shí)別的異物個(gè)數(shù)、種類及通信完成情況，最終平均檢測(cè)到10 類83 個(gè)異物，通信完成情況的測(cè)試結(jié)果見圖5 所示。

圖5 通信成功率（距離測(cè)試折線圖）

測(cè)試結(jié)果表明：系統(tǒng)控制正常，VR 畫面基本流暢，鐵道沿線放置的主要異物均可被識(shí)別；同時(shí)，在10 組不同距離下，異物識(shí)別的成功率波動(dòng)變化不大，晴朗天氣下通信成功率為93.5%，微風(fēng)條件下通信成功率為93.3%，即便在小雨條件下，通信成功率依然能保持在88.1%。

在此基礎(chǔ)上，再對(duì)小車與人工配合巡檢以及人工單獨(dú)巡檢分別進(jìn)行20 組測(cè)試，結(jié)果發(fā)現(xiàn)輔助巡檢系統(tǒng)的平均漏檢率僅為3%，而單純?nèi)斯ぱ矙z平均漏檢率為13%，可見輔助巡檢的效果顯著。

4 結(jié)束語(yǔ)

綜合考慮人工巡檢和傳統(tǒng)機(jī)器學(xué)習(xí)在工程上應(yīng)用的優(yōu)缺點(diǎn)，利用無(wú)線通信技術(shù)和深度學(xué)習(xí)算法的優(yōu)勢(shì)，建立鐵路輔助巡檢系統(tǒng)。實(shí)驗(yàn)表明：該系統(tǒng)對(duì)鐵路巡檢中異物排查具有良好的輔助效果，與人工方式相比，異物檢測(cè)更為細(xì)致、準(zhǔn)確，漏檢更少，且更經(jīng)濟(jì)。

今后可嘗試將YOLO 的Backbone 網(wǎng)絡(luò)結(jié)構(gòu)替換為ResNet、ThunderNet、ShuffleNet、EfficientNet 等輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，以獲得更高實(shí)時(shí)性和精度。隨著輔助巡檢模型和搭載設(shè)備的進(jìn)一步完善和健全，該項(xiàng)技術(shù)還可更廣泛地應(yīng)用于諸如隧道漏纜安全巡檢、軌道磨損檢查等更多方面。另外，在實(shí)際巡檢中可搭載無(wú)人機(jī)、綜合巡檢車等視野更廣闊的設(shè)備，以降低巡檢的漏檢率。還可以利用5G 低時(shí)延的特點(diǎn)，實(shí)現(xiàn)不限距離的通信，并獲得更高實(shí)時(shí)性。