高鐵接觸網(wǎng)異物自動(dòng)化智能檢測(cè)方法

徐偉，吳澤彬，劉建新，丁道華，詹天明，徐洋

（1.中國(guó)鐵路上海局集團(tuán)有限公司 南京供電段，江蘇 南京 210011；2.南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094；3.南京智蓮森信息技術(shù)有限公司，江蘇 南京 210012）

1 概述

近十幾年來(lái)，我國(guó)鐵路為提高運(yùn)輸效率和競(jìng)爭(zhēng)力，對(duì)主要運(yùn)輸線路實(shí)施了大量的技術(shù)改造和創(chuàng)新。其中，高速鐵路迅猛發(fā)展，經(jīng)過(guò)10余年的發(fā)展，“中國(guó)高鐵”被譽(yù)為中國(guó)經(jīng)濟(jì)發(fā)展的奇跡，頻頻刷新世界紀(jì)錄，“中國(guó)速度”在世界經(jīng)濟(jì)發(fā)展中起著非常重要的作用[1]。隨著我國(guó)高速鐵路的逐漸普及，高鐵線路的巡檢問(wèn)題受到了越來(lái)越多的關(guān)注。接觸網(wǎng)作為電氣化鐵路的重要組成部分，是整個(gè)高鐵安全最受關(guān)注的部分。為了保證行車安全，必須及時(shí)排除鐵路沿線接觸網(wǎng)設(shè)備存在的安全隱患[2]。其中，接觸網(wǎng)上的異物是威脅高鐵安全運(yùn)營(yíng)的重要因素之一，但由于接觸網(wǎng)具有分布廣泛、數(shù)量眾多、異物不容易察覺(jué)等特點(diǎn)，導(dǎo)致傳統(tǒng)人工巡檢方式效率低、周期長(zhǎng)、檢測(cè)成本高，不能有效滿足高鐵快速發(fā)展要求[3]。為了保證高鐵供電系統(tǒng)的正常安全運(yùn)行，原中國(guó)鐵路總公司提出構(gòu)建高速鐵路供電安全檢測(cè)監(jiān)測(cè)系統(tǒng)（6C系統(tǒng)），其中，接觸網(wǎng)安全巡檢裝置（2C）得到了廣泛應(yīng)用。該設(shè)備在檢測(cè)時(shí)安裝在高鐵列車的駕駛室，對(duì)接觸網(wǎng)的狀態(tài)進(jìn)行圖像采集，事后統(tǒng)計(jì)分析接觸網(wǎng)的安全狀態(tài)。但通過(guò)分析室人工觀看圖像判斷接觸網(wǎng)中的安全隱患既耗時(shí)又效率低，而且漏識(shí)別的情況也較多。

目前，人工智能技術(shù)快速發(fā)展，作為人工智能領(lǐng)域的一個(gè)重要研究熱點(diǎn)，深度學(xué)習(xí)（Deep Learning）展現(xiàn)了強(qiáng)大的學(xué)習(xí)數(shù)據(jù)本質(zhì)特征的能力[4]。近年來(lái)，深度學(xué)習(xí)在語(yǔ)音識(shí)別、文本分類、圖像視頻處理和自然語(yǔ)言處理等研究領(lǐng)域都取得了很大成功[5]。深度學(xué)習(xí)允許多個(gè)處理層的計(jì)算機(jī)模型來(lái)學(xué)習(xí)具有多層次抽象的數(shù)據(jù)表示，使其能夠發(fā)現(xiàn)高維數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)，并抽象出數(shù)據(jù)的典型特征。因此深度學(xué)習(xí)方法在圖像分類、檢索、識(shí)別等圖像處理領(lǐng)域得到了大量的應(yīng)用并表現(xiàn)出非常優(yōu)異的性能[6-8]。這些深度學(xué)習(xí)方法大多基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）建立的深度學(xué)習(xí)模型[9]。與傳統(tǒng)機(jī)器學(xué)習(xí)模型相比，卷積神經(jīng)網(wǎng)絡(luò)具有更深的結(jié)構(gòu)、指數(shù)級(jí)增加的特征表達(dá)能力[10]、多任務(wù)協(xié)同優(yōu)化以及較強(qiáng)的自主學(xué)習(xí)能力。

隨著深度學(xué)習(xí)理論與技術(shù)的發(fā)展，產(chǎn)生了大量的智能化方法，這為接觸網(wǎng)設(shè)備的智能監(jiān)測(cè)研究提供了必要的理論基礎(chǔ)。目前，尚未有成熟的人工智能技術(shù)可以完善地解決接觸網(wǎng)異物的智能檢測(cè)問(wèn)題。為此，針對(duì)接觸網(wǎng)設(shè)備的海量2C圖像數(shù)據(jù)自動(dòng)化智能分析問(wèn)題，充分考慮鐵路接觸網(wǎng)動(dòng)態(tài)檢測(cè)的特點(diǎn)和需求，設(shè)計(jì)相關(guān)人工智能和深度學(xué)習(xí)的檢測(cè)和分析方法，不但可將技術(shù)人員從觀察海量視頻數(shù)據(jù)中解放出來(lái)，還能夠更及時(shí)地發(fā)現(xiàn)安全隱患，對(duì)高速鐵路的運(yùn)行安全具有重大意義。針對(duì)上述重大需求，提出一種新的高鐵接觸網(wǎng)異物自動(dòng)化智能檢測(cè)方法，以實(shí)現(xiàn)穩(wěn)健、可靠、精準(zhǔn)的接觸網(wǎng)異物檢測(cè)。該方法面向2C圖像的特點(diǎn)以及接觸網(wǎng)安全運(yùn)行需求，首先對(duì)圖像進(jìn)行預(yù)處理，然后將異物檢測(cè)問(wèn)題轉(zhuǎn)化為有監(jiān)督的目標(biāo)檢測(cè)問(wèn)題，設(shè)計(jì)基于深度神經(jīng)網(wǎng)絡(luò)的異物檢測(cè)方法，利用已標(biāo)定樣本訓(xùn)練異物檢測(cè)模型，并通過(guò)預(yù)訓(xùn)練和重訓(xùn)練步驟進(jìn)行深度學(xué)習(xí)模型的優(yōu)化，最后將訓(xùn)練好的模型應(yīng)用于真實(shí)場(chǎng)景中對(duì)特定異物進(jìn)行自動(dòng)檢測(cè)。對(duì)中國(guó)鐵路上海局集團(tuán)有限公司（簡(jiǎn)稱上海局集團(tuán)公司）南京供電段分析室采集的實(shí)際2C圖像進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果表明，該方法可以高速、高精度、自動(dòng)化地從圖像中智能檢測(cè)出異物，異物檢測(cè)準(zhǔn)確率達(dá)到96.5%以上，具有較高的實(shí)際應(yīng)用價(jià)值。

2 基于深度學(xué)習(xí)的接觸網(wǎng)異物檢測(cè)方法

統(tǒng)計(jì)分析表明，高鐵接觸網(wǎng)中的異物主要包括鳥(niǎo)巢、風(fēng)箏、氣球等。其中，鳥(niǎo)巢數(shù)量最多，而且形成快、具有一定遷徙性，對(duì)接觸網(wǎng)供電安全的影響較大。2C裝置作為一種便攜式視頻采集設(shè)備，通過(guò)對(duì)接觸網(wǎng)的狀態(tài)及其周邊環(huán)境進(jìn)行拍攝，為接觸網(wǎng)的狀態(tài)監(jiān)控和運(yùn)維提供圖像數(shù)據(jù)（見(jiàn)圖1）。2C圖像可以較為清晰地顯示高鐵運(yùn)行方向左側(cè)的接觸網(wǎng)狀態(tài)，但由于2C設(shè)備架設(shè)時(shí)需要一定的仰角，導(dǎo)致接觸網(wǎng)在圖像中存在一定的旋轉(zhuǎn)。同時(shí)，2C設(shè)備采集圖像時(shí)列車處于高速運(yùn)動(dòng)狀態(tài)，再加上天氣影響和接觸網(wǎng)周圍背景相對(duì)復(fù)雜，如何保證接觸網(wǎng)異物檢測(cè)的精度是一個(gè)很大的挑戰(zhàn)。針對(duì)上述問(wèn)題，提出一種新的高鐵接觸網(wǎng)異物自動(dòng)化智能檢測(cè)方法（見(jiàn)圖2）。該方法先對(duì)圖像進(jìn)行預(yù)處理提高圖像清晰度，再訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)用于異物初步檢測(cè)，并通過(guò)預(yù)訓(xùn)練和重訓(xùn)練步驟進(jìn)行深度學(xué)習(xí)模型的迭代優(yōu)化。

圖1 高鐵接觸網(wǎng)2C檢測(cè)圖像

圖2 基于深度學(xué)習(xí)的接觸網(wǎng)異物自動(dòng)化智能檢測(cè)方法

2.1 預(yù)處理

由于2C采集數(shù)據(jù)時(shí)，背景具有一定的相似性。因此根據(jù)該特點(diǎn)對(duì)2C設(shè)備采集的不同時(shí)間點(diǎn)圖像進(jìn)行差分，差分圖像中較為顯著的區(qū)域即為不同時(shí)間點(diǎn)的變化區(qū)域。設(shè)I1和I2為前后2個(gè)時(shí)間點(diǎn)的圖像，差分圖像ΔI為：

支柱粗檢測(cè)區(qū)域可以通過(guò)如下閾值判定并進(jìn)行二值化：

式中：?(I)為二值化后的圖像；τ為閾值。

再對(duì)支柱檢測(cè)圖像進(jìn)行形態(tài)學(xué)開(kāi)運(yùn)算操作，去除孤立點(diǎn)和面積較小的孤立區(qū)域：

式中：?(I)為形態(tài)學(xué)操作后的圖像；⊙為形態(tài)學(xué)開(kāi)運(yùn)算；B為形態(tài)學(xué)結(jié)構(gòu)元素。

預(yù)處理不同階段的圖像見(jiàn)圖3，其中（a）和（b）為2C設(shè)備采集到的不同時(shí)間點(diǎn)的原始圖像，（c）為差分圖像，（d）為閾值操作后的圖像，（e）為形態(tài)學(xué)操作后的圖像。

圖3 預(yù)處理不同階段的圖像

在形態(tài)學(xué)開(kāi)運(yùn)算后，利用邊緣檢測(cè)方法檢測(cè)支柱的縱向邊緣：

計(jì)算縱向邊緣的傾斜角，并選取傾斜角度較為相似的角度求平均值θ，對(duì)圖像進(jìn)行旋轉(zhuǎn)：

式中：（x0，y0）為原始圖像I中的坐標(biāo)；旋轉(zhuǎn)后的圖像記為IR，（x，y）則為旋轉(zhuǎn)后圖像IR中的坐標(biāo)。旋轉(zhuǎn)和裁剪后的結(jié)果圖像見(jiàn)圖4。

圖4 旋轉(zhuǎn)和裁剪后的結(jié)果圖像

2.2 基于深度神經(jīng)網(wǎng)絡(luò)的異物檢測(cè)模型

在對(duì)圖像進(jìn)行預(yù)處理后，從含異物的圖像中對(duì)異物進(jìn)行檢測(cè)，收集后續(xù)深度學(xué)習(xí)模型所需的通用訓(xùn)練樣本。現(xiàn)以鳥(niǎo)巢目標(biāo)為例進(jìn)行詳細(xì)闡述。為保證模型精度，收集的鳥(niǎo)巢包括完整鳥(niǎo)巢、雛形鳥(niǎo)巢以及不同角度、不同位置的鳥(niǎo)巢（見(jiàn)圖5）。

在收集訓(xùn)練樣本后，可將從圖像中檢測(cè)異物的問(wèn)題轉(zhuǎn)化為經(jīng)典的目標(biāo)檢測(cè)問(wèn)題。在此將異物作為待檢測(cè)目標(biāo)，設(shè)計(jì)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型和算法，從2C圖像中檢測(cè)異物。將2C圖像以及對(duì)應(yīng)的邊框信息作為輸入信息訓(xùn)練1個(gè)快速檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)。異物檢測(cè)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)見(jiàn)圖6。

該網(wǎng)絡(luò)首先用多層卷積、非線性映射和池化層對(duì)2C圖像進(jìn)行處理，自動(dòng)得到圖像深度特征，再根據(jù)異物檢測(cè)訓(xùn)練區(qū)域提名回歸網(wǎng)絡(luò)得到候選區(qū)域，最后利用3層的全連接層和Softmax回歸對(duì)提取區(qū)域進(jìn)行分類并檢測(cè)區(qū)域邊界。由于接觸網(wǎng)背景比較復(fù)雜，如果只將異物作為一個(gè)類別，其他正常區(qū)域作為另一個(gè)類別，背景中很多與鳥(niǎo)巢結(jié)構(gòu)較為相似的樹(shù)枝和接觸網(wǎng)電線都會(huì)被誤檢出來(lái)，導(dǎo)致檢測(cè)結(jié)果的虛警率非常高。粗檢測(cè)結(jié)果見(jiàn)圖7，從圖中可以看到檢測(cè)結(jié)果中出現(xiàn)虛警目標(biāo)。為此，在粗檢測(cè)基礎(chǔ)上進(jìn)行改進(jìn)，收集錯(cuò)誤檢測(cè)區(qū)域，并將其作為除異物和正常區(qū)域之外的第3類目標(biāo)，重新訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，得到精檢測(cè)的異物檢測(cè)模型。精檢測(cè)結(jié)果見(jiàn)圖8，可以看出虛警目標(biāo)得到了有效控制。

圖5 訓(xùn)練樣本中的各種通用鳥(niǎo)巢圖像

圖6 異物檢測(cè)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)

圖7 粗檢測(cè)結(jié)果

圖8 精檢測(cè)結(jié)果

2.3 算法步驟

（1）接觸網(wǎng)異物檢測(cè)模型訓(xùn)練過(guò)程包括如下步驟：①輸入歷史2C圖像；②利用1.1中步驟對(duì)2C圖像進(jìn)行預(yù)處理；③對(duì)預(yù)處理后的2C圖像中的異物進(jìn)行檢測(cè)，收集訓(xùn)練樣本；④訓(xùn)練粗檢測(cè)深度神經(jīng)網(wǎng)絡(luò)；⑤對(duì)歷史2C圖像進(jìn)行異物檢測(cè)，收集虛警樣本；⑥將虛警樣本加入原始訓(xùn)練樣本中，訓(xùn)練精檢測(cè)深度神經(jīng)網(wǎng)絡(luò)；⑦保存訓(xùn)練參數(shù)，得到異物檢測(cè)模型。

（2）接觸網(wǎng)異物檢測(cè)方法的檢測(cè)過(guò)程包括如下步驟：①輸入剛采集的2C圖像；②利用1.1中步驟對(duì)2C圖像進(jìn)行預(yù)處理；③將預(yù)處理后的2C圖像作為異物檢測(cè)模型的輸入；④根據(jù)異物檢測(cè)模型輸出的類別和位置信息檢測(cè)異物。

3 試驗(yàn)驗(yàn)證

為驗(yàn)證該方法，從上海局集團(tuán)公司南京供電段采集的實(shí)際2C圖像中選取1 000張進(jìn)行測(cè)試。其中200張圖像含異物，800張圖像不含異物。在試驗(yàn)中，預(yù)處理中的閾值τ選取50，形態(tài)學(xué)操作的結(jié)構(gòu)元素B選取5×5的方形結(jié)構(gòu)。深度神經(jīng)網(wǎng)絡(luò)中的卷積神經(jīng)網(wǎng)絡(luò)部分采用13層卷積層、13層非線性映射層和4層池化層。區(qū)域提名網(wǎng)絡(luò)先進(jìn)行3×3的卷積，然后做2次全卷積，再用softmax 損失函數(shù)和平滑L1損失函數(shù)探測(cè)分類概率和邊框回歸。

2C圖像鳥(niǎo)巢檢測(cè)結(jié)果見(jiàn)圖9，其中第1行是待檢測(cè)圖像，第2行是粗檢測(cè)結(jié)果，第3行是精檢測(cè)結(jié)果。從圖中可以看出，該方法的粗檢測(cè)結(jié)果可以較好地檢測(cè)出2C圖像中各種類型的異物，但背景中有些與異物特征較為相似的區(qū)域也被檢測(cè)出來(lái)。經(jīng)過(guò)精檢測(cè)后，虛警部分被有效剔除，其檢測(cè)結(jié)果更加準(zhǔn)確。

圖9 2C圖像鳥(niǎo)巢檢測(cè)結(jié)果

具體的異物檢測(cè)數(shù)據(jù)見(jiàn)表1，結(jié)果表明，該方法可以從2C圖像中有效地得到異物所在區(qū)域，并且通過(guò)精檢測(cè)可有效去除虛警，進(jìn)一步提升其魯棒性、通用性以及實(shí)用性。

表1 測(cè)試集的異物檢測(cè)數(shù)據(jù)

4 結(jié)束語(yǔ)

針對(duì)高鐵接觸網(wǎng)異物檢測(cè)問(wèn)題，基于人工智能和深度學(xué)習(xí)理論，提出高鐵接觸網(wǎng)異物自動(dòng)化智能檢測(cè)方法。該方法在對(duì)2C圖像進(jìn)行預(yù)處理的基礎(chǔ)上，設(shè)計(jì)基于深度神經(jīng)網(wǎng)絡(luò)的異物檢測(cè)模型和算法，并通過(guò)預(yù)訓(xùn)練和重訓(xùn)練進(jìn)行模型優(yōu)化，實(shí)現(xiàn)了穩(wěn)健、可靠、精準(zhǔn)的高鐵接觸網(wǎng)安全異常檢測(cè)。對(duì)實(shí)際2C圖像的試驗(yàn)測(cè)試精度達(dá)96.5%，有效滿足了高鐵接觸網(wǎng)的安全檢測(cè)需求，具有廣闊的應(yīng)用前景。后續(xù)工作將考慮在已提出的深度學(xué)習(xí)網(wǎng)絡(luò)中加入注意力機(jī)制，以進(jìn)一步提高檢測(cè)精度。