基于YOLO v3級聯(lián)網(wǎng)絡(luò)和集成學(xué)習(xí)的高鐵接觸網(wǎng)開口銷缺失識別

賴志強(qiáng)

摘? 要：針對高速鐵路接觸網(wǎng)支持裝置和定位裝置的開口銷釘缺失識別問題，提出了一種基于YOLO v3級聯(lián)網(wǎng)絡(luò)和集成學(xué)習(xí)的故障識別方法。首先利用YOLO v3級聯(lián)網(wǎng)絡(luò)對接觸網(wǎng)支持裝置和定位裝置中開口銷進(jìn)行精確定位，然后集成多個(gè)弱分類器，實(shí)現(xiàn)對開口銷缺失情況的識別。實(shí)驗(yàn)結(jié)果表明，本文方法能準(zhǔn)確高效地識別接觸網(wǎng)開口銷的缺失故障。

關(guān)鍵詞：YOLO v3; 高鐵接觸網(wǎng); 開口銷釘缺失; 集成學(xué)習(xí)

引言

開口銷是接觸網(wǎng)最重要的連接零件之一[1]。由于服役于露天環(huán)境，且長期處于弓網(wǎng)作用中，開口銷容易發(fā)生脫落等故障，進(jìn)而使受流質(zhì)量劣化，甚至出現(xiàn)打弓等事故[2]。因此，定期對開口銷進(jìn)行檢測，及時(shí)排查開口銷的脫落故障，并采取相應(yīng)的維修措施，是保障牽引供電系統(tǒng)可靠運(yùn)行的重要環(huán)節(jié)。

作為高速鐵路牽引供電6C系統(tǒng)[3]的重要組成部分，接觸網(wǎng)懸掛狀態(tài)檢測監(jiān)測裝置（4C）通過安裝在接觸網(wǎng)檢測車頂部的高清攝像頭獲取接觸網(wǎng)圖像，并基于圖像識別技術(shù)實(shí)現(xiàn)對接觸網(wǎng)關(guān)鍵零部件狀態(tài)的高效檢測。基于4C系統(tǒng)，國內(nèi)對開口銷的缺失故障識別進(jìn)行了大量的研究。文獻(xiàn)[4]采用SIFT和算法實(shí)現(xiàn)旋轉(zhuǎn)雙耳的定位，再依次通過水平投影和垂直投影實(shí)現(xiàn)雙耳銷釘定位和狀態(tài)識別;文獻(xiàn)[5]先使用Hough直線檢測定位斜腕臂，隨后根據(jù)開口銷相對于斜腕臂的實(shí)際分布，采用Hough圓檢測精確定位雙耳、短斜撐上下端等連接處的開口銷，最后比較各處銷釘相對螺母的形態(tài)實(shí)現(xiàn)開口銷狀態(tài)的檢測。以上算法將待檢測開口銷的幾何特征與正常開口銷進(jìn)行比對，完成開口銷的狀態(tài)識別，這些方法適用于背景簡單、特征突出的圖像的檢測，而實(shí)際4C系統(tǒng)存在光源衰耗、檢測車輛振動等干擾，裝置的成像質(zhì)量無法穩(wěn)定，且鐵路沿線地形多變，4C圖像的背景也往往十分復(fù)雜，僅依靠淺層特征識別的魯棒性難以保障。

深度學(xué)習(xí)以自動提取特征的優(yōu)點(diǎn)在圖像分類、目標(biāo)檢測、語音識別等領(lǐng)域得到了大量的應(yīng)用。本文提出一種基于YOLO v3[6]級聯(lián)網(wǎng)絡(luò)和集成學(xué)習(xí)[7]的開口銷缺失識別方法：首先通過YOLO v3網(wǎng)絡(luò)對旋轉(zhuǎn)雙耳、短斜撐上下端、腕臂底座等開口銷所在部位進(jìn)行定位;然后基于上述定位結(jié)果，再次使用YOLO v3實(shí)現(xiàn)對開口銷釘?shù)木_定位;隨之采用多個(gè)不同分類器對待測開口銷的狀態(tài)進(jìn)行分類，最后集成所有分類結(jié)果完成對開口銷狀態(tài)缺失狀態(tài)的識別。

1 開口銷定位

1.1 YOLO v3網(wǎng)絡(luò)簡介

YOLO v3采用Darknet53作為特征提取網(wǎng)絡(luò)，同時(shí)，借鑒了FPN網(wǎng)絡(luò)的思想，在前向預(yù)測時(shí)通過上采樣融合淺層和深層特征圖，并在13×13、26×26和52×52三種特征尺度進(jìn)行預(yù)測，針對每種尺度，設(shè)置了三種目標(biāo)框，則對應(yīng)S×S尺寸的輸出特征層，最終的輸出維度為S×S×3×（4+1+C），其中C為網(wǎng)絡(luò)檢測的目標(biāo)類別數(shù)。

YOLO v3網(wǎng)絡(luò)損失函數(shù)定義如下：

式中，S為輸出特征圖大小;當(dāng)目標(biāo)位于第i個(gè)像素的第j個(gè)邊框時(shí)，=1，反之=0;當(dāng)?shù)趇個(gè)像素的第j個(gè)邊框中無目標(biāo)時(shí)，=1，反之=0;為坐標(biāo)系數(shù)，為背景置信度系數(shù)，classes為類別集合;（x，y）和分別為修正后的預(yù)測邊框中心坐標(biāo)和實(shí)際邊框中心坐標(biāo);（w， h）和分別為修正后的預(yù)測邊框長寬和實(shí)際邊框長寬;C和為預(yù)測邊框置信度和實(shí)際邊框置信度;和為預(yù)測類別概率和實(shí)際類別概率。

1.2基于YOLO v3的開口銷定位

4C圖像中開口銷的尺寸較小，直接對其進(jìn)行定位，容易遺漏。故本文采用兩個(gè)YOLO v3網(wǎng)絡(luò)級聯(lián)的結(jié)構(gòu)，先定位開口銷所在部位，以此再對開口銷進(jìn)行精確定位。

使用YOLO v3網(wǎng)絡(luò)需要先對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。由于接觸網(wǎng)樣本有限，為避免過擬合的情況發(fā)生，采用遷移學(xué)習(xí)的方法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。以訓(xùn)練定位開口銷所在部件的模型為例，具體流程如下：

步驟1 令網(wǎng)絡(luò)目標(biāo)類別的類別數(shù)為7，即開口銷所在旋轉(zhuǎn)雙耳、定位管支撐、腕臂支撐上下端、絕緣子上下底座等區(qū)域，并使用在ImageNet數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)參數(shù)初始化網(wǎng)絡(luò);

步驟2 使用標(biāo)注的接觸網(wǎng)數(shù)據(jù)對初始化后的網(wǎng)絡(luò)進(jìn)行微調(diào)，通過反向傳播算法最小化式（1），經(jīng)過多次迭代計(jì)算收斂至設(shè)定較小值，即可結(jié)束訓(xùn)練。

訓(xùn)練完成后，使用網(wǎng)絡(luò)對開口銷所在的7個(gè)部位進(jìn)行檢測。基于YOLO v3的檢測流程如下：

步驟1 將待檢測接觸網(wǎng)圖像縮放至416416像素，使用上述網(wǎng)絡(luò)進(jìn)行前向計(jì)算。網(wǎng)絡(luò)最終輸出旋轉(zhuǎn)雙耳、定位管支撐、腕臂支撐上下端、絕緣子上下底座等區(qū)域的邊框、相應(yīng)的邊框置信度以及類別;

步驟2 基于上述輸出結(jié)果，使用非極大值抑制即可實(shí)現(xiàn)旋轉(zhuǎn)雙耳等開口銷所在部件的定位。

對上述定位獲得的區(qū)域中的開口銷進(jìn)行標(biāo)注，并按照上述訓(xùn)練過程訓(xùn)練定位開口銷的網(wǎng)絡(luò)模型。訓(xùn)練完成后，將第一步定位結(jié)果作為輸入，重復(fù)上述檢測過程即可實(shí)現(xiàn)開口銷位置的檢測。

2開口銷缺失識別

基于上述過程獲得的開口銷的精確位置，可進(jìn)一步判斷開口銷缺失情況。由于開口銷姿態(tài)多樣，手工特征難以準(zhǔn)確描述所有角度的狀態(tài)，需要通過圖像語義進(jìn)行判別，而實(shí)際缺失的開口銷樣本較少，直接訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)挖掘語義信息容易過擬合，故本文提出一種基于集成學(xué)習(xí)的開口銷缺失識別方法，該方法先采用MobileNet網(wǎng)絡(luò)、HOG算子和Gabor算子對精確定位后的開口銷區(qū)域進(jìn)行特征提取，隨后各由一個(gè)線性SVM進(jìn)行分類，最后綜合所有分類器的判斷結(jié)果，得出開口銷的缺失情況。集成學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.1MobileNet網(wǎng)絡(luò)簡介

MobileNet[12]的基礎(chǔ)單元為可分離卷積，可分離卷積由深度卷積和點(diǎn)卷積構(gòu)成。深度卷積不同于標(biāo)準(zhǔn)卷積，其每個(gè)卷積核對應(yīng)一個(gè)輸入的特征通道，由此實(shí)現(xiàn)了卷積運(yùn)算時(shí)的特征通道解耦。點(diǎn)卷積則是通道大小為1×1的標(biāo)準(zhǔn)卷積。標(biāo)準(zhǔn)卷積與可分離卷積的區(qū)別如圖2所示。

圖中，K表示卷積核的大小，M表示輸入特征圖的通道數(shù)量，N表示輸出特征圖的通道數(shù)量。不難看出，當(dāng)輸入和輸出的特征圖大小相同時(shí)，可分離卷積的運(yùn)算量為標(biāo)準(zhǔn)卷積的1/N+1/K2，由此極大地降低了計(jì)算復(fù)雜度，減少了模型的體積。

2.2基于集成學(xué)習(xí)的開口銷缺失識別

在使用集成學(xué)習(xí)分類器對開口銷的缺失狀態(tài)進(jìn)行判別前，需要先對其進(jìn)行訓(xùn)練。集成分類器的具體實(shí)現(xiàn)過程如下：

（1）制作基于MobileNet網(wǎng)絡(luò)的特征提取算子。本文使用的MobileNet為28層分類網(wǎng)絡(luò)，為簡化訓(xùn)練過程，同時(shí)降低過擬合風(fēng)險(xiǎn)，先在ImageNet進(jìn)行預(yù)訓(xùn)練，網(wǎng)絡(luò)收斂后去掉尾部的Softmax層，將剩下的網(wǎng)絡(luò)作為特征提取算子;

（2）訓(xùn)練多個(gè)分類器。將數(shù)據(jù)集分為三部分：訓(xùn)練集、驗(yàn)證集和測試集。在測試集上，采用HOG算子、Gabor算子和MobileNet網(wǎng)絡(luò)分別提取開口銷的特征，用以訓(xùn)練線性SVM，訓(xùn)練直至收斂;

（3）分類器集成。采用Blending[13]結(jié)合算法，在驗(yàn)證集上，將上述訓(xùn)練后的多個(gè)分類器的分類結(jié)果作為輸入數(shù)據(jù)集，進(jìn)一步訓(xùn)練分類器的權(quán)重參數(shù)，由此實(shí)現(xiàn)集成分類器的訓(xùn)練。

基于上述集成分類器，可得每個(gè)待測開口銷區(qū)域的缺失情況的預(yù)測結(jié)果CL，若CL>0.5，則判定開口銷缺失，否則，開口銷正常。

3 實(shí)驗(yàn)

采用4C系統(tǒng)獲取的接觸網(wǎng)支持裝置、定位裝置、懸掛裝置圖像驗(yàn)證本文所述定位方法和識別方法的有效性。采用python語言進(jìn)行編程，使用的深度學(xué)習(xí)平臺為pytorch，模型的訓(xùn)練平臺為Intel Core i9-9900X和NVDIA GTX2080Ti。

3.1定位實(shí)驗(yàn)

在4C圖像庫中隨機(jī)抽取2000張，標(biāo)注開口銷存在的旋轉(zhuǎn)雙耳、定位管支撐、腕臂支撐上下端、絕緣子上下底座等7處位置，隨后將樣本劃分為訓(xùn)練集和測試集，各1000張，訓(xùn)練集用以訓(xùn)練初步定位所需的YOLO v3網(wǎng)絡(luò)。先采用ImageNet進(jìn)行預(yù)訓(xùn)練，隨后采用4C數(shù)據(jù)進(jìn)行微調(diào)訓(xùn)練，迭代次數(shù)設(shè)為7000次。網(wǎng)絡(luò)訓(xùn)練完畢后，使用測試集數(shù)據(jù)進(jìn)行測試。定位的效果用交并比（Intersection over Union， IoU）來衡量，交并比定義如下：

由于初步定位僅要求不漏掉開口銷的區(qū)域，故即可。初步定位的結(jié)果如圖3所示。

在初步定位的區(qū)域中標(biāo)注開口銷，按照同樣的方法訓(xùn)練另一個(gè)YOLO v3網(wǎng)絡(luò)，以精確定位開口銷。訓(xùn)練完畢后，將上述測試集定位的區(qū)域作為輸入用以驗(yàn)證網(wǎng)絡(luò)的準(zhǔn)確率。實(shí)驗(yàn)時(shí)，當(dāng)時(shí)，則認(rèn)為定位成功，否則認(rèn)為定位失敗。開口銷精確定位的結(jié)果如圖4所示。

為驗(yàn)證本文所述兩次YOLO v3網(wǎng)絡(luò)的性能，將之與直接使用YOLO v3網(wǎng)絡(luò)檢測的結(jié)果、常用機(jī)器學(xué)習(xí)檢測算法以及其它主流的基于深度學(xué)習(xí)的目標(biāo)檢測算法的檢測結(jié)果進(jìn)行對比，所有算法輸入的圖像尺寸均為416416像素。定位成功的判別條件同上，則各算法定位開口銷的準(zhǔn)確率如表1所示。

從表中可以看出，對于開口銷的檢測，采用級聯(lián)分類器能顯著提升定位的準(zhǔn)確率，同時(shí)，基于深度神經(jīng)網(wǎng)絡(luò)的算法檢測效果明顯優(yōu)于傳統(tǒng)手工特征結(jié)合SVM分類器的檢測效果，在上述幾種主流的深度學(xué)習(xí)檢測算法中， Faster R-CNN[14]級聯(lián)網(wǎng)絡(luò)的準(zhǔn)確率最高，但檢測速度最慢，相較而言，的YOLO v3級聯(lián)網(wǎng)絡(luò)兼顧較高的準(zhǔn)確率和檢測速度，更適用于開口銷的定位。

3.2開口銷釘缺失識別實(shí)驗(yàn)

通過上一步開口銷釘定位實(shí)驗(yàn)，獲得開口銷釘圖像各5448，其中正常開口銷圖像5383張，缺失圖像僅65張，為便于訓(xùn)練，通過鏡像、圖像增強(qiáng)等方法將缺失圖像擴(kuò)充至200張。隨后將開口銷正常和缺失樣本進(jìn)行劃分，其中，訓(xùn)練集、驗(yàn)證集和測試集分別占總數(shù)據(jù)集的1/2、1/4和1/4。再依據(jù)2.2節(jié)訓(xùn)練集成分類器并進(jìn)行測試。為準(zhǔn)確表明開口銷缺失識別的準(zhǔn)確率和誤檢率，采用召回率和精確率來衡量識別結(jié)果。召回率和精確率的定義如下：

其中，P為精確率，R為召回率;TP為故障樣本被預(yù)測為故障樣本的數(shù)目;FP為正常樣本被預(yù)測為故障樣本的數(shù)目;FN為故障樣本被預(yù)測為正常樣本的數(shù)目。

為驗(yàn)證集成分類器的識別效果，將之與單一分類器的識別結(jié)果進(jìn)行比較。則各分類器的識別結(jié)果如表2所示。

從識別結(jié)果可以看出，集成分類器的分類能力最強(qiáng)，其召回率和精確率均在90%以上，MobileNet網(wǎng)絡(luò)結(jié)合SVM的效果次之，好于手工特征結(jié)合SVM的分類效果。結(jié)果表明通過遷移在大數(shù)據(jù)集中訓(xùn)練得到的參數(shù)，然后使用少量的故障數(shù)據(jù)微調(diào)得到的深度神經(jīng)網(wǎng)絡(luò)即具有良好的泛化能力。此外，由多個(gè)分類器構(gòu)成的集成分類器，較之單一分類器分類效果有顯著的提升。

4 結(jié)論

本文對高速鐵路接觸網(wǎng)支持裝置和定位裝置的開口銷釘缺失識別問題，進(jìn)行了深入研究，提出了一種基于YOLO v3級聯(lián)網(wǎng)絡(luò)和集成學(xué)習(xí)的故障識別方法。該方法首先利用YOLO v3級聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)了對接觸網(wǎng)支持裝置和定位裝置中開口銷的精度定位，然后通過手工特征算子和預(yù)訓(xùn)練的MobileNet網(wǎng)絡(luò)提取開口銷釘圖像的特征，最終由多個(gè)SVM弱分類器構(gòu)成的集成分類器實(shí)現(xiàn)開口銷的缺失識別。實(shí)驗(yàn)結(jié)果表明，本文方法能準(zhǔn)確高效地識別接觸網(wǎng)開口銷的缺失故障，具有一定的工程應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 于萬聚. 高速電氣化鐵路接觸網(wǎng)[M]. 成都：西南交通大學(xué)出版社， 2003.

[2] 李德勝. 接觸網(wǎng)系統(tǒng)對高速鐵路行車安全的影響[J]. 中國鐵路，2 011， （02）： 34-37.

[3] 高速鐵路供電安全檢測監(jiān)測系統(tǒng)（6C系統(tǒng)）總體技術(shù)規(guī)范[S]. 2012.

[4] 鐘俊平， 劉志剛， 張桂南， 韓志偉. 高鐵接觸網(wǎng)旋轉(zhuǎn)雙耳銷釘狀態(tài)檢測方法研究[J]. 鐵道學(xué)報(bào)， 2017， 39（06）：65-71.

[5] 鐘俊平， 劉志剛， 陳雋文， 韓志偉. 高鐵接觸網(wǎng)懸掛裝置開口銷不良狀態(tài)檢測方法研究[J]. 鐵道學(xué)報(bào)， 2018， 40（06）：51-59.

[6] Joseph Redmon， Ali Farhadi. YOLOv3： An Incremental Improvement[J/OL].arXiv.2018-4-8.https：//arxiv.org/abs/1804.02767.

[7] Sun Y ， Tang K ， Minku L L ， et al. Online Ensemble Learning of Data Streams with Gradually Evolved Classes[J]. IEEE Transactions on Knowledge and Data Engineering， 2019， 28（6）：1532-1545.

[8] Howard A G ， Zhu M ， Chen B ， et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.