基于深度學(xué)習(xí)的鐵路列車關(guān)鍵零部件圖像故障檢測

李萍，吳斌方，劉默耘,3，張楊,2，林凱，孫國棟

(1.湖北工業(yè)大學(xué) 機械工程學(xué)院，湖北 武漢430068；2.南京大學(xué) 計算機科學(xué)與技術(shù)系，江蘇 南京210023；3.華中科技大學(xué) 機械科學(xué)與工程學(xué)院，湖北 武漢430074)

近年來，我國鐵路領(lǐng)域飛速發(fā)展，鐵路運輸作為物流與交通行業(yè)重要組成部分，在國民經(jīng)濟中處于中流砥柱的地位，隨之而來的鐵路交通安全問題也備受矚目。長期以來，列車的車輛故障往往都是由列檢人員來完成，存在著檢測準確率低，效率低等諸多弊端[1-2]。隨著計算機技術(shù)和人工智能理論的飛速發(fā)展，基于機器學(xué)習(xí)的自動故障檢測系統(tǒng)已逐漸取代傳統(tǒng)的人工方法[3]。由于列車中常見的故障主要是由微小零部件的破損和位置變化引起的，因而正常和故障圖像之間的差異并不明顯，這明顯增加了故障視覺檢測的難度。其次，由于故障的多樣性和復(fù)雜性，常規(guī)方法很難實現(xiàn)對列車圖像快速而準確的故障檢測。對此，學(xué)者們對相關(guān)內(nèi)容進行了深入研究。例如：孫國棟等[4]提出一種基于多特征融合和BP-AdaBoost 的自動故障識別算法，用于安全鏈鎖緊螺栓和集塵器的故障檢測。LIU 等[5]提出一種分層故障檢測算法框架，可以快速、準確地實現(xiàn)軸承端蓋檢測，故障區(qū)域定位和擋鍵檢測。趙大興等[6]提出一種基于有向線段重構(gòu)輪廓與成對幾何直方圖的圖像匹配算法。但這些算法多是針對某一類甚至單個零件，通用性不強，難以滿足實際檢測的需求。目前，基于深度學(xué)習(xí)方法，尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)在機器視覺領(lǐng)域中取得了較為顯著的成功，在目標(biāo)檢測的任務(wù)中，基于區(qū)域的CNN[7]，如Faster R-CNN(FRCNN)[8]和基于區(qū)域的全卷積網(wǎng)絡(luò)(R-FCN)[9]是目前準確率越來越高的主要范例。而具體到列車圖像故障檢測任務(wù)，SUN 等[10]提出基于CNN 的列車典型故障識別系統(tǒng)，有效解決了低質(zhì)量圖像的故障識別問題。但該系統(tǒng)是由2 個復(fù)雜CNN組成，該方法的可移植性和通用性不足，難以滿足實際檢測的要求。為解決上述列車圖像故障檢測中遇到的實際問題，提出一個包含故障區(qū)域提議網(wǎng)絡(luò)[8]和故障檢測的算法，用以實現(xiàn)高效、快速的列車圖像故障檢測。該框架首先提出故障區(qū)域復(fù)合提議網(wǎng)絡(luò)，以生成高質(zhì)量的故障候選區(qū)域。隨后，利用線性非極大值抑制[11]來刪除冗余的故障候選區(qū)域。最后，引入多尺度的故障檢測網(wǎng)絡(luò)來實現(xiàn)快速而準確的故障檢測。實驗結(jié)果表明，該方法檢測正確率高，檢測速度快，能有效地應(yīng)用于列車圖像故障檢測中。

圖1 列車圖像視覺檢測樣本Fig.1 Visual inspection samples of freight train images

1 列車圖像故障檢測

如圖1所示，列車轉(zhuǎn)向與空氣制動系統(tǒng)包含許多重要部件，如：折角塞門、截斷塞門、安全鏈螺栓、擋鍵和集塵器，其性能和穩(wěn)定性直接關(guān)系到列車運行安全[12]。與利用傳統(tǒng)機器學(xué)習(xí)技術(shù)進行目標(biāo)檢測相比，深度學(xué)習(xí)的引入可以處理更加復(fù)雜的問題，因為其特征的提取和表示是從大量的數(shù)據(jù)中學(xué)習(xí)的。卷積神經(jīng)網(wǎng)絡(luò)(CNN)使用多層結(jié)構(gòu)，利用卷積核提取輸入圖像的特征，并對所得到的特征進行一系列的處理，最終自動發(fā)現(xiàn)檢測所需的通用特征。列車圖像故障檢測統(tǒng)一框架如圖2所示，本文主要提出2 種新型的神經(jīng)網(wǎng)絡(luò)模塊：1)故障區(qū)域復(fù)合提議網(wǎng)絡(luò)，該模塊將錨點(anchor)在多尺度卷積層上進行特征提取，避免了丟失淺層卷積層潛在的有用信息；2)故障多尺度檢測網(wǎng)絡(luò)，該模塊將多尺度特征進行拼接，使得收集利用的特征信息更加全面。

1.1 故障區(qū)域復(fù)合提議網(wǎng)絡(luò)

一般來說，較淺的卷積層和較深的卷積層可以通過上采樣高階特征映射來互補。以這種方式，小的anchor 仍然能夠捕捉到淺層中的重要細節(jié)。而在以前的工作中，所有anchor 都選自同一卷積層中，因此忽略了小的錨點。為此，針對性地提出一個新的故障區(qū)域復(fù)合提議網(wǎng)絡(luò)(multi-region proposal generation，MRPN)，在多尺度的卷積層上進行滑動提取一系列的anchor 當(dāng)作候選的故障區(qū)域。

受卷積神經(jīng)網(wǎng)絡(luò)中的子采樣和池化操作的影響，這些特征映射都是不同分辨率的。為了在VGG16 模型[13]中以相同的分辨率組合多層次的特征映射，針對不同的卷積層設(shè)計不同的采樣策略：本文在淺層(Conv3_3)上添加了2 個2×2 大小的最大值池化(MP)，對于中間層(Conv4_3)，添加一個2×2 最大值池化進行二次采樣；然后，采用1×1卷積層分別提取3 個卷積層(Conv3_3，Conv4_3 和Conv5_3)的局部特征；最后，將上述3 個特征映射聯(lián)合在一起。如圖2所示，圖中上半部簡要描述了MRPN 的結(jié)構(gòu)，其具有以下優(yōu)點：1)在故障檢測任務(wù)中，深、中、淺的卷積層特征是互補的；2)所有局部特征都可以在MRPN 和多尺度檢測網(wǎng)絡(luò)之前預(yù)先計算好，無需引入多余的計算。

圖2 列車圖像故障檢測框架Fig.2 Fault detection framework of freight train images

接著，使用3×3 卷積層將上述聯(lián)合特征映射編碼成512 維的特征向量。3×3 的卷積層運算不僅能夠提取出更多的語義特征，而且將聯(lián)合特征映射壓縮成統(tǒng)一大小。最后，對512 維聯(lián)合特征向量進行運算，并有2 個輸出層：一個預(yù)測故障區(qū)域得分的分類層和一個細化每一種先驗包圍盒位置的回歸層。此外，本文中的先驗包圍盒于類似Faster RCNN[8]中定義的anchor，它包含3 個尺度(128，256，512)和3 個縱橫比(0.5，1，2)，每個滑動位置上對應(yīng)k＝9 個anchor。

1.2 故障多尺度檢測網(wǎng)絡(luò)

目前，性能較優(yōu)的目標(biāo)檢測模型，如Faster RCNN[8]和R-FCN[9]，都只是簡單地將RoI 池化應(yīng)用在最后的卷積層上。然而，為了更好地利用多層次卷積特征并豐富每個anchor 的信息，本文對VGG16 上的Conv3_3，Conv4_3 和Conv5_3 卷積層進行合并，得到2 個512 維的H×W池化特征(H和W在本文中設(shè)置為7)。

接著，把每個池化特征聯(lián)合在一起，并用512維的1×1 卷積層編碼聯(lián)合特征，將多層次池化特征合并，且與VGG16 的第1 個完全連接層相匹配。上述1×1 卷積層能夠聯(lián)合多層次池化特征，在學(xué)習(xí)訓(xùn)練過程中進行權(quán)重融合，并減小維度用以匹配VGG16 的第1 個完全連接層。然后，將多層次加權(quán)融合特征傳遞到后續(xù)故障區(qū)域分類和回歸模型中。如圖2的下半部分簡要描述了故障多尺度檢測網(wǎng)絡(luò)。

上述MRPN 和故障檢測網(wǎng)絡(luò)都有2 個輸出層：1 個分類層和1 個回歸層。它們之間的差異如下：1)對于MRPN，每個先驗包圍盒獨立地參數(shù)化，所以需要同時預(yù)測所有k＝9 個先驗包圍盒。分類層輸出2k置信度，評估每個提議區(qū)域是故障或非故障的概率，而回歸層輸出4k值，為包圍盒的回歸偏移。2)故障檢測網(wǎng)絡(luò)，對應(yīng)于背景、故障的2 個輸出置信度和每個故障區(qū)域的回歸偏移。在此過程中，執(zhí)行最小化多任務(wù)損失函數(shù)與文獻[11]一致。

為了將MRPN 和多尺度檢測網(wǎng)絡(luò)相結(jié)合，通過反向傳播和隨機梯度下降(SGD)以端到端的方式進行訓(xùn)練。預(yù)訓(xùn)練模型是一個在ImageNet[14]預(yù)先訓(xùn)練的VGG16 模型。訓(xùn)練時所有卷積層的權(quán)重被初始化為零均值和0.01 的高斯分布標(biāo)準偏差，基本學(xué)習(xí)率為0.001，訓(xùn)練使用的動量為0.9，0.000 5 的權(quán)值衰減，檢測階段的置信度為0.9。

2 實驗與分析

為了驗證該故障檢測算法的有效性，首先，簡要介紹用于實驗的數(shù)據(jù)庫和性能評價指標(biāo)；然后，將目前主流的目標(biāo)檢測算法特別是深度學(xué)習(xí)算法與本文提出的算法進行檢測精度和檢測速度的對比分析。實驗環(huán)境如下：Ubuntu 16.04 操作系統(tǒng)，CPU 為Intel Core i7-7700@3.60 GHz，內(nèi)存16 G，以及單張K40 的GPU。所有實驗均在Caffe[15]進行。

2.1 數(shù)據(jù)庫與評價指標(biāo)

為驗證算法的有效性，實驗所用的數(shù)據(jù)庫包含4 種故障檢測數(shù)據(jù)集：截斷塞門，集塵器，安全鏈螺栓和擋鍵。數(shù)據(jù)庫中圖像樣本數(shù)量見表1所示。所有圖像的大小為700×512 像素，每個訓(xùn)練集圖像都根據(jù)PASCAL VOC 數(shù)據(jù)集[16]的格式進行標(biāo)記。如圖1(a)所示，截斷塞門和集塵器是列車空氣制動系統(tǒng)的重要部件，其技術(shù)狀態(tài)的良好和性能的穩(wěn)定，是保證列車安全運行的主要環(huán)節(jié)。如圖1(b)所示，制動梁安全鏈是列車制動系統(tǒng)中的關(guān)鍵零部件。從機械故障角度分析，制動梁安全鏈脫落屬于非剛性機械結(jié)構(gòu)形成的故障，脫落后的狀態(tài)很難用簡單而又精確的特征模型去描述，成為故障檢測的首要難點。列車一般具有大約400 個轉(zhuǎn)向架擋鍵，是列車中應(yīng)用最廣泛的部件之一。如圖1(c)所示，擋鍵只占圖像很小一部分，其主要功能是保持車輪組不與轉(zhuǎn)向架相碰。實際上，利用機器視覺來檢測小部件的狀態(tài)(故障或非故障)是一項非常困難的工作。

表1 實驗所用的數(shù)據(jù)庫Table1 Databases using in the experiments

為了進一步驗證故障檢測算法的有效性，建立4 個評價指標(biāo)[2,12]：故障正確檢測率(Correct detection rate，CDR)，故障漏檢率(Missing detection rate，MDR)，故障誤檢率(False detection rate，F(xiàn)DR)和檢測速度。例如，測試集包含m個正樣本和n個負樣本，通過故障檢測算法得到：在n個負樣本中，x個圖像被檢錯(檢測結(jié)果為無故障)；在m個正樣本中，y個圖像被檢錯(檢測結(jié)果有故障)。因此，上述指標(biāo)可以定義為：MDR=x/(m+n)，F(xiàn)DR=y/(m+n)，CDR=1-MDR-FDR。通常，在列車圖像故障檢測中，指標(biāo)MDR 比FDR 更重要，這是由于非故障區(qū)域被錯檢為故障對列檢的影響并不嚴重。

2.2 算法性能分析

為了驗證和分析算法的檢測性能，將本文提出的算法與目前主流故障檢測算法特別是深度學(xué)習(xí)算法進行對比，如：基于局部二進制(LBP)特征的故障級聯(lián)檢測器[12]，基于HOG 特征的Adaboost 與線性SVM 故障檢測器[17]，基于快速自適應(yīng)馬爾科夫隨機場與精確高度函數(shù)(FAMRF+EHF)的層次特征匹配算法[10]，基于VGG16 模型的SSD(Single shot multi-box detector)算法[18]，基于ResNet50 網(wǎng)絡(luò)模型的R-FCN 算法[9]，基于不同網(wǎng)絡(luò)模型(ZF，VGGM和VGG16)的Faster R-CNN[8]，基于R-FCN 與soft NMS 以及Faster R-CNN 與soft NMS 聯(lián)合算法[11]。以上算法均使用表1中所述的列車圖像進行訓(xùn)練和測試，深度學(xué)習(xí)算法SSD，RFCN，F(xiàn)aster R-CNN，R-FCN+soft NMS，和Faster R-CNN+soft NMS 均借助單張K40 GPU 完成訓(xùn)練和測試。上述所有方法均調(diào)至最優(yōu)，故障檢測結(jié)果見表2。

表2 列車圖像故障檢測結(jié)果對比Table 2 Comparison results of fault detection for freight train image

對于集塵器，本算法具有98.54%的CDR，0%的MDR 和1.41%的FDR。對于安全鏈螺栓，該方法具有100%的CDR，0%的MDR 和FDR。對于擋鍵，本算法具有99.90%的CDR，0.10%的MDR 和0%的FDR。在上述3 個數(shù)據(jù)庫中，本文所提出的方法均優(yōu)于其他相關(guān)方法。對于截斷塞門，本算法的檢測性能稍遜于其他方法，但所提出的方法具有較低的FDR。利用本算法進行故障檢測的檢測結(jié)果如圖3所示。

對于擋鍵，基于區(qū)域CNN(R-CNN)的方法尤其是Faster RCNN，其FDR 較高的主要原因是：擋鍵的面積太小，無法與列車上的其他部件進行比較。對于傳統(tǒng)的Faster RCNN，是在最終特征映射層上執(zhí)行采樣，以生成故障區(qū)域提議。然而，這樣的采樣方式可能忽略一些重要的特征[19]。本文提出的方法使用MRPN 和多尺度RoI 池化，能讓網(wǎng)絡(luò)學(xué)習(xí)到更有效和更全面的特征，用以區(qū)分復(fù)雜的背景和故障。

2.3 算法檢測速度比較

表3列出了上述方法的檢測速度。對于一張大小為700×512 像素的列車圖像，本文提出的方法檢測速度為0.246 s。表3中基于局部二進制(LBP)特征的級聯(lián)檢測器和HOG+AdaBoost＋SVM 方法的故障檢測速度較快，但這2 種方法的檢測精度最低。而FAMFR+EHF 方法的精度較高，但是由于馬爾可夫隨機場的計算復(fù)雜度較高，其檢測速度太低。此外，SSD 和R-FCN 算法的性能與本文所提出的方法相媲美。但SSD 和R-FCN 算法對噪聲敏感，其誤檢率較高。

本文提出的故障檢測算法具有精度高、速度快等特點，其主要原因是：首先，MRPN 能夠?qū)崿F(xiàn)更為準確的故障區(qū)域提議；其次，使用線性NMS 算法能夠篩選出最合適的anchors，并去除冗余；最后，將多尺度RoI 池化應(yīng)用到故障檢測網(wǎng)絡(luò)中，有助于網(wǎng)絡(luò)學(xué)習(xí)到更為有效的故障特征。

圖3 列車圖像故障檢測結(jié)果示意圖Fig.3 Fault detection results of freight train images

表3 列車圖像故障檢測速度比較Table 3 Testing speed of fault detection for freight train images

4 結(jié)論

1)列車圖像故障檢測算法中，MRPN 能夠?qū)崿F(xiàn)更為準確的故障區(qū)域提議，同時，使用線性NMS算法能夠篩選出最合適的錨點；將多尺度RoI 池化應(yīng)用到故障檢測網(wǎng)絡(luò)中，能使網(wǎng)絡(luò)學(xué)習(xí)到更為有效的故障特征，提升算法的檢測精度。

2)對于集塵器，98.54%的CDR，0%的MDR和1.41%的FDR。對于安全鏈螺栓，該方法具有100%的CDR，0%的MDR 和FDR。對于擋鍵，本算法具有99.90%的CDR，0.10%的MDR 和0%的FDR。檢測精度均優(yōu)于其他相關(guān)方法。對于截斷塞門，本算法具有較低的FDR。

3)本文提出的方法對于一張大小為700×512像素的列車圖像，檢測速度為0.246 s，檢測速度快。