基于機(jī)器視覺的高速鐵路吊弦斷裂與松弛故障監(jiān)測

劉世望，胡云卿，林 軍

（中車株洲電力機(jī)車研究所有限公司，湖南 株洲 412001）

0 引言

高速鐵路接觸網(wǎng)系統(tǒng)（overhead contact system,OCS）主要由接觸線和支撐結(jié)構(gòu)組成，負(fù)責(zé)將電能從變電站傳輸?shù)搅熊?，是牽引供電系統(tǒng)必不可少的部分。列車通過受電弓和接觸線之間的滑動(dòng)接觸獲得電力。支撐結(jié)構(gòu)使接觸線保持在一定的垂直高度位置，從而可與受電弓平穩(wěn)地保持滑動(dòng)接觸，以確保穩(wěn)定的電源供應(yīng)。吊弦是支撐結(jié)構(gòu)的重要組成部分，其故障（如斷裂和松弛）會(huì)影響供電質(zhì)量。目前，在鐵路運(yùn)營過程中，仍然采用人工方法檢測吊弦、查找故障，這種檢測方式效率低下且危險(xiǎn)。因此，有必要自動(dòng)監(jiān)控吊弦狀態(tài)，及時(shí)發(fā)現(xiàn)斷裂和松弛故障，以指導(dǎo)維護(hù)工作，確保列車安全。

學(xué)者們已在OCS自動(dòng)監(jiān)測領(lǐng)域進(jìn)行了大量研究。非接觸式視覺檢測方法是當(dāng)前該領(lǐng)域的主流研究方向，其主要分為基于傳統(tǒng)圖像處理技術(shù)和基于深度學(xué)習(xí)技術(shù)兩類，近年來已取得了顯著成果。文獻(xiàn)[1]提出一種基于雙目視覺模塊的OCS幾何參數(shù)檢測方法，其減少了車輛振動(dòng)引起的檢測誤差。文獻(xiàn)[2]將最大穩(wěn)定的末端區(qū)域方法應(yīng)用于軌道表面的缺陷檢測。文獻(xiàn)[3]首先使用角點(diǎn)匹配方法來提取絕緣子輪廓，然后再使用頻譜聚類法來判斷絕緣子故障。文獻(xiàn)[4]基于吊弦的先驗(yàn)知識(shí)來獲得吊弦的位置信息，并使用多層感知器對(duì)吊弦的故障進(jìn)行分類?；趥鹘y(tǒng)圖像處理的視覺檢查方法雖然已被廣泛用于OCS自動(dòng)檢測領(lǐng)域[5-7]，但由于難以解決復(fù)雜場景中的視覺檢測問題，檢測效果不佳。文獻(xiàn)[8]基于信道注意模塊（channel-wise attention module, CAM）構(gòu)建了一個(gè)D3-Net，其由一個(gè)定位流和一個(gè)分類流組成。CAM獲得的更具區(qū)分性的功能可以更好地處理類別的微小差異。在吊弦定位和故障分類方面，該方法優(yōu)于傳統(tǒng)的檢測方法。文獻(xiàn)[9]提出了一種多算法融合方法，并用Faster R-CNN算法定位吊弦，確定了吊弦的斷裂和松弛狀態(tài)；然后利用邊緣擬合和彎曲縮放算法、霍夫變換算法實(shí)現(xiàn)對(duì)吊弦鏈松動(dòng)、斷裂等故障狀態(tài)的檢測。文獻(xiàn)[10]提出了一種基于深度可分離卷積的吊弦故障檢測方法，其是一種由受電弓、吊弦定位網(wǎng)絡(luò)(dropper progressive location network, DPLN)和吊弦故障識(shí)別網(wǎng)絡(luò)( dropper fault recognition network, DFRN)組成的兩級(jí)網(wǎng)絡(luò)（DPLN+DFRN）。基于深度學(xué)習(xí)的視覺檢測已逐漸取代了傳統(tǒng)的圖像處理方法，并在OCS自動(dòng)檢測領(lǐng)域取得了較好的效果[11-13]。但是，上述方法的檢測過程和網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，或者實(shí)驗(yàn)測試圖像過于理想化，沒有涵蓋各類場景。

目前，吊弦故障檢測主要通過人工檢查方法完成，而隨著視覺技術(shù)發(fā)展，近年來自動(dòng)化檢測成為主要研究趨勢。有兩種典型的深度學(xué)習(xí)模型，一種是基于區(qū)域提名的目標(biāo)檢測算法（Faster R-CNN）[14-16]，另一種是基于回歸的算法（YOLO v3）[17-18]，這兩種方法在實(shí)時(shí)性能和準(zhǔn)確性上各具優(yōu)勢。根據(jù)以上分析，現(xiàn)有方法無法處理復(fù)雜的場景，或者網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜，無法端到端地獲得結(jié)果；同時(shí)，故障樣本和正常樣本的數(shù)量非常不平衡，這使得網(wǎng)絡(luò)難以很好地分類。因此，本文提出了一種端到端的吊弦斷裂和松弛故障監(jiān)測方法，其根據(jù)吊弦的先驗(yàn)知識(shí)確定了用于吊弦故障檢測的候選區(qū)域，基于特征金字塔網(wǎng)絡(luò)和Mobilenet設(shè)計(jì)了端到端吊弦故障檢測網(wǎng)絡(luò)，并針對(duì)不平衡吊弦故障樣本與正常樣本的不平衡情況提出了數(shù)據(jù)增強(qiáng)和梯度協(xié)調(diào)兩種訓(xùn)練策略。

1 吊弦斷裂與松弛故障檢測

OCS由工業(yè)相機(jī)模塊執(zhí)行監(jiān)測。OCS在線監(jiān)視設(shè)備（OCS online monitor, OOM）獲取圖像后，通過車輛或地面計(jì)算平臺(tái)分析OCS的狀態(tài)。OCS、受電弓和OOM之間的關(guān)系如圖1所示。OOM和受電弓的相對(duì)位置是固定的，而受電弓則保持與接觸線的滑動(dòng)接觸。

1.1 吊弦的先驗(yàn)知識(shí)以及其檢測候選區(qū)域

根據(jù)高速鐵路供電安全檢測和監(jiān)視系統(tǒng)（6C系統(tǒng)）的一般技術(shù)規(guī)范[19]，OOM設(shè)備和受電弓的相對(duì)位置是已知的，并且保持不變；同時(shí)，接觸線始終在受電弓的接觸范圍內(nèi)，并且吊弦垂直連接到接觸線（圖1）。因此，在OOM獲得的圖像中，可以對(duì)處于候選區(qū)域的吊弦圖像進(jìn)行分析。 OCS圖像的寬度和高度分別用W和H表示，圖像用紅色虛線等距隔開?？梢园l(fā)現(xiàn)，吊弦圖像位于紅色實(shí)線框內(nèi)，因此選擇紅色實(shí)線框的圖像作為吊弦故障檢測的候選區(qū)域。本文隨機(jī)選取1 000張OCS圖像進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)99.8%的吊弦位于紅色實(shí)線框區(qū)域。對(duì)于受電弓升弓和降弓這兩種不同的運(yùn)行工況，候選區(qū)域選擇方法也是有效的，兩種受電弓的運(yùn)行條件如圖2所示。

圖2 吊弦候選區(qū)域選擇示意Fig. 2 Dropper candidate region selection

1.2 吊弦故障檢測網(wǎng)絡(luò)

吊弦的斷裂和松弛是本文要檢測的故障。在獲得吊弦候選區(qū)域之后，設(shè)計(jì)了一個(gè)端到端的吊弦故障檢測網(wǎng)絡(luò)(dropper fault detection network, DFDN)，以精確定位吊弦并識(shí)別故障（圖3）。DFDN中引用了YOLO v3的網(wǎng)絡(luò)結(jié)構(gòu)，其中包含兩層特征金字塔網(wǎng)絡(luò)進(jìn)行多尺度預(yù)測。Mobilenet v3[20]中引入的bneckblock結(jié)構(gòu)、壓縮激勵(lì)結(jié)構(gòu)和深度可分離卷積在吊弦特征提取網(wǎng)絡(luò)的構(gòu)建中也得到了引用。吊弦故障檢測步驟如下：

圖3 吊弦故障檢測網(wǎng)絡(luò)示意Fig. 3 Dropper fault detection network

（1）將吊弦候選區(qū)域的圖像大小調(diào)整為416×416×3。這是網(wǎng)絡(luò)的輸入大小，盡管這會(huì)使吊弦略微變形，但對(duì)檢測結(jié)果的影響很小。

（2）將修改后的圖像輸入到吊弦特征提取網(wǎng)絡(luò)，并通過卷積層、池化層和激活層等操作提取深層圖像特征。

（3）將特征金字塔算法用于融合多層圖像特征以獲得多個(gè)預(yù)測模塊。通常，淺層特征更有利于吊弦定位，而深層特征更有利于故障識(shí)別。

（4）假設(shè)預(yù)測模塊的大小為G×G×B（其中，G×G代表預(yù)測網(wǎng)格的數(shù)量，B代表模塊深度）。每個(gè)網(wǎng)格對(duì)應(yīng)于3個(gè)錨框，包含吊弦坐標(biāo)信息、吊弦置信度和兩個(gè)故障類別的概率。

基于錨框的坐標(biāo)，吊弦置信度和類別信息，可以根據(jù)式(1)～式(5)獲得預(yù)測的吊弦位置、置信度和類別。

式中：(bx,by)——預(yù)測框的中心坐標(biāo)；bw和bh——預(yù)測框的寬度和高度；σ——Sigmoid函數(shù)；(cx,cy)——網(wǎng)格的左上角坐標(biāo)；pw和ph——候選錨框的寬度和高度；z(b)和z(s)——softmax函數(shù)中斷裂和松弛狀態(tài)的輸入值；Pbk——吊弦斷裂的概率；Psk——吊弦松弛的概率；Pr(d)——對(duì)應(yīng)于網(wǎng)格中吊弦的概率；IoU(b,d)——預(yù)測框與真實(shí)框的交并比；Pr(d)*IoU(b,d)——前景概率；to——前景概率系數(shù)；tx和ty——網(wǎng)絡(luò)預(yù)測中心點(diǎn)坐標(biāo)；tw和th——寬度和高度預(yù)測偏移系數(shù)。

在吊弦圖像特征提取網(wǎng)絡(luò)中，采用壓縮激勵(lì)（SE）結(jié)構(gòu)和深度可分離卷積的目的是為了提高網(wǎng)絡(luò)的實(shí)時(shí)性并避免由于網(wǎng)絡(luò)加深而導(dǎo)致的梯度消失等問題。該網(wǎng)絡(luò)采用了兩種激活函數(shù)，即H-Swish（HS）和ReLU6（RE），以增加網(wǎng)絡(luò)的非線性擬合能力。吊弦圖像特征提取網(wǎng)絡(luò)的參數(shù)如表1所示，其中S表示網(wǎng)絡(luò)步長，NL表示激活函數(shù)，Bneck block即圖3中的BneckB。

表1 吊弦圖像特征提取網(wǎng)絡(luò)參數(shù)Tab. 1 Dropper feature extraction network parameters

1.3 吊弦樣本不平衡的訓(xùn)練策略

由于吊弦故障樣本的數(shù)量比正常樣本少，導(dǎo)致分類器學(xué)習(xí)大量的正常特征而忽略故障特征，這將給故障分類任務(wù)帶來巨大的困難。因此，本文提出了兩種策略來解決樣本不平衡的問題：

（1）策略一，數(shù)據(jù)增強(qiáng)。通過對(duì)正常吊弦樣本進(jìn)行欠采樣、對(duì)故障樣本進(jìn)行過采樣并手動(dòng)生成更多故障樣本來進(jìn)行數(shù)據(jù)增強(qiáng)。該策略是通過增加故障樣本的數(shù)量并減少正常樣本的數(shù)量來平衡訓(xùn)練數(shù)據(jù)。

（2）策略二，梯度協(xié)調(diào)。利用梯度協(xié)調(diào)損失函數(shù)作為吊弦故障檢測網(wǎng)絡(luò)的損失。從梯度的角度來看，單個(gè)樣本所貢獻(xiàn)的梯度很小，但因正常樣本的數(shù)量很大，正常樣本所貢獻(xiàn)的總梯度要比故障樣本的大得多，因此網(wǎng)絡(luò)不會(huì)很好地了解故障樣本的特征。通過協(xié)調(diào)正常樣本和故障樣本的梯度貢獻(xiàn)，可以克服樣本不平衡訓(xùn)練的困難。

在對(duì)吊弦進(jìn)行故障監(jiān)測時(shí)，將吊弦狀態(tài)分為正常、斷裂和松弛3類。在圖像分類任務(wù)中，交叉熵(cross entropy, CE)損失函數(shù)是經(jīng)典的方法。在吊弦故障監(jiān)測任務(wù)中的CE損失函數(shù)如下：

每個(gè)梯度間隔對(duì)應(yīng)損失函數(shù)的權(quán)重值GD(g)為

其中：

式中：δε(kg,g)——確定樣本是否屬于該梯度間隔的函數(shù)；lε(g)——梯度間隔的長度；g——梯度分割值；gk——樣本貢獻(xiàn)的梯度值；ε——分段長度；N——樣本總數(shù)。

令目標(biāo)位置權(quán)重λcoord=5，目標(biāo)不存在的權(quán)重λnoobj=0.5，目標(biāo)存在權(quán)重λobj=1， 目標(biāo)類別權(quán)重λcls=1?？梢酝ㄟ^將損失權(quán)重值GD(g)來獲得網(wǎng)絡(luò)的分類損失(L3)； 同時(shí)，利用中心點(diǎn)、寬度和高度的誤差來計(jì)算網(wǎng)絡(luò)的定位損失函數(shù)L1，利用有對(duì)象和無對(duì)象的置信誤差來計(jì)算置信損失函數(shù)L2；網(wǎng)絡(luò)總損失函數(shù)為Ltotal。

式中：x,y表示目標(biāo)框的中心點(diǎn)坐標(biāo)；w,h表示目標(biāo)框的寬度和高度；上標(biāo)“?”用于表示期望值。

2 吊弦斷裂與松弛檢測實(shí)驗(yàn)

為驗(yàn)證本文所提檢測方法的有效性，開展了吊弦斷裂和松弛故障檢測實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境描述如下：用于算法測試的人工智能計(jì)算平臺(tái)為NVIDIA JetsonTX2，其包含256核NVIDIA Pascal GPU；用于網(wǎng)絡(luò)訓(xùn)練的計(jì)算平臺(tái)為NVIDIA Tesla V100，其包含NVIDIA Volta GPU。通過OOM設(shè)備采集實(shí)驗(yàn)圖像，包括443個(gè)斷裂樣本和461個(gè)松弛樣本，圖像尺寸為1536×2048。根據(jù)樣本不平衡訓(xùn)練策略，對(duì)樣本進(jìn)行了平衡處理，建立了包括10 000個(gè)正常樣本、2 215個(gè)斷裂樣本和2 305個(gè)松弛樣本的吊弦故障檢測數(shù)據(jù)集，如表2所示。根據(jù)吊弦檢測候選區(qū)域選擇方法，獲得了尺寸為682×768×3的候選區(qū)域圖像，即訓(xùn)練圖像。在網(wǎng)絡(luò)訓(xùn)練過程中，圖像大小被調(diào)整為416×416×3，然后輸入到吊弦故障檢測網(wǎng)絡(luò)DFDN中。

表2 實(shí)驗(yàn)數(shù)據(jù)集Tab. 2 Experimental data-set

本文采用平均精度均值（mean average precision,MAP）來評(píng)估檢測網(wǎng)絡(luò)的準(zhǔn)確性，并通過測量實(shí)驗(yàn)中每個(gè)圖像的平均處理時(shí)間來評(píng)估其實(shí)時(shí)性能。MAP的計(jì)算過程如下：

式中：TP——由網(wǎng)絡(luò)預(yù)測為正確的正確樣本數(shù)量；FP——由網(wǎng)絡(luò)預(yù)測為正確的錯(cuò)誤樣本數(shù)量；FN——由網(wǎng)絡(luò)預(yù)測為錯(cuò)誤的正確樣本數(shù)量；R——召回率；P——準(zhǔn)確率；PMA——平均精度均值，即MAP。

圖4 訓(xùn)練過程可視化Fig. 4 Visualization of training process

在網(wǎng)絡(luò)訓(xùn)練過程中，本文采用遺傳算法進(jìn)行超參數(shù)優(yōu)化，其策略是先設(shè)置優(yōu)化范圍，然后隨機(jī)初始化參數(shù)，訓(xùn)練并保存參數(shù)優(yōu)化結(jié)果。在每一代的訓(xùn)練中，隨機(jī)選取一組參數(shù)作為Top-k最佳超級(jí)參數(shù)，然后變異，再次訓(xùn)練，重復(fù)100次，得到最佳參數(shù)。本文對(duì)初始學(xué)習(xí)率(lr0)、周期學(xué)習(xí)率(lrf)、梯度下降加速動(dòng)量(momentum)、權(quán)重衰減系數(shù)(weight_decay)、框損失系數(shù)(box)、分類損失系數(shù)（cls）、目標(biāo)置信系數(shù)（obj）、圖像平移系數(shù)（translate）和馬賽克系數(shù)（mosaic）等9個(gè)超參數(shù)進(jìn)行優(yōu)化，結(jié)果如圖5所示。

圖5 模型超參數(shù)優(yōu)化結(jié)果Fig. 5 Model hyper-parameter optimization results

動(dòng)態(tài)可調(diào)的學(xué)習(xí)率已被應(yīng)用于網(wǎng)絡(luò)訓(xùn)練過程。每個(gè)訓(xùn)練批次的樣本數(shù)量為32，并且訓(xùn)練了大約10 000個(gè)批次。圖4示出訓(xùn)練過程中的損失和IoU曲線。可以看出，該曲線是在1 000批次之后繪制的，因?yàn)樵谇? 000批次中，損失非常大且IoU很??；在5 000批次之后，該曲線趨于穩(wěn)定；約8 000批次后，訓(xùn)練效果得到進(jìn)一步提升。

將經(jīng)典的目標(biāo)檢測算法梯度直方圖(histogram of oriented gradients, HOG)[7]與YOLO v3, YOLO v5[21],Faster R-CNN, DFDN進(jìn)行了比較；同時(shí)，將DFDN與吊弦故障檢測算法“DPLN + DFRN”[10]進(jìn)行了比較，結(jié)果如表3所示?？梢钥闯?，DFDN擁有與YOLO V5相媲美的檢測精度，同時(shí)實(shí)時(shí)性最佳。

表3 檢測方法對(duì)比實(shí)驗(yàn)結(jié)果Tab. 3 Experimental result comparison of detection methods

3 結(jié)語

為了實(shí)現(xiàn)便捷、準(zhǔn)確的吊弦斷裂和松弛故障監(jiān)測，本文提出了一種端到端的監(jiān)測算法。它基于OCS-OOM受電弓的先驗(yàn)知識(shí)，獲得了用于吊弦故障檢測的候選區(qū)域，并使用由bneck-block結(jié)構(gòu)、壓縮激勵(lì)結(jié)構(gòu)和深度可分離卷積組成的骨干網(wǎng)絡(luò)來提取吊弦圖像的特征；然后，使用吊弦故障檢測網(wǎng)絡(luò)對(duì)吊弦進(jìn)行定位和識(shí)別，并采取了兩種策略來克服正常樣品和故障樣品的不平衡。該方法彌補(bǔ)了現(xiàn)有算法復(fù)雜、實(shí)時(shí)性差的缺點(diǎn)，提高了檢測精度和監(jiān)測實(shí)時(shí)性能，能較好地完成吊弦斷裂和松弛檢測任務(wù)。由于接觸網(wǎng)圖像背景變化復(fù)雜且目前故障樣本較缺乏，單純使用深度學(xué)習(xí)模型來提升吊弦故障檢測精度十分困難，后續(xù)將結(jié)合霍夫變換及聚類算法來進(jìn)一步優(yōu)化吊弦故障檢測模型。