復(fù)雜環(huán)境下弓網(wǎng)接觸位置動(dòng)態(tài)監(jiān)測方法研究

張喬木，鐘倩文，孫 明，羅文成，柴曉冬

(1.上海工程技術(shù)大學(xué) 城市軌道交通學(xué)院，上海201620；2.上海申通地鐵維護(hù)保障公司 供電分公司，上海200031；3.常州路航軌道交通科技有限公司，江蘇 常州213164)

高速列車在區(qū)段的運(yùn)行過程中，可能會(huì)出現(xiàn)受電弓弓網(wǎng)放電、受電弓跌落、受電弓部件脫落、碳滑板磨耗、接觸點(diǎn)位置異常等問題。對(duì)受電弓及接觸網(wǎng)進(jìn)行視頻監(jiān)測能有效保障列車行車安全。目前對(duì)于受電弓的監(jiān)測主要是非車載系統(tǒng)。非車載系統(tǒng)只能在列車通過檢查地點(diǎn)時(shí)進(jìn)行瞬時(shí)檢測，實(shí)時(shí)性較差。在受電弓檢測方面，對(duì)受電弓與接觸網(wǎng)的接觸點(diǎn)的監(jiān)測研究取得了一定的進(jìn)展，但列車運(yùn)行中環(huán)境復(fù)雜且多變，因此在復(fù)雜環(huán)境下達(dá)到有效的監(jiān)測變得尤為重要。

目前對(duì)受電弓的監(jiān)測主要包括：(1)采用紅外熱成像技術(shù)監(jiān)測弓網(wǎng)接觸點(diǎn)發(fā)熱情況；(2)運(yùn)用力學(xué)傳感器來監(jiān)測受電弓運(yùn)動(dòng)過程中的受力狀態(tài)；(3)采用雙目測量技術(shù)以及圖像處理的方法監(jiān)測受電弓的磨損狀況。文獻(xiàn)[1]運(yùn)用Harr檢測原理，通過增大滑窗來增大接觸點(diǎn)火花檢測實(shí)時(shí)性。文獻(xiàn)[2]通過一次標(biāo)定靶平面，采用單目相機(jī)與線激光器來進(jìn)行磨耗檢測。文獻(xiàn)[3]利用圖像采集模塊采集滑板磨耗圖像和裂紋圖像，對(duì)其用改進(jìn)的Canny算法提取滑板磨耗邊緣，并計(jì)算裂紋長度，繪制磨耗曲線。文獻(xiàn)[4]用圖像二值化法區(qū)分弧光與背景，并用改進(jìn)的Canny算子檢測弧光邊緣，得到了燃弧重心橫坐標(biāo)，達(dá)到識(shí)別燃弧的目的。文獻(xiàn)[5]對(duì)單目紅外圖像中的弓網(wǎng)接觸線、點(diǎn)的檢測與跟蹤算法進(jìn)行了深入研究，提出了接觸線和碳滑板的特征增強(qiáng)方法，解決了接觸線被定位器拉折時(shí)直線檢測不準(zhǔn)確的問題。文獻(xiàn)[6]對(duì)受電弓脫落、羊角缺失等追蹤進(jìn)行研究，引入了一種檢測機(jī)制對(duì)KCF(Kernel Correlation Filter)追蹤算法進(jìn)行矯正，并取得了良好的檢測效果。

本文針對(duì)復(fù)雜環(huán)境下對(duì)受電弓與接觸線的接觸點(diǎn)進(jìn)行識(shí)別監(jiān)測的問題，提出一種復(fù)雜環(huán)境下弓網(wǎng)接觸位置動(dòng)態(tài)監(jiān)測方法。本文通過對(duì)高速列車采集到的視頻數(shù)據(jù)進(jìn)行幀間差運(yùn)算得到圖片數(shù)據(jù)；然后，為了加強(qiáng)復(fù)雜環(huán)境下接觸點(diǎn)特征，通過PSPNet(Pyramid Scene Parsing Network)語義分割構(gòu)建新特征數(shù)據(jù)集；最后，通過優(yōu)化YOLOv4(You Only Look Once)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，得到檢測模型，以此權(quán)重模型對(duì)受電弓與接觸網(wǎng)的接觸位置進(jìn)行跟蹤，達(dá)到監(jiān)測的目的。

1 受電弓視頻數(shù)據(jù)預(yù)處理

弓網(wǎng)位置動(dòng)態(tài)實(shí)時(shí)監(jiān)測算法的流程圖如圖1所示。本文通過幀間差提取視頻中的圖像，并通過PSPNet網(wǎng)絡(luò)進(jìn)行語義分割，構(gòu)建特征數(shù)據(jù)集，然后利用優(yōu)化的YOLOv4網(wǎng)絡(luò)訓(xùn)練對(duì)目標(biāo)進(jìn)行識(shí)別、定位。

圖1 算法流程框圖Figure 1. Block diagram of algorithm

為了構(gòu)建受電弓數(shù)據(jù)集，對(duì)受電弓視頻圖像做特征幀提取。在視頻圖像空間域中提取視頻的每一幀圖像，并采用等量幀間差運(yùn)算來提取出受電弓視頻圖像[7]，如圖2所示。

圖2 幀間差提取受電弓圖像Figure 2. Extraction of pantograph images by frame difference

將RGB空間轉(zhuǎn)換到HSV空間，并通過H、S、V構(gòu)造綜合分量[8]

G=HQsQv+SQv+V

(1)

綜合分量G的各值在圖像中像素的直方圖為

Hi=(hi1，hi2，…，hik)T

(2)

Hj=(hj1，hj2，…，hjk)T

(3)

直方圖幀間差為式(4)。

(4)

在列車高速運(yùn)行情況下采集受電弓視頻圖像。然后，通過空間分量幀提取方法[9]，可從不同區(qū)間列車運(yùn)行的視頻中分離出3 000張背景良好，且包含支柱架或橋洞的弓網(wǎng)圖像，如圖3所示。

圖3 視頻圖像幀提取效果圖Figure 3. Video image frame extraction renderings

2 基于PSPNet網(wǎng)絡(luò)受電弓與接觸網(wǎng)語義分割

基于深度學(xué)習(xí)的圖像分割算法主要分為兩種：一種是基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)特征編碼對(duì)目標(biāo)圖片進(jìn)行特征提取的框架[9]；另一種是基于全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)的上采樣與反卷積分割框架。前者在卷積和池化過程中易丟失圖像細(xì)節(jié)，且采用全連接層獲取類別概率的方式不能標(biāo)識(shí)每個(gè)像素類別，因此無法做到精確分割。后者在CNN基礎(chǔ)上把全連接層改為卷積層，在多次池化操作前加入了上采樣，雖然解決了精確分割問題，但邊緣提取效果不佳[10]。

目前，基于FCN模型的主要問題是缺乏合適的策略來利用全局場景中的類別線索[11]。運(yùn)行列車動(dòng)態(tài)視頻的弓網(wǎng)目標(biāo)較小，通過局部和全局線索的共同作用可提高預(yù)測準(zhǔn)確率。

以原始數(shù)據(jù)集圖像中的受電弓和接觸網(wǎng)為前景，其余的為背景。在前景中，接觸網(wǎng)的電線是很小的物體且易與支柱架和橋洞混為一體，而受電弓在圖像中是相對(duì)固定區(qū)域。分割圖像前，需要給圖像中的每個(gè)像素標(biāo)定一個(gè)類別標(biāo)簽。通過對(duì)圖像中的動(dòng)態(tài)對(duì)象分割，實(shí)現(xiàn)逐像素分類。由于受電弓接觸線具有單一的直線型結(jié)構(gòu)，使得其對(duì)大片連續(xù)區(qū)域的對(duì)象在語義理解上有所不足。PSPNet通過對(duì)不同區(qū)域的上下文進(jìn)行聚合，提升了網(wǎng)絡(luò)提取全局特征信息的能力，能夠完成有效分割。PSPNet模型的結(jié)構(gòu)如圖4所示。

圖4 PSPNet模型結(jié)構(gòu)(a)輸入 (b)特征圖 (c)金字塔池化模塊 (d)輸出Figure 4. PSPNet model structure(a)Input (b)Feature map (c)Pyramid pooling module (d)Output

PSPNet主要結(jié)構(gòu)可分為特征提取模塊、金字塔池化模塊和輸出模塊。在PSPNet中，使用ResNet提取圖像特征。ResNet具有較大的深度，能有效地提取圖像深層特征[12]。在進(jìn)行卷積操作時(shí)，通過卷積核權(quán)值共享減少網(wǎng)絡(luò)中參數(shù)，防止過卷積操作的計(jì)算式為

(5)

ReLU為激活函數(shù)，其計(jì)算式為

rectifier(x)=max{0，x}

(6)

池化操作為

(7)

其中，H×W為池化核大小。

通過使用不同窗口大小的池化操作，得到不同尺寸的輸出，然后縮放到相同的尺寸，再進(jìn)行特征融合。

對(duì)于原始特征圖，所通過的池化大小分別為1×1、2×2、3×3、6×6。然后分別使用1×1卷積調(diào)整通道數(shù)至1/N(N為池化層個(gè)數(shù)，本網(wǎng)絡(luò)為4)。然后將這些特征圖通過雙線性插值的方法完成上采樣。再將這些池化特征圖和原始的特征圖(跳躍連接)全部concat(特征融合的方式，即通道數(shù)合并)起來，得到最終輸出的特征圖。concat的作用是防止因?yàn)槌鼗蜕喜蓸觼G失過多的接觸網(wǎng)和受電弓的細(xì)節(jié)信息。通過上述處理，最終可以得到分割的預(yù)測結(jié)果。

PSPNet提取受電弓前景的過程如圖5所示：首先輸入鐵路受電弓的原始圖像；經(jīng)過一系列的卷積池化后，提取4種尺度的金字塔特征；經(jīng)過特征融合，最后輸出受電弓的前景部分。目標(biāo)分割速度能穩(wěn)定達(dá)到42 fps，可滿足正常高鐵運(yùn)行的實(shí)時(shí)分割要求。

圖5 語義分割后的弓網(wǎng)圖像Figure 5. The image of the bow net after semantic segmentation

3 視頻圖像弓網(wǎng)接觸位置識(shí)別

3.1 YOLOv4結(jié)構(gòu)

YOLOv4屬于one-stage檢測算法。檢測時(shí)，首先將待測圖片分割成n×n的網(wǎng)格，每個(gè)網(wǎng)格負(fù)責(zé)不同的區(qū)域。當(dāng)待檢測目標(biāo)的中心落在某個(gè)網(wǎng)格中，則由該網(wǎng)格完成對(duì)目標(biāo)的檢測[13]。YOLOv4的主干網(wǎng)絡(luò)CSPDarknet53(Cross Stage Partial Darknet53)是算法的核心。YOLOv4在上一個(gè)YOLO版本上，對(duì)每個(gè)殘差塊網(wǎng)絡(luò)增加CSP結(jié)構(gòu)，將其特征映射劃分為兩部分，再通不同階段層次結(jié)構(gòu)合并來提高準(zhǔn)確率。YOLOv4的激活函數(shù)是比ReLU計(jì)算量更大的Mish函數(shù)，這種改變可提高目標(biāo)檢測的準(zhǔn)確率。

在特征金字塔結(jié)構(gòu)部分，YOLOv4構(gòu)建了SPP(Spatial Pyramid Pooling)結(jié)構(gòu)和PANet(Path Aggregation Network)結(jié)構(gòu)。SPP結(jié)構(gòu)可對(duì)特征層P5輸出的特征圖經(jīng)過卷積后的結(jié)果進(jìn)行最大池化。池化過程中共使用4種不同尺度的池化層進(jìn)行處理，其池化核大小分別為1×1、5×5、9×9、13×13。SPP結(jié)構(gòu)可有效增加感受野，便于分離出顯著的上下文特征。PANet結(jié)構(gòu)是由卷積操、上采樣、下采樣、跨層的特征層融合構(gòu)成的循環(huán)金字塔結(jié)構(gòu)。在YOLOv4的網(wǎng)絡(luò)結(jié)構(gòu)中，PANet可實(shí)現(xiàn)高層特征與底層特征信息融合，達(dá)到提高小目標(biāo)檢測物的檢測精度的目的。最后，對(duì)每個(gè)特征層的3個(gè)先驗(yàn)框進(jìn)行判別，判斷是否包含目標(biāo)及目標(biāo)種類，并進(jìn)行非極大抑制處理和先驗(yàn)框調(diào)整，從而得到最終的預(yù)測框。YOLOv4的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)Figure 6. YOLOv4 network structure

YOLOv4網(wǎng)絡(luò)的損失函數(shù)為

(8)

其損失函數(shù)由回歸框預(yù)測誤差、置信度誤差、分類誤差組成。

對(duì)于回歸框預(yù)測

(9)

(10)

式中，a為度量trade-off的參數(shù)；ν度量長寬比的相似性；gt表示ground truth；wgt為真實(shí)框?qū)挾?；hgt為真實(shí)框高度；w為預(yù)測框?qū)挾?；h為預(yù)測框高度。當(dāng)真實(shí)框和預(yù)測框的寬高相似，則ν為0，該懲罰項(xiàng)就不起作用。所以這個(gè)懲罰項(xiàng)的作用就是控制預(yù)測框的寬高，使預(yù)測框?qū)捀吣軌虮M可能快速接近真實(shí)框的寬高。

ρ2(Actr，Bctr)為預(yù)測框與真實(shí)框中心點(diǎn)的歐式距離。參數(shù)ρ2(Actr，Bctr)/m2通過最小化兩個(gè)檢測框中心點(diǎn)的標(biāo)準(zhǔn)化距離， 加速損失的收斂過程。

3.2 YOLOv4算法改進(jìn)

3.2.1 K-means聚類

原始YOLOv4算法的先驗(yàn)框是在VOC數(shù)據(jù)集的標(biāo)注上進(jìn)行聚類得到的。由于VOC數(shù)據(jù)集包含的目標(biāo)多樣，目標(biāo)的長寬比例不同，其先驗(yàn)框的大小也不同[15]。對(duì)于受電弓與接觸網(wǎng)的接觸點(diǎn)位置檢測而言，接觸點(diǎn)特征在不同幀基本一致，因此無法直接使用原模型的先驗(yàn)框。通過K-means算法對(duì)語義分割后的數(shù)據(jù)集標(biāo)注框聚類能起到較好的效果，因此本文用K-means算法來獲取與接觸點(diǎn)特征比例相匹配的基準(zhǔn)框。本文對(duì)數(shù)據(jù)進(jìn)行迭代，得到聚類中心[15]，并用聚類中心與標(biāo)簽的交并比IOU(1，c)作為聚類的相似度參數(shù)來代替歐式距離以減少誤差。聚類距離計(jì)算式如下所示[16]。

dIoU=1-IOU(1，c)

(11)

3.2.2 改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)

在YOLOv4的基礎(chǔ)上，對(duì)其結(jié)構(gòu)進(jìn)行了優(yōu)化，使其更加適用于受電弓圖視頻識(shí)別。YOLOv4算法使用CSPDarknet53作為主干特征提取網(wǎng)絡(luò)，并輸出3個(gè)不同大小的特征層[17]。特征層P3、P4、P5的寬和高分別為原始輸入尺寸的1/8、1/16、1/32。特征層P3和P4分別經(jīng)過一次1×1的卷積操作后進(jìn)入PANet結(jié)構(gòu)中進(jìn)行特征融合。特征層P5經(jīng)過1×1、3×3、1×1的3次卷積操作后進(jìn)入SPP結(jié)構(gòu)中進(jìn)行最大池化。這些操作在一定程度上可對(duì)受電弓與接觸網(wǎng)特征進(jìn)行提取，但由于區(qū)段上的接觸網(wǎng)線較多，且支柱架與受電弓特征比較相近，若直接使用原始YOLOv4算法進(jìn)行訓(xùn)練與檢測，則無法獲得理想的檢測結(jié)果。

因此，針對(duì)經(jīng)過橋洞和支柱架時(shí)，前景與背景特征區(qū)分度不明顯的問題，本文借鑒原始YOLOv4算法中卷積層的設(shè)計(jì)思想，在網(wǎng)絡(luò)的P1和P2中間加入了1×1卷積層和3×3卷積層這兩層網(wǎng)絡(luò)來加強(qiáng)對(duì)淺層特征的提取。將CSPDarknet53輸出的特征層P3、P4后的1個(gè)卷積層增加為3個(gè)卷積層，卷積核分別為1×1、3×3、1×1、3×3、1×1。上述多次小卷積改進(jìn)處理，不僅可加深網(wǎng)絡(luò)深度，進(jìn)而增加網(wǎng)絡(luò)容量和復(fù)雜度，還能獲得更大的感受野，增強(qiáng)提取全局及語義層次更高特征的能力，從而更加有效地提取接觸點(diǎn)目標(biāo)的特征。

相比YOLOv3，YOLOv4對(duì)特征提取能力的增強(qiáng)，使得網(wǎng)絡(luò)的檢測平均精度mAP(Mean Average Precision)得到了提升。將修改后的模型與YOLOv4、YOLOv3、SSD(Single Shot MultiBox Detector)和FastR-CNN進(jìn)行對(duì)比，結(jié)果如表1所示。

表1 網(wǎng)絡(luò)模型mAP對(duì)比表Table 1. Comparison of mAP of network models

本文對(duì)5個(gè)網(wǎng)絡(luò)進(jìn)行了橫向?qū)Ρ?，?jīng)過語義分割后，由于接觸特征加強(qiáng)，檢測效果得到明顯提高。對(duì)于同一語義分割后的數(shù)據(jù)集訓(xùn)練后的檢測效果，F(xiàn)astR-CNN檢測精度相比于YOLOv3和SSD這一類one-stage的算法要更加準(zhǔn)確。YOLOv4網(wǎng)絡(luò)由于采用了新的CSPDarknet53網(wǎng)絡(luò)結(jié)構(gòu)，增強(qiáng)了網(wǎng)絡(luò)整體的特征提取能力，并采用了多尺度檢測機(jī)制，提高了對(duì)小目標(biāo)的檢測精度。經(jīng)過語義分割后，使用改進(jìn)YOLOv4的檢測精度比未語義分割的YOLOv4提高了5.5%。隨后，在帶有NVIDIA Quadro P5000GPU的情況下，對(duì)5種算法的檢測速度進(jìn)行了測試(語義分割的受電弓視頻)，測試對(duì)比結(jié)果如表2所示。

表2 網(wǎng)絡(luò)模型FPS對(duì)比表Table 2. Comparison of FPS of network models

改進(jìn)YOLOv4模型的檢測精度得到了較大提升，但其檢測速度有所下降。FastR-CNN由于具有復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，因此檢測速度最慢。YOLOv4為one-stag結(jié)構(gòu)，因此其檢測速度要比同為端到端網(wǎng)絡(luò)的SSD模型更快。

以上mAP和FPS的對(duì)比結(jié)果證明，修改后的網(wǎng)絡(luò)模型的整體性能要優(yōu)于YOLOv4。修改后的網(wǎng)絡(luò)模型對(duì)于目標(biāo)特征的提取能力更強(qiáng)，更適用于本次設(shè)計(jì)的運(yùn)用場景。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

本文使用Quadro P5000進(jìn)行運(yùn)算，同時(shí)在服務(wù)器上搭建用于進(jìn)行實(shí)驗(yàn)的環(huán)境，如表3所示。

表3 弓網(wǎng)接觸位置監(jiān)測實(shí)現(xiàn)環(huán)境Table 3. Implementation environment for monitoring the contact position of the pantograph and net

4.2 實(shí)驗(yàn)結(jié)果

對(duì)語義分割后的數(shù)據(jù)集使用改進(jìn)YOLOv4模型進(jìn)行訓(xùn)練，訓(xùn)練為80個(gè)epoch，權(quán)重衰減系數(shù)設(shè)置為0.000 5。前40個(gè)epoch學(xué)習(xí)率為0.001，后40個(gè)epoch學(xué)習(xí)率為0.000 1。整個(gè)訓(xùn)練迭代到16 000次。

通過以上的訓(xùn)練可獲得權(quán)重，運(yùn)用訓(xùn)練好的網(wǎng)絡(luò)模型能夠從視頻圖像中識(shí)別出受電弓與接觸網(wǎng)的位置關(guān)系，并能輸出受電弓與接觸網(wǎng)的接觸點(diǎn)在圖像中的坐標(biāo)。無語義分割的情況下，YOLOv4在支柱架下不能檢測出接觸點(diǎn)位置，而語義分割后的數(shù)據(jù)集在改進(jìn)的YOLOv4檢測下，可在列車運(yùn)行時(shí)對(duì)動(dòng)態(tài)接觸位置進(jìn)行有效監(jiān)測，目標(biāo)監(jiān)測效果對(duì)比如圖7所示。

(a)

(b) 圖7 支柱架下檢測效果對(duì)比(a)無語義分割的改進(jìn)YOLOv4檢測 (b)語義分割后的改進(jìn)YOLOv4檢測Figure 7. Comparison of detection results under the pillar frame(a)YOLOv4 detection without semantic segmentation (b)YOLOv4 detection after semantic segmentation

圖8為動(dòng)態(tài)接觸點(diǎn)的輸出曲線，加粗黑線為受電弓運(yùn)動(dòng)的中線。

圖8 受電弓接觸點(diǎn)動(dòng)態(tài)監(jiān)測Figure 8. Dynamic monitoring of pantograph contact points

5 結(jié)束語

本文提出了一種基于視頻圖像的弓網(wǎng)接觸位置動(dòng)態(tài)監(jiān)測方法，能夠有效地在復(fù)雜的運(yùn)行環(huán)境下進(jìn)行監(jiān)測。該方法通過PSPNet語義分割加強(qiáng)復(fù)雜環(huán)境下接觸點(diǎn)特征；通過優(yōu)化YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)了全局及語義層次更高的特征提取能力，從而更加有效地提取接觸點(diǎn)目標(biāo)的特征。在未來研究中，將嘗試對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，在滿足特征要求的前提下降低圖片的尺寸，同時(shí)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，以期提升接觸點(diǎn)檢測速度，建立更好的軌道交通受電弓實(shí)時(shí)智能化檢測方法。