基于改進(jìn)寬殘差結(jié)構(gòu)的接觸網(wǎng)吊弦狀態(tài)辨識(shí)分類網(wǎng)絡(luò)

金煒東，張志軍，唐 鵬

(1.西南交通大學(xué) 電氣工程學(xué)院，四川 成都 611756；2.南寧學(xué)院 中國(guó)-東盟綜合交通國(guó)際聯(lián)合實(shí)驗(yàn)室，廣西 南寧 530200)

電氣化鐵路設(shè)備安全狀態(tài)監(jiān)測(cè)中，接觸網(wǎng)狀態(tài)監(jiān)測(cè)及其故障檢測(cè)備受關(guān)注。高速鐵路接觸網(wǎng)系統(tǒng)中的吊弦是承力索和接觸線間的連接部件，因長(zhǎng)時(shí)間受力拉伸、震動(dòng)、磨損與環(huán)境腐蝕較易導(dǎo)致吊弦故障。目前對(duì)吊弦狀態(tài)的辨識(shí)主要依賴人工檢視，因此效率低、周期長(zhǎng)。對(duì)吊弦狀態(tài)進(jìn)行快速、準(zhǔn)確地自動(dòng)辨識(shí)成為亟待解決的問(wèn)題。隨著智能視頻分析技術(shù)的長(zhǎng)足發(fā)展，基于視頻圖像分析的接觸網(wǎng)狀態(tài)檢測(cè)已成發(fā)展趨勢(shì)。高速列車通過(guò)安裝車載接觸網(wǎng)運(yùn)行狀態(tài)檢測(cè)裝置(3C)對(duì)接觸網(wǎng)進(jìn)行拍攝，采集接觸網(wǎng)圖像。吊弦圖像由接觸網(wǎng)圖像通過(guò)目標(biāo)檢測(cè)算法定位截取生成。吊弦圖像有如下特點(diǎn)：

(1)吊弦目標(biāo)占比極小，背景占比大。coco數(shù)據(jù)集中定義小目標(biāo)尺寸為32×32(1024個(gè)像素點(diǎn))，而吊弦目標(biāo)一般不超過(guò)500個(gè)像素點(diǎn)。由于吊弦故障形態(tài)多樣，故定位框尺寸又不可設(shè)定過(guò)小。

(2)背景復(fù)雜且易對(duì)吊弦識(shí)別造成干擾，如吊弦被支架、受電弓等設(shè)備遮擋。

(3)故障狀態(tài)與正常狀態(tài)形態(tài)相似。

(4)吊弦故障形態(tài)多樣。

目前的Faster R-CNN、YOLO等目標(biāo)檢測(cè)算法以及各種分類網(wǎng)絡(luò)在設(shè)計(jì)之初并未針對(duì)接觸網(wǎng)這種高背景比例、特殊形狀的待檢測(cè)對(duì)象進(jìn)行優(yōu)化處理，因此現(xiàn)有的目標(biāo)檢測(cè)方法與分類網(wǎng)絡(luò)對(duì)于吊弦的識(shí)別精度較低。

目前基于神經(jīng)網(wǎng)絡(luò)吊弦狀態(tài)識(shí)別，一般采用現(xiàn)有的目標(biāo)檢測(cè)算法或分類網(wǎng)絡(luò)。文獻(xiàn)[1]采用Faster R-CNN級(jí)聯(lián)的方式識(shí)別高速鐵路接觸網(wǎng)等電位線，使用第一級(jí)對(duì)等電位線進(jìn)行定位，用第二級(jí)學(xué)習(xí)等電位線的故障特征，使用5層ZF網(wǎng)絡(luò)進(jìn)行特征提取。文獻(xiàn)[2]使用多算法融合圖像處理技術(shù)，使用ResNet-18作為特征提取網(wǎng)絡(luò)，使用Faster R-CNN提取感興趣區(qū)域(ROI)。文獻(xiàn)[3]在高鐵接觸網(wǎng)定位器的檢測(cè)和識(shí)別中使用Faster R-CNN算法。文獻(xiàn)[4]設(shè)計(jì)了平衡注意力特征金字塔網(wǎng)絡(luò)來(lái)預(yù)測(cè)矩形框的位置，使用Faster R-CNN檢測(cè)算法對(duì)吊弦狀態(tài)進(jìn)行識(shí)別，ResNet-101與Faster R-CNN的結(jié)合使用使MAP達(dá)到了86.8。上述研究大多采用Faster R-CNN[5]算法，但算法和其使用的主干網(wǎng)絡(luò)并未針對(duì)接觸網(wǎng)這種高背景比例、特殊形狀的檢測(cè)對(duì)象進(jìn)行優(yōu)化處理。文獻(xiàn)[6]在對(duì)緊固件進(jìn)行故障分類時(shí)設(shè)計(jì)了一個(gè)簡(jiǎn)單的分類網(wǎng)路，網(wǎng)絡(luò)由4個(gè)卷積層和2個(gè)全連接層組成。文獻(xiàn)[7]提出6層卷積層和2個(gè)全連接層組成的特征提取網(wǎng)絡(luò)對(duì)等電位線進(jìn)行特征提取。淺層網(wǎng)絡(luò)特征提取能力與復(fù)雜特征擬合能力弱，不適用于特征提取困難且形態(tài)多樣的細(xì)小目標(biāo)識(shí)別。

在現(xiàn)有研究的基礎(chǔ)上，針對(duì)現(xiàn)有目標(biāo)檢測(cè)方法對(duì)高背景比例樣本檢測(cè)性能受限的問(wèn)題，本文提出一種基于改進(jìn)寬殘差結(jié)構(gòu)的吊弦狀態(tài)辨識(shí)分類網(wǎng)絡(luò)，稱為VRNet。VRNet將寬殘差結(jié)構(gòu)與注意力模型相結(jié)合，并將改進(jìn)的寬殘差結(jié)構(gòu)取代VGG-16中的普通卷積，形成了適用于處理吊弦數(shù)據(jù)的分類網(wǎng)絡(luò)。VRNet提升了吊弦分類實(shí)驗(yàn)的精度，且因網(wǎng)絡(luò)中使用了Ghost輕量級(jí)機(jī)制，減少了模型參數(shù)量和運(yùn)算量，提高了處理效率。

1 改進(jìn)的寬殘差結(jié)構(gòu)

1.1 寬殘差結(jié)構(gòu)

殘差結(jié)構(gòu)[8]的出現(xiàn)解決了深層網(wǎng)絡(luò)的訓(xùn)練退化問(wèn)題，促使網(wǎng)絡(luò)向更深層次發(fā)展。但隨著網(wǎng)絡(luò)深度的不斷增加，特征的利用率降低，僅少數(shù)特征層能學(xué)到有用特征。寬殘差結(jié)構(gòu)[9](Wide Residual)是在殘差結(jié)構(gòu)(Residual)的基礎(chǔ)上擴(kuò)展了網(wǎng)絡(luò)寬度，不僅具有殘差結(jié)構(gòu)的優(yōu)勢(shì)，而且淺層的寬殘差網(wǎng)絡(luò)便能達(dá)到深層殘差網(wǎng)絡(luò)的效果[9]。其結(jié)構(gòu)與殘差結(jié)構(gòu)相同，如圖1所示。

圖1中，x為輸入；F(x)+x為輸出?？旖萋窂綄⑤斎牒愕扔成涞捷敵?。第K層與第K+1層的關(guān)系為

xK+1=xK+F(xK,wK)

( 1 )

l層到L層間的學(xué)習(xí)過(guò)程為

( 2 )

通過(guò)導(dǎo)數(shù)鏈?zhǔn)椒▌t可得反向傳播梯度為

( 3 )

1.2 改進(jìn)寬殘差結(jié)構(gòu)——VR

根據(jù)吊弦圖像數(shù)據(jù)特征對(duì)寬殘差結(jié)構(gòu)進(jìn)行改進(jìn)。首先將SE注意力機(jī)制[10]嵌入至寬殘差結(jié)構(gòu)內(nèi)部，如圖2所示。SE注意力機(jī)制可以學(xué)習(xí)全局信息選擇性地強(qiáng)調(diào)圖像的信息特征并抑制無(wú)用的特征[10]，因此適用于處理吊弦這種高背景占比的數(shù)據(jù)。由于網(wǎng)絡(luò)寬度的增加導(dǎo)致模型參數(shù)量的增加，為降低參數(shù)量，提高識(shí)別效率，本文使用輕量級(jí)Ghost[11]模塊取代了寬殘差結(jié)構(gòu)中的普通卷積(Conv為普通卷積)，參數(shù)量和運(yùn)算量明顯降低。將該結(jié)構(gòu)作為特征提取模塊(稱為VR)，結(jié)構(gòu)如圖2所示，其中k為寬殘差的擴(kuò)展系數(shù)。

圖2 VR特征提取模塊結(jié)構(gòu)

整體結(jié)構(gòu)以VGG-16[12]為基礎(chǔ)，改變了原VGG中普通卷積堆疊的平原結(jié)構(gòu)，將普通卷積替換為VR特征提取模塊(圖2所示)，層次更深的寬殘差網(wǎng)絡(luò)在每一階段能夠提取到更魯棒的特征[13]。為減少參數(shù)量與運(yùn)算量，只保留一個(gè)全連接層。進(jìn)行Dropout正則化[14]處理，最終形成本文的VRNet分類網(wǎng)絡(luò)。

1.2.1 SE注意力機(jī)制特征強(qiáng)化

吊弦圖片的背景占比大，接觸網(wǎng)線路較為復(fù)雜，并且隨著網(wǎng)絡(luò)寬度的擴(kuò)展，一些通道不能提供識(shí)別吊弦狀態(tài)所需的信息。

SE注意力機(jī)制利用通道關(guān)系，使用全局信息選擇性地突出有價(jià)值的通道特征。其實(shí)質(zhì)為使用一個(gè)兩層神經(jīng)網(wǎng)絡(luò)生成c個(gè)權(quán)重(神經(jīng)網(wǎng)絡(luò)由兩層全連接層組成，c為原特征通道數(shù)，權(quán)重為0～1的系數(shù))，將c個(gè)權(quán)重系數(shù)分別分配到原特征的每層通道上，達(dá)到區(qū)分各層通道重要性的目的。

圖3 注意力機(jī)制對(duì)吊弦的特征強(qiáng)化

注意力機(jī)制強(qiáng)化吊弦特征的實(shí)現(xiàn)如圖3所示，X為注意力機(jī)制處理前的吊弦特征，SE首先利用全局平均池化將特征X的每個(gè)通道壓縮成一個(gè)實(shí)數(shù)，因此池化后的維度和通道數(shù)相同。

( 4 )

式中：W、H為特征的寬、高。

將全局平局池化后的一維特征值作為每個(gè)通道的權(quán)重系數(shù)。

s=σ(g(z,W))=σ(W2σ(W1z))

( 5 )

式中：σ指經(jīng)過(guò)Relu操作，W1、W2皆為全連接操作。W1對(duì)全局池化后的c維吊弦特征進(jìn)行降維全連接操作，W2對(duì)降維后的特征上升至原維度，然后將恢復(fù)維度后的吊弦特征經(jīng)過(guò)sigmoid歸一化為c個(gè)0～1的權(quán)重系數(shù)。在W1、W2全連接層與整體網(wǎng)絡(luò)同時(shí)參與訓(xùn)練，不斷更新全連接層參數(shù)，使其分辨信息重要性的能力不斷增強(qiáng)。

最后，將c個(gè)權(quán)重分配至原吊弦特征的每個(gè)通道上，完成權(quán)重的重新標(biāo)定。

yc=s·xc

( 6 )

c為特征通道數(shù)，與原吊弦特征xc相比，被重新標(biāo)定了權(quán)重的新特征,yc更加突出吊弦圖像中的重要信息。

為驗(yàn)證SE注意力機(jī)制的作用，分別使用加入注意力模塊的模型與未加入注意力模塊的模型對(duì)測(cè)試集數(shù)據(jù)進(jìn)行識(shí)別，將特定層處理結(jié)果分別做可視化處理(對(duì)比的可視化特征圖為同一層的處理結(jié)果)。處理結(jié)果如圖4所示，從處理結(jié)果可以發(fā)現(xiàn)，未加入SE注意力機(jī)制的模型處理結(jié)果明顯丟失了部分吊弦信息。

圖4 模型測(cè)試結(jié)果可視化

1.2.2 利用Ghost降低參數(shù)量

由于對(duì)網(wǎng)絡(luò)在寬度上進(jìn)行了擴(kuò)展，使得計(jì)算量和參數(shù)量較大。本文使用Ghost輕量級(jí)模塊，在保證精度的前提下大幅降低了計(jì)算量和參數(shù)量。

普通卷積對(duì)數(shù)據(jù)進(jìn)行特征提取時(shí)，可視化特征圖中一些特征圖相似度較高，可以對(duì)部分卷積進(jìn)行Cheap operation[11]操作得到這些冗余的特征。如圖5所示，利用普通卷積生成必要特征，然后對(duì)這些特征進(jìn)行Cheap operation操作生成相似特征，將兩部分特征疊加，通過(guò)該思想生成的特征的參數(shù)量要遠(yuǎn)小于使用大量卷積核所產(chǎn)生的參數(shù)量。

圖5 Ghost

本文網(wǎng)絡(luò)中，將改進(jìn)的寬殘差模塊中的3×3卷積全部替換為Ghost模塊，同時(shí)將Shortcut中的1×1卷積替換為Ghost模塊。實(shí)驗(yàn)結(jié)果表明，在測(cè)試集上未造成明顯精度損失，參數(shù)量和運(yùn)算量大幅降低。

2 VRNet整體結(jié)構(gòu)設(shè)計(jì)

特征提取網(wǎng)絡(luò)的深度、寬度和參數(shù)設(shè)置直接影響分類網(wǎng)絡(luò)的性能。文獻(xiàn)[15]證明了深度的重要性。文獻(xiàn)[16]使用Lebesgue可積函數(shù)逼近的方法定量分析了網(wǎng)絡(luò)寬度對(duì)網(wǎng)絡(luò)表達(dá)能力的影響。

對(duì)于任意Lebesable可積函數(shù)f，ε>0存在一個(gè)寬度dm≤n+4的網(wǎng)絡(luò)y，使網(wǎng)絡(luò)表示的函數(shù)Fy滿足

( 7 )

式( 7 )說(shuō)明，如果寬度小于n，則網(wǎng)絡(luò)的表達(dá)能力和特征提取能力將大幅減弱[16]。

寬殘差網(wǎng)絡(luò)在殘差網(wǎng)絡(luò)的基礎(chǔ)上將通道數(shù)擴(kuò)展k倍，從而拓寬了網(wǎng)絡(luò)寬度。被拓寬了通道數(shù)的殘差結(jié)構(gòu)更有利于生成語(yǔ)義信息豐富的特征圖。本文選擇basic-wide寬殘差結(jié)構(gòu)并將擴(kuò)展因子k設(shè)定為8。將改進(jìn)的寬殘差結(jié)構(gòu)(VR特征提取模塊，見圖2)嵌入VGG-16中，輸入通道數(shù)依次設(shè)定為16、32、64，故擴(kuò)展后的輸入通道數(shù)依次為128、256、512,很大程度還原了VGG-16的寬度。最后加入Dropout正則化以減少過(guò)擬合，增加網(wǎng)絡(luò)泛化能力，并在結(jié)尾僅設(shè)定1個(gè)全連接層(FC)。相比于VGG-16的3個(gè)全連接層大幅削減了參數(shù)量。輸入通道與VR特征提取模塊的設(shè)計(jì)見表1。

表1 VRNet結(jié)構(gòu)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)采集

安裝于高速列車頂端的車載接觸網(wǎng)運(yùn)行狀態(tài)檢測(cè)裝置對(duì)接觸網(wǎng)進(jìn)行實(shí)時(shí)拍攝，使用yolov3目標(biāo)檢測(cè)算法對(duì)接觸網(wǎng)圖像中的吊弦進(jìn)行定位截取生成吊弦數(shù)據(jù)庫(kù)。吊弦圖片像素尺寸為64×160(RGB圖像)，吊弦狀態(tài)分為三類，分別為正常(Good)、松脫(Loose)、斷裂(Broken)。吊弦狀態(tài)如圖6所示。其中正常吊弦和部分故障吊弦為視頻中利用目標(biāo)檢測(cè)算法截取的原圖。

圖6 吊弦數(shù)據(jù)

但故障樣本較少，為解決訓(xùn)練集數(shù)據(jù)量不平衡問(wèn)題，對(duì)正常樣本進(jìn)行故障仿真，使其逼近各類故障形態(tài)。數(shù)據(jù)集見表2，共收集各類吊弦樣本7539張，訓(xùn)練集各類樣本數(shù)量均勻，防止模型學(xué)習(xí)失衡；測(cè)試集各類樣本數(shù)量均衡，保證了測(cè)試結(jié)果的可靠性。

表2 數(shù)據(jù)集 張

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所使用的硬件：inter i7-9750H CPU,NVIDIA GeForce GTX 1660 Ti GPU顯存6GB。訓(xùn)練和測(cè)試使用框架為GPU版Pytorch。

由于吊弦數(shù)據(jù)是通過(guò)使用YOLO目標(biāo)檢測(cè)算法對(duì)視頻文件中的接觸網(wǎng)圖像檢測(cè)生成，其他的電連接線樣本由手動(dòng)截取生成，故樣本尺寸大小不一。訓(xùn)練前由transform進(jìn)行預(yù)處理，統(tǒng)一尺寸為64×160。學(xué)習(xí)率lr=0.01，使用SGD作為優(yōu)化器。損失函數(shù)為交叉熵?fù)p失函數(shù)。

3.3 實(shí)驗(yàn)結(jié)果與分析

各組對(duì)比實(shí)驗(yàn)所使用的模型均在相同條件下訓(xùn)練完成。

設(shè)定寬殘差結(jié)構(gòu)擴(kuò)展系數(shù)k，k=1，4，8，10(系數(shù)為1代表原殘差網(wǎng)絡(luò)，系數(shù)不為1代表不同寬度的寬殘差網(wǎng)絡(luò))，得到不同的網(wǎng)絡(luò)寬度，將4種不同寬度的網(wǎng)絡(luò)做對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表3。

表3 寬殘差擴(kuò)展系數(shù)對(duì)比 %

由對(duì)比實(shí)驗(yàn)可以看出，當(dāng)k=8時(shí)吊弦分類網(wǎng)絡(luò)的分類效果最優(yōu)，分類準(zhǔn)確率優(yōu)于普通殘差網(wǎng)絡(luò)。

加入注意力機(jī)制的VRNet與去掉注意力的VRNet在通道擴(kuò)展系數(shù)k=8條件下VRNet (8)、VRNet(SE) (8)精度分別為95.9%、97.0%的對(duì)比實(shí)驗(yàn)結(jié)果見表4。實(shí)驗(yàn)表明引入注意力機(jī)制加強(qiáng)了網(wǎng)絡(luò)的分類能力。

改進(jìn)的寬殘差結(jié)構(gòu)取代VGG-16的卷積堆疊的平原結(jié)構(gòu)，該操作使參數(shù)量與運(yùn)算量大幅增加，為節(jié)省計(jì)算資源VRNet只保留了一層全連接層，并使用Ghost機(jī)制代替了寬殘差結(jié)構(gòu)中的普通卷積。本文分別計(jì)算了VGG-16、寬殘差網(wǎng)絡(luò)Wide_ResNet50、未使用Ghost機(jī)制VRNet和使用Ghost機(jī)制的VRNet的參數(shù)量與運(yùn)算量，見表4。Ghost操作大幅降低了參數(shù)量與運(yùn)算量。

表4 輕量級(jí)處理對(duì)比實(shí)驗(yàn)結(jié)果

選擇經(jīng)典網(wǎng)絡(luò)VGG-16、ResNet-50、ResNext-50、SENet以及寬殘差網(wǎng)絡(luò)與本文的VRNet進(jìn)行綜合對(duì)比實(shí)驗(yàn)。性能指標(biāo)以分類精度為主，實(shí)驗(yàn)結(jié)果見表5。

表5 分類精度對(duì)比 %

實(shí)驗(yàn)結(jié)果顯示，在眾多的網(wǎng)絡(luò)模型中，VRNet的吊弦分類精度為97%，在吊弦狀態(tài)辨識(shí)任務(wù)中的表現(xiàn)優(yōu)于包括VGG-16、ResNet、Wide_ResNet在內(nèi)的經(jīng)典分類網(wǎng)絡(luò)。

圖7分別為VRNet與ResNet-50的檢測(cè)效果，圖7示例代表一些被支架或受電弓等設(shè)施遮擋而無(wú)法顯示完整且背景復(fù)雜的吊弦。在此類復(fù)雜數(shù)據(jù)中，一般網(wǎng)絡(luò)分類效果差，而VRNet分類網(wǎng)絡(luò)將正常與故障吊弦進(jìn)行了準(zhǔn)確辨識(shí)(紅色框代表吊弦檢測(cè)為故障狀態(tài)，綠色框代表吊弦檢測(cè)為正常狀態(tài))。

圖7 檢測(cè)效果對(duì)比

4 結(jié)論

針對(duì)高速鐵路接觸網(wǎng)吊弦識(shí)別精度低的問(wèn)題，本文提出VR特征提取結(jié)構(gòu)和VRNet分類網(wǎng)絡(luò)。針對(duì)吊弦樣本的特殊性，選用寬殘差結(jié)構(gòu)作為分類網(wǎng)絡(luò)的基本組成單元，在其中嵌入SE注意力機(jī)制強(qiáng)化重要特征，并使用Ghost機(jī)制降低模型參數(shù)量，以此形成VR特征提取結(jié)構(gòu)。使用VGG-16作為網(wǎng)絡(luò)的基本結(jié)構(gòu)，用VR結(jié)構(gòu)代替大量卷積的平鋪結(jié)構(gòu)，構(gòu)成了VRNet分類網(wǎng)絡(luò)。

VRNet分類網(wǎng)絡(luò)有效提高了吊弦狀態(tài)識(shí)別精度，解決了現(xiàn)有方法對(duì)吊弦狀態(tài)識(shí)別效果較差的問(wèn)題，使得車載接觸網(wǎng)運(yùn)行狀態(tài)檢測(cè)裝置能夠更準(zhǔn)確地識(shí)別出鐵路沿線的故障吊弦，為接觸網(wǎng)吊弦的自動(dòng)檢修提供高效可靠的支持。結(jié)合相關(guān)科研項(xiàng)目中的實(shí)踐，本文模型在實(shí)際應(yīng)用中表現(xiàn)出更優(yōu)的性能。接觸網(wǎng)故障自動(dòng)識(shí)別技術(shù)與裝備的發(fā)展和不斷成熟，將有力解決人工巡檢的困難，大幅減少低精度設(shè)備因誤檢給檢修人員造成的誤導(dǎo)，節(jié)省人力物力，縮短檢修周期，為保障鐵路安全運(yùn)行發(fā)揮應(yīng)有作用。