聶晶鑫
(中鐵第一勘察設(shè)計院集團有限公司,陜西 西安 710043)
鐵路接觸網(wǎng)絕緣子是電氣化系統(tǒng)中的重要組成部分,通常由陶瓷、玻璃等材料制成,起著隔離電力設(shè)備和電網(wǎng)的作用[1-2]。在使用過程中,由于風(fēng)沙、雨雪、污染等原因,絕緣子表面可能會出現(xiàn)裂紋、脫落、污染等缺陷。對絕緣子進行準(zhǔn)確檢測是進行缺陷檢測的首要關(guān)鍵環(huán)節(jié)[3]。
目前,各鐵路局接觸網(wǎng)絕緣子檢測技術(shù)主要為手動檢測,手動檢測依靠工作人員目視檢查,存在效率低、人力成本高的不足,難以滿足大規(guī)模絕緣子的檢測需求[4-5]。因此,開展絕緣子自動檢測技術(shù)的研究具有重要的現(xiàn)實意義。視覺檢測利用計算機視覺技術(shù)實現(xiàn)對接觸網(wǎng)絕緣子的自動檢測,具有效率高、準(zhǔn)確性高等優(yōu)點[6-7]。傳統(tǒng)的視覺檢測方法往往需要大量的人工干預(yù),對于線桿、支架等復(fù)雜背景遮擋和夜間表面光照不均等環(huán)境因素,容易出現(xiàn)絕緣子的漏檢和誤檢,檢測精度較低[8]。在算法設(shè)計上,往往需要人工選取特征并進行手工設(shè)計,耗費時間和人力,難以適應(yīng)不同型號、不同安裝位置的絕緣子。以上問題導(dǎo)致絕緣子檢測的準(zhǔn)確率較低。
近年來,基于深度學(xué)習(xí)的絕緣子檢測技術(shù)在圖像檢測等領(lǐng)域取得了一定應(yīng)用[9],國內(nèi)外的研究者利用深度學(xué)習(xí)技術(shù)構(gòu)建了不同的模型,對絕緣子目標(biāo)進行了檢測研究。張紅民等提出了一種基于YOLOv3 的絕緣子識別方法,采用空洞卷積增大感受野,融合更多的特征信息,有效提高了識別精度[10]。在訓(xùn)練階段,為了使得anchor 框尺寸更適合絕緣子特征,改進了K-means 的距離度量公式,該方法對絕緣子識別的精度為91.8%,但適用場景為無人機巡檢下的輸電線路。杜曉亮等提出了一種基于Faster R-CNN 的鐵路接觸網(wǎng)絕緣子檢測算法,通過融合特征提取模型中的深層和淺層特征圖像,得到語義信息度強、分辨率高的特征圖像,以解決多尺度目標(biāo)檢測問題;并對非極大值抑制算法進行優(yōu)化,改進后的Faster R-CNN 絕緣子檢測算法檢測精度為99.5%,召回率為96.02%,但檢測效率較低,對不同方向的絕緣子適應(yīng)性較差,在豎向方向存在漏檢[11]。朱有產(chǎn)等提出一種基于改進Mask R-CNN絕緣子目標(biāo)識別方法,在特征提取模型的池化層后附加一層開運算,過濾目標(biāo)特征周圍的干擾,該方法在識別各種類型絕緣子時精確率達到94.7%,但適用場景為白天無人機電力檢測[12]。
以上算法在一定程度上提高了絕緣子目標(biāo)檢測的準(zhǔn)確率,但適用于鐵路接觸網(wǎng)系統(tǒng)的絕緣子檢測算法較少。經(jīng)調(diào)研分析,鐵路4C 系統(tǒng)所采集的鐵路接觸網(wǎng)絕緣子圖像大多數(shù)為夜間巡檢圖像,絕緣子表面明暗不均勻;此外,絕緣子通常安裝在支架上,方向一般不確定,圖像中紋理特征有所差異,這些情況導(dǎo)致絕緣子的漏檢和識別定位不準(zhǔn)確。針對以上難題,本文提出一種基于改進YOLOv5 的鐵路接觸網(wǎng)夜間絕緣子檢測方法。通過分析4C 系統(tǒng)鐵路接觸網(wǎng)絕緣子的圖像特征,采用循環(huán)曝光生成思想緩解夜間圖像明暗不均的問題,融入旋轉(zhuǎn)不變卷積以適應(yīng)不同方向的絕緣子的紋理特征,從而提高鐵路4C 系統(tǒng)絕緣子目標(biāo)檢測的準(zhǔn)確率。
4C 系統(tǒng)采集的鐵路接觸網(wǎng)絕緣子圖像示例如圖1所示。本研究從國內(nèi)某鐵路局公司的4C 監(jiān)測系統(tǒng)拍攝的圖像中挑選1 772 幅鐵路接觸網(wǎng)絕緣子圖像,圖像像素大小為9 344×7 000。為了減少訓(xùn)練時間,將絕緣子圖像大小調(diào)整為640 像素×440 像素。將絕緣子圖像按照約3∶1 的比例劃分為訓(xùn)練集和測試集,其中訓(xùn)練集共1 357 幅,測試集415 幅。在LabelImg 下將絕緣子數(shù)據(jù)集標(biāo)注為PASCAL VOC 格式,LabelImg 數(shù)據(jù)集標(biāo)注示例如圖2 所示。
圖1 4C 系統(tǒng)采集的鐵路接觸網(wǎng)絕緣子圖像
圖2 LabelImg 數(shù)據(jù)集標(biāo)注
為了改善夜間巡檢絕緣子圖像表面明暗不均勻、紋理特征的差異對檢測結(jié)果的影響,增加數(shù)據(jù)樣本,增強模型的泛化性能,本文對訓(xùn)練集中1 357 幅圖像進行了數(shù)據(jù)增強,對原始接觸網(wǎng)絕緣子圖像進行旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪、扭曲等操作,增加模型對絕緣子不同紋理方向形變的適應(yīng)力,最終將訓(xùn)練集擴充至6 785 幅。
YOLO(You Only Look Once)是經(jīng)典的單階段目標(biāo)檢測模型,其檢測原理是將圖像劃分為多個大小的網(wǎng)格,模型通過預(yù)測每個網(wǎng)格的目標(biāo)類別和預(yù)測框來實現(xiàn)目標(biāo)檢測[13-16]。在YOLO 算法的基礎(chǔ)上,YOLOv5[17]采用了輕量化、高效率的設(shè)計思想,具有更高的檢測精度和更快的推理速度。YOLOv5 模型主要由主干模型(Backbone)、特征融合部分(Neck)、檢測部分(Head)組成[17],結(jié)構(gòu)圖如圖3 所示。
圖3 YOLOv5 結(jié)構(gòu)
圖3 的YOLOv5 模型中,主干模型包括Conv 卷積模塊、C3 模塊、SPPF 模塊,能夠提升模型的特征提取能力;特征融合部分通過上采樣和下采樣將來自不同階段的特征圖進行融合,以提取多尺度的特征信息;檢測部分由卷積層和全連接層組成,采用3 種損失函數(shù)分別計算位置、分類和置信度損失,負責(zé)在特征圖上進行目標(biāo)檢測,生成邊界框的位置和類別信息。
4C 系統(tǒng)鐵路接觸網(wǎng)圖像多為夜間巡檢拍攝,絕緣子圖像表面較暗且容易出現(xiàn)明暗不均,在圖像中呈現(xiàn)出過暗或過亮的區(qū)域,導(dǎo)致部分細節(jié)模糊或丟失,這給絕緣子目標(biāo)檢測帶來了巨大挑戰(zhàn)。為改善這一難題,本研究在YOLOv5 模型中融入循環(huán)曝光生成思想,解決非均勻亮度問題。循環(huán)曝光生成思路[18]最早用于夜間光照不均的人臉檢測,研究者采用經(jīng)常性曝光生成(Recurrent Exposure Generation, REG)模塊耦合多重曝光檢測(MED)模塊。REG 模塊用于生成不同曝光設(shè)置的中間圖像序列,這些偽曝光圖被MED 融合在不同的光照條件下檢測人臉,有效地抑制不均勻照明,提高了人臉的檢測性能。
對于接觸網(wǎng)絕緣子圖像,獲取多重曝光的高質(zhì)量圖像較為困難,因此本文在骨干模型前設(shè)計了SREG 模塊,用于改善圖像表面光照明暗不均的問題。本文設(shè)計的SREG 模塊由編碼和解碼組成,在編碼部分,設(shè)計了2 個級聯(lián)卷積遞歸層REGU,負責(zé)將輸入圖像轉(zhuǎn)換為多個尺度的特征圖,REGU 是基于卷積門控循環(huán)單元(ConvGRU)設(shè)計的,詳細結(jié)構(gòu)見文獻[19];解碼部分由3 個卷積層組成,學(xué)習(xí)特征映射解碼的圖像。SREG 模塊結(jié)構(gòu)如圖4 所示。
圖4 SREG 模塊結(jié)構(gòu)
圖4 中,I0表示初始輸入圖像,通過SREG 的編碼和解碼運算,遞歸生成t1、t2時刻的2 個中間偽暴露圖像I1、I2,從而使低光輸入圖像I0逐步生成偽曝光圖像。SREG模塊利用歷史生成的偽曝光圖像來維護關(guān)鍵區(qū)域細節(jié),有效緩解絕緣子表面明暗不均的問題。
隨著人工智能應(yīng)用領(lǐng)域的逐步擴大,基于卷積操作的圖像檢測算法應(yīng)用于不同場景和目標(biāo)檢測任務(wù),當(dāng)待檢測目標(biāo)可以任意方向和角度出現(xiàn)時候,需要一定程度的變形、旋轉(zhuǎn),但傳統(tǒng)卷積旋轉(zhuǎn)不變性有限,需要加入大量的旋轉(zhuǎn)操作進行數(shù)據(jù)增強,使模型在訓(xùn)練階段盡可能多地學(xué)習(xí)不同旋轉(zhuǎn)角度下的圖像特征,而龐大的數(shù)據(jù)量增加了模型訓(xùn)練時間。鐵路接觸網(wǎng)圖像中的絕緣子分布通常方向不同,其紋理特征隨著方向變化也具有明顯的特征差異性,因此,需要考慮不同旋轉(zhuǎn)角度下的紋理特征,以提高模型的旋轉(zhuǎn)不變性,更好地應(yīng)對圖像中絕緣子方向的變化。
旋轉(zhuǎn)不變卷積(Rotation Invariant Convolutions,RIConv)通過將角度信息編碼到卷積中,從而提高卷積操作的旋轉(zhuǎn)不變性[20]。RIConv++在RIConv 的基礎(chǔ)上,從不同角度編碼了豐富的旋轉(zhuǎn)不變屬性,大幅提升了目標(biāo)檢測算法的性能[21]。Backbone 模型是YOLOv5 模型中的重要組成部分,研究者采用了多個C3 模塊,在增加模型特征提取能力的同時,保持了模型的輕量性和高效性。C3 模塊包括3 個Conv,第1 個Conv 將特征圖的尺寸減半,第2 個Conv 和第3 個Conv 進一步提取特征,更好地保留物體的局部信息。Conv 操作對不同紋理方向的絕緣子適應(yīng)性不足,因此,本文在Backbone 中融入旋轉(zhuǎn)不變屬性,將C3 模塊中的殘差部分卷積設(shè)計為RIConv++,以提高模型對不同方向紋理絕緣子特征的提取能力。改進后的C3 模塊結(jié)構(gòu)如圖5 所示,其將輸入的特征圖分成2 個分支,左路分支通過卷積和殘差結(jié)構(gòu)進行特征提取,在殘差結(jié)構(gòu)中本文使用RIConv++;右路分支經(jīng)過卷積操作保持輸入特征圖不變,最后兩路Concat 進行特征圖融合。
圖5 改進后的C3 模塊結(jié)構(gòu)
重新設(shè)計的YOLOv5 模型如圖6 所示,首先通過SREG 模塊獲取兩重偽曝光圖像;其次在Backbone 中通過融入旋轉(zhuǎn)不變性進行絕緣子特征的有效提取;再次,Neck 部分通過上采樣和下采樣進行多尺度特征融合,以適應(yīng)不同大小的檢測目標(biāo);最后,Head 部分主要對骨干模型提取的絕緣子特征圖進行多尺度目標(biāo)檢測,分別計算位置、分類和置信度損失,對每個檢測框進行回歸,生成邊界框的位置和類別信息。在最后預(yù)測階段,本研究采用非極大值抑制(Non-Maximum Suppression, NMS)對檢測框進行篩選,保留得分大于0.5 且IoU(Intersection over Union)大于0.8 的候選框作為最終的候選框。
圖6 重新設(shè)計的YOLOv5 模型
為驗證所設(shè)計模型對鐵路接觸網(wǎng)絕緣子檢測的有效性,本文在前期鐵路4C 系統(tǒng)的接觸網(wǎng)絕緣子數(shù)據(jù)集上進行了試驗。搭建的實驗平臺為NVIDIA GeForce RTX 3090,操作系統(tǒng)為Ubuntu 18.04,深度學(xué)習(xí)框架為PyTorch 1.7。
在訓(xùn)練過程中,設(shè)置初始學(xué)習(xí)率為0.001,批處理大小為16,模型訓(xùn)練通過優(yōu)化矩形框損失函數(shù)、分類損失函數(shù)、置信度損失函數(shù),使得預(yù)測結(jié)果更接近于真實值。矩形框損失函數(shù)Lbbox用于計算預(yù)測框與真實框之間的誤差,分類損失函數(shù)Lcls用于計算錨框與對應(yīng)的標(biāo)定類別是否一致,置信度損失函數(shù)Lobj用于計算預(yù)測目標(biāo)的置信度。訓(xùn)練試驗優(yōu)化的總損失函數(shù)公式如下:
式中:β、λ、η表示不同的損失權(quán)重,值分別為0.05、0.5、1.0。
矩形框損失函數(shù)Lbbox公式如下:
式中:IoU 為預(yù)測框A和真實框B的交并比;b表示絕緣子預(yù)測框的中心點坐標(biāo);bgt表示真實標(biāo)記框的中心點坐標(biāo);ρ為框A和框B的中心點距離;c表示包含預(yù)測框和真實框最小矩形的對角線長度;影響因子α為權(quán)重參數(shù);影響因子v用于衡量寬高比相似度;wgt和hgt分別為絕緣子真實框的寬和高;w和h分別為模型預(yù)測的寬和高。
分類損失函數(shù)Lcls和置信度損失函數(shù)Lobj采用二元交叉熵函數(shù),具體公式如下:
式中:y表示輸入樣本對應(yīng)的標(biāo)簽;a表示模型預(yù)測該輸入樣本為正樣本的概率。
試驗訓(xùn)練的損失函數(shù)如圖7所示,模型共訓(xùn)練100個Epoch,在40 個Epoch 附近時,模型的損失值快速下降,在80 個Epoch 時,損失值趨于穩(wěn)定。
圖7 模型訓(xùn)練的損失值變化曲線
為評價檢測算法的效果,本文選擇F1 得分和平均精度(Average Precision, AP)作為接觸網(wǎng)絕緣子檢測算法的評價指標(biāo),公式如下:
式中:TP 表示模型正確檢測到的接觸網(wǎng)絕緣子數(shù)量;FP表示模型將背景檢測為接觸網(wǎng)絕緣子的數(shù)量;FN 表示未正確檢測的接觸網(wǎng)絕緣子數(shù)量;r表示召回率;p(r)表示精確率關(guān)于召回率的函數(shù)。
為評估改進后的算法,以及加入SREG 模塊和RIConv++對檢測性能的影響,本文在測試集上進行試驗,選擇與原始的YOLOv5模型進行比較,測試結(jié)果見表1。
表1 絕緣子圖像檢測結(jié)果
從表1 中可以看出,最終改進的YOLOv5 模型在鐵路接觸網(wǎng)絕緣子夜間檢測任務(wù)上表現(xiàn)最優(yōu),其識別的平均精度達到99.3%,F(xiàn)1 為98.9%,相較于初始的YOLOv5模型,平均精度AP 和F1 得分別提高了3.6%和2.4%。這表明改進的YOLOv5 模型具有更好的性能,在絕緣子檢測任務(wù)中具有更高的準(zhǔn)確率。圖8 為YOLOv5 融合SREG 循環(huán)曝光思路和RIConv++后的識別效果。由圖8的識別效果可以看出,改進后的YOLOv5 模型能適應(yīng)不同方向紋理的絕緣子識別,且在夜間圖像明暗不均的情況下,模型的識別效果良好。
圖8 改進后的YOLOv5 模型絕緣子檢測結(jié)果
本文提出了一種基于改進YOLOv5 的鐵路接觸網(wǎng)絕緣子檢測算法。采用循環(huán)曝光生成思想解決非均勻暗度問題;設(shè)計SREG 模塊,用于改善圖像表面光照明暗不均的問題;在骨干模型的殘差組件中融入旋轉(zhuǎn)不變卷積,更好地提取絕緣子不同方向的紋理特征。在測試集上進行了試驗驗證,結(jié)果表明:改進后的YOLOv5 能適應(yīng)不同方向紋理的絕緣子識別,且在夜間圖像明暗不均的情況下,識別的平均精度達到99.3%,F(xiàn)1 值為98.9%,可實現(xiàn)夜間4C 系統(tǒng)下鐵路接觸網(wǎng)絕緣子的有效檢測。所設(shè)計模型對絕緣子紋理方向的變化旋轉(zhuǎn)具有較好的適應(yīng)性,可為后續(xù)研究鐵路接觸網(wǎng)絕緣子缺陷檢測提供技術(shù)支持。