基于深度學(xué)習(xí)的耐張線夾壓接缺陷X射線影像智能識別

李鵬吾，劉榮海，周靜波，趙騰飛

(1. 云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，昆明 650217； 2. 華北電力大學(xué)機械工程學(xué)院，河北 保定 071003)

0 引言

耐張線夾是輸電線路中的重要組成部分，由鋁套管和鋼錨兩部分組成。將鋁管與鋼錨、鋁管與導(dǎo)線的部位壓接成型，使導(dǎo)線與耐張線夾結(jié)合成整體，使其可以承擔連接導(dǎo)線的全部張力，并能接通電流。由于線路設(shè)計安全系數(shù)較高，即使存在壓接質(zhì)量缺陷也不會在施工結(jié)束后立即發(fā)生事故[1 - 2]，但在投運后遭遇舞動和長期微風(fēng)振動等情況下，容易導(dǎo)致線夾斷裂，從而引發(fā)電力事故。所以及時準確地檢測出耐張線夾內(nèi)部是否存在缺陷至關(guān)重要。

目前，采用X射線數(shù)字成像檢測技術(shù)對電力設(shè)備進行無損檢測已被大量應(yīng)用于工程實踐[3 - 4]。典型應(yīng)用場景為輸電線路中耐張線夾壓接質(zhì)量檢測[5]和GIS內(nèi)部結(jié)構(gòu)檢測[6]。但若采用人工識別的方法對采集到的X射線圖像進行判斷，存在效率低、成本高等弊端。目前深度學(xué)習(xí)算法在圖像識別領(lǐng)域已發(fā)展比較成熟，并廣泛應(yīng)用于電力設(shè)備檢測中，如對無人機巡檢現(xiàn)場獲得的輸電線路、絕緣子等圖像的檢測[7 - 10]。由于目前還缺乏針對耐張線夾X射線圖像智能識別技術(shù)研究，因此本文利用深度學(xué)習(xí)對圖像的強大處理能力，針對耐張線夾X射線圖像智能識別展開研究。

基于深度學(xué)習(xí)的目標檢測算法大致分為兩類，一類是以SSD、YOLO、RetinaNet及CenterNet等算法為主的一階段檢測算法[11 - 14]，另一類是以R-CNN、Faster R-CNN及Mask R-CNN等算法為主的二階段檢測算法[15 - 17]。相比于一階段檢測算法，二階段檢測算法檢測準確率更高，但檢測速度較慢。在工程應(yīng)用時，巡檢現(xiàn)場會傳輸回大量耐張線夾圖像，檢測端需快速、準確地判斷耐張線夾是否存在缺陷，直接采用傳統(tǒng)檢測算法已不能滿足實際工程需要。本文通過對耐張線夾X射線圖像特點進行分析，提出合理的檢測策略。耐張線夾X射線圖像如圖1所示。

圖1 壓接缺陷圖像Fig.1 Image of crimping defect

耐張線夾X射線圖像具有以下特點。

1)缺陷部位在整張圖像中占比小，檢測難度大。

如圖中耐張線夾X射線圖像分辨率(簡稱尺寸，以像素為單位，下略)平均為1 660×1 037，而缺陷部位目標框尺寸平均值為45×45，缺陷部位在整張圖像中占比約為0.12%，直接對目標檢測十分困難。

2)圖像背景信息多，檢測效率低。

采集到X射線圖像大面積為黑色背景，若利用算法模型直接檢測，在檢測黑色背景這些無用信息時，會消耗大量算力，導(dǎo)致效率不高。

基于以上特點，本文采用分級檢測策略。首先定位到耐張線夾壓接部位，并將其從原始圖像中分割，隨后利用分割出的圖像進行壓接缺陷檢測。這種檢測策略不僅可以解決缺陷部位在整張圖像中占比小，檢測難度大的問題，還可以快速過濾掉無用的背景信息，提高檢測效率。

本文具體實現(xiàn)方法為：首先利用CenterNet定位耐張線夾壓接部位，并通過切割算法對壓接部位進行切割，將壓接部位圖像作為第二級檢測的輸入。所截取出的壓接部位圖像平均尺寸為230×230，缺陷部位目標框尺寸平均值為45×45，壓接缺陷在壓接部位圖像中平均占比提高到3.8%。相比于直接檢測，大幅降低檢測難度。為有效避免圖片數(shù)量少導(dǎo)致訓(xùn)練中出現(xiàn)過擬合現(xiàn)象，對壓接部位樣本進行數(shù)據(jù)增強。最后利用RetinaNet算法對缺陷部位進行檢測，以達到對耐張線夾壓接缺陷的快速準確識別

1 耐張線夾壓接缺陷檢測模型

耐張線夾壓接缺陷檢測的核心是壓接部位的定位與缺陷部位的檢測，為提高檢測效率和檢測精度，需用到目標檢測算法。本文采用CenterNet和RetinaNet算法。對整個檢測模型來說，首先需要定位出壓接部位，故采用檢測效率更高的CenterNet算法來檢測壓接部位。而RetinaNet算法在準確率上更有優(yōu)勢，所以用來最終的缺陷部位檢測。耐張線夾壓接缺陷檢測模型原理如圖2所示。基于CenterNet算法的壓接部位定位模型CenterNet與其他目標檢測算法不同，不需要設(shè)置復(fù)雜的超參數(shù)。如Faster R-CNN需要針對不同檢測設(shè)置錨點尺寸，YOLO需要設(shè)置每個位置回歸框數(shù)量。而CenterNet只需在圖像上尋找中心點位置，然后估計目標高度和寬度，即可確定檢測目標的位置和尺寸[18]。這種方法不僅速度快而且具有較高精度。CenterNet目標檢測框架如圖3所示。其主要包括用于提取特征的主干網(wǎng)絡(luò)和三個頭部網(wǎng)絡(luò)Head- 1、Head- 2和Head- 3。

圖2 耐張線夾壓接缺陷檢測模型原理Fig.2 Principle of the detection model for the crimping defect of the tension clamp

圖3 CenterNet目標檢測框架Fig.3 CenterNet target detection framework

CenterNet中主干網(wǎng)絡(luò)用于對輸入圖像提取圖像特征，輸入圖像為512×512×3的X射線圖像，輸出為128×128×64的特征圖。Head- 1用于估計目標中心點位置，由于Focal Loss[19]可以更好地解決正負樣本不平衡問題，因此選用Focal Loss來計算中心點損失LK如式(1)所示。

(1)

Head- 2用于微調(diào)目標中心點的位置，實現(xiàn)對目標中心點的精確定位。目標中心點偏置損失Loff如式(2)所示。

(2)

Head- 3用于估計檢測目標的寬和高，目標框?qū)捀邠p失函數(shù)如式(3)所示。

(3)

最后，對3個損失函數(shù)加權(quán)求和，得到總體的損失函數(shù)Ldet如式(4)所示。

Ldet=LK+λsizeLsize+λoffLoff

(4)

式中λsize和λoff為權(quán)重系數(shù)，用于平衡3種損失函數(shù)，訓(xùn)練過程中分別設(shè)置λsize=0.1和λoff=1。

采用CenterNet檢測耐張線夾壓接部位的基本流程如下。

1)將X射線圖片大小調(diào)整為512×512后輸入檢測網(wǎng)絡(luò)。

2)由于耐張線夾X射線圖像數(shù)據(jù)集規(guī)模較小，為了避免網(wǎng)絡(luò)訓(xùn)練中出現(xiàn)過擬合現(xiàn)象，選用ResNet- 50作為本方法主干網(wǎng)絡(luò)。

3)對輸入圖像進行特征提取，生成特征圖。提取熱力圖上每個類的峰值點：將熱力圖上的所有響應(yīng)點與其連接的8個臨近點進行比較，如果該點響應(yīng)值大于或等于其8個臨近點值則保留，最后我們保留所有滿足之前要求的前100個峰值點。最終通過式(5)完成關(guān)鍵點到位置框回歸過程，即完成耐張線夾壓接部位檢測。

(5)

1.1 切割算法與圖像數(shù)據(jù)增強

利用CenterNet的預(yù)測框標定出位置信息，可切割出耐張線夾壓接部位，并且可保證切割出的耐張線夾壓接部位圖像仍具有較高分辨率。將切割出的圖像采用旋轉(zhuǎn)、翻轉(zhuǎn)、調(diào)整對比度等方法進行數(shù)據(jù)增強，效果如圖4所示。通過切割與數(shù)據(jù)增強階段處理，為第二級檢測提供高分辨率的耐張線夾壓接部位圖像。

圖4 數(shù)據(jù)增強方法Fig.4 Data enhancement method

1.2 基于RetinaNet算法的壓接缺陷檢測模型

RetinaNet算法是由骨干網(wǎng)絡(luò)ResNet[20]與特征金字塔[21](feature pyramid networks,FPN)為主體框架，兩個全卷積[22](fully convolutional networks,FCN)子網(wǎng)絡(luò)負責(zé)分類與回歸的一階段目標檢測算法。它最大的貢獻在于提出了Focal Loss用于解決類別不均衡問題，從而創(chuàng)造了RetinaNet。它的精度超越了經(jīng)典的二階段檢測算法的Faster-RCNN的目標檢測網(wǎng)絡(luò)。

RetinaNet算法網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 RetinaNet算法網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 RetinaNet algorithm network structure

圖像首先由ResNet主干網(wǎng)進行特征提取，并通過5個不同層的殘差模塊輸出不同分辨率的特征圖[23]，按順序記為C1—C5。隨后通過FPN進行特征融合，形成與C3、C4、C5具有相同分辨率的融合特征圖P3、P4、P5。對P5采用3×3的卷積核，步長為2的卷積操作，得到P6。同樣方法對P6進行相同的卷積操作，得到P7。

特征融合后，對每個融合特征圖(P3—P7)，分別生成預(yù)選框。隨后，采用分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)進行類別和位置的預(yù)測。分類網(wǎng)絡(luò)通過對融合特征圖的一系列卷積運算，得到每個預(yù)選框包含目標物體的概率；同樣地，回歸網(wǎng)絡(luò)通過對融合特征圖的一系列卷積運算，得到每個預(yù)選框包含目標的真實區(qū)域的偏置量[24 - 25]。最后，通過選取預(yù)選框包含目標物體的概率的最大值與真實區(qū)域的偏置量進行坐標變換，得到預(yù)選框包含的目標類別和坐標準確值。

RetinaNet算法中的損失函數(shù)定義如式(6)所示。

fFL(pt)=-αt(1-pt)γlogpt

(6)

式中：pt為訓(xùn)練樣本類別置信度；αt為平衡因子;γ為調(diào)節(jié)因子，取值在[0，5]之間；αt和γ為固定值，按原文作者經(jīng)驗分別取值0.25和2.0。

利用RetinaNet算法對壓接缺陷進行檢測，具體流程如下。

1)將切割后的壓接部位圖像大小調(diào)整為512×512后輸入檢測網(wǎng)絡(luò)。

2)網(wǎng)絡(luò)框架選用ResNet50+FPN，壓接部位圖像經(jīng)主干網(wǎng)絡(luò)生成特征圖，特征融合后P3-P7尺寸為64×64、32×32、16×16、8×8、4×4，每個不同尺度特征融合圖進行預(yù)測，識別壓接部位缺陷類別與位置。

3)由于第一級檢測已經(jīng)將存在壓接缺陷的壓接部位確定出來，使得壓接缺陷在壓接部位中占比大幅提升，故可選擇去除RetinaNet中P7層，以提高檢測效率。

1.3 目標檢測算法評價指標

目標檢測算法檢測結(jié)果共4種。分別為TP(正樣本被正確預(yù)測為正樣本)、TN(負樣本被正確預(yù)測為負樣本)、FP(負樣本被錯誤預(yù)測為正樣本)、FN(正樣本被錯誤預(yù)測為負樣本)。其數(shù)量分別為QTP、QTN、QFP、QFN。

本文針對耐張線夾壓接缺陷檢測系統(tǒng)的性能評估給出以下評價指標，用來驗證模型有效性和準確性。

1)準確率(precision，P)，如式(7)所示。

(7)

2)召回率(recall,R)，如式(8)所示。

(8)

3)平均精度(average precision,PA)，計算公式如式(9)所示。

(9)

式中：PA為平均精度，用來評估檢測算法準確率；P為準確率，表示識別出結(jié)果正確的預(yù)測框占所有預(yù)測框的比例；R為召回率，表示正確的預(yù)測框占所有真實框的比例。

PmA(mean average precision)表示所有類別平均精度，計算公式如式(10)所示。

(10)

式中：PmA為所有類別平均精度，PmA值越大說明算法性能越好；n為類別數(shù)。

2 算例仿真

2.1 算例概況

本文實驗環(huán)境配置：CPU型號：Intel@ CoreTM i7- 6800l CPU @ 3.40GHz×12，GPU型號：NVIDIA GeForce GTX 1080 Ti，基于PyTorch1.4深度學(xué)習(xí)框架，python3.7環(huán)境下實現(xiàn)。

實驗數(shù)據(jù)集為便攜式X射線機采集，實驗數(shù)據(jù)集分為原圖中標記壓接部位數(shù)據(jù)集(記為A類)、經(jīng)第一級檢測后裁剪出的壓接部位中標記壓接缺陷數(shù)據(jù)集(記為B類)和原圖中直接標記壓接缺陷數(shù)據(jù)集(記為C類)。共收集耐張線夾X射線圖像443張，并進行壓接部位與壓接缺陷的人工標注，形成數(shù)據(jù)集A和C。B類數(shù)據(jù)集通過切割耐張線夾圖像中壓接部位獲得。通過數(shù)據(jù)增強獲得耐張線夾壓接部位圖像共1 772張。圖6為3種數(shù)據(jù)集標注情況。將上述3種數(shù)據(jù)集全部按8：2隨機劃分為訓(xùn)練集和驗證集。

圖6 3類數(shù)據(jù)集標注情況Fig.6 Labeling of three types of data sets

2.2 壓接部位定位結(jié)果與分析

利用CenterNet對壓接部位進行定位。模型訓(xùn)練中圖像采用A類數(shù)據(jù)集，輸入尺寸為512×512，學(xué)習(xí)率RL=0.000 1，圖片分批進入訓(xùn)練網(wǎng)絡(luò)，每批大小為8，訓(xùn)練代數(shù)epoch=100，置信度為0.5。

耐張線夾壓接部位部分檢測結(jié)果如圖7所示。

圖7 耐張線夾壓接部位檢測結(jié)果Fig.7 Test results of the crimping part of the tension clamp

同樣地，用A類數(shù)據(jù)集分別在SSD、YOLOv3、RetinaNet網(wǎng)絡(luò)上進行同批次訓(xùn)練，與CenterNet模型進行比較，檢測結(jié)果如表1所示。CenterNet算法對耐張線夾壓接部位與其他幾種算法相比有較高的識別效果。準確率達到98.4%，雖然與SSD算法相比準確率稍低，但召回率達到98.7%，比SSD算法提升8.9%。綜合來看，CenterNet算法在確定壓接部位中具有最好的性能，其PA值為97.1%，故選用CenterNet算法作為壓接部位的檢測算法。

表1 不同算法在耐張線夾壓接部位數(shù)據(jù)集測試結(jié)果Tab.1 Test results of different algorithms on the data set of the tension clamp crimping position

2.3 壓接缺陷部位檢測結(jié)果分析

利用RetinaNet算法對壓接缺陷進行檢測。模型訓(xùn)練中圖像采用B類數(shù)據(jù)集，輸入圖像大小為512×512，使用隨機梯度下降法(SGD)來訓(xùn)練網(wǎng)絡(luò)模型。學(xué)習(xí)率RL=0.000 25，訓(xùn)練代數(shù)epoch=100。

壓接缺陷部位部分檢測結(jié)果如圖8所示。

圖 8 壓接缺陷部位部分檢測結(jié)果Fig.8 Partial inspection results of crimping defects

同樣地，用B類數(shù)據(jù)集分別在SSD、YOLOv3、CenterNett網(wǎng)絡(luò)上進行同批次訓(xùn)練，與RetinaNet模型進行比較，檢測結(jié)果如表2所示。

表2 不同算法在耐張線夾壓接缺陷數(shù)據(jù)集測試結(jié)果Tab.2 Test results of different algorithms on the data set of tension clamp crimping defects

RetinaNet算法在檢測壓接缺陷具有較好效果，準確率、召回率和PmA都達到95%以上，相較于其他一階段檢測算法有更好的性能，故更適合作為壓接缺陷檢測算法。

2.4 采用分級檢測與直接檢測效果對比分析

使用C類數(shù)據(jù)集，采用具有代表性的一階段檢測算法、二階段檢測算法，與文中所提分級檢測算法進行對比。對比結(jié)果如表3所示。二階段檢測算法Faster R-CNN在準確率與召回率方面雖然也表現(xiàn)出不錯的結(jié)果，比一階段檢測算法SSD在準確率與召回率方面分別高3.3%和4%，但仍然比文中所述分級檢測算法在準確率與召回率方面分別低2.2%和2.1%，并且在中和指標PA方面也低0.9%。所以在模型對目標的識別方面，文中述分級檢測算法具有更好的性能。更重要的是文中述分級檢測算法分別比SSD算法和Faster R-CNN算法高2 f/s、11 f/s。

表3 一、二階段檢測算法與文中分級算法檢測結(jié)果對比Tab.3 Comparison of the detection results of the first and second stage detection algorithm and the classification algorithm in the text

本實驗結(jié)果證明若直接采用一階段檢測算法(文中選用SSD)在原圖中檢測壓接缺陷，準確率、召回率和PA值較低，檢測效果并不好。若直接采用二階段檢測算法(Faster R-CNN)在原圖中檢測壓接缺陷，準確率、召回率和PA值較高，檢測效果較好，但檢測效率較低，不能實現(xiàn)快速檢測。所以，采用分級檢測策略能實現(xiàn)快速準確檢測出耐張線夾壓接缺陷，滿足實際工程需要。

3 結(jié)論

針對耐張線夾X射線圖像存在缺陷部位尺寸小且排列緊密等特點，提出了一種基于深度學(xué)習(xí)的耐張線夾壓接缺陷X射線圖像檢測系統(tǒng)。采用分級檢測原則，首先利用CenterNet算法定位存在缺陷的壓接部位并切割出壓接部位，增大壓接缺陷在圖像中的占比，其次利用數(shù)據(jù)增強擴充數(shù)據(jù)集，最后利用RetinaNet算法檢測壓接缺陷。通過仿真得出以下結(jié)論。

1)在確定壓接部位階段，CenterNet算法相比于其他一階段檢測算法具有更高準確率，在整張圖像中能更快速、準確的過濾無用信息，確定壓接部位，縮小壓接缺陷在圖像中占比，減小后續(xù)檢測壓接缺陷難度。

2)在確定壓接缺陷階段，RetinaNet相比于其他一階段檢測算法具有更好的性能，準確定位壓接部位，并識別是否具有壓接缺陷。最終實現(xiàn)耐張線夾X射線圖像壓接缺陷的快速定位識別。

3)通過分別與一階段檢測算法SSD、二階段檢測算法Faster R-CNN對比，文中所述分級檢測算法比一階段檢測算法有更高的準確率、召回率和AP值，比二階段算法具有更快的檢測速度。所以，采用分級檢測策略能實現(xiàn)快速準確檢測出耐張線夾壓接缺陷，滿足實際工程需要。