基于深度學(xué)習(xí)的高壓輸電線路防振錘檢測(cè)

賈雁飛 ，陳廣大 ，楊淼 ，邢礫云 ，趙立權(quán) ，李帥洋

(1.北華大學(xué)電氣與信息工程學(xué)院，吉林吉林 132013；2.東北電力大學(xué)電氣工程學(xué)院，吉林吉林 132012)

0 前言

隨著人工智能技術(shù)的發(fā)展，基于無人機(jī)的輸電線路巡檢已經(jīng)成為線路巡檢的重要手段。常規(guī)無人機(jī)輸電線路巡檢需要將數(shù)據(jù)實(shí)時(shí)傳輸給服務(wù)器或者巡檢后將數(shù)據(jù)傳輸給服務(wù)器，服務(wù)器采用深度學(xué)習(xí)方法實(shí)現(xiàn)線路設(shè)備圖像目標(biāo)檢測(cè)以及故障識(shí)別等?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)方法不需要人工設(shè)計(jì)特征提取方法，相對(duì)傳統(tǒng)目標(biāo)檢測(cè)方法精度更高?，F(xiàn)有基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法大致可以分為基于候選區(qū)域的兩階段圖像目標(biāo)檢測(cè)方法和基于回歸的單階段圖像目標(biāo)檢測(cè)方法。前者最具有代表性的方法是由GIRSHICK等提出的R-CNN方法，后來在此基礎(chǔ)上人們提出了Fast R-CNN、Faster R-CNN、Mask R-CNN、MS-RCNN等其他改進(jìn)方法。此類方法追求較高精度的目標(biāo)檢測(cè)性能，但是忽略了檢測(cè)速度，適用于實(shí)時(shí)性不高或者服務(wù)器運(yùn)算能力較強(qiáng)的應(yīng)用環(huán)境。

基于回歸的單階段圖像目標(biāo)檢測(cè)方法更多關(guān)注的是在檢測(cè)精度滿足實(shí)際需求的前提下，盡可能地提高檢測(cè)速度，因此它更適用于對(duì)實(shí)時(shí)性要求較高或者需要快速檢測(cè)的應(yīng)用場(chǎng)合。代表性的方法有SSD系列方法和YOLO系列方法，其中YOLO系列方法更具有代表性。2016年，REDMON等提出了經(jīng)典的YOLOv1目標(biāo)檢測(cè)方法，該作者在此基礎(chǔ)上于2017年提出了YOLOv2，2018年提出了YOLOv3目標(biāo)檢測(cè)方法。此后因REDMON不滿YOLO算法應(yīng)用于軍事和隱私窺探等方面，退出了人工智能領(lǐng)域的研究，YOLOv3成為YOLO系列的最后一個(gè)版本。雖然后續(xù)人們提出了許多改進(jìn)的YOLOv3方法，但都沒有被稱為新的YOLO版本，直到2020年BOCHKOVSKIY等在YOLOv3的基礎(chǔ)上提出了YOLOv4方法，此方法也是到目前為止REDMON唯一承認(rèn)的YOLO方法新版本。YOLO系列方法是單階段圖像目標(biāo)檢測(cè)方法中最常用的方法，目前已經(jīng)被廣泛應(yīng)用于電力系統(tǒng)、交通以及安全監(jiān)督等領(lǐng)域。

由于輸電線路巡檢圖像數(shù)據(jù)量大，若采用復(fù)雜度較高的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法，很難在服務(wù)器運(yùn)算能力有限的前提下，實(shí)現(xiàn)輸電設(shè)備圖像目標(biāo)快速檢測(cè)和分析。若采用復(fù)雜度非常低的基于輕量化深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法，又很難保證輸電設(shè)備目標(biāo)檢測(cè)精度。綜合考慮輸電線路防振錘檢測(cè)的精度要求和巡檢實(shí)際需求，本文作者采用基于YOLOv4的線路防振錘檢測(cè)方法。

由于防振錘發(fā)生移位時(shí)，很容易形成高度重合的現(xiàn)象，導(dǎo)致檢測(cè)過程中出現(xiàn)漏檢和檢測(cè)誤差較大的問題。為此，本文作者提出動(dòng)態(tài)非極大值抑制(NMS)方法，并用該方法確定YOLOv4方法中防振錘檢測(cè)目標(biāo)邊界框，提高邊界框選擇的準(zhǔn)確性，降低防振錘漏檢概率，提高防振錘的檢測(cè)精度。此外，本文作者還提出采用分段線性函數(shù)作為激活函數(shù)，增強(qiáng)模型的非線性表達(dá)能力，進(jìn)一步提高防振錘的檢測(cè)精度。

1 基于YOLOv4的防振錘檢測(cè)

基于YOLOv4的防振錘檢測(cè)過程如圖1所示。首先，采用CSPDarkNet-53網(wǎng)絡(luò)作為YOLOv4算法的主干網(wǎng)絡(luò)，對(duì)采集到的輸電線路圖像進(jìn)行特征提取，得到淺層特征；其次，采用特征金字塔網(wǎng)絡(luò)，對(duì)主干網(wǎng)絡(luò)提取到的淺層特征進(jìn)行處理和增強(qiáng)，從而使模型學(xué)習(xí)到更高層次的防振錘特征；然后，利用3個(gè)檢測(cè)分支，從特征金字塔網(wǎng)絡(luò)的輸出特征中檢測(cè)出不同尺度大小的防振錘，同時(shí)在防振錘目標(biāo)周圍產(chǎn)生多個(gè)檢測(cè)框；最后，利用非極大值抑制方法從同一目標(biāo)周圍多個(gè)檢測(cè)框中選擇出一個(gè)最優(yōu)的邊界框，實(shí)現(xiàn)防振錘目標(biāo)定位。

在YOLOv4檢測(cè)算法中使用的訓(xùn)練技巧包括自對(duì)抗訓(xùn)練、權(quán)重殘差連接、交叉小批量標(biāo)準(zhǔn)化、Mosaic數(shù)據(jù)增強(qiáng)、Mish激活函數(shù)、DropBlock正則化、CIoU損失等，它將這些技巧進(jìn)行有效的組合，以達(dá)到最好的檢測(cè)效果。與YOLOv3算法相比，在檢測(cè)速度基本沒有變化的前提下，YOLOv4的檢測(cè)精度提高了近10%，因此也成為YOLO系列最新版本。

圖1 基于YOLOv4防振錘檢測(cè)

2 改進(jìn)的YOLOv4圖像目標(biāo)檢測(cè)方法

2.1 非極大值抑制方法改進(jìn)

YOLOv4算法為每個(gè)網(wǎng)格分配3個(gè)預(yù)設(shè)的錨框尺度。因此，會(huì)出現(xiàn)多個(gè)檢測(cè)框?qū)?yīng)于同1個(gè)目標(biāo)，但是每1個(gè)目標(biāo)有且僅有1個(gè)正確的檢測(cè)框，其余的檢測(cè)框應(yīng)該被刪除以避免影響算法的檢測(cè)性能。在YOLOv4算法中使用了NMS方法來抑制重復(fù)的檢測(cè)框。在NMS方法中，如果低分?jǐn)?shù)檢測(cè)框與高分?jǐn)?shù)檢測(cè)框的重疊率大于1個(gè)固定閾值，則低分?jǐn)?shù)的檢測(cè)框?qū)⒈灰种?。因此，該算法可以減少檢測(cè)框的數(shù)量，提高檢測(cè)速度。但是，在目標(biāo)密集且有遮擋的情況下，NMS方法會(huì)遇到問題：如果1個(gè)目標(biāo)出現(xiàn)在另1個(gè)目標(biāo)的重疊區(qū)域，當(dāng)2個(gè)目標(biāo)的檢測(cè)框非常接近時(shí)，NMS方法會(huì)抑制低分?jǐn)?shù)檢測(cè)框，這將導(dǎo)致有1個(gè)目標(biāo)檢測(cè)不到，造成漏檢現(xiàn)象。在NMS方法中，只是用1個(gè)固定的閾值來處理檢測(cè)框，如果在NMS方法中使用1個(gè)較小的閾值，當(dāng)2個(gè)目標(biāo)高度重疊時(shí)，則會(huì)導(dǎo)致漏檢另1個(gè)目標(biāo)，如果使用大的閾值，則會(huì)導(dǎo)致誤報(bào)。

為解決這個(gè)問題，應(yīng)該考慮以下條件：當(dāng)目標(biāo)周圍有多個(gè)密集的檢測(cè)框時(shí)，需要提高NMS的閾值，以保留具有較高重疊的相鄰檢測(cè)框；相反，當(dāng)目標(biāo)周圍存在較稀疏的檢測(cè)框時(shí)，應(yīng)使用較小的NMS閾值來抑制重疊度較高的檢測(cè)框，因?yàn)檫@些高度重疊的檢測(cè)框有很大的概率變成誤報(bào)。因此，應(yīng)該對(duì)它們進(jìn)行抑制。

為滿足這些條件，本文作者提出一個(gè)改進(jìn)的非極大值抑制方法，命名為動(dòng)態(tài)非極大值抑制(DNMS)方法。它根據(jù)目標(biāo)周圍檢測(cè)框的統(tǒng)計(jì)特性確定出一個(gè)動(dòng)態(tài)閾值來代替NMS方法中的固定閾值。假設(shè)檢測(cè)框的集合為，相應(yīng)的檢測(cè)分?jǐn)?shù)集合為。首先，對(duì)檢測(cè)框按分?jǐn)?shù)進(jìn)行降序排列，選擇分?jǐn)?shù)最高的檢測(cè)框記為，并將它從集合移動(dòng)到集合中；然后，計(jì)算檢測(cè)框與集合中每個(gè)檢測(cè)框之間的交并比(IOU)值，并利用得到的IOU值的統(tǒng)計(jì)特性(均值)來表示檢測(cè)框周圍檢測(cè)框的密度。IOU均值的表達(dá)式如下：

(1)

式中：為集合中檢測(cè)框的數(shù)目。越大，則周圍的檢測(cè)框的密度越大。因此，表示周圍檢測(cè)框的密度，可以用來控制檢測(cè)框的數(shù)量。將與(一個(gè)固定閾值)進(jìn)行比較，選擇最大值作為最終的動(dòng)態(tài)抑制閾值，其數(shù)學(xué)表達(dá)式為

=max(,)

(2)

如果檢測(cè)框與檢測(cè)框之間的IOU值小于動(dòng)態(tài)閾值，則的分?jǐn)?shù)保留下來，即檢測(cè)框被保留，否則的分?jǐn)?shù)置為0。的數(shù)學(xué)表達(dá)式為

(3)

式中:為檢測(cè)框的檢測(cè)分?jǐn)?shù)，如果框的分?jǐn)?shù)是0，意味著這個(gè)檢測(cè)框?qū)⒈灰种啤Ｖ貜?fù)以上過程直到框集合是空集為止，將每次循環(huán)選擇的檢測(cè)框形成最終檢測(cè)框集合。

本文作者提出的動(dòng)態(tài)非極大值抑制方法中，如果檢測(cè)框周圍有很多密集的檢測(cè)框，則大于，動(dòng)態(tài)閾值等于。因此，提出的動(dòng)態(tài)非極大值抑制方法比原始NMS方法有更高的抑制閾值，所以它能夠在有檢測(cè)目標(biāo)遮擋的情況下，保留更多的檢測(cè)框，避免漏檢。反之，當(dāng)相鄰檢測(cè)框遠(yuǎn)離檢測(cè)框時(shí)，動(dòng)態(tài)閾值等于，抑制過程與傳統(tǒng)的NMS方法相同。

在所提出的動(dòng)態(tài)非極大值抑制方法中，使用一個(gè)動(dòng)態(tài)閾值(根據(jù)目標(biāo)周圍檢測(cè)框的統(tǒng)計(jì)特性確定)來代替?zhèn)鹘y(tǒng)NMS方法中的單一固定閾值。因此，動(dòng)態(tài)非極大值抑制方法的計(jì)算復(fù)雜度與NMS方法相同。與NMS方法相比，所提方法不增加任何超參數(shù)。動(dòng)態(tài)非極大值抑制方法中使用一個(gè)動(dòng)態(tài)閾值解決了NMS方法的單一固定閾值問題，從而使得檢測(cè)算法能夠選擇出更好的檢測(cè)框以完成目標(biāo)檢測(cè)任務(wù)。

2.2 激活函數(shù)改進(jìn)

在YOLOv4模型中的檢測(cè)部分使用的激活函數(shù)是Leaky ReLU函數(shù)，它是ReLU函數(shù)的變體。Leaky ReLU函數(shù)賦予負(fù)值一個(gè)小的梯度，使得處于負(fù)值的神經(jīng)元也能夠?qū)W習(xí)，從而解決ReLU函數(shù)負(fù)半軸神經(jīng)元不學(xué)習(xí)的問題，但是Leaky ReLU函數(shù)對(duì)負(fù)值的處理不是很好，并且函數(shù)曲線不是平滑曲線。通常好的激活函數(shù)的曲線應(yīng)當(dāng)是平滑曲線，且對(duì)于負(fù)值處理得更好。因此，在一些檢測(cè)算法中使用Swish函數(shù)作為激活函數(shù)。Swish函數(shù)的數(shù)學(xué)表達(dá)式為

()=/(1+e-)

(4)

Swish函數(shù)在深層網(wǎng)絡(luò)模型中的性能優(yōu)于ReLU及其繼承者，并且它的函數(shù)曲線是一個(gè)平滑曲線。雖然Swish函數(shù)可以顯著提高卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性，但由于該函數(shù)存在冪值計(jì)算，導(dǎo)致計(jì)算過程較為復(fù)雜，影響了檢測(cè)模型的速度。因此，本文作者提出使用分段線性函數(shù)hardswish來逼近Swish函數(shù)。hardswish函數(shù)的數(shù)學(xué)表達(dá)式為

(5)

相對(duì)于Leaky ReLU函數(shù)，hardswish函數(shù)的曲線是相對(duì)平滑的，且對(duì)負(fù)值有更好的處理效果，因此，在YOLOv4模型的檢測(cè)部分使用hardswish函數(shù)作為新的激活函數(shù)來改進(jìn)YOLOv4算法的網(wǎng)絡(luò)結(jié)構(gòu)。兩個(gè)函數(shù)的曲線對(duì)比如圖2所示。

圖2 Leaky ReLU函數(shù)和hardswish函數(shù)曲線

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)計(jì)算機(jī)軟件平臺(tái)配置如下：操作系統(tǒng)Ubuntu 18.04，兩顆CPU的型號(hào)均為Intel Xeon E5-2678 v3，GPU采用英偉達(dá)GTX1080Ti,內(nèi)存為128 GB。由于輸入圖像大小不一致，通過預(yù)處理方式將它轉(zhuǎn)換成大小為416像素×416像素的圖像，并作為YOLOv4原方法以及文中改進(jìn)方法的輸入。所有方法的初始學(xué)習(xí)率都是0.001，采用階梯型的學(xué)習(xí)率策略，利用動(dòng)量為0.9的隨機(jī)梯度下降優(yōu)化器來調(diào)整網(wǎng)絡(luò)參數(shù)。權(quán)重衰減設(shè)定為0.000 5，以防止模型過擬合，非極大值抑制閾值為0.5，每個(gè)批次訓(xùn)練8張圖像。

實(shí)驗(yàn)數(shù)據(jù)來源于某供電公司無人機(jī)巡檢圖像數(shù)據(jù)，經(jīng)過篩選得到4 852幅含有防振錘的無人機(jī)巡檢圖像，其中防振錘發(fā)生位移后，部分重合和接觸的圖像有1 732幅。由于無人機(jī)巡檢拍攝畫面較大，防振錘相對(duì)較小，為便于訓(xùn)練和測(cè)試，采用截圖的方式將含有防振錘的圖像從巡檢圖像中截取出來，作為訓(xùn)練和測(cè)試圖像。文中采用Labeling 數(shù)據(jù)標(biāo)注軟件對(duì)處理后的4 852幅圖像進(jìn)行標(biāo)注，并直接生成YOLO數(shù)據(jù)標(biāo)簽格式。數(shù)據(jù)集中訓(xùn)練集圖像有3 500幅，其中包含2個(gè)防振錘移位部分重疊或者接觸的圖像有1 200幅；剩下的圖像作為測(cè)試集樣本。

為驗(yàn)證算法的性能，文中采用準(zhǔn)確率、召回率和分?jǐn)?shù)來衡量算法的性能。其中準(zhǔn)確率的計(jì)算公式如下：

(6)

式中:為檢測(cè)框與真值框之間IOU值大于等于閾值的檢測(cè)框數(shù)量，即正確檢測(cè)框數(shù)量；是檢測(cè)框與真值框之間IOU值小于閾值的檢測(cè)框的數(shù)量，即錯(cuò)誤檢測(cè)框數(shù)量。召回率的計(jì)算公式如下：

(7)

式中：為沒有檢測(cè)到的真值框數(shù)量。為準(zhǔn)確率與召回率的調(diào)和平均值，其計(jì)算公式如下：

(8)

從測(cè)試集中選取3張具有代表性的圖片，用來測(cè)試算法對(duì)不同重疊程度的防振錘的檢測(cè)效果，結(jié)果如圖3所示。由圖(a1)和(b1)可以看出：2種方法都成功地檢測(cè)出這兩個(gè)防振錘，并且檢測(cè)結(jié)果差別很小，也就是對(duì)沒有重疊的防振錘，2種檢測(cè)方法的性能基本一致。圖(a2)和(b2)是兩個(gè)防振錘的錘頭部分重合的情況，可以看出：2種方法都檢測(cè)出2個(gè)防振錘，但是圖(b2)中右側(cè)防振錘的置信度為0.86，比(a1)中對(duì)應(yīng)的置信度0.97小，也就是圖(b2)的檢測(cè)誤差更大。圖(a3)和(b3)中包含有4個(gè)防振錘，其中最上面的2個(gè)防振錘沒有任何重疊，下面的2個(gè)防振錘幾乎完全重疊在一起?？梢钥闯觯翰捎酶倪M(jìn)后的方法可成功檢測(cè)出4個(gè)防振錘；采用原YOLOv4方法僅檢測(cè)出3個(gè)防振錘，將重疊后的2個(gè)防振錘檢測(cè)成為1個(gè)防振錘，發(fā)生了漏檢現(xiàn)象。而文中所提出的方法成功地將2個(gè)重疊的防振錘正確檢出，沒有發(fā)生漏檢現(xiàn)象。

圖3 不同情況下的防振錘檢測(cè)結(jié)果

表1所示為基于文中改進(jìn)方法的防振錘檢測(cè)性能和基于原YOLOv4方法的防振錘檢測(cè)性能?；诟倪M(jìn)后的YOLOv4方法防振錘檢測(cè)準(zhǔn)確率為91.7%，召回率為74.8%，分?jǐn)?shù)為82.39。基于原YOLOv4方法防振錘檢測(cè)準(zhǔn)確率82.3%，召回率63.9%，分?jǐn)?shù)為71.94。無論是在防振錘檢測(cè)準(zhǔn)確率、召回率還是分?jǐn)?shù)方面，改進(jìn)后方法的數(shù)值都高于原方法，即性能更好。

表1 防振錘檢測(cè)性能比較

綜上所述，改進(jìn)后的方法相對(duì)原方法能夠很好地檢測(cè)出重疊度較大的防振錘，而且具有較高的準(zhǔn)確率、召回率和分?jǐn)?shù)，整體性能更好。

4 結(jié)論

針對(duì)輸電線路巡檢中防振錘重疊程度較大時(shí)檢測(cè)誤差較大的問題，提出一種動(dòng)態(tài)非極大值抑制方法。從候選框中選擇合適的邊界框，提高邊界框選擇的準(zhǔn)確性、降低漏檢概率。此外，為了進(jìn)一步提高檢測(cè)性能，提出采用平滑性更好的hardswish函數(shù)作為YOLOv4算法的激活函數(shù)，相對(duì)于基于原YOLOv4的防振錘檢測(cè)方法，基于改進(jìn)的YOLOv4的防振錘檢測(cè)方法具有更高的準(zhǔn)確率、召回率和分?jǐn)?shù)，防振錘檢測(cè)性能更好。

本文作者僅實(shí)現(xiàn)了防振錘目標(biāo)檢測(cè)，沒有利用檢測(cè)結(jié)果計(jì)算防振錘是否發(fā)生了移位。未來，可以在此檢測(cè)結(jié)果的基礎(chǔ)上，進(jìn)一步檢測(cè)防振錘所在導(dǎo)線走向，進(jìn)而根據(jù)防振錘中心位置以及導(dǎo)線走向，判斷防振錘是否發(fā)生了移位等。