基于改進(jìn)YOLOv3的輸電線路缺陷識(shí)別方法

陳嘉琛，俞曜辰，陳中，韓衛(wèi)

(1. 東南大學(xué)吳健雄學(xué)院，南京211189；2. 東南大學(xué)電氣工程學(xué)院，南京210096；3. 深圳市多翼電智科技有限公司， 南京211100)

0 引言

近年來(lái)，隨著無(wú)人機(jī)巡檢輸電線路缺陷技術(shù)研究的不斷深入，該技術(shù)的應(yīng)用場(chǎng)景不僅限于實(shí)驗(yàn)室運(yùn)行的理論場(chǎng)景，又逐漸向?qū)嶋H應(yīng)用的現(xiàn)實(shí)場(chǎng)景轉(zhuǎn)變，但此過(guò)程卻逐漸暴露出許多問(wèn)題。試運(yùn)行現(xiàn)場(chǎng)樣本量較為固定，測(cè)試樣本與訓(xùn)練樣本相似，且需較長(zhǎng)計(jì)算時(shí)間，而實(shí)際應(yīng)用現(xiàn)場(chǎng)巡檢范圍廣，拍攝樣本種類(lèi)多變且數(shù)量較少，所以試運(yùn)行現(xiàn)場(chǎng)使用的一些基礎(chǔ)圖像識(shí)別算法逐漸顯現(xiàn)出較多問(wèn)題，例如過(guò)擬合、對(duì)硬件要求高、計(jì)算耗時(shí)長(zhǎng)等，導(dǎo)致實(shí)際應(yīng)用缺陷診斷效果不佳。因此，研究適應(yīng)輸電線路巡檢實(shí)際應(yīng)用現(xiàn)場(chǎng)的改進(jìn)圖像識(shí)別算法對(duì)巡檢技術(shù)發(fā)展具有重要意義。

目前，機(jī)器學(xué)習(xí)圖像識(shí)別算法大致分為兩類(lèi)，分別為基于候選區(qū)域的機(jī)器學(xué)習(xí)圖像識(shí)別算法和基于回歸的機(jī)器學(xué)習(xí)圖像識(shí)別算法[1 - 3]?；诤蜻x區(qū)域的機(jī)器學(xué)習(xí)圖像識(shí)別算法，主流的有更快的基于區(qū)域的卷積網(wǎng)絡(luò)(faster region-based convolutional network，F(xiàn)aster R-CNN)[2]、掩膜基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(mask region-based convolutional network，Mask R-CNN)等，此類(lèi)算法擁有訓(xùn)練模型識(shí)別精度高的優(yōu)點(diǎn)；基于回歸的機(jī)器學(xué)習(xí)圖像識(shí)別算法較為典型的有YOLO系列等，此類(lèi)算法擁有訓(xùn)練模型檢測(cè)速度快的優(yōu)點(diǎn)，但此兩類(lèi)算法的訓(xùn)練模型均存在對(duì)硬件要求高、計(jì)算耗時(shí)過(guò)長(zhǎng)等問(wèn)題。為了解決這些算法存在的問(wèn)題，文獻(xiàn)[4 - 9]分別提出了對(duì)YOLOv3的多種改進(jìn)方法。其中文獻(xiàn)[4]在YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)中添加卷積層模塊，并粗略調(diào)整特征圖上的錨框大??；文獻(xiàn)[5]對(duì)YOLOv3網(wǎng)絡(luò)重新組合，使之包含多錨點(diǎn)檢測(cè)機(jī)制和卷積投票網(wǎng)兩個(gè)模塊以用于評(píng)價(jià)空氣質(zhì)量；文獻(xiàn)[7]提出了一種通過(guò)k-means維度聚類(lèi)改進(jìn)YOLOv3網(wǎng)絡(luò)的方法，應(yīng)用于不同場(chǎng)景下共享單車(chē)運(yùn)行狀態(tài)的檢測(cè)。文獻(xiàn)[10]提出了對(duì)Faster R-CNN的改進(jìn)方法，采用深度殘差網(wǎng)絡(luò)(residual network50，ResNet50)對(duì)原圖逐層進(jìn)行特征提取,得到最高層特征圖后，使用反池化法得到低特征圖，最后兩者融合進(jìn)行邊框回歸得到結(jié)果。

上述文獻(xiàn)對(duì)于圖像識(shí)別算法的改進(jìn)大多以提升識(shí)別精度為目標(biāo)，但輸電線路巡檢現(xiàn)場(chǎng)樣本種類(lèi)復(fù)雜和車(chē)載計(jì)算機(jī)計(jì)算能力有限的問(wèn)題依舊存在，且目前涉及此類(lèi)問(wèn)題的解決辦法也存在一定局限。文獻(xiàn)[11]提出了在內(nèi)存和算力受限的條件下，利用輕量化網(wǎng)絡(luò)代替YOLOv3的特征提取網(wǎng)絡(luò)以實(shí)現(xiàn)目標(biāo)高效檢測(cè)。但此方法所應(yīng)用的遙感目標(biāo)檢測(cè)領(lǐng)域目標(biāo)簡(jiǎn)單單一，不同于電力設(shè)備的種類(lèi)繁多、大小不一，因此該輕量化網(wǎng)絡(luò)實(shí)際應(yīng)用于輸電線路巡檢可能導(dǎo)致缺陷診斷效果不佳。而文獻(xiàn)[12]利用k-means++算法確定先驗(yàn)框，基于 YOLOv3 檢測(cè)架構(gòu)構(gòu)建了一種改進(jìn)的輕量級(jí)網(wǎng)絡(luò)以進(jìn)行絕緣子缺陷檢測(cè)，但是這種方法只應(yīng)用于絕緣子這一種電力設(shè)備，沒(méi)有全面考慮到巡檢現(xiàn)場(chǎng)各類(lèi)電力設(shè)備。

綜上，針對(duì)目前利用機(jī)器學(xué)習(xí)圖像識(shí)別算法進(jìn)行電力系統(tǒng)巡檢存在的問(wèn)題，本文提出了一種基于改進(jìn)的YOLOv3框架識(shí)別輸電線路設(shè)備故障缺陷算法模型，對(duì)基于回歸的深度學(xué)習(xí)算法YOLOv3進(jìn)行改進(jìn)，以適應(yīng)輸電線路巡檢實(shí)際應(yīng)用現(xiàn)場(chǎng)。該模型對(duì)基于Darknet- 53框架的YOLOv3算法進(jìn)行了改進(jìn)，對(duì)YOLOv3進(jìn)行了通道減少、框架瘦身的剪枝處理，并于特定卷積層后添加了SPP模塊，從而進(jìn)一步優(yōu)化了YOLOv3的輕量化性能，與文獻(xiàn)[12]輕量級(jí)算法不同之處在于改進(jìn)更加簡(jiǎn)明，對(duì)圖像預(yù)處理要求不高。輕量化處理后的該模型覆蓋輸電線路中的電力設(shè)備種類(lèi)較為齊全，適用于輸電線路巡檢現(xiàn)場(chǎng)中因無(wú)人機(jī)拍攝圖片數(shù)量較少、角度偏差等原因造成的有效樣本圖片數(shù)量不足的情況，減少了對(duì)車(chē)載服務(wù)器的計(jì)算力需求，即降低了實(shí)現(xiàn)YOLOv3算法的硬件要求。

1 YOLOv3及相關(guān)技術(shù)介紹

1.1 YOLOv3神經(jīng)網(wǎng)絡(luò)

YOLOv3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)由Darknet- 53卷積神經(jīng)網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)兩部分組成，其中Darknet- 53網(wǎng)絡(luò)結(jié)構(gòu)用于提取特征。圖1展示了Darknet- 53的結(jié)構(gòu)，其使用了連續(xù)的3 × 3和1 × 1卷積層以及大量殘差的跳層連接，這種特征使其在精度與ResNet-152[13]接近的同時(shí)，提高了檢測(cè)速度。YOLOv3神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果以識(shí)別框的形式展現(xiàn)，每個(gè)識(shí)別框包括3類(lèi)信息，分別為識(shí)別框的位置(中心坐標(biāo)(x,y)、框的高度h和寬度w)、此識(shí)別框的置信度(confidence)以及識(shí)別圖像的類(lèi)別。

圖1 Darknet- 53結(jié)構(gòu)Fig.1 Structure of Darknet- 53

1.2 SPP模塊

SPP模塊利用了空間金字塔池化模型[14]，將圖片從精細(xì)空間劃分到粗糙空間中，并聚集其局部特征。SPP模塊結(jié)構(gòu)圖如圖2所示，本文所使用的SPP模塊包含了4個(gè)并行的內(nèi)核大小分別為1×1，5×5，9×9，13×13的最大值池化(Maxpool)層，對(duì)于輸入大小為512×512的特征圖，通過(guò)SPP模塊，特征映射被轉(zhuǎn)化成了一個(gè)(169+81+25+1)×512的矩陣，輸入到后面的1×1卷積層中，擴(kuò)展為一維矩陣，從而形成固定大小的特征向量輸出。

圖2 SPP模塊結(jié)構(gòu)圖Fig.2 SPP module structure

1.3 卷積神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)的剪枝技術(shù)大致分為權(quán)重剪枝和結(jié)構(gòu)化剪枝兩類(lèi)。權(quán)重剪枝是指修剪不太重要的、較小的權(quán)重連接，此方法修剪權(quán)重連接后使得神經(jīng)網(wǎng)絡(luò)體系不規(guī)則，導(dǎo)致難以存儲(chǔ)新的模型，且對(duì)硬件要求極高，故不被經(jīng)常采用。結(jié)構(gòu)化剪枝是指在保留規(guī)則的神經(jīng)網(wǎng)絡(luò)體系前提下，通過(guò)稀疏訓(xùn)練和結(jié)構(gòu)化稀疏正則化[15]等手段刪除存有大量冗余參量、對(duì)預(yù)測(cè)結(jié)果影響小的卷積層通道，以減少迭代計(jì)算次數(shù)。出于對(duì)需要完整模型結(jié)構(gòu)的考慮，本文采用的是結(jié)構(gòu)化剪枝。

2 輸電線路缺陷識(shí)別神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)

2.1 添加SPP模塊

在無(wú)人機(jī)巡檢輸電線路的過(guò)程中，無(wú)人機(jī)所拍的圖片數(shù)據(jù)大小常常是不固定的，若如YOLOv3原網(wǎng)絡(luò)中的對(duì)圖片進(jìn)行切割變形，很可能會(huì)丟失重要信息，影響訓(xùn)練結(jié)果。針對(duì)這一問(wèn)題，本文算法中所使用的YOLOv3-SPP網(wǎng)絡(luò)[16]在卷積計(jì)算方面對(duì)YOLOv3網(wǎng)絡(luò)進(jìn)行了改進(jìn)。此網(wǎng)絡(luò)在保留YOLOv3網(wǎng)絡(luò)基本框架的前提下，在每個(gè)檢測(cè)頭前的第5層和第6層卷積層之間集成了SPP模塊。YOLOv3-SPP網(wǎng)絡(luò)通過(guò)SPP模塊在同一層內(nèi)獲得多尺度特征，減少了YOLOv3網(wǎng)絡(luò)的計(jì)算量。而針對(duì)因SPP模塊的引入而額外產(chǎn)生的特征通道，本文采取通道剪枝來(lái)減少和細(xì)化，具體操作將在2.2中介紹。

2.2 剪枝處理

YOLOv3網(wǎng)絡(luò)屬于大型卷積神經(jīng)網(wǎng)絡(luò)[17]，在添加SPP模塊后，如圖3所示，網(wǎng)絡(luò)仍較為復(fù)雜，每一次迭代計(jì)算會(huì)產(chǎn)生幾千萬(wàn)個(gè)計(jì)算權(quán)重。然而，并不是所有的卷積層通道都會(huì)投入訓(xùn)練過(guò)程，所以網(wǎng)絡(luò)中存在許多冗余的、對(duì)短期預(yù)測(cè)結(jié)果影響非常小的卷積層通道，導(dǎo)致了計(jì)算效率的下降。這些冗余的通道就是導(dǎo)致引言中所述的輸電線路巡檢現(xiàn)場(chǎng)部分問(wèn)題的重要原因。它們使網(wǎng)絡(luò)變得龐大復(fù)雜，對(duì)硬件性能要求隨之上升，且短期內(nèi)訓(xùn)練效果極差，故不適合在巡檢現(xiàn)場(chǎng)使用。

圖3 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 YOLOv3 network structure

因此，本文創(chuàng)新性地選擇了一種結(jié)構(gòu)化剪枝的方法，具體操作步驟如下。

首先，對(duì)網(wǎng)絡(luò)模型進(jìn)行稀疏訓(xùn)練，判定被剪通道的重要性。對(duì)自批標(biāo)準(zhǔn)化層(Batch Normalization，BN層)[18]中的縮放因子進(jìn)行L1正則化操作，得到BN層的可訓(xùn)練尺度比例因子。

(1)

式中：δ為平衡損失函數(shù)中坐標(biāo)損失函數(shù)系數(shù)(coord)與分類(lèi)損失函數(shù)系數(shù)(noobj)兩部分的懲罰因子；η為BN層中的可訓(xùn)練尺度比例因子；Γ為BN層中可訓(xùn)練尺度比例因子全集；L為損失函數(shù)[19]。

L=Lloc+Lclass+Lconfidence

(2)

式中：Lloc為坐標(biāo)損失；Lclass為分類(lèi)損失；Lconfidence為置信度損失。

(3)

(4)

(5)

Γ<(x)={η|η∈Γ,η

(6)

式中：x為函數(shù)變量；η為BN層中的可訓(xùn)練尺度比例因子；Г為BN層中可訓(xùn)練尺度比例因子全集。

(7)

式中：ηth為最佳閾值；ε為一個(gè)很小的可忽略的數(shù)，本文所有的實(shí)驗(yàn)使用ε=10-3。

其次，根據(jù)式(1)給出的判斷標(biāo)準(zhǔn)，確定被剪枝通道，開(kāi)始剪枝。根據(jù)式(6)—(7)計(jì)算出全局閾值ηth1， 用此閾值控制剪枝過(guò)程。在算法中將該閾值設(shè)置為剪枝率，一旦通道的可訓(xùn)練尺度比例因子η的大小低于此閾值，代表此比例因子對(duì)應(yīng)的卷積層通道已經(jīng)剪除。

最后，再根據(jù)式(6)—(7)引入一個(gè)局部安全閾值ηth2來(lái)判定是否剪枝過(guò)度，在算法中將其值設(shè)定為特定修剪層中所有值的百分位數(shù)，可訓(xùn)練尺度比例因子η的大小小于該閾值時(shí)，停止剪枝，以防止過(guò)度迭代剪枝導(dǎo)致模型永久性損毀，并對(duì)剪枝模型的參數(shù)進(jìn)行微調(diào)以確保完全剪枝。

如圖4所示，本文采用了添加SPP模塊并進(jìn)行了結(jié)構(gòu)化剪枝的YOLOv3模型，對(duì)輸電線路進(jìn)行了缺陷圖像識(shí)別。該新模型在進(jìn)行圖像識(shí)別時(shí)，圖像識(shí)別速度大大提高，能夠更加適應(yīng)硬件設(shè)備等級(jí)低、計(jì)算預(yù)測(cè)時(shí)間長(zhǎng)的輸電線路巡檢現(xiàn)場(chǎng)。

圖4 修改后的創(chuàng)新模型結(jié)構(gòu)Fig.4 Improved new module structure

3 實(shí)驗(yàn)與結(jié)果

本文選取的圖片數(shù)據(jù)庫(kù)來(lái)源于江蘇省南京市某段具備無(wú)人機(jī)巡檢條件的日常巡檢拍攝圖。

3.1 數(shù)據(jù)集選取及其標(biāo)注

本文選取的數(shù)據(jù)集分為金具、基礎(chǔ)、桿塔及絕緣子4個(gè)大類(lèi)，其中包含32種缺陷類(lèi)別，例如懸垂線夾銹蝕、U形螺栓銹蝕、防震錘銹蝕、聯(lián)板銹蝕、耐張線夾銹蝕、螺絲凸出或掉落、基礎(chǔ)樹(shù)木過(guò)于繁茂、鳥(niǎo)巢覆蓋、絕緣子斷裂等。由于需要比對(duì)樣本量少且質(zhì)量不一時(shí)剪枝模型的優(yōu)化性，實(shí)驗(yàn)僅選取289張圖片作為訓(xùn)練樣本，其中圖片大小均不同。使用LabelImg軟件對(duì)數(shù)據(jù)集進(jìn)行手工標(biāo)注，對(duì)每種缺陷類(lèi)別進(jìn)行特殊編號(hào)，例如“絕緣子斷裂”編為“05030904”，從而形成每類(lèi)缺陷的標(biāo)注位置坐標(biāo)，并以XML文件的格式存儲(chǔ)到訓(xùn)練集數(shù)據(jù)中。

3.2 剪枝處理

根據(jù)上文所述的可訓(xùn)練尺度比例因子公式(即式(1))與損失函數(shù)公式(即式(2)—(5))確定應(yīng)剪枝通道，并根據(jù)最佳閾值公式(即式(6)—(7))選擇最佳剪枝全局閾值ηth1=0.05， 每層中所有通道的局部安全閾值ηth2=0.9， 從而確保至少10%的通道未在同一層中被修剪。

3.3 訓(xùn)練模型與測(cè)試結(jié)果

對(duì)289張訓(xùn)練樣本進(jìn)行訓(xùn)練，在訓(xùn)練過(guò)程中設(shè)定交并比(intersection-over-union，IoU)為0.4，圖像分別率為256×256，一次訓(xùn)練選取的樣本數(shù)(Batch Size)為10，硬件配置如表1所示。

表1 硬件配置Tab.1 Hardware configuration

訓(xùn)練過(guò)程中記錄訓(xùn)練損失值以及驗(yàn)證損失值，并根據(jù)迭代次數(shù)繪制其散點(diǎn)圖。如圖5—6所示，橫軸均表示迭代次數(shù)，縱軸分別代表訓(xùn)練損失值及驗(yàn)證損失值。

圖5 訓(xùn)練損失值散點(diǎn)圖Fig.5 Scatter diagram of training loss value

圖6 驗(yàn)證損失值散點(diǎn)圖Fig.6 Scatter diagram of testing loss value

使用相同的289張圖片組成的數(shù)據(jù)集分別對(duì)YOLOv3原模型和本文提出的創(chuàng)新算法模型訓(xùn)練迭代10 000步，得到的結(jié)果如表2所示，實(shí)驗(yàn)結(jié)果表明，本文所使用的改進(jìn)后的YOLOv3剪枝模型相比YOLOv3原模型，在平均評(píng)價(jià)值幾乎不變的情況下，大幅減少了每步所需平均迭代時(shí)間。

表2 YOLOv3原模型與改進(jìn)的剪枝模型效果對(duì)比表 Tab.2 Comparison between YOLOv3 original and pruning modules

步驟如下。首先對(duì)輸電線路缺陷進(jìn)行特殊編號(hào)，1個(gè)編號(hào)對(duì)應(yīng)1種缺陷故障，例如“絕緣子斷裂”編為“05030904”。接著，使用新采集的非訓(xùn)練圖片集中的輸電線路圖片對(duì)訓(xùn)練好的改進(jìn)YOLOv3模型進(jìn)行測(cè)試，算法輸出如圖7所示，圖片中存在的缺陷，被圖像識(shí)別算法框選出來(lái)。例如圖7中的第一張檢測(cè)圖片中存在“聯(lián)板銹蝕”缺陷，機(jī)器自動(dòng)用方框選出聯(lián)板銹蝕位置，并給出對(duì)應(yīng)的缺陷編號(hào)為“05031001”；再如圖中的第8張檢測(cè)圖片存在“底部草木覆蓋過(guò)密”缺陷，機(jī)器自動(dòng)用方框選出桿塔底部的草木部分，并給出對(duì)應(yīng)的缺陷編號(hào)“01010118”，其余檢測(cè)圖片均同理，不再贅述。

圖7 算法輸出圖片結(jié)果Fig.7 Detection results of defective electrical equipment

本文使用漏檢率、誤檢率及AP值3項(xiàng)指標(biāo)進(jìn)行權(quán)重計(jì)算后的結(jié)果作為評(píng)價(jià)值。具體算法如下。

評(píng)價(jià)值=(1-漏檢率)×30%+

(1-誤檢率)×20%+KAP×50%

(8)

式中：X為漏檢率；Y為誤檢率；KAP為平均精度。

(9)

(10)

式中：T為驗(yàn)證圖片中標(biāo)注為目標(biāo)類(lèi)設(shè)備總個(gè)數(shù)；M1為廠家實(shí)際檢測(cè)出來(lái)且正確的目標(biāo)類(lèi)設(shè)備總個(gè)數(shù)；M2為廠家實(shí)際檢測(cè)出來(lái)的目標(biāo)類(lèi)設(shè)備總個(gè)數(shù)。

(11)

(12)

(13)

式中：計(jì)算KAP時(shí)選取IoU值為0.5；PT為IoU大于0.5的檢測(cè)框數(shù)量；PF為IoU不大于0.5的檢測(cè)框數(shù)量；NF為沒(méi)有檢測(cè)到的地面實(shí)況(ground truth)的數(shù)量。

然后，選取另外參照計(jì)算機(jī)作為訓(xùn)練載體，硬件配置見(jiàn)表3，其硬件水平不如原計(jì)算機(jī)。該計(jì)算機(jī)迭代10 000步的結(jié)果如表4所示。

表3 參照計(jì)算機(jī)的硬件配置Tab.3 Hardware configuration of reference computer

表4 硬件設(shè)備及使用模型對(duì)比表Tab.4 Comparison of hardware device

對(duì)比表2和表4的數(shù)據(jù)可以清楚看到，當(dāng)硬件設(shè)備相同時(shí)，剪枝模型沒(méi)有受到圖片量大幅減少的影響，其平均評(píng)價(jià)值雖略低于原模型(幾乎相同)，但其迭代時(shí)間平均每步減少0.8 s左右，每進(jìn)行一次10 000次迭代的訓(xùn)練可節(jié)約近3 h，這有效地解決了輸電線路巡檢現(xiàn)場(chǎng)算法訓(xùn)練樣本數(shù)量不足的問(wèn)題，同時(shí)彌補(bǔ)了輸電線路巡檢現(xiàn)場(chǎng)無(wú)法對(duì)新拍圖片進(jìn)行即時(shí)訓(xùn)練的缺陷；此外，當(dāng)?shù)螖?shù)相同時(shí)，剪枝模型對(duì)硬件設(shè)備的依賴(lài)性遠(yuǎn)小于原模型，剪枝模型的平均迭代時(shí)間差比原模型的平均迭代時(shí)間差小接近3 s，證明其大大降低了對(duì)硬件設(shè)備的要求。

4 結(jié)論

本文提出了一種基于SPP模塊的剪枝YOLOv3模型的輸電線路缺陷識(shí)別算法。該方法基于傳統(tǒng)YOLOv3框架，卷積層間添加了SPP模塊，并且對(duì)YOLOv3框架進(jìn)行了剪枝處理。最后針對(duì)江蘇省南京市某段線路的無(wú)人機(jī)日?，F(xiàn)場(chǎng)巡檢圖片庫(kù)進(jìn)行了訓(xùn)練及測(cè)試，驗(yàn)證了算法的工程可行性。在目前輸電線路巡檢照片有效樣本數(shù)量有限的實(shí)際情況下，仿真結(jié)果驗(yàn)證了改進(jìn)的算法在有效訓(xùn)練樣本數(shù)量不足情況下的可行性。并且，該算法較傳統(tǒng)YOLOv3算法對(duì)硬件設(shè)備要求不高，一定程度上減輕了圖像識(shí)別算法對(duì)GPU依賴(lài)程度高的情況。然而，對(duì)于較小的金具、基礎(chǔ)附近的雜物，此模型的評(píng)價(jià)值依舊不高。在此方面，可以繼續(xù)改善算法針對(duì)此情況的精度，同時(shí)將開(kāi)發(fā)可視化WEB界面，用于訓(xùn)練、識(shí)別、查看和分析結(jié)果。