基于串聯(lián)Faster R-CNN的絕緣子自爆檢測(cè)識(shí)別

嚴(yán) 波，任仰勛，方登洲，夏令志，陳 江

(1.國(guó)網(wǎng)安徽省電力有限公司，安徽 合肥 230601；2.安徽大學(xué) 電子信息工程學(xué)院，安徽 合肥 230601；3.安徽南瑞繼遠(yuǎn)電網(wǎng)技術(shù)有限公司，安徽 合肥 230088)

0 引 言

在電網(wǎng)系統(tǒng)中，利用無(wú)人機(jī)對(duì)高壓輸電線路進(jìn)行智能巡檢，對(duì)保障輸電線路安全具有極其重要的意義。絕緣子是輸電線路的重要組成部分，是唯一的電氣絕緣件和重要的結(jié)構(gòu)支撐件[1]。中國(guó)的超高壓輸電線路近30年來(lái)發(fā)生了多次大面積污閃事故，其中絕緣子自爆是造成大面積污閃事故的主要原因之一。因此，對(duì)高壓輸電線路上的絕緣子的自爆進(jìn)行檢測(cè)和識(shí)別就顯出其重要價(jià)值。目前，結(jié)合計(jì)算機(jī)視覺(jué)技術(shù)處理高壓輸電線路上的零部件已成為智能電網(wǎng)研究熱點(diǎn)，在圖像處理技術(shù)的基礎(chǔ)上，絕緣子的自爆檢測(cè)與識(shí)別研究也取得了一些進(jìn)展。

文獻(xiàn)[2]通過(guò)圖像空間到參數(shù)空間的映射轉(zhuǎn)換，分析了Hough變換橢圓檢測(cè)的基本原理，并對(duì)檢測(cè)的準(zhǔn)確性給出了相應(yīng)的判定標(biāo)準(zhǔn)，實(shí)現(xiàn)了立式絕緣子盤面的視覺(jué)檢測(cè)。文獻(xiàn)[3]使用最大類間方差法對(duì)絕緣子進(jìn)行分割，然后提取絕緣子不變矩特征值，最后使用Adaboost分類器定位絕緣子位置。文獻(xiàn)[4]首先基于水平梯度特征提取絕緣子各瓷片輪廓并對(duì)瓷片輪廓內(nèi)像素進(jìn)行復(fù)原，然后計(jì)算瓷片間距和灰度相似度，并與設(shè)置的閾值進(jìn)行比較以區(qū)分正常絕緣子和缺陷絕緣子。這些經(jīng)典的輸電線絕緣子及自爆識(shí)別方法大部分都是基于手動(dòng)提取絕緣子的特征，由于高壓輸電線的環(huán)境復(fù)雜，手動(dòng)提取的絕緣子顏色、紋理等特征已經(jīng)不能滿足現(xiàn)在電力系統(tǒng)絕緣子自爆檢測(cè)的需求。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別和分類中的應(yīng)用日益廣泛。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩類：一類是YOLOv3[5]、SSD[6]等，該類算法將目標(biāo)檢測(cè)轉(zhuǎn)化為回歸問(wèn)題，對(duì)原始圖片直接輸出目標(biāo)位置和類別。文獻(xiàn)[7]首先采用Focal Loss函數(shù)和均衡交叉熵函數(shù)改進(jìn)YOLOv3算法的損失函數(shù)，然后選擇凍結(jié)層并采用多階段遷移學(xué)習(xí)策略來(lái)訓(xùn)練網(wǎng)絡(luò)，從而實(shí)現(xiàn)端對(duì)端絕緣子串的定位與狀態(tài)識(shí)別。文獻(xiàn)[8]以ResNet網(wǎng)絡(luò)替代SSD結(jié)構(gòu)中原有的VGGNet使網(wǎng)絡(luò)的特征提取能力增強(qiáng)，然后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)出的絕緣子位置和絕緣子缺陷位置進(jìn)行重疊面積計(jì)算，確定絕緣子缺陷位置。該類算法檢測(cè)速度較快，但對(duì)小目標(biāo)檢測(cè)準(zhǔn)確率較低。另外一類是利用Faster R-CNN網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)的算法，該類算法生成候選區(qū)域，對(duì)區(qū)域加以分類以實(shí)現(xiàn)檢測(cè)，其檢測(cè)準(zhǔn)確率較高。文獻(xiàn)[9]通過(guò)公開數(shù)據(jù)集ImageNet預(yù)訓(xùn)練VGGNet，并將VGGNet作為特征提取網(wǎng)絡(luò)，預(yù)訓(xùn)練后用其參數(shù)初始化Faster R-CNN，通過(guò)絕緣子數(shù)據(jù)集再進(jìn)行訓(xùn)練，最終用來(lái)識(shí)別絕緣子目標(biāo)。文獻(xiàn)[10]采用多尺度特征融合方法改進(jìn)傳統(tǒng)的Faster R-CNN方法，實(shí)現(xiàn)絕緣子小目標(biāo)的精準(zhǔn)識(shí)別；然后，結(jié)合圖像處理方法實(shí)現(xiàn)自爆絕緣子的識(shí)別和定位。由于機(jī)巡檢過(guò)程中獲取的圖像存在光線明暗不定、背景復(fù)雜、小目標(biāo)等問(wèn)題，直接使用Faster R-CNN網(wǎng)絡(luò)對(duì)無(wú)人機(jī)圖像中絕緣子自爆進(jìn)行檢測(cè)和識(shí)別，精確度不高。

因此，文中以無(wú)人機(jī)拍攝的高壓輸電線圖像為研究對(duì)象，給出一種基于串聯(lián)Faster R-CNN網(wǎng)絡(luò)的無(wú)人機(jī)圖像中絕緣子檢測(cè)和自爆識(shí)別的算法。該算法分為兩個(gè)階段，分別串聯(lián)使用深度學(xué)習(xí)中具有強(qiáng)大目標(biāo)檢測(cè)能力的Faster R-CNN[11]網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)無(wú)人機(jī)高壓輸電線路圖像中絕緣子自爆的檢測(cè)和識(shí)別。第一階段使用Faster R-CNN網(wǎng)絡(luò)檢測(cè)出無(wú)人機(jī)高壓輸電線路圖像中絕緣子，第二階段使用Faster R-CNN網(wǎng)絡(luò)對(duì)檢測(cè)出的絕緣子圖像進(jìn)行自爆識(shí)別，提高對(duì)絕緣子檢測(cè)和自爆識(shí)別的性能，從而節(jié)約人力資源，降低成本。

1 Faster R-CNN網(wǎng)絡(luò)

目標(biāo)檢測(cè)的通用算法中，F(xiàn)aster R-CNN將特征提取、生成候選框、邊框回歸、分類于一個(gè)網(wǎng)絡(luò)中，不僅速度有明顯提升，而且對(duì)小目標(biāo)具有較高的檢測(cè)精度。Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，文中基于Faster R-CNN網(wǎng)絡(luò)設(shè)計(jì)的算法對(duì)輸入圖片的長(zhǎng)寬限制在600到1 000之間，將經(jīng)過(guò)Retinex算法[12]增強(qiáng)處理后的訓(xùn)練數(shù)據(jù)送入特征提取網(wǎng)絡(luò)FPN[13]生成特征圖，將輸出的特征圖送入?yún)^(qū)域建議網(wǎng)絡(luò)生成候選區(qū)域，再將提取的候選區(qū)域的特征經(jīng)RoI Pooling層處理為固定大小的特征向量，送入后面的全連接層實(shí)現(xiàn)分類和邊框回歸。

圖1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

文中在FPN中抽取絕緣子多尺度特征的卷積神經(jīng)網(wǎng)絡(luò)是ResNet[14]。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)或者全連接網(wǎng)絡(luò)在信息傳遞過(guò)程中或多或少會(huì)存在信息丟失或損耗，同時(shí)還可能導(dǎo)致梯度消失或者梯度爆炸問(wèn)題，導(dǎo)致很深的網(wǎng)絡(luò)無(wú)法訓(xùn)練。ResNet通過(guò)直接將輸入信息繞道傳到輸出，保護(hù)信息的完整性，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的那一部分，簡(jiǎn)化學(xué)習(xí)目標(biāo)，降低學(xué)習(xí)難度，加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，模型的準(zhǔn)確率也有較大的提升。文中選擇的ResNet-101去掉了原網(wǎng)絡(luò)中最后的全連接層和池化層，利用它來(lái)提取絕緣子的特征。

區(qū)域建議網(wǎng)絡(luò)的輸入為特征金字塔網(wǎng)絡(luò)生成的多層特征圖，輸出為目標(biāo)候選區(qū)域的矩形框合集。區(qū)域建議網(wǎng)絡(luò)通過(guò)在FPN輸出的特征圖上使用單個(gè)3×3卷積直接提取候選區(qū)域，特征金字塔網(wǎng)絡(luò)輸出的每層特征圖上通過(guò)3×3卷積之后每個(gè)像素點(diǎn)映射回原始圖像對(duì)應(yīng)的坐標(biāo)點(diǎn)，以該點(diǎn)為中心生成3種比例和3種尺度，共計(jì)9種不同大小的候選區(qū)域(anchor)。區(qū)域建議網(wǎng)絡(luò)的候選區(qū)域采用的是[0.5，1，2]三種基礎(chǔ)尺度的長(zhǎng)寬比例。

2 串聯(lián)Faster R-CNN網(wǎng)絡(luò)

Faster R-CNN具有檢測(cè)速度快、精度高、訓(xùn)練方便的優(yōu)點(diǎn)，但由于無(wú)人機(jī)巡檢過(guò)程中獲取的圖像存在光線明暗不定、絕緣子自爆目標(biāo)小等問(wèn)題，直接使用Faster R-CNN網(wǎng)絡(luò)對(duì)無(wú)人機(jī)圖像中絕緣子自爆進(jìn)行檢測(cè)和識(shí)別，精確度不高。另外，在所獲取的無(wú)人機(jī)圖像中，背景物體包括了樹枝樹葉、石塊土壤、飛翔的鳥類和其他各種復(fù)雜形狀的物體，這些背景物體和前景目標(biāo)在顏色、紋理上和自爆后的絕緣子具有很高的一致性，增加了對(duì)目標(biāo)的特征提取和檢測(cè)的難度。文中利用串聯(lián)Faster R-CNN網(wǎng)絡(luò)實(shí)現(xiàn)無(wú)人機(jī)圖像中絕緣子自爆檢測(cè)和識(shí)別算法。該算法分為兩個(gè)階段，第一階段使用Faster R-CNN網(wǎng)絡(luò)檢測(cè)出無(wú)人機(jī)高壓輸電線路圖像中的絕緣子，第二階段使用Faster R-CNN網(wǎng)絡(luò)對(duì)檢測(cè)出的絕緣子圖像進(jìn)行自爆識(shí)別。第二階段使用第一階段訓(xùn)練出來(lái)的模型參數(shù)作為模型的初始參數(shù)，類似于遷移學(xué)習(xí)方法，提高了模型的運(yùn)算速度和檢測(cè)精確性。

如圖2所示，在第一部分中，利用無(wú)人機(jī)圖像和絕緣子的標(biāo)簽數(shù)據(jù)構(gòu)建數(shù)據(jù)集對(duì)Faster R-CNN中的特征提取網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，預(yù)訓(xùn)練后的特征圖輸入?yún)^(qū)域建議網(wǎng)絡(luò)進(jìn)行區(qū)域建議。分類器基于構(gòu)造的CNN的分類部分。根據(jù)所獲得的絕緣子的邊界框，對(duì)圖像進(jìn)行裁剪以保留絕緣子的區(qū)域并去除背景。然后將絕緣子的區(qū)域用作第二部分的輸入。第二部分中的其他結(jié)構(gòu)和設(shè)置與第一部分中的類似，第二階段的Faster R-CNN模型的初始參數(shù)使用第一階段訓(xùn)練出來(lái)的模型參數(shù)，F(xiàn)aster R-CNN模型的輸入為沒(méi)有背景信息且已經(jīng)標(biāo)注過(guò)自爆標(biāo)簽的絕緣子圖像，經(jīng)過(guò)特征提取網(wǎng)絡(luò)提取出自爆絕緣子的抽象特征，輸入?yún)^(qū)域建議網(wǎng)絡(luò)實(shí)現(xiàn)絕緣子自爆檢測(cè)。

圖2 串聯(lián)Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

Faster R-CNN模型的損失函數(shù)可用式(1)表示：

(1)

其中，Lcls為分類損失函數(shù)，Lreg為回歸損失函數(shù)，定義式分別為式(2)和式(3)：

(2)

(3)

(4)

另外，針對(duì)自爆絕緣子圖像樣本中自爆區(qū)域較小且存在前景與背景不均衡的現(xiàn)象，文中采用Focal Loss函數(shù)[15]改進(jìn)Faster R-CNN中區(qū)域建議網(wǎng)絡(luò)的分類損失，通過(guò)對(duì)交叉熵?fù)p失增加權(quán)重，解決了正負(fù)樣本分布不平衡以及簡(jiǎn)單樣本與困難樣本不平衡的問(wèn)題。Focal Loss函數(shù)表達(dá)式如式(5)所示：

(5)

其中，p為激活函數(shù)Sigmoid的輸出值；γ≥0為聚焦參數(shù)，文中取γ=2；(1-p)γ為調(diào)節(jié)因子;0≤α≤1，為類別權(quán)重因子，文中取α=0.25；γ和α為固定值，不參與訓(xùn)練；y為標(biāo)簽值。無(wú)論是前景類還是背景類，p越大，權(quán)重(1-p)γ就越小，lg(p)就越大，對(duì)困難樣本的檢測(cè)效果越好。

3 算法流程

由于無(wú)人機(jī)在拍攝輸電線路圖像時(shí)存在拍攝角度變化等造成的光照不均問(wèn)題，因此，文中串聯(lián)Faster R-CNN網(wǎng)絡(luò)的無(wú)人機(jī)圖像中絕緣子自爆檢測(cè)和識(shí)別算法首先采用Retinex算法對(duì)圖像進(jìn)行增強(qiáng)預(yù)處理，減小光線不均對(duì)檢測(cè)性能的影響；隨后對(duì)訓(xùn)練樣本進(jìn)行標(biāo)注，除了在圖像中標(biāo)注出絕緣子的位置用于第一階段絕緣子檢測(cè)網(wǎng)絡(luò)Faster R-CNN模型的訓(xùn)練，同時(shí)需要將樣本中的絕緣子截取出來(lái)并標(biāo)注自爆類型，用于第二階段Faster R-CNN模型對(duì)絕緣子自爆識(shí)別的訓(xùn)練。在測(cè)試時(shí)，將無(wú)人機(jī)圖像首先送入訓(xùn)練好的Faster R-CNN網(wǎng)絡(luò)中檢測(cè)出絕緣子的位置，然后送入第二階段的Faster R-CNN模型中進(jìn)行的絕緣子自爆識(shí)別，文中算法總體結(jié)構(gòu)框圖如圖3所示。

圖3 算法結(jié)構(gòu)框圖

4 實(shí)驗(yàn)結(jié)果與分析

文中實(shí)驗(yàn)軟件環(huán)境為Ubuntu 16.04 LTS 64位操作系統(tǒng)，使用Python3.6和Matlab2016a作為編程語(yǔ)言，模型網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)采用的是當(dāng)前主流的深度學(xué)習(xí)框架Tensorflow，并使用NVIDIA GeForce GTX titan x GPU加速訓(xùn)練過(guò)程，CUDA版本為9.0。

實(shí)驗(yàn)訓(xùn)練集圖像選用的是800幅不同背景下的輸電線路圖像，在絕緣子檢測(cè)實(shí)驗(yàn)中，將數(shù)據(jù)集按照4∶1隨機(jī)劃分為訓(xùn)練集和測(cè)試集，即其中640幅作為訓(xùn)練集，160幅作為測(cè)試集。部分輸電線路圖像如圖4所示。

圖4 部分無(wú)人機(jī)拍攝的含有絕緣子的輸電線路圖像

實(shí)驗(yàn)均采用批(batch)訓(xùn)練方式，將訓(xùn)練集和測(cè)試集分為多個(gè)批次，每個(gè)batch大小設(shè)置為64，即每批輸入圖像為64張進(jìn)行訓(xùn)練。在絕緣子檢測(cè)實(shí)驗(yàn)中，整個(gè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程使用采用隨機(jī)梯度下降優(yōu)化算法(stochastic gradient descent，SGD)優(yōu)化模型，學(xué)習(xí)率為0.001，每隔2 000迭代次數(shù)保存一次訓(xùn)練參數(shù)文件，最大迭代次數(shù)設(shè)置為50 000。在絕緣子自爆識(shí)別實(shí)驗(yàn)中，初始參數(shù)采用第一階段獲得的模型參數(shù)，在初始參數(shù)的基礎(chǔ)上，同樣使用SGD優(yōu)化模型，學(xué)習(xí)率設(shè)置為0.000 1，每隔200迭代次數(shù)保存一次訓(xùn)練參數(shù)，最大迭代次數(shù)為10 000。

利用文中算法對(duì)輸電線路圖像的絕緣子進(jìn)行檢測(cè)，部分檢測(cè)結(jié)果如圖5所示。將檢測(cè)出來(lái)的絕緣子再進(jìn)行自爆識(shí)別，絕緣子自爆識(shí)別結(jié)果如圖6所示。

圖5 絕緣子檢測(cè)結(jié)果

圖6 絕緣子自爆識(shí)別結(jié)果

常用的性能評(píng)價(jià)指標(biāo)主要有精確率(precision)、召回率(recall)、平均精確率(average precision，AP)以及平均精確率均值(mean average precision，mAP)。AP表示為以單類目標(biāo)在測(cè)試集的召回率為x軸，精確率為y軸，利用插值繪制出PR曲線圖，PR曲線下面積即為該類目標(biāo)的AP值。mAP則表示為對(duì)N個(gè)類別的AP值求平均值，mAP的值越大表示該模型的定位與識(shí)別的準(zhǔn)確率越高。其定義式如公式(6)所示：

(6)

文中均使用mAP@0.5作為評(píng)價(jià)指標(biāo)來(lái)進(jìn)行絕緣子自爆檢測(cè)和識(shí)別精度的描述，其中@0.5表示當(dāng)檢測(cè)框與目標(biāo)框IoU值大于0.5時(shí)算正類樣本。同時(shí)和YOLOv3、Faster R-CNN以及SSD方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖7所示。YOLOv3和Faster R-CNN方法利用目標(biāo)檢測(cè)算法同時(shí)完成檢測(cè)和分類工作，雖然工作量較少，但精度較低。文中所提絕緣子自爆檢測(cè)方法可以將絕緣子完整地剪切出來(lái)，且不包含過(guò)多復(fù)雜的背景，再通過(guò)第二階段的Faster R-CNN網(wǎng)絡(luò)進(jìn)行自爆識(shí)別，因此獲得了較高的自爆識(shí)別精度。

圖7 絕緣子自爆在主流算法下的檢測(cè)精度對(duì)比

5 結(jié)束語(yǔ)

以無(wú)人機(jī)輸電線路圖像中的絕緣子為研究對(duì)象，文中建立了一種基于串聯(lián)Faster R-CNN網(wǎng)絡(luò)的絕緣子檢測(cè)和自爆識(shí)別的模型。首先利用Faster R-CNN模型對(duì)無(wú)人機(jī)拍攝的輸電線路圖像進(jìn)行絕緣子檢測(cè)，然后采用串聯(lián)Faster R-CNN網(wǎng)絡(luò)模型對(duì)絕緣子的自爆進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，所提的絕緣子自爆檢測(cè)和識(shí)別模型具有更好的檢測(cè)和識(shí)別精度，能為電力設(shè)備的智能巡檢提供幫助。