基于GAN 的改進(jìn)RPN 輸電線路細(xì)小金具缺陷檢測(cè)方法*

徐海青余江斌梁 翀*張曉航

(1.安徽繼遠(yuǎn)軟件有限公司，安徽 合肥 230088；2.國家電網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)，信通研究院，北京 102211)

隨著我國經(jīng)濟(jì)的快速發(fā)展，電能已成為社會(huì)發(fā)展不可或缺的重要能源[1]，輸電線路發(fā)揮了至關(guān)重要的作用。然而，大量輸電線路在室外環(huán)境，易受自然環(huán)境影響，各種部件可能會(huì)出現(xiàn)不同程度的損壞與缺陷，這給電力系統(tǒng)的穩(wěn)定運(yùn)行帶來了巨大挑戰(zhàn)。因此，電力系統(tǒng)工作人員需要對(duì)輸電線路進(jìn)行長期重復(fù)性的檢查和維護(hù)。然而，輸電線路大多分布在高山、河流、森林等復(fù)雜環(huán)境下，這給傳統(tǒng)人工巡檢帶來了不少困難，人工巡檢還存在效率低、人為主觀因素強(qiáng)、危險(xiǎn)系數(shù)高等缺點(diǎn)[2]，因此無人機(jī)巡檢得到了廣泛應(yīng)用。

隨著無人機(jī)巡檢的應(yīng)用，以及人工智能技術(shù)的發(fā)展與推進(jìn)，在輸電線路缺陷識(shí)別和故障檢測(cè)領(lǐng)域，基于機(jī)器視覺和深度學(xué)習(xí)的圖像識(shí)別技術(shù)研究是一大熱點(diǎn)。Wu 等基于半局部算子提取圖像半局部紋理，再基于全局最優(yōu)活動(dòng)輪廓識(shí)別出絕緣子[3]。宋偉等綜合直方圖均衡化、RGB 彩色模型和形態(tài)學(xué)處理方法實(shí)現(xiàn)防振錘識(shí)別和金屬銹蝕缺陷檢測(cè)[4]。這些傳統(tǒng)圖像處理方法的魯棒性不強(qiáng)。近年來，隨著深度學(xué)習(xí)圖像識(shí)別方法大放異彩，輸電線路缺陷識(shí)別和故障檢測(cè)也得到發(fā)展。Nordeng 等基于VGG16 的Fast-RCNN 網(wǎng)絡(luò)實(shí)現(xiàn)了耐張線夾的識(shí)別[5]，Miao 等基于兩階段微調(diào)思想訓(xùn)練SSD 目標(biāo)檢測(cè)網(wǎng)絡(luò)，有效提高了瓷質(zhì)與復(fù)合絕緣子的目標(biāo)識(shí)別準(zhǔn)確率[6]。

目前，針對(duì)輸電線路細(xì)小金具的目標(biāo)識(shí)別與故障檢測(cè)識(shí)別率不高問題的研究較少。一方面，由于細(xì)小金具相對(duì)于桿塔體積小，導(dǎo)致電力巡檢圖像中包含的細(xì)小金具信息少，圖像質(zhì)量差；另一方面，在輸電線路細(xì)小金具目標(biāo)檢測(cè)中，由于輸電線路細(xì)小金具缺陷的概率較低，細(xì)小金具中包含缺陷的樣本量較少，導(dǎo)致類別不平衡，模型難以提取大量的包含缺陷目標(biāo)的特征，這給輸電線路細(xì)小金具的目標(biāo)識(shí)別與故障檢測(cè)相關(guān)研究帶來了一定的挑戰(zhàn)。為進(jìn)一步保障輸電線路的安全可靠運(yùn)行，有必要深入開展細(xì)小金具缺陷識(shí)別研究。而通過采用生成式對(duì)抗網(wǎng)絡(luò)生成樣本及調(diào)節(jié)樣本在模型分類損失所占權(quán)重的方式，來解決這個(gè)問題的研究仍不充分，但它對(duì)提高輸電線路細(xì)小金具缺陷識(shí)別精度具有重要作用。

本文提出一種基于GAN 的改進(jìn)RPN 輸電線路細(xì)小金具缺陷檢測(cè)方法。首先，針對(duì)輸電線路細(xì)小金具圖像質(zhì)量差、樣本數(shù)量少及類別不平衡而導(dǎo)致小金具缺陷識(shí)別精確度低的問題，通過生成式對(duì)抗網(wǎng)絡(luò)來彌補(bǔ)細(xì)小金具樣本量中正常樣本和缺陷樣本不均衡的問題；其次，通過改進(jìn)模型分類損失函數(shù)來彌補(bǔ)缺陷樣本中樣本數(shù)量較少的問題。

1 圖像樣本生成

本文首先針對(duì)輸電線路細(xì)小金具圖像質(zhì)量差、樣本數(shù)量少的問題，通過采用生成式對(duì)抗網(wǎng)絡(luò)生成大量包含缺陷目標(biāo)的小金具樣本，以此平衡輸電線路細(xì)小金具樣本中正常樣本和缺陷樣本的數(shù)量。生成式對(duì)抗網(wǎng)絡(luò)模型是一種無監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)模型，于2014 年被正式提出[8]，它將生成任務(wù)看作是生成器和判別器的對(duì)抗和博弈，該模型主要包含兩個(gè)模塊:生成模型(Generative Model)和判別模型(Discriminative Model)。生成模型G 通過學(xué)習(xí)真實(shí)的輸入訓(xùn)練樣本，讓自己能夠生成更加真實(shí)的樣本，以騙過判別器，而判別器D 的目標(biāo)是不斷地提升自己判別樣本真假的能力，因此，生成器和判別器在訓(xùn)練的過程中不斷地博弈，2 個(gè)模型在對(duì)抗的過程中不斷進(jìn)步，最終生成器可以生成越來越逼近真實(shí)狀態(tài)的樣本，而判別器判別不出樣本的真假情況，無法發(fā)現(xiàn)假樣本，從而達(dá)到一個(gè)穩(wěn)定的狀態(tài)。

GAN 的生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)均為卷積神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)分別如表1 和表2 所示。

表1 生成器網(wǎng)絡(luò)結(jié)構(gòu)

表2 判別器網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的輸入與輸出圖像尺寸為224×224，batch大小為60，最大迭代次數(shù)為6 000，選擇Adam 優(yōu)化器。生成器與判別器的網(wǎng)絡(luò)結(jié)構(gòu)均為淺層卷積神經(jīng)網(wǎng)絡(luò)，卷積核尺寸小，且通道數(shù)量少，這有利于生成海量的樣本數(shù)據(jù)，提高訓(xùn)練效率。GAN 結(jié)構(gòu)圖分別為圖1 和圖2。

圖1 生成器結(jié)構(gòu)

圖2 判別器結(jié)構(gòu)

本文針對(duì)細(xì)小金具數(shù)據(jù)集中正常樣本和缺陷樣本極不均衡的問題，采用生成式對(duì)抗網(wǎng)絡(luò)來生成細(xì)小金具缺陷樣本，訓(xùn)練樣本生成流程如圖3 所示。生成模型G 的輸入是一組隨機(jī)噪聲。生成模型G通過隨機(jī)噪聲的分布學(xué)習(xí)訓(xùn)練樣本圖像的數(shù)據(jù)分布，判別模型D 的輸入包含真實(shí)的訓(xùn)練圖像樣本，也包含生成模型合成的人工圖像樣本，D 對(duì)生成的圖像與真實(shí)圖像進(jìn)行判別。最終，生成模型G 生成區(qū)別于原始圖像的，騙過判別模型D 的目標(biāo)圖像，獲得豐富的細(xì)小金具缺陷樣本數(shù)據(jù)。

圖3 訓(xùn)練樣本生成流程

設(shè)有n組輸電線路細(xì)小金具缺陷樣本，則缺陷樣本集可表示為X＝{x1，x2，…，xn}。其中，xn表示第n組缺陷樣本的特征向量。已知缺陷樣本x服從的實(shí)際分布是Pr，且存在一組服從高斯分布Pz的噪聲z，通過構(gòu)建Pr和Pz之間的映射關(guān)系，就能夠由隨機(jī)噪聲生成人工樣本。生成式對(duì)抗網(wǎng)絡(luò)的基本構(gòu)架包括生成器模型G(z；θ(G))與判別器模型D(x；θ(D))，其中θ(G)表示生成模型的權(quán)值，θ(D)表示判別模型的權(quán)值。訓(xùn)練過程中，生成模型的輸入是隨機(jī)噪聲z，經(jīng)多層神經(jīng)元的計(jì)算獲得與缺陷樣本x維度相一致的輸出向量；判別模型的輸入包含生成模型生成的人工假樣本和真實(shí)狀態(tài)下的真樣本，經(jīng)多層神經(jīng)元計(jì)算獲得該人工樣本是否是真實(shí)樣本的概率。生成模型和判別模型的損失函數(shù)分別為:

式中:E(·)表示計(jì)算期望；G(z)表示生成模型合成的人工樣本；D(·)表示判別模型結(jié)果。最終的目標(biāo)函數(shù)如下所示:

2 目標(biāo)識(shí)別模型

針對(duì)輸電線路細(xì)小金具缺陷樣本量較少的問題，通過提高輸電線路細(xì)小金具樣本中容易錯(cuò)誤分類的缺陷樣本在模型分類損失中所占的權(quán)重，來重點(diǎn)訓(xùn)練這些缺陷樣本。為了實(shí)現(xiàn)輸電線路細(xì)小金具的缺陷識(shí)別與故障檢測(cè)，本文采用Faster-RCNN 作為目標(biāo)檢測(cè)框架，并針對(duì)Faster-RCNN 中RPN 的分類損失進(jìn)行改進(jìn)。

2.1 Faster-RCNN 概述

Faster-RCNN 具體的檢測(cè)流程如圖4 所示。Faster-RCNN 是在Fast-RCNN 的基礎(chǔ)上發(fā)展而來的，整個(gè)模型分為3 個(gè)部分:第一部分以ResNet-101[9]為卷積神經(jīng)網(wǎng)絡(luò)的特征提取模塊，輸入是原始的圖像樣本，輸出為圖像的特征圖，并利用一個(gè)具有水平連接和上采樣操作的自頂向下的特征圖融合模塊，將上部分輸出的深、淺層特征圖融合；第二部分是區(qū)域生成網(wǎng)絡(luò)RPN，輸入是上一步輸出的融合高維特征，輸出是感興趣區(qū)域(region of interesting，ROI)的位置得分和類別得分；第三部分將前幾個(gè)步驟得到的ROI 位置和特征圖送入Fast-RCNN 網(wǎng)絡(luò)，進(jìn)行類別確認(rèn)，輸出檢測(cè)結(jié)果。

圖4 Faster-RCNN 檢測(cè)流程

2.1.1 特征提取

在Faster-RCNN 基本結(jié)構(gòu)中，RPN 的輸入是特征金字塔的最頂層特征圖，而最頂層特征雖然具有高度抽象的語義信息，但由于進(jìn)行了池化、下采樣操作，導(dǎo)致分辨率降低，目標(biāo)圖像的邊緣和細(xì)節(jié)信息變少，小目標(biāo)物體信息難以被表達(dá)。

在Faster RCNN 中通常采用VGGNet 或ResNet等網(wǎng)絡(luò)模型用于特征提取，通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行卷積和池化等計(jì)算，提取圖像中目標(biāo)的特征，通過卷積、池化、歸一化等操作將低維的特征表示轉(zhuǎn)化為高維的特征表示。特征圖不僅保留目標(biāo)相對(duì)于原始圖像的位置，并且能夠在深層特征圖中編碼原始圖像中所有目標(biāo)的特征?？紤]到輸電線路細(xì)小金具目標(biāo)較小，本文采用ResNet-101 殘差網(wǎng)絡(luò)進(jìn)行圖像的特征提取工作，其特點(diǎn)是可以提取出語義信息更加豐富的特征圖，用于從樣本中提取目標(biāo)特征。

2.1.2 RPN 網(wǎng)絡(luò)

傳統(tǒng)的目標(biāo)檢測(cè)方法，一般是利用滑動(dòng)窗口對(duì)圖像遍歷，進(jìn)而產(chǎn)生候選框，之后使用一些分類器完成對(duì)候選框的分類，這種方法的實(shí)時(shí)性差，效果不佳。

RPN 網(wǎng)絡(luò)在Faster-RCNN 中用于生成候選框。首先，RPN 對(duì)特征圖的每一個(gè)位置生成錨點(diǎn)(Anchors)，Anchors 由若干固定尺度及若干固定寬高比的矩形框組成；其次，將這些Anchors 輸入到RPN 分類器中，由分類器判斷Anchors 中是否包含目標(biāo)，如果包含目標(biāo)則保留Anchors，否則剔除Anchors；并對(duì)Anchors 進(jìn)行邊界框回歸，輸出感興趣區(qū)域(ROIs)。

由于輸電線路細(xì)小金具目標(biāo)較小，較大的Anchors 難以有效提取缺陷金具的特征，如圖5 所示為細(xì)小金具缺銷釘樣本，由圖中可以看出缺銷釘目標(biāo)只占整體樣本的很小區(qū)域，因此本文在實(shí)驗(yàn)階段降低了RPN 中Anchors 的尺度，采用三種尺度(2，4，8)、三種寬高比(1∶1，1∶2，2∶1)共9 種不同大小的Anchors。RPN 網(wǎng)絡(luò)的輸出是候選框的目標(biāo)分類信息和位置信息。

圖5 輸電線路缺銷釘樣例

2.1.3 檢測(cè)網(wǎng)絡(luò)

在目標(biāo)檢測(cè)模塊中，RPN 和Fast-RCNN 的輸入特征圖是共享的。首先通過向ResNet-101 殘差網(wǎng)絡(luò)輸入原始樣本圖片，經(jīng)過卷積操作，特征融合操作傳至共享卷積層。輸入特征圖通過RPN 網(wǎng)絡(luò)獲取候選框建議，并將其提供給ROI 池化層，最后通過全連接層獲得ROI 的特征向量，經(jīng)由Softmax 分類獲得該候選區(qū)域的目標(biāo)分類，經(jīng)由目標(biāo)框回歸計(jì)算得到回歸后的目標(biāo)邊框。

2.2 基于Focal loss 的RPN 分類損失

在輸電線路細(xì)小金具檢測(cè)中，通常將細(xì)小金具樣本中某個(gè)目標(biāo)的候選框與該目標(biāo)的標(biāo)注邊界框之間的IoU(Intersection over Union)大于一定閾值的候選框作為正樣本，否則將其作為負(fù)樣本。在負(fù)樣本中通常將分類得分最高的候選框作為困難負(fù)樣本，而分類得分較低的候選框作為簡單負(fù)樣本。通常簡單負(fù)樣本占絕大多數(shù)但對(duì)模型損失貢獻(xiàn)小，而困難負(fù)樣本的數(shù)量較少但對(duì)模型的分類損失貢獻(xiàn)較大。在輸電線路細(xì)小金具目標(biāo)檢測(cè)中，由于細(xì)小金具中包含缺陷的樣本量較少，難以提取大量的包含缺陷目標(biāo)的特征，所以生成的候選框會(huì)存在正負(fù)樣本失衡問題，即大多數(shù)候選框都是簡單負(fù)樣本，而正樣本和困難負(fù)樣本的數(shù)量較少，使得模型訓(xùn)練效率較低，限制了模型對(duì)細(xì)小金具缺陷檢測(cè)精度的提升。因此，本文旨在通過提高細(xì)小金具中有缺陷目標(biāo)所對(duì)應(yīng)的困難負(fù)樣本在RPN 分類損失中的權(quán)重來提高Faster-RCNN 對(duì)細(xì)小金具缺陷目標(biāo)的檢測(cè)精度。

針對(duì)正負(fù)樣本失衡，F(xiàn)aster-RCNN 通過在RPN訓(xùn)練時(shí)采用IoU 對(duì)Anchors 進(jìn)行采樣維持正負(fù)樣本平衡，雖然能夠有效約束簡單負(fù)樣本數(shù)量，但是也降低了困難負(fù)樣本對(duì)RPN 分類損失的貢獻(xiàn)。本文通過改進(jìn)RPN 損失函數(shù)，將Focal loss 引入到RPN 的分類損失中，F(xiàn)ocal loss 不改變正負(fù)樣本數(shù)量，而是通過調(diào)節(jié)正負(fù)樣本對(duì)模型分類損失的貢獻(xiàn)，使得模型能夠?qū)Ｗ⒂谡龢颖疽约袄щy負(fù)樣本的訓(xùn)練，較少數(shù)量的細(xì)小金具缺陷樣本即可有效訓(xùn)練模型。

在Faster-RCNN 中，每個(gè)RPN 生成的Anchors都被指定一個(gè)正樣本或負(fù)樣本的標(biāo)簽。第i個(gè)Anchors的交叉熵?fù)p失如式(4)所示。

式中:yi∈{0，1}為第i個(gè)Anchors 的樣本標(biāo)簽，yi＝1表明該Anchors 與某個(gè)標(biāo)注邊界框的IoU 較大，為正樣本，yi＝0 表明該Anchors 為負(fù)樣本；pi是第i個(gè)Anchors 屬于正樣本的得分；1-pi是第i個(gè)Anchors屬于負(fù)樣本的得分。當(dāng)Anchors 為正樣本時(shí)，分類損失隨著樣本檢測(cè)精度的提升而降低；而當(dāng)Anchors為負(fù)樣本時(shí)分類損失隨著樣本檢測(cè)精度的降低而降低。

第i個(gè)Anchors 的Focal loss[11]如式(5)所示:

式中:α為平衡因子，用于平衡正負(fù)樣本對(duì)分類損失的貢獻(xiàn)，α越小，負(fù)樣本的損失權(quán)重越小；γ為調(diào)節(jié)因子，用于調(diào)節(jié)簡單負(fù)樣本和困難負(fù)樣本的損失權(quán)重，γ＝0 時(shí)Focal loss 為交叉熵?fù)p失，γ越大，困難負(fù)樣本的損失越大。對(duì)于第i個(gè)Anchors，當(dāng)該Anchors 為正樣本時(shí)，pi越大，F(xiàn)L(pi，yi)越小，即第i個(gè)正樣本的損失隨著pi的提高而降低，而當(dāng)該Anchors為負(fù)樣本時(shí)，pi越大，F(xiàn)L(pi，yi)越大，即第i個(gè)困難負(fù)樣本的損失隨著pi的提高而提高。因此，通過加權(quán)參數(shù)α和γ，F(xiàn)ocal loss 能夠有效提高困難負(fù)樣本的損失權(quán)重。

其次本文改進(jìn)了RPN 對(duì)Anchors 的選取標(biāo)準(zhǔn)，保留了一幅圖像中所有Anchors 的數(shù)量并作為一個(gè)訓(xùn)練批次輸入到RPN 中，在Faster-RCNN 中，改進(jìn)的RPN 的分類損失如式(6)所示。

式中:Ncls為輸入到RPN 的每個(gè)批次中一幅圖像的所有正負(fù)樣本Anchors 的數(shù)量，yi∈{0，1}為第i個(gè)Anchors 對(duì)應(yīng)的正負(fù)樣本；FL(pi，yi) 為 第i個(gè)Anchors的Focal loss。

在RPN 訓(xùn)練期間，F(xiàn)aster-RCNN 通過式(5)和式(6)求RPN 的分類損失。Faster-RCNN 中RPN 的訓(xùn)練流程如圖6 所示。

圖6 基于Focal loss 的RPN 訓(xùn)練圖示

3 實(shí)驗(yàn)分析

本文首先驗(yàn)證生成式對(duì)抗網(wǎng)絡(luò)生成的訓(xùn)練樣本對(duì)輸電線路細(xì)小金具缺陷識(shí)別的有效性，設(shè)計(jì)實(shí)驗(yàn)測(cè)試在原始樣本和擴(kuò)充樣本兩種情況下，缺陷識(shí)別結(jié)果的差異性。其次驗(yàn)證基于改進(jìn)RPN 分類損失對(duì)輸電線路細(xì)小金具缺陷識(shí)別的有效性，設(shè)計(jì)實(shí)驗(yàn)測(cè)試在原始RPN 分類損失和基于Focal loss 的RPN分類損失兩種情況下，缺陷識(shí)別結(jié)果的差異性。

3.1 軟件及硬件

本文試驗(yàn)條件為:Centos 6、64 位操作系統(tǒng)，TensorFlow 框架。電腦配置:臺(tái)式電腦，NVIDIA TESLA P100，顯存為16 GB；E5-2680 V4 CPU 處理器，最大主頻3.30 GHz，磁盤容量500 GB，編程語言是Python。

3.2 實(shí)驗(yàn)數(shù)據(jù)

本文原始數(shù)據(jù)集為輸電線路無人機(jī)巡檢拍攝圖像，總共2 985 幅細(xì)小金具圖像，從這2 985 幅圖像中隨機(jī)選取大約5%的150 幅圖像作為最終的測(cè)試數(shù)據(jù)，剩余2 835 幅圖像作為訓(xùn)練數(shù)據(jù)集，同時(shí)，作為生成式對(duì)抗網(wǎng)絡(luò)的輸入。原始圖像包含缺銷子、銷釘脫出、缺墊片、銷釘未開口四類目標(biāo)，它們?cè)趫D像中非均勻分布，存在一幅圖片包含多個(gè)目標(biāo)和多種目標(biāo)的情況。在本文的原始數(shù)據(jù)集中，缺銷子、銷釘脫出、缺墊片的樣本數(shù)目相對(duì)較多，而銷釘未開口的樣本數(shù)量較少，因此，本文按照不同類型目標(biāo)的樣本數(shù)量來生成人工樣本，最終使得每種類型的樣本數(shù)量相當(dāng)，具體樣本數(shù)目如表3。通過生成式對(duì)抗網(wǎng)絡(luò)生成的細(xì)小金具缺陷樣本共2 157 張，總共的圖像數(shù)量為4 632 幅。

表3 樣本數(shù)目

原始樣本與通過生成式對(duì)抗網(wǎng)絡(luò)生成的樣本實(shí)例如圖7 所示。其中(a)(c)兩圖為原始樣本中缺銷子樣本實(shí)例，(b)(d)兩圖為基于GAN 生成的包含其他缺陷目標(biāo)的缺銷子樣本實(shí)例。

圖7 原始樣本與通過生成式對(duì)抗網(wǎng)絡(luò)生成的樣本實(shí)例對(duì)比

3.3 實(shí)驗(yàn)結(jié)果

本文采用準(zhǔn)確率(Precision，P)、召回率(Recall，R)和平均精度(Average Precision，AP)作為評(píng)價(jià)指標(biāo)對(duì)提出的方法進(jìn)行評(píng)價(jià)，其中AP值的計(jì)算方法參考Everingham 等人[10]的計(jì)算方法，準(zhǔn)確率和召回率計(jì)算公式如下:

式中:TP(True Position)是正樣本被預(yù)測(cè)為正樣本，F(xiàn)P(False Position)是負(fù)樣本被預(yù)測(cè)為正樣本，F(xiàn)N(False Negative)是正樣本被預(yù)測(cè)為負(fù)樣本的數(shù)目。

由于細(xì)小金具數(shù)據(jù)集中包含缺陷目標(biāo)的銷釘數(shù)量較少，難以有效且充分訓(xùn)練小金具缺陷樣本，因此本文首先在輸電場(chǎng)景數(shù)據(jù)集中對(duì)ResNet-101 進(jìn)行預(yù)訓(xùn)練，以提升ResNet-101 在輸電場(chǎng)景下對(duì)小金具的識(shí)別效果。輸電場(chǎng)景數(shù)據(jù)集共包含68 935 張樣本，其中每一類目標(biāo)的樣本數(shù)如表4 所示，在訓(xùn)練時(shí)設(shè)置學(xué)習(xí)率為0.001，動(dòng)量為0.9，權(quán)重衰減為10-4，共訓(xùn)練110×103次，本文將預(yù)訓(xùn)練好的ResNet-101用于小金具樣本訓(xùn)練。

表4 預(yù)訓(xùn)練數(shù)據(jù)集數(shù)目

本文首先測(cè)試在原始樣本和擴(kuò)充樣本兩種情況下，缺陷識(shí)別結(jié)果的差異性，因此完成以下對(duì)比實(shí)驗(yàn)，使用原始數(shù)據(jù)集和擴(kuò)充后的數(shù)據(jù)集分別對(duì)目標(biāo)識(shí)別模型進(jìn)行訓(xùn)練。實(shí)驗(yàn)1 的訓(xùn)練數(shù)據(jù)集為2 985幅原始圖像，實(shí)驗(yàn)2 的訓(xùn)練數(shù)據(jù)集為擴(kuò)充后的包含4 632 幅的圖像數(shù)據(jù)集。針對(duì)2 個(gè)實(shí)驗(yàn)的數(shù)據(jù)，本文選擇70%作為訓(xùn)練集，其余的30%作為驗(yàn)證集。在訓(xùn)練時(shí)將學(xué)習(xí)速率初始化為0.01，動(dòng)量初始化為0.9，每2 000 次迭代改變一次學(xué)習(xí)速率，逐漸下調(diào)至0.000 1，最終獲得Faster-RCNN 及GAN+Faster-RCNN 兩個(gè)模型。本文其次測(cè)試基于Focal loss 的RPN 分類損失的情況下，細(xì)小金具缺陷識(shí)別結(jié)果的差異性，完成實(shí)驗(yàn)3，本文采用2 985 幅原始圖像對(duì)基于Focal loss 的Faster-RCNN 進(jìn)行訓(xùn)練。本文在訓(xùn)練時(shí)設(shè)置與實(shí)驗(yàn)1 相同的訓(xùn)練集及測(cè)試集，并采用與實(shí)驗(yàn)1 相同的訓(xùn)練參數(shù)，式(5)中Focal loss 的平衡因子α及調(diào)節(jié)因子γ的設(shè)置與Focal loss[11]中的參數(shù)相同，即α＝0.25 和γ＝2。最終獲得Focal loss+Faster-RCNN 模型。

模型訓(xùn)練完成后，使用150 幅測(cè)試圖像對(duì)3 個(gè)模型進(jìn)行測(cè)試，3 個(gè)模型的準(zhǔn)確率如下表5 所示，召回率如下表6 所示，平均精度AP 如表7 所示。由表5—表7 可知，原始Faster-RCNN 方法和基于GAN+Faster-RCNN 的方法對(duì)缺銷子、銷釘脫出、缺墊片三類目標(biāo)的識(shí)別結(jié)果提升不多，而對(duì)銷釘未開口的提升效果顯著，由于原始訓(xùn)練圖片中銷釘未開口這類目標(biāo)的缺陷數(shù)據(jù)最少，導(dǎo)致模型識(shí)別精度低，而加入擴(kuò)充樣本后，在GAN+Faster-RCNN 中，模型對(duì)銷釘未開口缺陷的識(shí)別精度有了明顯的提升。通過Faster-RCNN 和GAN+Faster-RCNN 的對(duì)比實(shí)驗(yàn)，說明了生成式對(duì)抗網(wǎng)絡(luò)生成的人工樣本能改善網(wǎng)絡(luò)對(duì)輸電線路細(xì)小金具缺陷識(shí)別的效果，尤其是銷釘未開口這一缺陷類型。其次，由表5—表7 可知，基于Focal loss+Faster-RCNN 的方法對(duì)缺銷子、銷釘脫出、缺墊片、銷釘未開口4 類目標(biāo)的識(shí)別結(jié)果均優(yōu)于Faster-RCNN 方法。即表明隨著Anchors 數(shù)量的增加，通過Focal loss 對(duì)RPN 的交叉熵?fù)p失的加權(quán)使得模型能夠有效訓(xùn)練細(xì)小金具中包含缺陷目標(biāo)所對(duì)應(yīng)的困難負(fù)樣本，提升了模型的檢測(cè)精度。并且Focal loss+Faster-RCNN 算法對(duì)銷釘未開口這種缺陷的檢測(cè)效果提升最為明顯，即表明雖然銷釘未開口缺陷的數(shù)量較少，但模型能夠通過Focal loss 加權(quán)及保留所有Anchors 的方式來有效訓(xùn)練這些缺陷樣本，使得模型對(duì)細(xì)小金具的檢測(cè)有較大的提升。

表5 準(zhǔn)確率對(duì)比圖 單位:%

表6 召回率對(duì)比圖 單位:%

表7 平均精度AP 對(duì)比圖 單位:%

4 結(jié)論

本文針對(duì)輸電線路細(xì)小金具圖像質(zhì)量差、樣本數(shù)量少及類別不平衡而導(dǎo)致缺陷識(shí)別精確度低的問題，提出了基于GAN 的改進(jìn)RPN 輸電線路細(xì)小金具缺陷檢測(cè)方法。首先，通過生成式對(duì)抗網(wǎng)絡(luò)對(duì)細(xì)小金具缺陷樣本量進(jìn)行增廣，并結(jié)合人工圖像和原始圖像訓(xùn)練缺陷識(shí)別模型，有效地增加了訓(xùn)練數(shù)據(jù)集，解決了細(xì)小金具中缺陷樣本較少及缺陷樣本類別不平衡的問題，有效提高了缺陷識(shí)別的精確度。特別地，針對(duì)原始訓(xùn)練樣本中數(shù)目少的缺陷類別，能夠有效改善識(shí)別效果。其次，通過在Faster-RCNN的RPN 網(wǎng)絡(luò)中添加Focal loss，提高了細(xì)小金具樣本中的困難負(fù)樣本對(duì)RPN 分類損失的貢獻(xiàn)，并且保留所有Anchors，確保了模型能夠有效訓(xùn)練這些困難負(fù)樣本，解決了細(xì)小金具缺陷樣本數(shù)較少的問題，有效提升了輸電線路細(xì)小金具的檢測(cè)效果。本文提出的基于GAN 的改進(jìn)RPN 輸電線路細(xì)小金具缺陷檢測(cè)方法能夠有效識(shí)別輸電線路的細(xì)小金具類缺陷，對(duì)電力巡檢智能化缺陷診斷具有一定的參考價(jià)值。