基于深度學(xué)習(xí)的輸電線路均壓環(huán)傾斜識(shí)別

戴永東,蔣中軍,王茂飛,陳雙輝

(1.國網(wǎng)江蘇省電力有限公司泰州供電分公司,江蘇 泰州 225700;2.南京土星信息科技有限公司,江蘇 南京 210000)

0 引言

均壓環(huán)對(duì)于改善輸電線路復(fù)合絕緣子串承受單位電壓有著極為重要的作用。隨著均壓環(huán)在輸電線路復(fù)合絕緣子串中的廣泛應(yīng)用,其安裝與運(yùn)行位置的重要性日益凸顯。均壓環(huán)長期暴露在野外,受環(huán)境、安裝等因素影響,極易發(fā)生傾斜。若出現(xiàn)傾斜甚至脫落,會(huì)影響輸電線路運(yùn)行的穩(wěn)定性。

國內(nèi)外許多學(xué)者對(duì)均壓環(huán)傾斜缺陷識(shí)別作了大量研究,有學(xué)者提出可以通過無人機(jī)巡檢實(shí)現(xiàn)均壓環(huán)的缺失識(shí)別[1-3]。目前，圖像識(shí)別算法主要分為特征檢測(cè)與深度學(xué)習(xí)2種。特征檢測(cè)中,通過角點(diǎn)檢測(cè)得到目標(biāo)輪廓的曲率,然后采用分割輪廓片段的方式進(jìn)行均壓環(huán)傾斜識(shí)別[4-5]。但上述方法不能解決因均壓環(huán)的局部遮擋或變形而難以識(shí)別的問題。深度學(xué)習(xí)方法通過模型訓(xùn)練，能提高輸電線路絕緣子識(shí)別成功率。深度學(xué)習(xí)技術(shù)對(duì)于目標(biāo)特征提取、識(shí)別效果與魯棒性均有較大提升[6-8]。但上述方法對(duì)于均壓環(huán)傾斜的定量角度計(jì)算方面存在不足。

針對(duì)均壓環(huán)識(shí)別準(zhǔn)確率低、傾斜角度計(jì)算差的問題，本文提出了1種基于深度學(xué)習(xí)技術(shù)的多步驟定量均壓環(huán)傾斜缺陷檢測(cè)新方法。本文采用改進(jìn)的快速區(qū)域深度卷積神經(jīng)網(wǎng)絡(luò)(faster region based convolutional neural network,Faster-RCNN)進(jìn)行多目標(biāo)檢測(cè),采用級(jí)聯(lián)金字塔神經(jīng)網(wǎng)絡(luò)(cascaded pyramid network,CPN)進(jìn)行目標(biāo)特征關(guān)鍵點(diǎn)精細(xì)化定位,通過識(shí)別絕緣子串的方向信息,定量計(jì)算均壓環(huán)端面和絕緣子串方向夾角。

1 算法原理及方案

在無人機(jī)巡檢航拍圖像中,均壓環(huán)受到角度影響，難以直接判斷其是否發(fā)生傾斜。因此，通常情況下需要結(jié)合絕緣子串進(jìn)行綜合分析,判斷均壓環(huán)是否傾斜。此時(shí)，可以通過判斷均壓環(huán)與絕緣子的夾角是否過大來判斷其是否發(fā)生傾斜。均壓環(huán)傾斜角度如圖1所示。

圖1 均壓環(huán)傾斜角度Fig.1 Tilt angle of mean-voltage ring

由圖1可知，先提取圖像中均壓環(huán)長軸兩側(cè)端點(diǎn)坐標(biāo),然后提取絕緣子長軸兩側(cè)端點(diǎn)坐標(biāo),計(jì)算兩者之間的夾角θ,即可判斷均壓環(huán)是否傾斜[9]。依據(jù)安全規(guī)范標(biāo)準(zhǔn),當(dāng)傾斜角度超過一定閾值(通常為15°)時(shí),均壓環(huán)會(huì)被認(rèn)定為傾斜。因此，準(zhǔn)確計(jì)算出均壓環(huán)傾斜角度成為判斷缺陷的最重要依據(jù)。

本文的均壓環(huán)傾斜檢測(cè)模型主要涉及到3個(gè)深度神經(jīng)網(wǎng)絡(luò)算法：Faster-RCNN用于均壓環(huán)與絕緣子串目標(biāo)檢測(cè)；CPN用于目標(biāo)特征關(guān)鍵點(diǎn)定位；文本檢測(cè)(TextBoxes++,TB)算法用于目標(biāo)方向定位。下面分別對(duì)深度學(xué)習(xí)算法作簡要介紹。

1.1 Faster-RCNN均壓環(huán)目標(biāo)檢測(cè)算法

1.1.1 Faster-RCNN結(jié)構(gòu)

作為目標(biāo)檢測(cè)領(lǐng)域的經(jīng)典算法,Faster- RCNN[10]通過引入?yún)^(qū)域候選骨干網(wǎng)絡(luò)(region proposal network,RPN)結(jié)構(gòu),在提高精度的同時(shí)也大幅提升了檢測(cè)速度。從問世至今,Faster- RCNN一直是目標(biāo)檢測(cè)領(lǐng)域的主流算法。目前產(chǎn)生的各種深度神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法,無不例外地借鑒了Faster-RCNN思想。故本文第一步目標(biāo)檢測(cè)也采用并適當(dāng)優(yōu)化了該算法參數(shù)。Faster-RCNN目標(biāo)檢測(cè)算法網(wǎng)絡(luò)結(jié)構(gòu)如圖 2所示。

圖2 Faster-RCNN目標(biāo)檢測(cè)算法網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Faster-RCNN target detection algorithm network structure

輸入1張待檢圖片，首先經(jīng)過卷積網(wǎng)絡(luò)得到特征圖、RPN提取候選框以及非極大值抑制(non-maximum suppression,NMS)等處理得到精選的候選區(qū)域(proposal region network,PRN)；然后提取出候選區(qū)域?qū)?yīng)在特征圖上的特征,并采用感興趣區(qū)域池化(region of interest pooling,ROIP) 修訂特征圖；最后輸出目標(biāo)物體的類別和位置。

在Fast-RCNN基礎(chǔ)上,本文提出了1種基于深度學(xué)習(xí)的輸電線路均壓環(huán)傾斜識(shí)別方法。Faster-RCNN的主要優(yōu)點(diǎn)在于提取候選框區(qū)域時(shí)采用區(qū)域候選網(wǎng)絡(luò)RPN替換早期Fast-RCNN神經(jīng)網(wǎng)絡(luò)的選擇性搜索策略,真正實(shí)現(xiàn)了端到端訓(xùn)練，在大幅提高檢測(cè)速度的同時(shí)提升了精度。 Faster-RCNN仍存在小目標(biāo)效果欠佳的缺點(diǎn)。

1.1.2 Faster-RCNN損失函數(shù)選擇

遵循多任務(wù)損失定義及最小化目標(biāo)函數(shù),Faster-RCNN對(duì)1個(gè)圖像的損失函數(shù)定義為[11]：

式中：Pi為預(yù)測(cè)目標(biāo)的概率；ti為預(yù)測(cè)目標(biāo)的時(shí)間；Lcls為錨定框前景；Lreg為錨定框背景；Na為檢測(cè)數(shù)量。

ti={tx,ty,tw,th}是1個(gè)向量,表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)。

預(yù)測(cè)目標(biāo)的概率取值范圍為：

(3)

1.2 CPN特征關(guān)鍵點(diǎn)定位算法

CPN[12-13]通常用于人體姿態(tài)估計(jì)，可檢測(cè)人體的關(guān)鍵點(diǎn)。即使對(duì)于一些被遮擋的、難以檢測(cè)的點(diǎn)，該算法也十分有效。本文創(chuàng)新性地提出通過CPN檢測(cè)均壓環(huán)與絕緣子串的特征點(diǎn)。算法主要分為GlobalNet和RefineNet 2部分。GlobalNet負(fù)責(zé)網(wǎng)絡(luò)所有關(guān)鍵點(diǎn)的檢測(cè),重點(diǎn)檢測(cè)易測(cè)值；RefineNet主要對(duì)GlobalNet預(yù)測(cè)的結(jié)果進(jìn)行修正,用于檢測(cè)難度較高的點(diǎn)。因?yàn)镚loablNet對(duì)那些遮擋或者有復(fù)雜背景的關(guān)鍵點(diǎn)預(yù)測(cè)誤差較大,而RefineNet可專門用于修正這些點(diǎn)。

GlobalNet基于Resnet改進(jìn)而來,將Resnet 最后4個(gè)區(qū)塊分別表示為C2、C3、C4、C5。在這些區(qū)塊后面通過3×3卷積生成關(guān)鍵點(diǎn)的熱力圖。像C2和C3這樣的淺層特征圖具有較高的空間信息(利于定位),但語義信息較低(不利于識(shí)別)。另一方面,像C4和C5這樣的深層特征具有更多的語義信息,但空間信息較少。通常采用U形編碼解碼結(jié)構(gòu)來保持空間信息、包含語義信息。GlobalNet改進(jìn)了U形結(jié)構(gòu),同樣也可以應(yīng)用于關(guān)鍵點(diǎn)估計(jì)。

RefineNet通過上采樣和連接不同步驟的特征圖來集成不同層次的特征。與沙漏網(wǎng)絡(luò)的精細(xì)化策略不同,RefineNet連接了所有金字塔特征,而不是簡單地使用網(wǎng)絡(luò)末端檢測(cè)。RefineNet包含了很多瓶頸單元,可以使網(wǎng)絡(luò)運(yùn)行更加快速。RefineNet基于訓(xùn)練損失選出難以識(shí)別的關(guān)鍵點(diǎn),并反向傳播這些“困難點(diǎn)”的梯度。

CPN結(jié)構(gòu)如圖3所示。GlobalNet用于檢測(cè)圖片中所有的均壓環(huán)關(guān)鍵點(diǎn)。RefineNet用于修正關(guān)鍵點(diǎn)。

圖3 CPN結(jié)構(gòu)Fig.3 CPN structure

1.3 TB絕緣子串方向定位算法

TB算法是一種用于小、雜、旋轉(zhuǎn)文本及物體的多目標(biāo)旋轉(zhuǎn)檢測(cè)器[14]。由于本文需要檢測(cè)出復(fù)合絕緣子的方向信息,因此在第一步Faster-RCNN檢測(cè)出絕緣子串目標(biāo)的基礎(chǔ)上,采用可以輸出方向信息的TB算法計(jì)算其方向。

TB算法的優(yōu)點(diǎn)如下。

①使用不規(guī)則卷積核。TB中采用3×5的卷積核,以便更好地適應(yīng)長寬比更大的檢測(cè)目標(biāo)。

②使用一種在線的難例挖掘方法(online hard example mining,OHEM)[15]策略。訓(xùn)練過程采用OHEM策略。不同于傳統(tǒng)的OHEM,該訓(xùn)練分為兩個(gè)階段：第一階段的正負(fù)樣本比為1∶3；第二階段的正負(fù)樣本比為1∶6。

③多尺度訓(xùn)練。采用了全卷積結(jié)構(gòu)和多尺度訓(xùn)練，因此可以適應(yīng)不同尺度的輸入。

④級(jí)聯(lián)NMS。由于計(jì)算傾斜的交并比(intersection over union,IoU)較為耗時(shí),本文采用級(jí)聯(lián)NMS加速IoU計(jì)算。首先計(jì)算所有框的最小外接矩形的IoU,進(jìn)行1次閾值為0.5的NMS以消除一部分框；然后在計(jì)算傾斜框的IoU的基礎(chǔ)上進(jìn)行1次閾值為0.2的NMS。

2 圖像預(yù)處理

圖像是紅綠藍(lán)(red green blue,RGB)數(shù)據(jù)。數(shù)據(jù)預(yù)處理中,標(biāo)準(zhǔn)的第一步是數(shù)據(jù)歸一化。本文采用的歸一化方法包括簡單縮放、逐樣本均值消減(也稱為移除直流分量)、特征標(biāo)準(zhǔn)化(使數(shù)據(jù)集中所有特征都具有零均值和單位方差)以及圖像去霧(暗通道先驗(yàn)法)等。

同時(shí)，本文中圖像的預(yù)處理還涉及對(duì)采集到的圖片的清洗以及擴(kuò)增。其中：Faster-RCNN采集無人機(jī)航拍圖片(復(fù)合絕緣子),剔除模糊圖片以及絕緣子串與水平面傾斜角度大于30°的圖片,對(duì)采集后的原始圖片采用水平、豎直翻轉(zhuǎn)，調(diào)整明暗度、飽和度等方法擴(kuò)增；CPN用Faster-RCNN檢測(cè)出的結(jié)果從圖片中截取出目標(biāo)小圖,采用與上一步相同的數(shù)據(jù)擴(kuò)增方法。

3 試驗(yàn)與分析

3.1 算法流程

整個(gè)均壓環(huán)傾斜定量檢測(cè)流程分為3個(gè)部分。第一部分通過Faster-RCNN檢測(cè)出均壓環(huán)與絕緣子串的位置定位信息。第二部分裁剪出第一部分結(jié)果,通過關(guān)鍵點(diǎn)定位的算法CPN檢測(cè)出目標(biāo)的多個(gè)端點(diǎn)作為關(guān)鍵點(diǎn)。第三部分基于TB算法計(jì)算均壓環(huán)長軸的連線與絕緣子中軸線的夾角，并將其作為均壓環(huán)的傾斜角度。以該角度與90°差的絕對(duì)值作為傾斜的判斷依據(jù)。該值越大，表明傾斜越嚴(yán)重。

3.2 試驗(yàn)結(jié)果與分析

模型訓(xùn)練中,訓(xùn)練樣本集中共有3 533張無人機(jī)精細(xì)化巡檢均壓環(huán)樣本。其中，人工總共標(biāo)記出4 720個(gè)均壓環(huán)目標(biāo)，同時(shí)標(biāo)注出均壓環(huán)與絕緣子串的夾角角度。其中，約28%的目標(biāo)為傾斜角度大于15°的均壓環(huán)傾斜缺陷。

模型的訓(xùn)練在服務(wù)器(含4塊NVIDIA 2 080Ti GPU) 上進(jìn)行,測(cè)試計(jì)算機(jī)的配置為 CPU Intel Core i7-6 700 K,GPU 為 NVIDIA RTX 5 000,顯存為 16 GB。

試驗(yàn)中，另外對(duì)500張無人機(jī)精細(xì)化巡檢圖片樣本進(jìn)行檢測(cè)。其中，人工總共標(biāo)記出661個(gè)均壓環(huán)目標(biāo),并標(biāo)注出均壓環(huán)與絕緣子串的夾角角度。作為試驗(yàn)結(jié)果,本文算法在人工標(biāo)記的目標(biāo)中共識(shí)別出637個(gè)均壓環(huán)目標(biāo)。算法定量計(jì)算出的均壓環(huán)傾斜角度定量計(jì)算試驗(yàn)結(jié)果如表1所示。

表1 均壓環(huán)傾斜角度定量計(jì)算試驗(yàn)結(jié)果Tab.1 Experimental results of quantitative calculation of the mean-voltage ring tilt angles

表1中：目標(biāo)數(shù)表示算法檢測(cè)的角度與人工標(biāo)注角度的差值的絕對(duì)值,精確到1°。其中，有608個(gè)目標(biāo)(92.0%)的誤差不大于5°,識(shí)別出來的目標(biāo)平均誤差為0.85°；有557個(gè)目標(biāo)(84.3%)的誤差不大于2°,算法計(jì)算與判斷總體較為準(zhǔn)確。

均壓環(huán)傾斜檢測(cè)算法的召回率與精確率如表2所示。

表2 均壓環(huán)傾斜檢測(cè)算法的召回率與精確率Tab.2 Recall and precision of the mean-voltage ring tilt detection algorithm /%

表2中：召回率(R)表示樣本中的正例有多少被預(yù)測(cè)正確,包括把原來的正類預(yù)測(cè)成正類(Tp)以及把原來的正類預(yù)測(cè)為負(fù)類(Fn),計(jì)算式如下。

精確率(P)表示預(yù)測(cè)為正樣本中有多少是真正的正樣本,包括把正類預(yù)測(cè)為正類(Tp)以及把負(fù)類預(yù)測(cè)為正類(Fp),計(jì)算式如下。

CPN是在Faster-RCNN檢測(cè)結(jié)果的基礎(chǔ)上,針對(duì)均壓環(huán)長軸的2個(gè)端點(diǎn)衡量的。關(guān)鍵點(diǎn)的橫坐標(biāo)準(zhǔn)確度指標(biāo)為Px、縱坐標(biāo)準(zhǔn)確度指標(biāo)為Py。當(dāng)Px<0.02且Py<0.02時(shí),判定該點(diǎn)為正類(Tp)。Px計(jì)算式如下。

式中：Pgx表示第i個(gè)點(diǎn)的橫坐標(biāo)；Pgy表示預(yù)測(cè)的第i個(gè)點(diǎn)的橫坐標(biāo)；Ppx表示人工標(biāo)注的第i個(gè)點(diǎn)的橫坐標(biāo)。

整體精確率針對(duì)所有待檢測(cè)的目標(biāo),以算法計(jì)算出角度與人工標(biāo)注的角度偏差為指標(biāo)。當(dāng)角度偏差小于等于5°時(shí)判定為Tp,當(dāng)角度偏差大于5°時(shí)則判定為Fp。

分別選擇樣本數(shù)量為500個(gè)、1 000個(gè)、2 000個(gè)、4 000個(gè)、6 000個(gè)和8 000個(gè)，對(duì)比CPN與尺度不變特征變換(scale-invariant feature transform,SIFT)。其特征關(guān)鍵點(diǎn)精細(xì)化準(zhǔn)確性對(duì)比如圖4所示。

圖4 特征關(guān)鍵點(diǎn)精細(xì)化準(zhǔn)確性對(duì)比Fig.4 Conparison of refined accuracy diagram

由圖4可知,CPN的關(guān)鍵點(diǎn)精細(xì)化準(zhǔn)確性高于SIFT。

試驗(yàn)樣本集的檢測(cè)結(jié)果表明,算法目標(biāo)檢測(cè)與定量角度計(jì)算整體達(dá)到實(shí)用效果?；谏疃葘W(xué)習(xí)的均壓環(huán)傾斜定量缺陷檢測(cè)效果如圖5所示。

圖5 基于深度學(xué)習(xí)的均壓環(huán)傾斜定量缺陷檢測(cè)效果Fig.5 Results of deep-learning based quantitative detection of tilt defects of mean-voltage ring

4 結(jié)論

本文提出了1種檢測(cè)與定量計(jì)算均壓環(huán)目標(biāo)傾斜角度的新方法。本文主要研究包括：采用優(yōu)化的Faster-RCNN算法檢測(cè)均壓環(huán)與絕緣子串目標(biāo)；在檢測(cè)出目標(biāo)的基礎(chǔ)上,采用CPN進(jìn)一步準(zhǔn)確提取目標(biāo)關(guān)鍵點(diǎn)；通過TB算法計(jì)算均壓環(huán)長軸端點(diǎn)的連線與絕緣子串的中軸線的夾角作為均壓環(huán)的傾斜角度。

500張測(cè)試樣本圖片檢測(cè)結(jié)果顯示,本文算法整體精確度約為87.2%,召回率達(dá)92.0%,基本達(dá)到了實(shí)用的效果；當(dāng)均壓環(huán)傾斜角度大于判定閾值時(shí),則提出報(bào)警,便于輸電線路運(yùn)維檢修。

本文全部采用深度學(xué)習(xí)算法對(duì)均壓環(huán)傾斜問題進(jìn)行研究，基本達(dá)到實(shí)用效果。算法在未來可以從以下3個(gè)方面進(jìn)行提升。①由于拍攝角度問題,當(dāng)多個(gè)均壓環(huán)緊密相連的時(shí)候,會(huì)存在一些漏檢,也會(huì)存在個(gè)別誤識(shí)別情況。對(duì)此，要進(jìn)一步提高目標(biāo)識(shí)別抗干擾能力。②本文采用的關(guān)鍵點(diǎn)定位算法效果也有待提高,可以通過更換其他新的神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行改進(jìn)[16-17]。③本文檢測(cè)效果是對(duì)于正向水平拍攝的均壓環(huán)進(jìn)行檢測(cè)，后續(xù)可以根據(jù)需求增加任意方向的檢測(cè)能力。