基于無(wú)人機(jī)圖像的絕緣子檢測(cè)與缺陷識(shí)別算法綜述

顏 森 李高宇 周紅鍇 韋洪浪 唐 滔

0 引言

當(dāng)前國(guó)民經(jīng)濟(jì)突飛猛進(jìn)，人們的生活質(zhì)量不斷提高，電能在保障我國(guó)健康發(fā)展和人民生活有著舉足輕重的作用［1-3］。隨著電網(wǎng)系統(tǒng)的不斷建設(shè)發(fā)展，電力巡檢正成為一項(xiàng)繁重的工作。絕緣子是電力系統(tǒng)的重要組成部分，而絕緣子檢測(cè)與缺陷識(shí)別也是電力巡檢的主要任務(wù)之一［4-6］。近年來(lái)，使用無(wú)人機(jī)替代人工進(jìn)行絕緣子檢測(cè)成為普遍的趨勢(shì)，而這也推進(jìn)了目標(biāo)檢測(cè)算法的發(fā)展和突破［7-9］。通過(guò)整理分析文獻(xiàn)可知，目前主要的目標(biāo)檢測(cè)算法可以分為三類。第一類是YOLO 算法，屬于端到端目標(biāo)檢測(cè)算法，從網(wǎng)絡(luò)中提取物體特征，對(duì)物體類別和位置進(jìn)行預(yù)測(cè)，有YOLOv1、YOLOv2、YOLOv3 和YOLOv4 等 衍生出來(lái)的算法。第二類是R-CNN 系算法，是最早基于CNN 提取圖像特征的深度學(xué)習(xí)目標(biāo)檢測(cè)算法，經(jīng)過(guò)Fast R-CNN 過(guò)渡發(fā)展為經(jīng)典的Faster R-CNN，在Faster R-CNN 的基礎(chǔ)上，又衍生出應(yīng)用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）改進(jìn)的FPN Faster R-CNN（FPN FRCN）與Mask R-CNN 等算法［10-12］。第三類是SSD 算法，是單階段目標(biāo)檢測(cè)算法，又衍生出DSSD（Deconvolutional Single Shot Detector） 與R-SSD（Rainbow Single Shotmultibox Detector）等改進(jìn)算法，實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)技術(shù)。絕緣子檢測(cè)與識(shí)別算法框架如圖1 所示。

圖1 絕緣子檢測(cè)與識(shí)別算法框架圖

1 絕緣子檢測(cè)與識(shí)別算法

1. 1 YOLO 系算法

YOLO 算法利用1 個(gè)單階段的卷積網(wǎng)絡(luò)實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)，輸入層是完整的照片，輸出層是邊界框的屬性和位置信息［13-15］。YOLOv1 是單階段目標(biāo)檢測(cè)方法，每個(gè)網(wǎng)格單元能夠預(yù)測(cè)多個(gè)邊界框。YOLOv1 具有網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，算法的檢測(cè)速度快，但檢測(cè)精度方面與Faster R-CNN 相比較低等特點(diǎn)。YOLOv2 使用DarckNet19 替 代YOLOv1 中 的GoogLeNet 網(wǎng)絡(luò)，使用卷積和softmax 代替全連接層，并增加了Anchor 機(jī)制，使用K-means 聚類算法來(lái)生成Anchor bbox。YOLOv2 與YOLOv1 相比，檢測(cè)精度與速度都有較大的提高。YOLOv3 算法是近年來(lái)常用的檢測(cè)算法之一，也是YOLO 系列非常經(jīng)典的算法［16］。YOLOv3 的核心是：采用特征提取網(wǎng)絡(luò)提取輸入照片的特征得到特征圖；根據(jù)特征圖將圖像分成不同區(qū)域，判斷某個(gè)區(qū)域是目標(biāo)物的中心來(lái)進(jìn)行預(yù)測(cè)；用邏輯回歸方法計(jì)算回歸框的參數(shù)［框的中心坐標(biāo)（x，y），框的寬高bw、bh］。YOLOv3 算法的流程如圖2 所示。

圖2 YOLOv3 算法的流程

楊焰飛［17］提出基于YOLOv3 與Inception-Resnet-v2 分類算法的絕緣子目標(biāo)檢測(cè)，通過(guò)對(duì)網(wǎng)絡(luò)寬度的增加、對(duì)損失函數(shù)的改進(jìn)以及使用k-means 算法進(jìn)行錨點(diǎn)框選擇進(jìn)行改進(jìn)。試驗(yàn)中絕緣子圖像通過(guò)大疆Phantom 4 pro 無(wú)人機(jī)拍攝，圖像尺寸為5472×3078 像素，隨機(jī)選取1000 幅圖像作為訓(xùn)練集。試驗(yàn)結(jié)果得出：改進(jìn)后的YOLOv3 算法比原算法耗時(shí)雖有所增加，但是絕緣子檢測(cè)的AP 值（平均精確度）達(dá)到71.93%。

汪權(quán)［18］提出的基于Gaussian YOLOv3 的絕緣子檢測(cè)算法，對(duì)預(yù)測(cè)框坐標(biāo)進(jìn)行高斯變換，取負(fù)對(duì)數(shù)作為損失函數(shù)，并采用多階段遷移學(xué)習(xí)解決絕緣子圖像較少和訓(xùn)練速率低等問(wèn)題。試驗(yàn)使用的數(shù)據(jù)集為開源數(shù)據(jù)集，來(lái)自Github 的Insulator Data Set-Chinese Power Line Insulator Datase，包含848 張絕緣子圖像。試驗(yàn)結(jié)果得出，Gaussian YOLOv3算法絕緣子和缺陷檢測(cè)精度分別達(dá)到93.8%、94.5%。

YOLO 系列算法中，除了YOLOv3 算法，還有YOLO9000、YOLOv4 等算法也常用于絕緣子圖像檢測(cè)與缺陷識(shí)別［19］。王萬(wàn)國(guó)［20］提出了融合深度學(xué)習(xí)的絕緣子自爆檢測(cè)算法，通過(guò)改進(jìn)YOLO9000 中提出的YOLO2 算法作為目標(biāo)檢測(cè)算法，提高絕緣子檢測(cè)速度和對(duì)小目標(biāo)檢測(cè)精度。YOLO2 算法將最后一層的特征圖內(nèi)的各個(gè)像素當(dāng)作候選目標(biāo)，采用Anchors 機(jī)制將候選框擴(kuò)展為多個(gè)外接框。在訓(xùn)練過(guò)程中，計(jì)算每個(gè)外接框與的目標(biāo)框的交集，交集最大且超過(guò)設(shè)定閾值的框作為正樣本，否則作為負(fù)樣本。YOLO 利用置信度值來(lái)判斷外接框是否為目標(biāo)框，其數(shù)學(xué)表達(dá)式為：

其中：P（o）為邊界框?yàn)槟繕?biāo)的概率（1 代表目標(biāo)，0 代表背景），IOU（b，o）為邊界框與目標(biāo)框的交集，為激勵(lì)函數(shù)。

郝帥［21］提出的改進(jìn)YOLOv4 目標(biāo)檢測(cè)算法，是基于超分辨卷積神經(jīng)網(wǎng)絡(luò)與深度殘差網(wǎng)絡(luò)相結(jié)合，通過(guò)引入超分辨卷積神經(jīng)網(wǎng)絡(luò)來(lái)提升樣本圖像質(zhì)量，并在此基礎(chǔ)上構(gòu)建一種改進(jìn)網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理，從而實(shí)現(xiàn)絕緣子檢測(cè)。試驗(yàn)數(shù)據(jù)集為內(nèi)蒙古某供電局近3 年來(lái)利用無(wú)人機(jī)對(duì)輸電線路巡檢的視頻，從巡檢視頻中截取出具有代表性的1387 張包含絕緣子的樣本圖像進(jìn)行檢測(cè)，檢測(cè)精度可以達(dá)到94. 3%。

1. 2 R-CNN 系算法

與YOLO 系列算法相比，R-CNN 系列算法屬于雙階段（Two-stage）的目標(biāo)檢測(cè)模型，將絕緣子檢測(cè)分為特征提取和特征分類兩部分。R-CNN 算法總體流程可以分為三個(gè)步驟：首先在圖像中提取候選區(qū)域，不同方法提取的區(qū)域大小不一，需對(duì)提取的區(qū)域統(tǒng)一處理成為相同尺度；然后進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練［22-24］，提取特征；最后進(jìn)行SVM 訓(xùn)練，通過(guò)支持向量機(jī)對(duì)經(jīng)過(guò)特征提取的深層特征進(jìn)行分類。

劉鑫月［25］提出利用平行圖像和CNN 算法對(duì)絕緣子進(jìn)行檢測(cè)。該方法利用平行圖像理念擴(kuò)充圖像訓(xùn)練數(shù)據(jù)集，并對(duì)圖像進(jìn)行顏色預(yù)選處理，搭建了五層卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，采用消融剝離實(shí)驗(yàn)進(jìn)行對(duì)比分析，使用該算法進(jìn)行絕緣子檢測(cè)，準(zhǔn)確率可達(dá)到92%—98%，并且檢測(cè)時(shí)間較短。何寧輝［26］基于Faster R-CNN 搭建網(wǎng)絡(luò)識(shí)別模型進(jìn)行絕緣子檢測(cè)，利用CNN 算法進(jìn)行絕緣子缺陷檢測(cè)，試驗(yàn)得出精確率為96%，召回率為95%，準(zhǔn)確率為96%，識(shí)別率為86%，誤識(shí)率為4. 5%，說(shuō)明CNN 對(duì)絕緣子缺陷檢測(cè)有良好的效果。

1. 3 SSD 系列算法

除了YOLO 系列算法與R-CNN 系列算法，還有一種比較常用的SSD 算法。SSD 算法（Single Shot MultiBox Detector）也屬于One-stage 方法，采用VGG16 作為基礎(chǔ)模型。SSD 與YOLO 不同，SSD 使用卷積層代替全連接層進(jìn)行特征提??；除此之外，SSD 還設(shè)置了不同尺寸的先驗(yàn)框解決檢測(cè)小目標(biāo)難、定位不準(zhǔn)確的問(wèn)題。

左鈺［27］在其提出的基于改進(jìn)GrabCut 的絕緣子缺陷檢測(cè)方法中，使用了改進(jìn)SSD 網(wǎng)絡(luò)模型進(jìn)行絕緣子定位檢測(cè)，將原SSD 網(wǎng)絡(luò)中的VGG16替換為ResNet101，網(wǎng)絡(luò)深度得到增加，實(shí)現(xiàn)對(duì)絕緣子的定位之后，使用改進(jìn)GrabCut 算法進(jìn)行絕緣子分割并進(jìn)行缺陷檢測(cè)，使用該算法進(jìn)行絕緣子檢測(cè)，準(zhǔn)確率可達(dá)到94%，由此可見該方法檢測(cè)效果良好。

1. 4 算法對(duì)比

為了評(píng)價(jià)不同方法的效果，通常以平均精確值作為檢測(cè)算法的精度驗(yàn)證指標(biāo)，其計(jì)算公式如下：

上面三個(gè)式子為平均精確值A(chǔ)P的計(jì)算公式，其中NTP為正確檢測(cè)個(gè)數(shù)，N1為錯(cuò)誤檢測(cè)個(gè)數(shù)，N2為缺陷絕緣子未檢測(cè)個(gè)數(shù)。

YOLO 算法、R-CNN 算法和SSD 算法在檢測(cè)技術(shù)上的本質(zhì)區(qū)別在于是否需要提出建議框。YOLO 算法與SSD 算法屬于單階段目標(biāo)檢測(cè)算法，其檢測(cè)策略是根據(jù)卷積特征圖像素與原圖像像素塊之間的映射關(guān)系在原圖像上劃分檢測(cè)單元，在各檢測(cè)單元上進(jìn)行邊界框預(yù)測(cè)。R-CNN 系列算法屬于雙階段目標(biāo)檢測(cè)算法，其檢測(cè)策略是在一階段提出建議框，根據(jù)建議框框選輸入圖像或特征圖，在二階段基于框選結(jié)果進(jìn)行邊界框預(yù)測(cè)與目標(biāo)分類。YOLO 算法與SSD 算法和R-CNN 算法相比，省略了提出建議框的步驟，減少了計(jì)算量，因此YOLO 與SSD 具有較快的檢測(cè)速度。幾種算法的檢測(cè)能力見表1。

表1 幾種算法的檢測(cè)能力對(duì)比表

由表1 可知，F(xiàn)aster R-CNN、YOLO、SDD 及其改進(jìn)的算法都能在絕緣子檢測(cè)中獲得不錯(cuò)的效果，改進(jìn)YOLOv4 算法的絕緣子檢測(cè)精度達(dá)到94. 3%，缺陷檢測(cè)精度高達(dá)98. 6%，比其他算法都要高。但是上述算法也有缺點(diǎn)：在絕緣子污損、絕緣子覆冰等特殊情況下，由于低層和高層之間的特征信息缺少信息融通，導(dǎo)致檢測(cè)效果較差。基于深度學(xué)習(xí)的檢測(cè)算法主要是采用矩形框定位絕緣子的位置，但是因?yàn)闊o(wú)人機(jī)航拍時(shí)無(wú)法保證拍攝的位置姿態(tài)固定，導(dǎo)致定位框內(nèi)像素較低，存在大量的噪聲和干擾點(diǎn)。

2 特殊情況絕緣子檢測(cè)與識(shí)別

前文所述主要都是針對(duì)一般情況下絕緣子定位檢測(cè)與絕緣子爆裂識(shí)別的算法綜述，在實(shí)際情況中，絕緣子所處的環(huán)境千變?nèi)f化并且存在絕緣子缺陷區(qū)域較小的情況，因此結(jié)合搜集的相關(guān)文獻(xiàn)，簡(jiǎn)述在特殊情況下絕緣子檢測(cè)與識(shí)別技術(shù)。

張晶焯［28］采用基于增強(qiáng)特征金字塔和可變形卷積的缺陷識(shí)別方法，增加很少的計(jì)算量，解決多尺度變化問(wèn)題，實(shí)驗(yàn)結(jié)果證明使用該算法能夠明顯提高絕緣子缺陷區(qū)域較小的情況下的檢測(cè)精度。魯軒［29］基于圖像識(shí)別技術(shù)，結(jié)合樣本特征學(xué)習(xí)機(jī)制，對(duì)樣本特征進(jìn)行處理和建立樣本庫(kù)，建立了一套具有高度復(fù)用性、可擴(kuò)展性和創(chuàng)新性的圖像缺陷識(shí)別算法核心。樣本特征處理首先需要利用高斯濾波算法進(jìn)行預(yù)處理［公式（5）］，去除背景干擾信息，然后通過(guò)增強(qiáng)處理確定圖像特征數(shù)據(jù)，最后通過(guò)圖像特征分析來(lái)提取和分類特征。建立樣本庫(kù)對(duì)處理后的圖像進(jìn)行存儲(chǔ)和分析。

我國(guó)大部分省份都會(huì)有冰雪天氣，而覆冰絕緣子（見圖3）將會(huì)增加其導(dǎo)電放電的危險(xiǎn)，所以實(shí)現(xiàn)對(duì)覆冰絕緣子的檢測(cè)識(shí)別十分重要。黃新波［30］提出了一種可以檢測(cè)覆冰絕緣子的通用算法。該算法的主要特點(diǎn)是先對(duì)采集的無(wú)人機(jī)圖像進(jìn)行清晰化處理，該過(guò)程引入小波變換，濾除灰度圖像中的低頻信息，從而得到背景清晰的覆冰絕緣子圖像，然后再進(jìn)行一系列的絕緣子識(shí)別操作。

圖3 覆冰絕緣子

申振騰［31］則提出一種可以檢測(cè)絕緣子室溫硫化硅橡膠涂料（Room Temperature Vulcanized Silicone Rubber Coating，RTV）涂層質(zhì)量的檢測(cè)方法。絕緣子在經(jīng)過(guò)腐蝕或者受損后，在雨天或者潮濕的天氣，絕緣子表面會(huì)產(chǎn)生導(dǎo)電通道，從而產(chǎn)生放電現(xiàn)象，而RTV 涂層是一種憎水性涂料，涂敷在絕緣子表面后可以提高絕緣子的污閃電壓［32］。一旦RTV 圖層出現(xiàn)磨損，將會(huì)使絕緣子暴露在空氣中，出現(xiàn)污閃的可能性提高。該算法主要通過(guò)對(duì)采集的圖像進(jìn)行色彩空間轉(zhuǎn)換、濾波操作，再設(shè)定相應(yīng)的閾值，對(duì)絕緣子RTV 涂層質(zhì)量進(jìn)行評(píng)定。

絕緣子是高速鐵路網(wǎng)的重要組成部分，而同時(shí)絕緣子又會(huì)出現(xiàn)各種污損，其導(dǎo)致的污閃事故將會(huì)極大地影響鐵路網(wǎng)的安全運(yùn)行。所以能夠快速、準(zhǔn)確地對(duì)絕緣子的污損情況進(jìn)行檢測(cè)，是鐵路系統(tǒng)急需解決的問(wèn)題。孫磊［33］提出了一種基于可見光圖像的絕緣子污損檢測(cè)方法。該算法特點(diǎn)是，利用絕緣子表面不同污損產(chǎn)生不同的顏色特征，進(jìn)行區(qū)分識(shí)別。由于絕緣子暴露在室外環(huán)境，表面會(huì)殘留各種污穢物［34］，與潔凈的絕緣子相比，有污損的絕緣子提取的圖像特征會(huì)有明顯不同，不同種類的污穢物殘留也會(huì)有不同的顏色特征，在檢測(cè)同種污穢物時(shí)，提取的圖像也會(huì)因污損程度高低有相應(yīng)差異，由此可以對(duì)輸入圖像進(jìn)行有效的分類、檢測(cè)。

3 結(jié)論

綜上所述，基于無(wú)人機(jī)圖像的絕緣子識(shí)別與缺陷檢測(cè)技術(shù)在近幾年發(fā)展迅速，其中大部分都是對(duì)絕緣子定位與爆裂檢測(cè)的算法設(shè)計(jì)與改進(jìn)，主要分為YOLO 系算法、R-CNN 系算法及SSD算法［35-36］。這幾類算法都在絕緣子檢測(cè)中有不錯(cuò)的效果，綜合考慮改進(jìn)YOLOv4 算法優(yōu)于其他算法，其絕緣子檢測(cè)精度達(dá)到94. 3%，缺陷檢測(cè)精度高達(dá)98. 6%。另外，針對(duì)特殊環(huán)境下的絕緣子以及面對(duì)特殊絕緣子檢測(cè)要求，也有相應(yīng)的研究進(jìn)展。可以看出未來(lái)這項(xiàng)技術(shù)的發(fā)展將更加完善、全面。

基于目前的研究進(jìn)展，將未來(lái)的研究發(fā)展歸納為以下幾個(gè)方面，以期為絕緣子識(shí)別與缺陷檢測(cè)算法研究提供參考。

一是目前絕緣子缺陷檢測(cè)算法一般只針對(duì)某一種絕緣子缺陷，缺陷檢測(cè)范圍相對(duì)有限并且針對(duì)特殊情況絕緣子檢測(cè)與識(shí)別研究相對(duì)較少，因此提出針對(duì)特殊情況絕緣子檢測(cè)與識(shí)別并且能夠準(zhǔn)確判別多種絕緣子缺陷類型的檢測(cè)算法是研究的重要內(nèi)容；

二是目前絕緣子檢測(cè)算法的改進(jìn)一般以檢測(cè)精度為考核指標(biāo)，在檢測(cè)速度和時(shí)間方面的研究相對(duì)較少，結(jié)合云計(jì)算與邊緣計(jì)算在絕緣子缺陷檢測(cè)場(chǎng)景的任務(wù)分配提高絕緣子缺陷檢測(cè)算法的檢測(cè)精度和速度具有重大的意義；

三是目標(biāo)檢測(cè)算法需要依靠大量樣本數(shù)據(jù)進(jìn)行訓(xùn)練，才能實(shí)現(xiàn)高精度的絕緣子缺陷檢測(cè)效果，因此研究怎么才能獲取大量高質(zhì)量的樣本數(shù)據(jù)，具有較高的研究?jī)r(jià)值。