基于深度學(xué)習(xí)的輸電線路視覺檢測研究綜述

趙振兵，齊鴻雨，聶禮強

(1.華北電力大學(xué) 電氣與電子工程學(xué)院，河北 保定 071003；2. 山東大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，山東 青島 266237)

輸電線路是我國能源互聯(lián)網(wǎng)最重要的基礎(chǔ)設(shè)施之一，其運行狀態(tài)的安全穩(wěn)定是電能傳輸?shù)闹匾疤?，也是我國能源發(fā)展的重要保障。隨著我國電網(wǎng)的不斷發(fā)展，各個電壓等級的輸電線路正處于快速建設(shè)中。截至2016年底，我國國家電網(wǎng)66 kV及以上電壓等級輸電線路總長88.91萬 km，當(dāng)年增長6.68萬 km；南方電網(wǎng)110 kV及以上電壓等級輸電線路總長21.2萬 km，當(dāng)年增長1.30萬 km；內(nèi)蒙古電網(wǎng)110 kV及以上電壓等級輸電線路總長3.77萬 km。截至2017年，全國220 kV及以上電壓等級的輸電線路總長為68.77萬 km，500 kV及以上電壓等級的輸電線路總長為23.67萬 km[1]。“十三五”期間，國家電網(wǎng)將新增110 kV及以上電壓等級線路40.1萬 km，較“十二五”末增長45%[2]。可見，在加快建設(shè)輸電線路的同時，輸電線路已有極大的覆蓋范圍。由于輸電線路長期處在復(fù)雜的地理位置、不可預(yù)知氣候變化的自然環(huán)境條件下，且與周圍的動物活動和人類活動緊密關(guān)聯(lián)，因而輸電線路有較高的可能性出現(xiàn)故障，從而不可避免地導(dǎo)致跳閘事故的發(fā)生。

影響輸電線路安全運行的主要因素有雷擊[3-6]、鳥害[7-9]、外力[10-11]、山火[12-13]、風(fēng)偏[14-15]、冰害[16-18]等，經(jīng)過對這些引起輸電線路跳閘的常見因素進行長期研究，研究者們提出了許多有效的防治方法，使現(xiàn)狀有了明顯的改善[19-21]，但問題依然突出。2016年我國國家電網(wǎng)輸電線路發(fā)生線路跳閘與故障停運總體情況見表1。

表1 2016年國家電網(wǎng)輸電線路跳閘與故障停運情況Tab.1 Tripping and fault outage of transmission lines of state grid in 2016

由表1可知，500 kV輸電線路的跳閘次數(shù)最多。圖1所示為2016年度不同跳閘原因?qū)е碌奶l次數(shù)統(tǒng)計情況。從圖1可知，導(dǎo)致輸電線路跳閘的因素主要是雷擊[22-23]，跳閘次數(shù)占比52.5%，其次為鳥害、外力、風(fēng)害、冰害(占比依次為14.3%、14.1%、11.4%、6.8%)等其他原因[24-25]，以及相對少數(shù)的不明原因。

圖1 各原因引起的跳閘次數(shù)Fig.1 Tripping times caused by various reasons

輸電線路的基層運檢人員數(shù)量增長緩慢，而影響電網(wǎng)安全的風(fēng)險因素長期存在，使得輸電線路規(guī)?？焖贁U大與人工運檢效率提升緩慢的矛盾日益突出，傳統(tǒng)運檢模式無法適應(yīng)電網(wǎng)發(fā)展與體制變革的要求。為了改善上述輸電線路中長期存在的問題，構(gòu)建智能運檢體系是破解線路運檢發(fā)展難題的必由之路[26]。

近年來，我國大力推進以現(xiàn)代信息技術(shù)為核心的輸電線路智能化巡檢技術(shù)，目的是實現(xiàn)重要輸電設(shè)備的狀態(tài)監(jiān)測、狀態(tài)評估、狀態(tài)檢修和風(fēng)險預(yù)警，以及實現(xiàn)在線評估診斷與決策[27-28]。提升輸電線路狀態(tài)評估的智能化水平，以積極的方式防治與應(yīng)對輸電事故的發(fā)生，對我國能源互聯(lián)網(wǎng)安全有重要意義。

深度學(xué)習(xí)是機器學(xué)習(xí)中的一個重要方法，因具有逐層信息處理、分布式的豐富模型特征、足夠的模型復(fù)雜度等特點[29]，該方法能夠有效提取到數(shù)據(jù)中更本質(zhì)的特征，在語音、圖像、視頻等信息的處理任務(wù)上展現(xiàn)出了優(yōu)越的性能；因此，基于深度學(xué)習(xí)的輸電線路視覺檢測作為輸電線路智能化發(fā)展的關(guān)鍵技術(shù)，具有重要研究價值。

基于此，本文首先綜述了國內(nèi)外基于深度學(xué)習(xí)的視覺檢測方法與輸電線路視覺檢測方法研究現(xiàn)狀；然后，針對輸電線路中能夠應(yīng)用深度學(xué)習(xí)進行視覺檢測的主流巡檢方式，對工作原理、特點以及結(jié)合深度學(xué)習(xí)過程中的主要問題進行分析，同時對深度學(xué)習(xí)在輸電線路視覺巡檢應(yīng)用中的關(guān)鍵問題進行總結(jié)；最后，對該研究領(lǐng)域的未來發(fā)展方向進行探討。

1 研究現(xiàn)狀

1.1 基于深度學(xué)習(xí)的視覺檢測方法研究現(xiàn)狀

2006年，深度學(xué)習(xí)概念被首次提出，采用更多層的神經(jīng)網(wǎng)絡(luò)構(gòu)建自編碼器實現(xiàn)自監(jiān)督與有監(jiān)督結(jié)合的訓(xùn)練方式[30]。2012年，基于深度卷積神經(jīng)網(wǎng)絡(luò)(deeply convolutional neural network，DCNN)構(gòu)建的AlexNet[31]首次應(yīng)用于ImageNet[32]圖像識別大賽，掀起了第2次人工智能研究的浪潮。DCNN[33]是一種針對二維圖像處理的深度人工神經(jīng)網(wǎng)絡(luò)，提取的圖像特征具有很強的辨別力與魯棒性，其局部感知、參數(shù)共享等模型特點有效降低了算法的環(huán)境要求，目前在基于深度學(xué)習(xí)的視覺檢測中被廣泛應(yīng)用。

2013年，文獻[34]采用AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)，通過對圖像局部區(qū)域回歸以及構(gòu)建多尺度的方法，將DCNN首次應(yīng)用于目標檢測任務(wù)。同年，基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(region-base convolutional neural network，R-CNN)[35]被提出，借鑒滑動窗口的思想，利用支持向量機(support vector machine，SVM)[36]對DCNN提取的深度特征進行分類，是基于區(qū)域建議方法與DCNN相結(jié)合的目標檢測基礎(chǔ)框架。針對R-CNN的效率問題，何凱明等人提出空間金字塔池化(spatial pyramid pooling，SPP)網(wǎng)絡(luò)SPP-Net[37]，將原本需要進行2 000次的區(qū)域特征提取過程壓縮到一次完成，并通過SPP處理使得不同區(qū)域特征能夠映射到統(tǒng)一大小，消除了大量的重復(fù)計算，很大程度加快了檢測效率。在SPP-Net的基礎(chǔ)上，F(xiàn)ast R-CNN[38]提出了感興趣區(qū)域池化(region of interest pooling，RoI Pooling)對動態(tài)區(qū)域大小進行歸一化，并且用softmax函數(shù)替換SVM對區(qū)域進行分類，同時構(gòu)建回歸器對目標的位置進行回歸。最后，將它們的損失進行加和，構(gòu)建多任務(wù)學(xué)習(xí)模型。為了更進一步提高模型的性能，F(xiàn)aster R-CNN[39]針對區(qū)域建議方法進行設(shè)計，利用共享DCNN構(gòu)建區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)，對候選區(qū)域進行初步的分類處理，且不引來額外的網(wǎng)絡(luò)體積增加，成為了目前目標檢測的主流檢測模型。至此，基于區(qū)域建議的兩級目標檢測基本框架較為成功地建立起來。以將更深的網(wǎng)絡(luò)應(yīng)用到目標檢測中為出發(fā)點，基于區(qū)域的全卷積網(wǎng)絡(luò)(region-base fully convolutional network，R-FCN)[40]構(gòu)建基于全卷積的目標檢測網(wǎng)絡(luò)，提出位置敏感得分圖(position sensitive score map)，對區(qū)域的特征進行優(yōu)化處理，將感興趣區(qū)域分為多個子區(qū)域，分別計算每個子區(qū)域在每個類別上的得分，通過利用得分圖進行投票和softmax函數(shù)計算，得到每個區(qū)域的分類結(jié)果。

為了更進一步提升檢測的效率，文獻[41]針對檢測模型的速度問題，提出單級檢測框架YOLO(you only look once)，從輸入到輸出僅進行一次邊界框的回歸與區(qū)域的分類。與基于區(qū)域建議方法的兩級檢測框架相比，它們的共同點是都采用DCNN提取圖像的視覺特征，區(qū)別在于YOLO沒有目標區(qū)域建議機制，僅在網(wǎng)絡(luò)的尾部利用固定區(qū)域的深度特征對目標位置進行回歸與類別置信度計算。為了解決YOLO對區(qū)域的相對模糊處理帶來的準確率瓶頸，SSD(single shot multibox detector)[42]將Anchor機制引入模型，同時采用特征融合與多尺度預(yù)測方法構(gòu)建了一個速度與準確率更好的端到端單級檢測框架。YOLOv2[43]針對YOLO的網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化設(shè)計，利用殘差網(wǎng)絡(luò)結(jié)構(gòu)、多尺度訓(xùn)練、特征融合、基于k-means的先驗框生成等方法，改善了相對簡略的約束框處理帶來的低召回率和樣本不平衡問題，同時優(yōu)化了模型的深度特征提取能力，在公共數(shù)據(jù)集COCO(common objects in context)[44]與PASCAL VOC 2012[45]上獲得了比上一代更快速、準確率更高的性能表現(xiàn)。隨著基礎(chǔ)模型研究的發(fā)展，YOLOv3[46]利用53層的DarkNet-53作為主干網(wǎng)絡(luò)，并構(gòu)建特征金字塔，同時利用多尺度預(yù)測和更多尺度的先驗框生成，進一步提高了檢測準確率。而多分類的softmax函數(shù)被替換為logistic函數(shù)則令YOLOv3能夠執(zhí)行目標的多標簽檢測。單級目標檢測框架相對于兩級目標檢測框架速度更快，由于模型直觀簡練，成為現(xiàn)代工程應(yīng)用中目標檢測任務(wù)首要考慮的模型之一。

基于深度學(xué)習(xí)的目標檢測是一種數(shù)據(jù)驅(qū)動的智能學(xué)習(xí)型算法，能夠自動學(xué)習(xí)到可進行有效定位和分類的深度特征；但符合條件的高質(zhì)量有監(jiān)督數(shù)據(jù)總是有限的，特別是自然場景中獲取的數(shù)據(jù)都呈現(xiàn)出長尾分布，比如缺陷數(shù)據(jù)。為了能夠在有限的數(shù)據(jù)下提高檢測的性能，數(shù)據(jù)增廣是一個能夠有效提高有限數(shù)據(jù)下模型檢測能力的外部方法。傳統(tǒng)的數(shù)據(jù)增廣方法有幾何變換、噪聲擾動、顏色變換、對比度擾動、灰度增強與亮度變化等，將數(shù)據(jù)通過一些較為規(guī)則的映射來擴充數(shù)據(jù)集的規(guī)模，從而使得模型的泛化能力一定程度的提高。這些通用的數(shù)據(jù)增廣方法的局限性在于：進行數(shù)據(jù)增強時，未考慮內(nèi)容本身的整體數(shù)值分布變化；在對不同的數(shù)據(jù)集進行數(shù)據(jù)增強的同時，未結(jié)合已有數(shù)據(jù)的先驗數(shù)據(jù)特征進行數(shù)據(jù)增強。即這些方法增加的變化是一種針對圖像整體而言的變化；而針對圖像中的語義目標所對應(yīng)的二維視覺表征而言，并沒有實際的類目標樣本被擴充。這些問題指出了通過擴充目標檢測數(shù)據(jù)集中語義目標、針對數(shù)據(jù)集自身特點的數(shù)據(jù)增廣方式所蘊含的更多價值。

Ian Goodfellow等人提出生成式對抗網(wǎng)絡(luò)(generative adversarial network，GAN)[47]，首次將深度學(xué)習(xí)應(yīng)用于圖像生成當(dāng)中。GAN構(gòu)建模型對已有數(shù)據(jù)進行學(xué)習(xí)，利用生成器對目標數(shù)據(jù)進行生成，并使用鑒別器對生成數(shù)據(jù)真假度進行評估，在生成器與鑒別器對抗的訓(xùn)練過程中，使得生成器能夠生成與訓(xùn)練數(shù)據(jù)相似的目標樣本。由于CNN對于計算機視覺的有效性，Alec Radford等人構(gòu)建深度卷積生成式對抗網(wǎng)絡(luò)(deep convolution generative adversarial networks，DCGAN)[48]，將其應(yīng)用于圖像生成當(dāng)中。BigGAN[49]通過對生成器進行正交正則化改進，大大提高了生成器的生成圖像質(zhì)量，將GAN的應(yīng)用能力再次提高。Nvidia提出StyleGAN[50]，以風(fēng)格遷移為任務(wù)核心構(gòu)建GAN，在人臉生成上取得了當(dāng)時最好的效果，在保證語義目標高質(zhì)量生成的基礎(chǔ)上，對目標所處的環(huán)境也能夠達到良好的變換效果。通過基于深度學(xué)習(xí)方法進行有效的圖像增廣，能夠在數(shù)據(jù)有限以及樣本不平衡的不理想情況中，提高檢測模型的有效性。

在目標檢測用于提取深度特征的主干網(wǎng)絡(luò)選擇上，目標檢測網(wǎng)絡(luò)會同時考慮網(wǎng)絡(luò)深度、模型復(fù)雜度、任務(wù)難度以及計算能力的限制等，通過綜合考慮進行主干網(wǎng)絡(luò)的選擇，網(wǎng)絡(luò)的深度不是決定模型性能表現(xiàn)的唯一因素。常用主干網(wǎng)絡(luò)如Vgg-16[51]、ResNet[52]、YOLOv3的DarkNet、InceptionNet以及Inception-ResNet[53]等。

1.2 輸電線路視覺檢測方法研究現(xiàn)狀

輸電線路視覺檢測任務(wù)按傳感器獲取數(shù)據(jù)與進行檢測的時間間隔，可以分為在線視覺檢測和離線視覺檢測[54]。在線視覺檢測通過可見光傳感器、紅外傳感器、紫外傳感器等設(shè)備對輸電線路運行狀態(tài)進行實時的監(jiān)督，其設(shè)備的安裝要求、運行成本、維護成本相對較高[55]。離線視覺檢測通過周期性的單次測量獲取輸電線路的視覺數(shù)據(jù)，在整體檢測完畢后進行數(shù)據(jù)清洗與數(shù)據(jù)分析。對于覆蓋面積廣泛的輸電線路而言，其靈活性更高且適用范圍更廣，在大范圍區(qū)域的檢測上成本相對較低[56-59]。

輸電線路中基于視覺的檢測任務(wù)可按檢測對象的相對尺度大小分為4種類型：桿塔級視覺檢測、部件級視覺檢測、部位級視覺檢測以及元件級視覺檢測。桿塔級的視覺檢測任務(wù)主要是對桿塔等相對尺度較大的視覺目標進行整體的檢測(比如桿塔的定位、桿塔塔身范圍的檢測等)，檢測對象尺度相對較大，在所獲取的視覺數(shù)據(jù)中對應(yīng)的目標信息占比多，因此檢測相對較易。輸電線路場景中的部件級視覺檢測對象是導(dǎo)地線、絕緣子、金具、基礎(chǔ)、附屬設(shè)施、廊道環(huán)境、桿塔、接地裝置等部件的某一類具體對象，比如金具的具體對象包含了保護金具、接續(xù)金具、聯(lián)接金具、耐張線夾以及懸垂線夾。部位級視覺檢測對象是相對于輸電線路部件級對象尺度更小的視覺目標。不同的部件對象對應(yīng)不完全相同的部位目標，而螺栓則是不同部件中出現(xiàn)得最多的相同部位目標。元件級視覺檢測對象是輸電線路中視覺檢測尺度最小的一類目標，如在輸電線路中大量存在的鎖緊銷、螺母等緊固件。該劃分沒有絕對分明的界線，因為目標的規(guī)格與目標視覺數(shù)據(jù)獲取的尺度都具有多樣性(比如不同大小的異物目標)?？傮w上，根據(jù)尺度的劃分，對于一種相對穩(wěn)定的輸電線路視覺數(shù)據(jù)獲取方式而言，可以將視覺檢測任務(wù)分為不同等級，從而能夠系統(tǒng)地分析不同檢測對象之間的關(guān)系與檢測難度，利于模型的選擇與構(gòu)建。圖2所示為輸電線路視覺檢測任務(wù)按相對尺度劃分的實例說明。

圖2 輸電線路視覺檢測任務(wù)按尺度劃分實例Fig.2 Examples of visual detection tasks for transmission lines divided according to scales

文獻[60]基于機載多傳感器自動巡檢系統(tǒng)，通過可見光相機、紅外熱像儀對輸電線路中的桿塔目標和絕緣子進行自動檢測；同時，結(jié)合RTK(real-time kinematic)定位系統(tǒng)獲取的差分經(jīng)緯度和海拔高度等信息以及電子羅盤獲取的飛行航向角、俯仰角、翻滾角等姿態(tài)信息，對拍攝系統(tǒng)進行實時的位置修正，實現(xiàn)拍攝過程的自動跟蹤，有效提高了巡檢的作業(yè)效率。文獻[61]基于航拍輸電線路圖像對桿塔進行檢測，首先利用小波變換進行圖像去噪，然后通過邊緣檢測定位到桿塔目標區(qū)域，最后通過灰度直方圖構(gòu)建桿塔不良狀態(tài)判別模型以完成檢測；但該方法泛化能力差。文獻[62]通過無人機獲取電力桿塔圖像，利用多種桿塔的三維模型對桿塔圖像進行匹配；但基于模板匹配的檢測算法在桿塔類型與所處環(huán)境的雙重變化下魯棒性差。文獻[63]基于機載激光掃描設(shè)備獲取的輸電線路激光點云數(shù)據(jù)，提出了一種基于二維格網(wǎng)多維特征分析的輸電桿塔自動定位方法，首先進行噪聲濾波和規(guī)則化預(yù)處理，然后計算點云圖像的高差、坡度、密度特征，最后利用所得特征對桿塔進行定位，具有較高的有效性與穩(wěn)定性。文獻[64]基于輸電線路的無人機巡檢圖像，利用滑動窗口的思想，通過對每個窗口提取方向梯度直方圖(histogram of oriented gradient，HOG)特征訓(xùn)練SVM分類器，從而實現(xiàn)桿塔的判別；該方法對于輸電線路可見光圖像的桿塔檢測有較高的魯棒性。

文獻[65]基于輸電線路航拍圖像，對航拍圖像中的絕緣子、塔材、防振錘和背景進行檢測。作者構(gòu)建5層CNN，將航拍圖像分成不同粒度的網(wǎng)格，對每個網(wǎng)格區(qū)域進行分類訓(xùn)練，最終將統(tǒng)一類型的相鄰網(wǎng)格對應(yīng)原圖區(qū)域進行整體掩碼，從而完成多類部件的檢測。文獻[66]通過構(gòu)建DCNN，獲取多個層次的導(dǎo)線特征，將非導(dǎo)線目標背景完整切除，實現(xiàn)輸電線的有效分割。文獻[67]利用Faster R-CNN構(gòu)建航拍圖像中的絕緣子及其缺陷檢測模型，對絕緣子的檢測準確率為94%，對掉串缺陷的檢測準確率達到了92%。對于同一任務(wù)，文獻[68]將不同檢測模型與不同的骨干網(wǎng)絡(luò)進行對比實驗，構(gòu)建更優(yōu)良的深度模型，進一步提升了深度學(xué)習(xí)在絕緣子檢測任務(wù)上的性能表現(xiàn)。

文獻[69]構(gòu)建輸電線路智能監(jiān)控系統(tǒng)，通過服務(wù)器處理現(xiàn)場監(jiān)控圖像，進行鳥類入侵輸電線路的檢測，對于結(jié)構(gòu)簡單、背景單一的低壓輸電線路獲得了較為理想的效果。文獻[70]首先提取顏色特征對航拍圖像進行預(yù)處理，然后通過訓(xùn)練Faster R-CNN得到自動銹蝕檢測深度模型。該方法對分辨率較低或近距離的拍攝圖像有一定的實用性。文獻[71]基于無人機獲取輸電線路航拍圖像，采用Fast R-CNN對航拍圖像中的絕緣子、金具、懸垂線夾、塔材等進行檢測，通過Vgg-16與ResNet-101構(gòu)建多個目標檢測模型，將不同分辨率的圖像輸入進行對比，在圖像最長邊的長度為1 000像素時，得到了最好的多類部件檢測結(jié)果。

螺栓為復(fù)雜龐大的輸電線路中廣泛存在的緊固件，因相對尺度較小，受限于觀測分辨率與觀測距離，在光學(xué)衛(wèi)星圖像、激光雷達探測中較難對其進行狀態(tài)檢測，而基于固定監(jiān)控攝像頭的視覺信息又有較大的空間局限性。為評估不良螺栓缺陷對輸電線路運行穩(wěn)定與安全的影響，對輸電線路中的螺栓目標檢測需要提升視覺巡檢的精細化程度。目前，直升機、無人機巡檢在輸電線路上獲取的視覺信息具有更大的空間自由度，隨著可見光傳感器技術(shù)的發(fā)展，這些巡檢方式能夠?qū)旊娋€路進行更精細化的感知，也使得基于飛行器航拍圖像的螺栓缺陷自動檢測成為可能。

通過定位與狀態(tài)檢測對桿塔本體、基礎(chǔ)、架空導(dǎo)地線、絕緣子、金具、接地裝置以及螺栓等部件的運行狀態(tài)進行評估；根據(jù)評估結(jié)果，針對已有問題和潛在威脅進行及時處理和檢修規(guī)劃，從而為輸電線路整體運行狀態(tài)的可靠性與安全性評估提供合理的評估依據(jù)[72]。

2 深度學(xué)習(xí)在輸電線路視覺巡檢技術(shù)中的應(yīng)用分析

2.1 無人機巡檢

隨著電網(wǎng)運行維護的輸電線路里程快速增長，運行維護的需求增長與運行維護人員數(shù)量之間的矛盾逐漸顯現(xiàn)，而且人工巡檢的成本高、工作強度大、人員素質(zhì)參差不齊，巡檢效率低下；因此，無人機作為一種低成本、短周期、機動性強的巡檢方式，在輸電線路巡檢中越來越被重視[73]。圖3所示為無人機進行輸電線路巡檢時的場景。

圖3 無人機進行輸電線路巡檢場景Fig.3 UAV inspection on transmission line

無人機作為一種智能、高效的輸電線路巡檢方式，具有非帶電巡檢、巡檢空間自由度大、巡檢精細度高、可調(diào)節(jié)性強等特點，能夠廣泛適應(yīng)不同巡檢任務(wù)的環(huán)境條件，代表了未來輸電線路巡檢的智能化發(fā)展方向。相比于其他巡檢方式，基于無人機搭建的移動巡檢平臺具有安全性高、不受地理環(huán)境限制、巡線速度快等優(yōu)勢。融合了電子、通信、計算機視覺等多個領(lǐng)域的信息處理技術(shù)的整套無人機巡檢系統(tǒng)，能夠有效彌補人工巡檢的局限性，安全快速地完成線路巡檢工作，是電網(wǎng)運行維護由勞動密集型向技術(shù)密集型轉(zhuǎn)變的關(guān)鍵巡檢技術(shù)之一。目前，無人機巡檢主要搭載的是可見光視覺傳感器，運用無人機的日常巡檢內(nèi)容見表2。

表2 無人機的日常巡檢內(nèi)容Tab.2 Daily inspection contents of UAV

在Q/GDW 1906—2013《輸變電一次設(shè)備缺陷分類標準》中，按照對電網(wǎng)運行的影響程度，將輸電設(shè)備缺陷劃分為危急、嚴重和一般缺陷3種類型，共有1 116項缺陷描述，其中嚴重缺陷213個，危急缺陷484個，一般缺陷419個。

無人機巡檢可以迅速積累大量清晰的輸電線路視覺數(shù)據(jù)，只要加上高質(zhì)量的人工監(jiān)督信息即可驅(qū)動基于深度學(xué)習(xí)的目標檢測方法，進行輸電線路中故障的智能檢測。圖4所示為利用基于深度學(xué)習(xí)構(gòu)建的目標檢測模型，對無人機航拍巡檢可見光圖像進行不同尺度的目標檢測的結(jié)果。圖4(a)為螺栓及其缺陷的檢測結(jié)果，矩形框內(nèi)為正常螺栓與缺陷螺栓的檢測結(jié)果，橢圓形框表示工作人員在算法檢測之前對缺陷的人工缺陷查找結(jié)果。可以發(fā)現(xiàn)，圖中基于深度學(xué)習(xí)的航拍圖像處理在檢出已知缺陷的同時，可檢出人工排查后漏檢的缺陷，可一定程度地改善由于人工疲勞等原因?qū)е碌娜肆ρ矙z效率低下情況。圖4(b)為基于Faster R-CNN的多類金具的檢測結(jié)果。

2.2 輸電線路在線監(jiān)測

通過在輸電線路沿線安裝遠程智能巡線裝置，對輸電線路設(shè)備以及通道環(huán)境進行監(jiān)拍，可構(gòu)建輸電線路在線監(jiān)測系統(tǒng)。根據(jù)處理手段的不同，基于視覺的輸電線路在線監(jiān)測可分為圖像監(jiān)測與視頻監(jiān)測。輸電線路在線視覺監(jiān)測提供了實時監(jiān)視與了解線路運行可靠性的手段，能夠有效、快速持續(xù)地獲取輸電線路桿塔、廊道環(huán)境、地形變化等信息，及時發(fā)現(xiàn)絕緣子污穢、閃絡(luò)定位、微氣候、風(fēng)偏、線路舞動、覆冰、外物入侵等情況[74-75]，大大提高被監(jiān)測輸電線路段的穩(wěn)定性與安全性。圖5所示為常規(guī)的視覺在線監(jiān)測系統(tǒng)結(jié)構(gòu)框圖。

圖4 基于深度學(xué)習(xí)的金具與螺栓檢測結(jié)果Fig.4 Detection results of fittings and bolts based on deep learning

相比于其他巡檢方法，基于視覺的輸電線路在線監(jiān)測實時性強，能夠?qū)崿F(xiàn)動態(tài)的巡檢，對變化有更強烈的感知能力；其局限性在于成本高、監(jiān)測范圍相對較小、對設(shè)備硬件與工作條件的要求高。在通信方面，網(wǎng)絡(luò)信號是該監(jiān)測系統(tǒng)的重要部分[76]，但戶外輸電線路的通信環(huán)境難以保證；在電源方面，蓄電池及其戶外保護機箱是設(shè)備采集信息的必要前提[77]，在持續(xù)監(jiān)測與環(huán)境溫度變化中電池損耗明顯，使得在線監(jiān)測系統(tǒng)發(fā)生故障的可能性不斷增加，維護難度相對較大。

將深度學(xué)習(xí)應(yīng)用于輸電線路在線監(jiān)測系統(tǒng)中的智能處理模塊中，當(dāng)遠程輸電線路視覺信息采集完畢后，通過通信系統(tǒng)傳輸?shù)酱鎯Ψ?wù)器與智能處理服務(wù)器，智能處理服務(wù)器對采集到的輸電線路圖像進行基于圖像的觀測對象靜態(tài)狀態(tài)檢測和基于視頻的觀測對象動態(tài)狀態(tài)檢測。當(dāng)有危急情況發(fā)生，通過狀態(tài)檢測結(jié)果，控制模塊向可視化終端服務(wù)器發(fā)出預(yù)警命令并發(fā)送具體危急情況描述信息，同時控制遠程設(shè)備對缺陷問題進行持續(xù)的重點檢測。輸電線路在線監(jiān)測系統(tǒng)要求基于深度學(xué)習(xí)的視覺檢測方法有較高的實時性。由于視覺信息采集的范圍有限，對于單個采集器而言采集內(nèi)容的重復(fù)性高，對于不同采集器而言采集內(nèi)容差異大，使得訓(xùn)練數(shù)據(jù)的監(jiān)督在考慮重復(fù)性干擾的同時還需考慮樣本的多樣性，以保證模型的泛化能力。

OPGW—光纖復(fù)合架空地線，optical fiber composite overhead ground wire的縮寫。

圖5 基于視覺的輸電線路在線監(jiān)測系統(tǒng)結(jié)構(gòu)
Fig.5 Structure of vision-based transmissionline online monitoring system

2.3 激光雷達掃描

基于激光雷達的輸電線路巡檢能夠快速獲取輸電線路路段的三維空間信息，非接觸的工作方式使得帶電情況下即可進行巡檢，具有數(shù)據(jù)精度高、穿透力強、數(shù)據(jù)處理效率高等特點，能夠很大程度地提高巡檢效率。通過車輛、無人機搭載激光雷達掃描儀對輸電線路信息進行巡線采集，獲得輸電沿線的激光點云數(shù)據(jù)，通過后期數(shù)據(jù)處理，可以實現(xiàn)輸電線路的真實三維重建，得到桿塔、輸電線、絕緣子、沿線地表形態(tài)、地表樹木與建筑等目標的三維模型，同時可以準確測量線路弧垂與交叉跨越距離，最大限度真實地反映地表情況。圖6所示為輸電線路激光雷達巡檢實例，對電力沿線情況進行準確的展示，特別是對于危險區(qū)域的安全距離測量。目前，激光雷達巡檢還可用于輸電線路的驗收。激光雷達巡檢可以采用手持、背包、車輛、飛行器、爬行機器人等多種搭載方式進行檢測，相比其他視覺巡檢方法，對輸電線路的狀態(tài)巡檢完整性高、精度高、操作簡單且模塊性強。

圖6 輸電線路激光雷達巡檢實例Fig.6 Example of radar inspection on transmission lines

三維點云數(shù)據(jù)具有無序性、稀疏性等特點。目前，基于深度學(xué)習(xí)的三維點云數(shù)據(jù)處理方法主要有3種類型：

a)構(gòu)建能夠?qū)θS點云數(shù)據(jù)直接進行訓(xùn)練而不用經(jīng)過降維預(yù)處理的深度模型[78]。

b)將三維點云映射到多視圖或者轉(zhuǎn)換為二維的深度圖，采用常規(guī)CNN進行處理，最后聚合物體的二維特征表達，得到物體的三維特征表達[79]。

c)采用三維空間的體素描述物體，進行三維的卷積，實現(xiàn)對目標的檢測[80]。

激光雷達技術(shù)在輸電線路的精確測量與三維重建任務(wù)上有顯著優(yōu)勢，在基于視覺的輸電線路巡檢中能夠發(fā)揮獨特的作用，隨著激光雷達技術(shù)的發(fā)展，設(shè)備的價格逐漸降低，提高了其可應(yīng)用性。

2.4 高分辨率光學(xué)衛(wèi)星

高分辨率的光學(xué)衛(wèi)星能夠最大范圍地對輸電線路進行巡檢，特別是可應(yīng)用于特高壓輸電通道分布廣泛的無人區(qū)[81]。隨著高分辨率技術(shù)的發(fā)展，基于衛(wèi)星數(shù)據(jù)的輸電線路巡檢的精細程度不斷提高。獲取基于遙感衛(wèi)星的輸電線路視覺檢測關(guān)鍵技術(shù)支撐包括輸電線路衛(wèi)星數(shù)據(jù)獲取技術(shù)、多源數(shù)據(jù)融合與超分辨率重建、圖像增強、基于機器學(xué)習(xí)的有監(jiān)督檢測與無監(jiān)督聚類等。2017年12月25日，中國電力科學(xué)研究院信息中心統(tǒng)籌建立的、國內(nèi)首個面向電力應(yīng)用的衛(wèi)星大數(shù)據(jù)統(tǒng)一管理平臺正式上線，為輸電線路巡檢提供了可靠的、高重訪周期的衛(wèi)星數(shù)據(jù)支撐?；谛l(wèi)星數(shù)據(jù)的輸電線路巡檢可以對輸電線路及其環(huán)境進行長時間的變化監(jiān)測、建設(shè)進度監(jiān)測、絕緣子潛在隱患檢測、環(huán)境通道安全檢測等，圖7為輸電線路關(guān)鍵要素提取與廊道環(huán)境檢測實例。

圖7 基于高分辨率光學(xué)衛(wèi)星的輸電線路關(guān)鍵要素提取與廊道環(huán)境檢測Fig.7 Key element extraction and corridor environment detection of transmission lines based on high resolution optical satellite

在高分辨率光學(xué)衛(wèi)星拍攝的輸電線路圖像處理上，可應(yīng)用的深度學(xué)習(xí)方法除目標檢測之外，還有超分辨率重建以及圖像增強等方法，可作為預(yù)處理以提高檢測的有效性。通過大量有監(jiān)督或半監(jiān)督的訓(xùn)練能夠有效提高巡檢的自動化程度。而在處理過程中，針對包含大量背景信息以及多個目標同時存在的高分辨率圖像處理是應(yīng)用的難點，特別是復(fù)雜背景下的相似干擾以及模糊等問題。

3 發(fā)展方向

3.1 專業(yè)化的數(shù)據(jù)管理與模型研究

數(shù)據(jù)驅(qū)動的智能視覺檢測方法與數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容特點密不可分?，F(xiàn)有的公開數(shù)據(jù)集中，關(guān)于輸電線路的數(shù)據(jù)極少，從一些人工智能應(yīng)用比賽中能夠獲取少量處理過的無人機航拍數(shù)據(jù)，而真實輸電線路場景的數(shù)據(jù)幾乎無法從公共渠道獲取。這決定了現(xiàn)有模型研究的出發(fā)點并沒有向輸電線路應(yīng)用方面靠近，同時也無法發(fā)起更廣泛的研究來推動該應(yīng)用的實際發(fā)展，這使得現(xiàn)有模型對輸電線路視覺數(shù)據(jù)的智能化處理整體缺乏針對性與適用性。而輸電線路的結(jié)構(gòu)復(fù)雜，從整體到局部的規(guī)格多樣，且在自然環(huán)境中的變化不可預(yù)知，故不同輸電線路段的巡檢數(shù)據(jù)有較大差異，這直接導(dǎo)致模型的適用范圍受到局限；因此，為了更好地將深度學(xué)習(xí)應(yīng)用于輸電線路巡檢中，專業(yè)化的數(shù)據(jù)管理是驅(qū)動有效研究的首要因素。

基于視覺的輸電線路巡檢內(nèi)容需要標準化。輸電線路的構(gòu)建以功能為基礎(chǔ)，而基于視覺的檢測則是基于目標視覺內(nèi)容與其抽象語義。在多樣性方面，同一類輸電線路部件有非常多的類型，不同類型之間視覺相似度有高有低，這意味著對基于視覺的檢測需要更精細的視覺語義劃分。在一致性方面，對輸電線路的缺陷的標準描述是基于功能考慮的，而基于功能考慮的缺陷描述并非全部能夠轉(zhuǎn)換為基于視覺的缺陷描述，故基于視覺的缺陷檢測對于輸電線路而言缺乏專業(yè)的視覺缺陷標準。通過將基于視覺的巡檢內(nèi)容特別是缺陷內(nèi)容的描述專業(yè)化，可以一定程度地保障將深度學(xué)習(xí)應(yīng)用于輸電線路巡檢中這一方向研究的一致性與有效性。

輸電線路是一個龐大的有機結(jié)構(gòu)，常規(guī)視覺檢測方法應(yīng)用的評估手段難以度量智能算法在更大范圍上的有效性，特別是目前基于深度學(xué)習(xí)的方法往往將大多數(shù)采集到的數(shù)據(jù)用于訓(xùn)練，而僅留下少量數(shù)據(jù)用于評估的情況，可能嚴重低估了輸電線路實際場景的豐富性與多樣性帶來的難度，得到不真實的評估結(jié)果，對該方向的實際應(yīng)用研究具有阻礙作用。針對不同類型的巡檢場景獲取的輸電線路視覺狀態(tài)信息，建立專業(yè)化的任務(wù)評估方法，是該方向應(yīng)用研究能夠有效持續(xù)向前發(fā)展的必要前提。

3.2 無監(jiān)督數(shù)據(jù)構(gòu)建與學(xué)習(xí)自動化

深度學(xué)習(xí)是一種基于大數(shù)據(jù)的方法，深度模型的訓(xùn)練需要大量、高質(zhì)量的監(jiān)督樣本支撐，對于輸電線路視覺檢測任務(wù)而言，這不僅需巡檢專家對大量的高分辨率數(shù)據(jù)進行長期的標注，還要考慮監(jiān)督信息的有效性，避免不同監(jiān)督信息之間的數(shù)據(jù)矛盾。有效的標注方案在高質(zhì)量、大規(guī)模標注的要求上進一步加大了標注的難度，甚至需要標注人員對視覺檢測相關(guān)原理有一定了解，才能保證標注的有效性。這是由輸電線路的復(fù)雜性導(dǎo)致的，有別于公共數(shù)據(jù)集中的目標檢測共性問題。隨著輸電線路的擴建與巡檢的進行，大量的視覺巡檢數(shù)據(jù)被積累，自動、高效地構(gòu)建高質(zhì)量數(shù)據(jù)集，是該方向研究中亟待解決的問題。

目前主流深度模型最好的訓(xùn)練結(jié)果的獲得均依賴于復(fù)雜的參數(shù)調(diào)節(jié)，而深度學(xué)習(xí)技術(shù)往往比較復(fù)雜，從頭開發(fā)的難度相對較大。為了解決深度學(xué)習(xí)模型對人工依賴性較強的問題，自動化的深度學(xué)習(xí)模型訓(xùn)練方法和開放式、可遷移的輸電線路預(yù)訓(xùn)練模型，能夠使得該方法被更多非深度學(xué)習(xí)的電力專業(yè)人員使用，特別是面向輸電線路巡檢的自動化深度學(xué)習(xí)開發(fā)平臺，能夠更有效地推動該方向的應(yīng)用發(fā)展。

在缺陷故障檢測方面，視覺檢測的難點之一在于目標樣本的匱乏。自然情況下，通過巡檢獲得的輸電線路視覺信息中，正常樣本占比遠遠多于缺陷樣本，導(dǎo)致用于學(xué)習(xí)的樣本類別比例不平衡，模型對大量樣本的類別產(chǎn)生偏見，從而無法有效學(xué)習(xí)到缺陷目標的視覺特征。針對缺陷樣本過少的問題，數(shù)據(jù)增強是一個重要的解決辦法，通過數(shù)據(jù)增強對小樣本進行有效擴充。目前，基于深度學(xué)習(xí)的數(shù)據(jù)增強主要利用GAN。

3.3 結(jié)合知識表達的視覺檢測

輸電線路的結(jié)構(gòu)復(fù)雜多樣，但內(nèi)在結(jié)構(gòu)清晰。為了能夠利用視覺檢測方法對輸電線路的運行狀態(tài)進行充分有效的評估，對輸電線路的場景理解是進行視覺檢測中必不可少的環(huán)節(jié)?；谏疃葘W(xué)習(xí)的輸電線路視覺檢測主要是對輸電線路場景中目標的語義與視覺內(nèi)容對應(yīng)關(guān)系進行學(xué)習(xí)，從而能夠檢測出對應(yīng)的語義目標；但這僅僅是局部的，深度模型不能理解目標之間的關(guān)聯(lián)以及目標在場景中的結(jié)構(gòu)化信息。視覺場景理解的目的是為了理解圖像的語義，從而對場景中目標檢測、識別進行指導(dǎo)。目前，基于深度學(xué)習(xí)的視覺場景理解已被應(yīng)用于無人駕駛、無人機自動導(dǎo)航、視覺問答等領(lǐng)域。對于輸電線路的部分可觀測缺陷(如部件完全丟失、不規(guī)則異物目標、錯誤安裝等)的檢測任務(wù)，對場景理解的需求更為迫切。

針對待檢測的視覺目標，訓(xùn)練好的深度模型通過前向傳播對目標的視覺特征進行分布式表達，能夠有效提取出使得目標區(qū)別于圖像中非目標的模式特征；但對于目標的特征表達僅僅基于訓(xùn)練數(shù)據(jù)中目標的視覺內(nèi)容，而無法從中獲取目標相關(guān)的專業(yè)知識。巡檢人員對目標缺陷的準確判斷不僅需要觀察，還需要利用專業(yè)知識，綜合考慮后得到判斷結(jié)果。比如，對于目標的結(jié)構(gòu)化知識、目標區(qū)分于其他更廣泛對象的幾何規(guī)則、正常邊界理解等，深度模型極度缺乏可解釋性，檢測結(jié)果沒有明確的原因解釋。輸電線路巡檢對于保障輸電線路運行穩(wěn)定至關(guān)重要，要求嚴謹準確、結(jié)果完整可解釋，結(jié)合先驗知識的視覺檢測能夠彌補深度學(xué)習(xí)在該方面的不足。同時，結(jié)合先驗知識的表達能夠一定程度地改善缺陷數(shù)據(jù)樣本少的問題。

4 結(jié)束語

隨著我國能源經(jīng)濟的快速發(fā)展，輸電線路的規(guī)模持續(xù)增長，基于視覺的輸電線路智能化檢測在維護輸電安全與穩(wěn)定方面扮演著越來越重要的角色，特別是基于深度學(xué)習(xí)的智能檢測方法，在大數(shù)據(jù)時代下優(yōu)勢顯著，具有極高的應(yīng)用價值。通過不同巡檢方式采集視覺信息，利用深度學(xué)習(xí)方法對輸電線路視覺檢測進行智能化升級，能夠?qū)崿F(xiàn)更全面的狀態(tài)感知、更有效的數(shù)據(jù)處理，基于此構(gòu)建的智能化視覺檢測系統(tǒng)，能夠大大提高對輸電線路的運維能力，有效推動我國泛在電力物聯(lián)網(wǎng)的加速建設(shè)。