目標(biāo)檢測(cè)在電力巡檢中的應(yīng)用與發(fā)展趨勢(shì)

張兆云，何冠鋒，黃世鴻，張 志

(東莞理工學(xué)院 電子工程與智能化學(xué)院,廣東 東莞 523808)

架空線路巡檢是保障電力輸送的重要方式，根據(jù)《國(guó)家電網(wǎng)公司架空輸電線路運(yùn)維管理規(guī)定(國(guó)網(wǎng)(運(yùn)檢/4)305—2014)》，國(guó)家電網(wǎng)的架空線路巡檢的電力部件包括：基礎(chǔ)、絕緣子、金具、接地裝置、桿塔、導(dǎo)地線、通道環(huán)境、附屬設(shè)施共八大類[1].由于我國(guó)國(guó)土幅員遼闊，架空線路巡檢長(zhǎng)期面臨著地形起伏大、線路分布廣、自然環(huán)境條件惡劣等因素，傳統(tǒng)巡檢方式存在勞動(dòng)強(qiáng)度大、巡檢效率低的不足，甚至在某些地勢(shì)復(fù)雜地區(qū)無(wú)法進(jìn)行巡檢[2].為此，近年來(lái)電網(wǎng)大規(guī)模引入無(wú)人機(jī)巡檢[3]、機(jī)器人巡檢[4]、直升機(jī)巡檢[5]等新技術(shù)對(duì)電力設(shè)備進(jìn)行故障巡檢，并積極開(kāi)展電力巡檢新技術(shù)的研發(fā)工作[6].隨著新一代巡檢方式的普及，極大地降低了野外巡檢的難度，產(chǎn)生了海量的可視化數(shù)據(jù)[7].但是面對(duì)大量的巡檢圖像和視頻，使用人工肉眼的方式對(duì)巡檢影像進(jìn)行檢測(cè),極大地增加了工作人員的負(fù)擔(dān)，且效率十分低下.于是有學(xué)者開(kāi)始研究自動(dòng)識(shí)別并標(biāo)注巡檢航拍圖像中的關(guān)鍵電力部件或特定故障.自Krizhevsky[8]在ImageNet[9]中的優(yōu)異表現(xiàn)，掀起深度學(xué)習(xí)的熱潮，也帶動(dòng)了計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展.不同于傳統(tǒng)目標(biāo)檢測(cè)方法以人工特征提取的方式，深度學(xué)習(xí)的目標(biāo)檢測(cè)算法以數(shù)據(jù)為驅(qū)動(dòng)，具有檢測(cè)精度高、檢測(cè)目標(biāo)多、魯棒性強(qiáng)等特點(diǎn)[10].目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)的重要分支，傳統(tǒng)的目標(biāo)檢測(cè)算法性能已經(jīng)到了瓶頸[11]，很難有更大的提升，難以滿足電網(wǎng)公司對(duì)目標(biāo)檢測(cè)效果的要求.隨著深度學(xué)習(xí)在圖像分類任務(wù)上取得巨大成功，基于深度學(xué)習(xí)的檢測(cè)算法開(kāi)始成為主流.本文參考并展示目標(biāo)檢測(cè)在電力應(yīng)用的階段性研究成果，首先通過(guò)介紹基于傳統(tǒng)特征提取的目標(biāo)檢測(cè)和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)及它們?cè)陔娏ρ矙z方面的應(yīng)用；其次從目標(biāo)檢測(cè)應(yīng)用在電力領(lǐng)域的趨勢(shì)出發(fā)，依次對(duì)網(wǎng)絡(luò)輕量化(輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)、模型壓縮、移動(dòng)端深度學(xué)習(xí)框架)、巡檢影像數(shù)據(jù)集(數(shù)據(jù)標(biāo)記、數(shù)據(jù)樣本不平衡、多源數(shù)據(jù))、檢測(cè)方法(小目標(biāo)檢測(cè)、圖像測(cè)距、檢測(cè)算法)等方面進(jìn)行重點(diǎn)闡述.

1 基于傳統(tǒng)特征提取的目標(biāo)檢測(cè)

傳統(tǒng)的目標(biāo)檢測(cè)算法，多是基于窗口滑動(dòng)的方式，即設(shè)定一個(gè)窗口在檢測(cè)的圖像上進(jìn)行滑動(dòng)依次選取感興趣的區(qū)域.分別對(duì)滑動(dòng)的每個(gè)窗口進(jìn)行特征提取，最后對(duì)提取的特征利用AdaBoost回歸、梯度提升回歸、K近鄰回歸、隨機(jī)森林、支持向量回歸等分類器進(jìn)行分類.繆希仁等[2]對(duì)國(guó)內(nèi)外近10年公開(kāi)發(fā)表的論文進(jìn)行統(tǒng)計(jì)，目前在電力巡檢圖像檢測(cè)領(lǐng)域中，占主流地位的仍是基于人工設(shè)計(jì)特征提取的機(jī)器學(xué)習(xí)圖像目標(biāo)檢測(cè)方法.

1.1 SIFT系列

尺度不變特征變換(scale-invariant feature transform,SIFT)[12]是計(jì)算機(jī)視覺(jué)領(lǐng)域中檢測(cè)和描述圖像中局部特征的算法.張紅民等[13]采用選擇性搜索(selective search,SS)[14]算法從巡檢圖像提取候選區(qū)域，接著使用SIFT算法對(duì)候選區(qū)域的絕緣子進(jìn)行特征提取，取得較高的準(zhǔn)確率.何春光[15]提出改進(jìn)的SIFT算法對(duì)輸電線路上的異物故障進(jìn)行檢測(cè)，解決了傳統(tǒng)匹配算法需建立高斯金字塔模型的極值點(diǎn)無(wú)法計(jì)算的問(wèn)題.吳婕萍等[16]以SIFT算法為基礎(chǔ)對(duì)輸電線路進(jìn)行異物檢測(cè)，利用高斯濾波對(duì)圖像進(jìn)行預(yù)處理,再提取圖像的尺度不變換特征,最后采用基于梯度直方圖的統(tǒng)計(jì)方法對(duì)所提取特征進(jìn)行識(shí)別，取得92%的檢測(cè)精度.

SIFT-PCA在SIFT的基礎(chǔ)上，將統(tǒng)計(jì)學(xué)中的主成分分析(principal component analysis,PCA)[17]應(yīng)用于對(duì)描述子向量的降維，以提高匹配速度.Wang等[18]首先對(duì)巡檢圖像進(jìn)行各種降噪和銳化預(yù)處理，其次使用SIFT算法進(jìn)行特征提取，接著使用PCA算法進(jìn)行降維，最后使用支持向量機(jī)進(jìn)行分類.

加速健壯特征(speeded up robust feature,SURF)[19]提出了一種尺度和旋轉(zhuǎn)不變的檢測(cè)子和描述子，是SIFT算法的加強(qiáng)版.SURF最大的亮點(diǎn)就是采用了harr特征以及積分圖像的概念，顯著的提高算法的效率.李寒等[20]采用SURF算法對(duì)紅外圖像進(jìn)行特征提取，對(duì)比使用SIFT算法，無(wú)論是在程序運(yùn)行時(shí)間，還是在檢測(cè)精度上，SURF都要優(yōu)于SIFT.

Luo等[21]采用K近鄰算法(K-nearest neighbor,KNN)和隨機(jī)取樣一致算法(random sample consensus，RANSAC)對(duì)SIFT、PCA-SIFT、SURF 3種算法的檢測(cè)效果進(jìn)行對(duì)比分析.實(shí)驗(yàn)結(jié)果表明SIFT在大多數(shù)情況下表現(xiàn)出它的穩(wěn)定性，盡管它很緩慢的.SURF是最快的，并且性能達(dá)到與SIFT同樣出色.PCA-SIFT則在旋轉(zhuǎn)和光照變化方面表現(xiàn)出優(yōu)勢(shì).

1.2 HOG

方向梯度直方圖(histogram of oriented gradient,HOG)特征是一種經(jīng)典的圖像特征提取方法，它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征[22].HOG特征結(jié)合支持向量機(jī)(support vector machine,SVM)分類器已經(jīng)被廣泛應(yīng)用于工業(yè)界中，騰云等[23]針對(duì)高壓隔離開(kāi)關(guān)分合閘不到位的問(wèn)題，提出了一種基于HOG和支持向量機(jī)的隔離開(kāi)關(guān)異常狀態(tài)搜索識(shí)別算法，實(shí)驗(yàn)結(jié)果表明,該算法能夠準(zhǔn)確地識(shí)別出分合閘不到位的高壓隔離開(kāi)關(guān)圖像.

1.3 LBP

局部二值模式(local binary patter,LBP)是一種用來(lái)描述圖像局部紋理特征的描述子，提供了一種衡量像素間鄰域關(guān)系的特征模式，因此可以有效地提取圖像的局部特征，而且由于其計(jì)算簡(jiǎn)單，可用于基于紋理分類的實(shí)時(shí)應(yīng)用場(chǎng)景[24].喬林等[25]采用LBP算法對(duì)絕緣子、變壓器和斷路器3種典型電力設(shè)備的圖像局部進(jìn)行紋理提取，實(shí)驗(yàn)結(jié)果表明提出方法取得了比現(xiàn)有方法更好的有效性和穩(wěn)健性.王夏夏[26]針對(duì)輸電桿塔的識(shí)別與跟蹤問(wèn)題，利用對(duì)光照變化等造成的圖像灰度變化具有較強(qiáng)魯棒性的LBP特征對(duì)電力鐵塔、鋼管桿塔和鋼筋混凝土桿塔3種不同材質(zhì)的輸電桿塔進(jìn)行特征提取.

1.4 DPM

可變型部件模型(deformable parts models,DPM)算法由Felzenszwalb等[27]提出一種基于部件的檢測(cè)方法，對(duì)目標(biāo)的形變具有很強(qiáng)的魯棒性.吳亮等[28]針對(duì)電力領(lǐng)域高質(zhì)量標(biāo)記數(shù)據(jù)不足的情況,提出了一種虛擬電力場(chǎng)景的搭建及相應(yīng)的數(shù)據(jù)和標(biāo)記的快速生成方法，以防振錘作為主要對(duì)象的虛擬數(shù)據(jù)集,對(duì)3種不同的目標(biāo)檢測(cè)方法得出結(jié)果的比較,得出DPM在該數(shù)據(jù)集上訓(xùn)練后,能夠在真實(shí)數(shù)據(jù)集取得了最好結(jié)果的結(jié)論.

1.5 基于傳統(tǒng)特征提取的目標(biāo)檢測(cè)算法對(duì)比

SIFT系列算法有SIFT和基于SIFT改進(jìn)的SIFT-PCA、SURF算法，基于SIFT關(guān)鍵點(diǎn)檢測(cè)可以有效降低背景干擾、凸顯電力設(shè)備的細(xì)節(jié)，特征提取能力強(qiáng).HOG算法由于其對(duì)圖像幾何和光學(xué)的形變具有不變性，在復(fù)雜的電力巡檢環(huán)境中可以有效地提取設(shè)備的特征.LBP算法雖然可以有效利用圖像像素間的領(lǐng)域關(guān)系獲得圖像的空間信息，但是在復(fù)雜電力巡檢環(huán)境中受光照的影響較大.DPM運(yùn)算速度快、適應(yīng)檢測(cè)目標(biāo)的變形，算法直觀易懂，但是激勵(lì)特征需要人工設(shè)計(jì)，工作量極大.表1為傳統(tǒng)特征提取的目標(biāo)檢測(cè)算法比較.

表1 基于傳統(tǒng)特征提取的目標(biāo)檢測(cè)算法對(duì)比Tab.1 Comparison of target detection algorithms based on traditional feature extraction

2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)

目前，對(duì)于電力巡檢影像數(shù)據(jù)的分析和處理主要通過(guò)網(wǎng)絡(luò)傳輸方式將所有巡檢數(shù)據(jù)上傳至后端服務(wù)器，利用服務(wù)器強(qiáng)大的計(jì)算能力對(duì)影像數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，通過(guò)目標(biāo)檢測(cè)對(duì)視覺(jué)影像進(jìn)行識(shí)別和狀態(tài)感知[29].由于基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在性能、實(shí)用性、普適性上都要優(yōu)于傳統(tǒng)的目標(biāo)檢測(cè)算法.因此，在電力領(lǐng)域中檢測(cè)中用到的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要有R-CNN系列、YOLO系列和SSD系列.

2.1 R-CNN系列

RCNN系列主要有R-CNN、Fast R-CNN和Faster R-CNN，其中Faster R-CNN是現(xiàn)在電力系統(tǒng)圖像識(shí)別常用的模型框架，許多應(yīng)用在電力故障檢測(cè)的算法是通過(guò)改進(jìn)Faster R-CNN得到的.R-CNN[30]在一定程度上改變目標(biāo)檢測(cè)領(lǐng)域的研究思路，之后改進(jìn)的R-CNN系列也是該領(lǐng)域的最高水準(zhǔn).與傳統(tǒng)的滑動(dòng)窗口獲取候選區(qū)域不同，R-CNN采用選擇性搜索獲取候選區(qū)域，之后在這些候選區(qū)域采用CNN提取特征，進(jìn)行預(yù)測(cè).由于R-CNN結(jié)構(gòu)中的全連接層對(duì)輸入圖像的尺寸有限制，不符合尺寸要求的候選區(qū)域都必須經(jīng)過(guò)剪切或者變形處理，這會(huì)丟失原始圖像的部分信息.

針對(duì)R-CNN存在著候選區(qū)域的縮放問(wèn)題和特征提取的重復(fù)計(jì)算問(wèn)題，He等[31]提出SSP-Net模型.與R-CNN的區(qū)別在于對(duì)一張圖像只做一次特征提取，且在將卷積層和全連接層之間加入空間金字塔池化層，在保證性能的同時(shí)，檢測(cè)速度也有所提升.然而，SSP-Net沒(méi)能有效解決R-CNN訓(xùn)練速度慢，訓(xùn)練空間開(kāi)銷大等問(wèn)題.因此，R-CNN原作者Ross Girshick提出Fast R-CNN[32]，將SSP-Net的空間金字塔池化層改為ROI(region of interest)，并且引入了多任務(wù)損失函數(shù),這些創(chuàng)新使得檢測(cè)的速度顯著提升.Fast R-CNN從優(yōu)化特征提取的角度出發(fā)，并沒(méi)有解決選擇性搜索速度慢的問(wèn)題.因此，任少卿等又提出了Faster R-CNN，其中最大的亮點(diǎn)就是設(shè)計(jì)了RPN(region proposal networks)代替SS，RPN使 Faster R-CNN 能夠同時(shí)完成候選區(qū)域、特征提取，實(shí)現(xiàn)目標(biāo)檢測(cè)端到端的訓(xùn)練，進(jìn)而大幅提高網(wǎng)絡(luò)的檢測(cè)速度.

由于R-CNN通過(guò)使用CNN從圖像中提取可能含有目標(biāo)的區(qū)域來(lái)檢測(cè)并識(shí)別目標(biāo),但是計(jì)算復(fù)雜,難以滿足識(shí)別海量電力巡檢圖片的需求，而Fast R-CNN和Faster RCNN利用CNN網(wǎng)絡(luò)提取圖像特征后接一個(gè)區(qū)域提議層,優(yōu)化了提取可能含有目標(biāo)區(qū)域的方式并改進(jìn)識(shí)別目標(biāo)的分類器,使目標(biāo)的檢測(cè)和識(shí)別幾乎實(shí)時(shí)[33].故在電力巡檢中大多數(shù)采用Faster R-CNN作為檢測(cè)算法.萬(wàn)吉林等[34]使用Faster R-CNN和U-Net[35]實(shí)現(xiàn)變電站指針式儀表的表盤和指針指數(shù)的自動(dòng)識(shí)別，使用Faster R-CNN檢測(cè)儀表圖像中的表盤、指針?biāo)趨^(qū)域，實(shí)驗(yàn)結(jié)果表明在指針式儀表圖像讀數(shù)識(shí)別上的錯(cuò)檢率和漏檢率要明顯低于傳統(tǒng)機(jī)器學(xué)習(xí)算法.劉召等[36]提出一種基于改進(jìn)的Faster R-CNN高壓線纜目標(biāo)檢測(cè)方法，通過(guò)引入跳轉(zhuǎn)連接并調(diào)整激活層和卷積層的順序、對(duì)候選框的產(chǎn)生機(jī)制進(jìn)行改進(jìn)，提高了網(wǎng)絡(luò)獲取圖像高級(jí)特征的能力；通過(guò)感興趣區(qū)域池化(region of interest pooling,ROI)池化層提取每個(gè)區(qū)域的特征，取得了較高的精度和較快的速度.史晉濤等人[37]針對(duì)訓(xùn)練本少問(wèn)題，提出基于樣本擴(kuò)充的Faster R-CNN電網(wǎng)異物監(jiān)測(cè)算法，將隱患目標(biāo)與背景圖像按照一定規(guī)則進(jìn)行融合，達(dá)到批量擴(kuò)充樣本集的目的.使用該算法生成的樣本進(jìn)行測(cè)試，測(cè)試結(jié)果表明擴(kuò)充后的訓(xùn)練集可以使系統(tǒng)性能得到一定提升.

2.2 YOLO系列

從R-CNN、Fast R-CNN再到Faster R-CNN，目標(biāo)檢測(cè)一直沿著先篩選候選區(qū)域再分類的研究思路，導(dǎo)致訓(xùn)練模型大，檢測(cè)速度慢等問(wèn)題一直存在.于是有學(xué)者提出將目標(biāo)檢測(cè)轉(zhuǎn)移到回歸問(wèn)題上，盡可能保持精度的同時(shí)簡(jiǎn)化網(wǎng)絡(luò)模型，提高檢測(cè)速度.YOLO系列的出現(xiàn)，在一定程度上解決了R-CNN系列的低效問(wèn)題.YOLO的特點(diǎn)是檢測(cè)速度快、模型體積小，適合部署在無(wú)人機(jī)掛載的嵌入式設(shè)備上，因此在電力領(lǐng)域中經(jīng)常用于巡檢中的實(shí)時(shí)檢測(cè).

2014年11月，遼南地區(qū)首個(gè)醫(yī)療聯(lián)盟——大連醫(yī)科大學(xué)附屬二院醫(yī)療聯(lián)盟(簡(jiǎn)稱“聯(lián)盟”)正式成立，成為三級(jí)醫(yī)院牽頭，包括莊河市中心醫(yī)院、普蘭店市中心醫(yī)院、大石橋市中心醫(yī)院等14個(gè)成員單位，貫穿二級(jí)醫(yī)院和基層醫(yī)療機(jī)構(gòu)，橫向覆蓋疑難重癥治療、急診急救、居民健康管理的多維度、三級(jí)聯(lián)動(dòng)區(qū)域醫(yī)聯(lián)體，意在以信息化為支撐，強(qiáng)化聯(lián)盟單位間遠(yuǎn)程會(huì)診和雙向轉(zhuǎn)診、醫(yī)師多點(diǎn)執(zhí)業(yè)和新農(nóng)合實(shí)時(shí)報(bào)銷等功能。

Redmon[38]將目標(biāo)檢測(cè)視作回歸任務(wù)、將特征提取、識(shí)別與定位統(tǒng)一在一個(gè)卷積網(wǎng)絡(luò)中.因此，YOLO檢測(cè)速度快，在Titan X GPU下能有45 FPS的表現(xiàn)，此外Fast YOLO更是達(dá)到了155 FPS的水準(zhǔn).雖然YOLO的檢測(cè)速度可以達(dá)到實(shí)時(shí)檢測(cè)的目標(biāo)，另外在檢測(cè)精度也優(yōu)于其他同期的實(shí)時(shí)目標(biāo)檢測(cè)算法，但是在檢測(cè)精度上還是不如R-CNN的.于是，YOLO原作者Redmon等人在基于YOLO的基礎(chǔ)上提出了YOLOv2[39].YOLOv2以DarkNet-19[40]為骨干網(wǎng)絡(luò)，在保持YOLO檢測(cè)速度的同時(shí)引入了批歸一化(batch normalization)和多尺度訓(xùn)練、采用先驗(yàn)框(anchor boxes)并用K-Means聚類提取先驗(yàn)框的尺度、使用高分辨率圖像訓(xùn)練分類網(wǎng)絡(luò)等一系列的優(yōu)化策略和改進(jìn)方法[41].然而，由于YOLOv2對(duì)于小目標(biāo)的檢測(cè)不敏感，Redmon等人又提出了基于YOLOv2改進(jìn)的YOLOv3，YOLOv3借鑒殘差網(wǎng)絡(luò)的思想，使用了更深的DarkNet-53作為骨干網(wǎng)絡(luò)，加入了多尺度預(yù)測(cè)，使用sigmoid+交叉熵函數(shù)以支持多標(biāo)簽預(yù)測(cè)[42].Bochkovskiy等[43]提出YOLOv4.不同以往YOLO系列，YOLOv4沒(méi)有以提高檢測(cè)精度和速度為目標(biāo)，更多是從工業(yè)應(yīng)用的角度出發(fā).Alexey不僅分析驗(yàn)證了Bag-of-Freebies和Bag-of-Specials方法對(duì)檢測(cè)框架訓(xùn)練和推理的影響，還總結(jié)了多種先進(jìn)的檢測(cè)技巧，這些工作使得YOLOv4的訓(xùn)練門檻大大降低[44].

由于電力場(chǎng)景下部署的大多數(shù)智能監(jiān)控設(shè)備為低端嵌入式芯片，使得監(jiān)控設(shè)備的算力小，功耗低且內(nèi)存余量?jī)H200 M，又電網(wǎng)對(duì)輸電線路檢測(cè)的準(zhǔn)確率、誤報(bào)率和漏檢率有較高要求.YOLO由于模型小、所需計(jì)算資源不高，易于部署在嵌入式設(shè)備上，故在電力場(chǎng)景中邊緣節(jié)點(diǎn)攝像機(jī)實(shí)時(shí)采集圖像、端側(cè)節(jié)點(diǎn)模型實(shí)時(shí)檢測(cè)安全隱患有大量應(yīng)用.肖新帥等[45]介紹了YOLOv1、YOLOv2算法，使用絕緣子數(shù)據(jù)集進(jìn)行試驗(yàn)并對(duì)檢測(cè)結(jié)果進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果表明YOLOv1和YOLOv2能夠完成對(duì)絕緣子的識(shí)別和定位，滿足實(shí)時(shí)電力巡檢的需要.黃虎等[46]提出一種基于YOLOv3算法的安全帽佩戴檢測(cè)方法，通過(guò)構(gòu)建作業(yè)人員檢測(cè)與安全帽檢測(cè)的級(jí)聯(lián)網(wǎng)絡(luò)，將級(jí)聯(lián)網(wǎng)絡(luò)檢測(cè)到的候選邊框進(jìn)行安全帽區(qū)域預(yù)估，最后將安全帽預(yù)估區(qū)域輸入至安全帽檢測(cè)網(wǎng)絡(luò)中，自動(dòng)監(jiān)測(cè)作業(yè)人員是否正確佩戴安全帽，保證變電站內(nèi)安全作業(yè).王永平等[47]針對(duì)高壓開(kāi)關(guān)設(shè)備紅外圖像異常發(fā)熱點(diǎn)檢測(cè)中存在目標(biāo)位置場(chǎng)景復(fù)雜和大小不均衡帶來(lái)的檢測(cè)準(zhǔn)確率下降問(wèn)題，提出基于YOLOv3的目標(biāo)檢測(cè)算法，通過(guò)添加卷積模塊及調(diào)整部分超參數(shù)對(duì)其基礎(chǔ)網(wǎng)絡(luò)架構(gòu)進(jìn)行優(yōu)化，實(shí)現(xiàn)高壓開(kāi)關(guān)設(shè)備異常發(fā)熱點(diǎn)的快速檢測(cè)、識(shí)別和定位.陳詠秋等[48]為解決傳統(tǒng)驅(qū)鳥器啟停策略的弊端，提出基于YOLOv3算法的輸電線路鳥類檢測(cè)模型，通過(guò)使用殘差模塊提取圖像的深層次特征，采用多尺度目標(biāo)檢測(cè)策略使模型在雨天、霧天、抖動(dòng)情況下具有較強(qiáng)魯棒性，保障輸電線路的安全、穩(wěn)定運(yùn)行.

2.3 SSD系列

作為雙階段算法的代表RCNN系列在精度和速度的權(quán)衡上側(cè)重于精度，導(dǎo)致檢測(cè)速度較慢.作為單階段算法的代表YOLO則側(cè)重于速度，以至于精度不高.SSD系列在保證高精度檢測(cè)的同時(shí)也兼顧檢測(cè)速度，為了提升小目標(biāo)的檢測(cè)效果使用了多尺度的特征進(jìn)行同時(shí)檢測(cè).由于電力巡檢中存在(如防震錘，鳥窩)小尺寸目標(biāo)，所以在電力場(chǎng)景中使用SSD算法針對(duì)小目標(biāo)進(jìn)行檢測(cè).

Liu等[49]提出了SSD(single shot multiBox detector)網(wǎng)絡(luò)，SSD網(wǎng)絡(luò)既采取了單階段的思想以提高網(wǎng)絡(luò)的檢測(cè)速度，又融入了Faster R-CNN的錨框思想，并且做了特征分層提取并依次計(jì)算邊框回歸和分類操作，由此可以適應(yīng)多種尺度目標(biāo)的訓(xùn)練和檢測(cè)任務(wù).SSD的出現(xiàn)推動(dòng)了實(shí)時(shí)高精度目標(biāo)檢測(cè)的發(fā)展.然而，SSD算法的淺層特征圖的表征能力并不強(qiáng)，因此對(duì)小目標(biāo)檢測(cè)不敏感.為了提高SSD小目標(biāo)的檢測(cè)效果，相關(guān)學(xué)者開(kāi)始研究如何改進(jìn)SSD算法.Fu等[50]提出DSSD網(wǎng)絡(luò)，通過(guò)把SSD的骨干網(wǎng)路改為ResNet-101[51]提高淺層特征圖的表征能力，并在SSD中添加反卷積層提高了對(duì)小目標(biāo)的敏感度.Cui等[52]提出了MDSSD網(wǎng)絡(luò)，將具有豐富的語(yǔ)義特征的高層特征圖通過(guò)反卷積擴(kuò)大尺寸后，再與低層的特征圖融合后進(jìn)行預(yù)測(cè).Li等[53]則借鑒FPN[54]思想，采用了一種新穎的、輕量級(jí)的特征融合模塊，將淺層的細(xì)節(jié)特征和高層的語(yǔ)義特征結(jié)合起來(lái)生成新的特征金字塔進(jìn)行預(yù)測(cè).

標(biāo)準(zhǔn)的SSD算法使用多尺度的特征進(jìn)行同時(shí)檢測(cè)以提升小目標(biāo)的檢測(cè)效果,但沒(méi)有對(duì)多尺度的特征進(jìn)行融合,導(dǎo)致在實(shí)際小目標(biāo)檢測(cè)中并不能達(dá)到很好的性能.因此SSD在電力巡檢場(chǎng)景中，根據(jù)檢測(cè)的目標(biāo)和存在的問(wèn)題，相應(yīng)的改進(jìn)SSD算法，可以得比原算法更好的檢測(cè)效果.祁婕等[55]針對(duì)輸電線路鳥窩巡檢問(wèn)題，提出一種基于SSD算法改進(jìn)的實(shí)時(shí)檢測(cè)算法，并在SSD的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上將前置網(wǎng)絡(luò)VGG-Net[56]替換為ResNet-101,提高其特征提取能力；更改損失函數(shù)以改善SSD算法中樣本不平衡的問(wèn)題；利用數(shù)據(jù)增廣提高數(shù)據(jù)多樣性以提高模型的魯棒性，實(shí)驗(yàn)結(jié)果表明本文所提出的方法檢測(cè)精度對(duì)比原SSD算法在準(zhǔn)確度和召回率上分別有3.17%和6.35%的提升.

毛先胤等[57]提出基于SSD算法改進(jìn)的識(shí)別電力線障礙物，通過(guò)在卷積層改善批次歸一化層，在有效減少機(jī)器人巡檢過(guò)程中光照和尺度變化帶來(lái)的影響的同時(shí)避免了梯度消失和加快了網(wǎng)絡(luò)收斂速度.吳庭棟等[58]針對(duì)深度學(xué)習(xí)目標(biāo)檢測(cè)算法移植到嵌入式平臺(tái)上精度與速度不均衡的問(wèn)題，提出一種基于改進(jìn)SSD算法的架空線路關(guān)鍵部件實(shí)時(shí)檢測(cè)算法，取得了較高的檢測(cè)精度和實(shí)時(shí)的檢測(cè)速度.戚銀城等[59]為解決航拍圖像金具智能檢測(cè)問(wèn)題，提出一種基于改進(jìn)SSD模型的輸電線路航拍巡檢圖像金具目標(biāo)檢測(cè)方法，通過(guò)改變IoU(intersection over union)的值得到對(duì)目標(biāo)尺度更敏感的默認(rèn)框以及在模型中加入對(duì)密集目標(biāo)檢測(cè)有效的斥力損失，提高了模型對(duì)密集遮擋金具檢測(cè)的準(zhǔn)確率.

2.4 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法對(duì)比

RCNN系列、YOLO系列和SSD 3種算法各有特點(diǎn)，RPN讓Faster R-CNN的精度高于YOLO和SSD，但在速度上卻不及YOLO和SSD.YOLO將目標(biāo)檢測(cè)問(wèn)題由分類轉(zhuǎn)化成回歸問(wèn)題，通過(guò)回歸機(jī)制和區(qū)域生成的提取機(jī)制，在檢測(cè)速度上達(dá)到了實(shí)時(shí)的要求.SSD則像是RCNN和YOLO的綜合體，通過(guò)借鑒YOLO的回歸機(jī)制和RCNN的錨框機(jī)制，在速度和精度取得了一個(gè)很好的平衡.表2為各種基于傳統(tǒng)特征提取的目標(biāo)檢測(cè)算法比較.

表2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法對(duì)比Tab.2.Comparison of target detection algorithms based on deep learning

3 目標(biāo)檢測(cè)在電力巡檢的主要發(fā)展趨勢(shì)

從現(xiàn)有文獻(xiàn)來(lái)看，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在檢測(cè)準(zhǔn)確率和應(yīng)用普適性上都優(yōu)于傳統(tǒng)的目標(biāo)檢測(cè)算法，但是在電力線檢測(cè)圖像分析中采用深度學(xué)習(xí)仍處于起步階段，還面臨較多的挑戰(zhàn)，也存在很多潛在的機(jī)遇.

3.1 數(shù)據(jù)集

3.1.1 數(shù)據(jù)標(biāo)記 深度學(xué)習(xí)能夠?qū)崿F(xiàn)的前提是基于大量經(jīng)過(guò)標(biāo)注的數(shù)據(jù).在電力領(lǐng)域，數(shù)據(jù)集的標(biāo)記還需要相關(guān)專業(yè)人員花費(fèi)大量的時(shí)間與精力進(jìn)行標(biāo)注.Nguyen等[60]通過(guò)手工標(biāo)記圖像從頭創(chuàng)建一個(gè)帶有54個(gè)類的30 000 張圖像創(chuàng)建了一個(gè)中型的電力巡檢數(shù)據(jù)集.平均標(biāo)記速度是每小時(shí)40張圖片.雖然有一些方法可以減少對(duì)數(shù)據(jù)的依賴，比如遷移學(xué)習(xí)、少樣本學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和弱監(jiān)督學(xué)習(xí).但是到目前為止，它們的性能還沒(méi)法與監(jiān)督學(xué)習(xí)相比.圖1為標(biāo)記電力巡檢圖像數(shù)據(jù)建立數(shù)據(jù)集的示意圖.

圖1 電力線常見(jiàn)故障的樣本Fig.1 Samples of the common fault in power lines

3.1.2 數(shù)據(jù)樣本不平衡 由于架空線路中不同的部件數(shù)量不盡相同，且發(fā)生的故障頻率也不同.這就容易導(dǎo)致數(shù)據(jù)集中各個(gè)類別的樣本數(shù)量極不均衡.樣本不平衡會(huì)使得分類模型存在很嚴(yán)重的偏向性.樣本不平衡通常會(huì)使深度學(xué)習(xí)模型偏向具有更多樣本的類，而忽略具有較少樣本的類.為了解決樣本不平衡問(wèn)題，Liu等[61]提出一種自動(dòng)生成圖像的方式，所需樣本通過(guò)分割網(wǎng)絡(luò)提取(如Mask R-CNN，U-Net等)，然后將對(duì)象區(qū)域粘貼到背景圖像上.更進(jìn)一步，可以將粘貼后的圖像通過(guò)對(duì)抗生成網(wǎng)絡(luò)產(chǎn)生更加符合實(shí)際環(huán)境的新圖像.

3.1.3 多源數(shù)據(jù) 在電力巡檢中，除可見(jiàn)光外還有紅外、紫外、激光雷達(dá)等巡檢手段，不同數(shù)據(jù)源的圖像適用于檢測(cè)不同的缺陷，多源數(shù)據(jù)融合應(yīng)用可以有效擴(kuò)展檢測(cè)系統(tǒng)的缺陷檢測(cè)范圍[1].為了充分利用多數(shù)據(jù)源的優(yōu)勢(shì)，可以采用多模態(tài)目標(biāo)檢測(cè)技術(shù).目的是融合來(lái)自不同模式的信息，以實(shí)現(xiàn)更具判別性的檢測(cè)方法.然而，基于多模態(tài)數(shù)據(jù)的部件或故障檢測(cè)還處于起步階段.圖2為多源數(shù)據(jù)融合過(guò)程的示意圖.

圖2 多源數(shù)據(jù)融合Fig.2 Multi-source data fusion

3.2 邊緣計(jì)算以及模型輕量化

邊緣計(jì)算因具有靠近數(shù)據(jù)源、實(shí)時(shí)性好、時(shí)延低、響應(yīng)快等特點(diǎn)，成為物聯(lián)網(wǎng)發(fā)展的核心技術(shù)之一，是當(dāng)前智能電網(wǎng)發(fā)展的一個(gè)重點(diǎn)方向.每個(gè)邊緣可以對(duì)數(shù)據(jù)進(jìn)行收集和分析，創(chuàng)建大量的數(shù)據(jù).邊緣計(jì)算帶來(lái)的轉(zhuǎn)型機(jī)會(huì)幾乎是無(wú)限的.自動(dòng)化、預(yù)測(cè)和控制等功能的實(shí)時(shí)分析能力意味著更高的敏捷性和效率.邊緣計(jì)算在輸電領(lǐng)域的應(yīng)用主要體現(xiàn)在對(duì)輸電線路狀態(tài)的監(jiān)測(cè)及線路安全檢修管控.巡檢影像數(shù)據(jù)具有體量大、增長(zhǎng)快、價(jià)值密度低的典型大數(shù)據(jù)特征，將邊緣計(jì)算裝置掛載到無(wú)人機(jī)上，通過(guò)邊緣計(jì)算裝置中的訓(xùn)練好的輕量化深度學(xué)習(xí)模型進(jìn)行實(shí)時(shí)地缺陷檢測(cè)，從而縮短輸電線路巡檢的周期.邊緣計(jì)算是一種新興的計(jì)算模式，在海量數(shù)據(jù)的實(shí)時(shí)處理方面展現(xiàn)出天然的長(zhǎng)處.基于邊緣計(jì)算的圖像識(shí)別技術(shù)能夠?yàn)楫?dāng)前電力巡檢產(chǎn)生的海量數(shù)據(jù)，提供一種新的解決思路，極大地提高電力系統(tǒng)運(yùn)維管理效率，具有廣闊的研究前景和應(yīng)用價(jià)值.如何在計(jì)算資源有限的嵌入式設(shè)備上實(shí)現(xiàn)既有高精度和低延遲的目標(biāo)檢測(cè)功能[62]，這對(duì)建設(shè)實(shí)時(shí)自動(dòng)化電力巡檢十分重要.在可接受的性能下，小模型相比大模型，具有很多優(yōu)勢(shì)：一是更高效的分布式訓(xùn)練，小模型參數(shù)小，網(wǎng)絡(luò)通信量減少；二是便于模型更新，模型小，客戶端程序容易更新；三是利于部署在特定硬件如FPG.

為了實(shí)現(xiàn)圖像檢測(cè)的邊緣計(jì)算和輕量化計(jì)算，主要有輕量級(jí)網(wǎng)絡(luò)模型、模型壓縮和輕量型深度學(xué)習(xí)框架三個(gè)方向.

3.2.1 輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu) 2017年，Google針對(duì)嵌入式設(shè)備提出的一種輕量級(jí)的深層神經(jīng)網(wǎng)絡(luò)—MobileNet.MobileNet具有體積小，計(jì)算量少的特點(diǎn)，背后的思想是用深度可分離卷積[63]代替標(biāo)準(zhǔn)的卷積(如Light-Head R-CNN[64]改進(jìn)Faster R-CNN的head部分)，并使用寬度因子(width multiply)減少參數(shù)量.深度可分離卷積極大地降低了深度學(xué)習(xí)網(wǎng)絡(luò)的計(jì)算量，實(shí)現(xiàn)模型的輕量化.王健[65]提出了一種基于MobileNet和SSD相結(jié)合的輕量型目標(biāo)檢測(cè)方法，并將其部署在嵌入式設(shè)備上實(shí)現(xiàn)電力設(shè)備的自動(dòng)識(shí)別.王彥博等[66]提出一種基于嵌入式設(shè)備的高效卷積神經(jīng)網(wǎng)絡(luò)用于電力設(shè)備熱故障檢測(cè),將SSD算法中的骨干網(wǎng)絡(luò)替換為MobileNet,同時(shí)BN(batch normalization)與前一卷積層合并,以減少模型參數(shù)、提升推理速度，將其部署在輕量級(jí)計(jì)算平臺(tái)上運(yùn)行.馬富齊等[67]提出了一種基于輕量型多感受野特征表達(dá)網(wǎng)絡(luò)的輸電線路覆冰厚度終端級(jí)辨識(shí)方法，以MobileNet為骨干網(wǎng)絡(luò)，結(jié)合多尺度的目標(biāo)檢測(cè)網(wǎng)絡(luò)SSD實(shí)現(xiàn)覆冰厚度的辨識(shí)與監(jiān)測(cè)，實(shí)現(xiàn)了極端天氣下覆冰監(jiān)測(cè)的邊緣智能自治，具有很強(qiáng)的泛化能力和實(shí)際適用價(jià)值.

3.2.2 模型壓縮 CNN模型替代了傳統(tǒng)人工設(shè)計(jì)特征和分類器，不僅提供了一種端到端的處理方法，不斷逼近計(jì)算機(jī)視覺(jué)任務(wù)的精度極限的同時(shí)，其深度和尺寸也在成倍增長(zhǎng).學(xué)術(shù)界不僅在設(shè)計(jì)輕量化模型(前面提到的MobileNet、ShuffleNet系列)，也在不斷實(shí)踐如何進(jìn)一步壓縮模型，在便攜式終端設(shè)備實(shí)現(xiàn)準(zhǔn)確率、計(jì)算速率、設(shè)備功耗、內(nèi)存占用的小型化.CNN模型壓縮沿著深度壓縮的思路，壓縮算法可分為四類：網(wǎng)絡(luò)修剪、低秩分解、網(wǎng)絡(luò)量化和知識(shí)蒸餾[68].網(wǎng)絡(luò)修剪提高了網(wǎng)絡(luò)參數(shù)的稀疏性，刪除模型參數(shù)中冗余和不重要的部分.低秩分解使用矩陣或張量分解以估計(jì)深層CNN中最具信息量的參數(shù).網(wǎng)絡(luò)量化設(shè)計(jì)了特殊結(jié)構(gòu)的卷積濾波器以減少存儲(chǔ)和計(jì)算的復(fù)雜度.知識(shí)蒸餾將一個(gè)訓(xùn)練好的大型CNN模型遷移至緊湊模型中.趙航航等[69]針對(duì)輸電線路巡檢圖像需要巨量計(jì)算復(fù)雜度和對(duì)設(shè)備性能的高要求，提出一種加速與壓縮算法，實(shí)驗(yàn)結(jié)果表明：減少測(cè)試模型約18%的計(jì)算量和80%的模型尺寸.圖3為模型壓縮示意圖.

圖3 模型壓縮Fig.3 Model compression

3.2.3 輕量型深度學(xué)習(xí)框架 在輕量化的深度學(xué)習(xí)框架方面，Google于2017年提出TensorFlow Lite框架，Tensorflow Lite是針對(duì)于移動(dòng)和嵌入式設(shè)備的輕量級(jí)深度學(xué)習(xí)框架[70].Facebook則于2018年發(fā)布了一款全新的開(kāi)源深度學(xué)習(xí)框架Caffe2.據(jù)官方介紹：這是一個(gè)輕量化和模塊化的深度學(xué)習(xí)框架，在強(qiáng)調(diào)輕便性的同時(shí)也保持了可擴(kuò)展性和計(jì)算性能[71].隨后，PyTorch框架也宣布開(kāi)始支持邊緣端的深度學(xué)習(xí)模型.Zhang等[72]對(duì)TensorFlow Lite、Caffe2和PyTorch框架進(jìn)行性能比較，研究結(jié)果表明沒(méi)有一種框架的綜合性能表現(xiàn)突出、適用于邊緣計(jì)算裝置的深度學(xué)習(xí)框架.

3.3 識(shí)別算法優(yōu)化以及難點(diǎn)

科技創(chuàng)新是高質(zhì)量發(fā)展的強(qiáng)大動(dòng)能，當(dāng)前各種基于深度學(xué)習(xí)的各種新穎的算法和技術(shù)層出不窮，其中有不少適用于電力巡檢領(lǐng)域的算法和技術(shù).基于深度學(xué)習(xí)的目標(biāo)檢測(cè)應(yīng)用在電力巡檢領(lǐng)域，不管在檢測(cè)精度還是檢測(cè)速度上，都要優(yōu)于人工設(shè)計(jì)特征的機(jī)器學(xué)習(xí)的方法，但仍然面臨這一些問(wèn)題.

3.3.1 小目標(biāo)檢測(cè) 架空線路巡檢檢測(cè)圖像中有許多電力小部件，如通道、導(dǎo)地線等，然而大多數(shù)目標(biāo)檢測(cè)算法(如R-CNN、YOLO、SSD等)在檢測(cè)小目標(biāo)的表現(xiàn)較差.在訓(xùn)練過(guò)程中，高分辨率的圖像被調(diào)整到一個(gè)更小的分辨率，從而使許多特征消失.此外，神經(jīng)網(wǎng)絡(luò)中的池化和下采樣操作使這一問(wèn)題更加嚴(yán)重.如何提高巡檢中小目標(biāo)的檢測(cè)能力是一個(gè)挑戰(zhàn).

3.3.2 圖像測(cè)距 圖像測(cè)距是使用圖像處理方法進(jìn)行架空線路缺陷檢測(cè)的一項(xiàng)關(guān)鍵技術(shù)，主要針對(duì)電力巡檢中的限距類缺陷，如導(dǎo)線與周圍樹木、建筑物的安全距離不足等[2].目前圖像測(cè)距在精度以及算法的可靠性還需進(jìn)一步的研究，在電力巡檢中也只是處于測(cè)試階段，尚未有正式的應(yīng)用.

3.3.3 檢測(cè)算法迭代優(yōu)化 近年來(lái)，電力設(shè)備圖像的研究逐漸向深度學(xué)習(xí)方面傾斜，所用的算法大多為Fast R-CNN、YOLO、SSD或基于上述算法改進(jìn)的模型.但這并不代表在深度學(xué)習(xí)崛起之前不斷發(fā)展進(jìn)步的傳統(tǒng)計(jì)算機(jī)視覺(jué)技術(shù)被淘汰.將傳統(tǒng)目標(biāo)檢測(cè)算法與深度學(xué)習(xí)結(jié)合已經(jīng)在很多新興領(lǐng)域流行起來(lái)，如深度學(xué)習(xí)模型尚未得到充分優(yōu)化的全視野、3D視覺(jué)領(lǐng)域[73].

4 結(jié)語(yǔ)

本文綜述了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在電力設(shè)備識(shí)別和故障檢測(cè)中的應(yīng)用以及發(fā)展趨勢(shì)，從目標(biāo)檢測(cè)的方法出發(fā)，分別詳細(xì)闡述了應(yīng)用在當(dāng)前電力領(lǐng)域的幾種常用的算法.從目前的研究來(lái)看，在電力巡檢領(lǐng)域占主流地位的仍是基于機(jī)器學(xué)習(xí)的傳統(tǒng)目標(biāo)檢測(cè)方法，有部分學(xué)者將深度學(xué)習(xí)技術(shù)應(yīng)用到電力巡檢領(lǐng)域中，實(shí)驗(yàn)結(jié)果表明在性能和普適性上都要優(yōu)于傳統(tǒng)的目標(biāo)檢測(cè)算法，但是制約深度學(xué)習(xí)技術(shù)在電力巡檢發(fā)展的因素有數(shù)據(jù)集、輕量化、計(jì)算量等因素，距離深度學(xué)習(xí)在電力巡檢的廣泛應(yīng)用還有一段路要走.