基于深度學(xué)習(xí)的無人機巡檢圖像銷釘故障檢測

(深圳供電局有限公司，廣東 深圳 518000)

0 引言

針對我國能源資源分布與需求不平衡的問題，我國電力系統(tǒng)發(fā)展戰(zhàn)略實施了“西電東送”、“南北互供”、“全國聯(lián)網(wǎng)”三大工程。全國互聯(lián)大電網(wǎng)具有長距離、跨區(qū)域的特點，需要用龐大的輸電線路網(wǎng)絡(luò)進行電能的輸送。因此，輸電線路是電力系統(tǒng)的重要組成部分，它擔(dān)負著輸送和分配電能的任務(wù)。

我國目前已形成華北、東北、華東、華中、西北和南方電網(wǎng)共6個跨省電網(wǎng)，110 kV以上輸電線路[1]已達到近51.4萬km。同時，輸電線路網(wǎng)絡(luò)由于常年暴露在自然環(huán)境中，很容易受到天氣、鳥類等因素的影響。最常見的天氣因素包括雷擊、暴雨和高溫。這種劇烈的環(huán)境條件，很大程度上會導(dǎo)致線路部件產(chǎn)生一定程度的形變，甚至破損。因此，定時對電力輸電線路進行巡檢，及時檢測輸電線路中部件出現(xiàn)的故障，從而保證電力系統(tǒng)高效穩(wěn)定運行。當(dāng)前主要的輸電線路巡檢模式主要有人工巡檢、直升機巡檢[2]和無人機巡檢[3-5]，以及3種巡檢模式相互組合協(xié)同進行?？紤]到無人機巡檢具有野外作業(yè)風(fēng)險低、效率高的特點[6]，而且無人機攜帶方便、操作簡單、反應(yīng)迅速、起飛降落對環(huán)境的要求低等，無人機巡檢逐漸成為主流的巡檢方式并慢慢代替?zhèn)鹘y(tǒng)巡檢。但是，無人機巡檢會產(chǎn)生大量用于分析是否出現(xiàn)故障的圖片，因此，一種可以代替人工判讀的智能識別與檢測算法用于檢測輸電線路部件故障具有非常重要的意義。

目前，針對輸電線路中比較容易看見的部件故障檢測算法已經(jīng)取得了不錯的效果。經(jīng)典的輸電線路部件故障檢測算法主要是從目標(biāo)的輪廓入手結(jié)合紋理特征進行檢測識別。例如根據(jù)由直線和曲線片段組成的2AS相互關(guān)系判決均壓環(huán)是否發(fā)生傾斜[7]。對于輸電線，可以通過Freeman[8]鏈碼準則判斷是否發(fā)生斷股故障[9]，也可以利用Hough變換算法檢測輸電線，并判斷是否有異物懸掛在輸電線上[10]。近年來，隨著深度學(xué)習(xí)在圖像識別與檢測領(lǐng)域引起了人們的廣泛關(guān)注。利用深度學(xué)習(xí)算法，針對無人機巡檢圖像中絕緣子[11-13]、防振錘[14-15]、均壓環(huán)[16]和輸電線[17]等部件故障檢測的效果得到了顯著地提升。然而針對輸電線路中的細小部件故障，如銷釘脫落，依舊是輸電線路故障檢測中的困難點。

架空輸電線路中大量的設(shè)備部件是通過螺母-銷釘進行連接或者固定。由于輸電線路長期暴露在自然環(huán)境中，而銷釘是一種金屬器具，容易受到雨水侵蝕生銹，從而發(fā)生形變脫落?；蚴鞘茗B害影響，將其從螺母中抽離。一旦這一安全隱患未能及時處理，以至于固定點螺母發(fā)生松動，從而引起輸電線路關(guān)鍵部件解體，以及桿塔的不牢固。本文采用了在圖像檢測領(lǐng)域效果優(yōu)異的Faster R-CNN[18]算法并分析了不同的初始化網(wǎng)絡(luò)，如VGG16[19]，ResNet-50[20]，ResNet-101[20]和ResNet-152[20]對銷釘脫落這一故障進行定位識別的效果。除此之外，本文進一步對比Hough梯度圓檢測+直線段檢測(Line Segment Detector, LSD)[21]、聚合通道特征(Aggregate Channel Features, ACF)[22]+Adaboost[23]和Faster R-CNN三種算法在無人機巡檢圖像中銷釘脫落故障檢測性能。

1 銷釘脫落檢測研究

螺母-銷釘是一種人造部件，具有嚴格的幾何造型。圖1是無人機巡檢獲得的螺母-銷釘實例圖，其中圖1(a)為兩張正常的螺母-銷釘樣圖，圖1(b)為銷釘脫落的故障樣圖。

圖1 螺母-銷釘實例圖

1.1 Faster R-CNN

近年來，基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測算法逐漸成為研究熱點。經(jīng)典的R-CNN[24]目標(biāo)檢測算法在2014年由Girshick等人提出，由于其檢測精度與效率存在較大的提升空間，在這之后，先后提出了Fast R-CNN[25]和Faster R-CNN算法。其中Faster R-CNN算法已經(jīng)成功應(yīng)用于多個領(lǐng)域。

Faster R-CNN對無人機巡檢圖像中銷釘脫落檢測流程如圖2所示。我們可以分為4個階段，首先將圖片輸入到CNN模型中訓(xùn)練，隨后用區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network, RPN)對提取后的特征圖進行處理，尋找可能包含目標(biāo)的區(qū)域，再用感興趣區(qū)域池化(Region of interest Pooling, RoIP)處理，提取出與目標(biāo)物相關(guān)的特征向量，最后再由卷積層和全連接層得到目標(biāo)物邊界框的坐標(biāo)和分類結(jié)果。

圖2 Faster R-CNN銷釘故障檢測過程

在第一階段，從圖2中可以看出，我們將任意尺寸的無人機巡檢圖像輸入至卷積神經(jīng)網(wǎng)絡(luò)中，通過訓(xùn)練得到可被后續(xù)RPN網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)共享的特征圖。不同的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)并不相同，檢測效果也不盡相同。本文分別采用VGG16，ResNet-50，ResNet-101和ResNet-152作為Faster R-CNN目標(biāo)檢測中的預(yù)訓(xùn)練CNN模塊，用以提取輸入圖片的特征圖(Feature map)。VGG16模型的網(wǎng)絡(luò)結(jié)構(gòu)包括有13個卷積層，13個激活層和4個池化層。而ResNet網(wǎng)絡(luò)模型則由1個卷積層，1個池化層，和若干個殘差模塊組成。其中ResNet-50、ResNet-101、ResNet-152分別包含16、33、50個殘差模塊。

圖3 RPN網(wǎng)絡(luò)示意圖

一般，螺母-銷釘組件在無人機巡檢獲取的圖片中只占很小的一個區(qū)域。如果對所有的區(qū)域都遍歷一遍，并得到檢測結(jié)果，勢必會導(dǎo)致檢測效率的下降以及增大了網(wǎng)絡(luò)模型訓(xùn)練難度。為解決這一問題，F(xiàn)aster R-CNN拋棄了傳統(tǒng)的滑動窗口的方法并提出通過RPN和檢測網(wǎng)絡(luò)共享特征圖的方式來減少復(fù)雜計算所導(dǎo)致的時間消耗，其中RPN網(wǎng)絡(luò)示意圖如圖3所示。先用512個3×3卷積核進一步集中特征信息，并分別輸入邊框分類器和邊框回歸器中。假設(shè)特征圖中的某個目標(biāo)區(qū)域生成了k個不同范圍的候選框，那么邊框分類器則輸出每個目標(biāo)候選框?qū)儆谀囊环N螺母-銷釘狀態(tài)或者是背景的概率。于是，總共有2k個輸出。假設(shè)輸電線路部件矩形框的位置由 (x,y,w,h) 來表示。其中矩形框的中心點坐標(biāo)為(x,y)，w,h分別表示矩形框的寬和高。因此，邊框回歸網(wǎng)絡(luò)有4k個輸出。隨后將得到的候選區(qū)域信息和特征圖共同送入RoIP層中從而獲得建議特征圖并傳遞至檢測網(wǎng)絡(luò)中。檢測網(wǎng)絡(luò)包括有兩個分支，分別為邊框分類網(wǎng)絡(luò)和邊框回歸網(wǎng)絡(luò)。其中邊框分類網(wǎng)絡(luò)通過全連接層和Softmax分類器對螺母-銷釘或背景做進一步判斷，邊框回歸網(wǎng)絡(luò)則通過全連接層從而獲取更高進度的邊框區(qū)域。

1.2 ACF+Adaboost

ACF是一種多特征融合算法。本文從6個不同方向的梯度直方圖，3個LUV顏色通道和1個梯度幅值通道，共10個特征通道并使用快速特征金字塔[26]計算無人機巡檢圖像在不同尺度變化下的特征通道值。使用滑動窗口對特征通道進行遍歷，計算其積分圖的特征值之和并作為特征向量送入Adaboost分類器，通過非極大值抑制[27](Non-Maximum Suppression, NMS)得到螺母-銷釘?shù)臋z測框，判斷銷釘是否脫落。

1.3 Hough+LSD

對螺母-銷釘?shù)臋z測中，將螺母和銷釘作為一個整體進行判定?？紤]到螺母是一種類圓形部件，銷釘?shù)闹本€特征比較明顯，在檢測過程如圖4所示，使用Hough梯度進行圓檢測，而直線段檢測有LSD算法完成。隨后根據(jù)兩者之間的位置關(guān)系判斷銷釘是否與螺母分離脫落。

圖4 螺母尺寸背景下的銷釘檢測

2 數(shù)據(jù)集與模型訓(xùn)練

2.1 數(shù)據(jù)集準備

本文使用的數(shù)據(jù)集是由無人機巡檢時獲得的圖像。本文針對輸電線路銷釘脫落故障檢測這一任務(wù)，將數(shù)據(jù)集分為了3個部分，其中訓(xùn)練樣本3600張，驗證樣本1 200張，測試樣本1 200張，測試集中的1 200張樣本都不存在于訓(xùn)練樣本和驗證樣本中。其中，故障銷釘和無故障銷釘兩個類別各占3個樣本集的50%。

2.2 模型訓(xùn)練

本實驗的計算機配置為Intel(R) Core(TM) i7-7820X 3.6 GHz CPU，TITAN Xp GPU，64 G 內(nèi)存，采用Tensorflow深度學(xué)習(xí)框架，使用Faster R-CNN實現(xiàn)網(wǎng)絡(luò)模型的訓(xùn)練，先后選取VGG16，ResNet-50，ResNet-101和ResNet-152預(yù)訓(xùn)練模型對前置ImageNet網(wǎng)絡(luò)進行初始化。根據(jù)多次實驗經(jīng)驗所得，本文在訓(xùn)練階段設(shè)置學(xué)習(xí)率為0.001，反向梯度的動量為0.9，學(xué)習(xí)率衰減權(quán)重為0.1，批尺寸大小為256，NMS閾值為0.7，其前后候選框個數(shù)分別為12 000和2 000，交集并集比(Intersection over Union, IoU)大于0.7時為正樣本，IoU小于0.3時為負樣本。模型檢測效果以平均準確率作為主要評判標(biāo)準，檢測用時為次要標(biāo)準。

3 實驗與結(jié)果分析

3.1 銷釘故障檢測過程

使用Faster R-CNN算法對銷釘故障檢測效果的測試過程，首先根據(jù)2.1節(jié)中的數(shù)據(jù)集劃分方式，將測試集中1 200張圖片(600張有銷釘圖片、600張無銷釘圖片)同時輸入至2.2節(jié)中訓(xùn)練得到的檢測模型。檢測模型的卷積層分別對輸入的每一個測試圖片進行特征提取，提取出的特征圖中包含有前景(螺母-銷釘或單螺母)和背景的特征。隨后檢測網(wǎng)絡(luò)中的區(qū)域候選層將特征圖劃分成若干個區(qū)域，并對每個區(qū)域生成不同尺寸的候選框，接著用一組全連接層對候選區(qū)域進行分類，判斷是前景還是背景，再用另一組全連接層對不同尺寸的候選框進行回歸選出能夠較好的將前景包含在內(nèi)的候選框。最后將篩選的結(jié)果與之前提取的特征圖一同輸入由全連接層(分類器與回歸器)組成的檢測網(wǎng)絡(luò)中，其中回歸器用于進一步鎖定目標(biāo)的邊框位置，分類器用于判別是螺母-銷釘和單螺母中的哪一類，從而完成銷釘是否脫落的故障檢測過程。

為保證實驗結(jié)果的客觀性，進行了多次重復(fù)實驗。每次實驗都對數(shù)據(jù)集隨機劃分為訓(xùn)練集、驗證集和測試集。通過對實驗結(jié)果進行平均得到以下結(jié)果。

3.2 不同模型檢測效果對比

通過對2.2節(jié)中訓(xùn)練得到4種檢測模型進行測試，并計算查準率(Precision, P)、查全率(Recall, R)和平均精度(Average Precision, AP)。

(1)

以故障銷釘為例，查準率表示檢測出的故障中，正確檢測的比例；查全率表示所有故障中被檢測出的比例；其中TP為挑選出的故障銷釘中判斷正確的數(shù)量，F(xiàn)P為判斷錯誤的數(shù)量，F(xiàn)N為未被檢測出的故障銷釘?shù)臄?shù)量。根據(jù)實驗結(jié)果繪制對應(yīng)的Precision-Recall曲線，如圖5所示。

圖5 4種Faster R-CNN檢測模型Precision-Recall曲線

根據(jù)Precision-Recall曲線，可計算每一分類的平均精度。平均精度是衡量模型在某一分類上檢測性能，是對Precision-Recall曲線上11個點(當(dāng)Recall≥0,0.1,…,1時Precision的最大值)的平均。在此基礎(chǔ)上計算所有類別平均精度的均值，即均值平均精度(mean Average Precision, mAP)用以判斷模型的整體性能。并將以上實驗結(jié)果和檢測時間匯總為表1所示。對于正常銷釘?shù)钠骄葋碚f，ResNet-50模型的效果最好，其次是ResNet-152，再者是ResNet-101，最后是VGG16；對于故障銷釘?shù)钠骄葋碚f，ResNet-50、ResNet-152和VGG16不相上下且不如ResNet-101模型的效果好；對于均值平均精度，ResNet-101模型的效果依舊優(yōu)于其他3個模型；在檢測時間的消耗上，隨著模型復(fù)雜度的增加，VGG16、ResNet-50、ResNet-101和ResNet-152模型的用時也隨之遞增，其中ResNet-152模型的耗時近乎是VGG16模型的兩倍。圖6為ResNet-101模型的檢測效果。

表1 4種Faster R-CNN模型檢測結(jié)果

圖6 銷釘故障檢測效果

通過對比不同模型的檢測效果可以看出對于好的銷釘?shù)臋z測效果遠超于對壞的銷釘?shù)臋z測效果。主要原因為輸電線路網(wǎng)絡(luò)中，除了螺母-銷釘?shù)募庸滩考?，還存在有單獨的螺母零件，它與銷釘脫落后的螺母相比，僅是否有銷釘孔這一區(qū)別。由于拍攝角度、光線等因素的影響，存在一定的可能性將銷釘脫落后的螺母與單獨的螺母混淆，而螺母-銷釘結(jié)構(gòu)相對獨特，以至于兩者檢測效果相差較大?？傮w效果而言，ResNet-101模型的表現(xiàn)明顯優(yōu)于其他模型，特別是在檢測壞的銷釘方面。越為復(fù)雜的深度模型，越依賴數(shù)據(jù)的豐富性。與整個龐大的輸電線路系統(tǒng)相比，部件故障出現(xiàn)的情況十分稀少，對于銷釘這類微小部件更是少見，數(shù)據(jù)量不足這是導(dǎo)致ResNet-152模型的效果不如ResNet-101模型的原因。

3.3 不同算法檢測效果對比

根據(jù)3.1節(jié)的實驗結(jié)果，選取最優(yōu)模型ResNet-101模型與其他目標(biāo)檢測算法進行對比，實驗結(jié)果如表2所示。根據(jù)表2的實驗數(shù)據(jù)，不可否認傳統(tǒng)目標(biāo)檢測算法在檢測時間方面比深度學(xué)習(xí)方法要快。不過檢測精度還是無法與Faster R-CNN算法比擬。以ACF+Adaboost算法為例，雖然銷釘脫落故障的檢測時間僅為Faster R-CNN算法的1/4，但其誤檢率較高，導(dǎo)致整體精度下降。而Hough+LSD算法的缺陷比較明顯，由于銷釘在無人機巡檢圖像中僅占一小部分，像素總數(shù)相對較少，同時圖像中其他直線段特征存在干擾，以至于檢測效果遠低于Faster R-CNN算法。

表2 3種目標(biāo)檢測算法檢測結(jié)果

4 結(jié)束語

實現(xiàn)無人機巡檢圖像中輸電線路銷釘脫落故障的自動檢測，是保證輸電系統(tǒng)安全穩(wěn)定的重要前提。深度學(xué)習(xí)在無人機巡檢圖像檢測任務(wù)中具有非常好的應(yīng)用前景，本文在此基礎(chǔ)上，研究不同F(xiàn)aster R-CNN網(wǎng)絡(luò)模型對無人機巡檢圖像中銷釘脫落故障檢測效果的影響，同時本方法的準確率都優(yōu)于經(jīng)典圖像檢測算法。在實際應(yīng)用中可以節(jié)省大量人力和時間成本，極大地提升巡檢效率，及時處理輸電線路系統(tǒng)中存在的安全隱患。

未來的工作中，將搜集更多的圖片樣本，擴大樣本庫建設(shè)，優(yōu)化深度學(xué)習(xí)算法，提高識別準確率以及增加識別的關(guān)鍵部件種類，推動無人機全自動化巡檢的研究進程。