基于改進YOLO-ResNet混合神經網絡的配網桿塔傾倒實時智能檢測

張寶星，莫一夫，潘岐深，謝銳彪

(1.廣東電網有限責任公司，廣州510623；2.華北電力大學控制與計算機工程學院，北京102206)

0 引言

電力系統(tǒng)的穩(wěn)定運行事關人民生活和社會安全穩(wěn)定。作為電網結構中的重要部分，配電網易因自然災害而發(fā)生大面積桿塔傾倒，直接影響電力用戶的供電可靠性。此外，受災地區(qū)道路受阻、通信中斷等極端條件也給災后搶修復電工作帶來種種挑戰(zhàn)。因此，為適應受災地區(qū)的極端條件，對配電線路桿塔的傾倒情況進行快速、準確評估，盡快摸清配網大致受災情況，對于提升配網勘災工作效率，加快線路搶修復電具有重大意義。

在電力桿塔傾倒檢測方法上，國內外學者進行了相關研究。文獻[1]基于桿塔結構知識模型對無人機航拍圖像中的桿塔進行了傾倒檢測，但需要通過大量的計算進行桿塔線段提取。文獻[2]設計了一個系統(tǒng)用于桿塔傾斜監(jiān)測，采用GPRS無線通信網絡技術進行數據傳輸，但速率較低，通信質量受信號強弱影響較大。文獻[3]利用地面三維激光雷達采集數據以重構桿塔點云模型，再通過人工比對實現(xiàn)輸電線路桿塔傾斜度測量，但測量結果直接受到點云模型精度和人工選點主觀因素的影響。文獻[4]設計了一種輸電塔傾斜實時監(jiān)測系統(tǒng)，采用低功耗廣域網技術進行數據傳輸，但需要始終保持通信暢通，監(jiān)測效果在很大程度上取決于通信質量。此外，常用的桿塔傾倒檢測方法還包括鉛垂法、平面鏡法、經緯儀法和傳感器法[5]，但這些方法普遍存在著對操作人員要求高、作業(yè)量大、風險高、效率低等問題。

近年來，隨著無人機和人工智能等新技術的成熟，以無人機等前端工具采集桿塔數據，再回傳至后端平臺利用圖像識別模型進行分析的模式取得了重大突破。文獻[6]融合地理位置信息，用可變部件模型算法檢測和定位電力桿塔，但并未對桿塔的狀態(tài)進行準確判斷。文獻[7]利用激光點云數據，基于分層最小外接矩形和抗差估計實現(xiàn)了對傾斜桿塔的測量。文獻[8]通過擬合塔身結構來計算桿塔中心線，從而獲得傾斜率，但點云模型的精度直接影響了測量結果。文獻[9]將Faster-RCNN算法成功應用到輸電線路的異常狀態(tài)檢測，但該算法算力要求高、分析時間長，難以應用到邊緣設備中。文獻[10]通過簡化YOLO算法提升檢測速度以實現(xiàn)桿塔的實時檢測，提供了一種較好的技術思路，但該模型只能對桿塔的狀態(tài)進行粗略分類及定位，無法計算桿塔傾斜角度，且分類準確率非常依賴訓練集，模型的泛化能力較差。文獻[11]使用了兩種深度學習模型即Faster-RCNN和YOLO-V3來檢測輸電塔。結果表明，F(xiàn)aster-RCNN具有更好的精度，但YOLO-V3的速度更快，這為類似的實驗提供了很好的參考，例如通過改進YOLO-V3算法實現(xiàn)輸電線路的缺陷識別[12]和桿塔檢測[13], 基于YOLO-V3結合LSD線段提取方法實現(xiàn)桿塔的傾斜檢測[14]。

總體而言，目前大部分用于分析桿塔傾倒的圖像識別模型因算力要求較高，往往部署于后端平臺，其較高的準確率和精細化的分析能力更適用于線路日常巡檢。相應地，靠近前端且適用于部署智能檢測模型的邊緣計算設備的開發(fā)卻少有研究。配網勘災強調在短時間內進行大范圍排查[15]，對于準確率并不存在著過高要求，同時受災現(xiàn)場通信條件較差，前端數據回傳難度大，研究適用于配網勘災的桿塔傾倒實時智能檢測模型，并開發(fā)相應設備用于實際部署，在前端完成實時檢測工作，對于保障電力系統(tǒng)的安全穩(wěn)定具有重大現(xiàn)實意義。

表1 前、后端分析模式比較

針對以上問題，結合配網勘災工作和前端分析模式的特點，本文提出基于改進YOLO-ResNet的混合神經網絡模型用于對配網桿塔傾倒的實時智能檢測。首先，在目標檢測算法對比實驗的基礎上，提出基于改進YOLO-V3算法的桿塔主體檢測，通過引入廣義交并比(generalized intersection over union, GIoU)對損失函數加以改進，有效提高算法的檢測精度。其次，利用計算量小、均方根誤差低的ResNet-50算法定位桿塔中心線，提出基于目標檢測框和中心線的桿塔姿態(tài)判斷方法，實現(xiàn)對桿塔傾斜角度的準確計算。最后，開發(fā)了一種可有效搭載配網桿塔傾倒實時智能檢測模型的便攜式勘災設備，具有低功耗、小體積、高性能的特點，前端搭配無人機等工具使用，在勘災現(xiàn)場實時分析桿塔狀態(tài)，并通過現(xiàn)場測試驗證其實際勘災能力。

1 桿塔主體檢測

1.1 目標檢測算法對比

目前基于深度學習方法進行目標檢測已取得較好效果，根據配網勘災工作特點，算法在實際應用中需要快速、準確地檢測識別出電力桿塔主體，同時對硬件的算力要求不能過高，以便于將算法部署到便攜式勘災終端設備上。

本文針對主流目標檢測算法Fast-RCNN[16]，F(xiàn)aster-RCNN[17]、SSD[18]和YOLO-V3[19]，在桿塔數據集上進行檢測速度的對比實驗，以每秒傳輸幀數(frames per second, FPS)為指標，結果如表2所示。

表2 目標檢測算法速度比較

由表2可知：YOLO-V3對桿塔主體的檢測速度達到34幀/s，大大高于其他幾種模型，可滿足配網勘災的實時檢測速度要求，適合作為桿塔主體檢測算法。

1.2 YOLO-V3目標檢測算法

YOLO-V3是只看一次(you only look once，YOLO)算法的第三代模型，通過將骨干網絡設計為更深的具有53個卷積層(Darknet-53)的卷積神經網絡(convolutional neural networks, CNN)，提高了目標檢測定位和分類精度；通過借鑒特征金字塔網絡設計多尺度特征提取結構，提升了對小目標的檢測效果。圖2為YOLO-V3模型的網絡結構，其損失函數L如式(1)所示。

圖1 前、后端分析模式示意

圖2 YOLO-V3模型結構

(1)

1.3 傳統(tǒng)YOLO-V3算法缺陷分析

傳統(tǒng)YOLO-V3通常使用2-范數距離(L2)或交并比(intersection over union, IoU)作為方框置信度損失函數。

L2作為方框置信度損失函數，在計算過程中收斂速度較快，但其本質上只反映預測框和實際框之間的距離，無法反映兩者的重合度[20]。

交并比的計算公式如式(2)所示。

(2)

式中：RIoU為交并比；A和B分別代表預測框(黑色矩形)和真實框(綠色矩形)的面積。

IoU與廣義交并比(generalized intersection over union, GIoU)[21]的對比分析如圖3所示。

圖3 IoU與GIoU的對比分析

與L2相比，RIoU作為方框置信度損失函數在大部分情況下能夠較好地反映目標預測框和真實框的重合度，但在實際應用中仍存在以下兩個主要問題：

1)當預測框和真實框不重疊時，RIoU=0且不反映兩個框之間的距離，導致訓練過程中無梯度回傳而無法優(yōu)化;

2)RIoU無法正確區(qū)分預測框和真實框的不同重疊方式。當預測框和真實框在圖3所示3種情況下RIoU值完全相等，但檢測效果明顯不同。

1.4 基于GIoU的改進YOLO-V3桿塔主體檢測

為了解決RIoU作為損失函數存在的兩個問題，本文對傳統(tǒng)YOLO-V3損失函數加以改進，利用GIoU計算桿塔主體目標檢測框的損失。

廣義交并比RGIoU的計算公式如式(3)所示。

(3)

式中：C為預測框A和真實框B的最小外接矩形框，如圖4所示。RGIoU比RIoU多關注了兩個方框之間的未重合區(qū)域，即使重疊區(qū)域為0時也能反映兩者間的相對位置，其距離度量效果更為靈敏。

圖4 交并比計算示意圖

將GIoU引入YOLO-V3網絡的損失函數，用于計算目標物體預測邊框的回歸損失，由于檢測目標只有桿塔一類，因此改進后的損失函數如式(4)所示。

(4)

2 桿塔中心線定位

在完成桿塔主體檢測之后，需要定位桿塔頂部和根部兩個端點，通過端點連接實現(xiàn)桿塔中心線定位，便于后續(xù)判斷桿塔姿態(tài)是否傾斜。

為定位桿塔中心線，本文在研究過程中嘗試使用基于GIoU的改進YOLO-V3算法檢測出桿塔主體之后進行桿塔中心線定位，然而這樣會造成損失函數過度復雜，收斂難度加大。因此，采取首先進行桿塔主體檢測再解決圖像分類問題的思路解決桿塔中心線的定位問題。

在對智能調控裝置進行控制電路設計的過程中，依據智能調控裝置的調控方案，對其PLC控制器進行I/O地址分配見表4。

2.1 ResNet-50算法原理

隨著網絡深度的增加，其梯度消失和爆炸問題使得網絡的訓練難度倍增，收斂速度變得很慢，并出現(xiàn)性能退化問題，這給深度神經網絡的應用帶來相應的挑戰(zhàn)。為增強神經網絡表達能力，文獻[22]提出深度殘差網絡ResNet從而有效解決此類問題。

ResNet-50使用殘差(residual)模塊作為標準網絡組件，通過堆疊組成具有50層的更復雜的網絡結構，由于使用全局平均池化操作，所以模型的尺寸更小。其殘差模塊的結構如圖5所示，通過一個恒等映射將原本需要訓練才能得到的函數h(X)變成f(X)+X，因f(X)的優(yōu)化比h(X)簡單得多，所以對于模型的訓練，可以在表達效果相近的情況下大大降低優(yōu)化難度。

圖5 殘差模塊結構

2.2 基于ResNet-50的桿塔中心線定位

ResNet-50為一個準確率高且計算復雜度較低的分類網絡，本文采用ResNet-50網絡進行配網桿塔端點及其中心線定位。

在上一節(jié)所述基于GIoU的改進YOLO-V3算法檢測出數據圖中的桿塔主體后，通過人工對桿塔的兩個端點進行標注，形成端點訓練集，輸入ResNet-50網絡提取桿塔兩個端點的特征值。以桿塔兩個端點的坐標作為ResNet-50網絡的歸一化輸出結果，并計算該結果與真實值之間的損失值，訓練得到可用于定位桿塔兩個端點及其中心線的ResNet-50網絡模型。

3 基于檢測框和中心線的桿塔姿態(tài)判斷

在采用深度學習算法對桿塔姿態(tài)進行判斷方面，現(xiàn)階段主要是按照分類的思路通過大量數據的訓練來得到對桿塔姿態(tài)的模糊分類能力[10]，只能簡單地判斷桿塔是傾倒姿態(tài)還是直立姿態(tài)，無法計算桿塔傾斜角度。而桿塔的傾斜角度主要依靠工作人員目測，在判斷安置于不平整地面的桿塔時容易發(fā)生誤判。如圖6所示斜坡地形條件下桿塔3是絕對垂直的，但其所處的斜坡地形使桿塔主干線與地面夾角β<90 °，容易產生誤判。

考慮到實際工作環(huán)境中桿塔可能安置于任何地形的塔基中，為了更加準確地判斷桿塔姿態(tài)，同時更好地將姿態(tài)判斷環(huán)節(jié)融入到深度學習算法中，本文提出了基于目標檢測框和中心線的桿塔姿態(tài)判斷方法。

在采集設備保持絕對水平的狀態(tài)下，基于改進YOLO-V3算法得到的桿塔主體檢測框的左右框線是絕對垂直線，可用于輔助桿塔姿態(tài)判斷。在定位出桿塔中心線后，可計算出桿塔中心線和主體檢測框垂直線之間的夾角，從而進行姿態(tài)判斷。

如圖6所示，在水平、斜坡、起伏3種地形條件下桿塔主體的檢測框均不受其安置環(huán)境的影響，該方法可正確計算桿塔中心線與主體檢測框之間的夾角α。當0 °<α≤5 °時，可判斷桿塔狀態(tài)正常；當5 °<α≤20 °時，可判斷桿塔發(fā)生倒斜；當夾角α>20 °時，可判斷桿塔倒桿(角度的判斷閾值范圍可根據實際情況進行調整)。此方法能適應各種地形，通用性更強。

圖6 3種地形判斷示意圖

4 配網桿塔傾倒實時檢測模型及設備

4.1 配網桿塔傾倒實時智能檢測模型

結合前述研究，本文建立了配網桿塔傾倒實時智能檢測模型，分析流程如圖7所示。首先，將攝像頭采集的原始圖像輸入基于GIoU的改進YOLO-V3桿塔主體檢測模型，獲得桿塔主體目標檢測框。然后將桿塔主體圖像輸入基于ResNet-50的桿塔中心線定位模型進行端點定位，返回桿塔的頂部和根部兩個端點坐標，兩端點相連獲得桿塔中心線。最后基于前述桿塔目標檢測框和中心線計算夾角進行姿態(tài)判斷，獲得桿塔傾倒檢測輸出結果。

圖7 配網桿塔傾倒實時智能檢測流程

4.2 便攜式配網智能勘災設備

本文結合配網桿塔傾倒實時智能檢測模型的特點以及配網勘災工作要求，研發(fā)了低功耗、小體積、高性能的便攜式配網智能勘災設備，用于部署本文所研究的模型。

圖8為便攜式勘災設備示意圖。

圖8 便攜式勘災設備示意圖

便攜式勘災設備主要由3部分組成：基于FPGA的深度學習加速卡、CPU及相關外設接口。其中，深度學習加速卡主要用于深度學習神經網絡的計算加速，CPU主要進行視頻的解碼、編碼等預處理操作，外設接口包含USB、HDMI、以太網口等，支持與無人機遙控裝置、攝像頭等不同的設備相連，滿足多種應用情景需求。具體應用方案如圖9所示，設備通過外設接口一端獲取無人機或車載攝像頭拍攝的現(xiàn)場視頻流，一端可輸出桿塔檢測結果到顯示屏，相關參數如表3所示。

圖9 便攜式勘災設備應用方案

表3 便攜式智能勘災設備參數

5 實驗測試

5.1 數據準備與模型訓練

本文數據采自廣東某地10 kV配網線路，通過無人機和車輛分別從空中和地面兩種角度沿線拍攝視頻，并提取視頻幀得到充足的圖片數據，經人工標注分別獲得桿塔主體檢測數據集和端點定位數據集。其中，桿塔主體檢測訓練集包含圖片3 212張，測試集322張；桿塔端點定位訓練集包含圖片5 170張，測試集596張，訓練集和測試集之間不存在交集。

將桿塔主體檢測數據集輸入改進的YOLO-V3算法，經訓練獲得桿塔主體檢測模型；將桿塔端點定位數據集輸入ResNet-50算法，經訓練獲得桿塔的端點定位模型，并通過端點連接獲得桿塔中心線。在此基礎上，基于桿塔目標檢測框和中心線進行桿塔姿態(tài)判斷，結果如圖10所示，紅色框為基于改進YOLO-V3檢測的桿塔主體區(qū)域，綠色圈代表基于ResNet-50定位得到的桿塔頂部和根部端點，連接兩端點得到桿塔中心線并計算線框夾角θangle=27.85 °，通過角度閾值判斷倒桿姿態(tài)。

圖10 桿塔傾倒檢測結果

5.2 對比分析

為了評價基于GIoU改進的YOLO-V3算法對桿塔主體檢測的效果，本文分別以L2和IoU作為方框置信度損失函數構建另外兩種YOLO-V3模型，在相同的數據集上對比分析了訓練過程中隨迭代次數的增多其損失值下降的趨勢。損失函數變化曲線如圖11所示。

圖11 損失函數變化曲線

在訓練初期，基于L2損失函數的模型收斂速度較快，但隨著迭代次數的增多，以RGIoU作為方框置信度損失函數的模型的損失值降到了最低，擬合程度優(yōu)于傳統(tǒng)的L2及RIoU損失函數，效果最好。

此外，圖12展示了3種模型迭代過程中的平均RIoU值變化曲線。由圖可知，在整個迭代過程中，以RGIoU作為損失函數訓練的YOLO-V3模型的平均IoU值明顯高于其他兩種模型，意味著該模型針對桿塔主體檢測的預測框與真實框之間的重合度變高，其檢測準確性有了顯著提升。

圖12 平均RIoU值變化曲線

如表4所示，通過在測試集上對比以L2、RIoU、RGIoU作為方框置信度損失函數的YOLO-V3算法對桿塔主體的檢測效果，結果可知，基于GIoU的改進YOLO-V3算法在平均準確率、準確率、召回率都有相應提高。其中，平均準確率從97.12%提高至98.94%，準確率從94.5%提高至95.6%，召回率從97.5%提高至99.2%，說明該模型有效降低了對桿塔主體檢測的誤檢率和漏檢率。

表4 基于不同損失函數的模型效果對比

識別出桿塔主體后，為了確定桿塔的姿態(tài)，本文通過ResNet-50算法定位桿塔端點，再連接端點獲得桿塔中心線，最后進行姿態(tài)判斷。為了進一步評價ResNet-50在桿塔端點定位上的優(yōu)勢，本文選取了其他3組常用于圖像分類的經典CNN結構模型AlexNet[23]、Vgg-19[24]和Inception-V1[25]進行對比實驗，并從每秒浮點計算量(floating-point operations per second, FLOPS)和均方根誤差(root mean squared error, RMSE)兩個指標分析其檢測效果。

對比結果如圖13所示，可以發(fā)現(xiàn)，ResNet-50在表現(xiàn)出較小的均方根誤差的同時仍保持較小的計算量。雖然Inception-V1的均方根誤差最低，但其計算量為ResNet-50的4倍，不適合應用于便攜式設備部署。

圖13 不同模型檢測效果對比

為驗證本文所建立的桿塔傾倒實時智能檢測模型的整體準確性，針對測試集的所有圖片數據，采用人工逐張測量桿塔傾斜角度的方式，與本文模型的檢測角度作對比，結果如表5所示。其中，模型的整體準確性(overall precision, OP)通過式(5)進行評價。

(5)

式中：ROP為整體準確率；NTA為被模型正確計算出桿塔傾斜角度的圖片數量；NFA為被模型錯誤計算出桿塔傾斜角度的圖片數量；NFD為模型未成功檢測出桿塔或未成功定位桿塔端點的圖片數量。根據表5可以算出本文所提模型的整體準確性平均達到了93.48%，滿足配網勘災對桿塔傾倒檢測判斷的準確性要求。

表5 模型整體準確性測試結果

5.3 便攜式設備實地測試

本文開發(fā)并部署了一種便攜式智能勘災設備，為測試該設備的性能，分別采用機載和車載勘災方案對廣東某地10 kV配網線路進行實地測試。通過HDMI接口將便攜式設備一端連接無人機遙控裝置或車載攝像頭，從中讀取配網線路的拍攝視頻，一端外接顯示屏實時顯示桿塔傾倒檢測過程，部分視頻幀如圖14(a)所示。

圖14 便攜式設備桿塔傾倒檢測

便攜式配網智能勘災設備在無人機拍攝線路的飛行過程中實時分析了桿塔的狀態(tài)，分別統(tǒng)計正常和受損桿塔的數量，并截取受損桿塔圖片，以“桿塔分析統(tǒng)計表+圖片”的形式輸出最終結果，有利于工作人員快速獲取、上報勘災結果。同時，對設備的功耗和檢測時間進行記錄，結果表明該設備的平均功耗為9 W，單次檢測時間少于190 ms，完全滿足前端低載荷、低功耗、高性能的要求，可在配網線路實際勘災應用中有效搭載并運行本文所提的桿塔傾倒實時智能檢測模型。

6 結論

本文提出了基于改進YOLO-ResNet混合神經網絡的配網桿塔傾倒實時檢測模型，得出結論如下。

1)基于GIoU作為損失函數對YOLO-V3算法進行改進，可有效提升桿塔主體檢測的準確性。

2)基于ResNet-50算法進行桿塔端點定位并獲得桿塔中心線，在保持誤差較小的基礎上大大減少了運行計算量。

3)提出了基于目標檢測框和中心線的桿塔姿態(tài)判斷方法，減少了桿塔周邊地形對檢測結果的影響，實現(xiàn)了對桿塔傾倒角度的實時計算和姿態(tài)判斷，形成了完整的桿塔狀態(tài)自動評估流程，研究成果可為類似的應用場景提供參考。

4)對比人工判斷結果，本文所建立的配電線路桿塔傾倒實時智能檢測模型的角度計算整體準確率可達93.48%。

5)所建立的桿塔傾倒實時智能檢測模型在桿塔主體檢測、中心線定位、姿態(tài)判斷等環(huán)節(jié)中計算速度快、準確性較高、算力要求低，可部署到便攜式設備上。

6)所研發(fā)的低功耗、小體積、高性能的便攜式智能勘災設備可有效搭載、運行本文所提出的實時智能檢測模型，可搭配無人機、車載攝像頭等設備在前端使用，實現(xiàn)了在勘災現(xiàn)場邊采集邊分析，實時匯總災情，進一步提高了配網的勘災效率，開創(chuàng)了配網勘災的全新模式。