一種輸電線路邊、端協(xié)同檢測方法和系統(tǒng)實(shí)現(xiàn)

孫仝 鄧浩光 程昭榮 范亮 陸林

DOI：10.19850/j.cnki.2096-4706.2024.01.029

收稿日期：2023-06-25

基金項(xiàng)目：中國南方電網(wǎng)有限責(zé)任公司科技項(xiàng)目資助（031200KK52210032）

摘? 要：輸電線路在日常運(yùn)行中受環(huán)境等因素影響會(huì)出現(xiàn)不同程度的配件老化、破損，導(dǎo)致輸電、負(fù)載能力無法滿足運(yùn)營安全需求。為解決傳統(tǒng)人工橋檢作業(yè)難度大、檢測時(shí)間長、工作空間受限等問題，提出一種基于無人機(jī)和深度學(xué)習(xí)的一體化輸電線路巡檢系統(tǒng)。系統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，采用YOLOv7目標(biāo)檢測算法對無人機(jī)采集的圖像進(jìn)行檢測。首先通過事先設(shè)計(jì)的飛行路徑和實(shí)時(shí)拍攝采集圖像，其次傳送到事先部署于無人機(jī)邊緣盒子中的目標(biāo)檢測模型進(jìn)行檢測，最后將檢測結(jié)果通過邊緣盒子發(fā)送至使用者的APP。

關(guān)鍵詞：邊端協(xié)同；無人機(jī)；電力巡檢

中圖分類號：TP311? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2024）01-0138-04

A Method for Edge and End Collaborative Detection of Transmission Lines and System Implementation

SUN Tong1， DENG Haoguang1， CHENG Zhaorong1， FAN Liang2， LU Lin1

（1.Zhaoqing Power Supply Bureau of Guangdong Power Grid Co.， Ltd.， Zhaoqing? 526000， China;

2.Guangzhou Zhongke Intelligent Inspection Technology Co.， Ltd.， Guangzhou? 510623， China）

Abstract： The transmission lines may experience varying degrees of aging and damage to their accessories due to environmental and other factors in daily operation， resulting in transmission and load capacity not meeting operational safety needs. To address the challenges of traditional manual bridge inspection， such as high difficulty， long detection time， and limited workspace， captured by UAV . Firstly， the system? collects images through pre-designed flight paths and real-time shooting. Second， it transmits them to the target detection model deployed in the edge box of the UAV for detection. Finally， it sends the detection results to the user's APP through the edge box.

Keywords： edge and end collaboration; UAV; electric power inspection

0? 引? 言

輸電線路是我國電力運(yùn)輸系統(tǒng)中不可或缺的一環(huán)，具有跨越區(qū)域大、標(biāo)準(zhǔn)統(tǒng)一化和可靠性高的優(yōu)點(diǎn)，普遍放置于城郊或城郊區(qū)域外。隨著輸電線路工作的年限增加，輸電線路的各個(gè)配件會(huì)出現(xiàn)不同程度的老化、破損等現(xiàn)象。目前輸電線路的日常檢測依靠專業(yè)工作人員前往現(xiàn)場進(jìn)行檢測，存在難度大、檢測時(shí)間長、工作流程復(fù)雜等問題，同時(shí)往往依靠工作人員豐富的檢測經(jīng)驗(yàn)排查輸電線路問題。陳榮保等[1]提出圖像拼接與Hough變換相融合的數(shù)字圖像檢測方法，增強(qiáng)目標(biāo)電纜在圖像上占據(jù)的比重以及抗干擾能力，用以檢測輸電線纜的運(yùn)行情況。張偉奎等[2]在視覺注意模型的基礎(chǔ)上，分析違規(guī)線路和其他環(huán)境的圖像差異，分類計(jì)算線路邊緣直方圖特征，與其他線路環(huán)境的圖像梯度分布相比，違規(guī)線路差異明顯，從而檢測出違規(guī)線路的差異。楊利波等[3]通過改進(jìn)YOLO模型和使用無人機(jī)實(shí)現(xiàn)對輸電線路的缺陷檢測。朱凱等[4]利用改進(jìn)后的Hough變換技術(shù)，提取檢測圖像的紋理特征，通過特征匹配得出最終的檢測結(jié)果。萬迪明等[5]通過分析直升機(jī)巡檢過程拍攝到的圖像，在事先檢測到的輸電線路興趣區(qū)域內(nèi)根據(jù)人眼感知特性來計(jì)算視覺顯著圖，然后通過視覺顯著度對顏色、形狀或空間分布等特性對異物區(qū)域?qū)崿F(xiàn)統(tǒng)一定位。

上述專業(yè)人員解決問題的方法大多數(shù)基于傳統(tǒng)的圖像處理技術(shù)，并直接進(jìn)行檢測，并沒有考慮到實(shí)際的應(yīng)用，以及傳統(tǒng)圖像技術(shù)的泛化性并不高的問題。

隨著無人機(jī)技術(shù)和深度學(xué)習(xí)技術(shù)在工業(yè)界的廣泛使用，利用無人機(jī)進(jìn)行拍攝，目標(biāo)檢測模型對輸電線路進(jìn)行缺陷檢測逐漸替代傳統(tǒng)的人工巡檢方式[6]。由于無人機(jī)采集到的圖像數(shù)據(jù)較大。并且針對類似這種大型圖像數(shù)據(jù)的深度學(xué)習(xí)模型對硬件設(shè)備要求較高，一般無法部署在移動(dòng)端。即小型深度學(xué)習(xí)模型的缺陷目標(biāo)檢測效果無法滿足實(shí)際的應(yīng)用需求，但大型的深度學(xué)習(xí)模型又無法在移動(dòng)端上部署?，F(xiàn)階段人機(jī)的智能巡檢方式存在小尺寸缺陷隱患檢測準(zhǔn)確率低，漏報(bào)率和誤報(bào)率也較高的弊端[7-11]。

本文的研究目的在于提供一種包含移動(dòng)端的實(shí)時(shí)分析的缺陷隱患檢測系統(tǒng)，用以智能識別缺陷隱患巡檢圖像，方便工作人員操作使用，提高缺陷隱患的檢測效率和缺陷識別的準(zhǔn)確度。

1? 目標(biāo)檢測模型

本系統(tǒng)選擇YOLOv7作為目標(biāo)檢測模型，其在各種工業(yè)生產(chǎn)環(huán)境下都有較好的表現(xiàn)。YOLOv7的網(wǎng)絡(luò)結(jié)構(gòu)主要分為主干網(wǎng)絡(luò)Backbone和檢測部分Head兩個(gè)部分，其中主干網(wǎng)絡(luò)負(fù)責(zé)提取圖像特征，檢測部分負(fù)責(zé)對主干網(wǎng)絡(luò)提取的特征進(jìn)一步處理、預(yù)測以及輸出，算法結(jié)構(gòu)如圖1所示。

主干網(wǎng)絡(luò)由ELAN模塊和MP-1模塊組成，其通過各種卷積核大小為3×3和1×1的卷積操作、激活函數(shù)、最大池化操作和歸一化操作的搭配完成對圖像特征的提取。

ELAN模塊是一個(gè)高效的特征提取模塊，由兩條分支共同連接而成，一條短分支和一條長分支。短分支負(fù)責(zé)提取淺層特征，長分支提取深層特征，淺層特征保留特征圖的紋理、外觀特征信息，而深層特征具有抽象的語義信息。然后ELAN模塊對二者得到的特征圖進(jìn)行拼接操作，得到一個(gè)同時(shí)具有淺、深層特征信息的特征圖。分支上的CBS模塊協(xié)同運(yùn)作，完成對圖像特征的提取，短分支由一個(gè)CBS模塊組成，長分支由五個(gè)CBS組成，其中CBS模塊由卷積層（Conv）、歸一化層（Batch Normalization）和激活函數(shù)（Silu）組成。

MP-1模塊也由兩條分支組成，與ELAN模塊不同的是MP-1的兩條分支是相同長度的（如圖2所示）。其中上分支由最大池化層（MaxPool）和CBS模塊組成，下分支由兩個(gè)CBS模塊組成。采用MaxPool層的目的是下采樣得到特征圖的關(guān)鍵特征信息，同時(shí)減少參數(shù)。MP-1模塊的作用在于對特征圖進(jìn)行下采樣的過程中，在減少參數(shù)的前提下，盡可能地減少特征信息損失。

檢測部分主要由ELAN-W模塊、MP-2模塊和SPPCSPC模塊組成，其作用是對經(jīng)主干網(wǎng)絡(luò)處理的特征圖進(jìn)行預(yù)測。檢測部分有三個(gè)檢測頭，分別檢測圖像中大、中、小目標(biāo)。這是由于大特征圖相對而言保留更多的空間信息，圖像上小目標(biāo)的特征會(huì)保留其中，所以大檢測頭中的大特征圖通常用于檢測小目標(biāo)，而小檢測頭中的小特征圖由于經(jīng)過了幾次卷積，信息變得更加抽象，所以更適合檢測大目標(biāo)。

其中ELAN-W模塊與ELAN模塊結(jié)構(gòu)十分類似，其采用的CBS模塊數(shù)量相當(dāng)，但略有不同的是ELAN-W模塊更加注重淺層特征與深層特征的融合。而MP-2模塊的結(jié)構(gòu)與MP-1模塊結(jié)構(gòu)完全一致，其所得到的特征圖的通道數(shù)是MP-1模塊的兩倍。

SPPCSPC模塊負(fù)責(zé)通過聚合采用不同尺度的最大池化操作獲得不同感受野的特征圖，使得網(wǎng)絡(luò)模型可以適應(yīng)不同分辨率大小的圖像，同時(shí)不增加網(wǎng)絡(luò)模型的參數(shù)，保證了網(wǎng)絡(luò)的輕量化。

我們準(zhǔn)備的硬件設(shè)備和軟件環(huán)境如下：CPU使用Intel XEON E5-2620V4 @ 2.10 GHz，8C/16T；計(jì)算卡使用NVIDIA Titan XP 12 GB，用于以下實(shí)驗(yàn)過程：

1）缺陷檢測數(shù)據(jù)集。云南電力試驗(yàn)研究院管理的輸電線路上有大量的電力桿塔數(shù)據(jù)。由于一些線路老化，本實(shí)驗(yàn)通過篩選常規(guī)線路無人機(jī)檢查的圖像數(shù)據(jù)，收集了足夠的訓(xùn)練和測試陽性樣本數(shù)據(jù)。本次實(shí)驗(yàn)共采用1 564張數(shù)據(jù)用于訓(xùn)練和測試，按照訓(xùn)練集和測試集8：2的比例進(jìn)行劃分。

2）實(shí)驗(yàn)結(jié)果和比較分析我們使用YOLOv7算法進(jìn)行了多次的調(diào)參嘗試，以及大量的迭代次數(shù)來訓(xùn)練算法。我們在測試集上計(jì)算了精確度和召回率。經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，如表1所示，算法在全設(shè)備訓(xùn)練數(shù)據(jù)上具有優(yōu)秀的性能。

在后續(xù)的例行飛行巡檢中，我們采集了大量的驗(yàn)證數(shù)據(jù)進(jìn)行算法的魯棒性驗(yàn)證，在開放數(shù)據(jù)上顯示，算法實(shí)用性能強(qiáng)。驗(yàn)證結(jié)果如圖2所示。

2? 邊、端協(xié)同檢測系統(tǒng)

2.1? 系統(tǒng)組成

針對無人機(jī)巡檢數(shù)據(jù)傳輸時(shí)間長、管理效率低，本文提出了一種邊緣智能巡檢系統(tǒng)。檢測系統(tǒng)包括無人機(jī)、地面控制中心、邊緣智能巡檢系統(tǒng)（平板和電腦）、云端生產(chǎn)指揮系統(tǒng)服務(wù)器，無人機(jī)上安裝有數(shù)據(jù)采集裝置和邊緣檢測盒子，以及邊緣智能巡檢系統(tǒng)缺陷數(shù)據(jù)管理APP，整個(gè)系統(tǒng)如圖3所示。

2.2? 系統(tǒng)業(yè)務(wù)流程

數(shù)據(jù)采集裝置包括控制單元、圖像采集單元、無線通信單元?？刂茊卧糜诳刂茍D像采集單元和無線通信單元工作；圖像采集單元用于采集輸電線路的圖像信息，圖像采集單元包括雙光相機(jī)，雙光相機(jī)包括可見光攝像頭和紅外光攝像頭，可見光攝像頭用于拍攝輸電線路的場景畫面，紅外光攝像頭用于（通過感應(yīng)輸電線路的紅外輻射能量）獲取輸電線路的紅外熱成像圖；無線通信單元用于實(shí)現(xiàn)無人機(jī)與地面控制中心的通信連接和數(shù)據(jù)傳遞，包括傳輸圖像采集單元的數(shù)據(jù)、接收數(shù)據(jù)處理系統(tǒng)的控制指令等。

上述雙光相機(jī)中設(shè)有圖像推流處理器，圖像推流處理器用于將輸電線路的場景畫面與紅外熱成像圖融合疊加渲染生成渲染圖像，以實(shí)現(xiàn)圖像單線傳輸，從而便于快速傳輸和提高效率。

邊緣檢測盒子包括控制單元、圖像處理單元、缺陷圖像檢測單元、SDK通信單元?？刂茊卧糜诳刂迫毕輬D像檢測單元、圖像處理單元和SDK通信單元；圖像處理單元用于對無人機(jī)采集到的通過SDK通信傳入的圖片進(jìn)行處理；缺陷圖像檢測單元用來對圖像處理單元處理好的圖片進(jìn)行缺陷檢測，并輸出檢測結(jié)果；SDK通信單元與無人機(jī)之間進(jìn)行數(shù)據(jù)傳輸，包括圖片和檢測到的缺陷信息。

當(dāng)缺陷檢測模型判斷發(fā)現(xiàn)缺陷時(shí)，將通過無人機(jī)向遙控器發(fā)送警告信息和缺陷的定位信息，并且在遙控器畫面中以紅色框進(jìn)行標(biāo)識，實(shí)現(xiàn)輸電線路巡檢作業(yè)從先飛后識別轉(zhuǎn)變?yōu)檫咃w邊識別，可以第一時(shí)間發(fā)現(xiàn)重大缺陷。

終端APP的目錄如圖4所示，登錄表示當(dāng)用戶進(jìn)入網(wǎng)站或者打開APP時(shí)，用戶輸入賬號和密碼即可登錄；任務(wù)管理包含兩個(gè)子級計(jì)劃管理和新建/修改任務(wù)，計(jì)劃管理有各項(xiàng)計(jì)劃的列表，每項(xiàng)計(jì)劃包含計(jì)劃的序號、計(jì)劃名稱、線路名稱、電壓等級、計(jì)劃作業(yè)區(qū)段、巡檢類別、巡檢方式、作業(yè)人員、開始/結(jié)束時(shí)間、巡檢/缺陷狀態(tài)、操作，還可以根據(jù)以上的關(guān)鍵字進(jìn)行查詢需要的計(jì)劃，子級新建計(jì)劃還可以根據(jù)上面的關(guān)鍵詞進(jìn)行新計(jì)劃的添加；新建/修改任務(wù)可以創(chuàng)建或者修改一個(gè)項(xiàng)目；打開任務(wù)文件目錄的子級可以查看用紅色框標(biāo)識的缺陷圖片，包含可見光和紅外的，缺陷列表詳情頁可展示所包含的缺陷列表，每個(gè)缺陷有序號、描述、類型、等級和人工確認(rèn)結(jié)果，還包含刪除功能；導(dǎo)出選擇彈窗可以以.doc和.xlsx格式導(dǎo)出巡檢報(bào)告、檢修記錄、繪制照片、原始照片。

終端APP分別使用于移動(dòng)端（邊緣識別缺陷現(xiàn)場確認(rèn)）和辦公電腦端，移動(dòng)端通過根據(jù)遙器端傳來的缺陷信息進(jìn)行現(xiàn)場確認(rèn)（分已確認(rèn)和未確認(rèn)），然后再通過傳輸網(wǎng)絡(luò)將已確認(rèn)或未確認(rèn)的缺陷數(shù)據(jù)上傳到云端的生產(chǎn)指揮系統(tǒng)服務(wù)器，同時(shí)缺陷數(shù)據(jù)從服務(wù)器下發(fā)到信息班的班員的辦公室電腦端，進(jìn)行協(xié)同確認(rèn)。

3? 結(jié)? 論

本文基于深度學(xué)習(xí)的輸電線路的缺陷檢測技術(shù)，并結(jié)合無人機(jī)圖像自動(dòng)采集技術(shù)，設(shè)計(jì)了一套移動(dòng)端檢測輸電線路方法。與其他檢測系統(tǒng)相比，該方法把深度學(xué)習(xí)、無人機(jī)技術(shù)和移動(dòng)端開發(fā)技術(shù)結(jié)合起來，更加方便操作人員的使用與操控，具有更高的準(zhǔn)確率和更加迅速的檢測速度。該檢測系統(tǒng)專門配置了邊緣圖像處理器，能夠直接對相機(jī)采集的大量數(shù)據(jù)進(jìn)行實(shí)時(shí)檢測識別，且僅僅將檢測識別出的有缺陷隱患的圖像信息通過遙控器和路由器轉(zhuǎn)發(fā)給邊緣巡檢終端，而不是將拍攝到的全部數(shù)據(jù)信息發(fā)送給終端，大大減少了通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)，進(jìn)而提高了網(wǎng)絡(luò)傳輸速度和效率，同時(shí)也提高了巡檢的可靠性和效率，為用戶帶來了良好的體驗(yàn)效果。

參考文獻(xiàn)：

[1] 陳榮保，唐大為，盛雨婷，等.數(shù)字圖像在輸電線路檢測中的應(yīng)用 [J].傳感器與微系統(tǒng)，2019，38（9）：150-152.

[2] 張偉奎，錢濤，余長江，等.基于視覺注意模型的輸電線路違規(guī)檢測方法研究 [J].電視技術(shù)，2018，42（10）：8-11+24.

[3] 楊利波，楊嘉妮，賀學(xué)敏.基于YOLO目標(biāo)檢測算法的輸電線路檢測 [J].電力信息與通信技術(shù)，2022，20（8）：99-105.

[4] 朱凱，姜文東，方玉群，等.基于改進(jìn)Hough變換的輸電線路帶電作業(yè)機(jī)器人檢測方法 [J].制造業(yè)自動(dòng)化，2022，44（6）：186-189+203.

[5] 萬迪明，張杰，郭祥富.一種基于視覺顯著性分析的輸電線路異物檢測方法 [J].電視技術(shù)，2018，42（1）：106-110.

[6] 鄭騰龍.基于深度學(xué)習(xí)的無人機(jī)電力巡檢障礙物目標(biāo)檢測與避障系統(tǒng) [D].天津：天津工業(yè)大學(xué)，2021.

[7] 汪慧晨，周穎，徐瑞雪，等.智能巡檢無人機(jī)在新能源領(lǐng)域中的應(yīng)用 [J].科技與創(chuàng)新，2023（3）：162-164.

[8] SHAMSUZZAMAN J M .YOLObin： Non-Decomposable Garbage Identification and Classification Based on YOLOv7 [J].電腦和通信：英文，2022，10（10）：104-121.

[9] SUN K X ，CONG C . Research On Chest Abnormality Detection Based On Improved YOLOv7 Algorithm [C]//2022 IEEE International Conference on Bioinformatics and Biomedicine （BIBM）. Las Vegas：IEEE，2022：3884-3886.

[10] 陳楊山，張傳慶，趙曙光，等.基于YOLOv7-Tiny的交通標(biāo)識檢測算法研究 [J].計(jì)算機(jī)科學(xué)與應(yīng)用，2023，13（4）：737-744.

[11] KARBOWIAK D，POWA?A G. Porównanie dwóch modeli wymiany danych w sieci ELAN [J].Studia Informatica，2014，35（3）：29-38.

作者簡介：孫仝（1985—），男，漢族，吉林吉林人，中級工程師，碩士研究生，研究方向：輸電線路智能巡檢技術(shù)；通訊作者：范亮（1985—），男，漢族，河南安陽人，高級工程師，碩士研究生，研究方向：視覺算法的目標(biāo)檢測。