基于深度學習的配電網(wǎng)線路設(shè)備缺陷智能檢測

李晨曦，邵蒙悅，馮 杰

（1.國網(wǎng)浙江溫嶺市供電有限公司，浙江 溫嶺 317500；2.浙江理工大學，杭州 310018）

0 引言

目前無人機巡檢[1]廣泛應用于配電網(wǎng)線路巡檢。然而，隨著作業(yè)量的快速上升，無人機巡檢面臨更高的挑戰(zhàn)。配電網(wǎng)線路巡檢往往以丘陵山地為主，環(huán)境復雜、地勢起伏，無人機巡檢過程中需要與巡檢線路保持一定的高度和距離，才能確保采集視頻的標準性、規(guī)范性，因此對無人機操控人員提出了較高要求。而且，設(shè)備缺陷識別無法在現(xiàn)場實時開展，需要由無人機將視頻導入電腦，由后臺人員逐幀識別。線路缺陷的識別效率低，耗時久，視頻分析也要求人員具備豐富的巡檢經(jīng)驗。所以基于深度學習方法的電桿檢測與瓷瓶缺陷識別具有重要意義。

在過去的研究中，針對類似的目標檢測問題，張征凱和齊浪[2]使用以ResNet50 為基礎(chǔ)的Faster R-CNN 網(wǎng)絡結(jié)構(gòu)對螺紋孔進行檢測，使得很小的螺紋孔也可以被有效地檢測出來。陳為和梁晨紅[3]針對航空發(fā)動機檢測的目標小、難度大等問題，使用改進的SSD（單激發(fā)多盒探測器）模型識別凸臺缺陷，但其沒有解決外部環(huán)境（如光線等）對數(shù)據(jù)集的影響，因此準確率不高。張勤[4]等使用YOLOv3 網(wǎng)絡結(jié)構(gòu)檢測秧苗列中心線，該模型主干網(wǎng)絡借鑒ResNet 網(wǎng)絡結(jié)構(gòu)，并使用自適應聚類調(diào)整網(wǎng)絡得到同列秧苗的檢測框，最后達到91.47%的準確率。以上使用的網(wǎng)絡模型大部分有ResNet 殘差網(wǎng)絡結(jié)構(gòu)的影子，可見ResNet 結(jié)構(gòu)在目標檢測中起到重要作用，且上述模型都是檢測單尺度目標。

本文基于普遍采用的ResNet101 網(wǎng)絡搭建出雙尺度模型對目標進行檢測，相比以往只檢測一種尺度物體的目標檢測算法，本算法不僅可以檢測大物體（比如電線桿），也可以檢測小物體（比如瓷瓶），并且融合缺陷檢測算法，對所標記出來的瓷瓶進行缺陷檢測。本文提出的缺陷檢測算法，從可見光、紅外圖像、精細化3 個方面進行研究，解決了外部環(huán)境影響數(shù)據(jù)集的問題，大大提高了缺陷檢測的準確率。

1 研究數(shù)據(jù)集介紹

1.1 數(shù)據(jù)來源

本研究采用的數(shù)據(jù)來源于浙江省某電力公司。在已有素材中選取了視頻圖像數(shù)據(jù)236 GB，將數(shù)據(jù)按照多樣化場景分類后（包括城市、山林、沿海等場景）進行算法實現(xiàn)和訓練。如此，可使算法魯棒性更強。

1.2 數(shù)據(jù)預處理

數(shù)據(jù)預處理主要包括對圖像數(shù)據(jù)的標注、數(shù)據(jù)增廣等工作。

（1）數(shù)據(jù)標注。為實現(xiàn)高效利用視頻數(shù)據(jù)，本研究通過該電力公司自研的數(shù)據(jù)協(xié)同標注平臺，對每段視頻進行圖片截取，并對有效目標進行標注，共生成圖片近1 萬張，其界面如圖1 所示。標注目標包括鐵塔、水泥桿、鋼管桿等各類電桿，以及針式瓷瓶、絕緣子等桿上設(shè)備?？紤]到實際環(huán)境中，配電線路周邊可能存在0.4 kV 電桿、通信桿等桿塔，因此在標注過程中為各類桿塔進行單獨標注，從而確保模型可以對不同類型的桿塔進行區(qū)分，有效剔除無關(guān)桿塔對模型識別的干擾。

該標注平臺將標注好的數(shù)據(jù)信息轉(zhuǎn)化為coco數(shù)據(jù)集格式，方便后續(xù)的網(wǎng)絡訓練。

此外，如圖2 所示，本研究對飛行過程中發(fā)現(xiàn)的1 萬多張缺陷素材也進行標注，缺陷種類主要包括：瓷瓶扎線不規(guī)范、瓷瓶缺失、瓷瓶破損、電桿爬藤、設(shè)備發(fā)熱等。其中，檢測的瓷瓶類型分為R12.5 型針式瓷瓶和U70B 型懸式瓷瓶兩類，瓷瓶缺陷統(tǒng)計如表1 所示。

圖1 視頻標注界面

圖2 巡檢素材示例

表1 瓷瓶缺陷素材統(tǒng)計

（2）數(shù)據(jù)增廣[5]。為提升檢測和識別準確度，適應各種不同環(huán)境（光照、角度等），對已標注數(shù)據(jù)進行后續(xù)處理，包括隨機裁剪、隨機色度變化、隨機角度變換等，使訓練數(shù)據(jù)圖像從1 萬張左右擴充為10 萬張。數(shù)據(jù)增廣后的圖像如圖3—5 所示。

圖3 隨機裁剪圖像示例

圖4 隨機色度變化圖像示例

2 基于殘差雙尺度檢測器的巡檢目標智能檢測算法

飛行過程中，為實現(xiàn)無人機線路通道飛行和精細化拍攝，需要同時識別水泥桿和瓷瓶等兩大類目標（如圖6 所示）。其中，識別出來的桿塔主要用于無人機飛行路線的自主調(diào)整，而瓷瓶等小尺寸目標的識別則用于無人機的近景檢測和缺陷識別。

由于識別目標尺寸差異比較大，常規(guī)算法（如CNN 神經(jīng)網(wǎng)絡等）檢測效果相對較差。為了更好地識別不同尺寸的目標，在基于深度學習目標檢測算法的基礎(chǔ)上，采用基于殘差雙尺度檢測器算法模型，以便更加準確地檢測出不同尺寸的目標。提出算法的具體檢測流程如圖7 所示。

圖5 隨機角度變換圖像示例

圖6 標記示例

2.1 殘差雙尺度檢測器網(wǎng)絡模型結(jié)構(gòu)

本模型主要由骨干網(wǎng)絡、微調(diào)模塊和邊界框橋梁模塊組成，基礎(chǔ)網(wǎng)絡框架如圖8 所示。

模型前端骨干網(wǎng)絡部分采用基本的ResNet101殘差網(wǎng)絡模型[6-7]，并采用金字塔架構(gòu)分別提取出不同尺寸維度的特征（s8，s16，s32，s64）。不同尺寸的特征對應不同的檢測器，通過微調(diào)模塊對檢測位置進行微調(diào)，最后將2 個檢測器的結(jié)果進行融合，通過邊界框橋梁模塊得到最終的雙尺度檢測結(jié)果。

圖7 巡檢目標智能檢測算法流程

圖8 殘差雙尺度檢測器模型基礎(chǔ)架構(gòu)

2.2 骨干網(wǎng)絡結(jié)構(gòu)

骨干網(wǎng)絡用于提取數(shù)據(jù)集不同尺寸維度的特征。核心是殘差網(wǎng)絡。

殘差網(wǎng)絡由一系列的殘差單元組成，每個殘差單元由殘差映射和直接映射兩部分組成，其結(jié)構(gòu)如圖9 所示，每個殘差單元的計算公式為：

式中：x 是輸入；w 是權(quán)重；y 是輸出。直接映射便是x，殘差映射為F（x，w）。F 表示對x 進行殘差映射操作。

殘差映射是x 經(jīng)過一層3×3 的卷積層后，使用Relu 激活函數(shù)，見公式（2），最后再經(jīng)過一層3×3 的卷積層。殘差映射得到的結(jié)果與直接映射相加，得到最后的y 值。

圖9 殘差單元結(jié)構(gòu)

2.3 微調(diào)模塊結(jié)構(gòu)

微調(diào)模塊用于對檢測目標得到的邊框進行微調(diào)。微調(diào)模塊與殘差結(jié)構(gòu)類似，也有直接映射，模塊結(jié)構(gòu)見圖10。

圖10 微調(diào)模塊結(jié)構(gòu)

計算公式為：

直接映射便是x；R（x，w）表示x 經(jīng)過卷積層，反卷積層。最后使用sigmoid 激活函數(shù)，見公式（4）。與殘差網(wǎng)絡不同的是，R（x，w）得到的結(jié)果與直接映射x 相乘，得到最終結(jié)果y。

2.4 邊界框橋梁模塊結(jié)構(gòu)

邊界框橋梁模塊將2 個微調(diào)模塊得到的結(jié)果融合，得到最終的邊界框信息，在圖片中準確框出電線桿和瓷瓶的位置。其結(jié)構(gòu)見圖11，計算公式為：

圖11 邊界框橋梁模塊結(jié)構(gòu)

式中：x1表示微調(diào)模塊1 得到的結(jié)果；x2代表微調(diào)模塊2 得到的結(jié)果。B（x，w）是x1經(jīng)過2 個1×1的卷積層，使用Relu 激活函數(shù)，得到的結(jié)果與x2相加，得到最終的輸出。

3 基于多光譜設(shè)備的缺陷檢測算法

無人機可搭載高靈敏度熱成像相機，將熱成像與4K 可見光傳感器結(jié)合，可以從更多維度獲取巡線場景信息，進而取得多種設(shè)備缺陷輔助識別能力。目前已實現(xiàn)瓷瓶缺失、扎線綁扎不規(guī)范、設(shè)備異常發(fā)熱、電桿爬藤等缺陷輔助檢測功能。其算法流程如圖12 所示。

圖12 缺陷檢測整體算法流程

3.1 可見光缺陷檢測

該算法使用的是MobileNetV2 模型[8-9]，該模型的結(jié)構(gòu)如表2 所示，其中：t 為瓶頸層內(nèi)部升維的倍數(shù)；c 為特征的維數(shù)；n 為該瓶頸層重復的次數(shù)；s 為瓶頸層第一個conv 的步幅。

MobileNetV2 模型由conv2d 卷積層、bottleneck 模塊、平均池化層組成。該模型使用的激活函數(shù)為Rule6。

表2 MobileNetV2 模型結(jié)構(gòu)

Bottleneck 模塊由expand 層、Dwise 層和pointwise 層組成。

Expand 為1×1 的卷積層對數(shù)據(jù)進行升維處理；Dwise 層由3×3 卷積層、BatchNorm 層（歸一化的作用）組成，使用的激活函數(shù)為Rule6；pointwise層為1×1 的卷積層對數(shù)據(jù)進行降維。

除此之外，Bottleneck 模塊還有捷徑分支，與上面殘差結(jié)構(gòu)的直接映射類似，當s=1 且輸入維度等于輸出維度時，便有捷徑分支，其他情況都不存在該分支。而輸入和輸出的大小為表2 中，輸入列“×”后面的數(shù)值。

3.2 紅外圖像缺陷檢測

由于紅外圖像分辨率不高并存在一定噪聲，首先進行灰度化和去噪濾波，之后根據(jù)亮度值對一定閾值以上的部分（該閾值根據(jù)效果自行調(diào)整）采用膨脹連通域融合等操作，獲取矩形注意力區(qū)域進行重點分析，然后采用Densecut 無監(jiān)督區(qū)域分割算法提取出重點溫度提取點，再對這些點的溫度值進行加權(quán)平滑處理，最后將超過一定溫度閾值的可疑異常區(qū)域上報。

3.3 精細化檢測

在檢測到電桿等目標后，機載AI 算法自主決策控制飛行姿態(tài)與云臺參數(shù)，當無人機接近高壓電桿斜上方45°時懸停，自動調(diào)節(jié)攝像頭焦距，對電桿或塔架上的瓷瓶等關(guān)鍵目標進行細節(jié)檢測。同時人工控制無人機繞塔飛行，從不同角度對細節(jié)進行觀測，從而實現(xiàn)精細化檢測。

在精細化檢測中，算法將自發(fā)對檢測的瓷瓶等關(guān)鍵目標進行以下操作：計數(shù)和缺陷分類；對可疑場景進行標記；回傳給工作人員進行確認。

經(jīng)研究表明，該操作可以有效提高缺陷排查的工作效率。

4 研究結(jié)果分析

4.1 基于殘差雙尺度檢測器的巡檢目標智能檢測算法性能分析

在檢測網(wǎng)絡部分，主要采用了殘差網(wǎng)絡結(jié)構(gòu)。檢測主網(wǎng)絡有101 層，可以充分提取圖像中不同分辨率的細節(jié)特征，訓練采用Adam 算法[10]進行優(yōu)化迭代，自適應調(diào)整學習率，共迭代30 000個epoch 后網(wǎng)絡達到穩(wěn)定。本模型采用單階段目標檢測方案，相較于傳統(tǒng)的雙階段目標檢測方案（例如Faster R-CNN[11-12]等），運行速度更快，更加適合在終端資源受限設(shè)備中運行。通過與其他算法的比對如表3 所示，可以看到在精度和速度方面，本模型都具有非常大的優(yōu)勢，適合本應用場景。

表3 不同目標檢測算法性能對比

本算法模型目前仍在根據(jù)無人機飛行數(shù)據(jù)反饋不斷更新改進，不但能使更多的桿塔被檢測到，也可以動態(tài)調(diào)整桿塔識別置信度閾值，保障桿塔不漏報，對瓷瓶和電線桿的識別準確率高達99%。

4.2 基于多光譜設(shè)備的缺陷檢測算法效果

缺陷檢測算法從可見光、紅外線以及精細化檢測三方面入手，主要使用的是MobileNetV2 網(wǎng)絡結(jié)構(gòu)。通過實驗發(fā)現(xiàn)，以瓷瓶缺失檢測為例，在分離出瓷瓶、橫擔等子圖像后，通過MobileNetV2 網(wǎng)絡對缺陷進行分類識別。MobileNetV2網(wǎng)絡迭代2 000 個周期后得到分類模型。算法對瓷瓶檢測結(jié)果進行計數(shù)分析，由于可能存在遮擋情況，所以需要綜合各個角度的檢測結(jié)果進行統(tǒng)計，發(fā)現(xiàn)不足一定數(shù)量瓷瓶后將結(jié)果上報，大大提高了瓷瓶缺陷檢測的準確性。缺陷檢測算法的檢測效果如圖13 所示。

圖13 缺陷檢測

最后對2 321 張圖片（正常1 345 張，缺陷976張）進行檢測，檢測報告正常瓷瓶1 232 張，缺陷1 089 張，檢測準確度達到95.1%。

5 結(jié)語

針對人工利用無人機巡檢耗時耗力、檢測難度大等問題，提出基于殘差雙尺度檢測器的巡檢目標智能檢測算法和基于多光譜設(shè)備的缺陷檢測算法，并應用基于殘差雙尺度檢測器的巡檢目標智能檢測算法，對電線桿和瓷瓶進行定位，使用基于多光譜設(shè)備的缺陷檢測算法對電線桿上的瓷瓶進行缺點檢測。研究結(jié)果表明，在對電線桿的目標檢測中，本算法可高達99%的準確率，而對瓷瓶缺陷的檢測準確率可達到95.1%。

本文將兩大算法融合，結(jié)合機載處理器實現(xiàn)高效、快速、安全地作業(yè)，達到配電網(wǎng)無人機自動作業(yè)的巡檢效果。