一種瓷支柱絕緣子紅外圖像目標(biāo)檢測算法

周陽洋，胡俊華，徐 華，尹駿剛，李慶明，吳慧玲

（1. 國網(wǎng)浙江省電力有限公司，杭州 310007；2. 湖南大學(xué) 電氣與信息工程學(xué)院，長沙 410082；3. 湖南湖大華龍電氣與信息技術(shù)有限公司，長沙 410205）

0 引言

支柱絕緣子作為絕緣控件，被廣泛應(yīng)用于變電站中。由于支柱絕緣子暴露在室外復(fù)雜環(huán)境下長期運行，受到機械載荷、浮塵、冰雹、酸雨、震動等多種復(fù)雜因素的影響，其機械性能與絕緣性能會逐漸下降，進而產(chǎn)生缺陷［1-3］。缺陷支柱瓷絕緣子無法承受正常的機電負載，會導(dǎo)致異常發(fā)熱、局部放電等現(xiàn)象，甚至出現(xiàn)斷裂事故，對電力系統(tǒng)安全穩(wěn)定運行產(chǎn)生嚴重威脅［4-5］。

目前，瓷支柱絕緣子故障檢測方法包括超聲波、振動聲學(xué)、可見光、紅外檢測等，其中，支柱絕緣子紅外檢測技術(shù)分為紅外熱波法和紅外熱像法兩類。王黎明等［6］提出一種基于紅外熱波技術(shù)的支柱瓷絕緣子無損檢測方法，利于閃光燈對支柱絕緣子施加高能光脈沖，通過分析紅外熱像儀采集的紅外熱圖序列識別缺陷支柱絕緣子。紅外熱像法應(yīng)用于懸式絕緣子劣化檢測的時間相對較早，研究人員在邊緣檢測、目標(biāo)分割、特征提取、智能識別等方面開展了大量研究，取得了較好的實用化效果［7-9］。楊高坤［10］提出一種基于YOLOv4的電力設(shè)備紅外圖像故障診斷算法，平均精度與檢測速度分別達到了91.23%和69.1幀/s。段中興等［11］針對電力設(shè)備紅外圖像存在的圖像視覺效果差、尺度差異性大、數(shù)據(jù)類別不平衡等問題，提出了一種基于改進YOLOv4 的目標(biāo)檢測模型，所提方法對8 類電力設(shè)備的平均識別精度達96.31%，檢測速度達71幀/s。顧星等［12］針對紅外場景中目標(biāo)檢測精度低、實行性差的問題，提出一種基于注意力機制的紅外目標(biāo)檢測方法，檢測精度和速度有了顯著提高。劉冬等［13］針對地面復(fù)雜場景下，紅外目標(biāo)檢測準(zhǔn)確率低、網(wǎng)絡(luò)模型過大難以應(yīng)用于移動或嵌入式平臺等問題，提出一種輕量級紅外實時目標(biāo)檢測模型MCA-YOLO。王媛彬等［14］提出一種基于輕量骨干網(wǎng)絡(luò)和注意結(jié)構(gòu)的變電設(shè)備紅外圖像識別算法，通過在YOLOv5 骨干網(wǎng)絡(luò)中引入Ghost 卷積，實現(xiàn)網(wǎng)絡(luò)輕量化，使得整體識別精度達到93.80%，檢測速度達到了90.9 幀/s。劉國特等［15］提出了一種基于改進級聯(lián)Gentle Adaboost（G-Adaboost）的支柱絕緣子紅外圖像AI 識別算法，將支柱絕緣子作為正標(biāo)簽，其他作為負標(biāo)簽，利于Haar-like 進行特征提取，通過改進弱分類器和權(quán)值更新規(guī)則，提高精度和減少檢測時間，并將其串聯(lián)，得到的模型對多目標(biāo)檢測精度達到了93.90%。

總的來說，目前針對支柱絕緣子紅外熱像目標(biāo)檢測模型的研究較少。隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，其卓越性能遠超經(jīng)典算法，圖像檢測精度大幅提高。本文提出一種瓷支柱絕緣子紅外圖像輕量級目標(biāo)檢測算法，通過改進YOLOv7 訓(xùn)練一種針對瓷支柱絕緣子的輕量級目標(biāo)檢測模型，將普通卷積核替換為膨脹卷積核，使用DMobilenet 替換主干網(wǎng)絡(luò)ELANCSP，實現(xiàn)紅外圖像多目標(biāo)快速檢測和精準(zhǔn)定位。

1 目標(biāo)檢測模型結(jié)構(gòu)

1.1 主干網(wǎng)絡(luò)替換

YOLO 目標(biāo)識別定位算法，開創(chuàng)性地將候選區(qū)與對象識別兩個階段變成一個階段，極大地提高了檢測速度，在目標(biāo)識別領(lǐng)域被廣泛使用。當(dāng)前的YOLOv7結(jié)構(gòu)主要分為主干網(wǎng)絡(luò)ELANCSP、加強特征提取的SPPCSPC（空間金字塔池化）及PANet預(yù)測網(wǎng)絡(luò)。本文使用D-Mobilenet網(wǎng)絡(luò)替換ELANCSP網(wǎng)絡(luò)，如圖1所示。

圖1 YOLOv7模型網(wǎng)絡(luò)結(jié)構(gòu)替換Fig.1 Network structure replacement of YOLOv7 model

1.2 膨脹-深度可分離卷積

膨脹卷積通過給卷積核增加間隙來變相地增大感受野。如果每兩個相鄰元素之間有D-1 個空洞，則卷積核的有效大小可表示為：

式中：K為膨脹卷積核實際尺寸；k為標(biāo)準(zhǔn)卷積核尺寸；D為膨脹率，當(dāng)D=1時卷積核為標(biāo)準(zhǔn)的卷積核。

該卷積增加感受野同時不增加參數(shù)量，利于提取更深層次的特征，本文提出一種類似Mobilenetv2的輕量級神經(jīng)網(wǎng)絡(luò)，在深度可分離卷積層中加入膨脹卷積核。DDSC（膨脹-深度可分離卷積）結(jié)構(gòu)如圖2所示，通過逐點卷積將深度卷積輸出的無關(guān)特征圖融合。

圖2 膨脹-深度可分離卷積結(jié)構(gòu)Fig.2 Structures of dilated convolution and depthwise separable convolution

根據(jù)式（2）得標(biāo)準(zhǔn)卷積計算量：

根據(jù)式（3）得深度卷積的計算量：

根據(jù)式（4）得逐點卷積的計算量：

式中：Gc為標(biāo)準(zhǔn)卷積計算量；Gf為標(biāo)準(zhǔn)卷積后特征圖邊長；Gk為標(biāo)準(zhǔn)卷積核邊長；I為輸入通道數(shù)；O為輸出通道數(shù)；Dc為深度卷積計算量；Df為膨脹卷積后特征圖邊長；Dk為膨脹卷積核有效參數(shù)邊長；Pc為逐點卷積計算量。

輸入6×6×3 的特征圖，padding（填充）、stride（步幅）分別為1，卷積核為3×3（膨脹卷積核5×5），輸出6×6×4 的特征圖。普通卷積參數(shù)為108（3×3×3×4，卷積核大小×輸入通道數(shù)×輸出通道數(shù)），計算量為3 888（6×6×108，卷積核移動次數(shù)×普通卷積參數(shù)）。膨脹-深度可分離卷積參數(shù)為39（3×3×3+3×4，膨脹卷積核有效大小×輸入通道數(shù)+輸入通道數(shù)×輸出通道數(shù)），計算量為624（4×4×39，膨脹卷積核移動次數(shù)×膨脹-深度可分離卷積參數(shù)）。與普通卷積相比，DDSC的參數(shù)量與計算量明顯減少。

本文提出D-Mobilenet網(wǎng)絡(luò)，由于在檢測過程中使用膨脹卷積，會丟失部分圖像連續(xù)信息，影響對小目標(biāo)的識別。為保持對于小目標(biāo)識別的足夠精度，僅在主干網(wǎng)絡(luò)高層加入了部分膨脹卷積。

1.3 特征金字塔結(jié)構(gòu)

本文特征金字塔的網(wǎng)絡(luò)結(jié)構(gòu)是指網(wǎng)絡(luò)替換后，除去YOLO Head 和D-Mobilenet 外的部分，模型使用SPPCSPC 層，防止圖像拉伸和裁剪過程中，由于輸入圖像尺寸不一致，導(dǎo)致圖像失真的現(xiàn)象。SPPCSPC層結(jié)構(gòu)如圖3所示。

圖3 SPPCSPC結(jié)構(gòu)Fig.3 Structure of SPPCSPC

使用大小不同的池化核（無處理、5×5、9×9和13×13）對D-Mobilenet 主干網(wǎng)絡(luò)的末尾特征層進行最大池化，增加輕量級網(wǎng)絡(luò)的感受野，分離出紅外圖像中的有效特征。PANet（路徑聚合網(wǎng)絡(luò)）結(jié)構(gòu)如圖4所示。

圖4 PANet結(jié)構(gòu)Fig.4 Structure of PANet

其中，Multi_Concat_Block、UpSampling2D、Transition_Block 分別是多重分支堆疊、上采樣、分支堆疊下采樣模塊。由于殘差結(jié)構(gòu)容易優(yōu)化，因此多重分支堆疊中大量使用該結(jié)構(gòu)，同時可以增加網(wǎng)絡(luò)深度來增加精度。但為避免網(wǎng)絡(luò)深度過深造成梯度消失，在殘差塊中使用大量跳躍連接。

1）多重分支堆疊模塊

Left1 使用一個CBS（Conv2d+BN+SiLU，卷積標(biāo)準(zhǔn)化激活函數(shù)），Left2 使用一個CBS，Left3 使用3 個CBS，Left4 使用5 個CBS，將4 個特征層堆疊后再使用一個CBS來特征整合。

2）分支堆疊下采樣模塊

左部分是一個最大池化和一個卷積，右部分是兩個卷積，將兩部分的結(jié)果堆疊輸出。

多重分支堆疊模塊與分支堆疊下采樣模塊如圖5、圖6所示。

圖5 多重分支堆疊模塊結(jié)構(gòu)Fig.5 Structure of multi-branch stacked modules

圖6 分支堆疊下采樣模塊結(jié)構(gòu)Fig.6 Structure of branch-stacked sampling modules

使用FPN（特征金字塔網(wǎng)絡(luò)）的PANet 結(jié)構(gòu)對有效特征層進行特征融合。

1.4 預(yù)測框機制

本文的輕量級網(wǎng)絡(luò)模型在對紅外圖像多目標(biāo)檢測時，首先是在多尺度特征圖的中間層、中下層和底層上提取3個有效特征層。它們的shape（形狀）分別是（80，80，512）（40，40，1 024）（20，20，1 024）。輸出層的shape 分別是（20，20，18）（40，40，18）（80，80，18），輸出層shape的最后一維度為18，是因為支柱瓷絕緣子代表1個類，再加上4個調(diào)整參數(shù)（x_offset 和y_offset 代表x和y坐標(biāo)偏移量，h和w代表框的高和寬）和置信度1，就有最后的維度3×（1+5）=18。

表1 先驗框與真實框比值結(jié)果Table 1 Ratios of prior bounding box to ground truth box

YOLOv7 的9 個先驗框分別為［12，16］、［19，36］、［40，28］、［36，75］、［76，55］、［72，146］、［142，110］、［192，243］和［459，401］。假設(shè)真實框為［200，200］，設(shè)定閾值為4，比較結(jié)果比值如表1所示。

取表1 每行的最大比值，獲得下述矩陣：［16.66666667，10.52631579，7.14285714，5.55555556，3.63636364，2.77777778，1.81818182，1.215，2.295］

由上可知，矩陣中比值小于4的有5個，在其分別對應(yīng)的不同尺寸先驗框中，［76，55］、［72，146］屬于40×40，［142，110］、［192，243］和［459，401］屬于20×20，此時的先驗框可用作真實框的預(yù)測。

YOLOv7的Loss（損失）由3個部分組成：

1）通過真實框獲取對應(yīng)先驗框的預(yù)測框，用真實框和預(yù)測框計算損失，如式（5）所示。

式中：RCIOU為完整交并比；RIOU為交并比；k為預(yù)測框中心；kt為真實框中心；ρ2（k，kt）為兩個中心歐式距離；c為兩框最小閉包區(qū)域?qū)蔷€距離；α為v的影響因子；v為預(yù)測框。真實框?qū)捀弑认嗨贫扔墒剑?）、式（7）得出。

式中：ht和wt分別為真實框的高和寬。

2）把真實框?qū)?yīng)先驗框看為正樣本，其余的看作負樣本，根據(jù)樣本和特征點預(yù)測位置是否包含目標(biāo)計算交叉熵損失。

3）獲取真實框和預(yù)測框的種類預(yù)測結(jié)果，計算預(yù)測結(jié)果交叉熵損失。

2 數(shù)據(jù)增強

2.1 紅外圖像數(shù)據(jù)集

本文實驗采用某變電站支柱瓷絕緣子的紅外圖像（共計450 張）作為模型訓(xùn)練樣本，通過SJS（剪切、抖動、縮放）方法將數(shù)據(jù)擴充至650張，并進行標(biāo)注，最后得到約1 300個檢測對象。

2.2 數(shù)據(jù)增廣

SJS方法是對圖像進行仿射變換、縮放，并且進行長和寬的扭曲、旋轉(zhuǎn)、平移，在其多余的地方填充黑條將圖片變得更加多樣。如圖7所示，一張紅外圖像生成了新的4 張圖像，形態(tài)發(fā)生了變化。經(jīng)過這樣處理的圖像，可以增強神經(jīng)網(wǎng)絡(luò)魯棒性，有利于網(wǎng)絡(luò)對小目標(biāo)的識別，提高了識別精度。

圖7 紅外圖像增廣Fig.7 Infrared image augmentation

Mosaic 數(shù)據(jù)增強是隨機對4 張不同紅外圖像分別使用仿射變換、翻轉(zhuǎn)、放縮等技巧，并且貼合進行擺放，最后將4張新圖片拼接為一張可用作訓(xùn)練的新圖像，如圖8所示。

圖8 Mosaic數(shù)據(jù)增強效果Fig.8 Mosaic data enhancement effect

這樣在進行BN（批歸一化）過程中，會有4個目標(biāo)紅外圖像的信息。使用Labelimg 手動標(biāo)注上述紅外圖像目標(biāo)并自動保存xml 文件，其中包括框的坐標(biāo)信息Xmin、Ymin、Xmax、Ymax以及框內(nèi)檢測對象類名稱，將標(biāo)注好的xml 文件和支柱瓷絕緣子的紅外圖像轉(zhuǎn)化為標(biāo)準(zhǔn)格式的Pascal VOC 數(shù)據(jù)集。

3 實驗結(jié)果及分析

3.1 實驗環(huán)境與實驗流程

實驗環(huán)境：在Windows10 64 位操作系統(tǒng)中采用PyTorch 框架搭建網(wǎng)絡(luò)，GPU：NVIDIA Ge-Force RTX 2080Ti。CPU：Intel Core i5-11600KF@3.90GHz。

本文的輕量級模型為減少參數(shù)量、增加輸出單元的感受野，提出D-Mobilenet 主干網(wǎng)絡(luò)結(jié)構(gòu)，并且替換YOLOv7 中的ELANCSP，提取3 種不同尺度的有效特征層。通過SJS 方法進行數(shù)據(jù)擴充，運用K-means 聚類方法確定先驗框的個數(shù)與尺度，將用于訓(xùn)練的紅外圖像全部設(shè)置為640×640大小。

在遷移學(xué)習(xí)中設(shè)置多階段訓(xùn)練方式，將Pascal VOC權(quán)重參數(shù)遷移過來作為初始權(quán)重，可以加快網(wǎng)絡(luò)收斂，減少訓(xùn)練時間。在前50 輪凍結(jié)訓(xùn)練中，將學(xué)習(xí)率設(shè)置為1×e4，后250 輪訓(xùn)練中，學(xué)習(xí)率設(shè)置為上限1×e6、下限1×e7，使用余弦退火技巧調(diào)整學(xué)習(xí)率，避免陷入局部最優(yōu)解。在訓(xùn)練過程中同時使用Mosaic 數(shù)據(jù)增強來提高網(wǎng)絡(luò)的訓(xùn)練效果。利用訓(xùn)練好的模型對目標(biāo)進行檢測時，采用非極大抑制對檢測產(chǎn)生的有效邊框進行篩選，不斷重復(fù)操作，保留最后的框。最后構(gòu)建基于YOLOv4、YOLOv5、YOLOv7、G-Adaboost 算法的輸電線路目標(biāo)檢測模型與本文算法的輕量級目標(biāo)檢測模型進行性能比較。

3.2 評價準(zhǔn)則

本文用mAP（平均精度均值）、模型內(nèi)存大小和FPS（每秒幀率）作為模型性能判斷依據(jù)，計算公式為：

式中：APi為檢測單個目標(biāo)的精度；N為目標(biāo)個數(shù)；NS為檢測圖片總時間；WmAP和WFPS分別為mAP和FPS的計算值。

3.3 消融實驗

在輸入圖像分辨率為640×640 條件下，對測試集圖像進行YOLOv7 與兩種改進模型的消融實驗。由表2 可見，VOLOv7 骨干網(wǎng)絡(luò)替換為MobileNet 后，與原網(wǎng)絡(luò)相比，精準(zhǔn)度雖下降0.6%，但模型體積減少61%，檢測速度提升9.1%。進一步地，在MobileNet加入膨脹卷積核后，相比原網(wǎng)絡(luò)，精準(zhǔn)度雖降低0.2%，但模型體積減少67.5%，檢測速度提升了18.4%。由此可見，D-MobileNet更具實時檢測的優(yōu)越性。

表2 YOLOv7與改進模型的消融實驗研究Table 2 Study of ablation experiment of YOLOv7 and the improved model

3.4 模型檢測效果

為驗證本文輕量級模型可用性，因此訓(xùn)練YOLOv4、YOLOv5、YOLOv7、G-Adaboost 算法的紅外圖像目標(biāo)檢測模型，從保存的權(quán)重文件選取損失最低的進行檢測性能對比，如表3 所示?？芍疚乃惴ǖ膍AP 高于YOLOv4、YOLOv5、G-Adaboost。與YOLOv4 相比，YOLOv7 減少75%的參數(shù)，36%計算量，AP 增加1.5%，完全滿足支柱瓷絕緣子紅外圖像識別的需求。值得關(guān)注的重點是，本文提出的輕量級模型大小只有51.1MB，但又保持了較高的精度，可以滿足移動端或嵌入式設(shè)備上部署的條件。

表3 不同算法模型的性能對比Table 3 Performance comparison of different algorithmic models

將本實驗算法與YOLOv4、YOLOv5、YOLOv7 以及G-Adaboost 檢測算法的識別效果進行比較。如圖9 所示。本文所提出的輕量級算法模型，檢測速度更快、精度更高，能夠快速、準(zhǔn)確地識別出目標(biāo)，預(yù)測框更貼合檢測對象，用低于YOLOv7模型0.2%的識別準(zhǔn)確率換取了18.4%的檢測速度提升。

圖9 檢測效果對比Fig.9 Comparison of detection effects

4 結(jié)論

本文提出了一種改進的輕量級目標(biāo)檢測算法，建立了基于瓷支柱瓷絕緣子紅外熱像的目標(biāo)檢測模型。驗證了該算法的有效性和可行性，對比其它算法的檢測效果，得出如下結(jié)論：

1）D-Mobilenet使用DDSC替換普通卷積，大幅減少了計算量和參數(shù)，使得模型更小，并且不影響對小目標(biāo)的檢測和定位。

2）使用SJS 數(shù)據(jù)增廣、Mosaic 數(shù)據(jù)增強、Kmeans聚類、余弦退火衰減等訓(xùn)練技巧，選取各模型最低的權(quán)重文件進行實驗，得出的mAP值達到94.1%。

3）與YOLOv4、YOLOv5 和YOLOv7 算法相比，本文算法的魯棒性和泛化能力更強，且模型更為輕量化，有利于運維人員快速掌握瓷支柱絕緣子運行狀態(tài)，為設(shè)備故障紅外診斷提供有力技術(shù)支撐。