多源信息融合的設(shè)備熱缺陷智能實時檢測方法

趙 銳，周雪楓

(國網(wǎng)大同供電公司，山西 大同 037008)

1 引言

變電站設(shè)備在長期受高壓、高溫工作狀態(tài)后，設(shè)備部件會因破損、氧化腐蝕等原因?qū)е铝踊蜻^熱運行[1]，甚至造成重大事故，因此定期對設(shè)備進(jìn)行巡檢是有必要的。紅外技術(shù)因其速度快、精度高、非接觸性而被廣泛應(yīng)用于變電站設(shè)備的熱缺陷診斷[2]。通常是技術(shù)人員利用手持式紅外熱像儀巡查，或進(jìn)行后續(xù)的人工或計算機識別，診斷效率較低。

隨著人工智能技術(shù)發(fā)展，基于紅外圖像的變電站設(shè)備缺陷智能評估成為可能。Ahmed.M M[3]等提出了多層感知網(wǎng)絡(luò)模型，對電氣設(shè)備紅外熱像進(jìn)行熱缺陷智能預(yù)測和診斷。李文璞[4]等提出基于Faster RCNN算法對變電設(shè)備的缺陷識別。更多研究者針對熱缺陷檢測的實時性進(jìn)行研究。

王彥博[5]等提出改進(jìn)SSD算法，對熱像圖中的設(shè)備進(jìn)行熱缺陷檢測。武建華[6]等人提出基于YOLOv3算法的絕緣子紅外圖像缺陷檢測方法?；诖?，卷積神經(jīng)網(wǎng)絡(luò)具有自動識別紅外圖像缺陷的能力[7]，但當(dāng)前紅外成像技術(shù)發(fā)展水不敏感，對圖像設(shè)備類型識別準(zhǔn)確率不高。

近年來，研究者提出將可見光和紅外圖像融合并應(yīng)用于電力設(shè)備熱缺陷診斷。Bushra Jalil[8]等集成紅外與可見光圖像來檢測電力線熱點。曹培[9]等提出基于多光源圖像決策級融合的絕緣子污穢狀態(tài)診斷方法。但上述文獻(xiàn)只針對一類或少類的設(shè)備進(jìn)行研究，在多目標(biāo)設(shè)備檢測方面，孫海銘[10]等基于Mask R-CNN算法對可見光圖像識別，并結(jié)合紅外測溫技術(shù)對電力設(shè)備進(jìn)行智能監(jiān)測。Jin Yilin[11]等提出基于CNN對可見光圖像進(jìn)行分類，利用深度信任網(wǎng)絡(luò)對融合圖像進(jìn)行缺陷診斷的方法。然而可見光和紅外圖像融合進(jìn)行智能缺陷診斷仍較難滿足實時性需求。

針對以上問題，本文提出綜合利用可見光圖像和熱紅外信息，改進(jìn)的YOLOv4算法實現(xiàn)對可見光圖像中多種設(shè)備識別與定位，并結(jié)合紅外診斷技術(shù)對其主動測溫并進(jìn)行熱缺陷判定，最終提出的多源信息融合的變電站設(shè)備缺陷檢測方法，能夠在不停電、無接觸、無損的情況下實時精確地定位出缺陷的位置及缺陷嚴(yán)重程度，有助于實現(xiàn)電力設(shè)備熱缺陷診斷的智能化和自動化。

2 圖像預(yù)處理

2.1 紅外圖像預(yù)處理

由于采集的部分電力設(shè)備紅外圖像會受到外部環(huán)境因素的干擾，存在不清晰、噪點多等問題，且紅外圖像中的多個設(shè)備之間相互重疊，在一定程度上影響后續(xù)的監(jiān)測結(jié)果，因此首先采用中值濾波對圖像進(jìn)行去噪，然后基于Gamma變換增強設(shè)備部位對比度的同時降低背景的對比度，使目標(biāo)更加明顯，Gamma變換方法如下

S=(I+ξ)γ

(1)

其中，I為輸入的歸一化灰度圖，S為輸出的歸一化灰度圖，ξ為補償系數(shù)，γ為系數(shù)，本文基于實驗對比選擇ξ=0.1且γ=1.5。去噪和增強后的紅外圖像比原始圖像更清晰、對比度更高、設(shè)備細(xì)節(jié)更明顯。結(jié)果如圖1和圖2。

圖1 原圖像 圖2 處理后圖像

2.2 圖像配準(zhǔn)

可見光與紅外圖像配準(zhǔn)是多源信息融合與熱缺陷檢測的基礎(chǔ)。SIFT(Scale-invariant feature transform)描述子，不受視角變化和噪點的干擾，具有不變性和穩(wěn)定性，可在圖像中檢測出關(guān)鍵點。然而可見光圖像與紅外圖像尺度變化在不同方向存在明顯差異，提取到的匹配特征點數(shù)會隨之下降，從而導(dǎo)致配準(zhǔn)可靠性降低。

因此，將粒子群優(yōu)化(Particle swarm optimization，PSO)[12]算法作用于搜索匹配的特征點方法上，利用SIFT算子提取匹配特征點進(jìn)行配準(zhǔn)處理，從而獲得準(zhǔn)確的紅外與可見光圖像的變換關(guān)系。將圖像匹配特征點數(shù)與相似度函數(shù)結(jié)合構(gòu)成適應(yīng)度函數(shù)，其中相似度函數(shù)同時考慮到距離、角度兩個因素，fitness(·)越小，提取的匹配特征點越多，特征向量相似性越大，待匹配圖像與基準(zhǔn)圖像匹配程度越高。適應(yīng)度函數(shù)如下方法：

(2)

(3)

(4)

(5)

其中，u、v分別為待匹配圖像與基準(zhǔn)圖像；N1、N2分別表示u、v提取到的SIFT匹配特征點個數(shù)。對于本文的多源圖像，若直接采用SIFT算子進(jìn)行圖像配準(zhǔn)，最終匹配正確點特征點極少，圖像匹配失??；而粒子群優(yōu)化后的SIFT算子，最終提取到一定數(shù)量的正確匹配特征點，實現(xiàn)可見光圖像與紅外圖像的精準(zhǔn)融合。配準(zhǔn)過程和結(jié)果如圖3。

3 改進(jìn)YOLOv4的電力設(shè)備識別與定位

在對電力設(shè)備進(jìn)行熱缺陷監(jiān)測之前，需利用深度學(xué)習(xí)算法實現(xiàn)設(shè)備的識別與定位。YOLOv4[13]算法在原有YOLOv3[14]的基礎(chǔ)上，結(jié)合現(xiàn)有的技術(shù)進(jìn)行了改進(jìn)[15]，但由于骨干網(wǎng)絡(luò)Cspdarket53結(jié)構(gòu)復(fù)雜，需消耗大量的計算資源，該網(wǎng)絡(luò)模型通常部署在GPU上，對硬件要求極高。本文提出優(yōu)化的YOLOv4算法，減少模型參數(shù)、提升推理速度，使之能夠在邊緣端設(shè)備運行，并增加遮擋目標(biāo)檢測尺度與自適應(yīng)空間特征融合(Adaptively Spatial Feature Fusion，ASFF)模塊，有效地提高物體檢測的準(zhǔn)確率，彌補參數(shù)的減少導(dǎo)致的精度損失。改進(jìn)YOLOv4模型結(jié)構(gòu)如圖4所示，主要由以下四個模塊組成，分別在3.1，3.2，3.3，3.4節(jié)中進(jìn)行闡述。

3.1 GhostNet特征提取網(wǎng)絡(luò)

選擇GhostNet[16]替換CSPDarket53作為骨干網(wǎng)絡(luò)。2020年，華為諾亞方舟實驗室提出GhostNet輕量級網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4，由多個Ghost bottleneck堆疊而成。當(dāng)Stride=1時，Ghost bottleneck由兩個堆疊的Ghost module組成，Ghost module結(jié)構(gòu)如圖5，shortcut負(fù)責(zé)連接輸入和輸出，當(dāng)Stride=2時，在兩個Ghost module間添加深度卷積，使用shortcut連接輸入和輸出。GhostNet作為輕量級網(wǎng)絡(luò)，是由于網(wǎng)絡(luò)中的Ghost module能夠利用線性運算降低卷積層的計算成本，在移動設(shè)備上快速推理的各種任務(wù)上。

圖3 圖像配準(zhǔn)流程與結(jié)果

圖4 改進(jìn)YOLOv4模型結(jié)構(gòu)圖

當(dāng)輸入數(shù)據(jù)X，高度為h和寬度為w，通道數(shù)為c，運用常規(guī)卷積生成的n個卷積層高度為h′，寬度為w′，卷積過程需要的運算量約為h·w·c·n·w′·h′，而Ghost module卷積其步驟可總結(jié)如下：

1)用常規(guī)卷積得到p個特征圖Y′w′×h′×p，如式(6)所示

Y′=X*f

(6)

運算量約為h·w·c·p·w′·h′(忽略偏置項)。其中fc×k×k×p是濾波器，m≤n，*為卷積操作。

2)將Y′w′×h′×p每個通道的特征圖Y′，用一系列輕量線性運算η操作來產(chǎn)生z個Ghost特征圖Yij，如式(7)所示

Yij=ηi，j(Y′i)?i=1，…，p，j=1，…，z

(7)

3)將第一步得到的本征特征圖和第二步得到的Ghost特征圖拼接，得到OutPut。

圖5 Ghost module結(jié)構(gòu)

3.2 PANet模塊

YOLOv4選擇路徑聚合網(wǎng)絡(luò)(Path Aggregation Network，PANet)作為特征融合模塊。而變電站背景復(fù)雜、設(shè)備極易被遮擋，各類型設(shè)備位置密集，為了提高GhostNet對不同大小目標(biāo)的檢測精度，將GhostNet與PANet相結(jié)合，原有的3個尺度擴(kuò)展為4個尺度，并且為了減少參數(shù)量和節(jié)約運算成本，將PANet模塊的普通3x3卷積替換為深度可分離卷積(depthwise separable convolution，DSC)。

以416×416大小的輸入圖像為例進(jìn)行說明。如圖4所示，將特征圖P1依次進(jìn)行1次、2次、3次上采樣，然后分別與相對輸入圖像8倍、4倍、2倍降采樣的特征圖進(jìn)行concat(張量拼接)及5次卷積后，得到特征圖P2、P3、P4，此時P4輸出104×104的極小目標(biāo)檢測征圖，同時P4下采樣與P3融合并經(jīng)過卷積后，輸出52×52的小目標(biāo)檢測特征圖，同時進(jìn)一步下采樣，與P2融合并經(jīng)過5次卷積，得到26×26的中目標(biāo)檢測特征圖，繼續(xù)下采樣與P1融合并經(jīng)過卷積，得到13×13的大目標(biāo)檢測特征圖。此時，得到了具有不同感受野的4個預(yù)測特征圖。

3.3 ASFF模塊

在變電站場景中，電流互感器、電壓互感器、避雷器、套管、絕緣子等設(shè)備類型紋理邊緣等特征信息頗為相似，PANet主要采用concat的融合方式得到的4個尺度特征圖，如果直接進(jìn)入YOLO Head進(jìn)行多類設(shè)備檢測時，在不同尺度之間存在語義鴻溝的問題，并不能充分利用不同尺度的特征，為解決多層間不同特征尺度之間的不一致性問題，添加ASFF模塊，旨在自適應(yīng)找出最合適的融合特征。ASFF過程如下：

1)以第m層特征圖輸出的尺寸大小c×h×w為基準(zhǔn)，對其余特征圖進(jìn)行上下采樣操作，保證待融合的多層特征圖尺寸統(tǒng)一。

2)將得到的4個層級特征圖經(jīng)過1×1×N的卷積操作，N的設(shè)定如下

N=d·(5+nc)

(8)

其中，nc表示設(shè)備類別數(shù)量，d=4表示尺度數(shù)，得到尺寸均為N×h×w的4個空間權(quán)重向量，然后對其進(jìn)行通道方向拼接，輸出大小為4N×h×w的權(quán)重融合圖。

3)對上述特征圖經(jīng)過1×1×4的卷積操作，得到4×h×w的權(quán)重向量。

(9)

(10)

5)將4個向量乘加到4個特征圖上面，得到融合后的c×h×w特征圖。方法如下

(11)

6)最終得到如圖3所示的四個不同尺度的特征圖：ASFF-1，ASFF-2，ASFF-3，ASFF-4。

3.4 YOLO Head預(yù)測模塊

采用K-means算法獲得12個錨點框，將每個圖分成13×13、26×26、52×52、104×104的網(wǎng)格，每個網(wǎng)格需要預(yù)測3個邊界框，并輸出邊界框中是否包含目標(biāo)、邊界框準(zhǔn)確度的置信度以及每個網(wǎng)格預(yù)測屬于nc個類別的概率。對所得邊界框經(jīng)過非極大值抑制篩選，得到最終預(yù)測結(jié)果。

算法的損失函數(shù)Lloss包括邊界框坐標(biāo)預(yù)測誤差、邊界框的置信度誤差以及識別物體所屬類別預(yù)測誤差，即如下方法

Lloss=LcIou+Lcoord+Lcls

(12)

邊界框坐標(biāo)預(yù)測誤差LcIou計算如式(9)所示

(13)

(14)

(15)

(16)

邊界框置信度誤差Lcoord計算方法如下

(17)

分類預(yù)測誤差Lcls計算方法如下

(18)

4 電力設(shè)備熱缺陷診斷

紅外相機與可見光相機相對位置保持不變，因此經(jīng)過圖像配準(zhǔn)后，圖像間建立了一一對應(yīng)的關(guān)系，紅外相機對可見光圖像所識別得設(shè)備區(qū)域進(jìn)行主動測溫，并且通過測溫將被測物體的最高溫度在融合圖像上可視化，依據(jù)DL/T664—2016《帶電設(shè)備紅外診斷應(yīng)用規(guī)范》[17]，針對所識別的不同類型的電力設(shè)備進(jìn)行缺陷診斷，主要通過表面溫度判斷法，同類比較判斷法和相對溫差判斷法將熱缺陷嚴(yán)重程度分為三個等級：一般缺陷，嚴(yán)重缺陷，緊急缺陷。相對溫差方法如下。

(19)

其中t1為熱點溫度；t2為正常對應(yīng)點的溫度；t0為環(huán)境溫度基準(zhǔn)體的溫度；τ是相對溫差。

5 實驗設(shè)計與結(jié)果分析

5.1 實驗環(huán)境

在太原市某220 kV變電站進(jìn)行數(shù)據(jù)采集，數(shù)據(jù)集樣本量為3547，包括絕緣子、套管、互感器、避雷器、變壓器等多種設(shè)備類型，對數(shù)據(jù)按照VOC2007數(shù)據(jù)集格式進(jìn)行標(biāo)注，從總樣本集中按6：2：2比例劃分訓(xùn)練集、驗證集、測試集。

紅外傳感器采用分辨率為384×288的XCore LT系列測溫型非制冷紅外機芯組件，可見光相機采用640×480像素AF自動對高清攝像頭模組，鏡頭25mm。操作系統(tǒng)為Linux ubuntu 16.04 LTS，Intel core i7-6800k CPU，計算機內(nèi)存8GB，采用Pytorch 1.6、CUDA 10.1等環(huán)境搭建模型，使用GeForce GTX 1080顯卡進(jìn)行模型訓(xùn)練等。

模型訓(xùn)練時設(shè)置Batchsize大小為32；初始學(xué)習(xí)率0.01；衰減率設(shè)置為0.0005，epoch為10000，動量momentum為0.9。使用聚類得到12個錨框，大小為(6、20)、(10、59)、(11、32)、(16、48)、(19，89)，(24，148)、(29，44)、(30，75)、(35，105)、(40，195)、(58，264)，(104，224)，將它們均勻分布到四個特征圖中。

5.2 模型檢測結(jié)果分析

模型訓(xùn)練過程的Loss曲線如圖6，橫坐標(biāo)表示模型訓(xùn)練輪數(shù)，縱坐標(biāo)表示對應(yīng)損失值，訓(xùn)練開始時，損失值約為0.9，隨著訓(xùn)練輪次的增加，損失值逐漸減小，在訓(xùn)練8000輪后，損失值穩(wěn)定在0.1左右，達(dá)到較好的訓(xùn)練效果。

圖6 訓(xùn)練過程中的損失變化

改進(jìn)模型對可見光圖像中套管的檢測結(jié)果如圖7所示，該算法對背景復(fù)雜、設(shè)備外觀極為相似、遮擋目標(biāo)、不易被人眼察覺的設(shè)備都可精準(zhǔn)識別與定位。利用訓(xùn)練好的改進(jìn)YOLOv4模型進(jìn)行了一系列實驗，并通過測試圖像驗證了算法的性能。測試指標(biāo)主要包括精度(Precision)、召回率(Recall)、平均精度(Mean Average Precision，mAP)、FPS等。

圖7 改進(jìn)模型檢測結(jié)果

5.2.1 主流實時檢測模型性能對比

為了驗證在構(gòu)建的數(shù)據(jù)集上所選用基礎(chǔ)網(wǎng)絡(luò)YOLOv4的性能，將YOLOv4與主流檢測模型SSD[18]、YOLOv3進(jìn)行了比較。由表1可知，無論是在準(zhǔn)確率、召回率、mAP還是預(yù)測速度上，YOLOv4表現(xiàn)均優(yōu)于其它模型。

表1 主流模型性能對比

5.2.2 不同特征提取網(wǎng)絡(luò)性能對比

為了驗證所替換的輕量級網(wǎng)絡(luò)的優(yōu)越性，在YOLOv4基礎(chǔ)上，將深度可分離卷積代替普通卷積后，使用不同輕量級特征提取網(wǎng)絡(luò)進(jìn)行實驗。如圖8所示，在目前比較先進(jìn)的輕量級網(wǎng)絡(luò)中，GHostNet參數(shù)量最少，且在保證了mAP最高的同時預(yù)測速度達(dá)到了最快，原因在于MobileNetv3[19]和ShuffleNetv2[20]模型中1×1卷積層會占用大量內(nèi)存，且并未很好利用特征映射之間的相關(guān)性和冗余性，而GhostNet網(wǎng)絡(luò)識別性能相當(dāng)?shù)耐瑫r，可降低卷積層的計算成本，是部署到邊緣設(shè)備進(jìn)行快速推斷的最佳選擇。

圖8 不同backbone的YOLOv4性能對比

5.2.3 不同改進(jìn)方案的模型性能對比

由圖7可知，替換特征提取網(wǎng)絡(luò)與普通卷積后，模型雖減少大量參數(shù)，但造成檢測結(jié)果的精度損失。因此，在輕量化處理模型的基礎(chǔ)上，研究了四尺度檢測(4L)，ASFF模塊對算法的影響，實驗結(jié)果如表2所示，在分別引入ASFF模塊和小目標(biāo)尺度后，檢測的mAP分別提高了2.5%，4.0%，而文中算法mAP達(dá)到了93.56%，極大提高了設(shè)備檢測的準(zhǔn)確率，彌補了由于減少參數(shù)帶來的精度損失，且只是增加了極少的計算量，仍然獲得了良好的實時性。

表2 不同改進(jìn)方案的模型性能對比

5.3 熱缺陷診斷結(jié)果

本文最終實現(xiàn)了可見光圖像與紅外圖像融合可視化，對設(shè)備精準(zhǔn)識別定位并進(jìn)行缺陷檢測等功能。如圖8所示為在變電站進(jìn)行試驗后的結(jié)果，環(huán)境溫度為20℃。以變壓器套管為例，如圖9(a)所示，一共檢測到四個套管設(shè)備中最高溫度為27.8℃，最低溫度為21.8℃，各相設(shè)備溫差較小，經(jīng)不同相位對比判定圖像中所有套管并無異常發(fā)熱癥狀，均處于正常工作狀態(tài)。如圖9(b)所示，檢測到的套管表面溫度雖小于55℃，但與其它同類設(shè)備兩個測溫點對應(yīng)溫差較大，根據(jù)式(11)計算，相對溫差超過35%，從而判定為一般缺陷。如圖9(c)所示，其中一個套管表面最大溫度已超過55℃，且與同類設(shè)備溫差相差甚大，從熱像圖也可直觀看出此設(shè)備區(qū)域存在明顯的溫度差異，判定為嚴(yán)重缺陷。

5.4 近期研究比較

對近期文獻(xiàn)中基于單源信息與多源信息的缺陷檢測研究對比結(jié)果見表3，文獻(xiàn)均采用自建非公開的數(shù)據(jù)集，因此文中的對比采用文獻(xiàn)中提供的結(jié)果。文獻(xiàn)A將Faster RCNN算法與溫度閾值判別法結(jié)合進(jìn)行缺陷識別，檢測平均精度達(dá)到90.61%，缺陷識別準(zhǔn)確率為81.33%。文獻(xiàn)B采用MobileNet骨干網(wǎng)絡(luò)的SSD算法對設(shè)備以及缺陷進(jìn)行識別，最終設(shè)備檢測與缺陷檢測準(zhǔn)確率86.7%，速度17FPS。文獻(xiàn)C基于改進(jìn)的YOLOv3網(wǎng)絡(luò)模型對高壓引線連接器紅外圖像進(jìn)行缺陷診斷，平均檢測精度時間分別為84.26%、0.308s。文獻(xiàn)D利用CNN網(wǎng)絡(luò)與深度信念網(wǎng)絡(luò)來判斷設(shè)備缺陷，缺陷分類最高準(zhǔn)確率為88.33%。文獻(xiàn)E利用Mask R-CNN算法與紅外測溫技術(shù)對設(shè)備區(qū)域進(jìn)行診斷，設(shè)備識別準(zhǔn)確率為93.2%。本文基于改進(jìn)YOLOv4算法，檢測精度達(dá)到93.56%的同時，推理速度提升到35FPS，可應(yīng)用于邊緣端設(shè)備。

圖9 熱缺陷檢測結(jié)果

表3 不同研究方法的結(jié)果對比

6 結(jié)論

本文針對現(xiàn)有目標(biāo)檢測算法對變電站設(shè)備缺陷診斷準(zhǔn)確率不高，難以滿足邊緣端設(shè)備實時檢測等問題，提出將可見光圖像與紅外信息融合，對設(shè)備進(jìn)行識別以及缺陷診斷的方法。通過對YOLOv4模型進(jìn)行改進(jìn)，采用輕量級網(wǎng)絡(luò)GhostNet作為特征提取網(wǎng)絡(luò)，將深度可分離卷積代替普通卷積，大幅削減參數(shù)量，并在此基礎(chǔ)上增加遮擋目標(biāo)尺度檢測，引入ASFF增強特征信息，在保證高精度的同時實現(xiàn)了推理速度的大幅提升，最終mAP值達(dá)到93.56%，推理速度達(dá)到35FPS，實現(xiàn)了對不同類型的變電設(shè)備熱缺陷的診斷，可用于變電站場景的設(shè)備熱缺陷實時監(jiān)測。