融合多維度特征的絕緣子狀態(tài)邊緣識別方法

黃冬梅，王玥琦，胡安鐸，孫錦中，時帥，孫園，房嶺鋒

(1.上海電力大學(xué) 電子與信息工程學(xué)院，上海 201306；2.上海電力大學(xué) 電氣工程學(xué)院，上海 200090；3.上海電力大學(xué) 數(shù)理學(xué)院，上海 201306；4.國家電網(wǎng)有限公司，北京 100031)

0 引言

輸電線路絕緣子串常年暴露在復(fù)雜多變的環(huán)境中，較易發(fā)生故障。因此，需要及時準(zhǔn)確地對絕緣子進行狀態(tài)識別。人工巡檢和無人機巡檢是目前識別絕緣子狀態(tài)的主要方式。傳統(tǒng)的人工巡檢方法準(zhǔn)確率較高，但存在效率低、浪費人力等問題；無人機巡檢減少大量的人力，但是采集到的絕緣子照片數(shù)量隨巡檢范圍的擴大呈指數(shù)級增加，實時處理大量的圖片對于處理器和通信網(wǎng)絡(luò)是一個巨大的挑戰(zhàn)[1-4]。

除了硬件方面的要求，基于無人機巡檢的絕緣子狀態(tài)識別[5]還需要有高精度的識別算法支撐，提升識別準(zhǔn)確率的關(guān)鍵在于準(zhǔn)確提取圖片信息特征[6]。文獻[7]通過提取S分量以突顯目標(biāo)區(qū)域，考慮絕緣子形狀特征的影響設(shè)計特征向量，區(qū)分正常和缺陷的絕緣子圖像。文獻[8]利用絕緣子“粗”分割技術(shù)進行圖像分割，通過計算有效像素點占比，識別“掉串”故障現(xiàn)象。傳統(tǒng)的圖像處理技術(shù)提取的特征具有易提取、可區(qū)分性和不變性的特點，但主要依賴人工設(shè)計的特征提取器，存在魯棒性差、調(diào)參復(fù)雜等問題。文獻[9]基于去除卷積核間的相關(guān)性思想，提取獨立的特征信息，進而提高絕緣子狀態(tài)識別的準(zhǔn)確率。文獻[10]結(jié)合弱監(jiān)督細(xì)粒度分類的思想，采用過特征圖合并和雙線性池化操作將多網(wǎng)絡(luò)提取到的特征進行融合，實現(xiàn)絕緣子正常與故障狀態(tài)的識別。文獻[11]使用一個集成3種單層感知結(jié)構(gòu)的多層感知器，提取高質(zhì)量的特征檢測絕緣子故障?；谏窠?jīng)網(wǎng)絡(luò)的圖像分類算法具有訓(xùn)練快、泛化能力強等優(yōu)點，同時存在計算量大、需要大量的數(shù)據(jù)來訓(xùn)練模型的缺點。

邊緣計算是近年來在海量數(shù)據(jù)的處理方面興起的新范式[12]，具有快速處理和分析數(shù)據(jù)、占用網(wǎng)絡(luò)流量較少的優(yōu)點。因此，本文提出了一種融合多維度特征的絕緣子狀態(tài)邊緣識別方法。首先利用云邊協(xié)同和邊邊聯(lián)邦協(xié)同的技術(shù)手段[13]，將圖像分類計算、模型更新下沉到邊緣設(shè)備，在邊緣節(jié)點處實時處理圖片信息。同時，為進一步提高識別的準(zhǔn)確率，從網(wǎng)絡(luò)寬度、特征空間維度和通道維度三方面考慮，在ResNet101[14]基礎(chǔ)上使用Inception模塊構(gòu)建數(shù)據(jù)池化層，并將壓縮激勵模塊（squeeze-and-excitation module，SE）[15]、卷積注意力模塊（convolutional block attention module，CBAM）[16]分別嵌入帶跳躍連接線的殘差塊結(jié)構(gòu)和ResNet101的大層中，使模型更關(guān)注信息豐富的區(qū)域，更好地實現(xiàn)網(wǎng)絡(luò)的特征提取。最后，通過全連接層得到絕緣子的狀態(tài)。該方法考慮從多個不同的維度提取特征，使得改進后的ResNet101殘差神經(jīng)網(wǎng)絡(luò)有高效的特征提取能力，具有更準(zhǔn)確的故障識別效果。

1 絕緣子狀態(tài)的邊緣識別框架

邊緣計算是一種分布式計算，在靠近數(shù)據(jù)源頭的網(wǎng)絡(luò)側(cè)，部署了具有計算、存儲能力的邊緣設(shè)備，就近處理采集到的數(shù)據(jù)，而不需要將大量的數(shù)據(jù)上傳到云中心再進行處理。邊緣計算減輕了云端網(wǎng)絡(luò)帶寬、核心節(jié)點的壓力，也使得邊緣物聯(lián)網(wǎng)設(shè)備的計算和存儲能力得到最大利用。

目前，大部分的研究都將神經(jīng)網(wǎng)絡(luò)模型放在云端進行訓(xùn)練[17]，同時云端還負(fù)責(zé)數(shù)據(jù)分析、模型更新等任務(wù)，邊緣節(jié)點只負(fù)責(zé)存儲和預(yù)處理本地數(shù)據(jù)。本文研究的絕緣子狀態(tài)識別對實時性要求較高，且采集到的數(shù)據(jù)為短周期數(shù)據(jù)，不適合將數(shù)據(jù)上傳到云端再進行狀態(tài)識別。

因此，本文采用了一種新的云邊協(xié)同計算的方法，將識別算法、模型更新轉(zhuǎn)移到邊緣節(jié)點完成，云端只負(fù)責(zé)模型設(shè)計和最初的訓(xùn)練工作[18]。本文提出的絕緣子狀態(tài)識別系統(tǒng)框架如圖1所示。

圖1 云邊協(xié)同和邊邊聯(lián)邦協(xié)同聯(lián)合的絕緣子狀態(tài)識別訓(xùn)練框架Fig.1 Training framework for insulator state recognition based on cloud edge collaboration and edge-edge federation collaboration

2 多維度特征融合的識別網(wǎng)絡(luò)

2.1 多維度特征提取的框架

ResNet網(wǎng)絡(luò)通過堆疊多個殘差塊結(jié)構(gòu)，從深度方面提升了卷積神經(jīng)網(wǎng)絡(luò)的分類能力。因此本文使用ResNet101作為主干特征提取網(wǎng)絡(luò)，提出了一種融合多維度特征的絕緣子狀態(tài)識別方法。改進后的ResNet101整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 多維度特征融合的整體網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Overall network structure based on multidimension feature fusion

改進后的ResNet101網(wǎng)絡(luò)能夠關(guān)注于圖像中最具有辨別力的區(qū)域，提高模型的特征提取能力，從而提高分類準(zhǔn)確率，網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)配置如表1所示。

表1 多維度特征融合的ResNet101網(wǎng)絡(luò)參數(shù)配置Table 1 Parameter configuration of ResNet101 network based on multi-dimension feature fusion

2.2 特征提取

為提高無人機電力巡檢中絕緣子故障識別的準(zhǔn)確率，本文提出一種改進的計及多維度特征提取的殘差網(wǎng)絡(luò)。通過使用Inception模塊構(gòu)建數(shù)據(jù)池化層，并將輕量級的SE模塊、CBAM模塊分別嵌入帶跳躍連接線的殘差塊的內(nèi)部結(jié)構(gòu)、ResNet101的第一層的大層之前和最后一層的大層之后[19]，從網(wǎng)絡(luò)寬度、特征空間維度和通道維度對圖像進行高效的特征提取。

（1）基于Inception模塊改進的數(shù)據(jù)池化層。GoogLeNet神經(jīng)網(wǎng)絡(luò)框架[20]首次引入了Inception結(jié)構(gòu)，以增加網(wǎng)絡(luò)寬度的方式提升模型的性能。在傳統(tǒng)的殘差網(wǎng)絡(luò)中，數(shù)據(jù)輸入端的數(shù)據(jù)池化層由 7×7的卷積層和池化層組成，使用 7×7卷積操作實際上是用來直接對呈百萬級數(shù)量的輸入圖片降采樣[21]。考慮到本文研究的絕緣子樣本有限，因此本文設(shè)計了一種基于Inception模塊改進的數(shù)據(jù)池化層，能夠有效提取絕緣子圖像特征，結(jié)構(gòu)如圖3所示。圖3中改進的數(shù)據(jù)池化層以結(jié)構(gòu)并行方式，通過串聯(lián)和堆疊多個不同尺寸的卷積核來代替 7×7的卷積核。首先，將輸入的圖片同時傳入4個分支，使用 1×1的卷積核進行降維以及映射處理，第3個分支使用2個級聯(lián)的 3×3濾波器進一步執(zhí)行卷積操作，在每一個卷積層后加入批量標(biāo)準(zhǔn)化（BN）和ReLU激活函數(shù)，增加網(wǎng)絡(luò)的非線性；然后，將得到的4個不同尺度特征矩陣按深度進行拼接，得到輸出特征矩陣；最后，考慮到隨著層數(shù)加深可能出現(xiàn)過擬合的現(xiàn)象，將改進后的數(shù)據(jù)池化層嵌入帶跳躍連接線的結(jié)構(gòu)中，通過最大池化層得到輸出特征矩陣。

圖3 改進的數(shù)據(jù)池化層結(jié)構(gòu)Fig.3 Improved data pooling layer structure

（2）壓縮-激勵模型。不同于Inception模塊通過使用多尺度的卷積核提取特征圖上的全局關(guān)聯(lián)信息，SE模塊考慮特征通道間的相互關(guān)系，通過權(quán)值重標(biāo)定操作來提取各通道間的全局關(guān)聯(lián)信息。因此，本文將SE模塊嵌入帶跳躍連接線的殘差塊內(nèi)部結(jié)構(gòu)中，抑制效果較小的特征圖權(quán)重，并使有效的特征圖的權(quán)重放大，同時減少過擬合的風(fēng)險。本文將改進后的殘差塊稱為SEResidual block，結(jié)構(gòu)如圖4所示。給定一個輸入x，通過Residual殘差塊，得到一個c2×h×w的特征圖，接著分三步操作來實現(xiàn)特征重標(biāo)定。首先是壓縮操作，通過執(zhí)行全局平均池化操作將輸入的特征圖沿著空間維度壓縮成c2×1×1的特征向量，用于上下文建模。同時加入ReLU激活函數(shù)，增加網(wǎng)絡(luò)的非線性。然后是激勵操作，由兩個全連接層組成。通過降維比r先進行降維處理得到(c2/r)×1×1的特征向量，再升維得到c2×1×1的特征向量。其中r是一個縮放參數(shù)，其目的是減少通道個數(shù)從而降低計算量。接著將經(jīng)過Sigmoid歸一化后的權(quán)重與輸入特征矩陣相乘，實現(xiàn)對原始特征的重標(biāo)定。最后將重標(biāo)定的特征矩陣與輸入x相加，得到最終輸出。

圖4 殘差塊改進結(jié)構(gòu)Fig.4 Improved structure of residual block

（3）卷積注意力模塊。相比SE模塊只關(guān)注于特征通道間的關(guān)系，CBAM模塊可以同時考慮特征空間維度和通道維度，依次從空間和通道兩個不同的維度推算注意力圖。在神經(jīng)網(wǎng)絡(luò)中使用卷積注意力模塊，可以提升網(wǎng)絡(luò)的特征提取能力，使模型更加關(guān)注圖像中最具有辨別力的區(qū)域。卷積注意力模塊結(jié)構(gòu)如圖5所示。

圖5 CBAM結(jié)構(gòu)Fig.5 CBAM structure

對于一個給定的輸入特征圖F∈Rc×h×w，首先經(jīng)過通道注意力模塊得到最終的通道注意力圖Mc∈Rc×1×1。

通道注意力特征圖計算公式為

式中：σ表示Sigmoid激活函數(shù)；MLP為多層感知機；分別表示被平均池化、最大池化的特征。

得到通道維度優(yōu)化后的特征圖F′為

式中：?表示按位相乘。將經(jīng)過通道優(yōu)化后的特征圖F′作為輸入，再經(jīng)過空間注意力模塊得到最終的空間注意力圖Ms∈R1×h×w。

空間注意力特征圖計算公式為

式中：σ表示Sigmoid激活函數(shù)；f7×7表示大小為7×7的卷積操作；分別表示沿著通道被平均池化、最大池化的特征。

得到空間維度優(yōu)化后的特征圖F′′為

3 絕緣子狀態(tài)識別實驗

為了評估本文構(gòu)建的框架應(yīng)用于絕緣子狀態(tài)識別的有效性，采用3個邊緣節(jié)點開展絕緣子狀態(tài)識別實驗。實驗使用由國家電網(wǎng)公司提供的開源絕緣子數(shù)據(jù)集[22]，數(shù)據(jù)集包括無人機捕獲的正常絕緣子圖像和合成的有缺陷絕緣子圖像兩類，其中正常絕緣子600張，缺陷絕緣子248張。通過 0°、90°、180°和 270°旋轉(zhuǎn)圖像的方法進行數(shù)據(jù)擴增，將數(shù)據(jù)集擴充到原來的4倍，共3 392張絕緣子圖像。按7∶ 3的比例將擴充后的數(shù)據(jù)集分為訓(xùn)練集和測試集。在模型的基本參數(shù)設(shè)置方面，選擇優(yōu)化器Adam，學(xué)習(xí)率設(shè)置為0.005，batch size為 32，Dropout設(shè)為 0.5，迭代輪數(shù)設(shè)為30輪。測試過程中用的深度學(xué)習(xí)框架為Pytorch，編程語言為Python。

3.1 延時比較

本文搭建如下實驗環(huán)境以模擬實際場景：選用計算能力較強的GPU服務(wù)器作為云中心，筆記本電腦模擬邊緣網(wǎng)絡(luò)的邊緣節(jié)點，硬件設(shè)備參數(shù)如表2所示。將本實驗采用的基于3個邊緣計算節(jié)點的云邊協(xié)同狀態(tài)識別系統(tǒng)與基于云計算模式的識別系統(tǒng)、基于云邊協(xié)同計算模式的識別系統(tǒng)進行對比，設(shè)置2組實驗。第一組實驗的3個邊緣計算節(jié)點分別處理1 130、1 130 和 1 132 張圖片；第二組實驗的3個邊緣計算節(jié)點分別處理1 500、1 000和892張圖片。假設(shè)智能終端設(shè)備、邊緣服務(wù)器、云服務(wù)器的CPU頻率分別為0.5 GHz、0.9 GHz 和 1.4 GHz。對比結(jié)果如表3 所示。

表2 邊緣端與云端設(shè)備對比Table 2 Comparison of edge and cloud devices

表3 模型訓(xùn)練延時比較Table 3 Comparison of model training delays

由表3可知，基于云計算模式的識別系統(tǒng)模型識別準(zhǔn)確率達(dá)到99%，對比本實驗將計算下沉到3個邊緣節(jié)點后的準(zhǔn)確率分別為99%、98.5%、99.2%。實驗表明，基于3個邊緣計算節(jié)點的云邊協(xié)同狀態(tài)識別系統(tǒng)減少大量模型訓(xùn)練延時的同時，較好地保持了識別準(zhǔn)確率。

2組實驗的任務(wù)完成時間如圖6所示。在2組實驗中，基于云計算模式的任務(wù)完成時間最長，達(dá)到2 868 s，這是由于云計算將大數(shù)據(jù)集中化處理，需要大量的數(shù)據(jù)上傳和下載時間。第一組實驗中，3個邊緣計算節(jié)點處理的任務(wù)數(shù)較為均衡，云邊協(xié)同計算和邊邊聯(lián)邦協(xié)同計算分散化處理了本該傳輸?shù)皆朴嬎阒行牡臄?shù)據(jù)，使得任務(wù)完成時間減少約66%，并且2種計算模式耗時相差不大；第二組實驗中，3個邊緣計算節(jié)點處理的任務(wù)數(shù)不均衡，邊邊聯(lián)邦協(xié)同計算協(xié)同各邊緣計算節(jié)點之間的計算資源，相比云邊協(xié)同計算節(jié)省340 s，任務(wù)完成時間較短。

圖6 3種計算模式的任務(wù)完成時間Fig.6 Task completion time of three computing modes

3.2 不同卷積神經(jīng)網(wǎng)絡(luò)模型識別結(jié)果對比

為了評估本文提出的模型對絕緣子圖像故障識別的有效性，使用準(zhǔn)確率、精確率、召回率和特異度4個評價指標(biāo)來判定有效性。

為驗證本文設(shè)計的絕緣子狀態(tài)識別模型的有效性，選取不同的卷積神經(jīng)網(wǎng)絡(luò)進行對比實驗，所有模型均使用相同的基本參數(shù)訓(xùn)練。對比結(jié)果如表4所示。由表4的數(shù)據(jù)表明，利用改進后的ResNet101網(wǎng)絡(luò)可以很好地對絕緣子狀態(tài)進行分類，從而正確識別絕緣子狀態(tài)，實現(xiàn)絕緣子故障檢測。

表4 不同卷積神經(jīng)網(wǎng)絡(luò)識別結(jié)果對比Table 4 Comparison of recognition results of different convolution neural networks

3.3 模塊有效性對比

為研究模塊嵌入對模型識別準(zhǔn)確率的影響，在使用同一訓(xùn)練集樣本的情況下，分別對ResNet101原網(wǎng)絡(luò)嵌入不同模塊來進行消融實驗，得到嵌入不同模塊的神經(jīng)網(wǎng)絡(luò)識別結(jié)果。ResNet101網(wǎng)絡(luò)的識別準(zhǔn)確率最低，為96.4%。將Inception、SE和CBAM模塊嵌入ResNet101網(wǎng)絡(luò)，模型準(zhǔn)確率分別提升了0.8個百分點、1.9個百分點和1.2個百分點。文獻[19]的方法是將CBAM模塊插入到ResNet101網(wǎng)絡(luò)的4個大層之后，識別準(zhǔn)確率達(dá)到了96.7%；改變CBAM模塊嵌入位置，僅在ResNet101網(wǎng)絡(luò)第一層大層之前和最后一層大層之后插入，準(zhǔn)確率為97.2%，表明CBAM模塊嵌入網(wǎng)絡(luò)的位置對識別準(zhǔn)確率有一定程度的影響；本文同時嵌入Inception、SE和CBAM模塊的網(wǎng)絡(luò)，模型性能最好，準(zhǔn)確率達(dá)到99.0%。從對比實驗結(jié)果可以看出，不同的模塊分別嵌入ResNet101網(wǎng)絡(luò)，相比ResNet101模型準(zhǔn)確率都會有所提升。

3.4 改進的ResNet101網(wǎng)絡(luò)的特征圖可視化

為了進一步分析基于多模塊融合的ResNet101分類模型提取到的絕緣子圖像的特征，通過查看卷積神經(jīng)網(wǎng)絡(luò)在正向傳播過程中的中間層傳出的特征圖，更直觀闡明網(wǎng)絡(luò)模型具體學(xué)習(xí)到的特征[24]。本文隨機抽選絕緣子測試集中的1張圖片進行可視化分析，如圖7所示。分別將這張圖片輸入ResNet101和本文改進后的ResNet101的模型中，然后把網(wǎng)絡(luò)中間某些層輸出的特征圖按通道作為圖片進行層可視化展示，前12個通道的特征圖結(jié)果如圖8、圖9所示。一共有4組圖片，分別代表數(shù)據(jù)池化層、max pool、layer 1、layer 4 的輸出，每組的個數(shù)為12。

圖7 絕緣子圖片F(xiàn)ig.7 Insulator picture

圖8 ResNet101網(wǎng)絡(luò)輸出的特征圖Fig.8 Characteristic diagram of ResNet101 network output

圖9 基于多模塊融合的ResNet101網(wǎng)絡(luò)輸出的特征圖Fig.9 Characteristic diagram of ResNet101 network output based on multi-module fusion

在經(jīng)過數(shù)據(jù)池化操作之后，濾波器過濾掉大量無關(guān)信息，靠近輸入層的特征圖保留了圖像具體細(xì)節(jié)的紋理特征，所以部分特征圖可以看到絕緣子形狀信息。圖像中高亮部分對應(yīng)絕緣子目標(biāo)。對比圖8a）與圖9a）可以看出：圖9a）的細(xì)節(jié)比圖8a）更加豐富、細(xì)膩，紋理特征也更加明顯，表明本文方法得到的數(shù)據(jù)池化層輸出的特征比ResNet101網(wǎng)絡(luò)更加豐富，能更有效地提取特征，也證明了Inception模塊能更好地融合特征信息；對比圖8b）與圖9b）可以看出：在經(jīng)過最大池化操作后，相比本文提出的方法，ResNet101網(wǎng)絡(luò)得到的特征圖信息更加豐富，說明嵌入的CBAM模塊能協(xié)同空間和通道兩個維度，更好地提取圖像特征；從圖8c）與圖9c）可以看出：再經(jīng)過layer1、layer4等更深層的操作后，特征圖更關(guān)注某些輪廓邊緣區(qū)域的細(xì)節(jié)部分，得到的信息也更加豐富；對比圖8d）與圖9d）可以看出：圖8d）中部分卷積核只提取了少量的特征信息，圖9d）中大量卷積核存在信息缺失（對應(yīng)圖上深藍(lán)色的方格），表明SE模塊有效抑制了效果較小的特征圖的權(quán)重，也能說明多模塊融合能夠有效地提取特征。

4 結(jié)語

針對目前絕緣子狀態(tài)識別存在實時性差、識別準(zhǔn)確率低的問題，本文提出一種融合多維度特征的絕緣子狀態(tài)邊緣識別方法，經(jīng)實驗驗證后得到如下結(jié)論。

（1）通過搭建云邊協(xié)同和邊邊聯(lián)邦協(xié)同聯(lián)合的絕緣子狀態(tài)識別訓(xùn)練框架，將數(shù)據(jù)預(yù)處理、識別算法、模型更新過程在邊緣節(jié)點完成，保證了狀態(tài)識別的實時性。

（2）采用基于多模塊融合的ResNet101網(wǎng)絡(luò)模型對絕緣子圖像進行狀態(tài)識別，識別準(zhǔn)確率為99.0%、精確率為99.7%、召回率為98.9%、特異度為0.993。

實驗表明，本文提出的融合多維度特征的絕緣子狀態(tài)邊緣識別方法在性能上優(yōu)于其他識別模型，能夠從不同維度高效提取特征，具有較高的精確率與實時性，能夠有效識別出電力巡檢圖像中故障的絕緣子。針對電網(wǎng)氣象災(zāi)害，考慮復(fù)雜氣象條件下絕緣子狀態(tài)的多樣性以及設(shè)計出更輕量的模型是未來研究的重點。