基于深度殘差UNet網(wǎng)絡(luò)的電氣設(shè)備紅外圖像分割方法

劉 赫，趙天成，劉俊博，矯立新，許志浩，袁小翠

基于深度殘差UNet網(wǎng)絡(luò)的電氣設(shè)備紅外圖像分割方法

劉 赫1，趙天成1，劉俊博1，矯立新1，許志浩2，袁小翠2

（1. 國網(wǎng)吉林省電力有限公司 電力科學(xué)研究院，吉林 長春 130021；2. 南昌工程學(xué)院 電氣工程學(xué)院，江西 南昌 330099）

紅外圖像處理是實(shí)現(xiàn)電氣故障診斷的有效手段，而電氣設(shè)備分割是故障檢測的關(guān)鍵環(huán)節(jié)。針對復(fù)雜背景下紅外圖像電氣設(shè)備分割難問題，本文采用深度殘差網(wǎng)絡(luò)與UNet網(wǎng)絡(luò)相結(jié)合，深度殘差網(wǎng)絡(luò)替代VGG16對UNet網(wǎng)絡(luò)進(jìn)行特征提取和編碼，構(gòu)建深度殘差系列Res-Unet網(wǎng)絡(luò)實(shí)現(xiàn)對電氣設(shè)備的分割。以電流互感器和斷路器兩種電氣設(shè)備紅外圖像分割為例測試Res-Unet網(wǎng)絡(luò)分割效果，并與傳統(tǒng)的UNet網(wǎng)絡(luò)和Deeplabv3＋網(wǎng)絡(luò)進(jìn)行對比。通過對數(shù)量為876的樣本進(jìn)行測試，實(shí)驗(yàn)結(jié)果表明，Res18-UNet能夠準(zhǔn)確地分割電氣設(shè)備，對電流互感器和斷路器的分割準(zhǔn)確率超93%，平均交并比大于89%，且分割準(zhǔn)確性優(yōu)于UNet及Deeplabv3+網(wǎng)絡(luò)模型，為實(shí)現(xiàn)電氣故障智能診斷奠定基礎(chǔ)。

紅外圖像；電氣故障；圖像分割；UNet

0 引言

變電站是電網(wǎng)系統(tǒng)中的非常關(guān)鍵的節(jié)點(diǎn)，變電站的安全性關(guān)系到電力系統(tǒng)的穩(wěn)定運(yùn)行。變壓器、電壓互感器、電流互感器和斷路器等變電設(shè)備因長期戶外使用易覆蓋污漬、設(shè)備老化出現(xiàn)設(shè)備過熱，容易導(dǎo)致大面積停電。因此，需要對這些帶電設(shè)備進(jìn)行定期檢測。

近年來，利用無人機(jī)、巡檢機(jī)器人為平臺安裝紅外熱相機(jī)拍攝帶電設(shè)備的紅外圖像，利用智能算法自動識別紅外圖像中的設(shè)備故障已成為電力設(shè)備帶電監(jiān)測和故障診斷的重要手段?；诩t外圖像的故障診斷方法可以大致分為兩類：一是根據(jù)紅外圖像的溫度界定直接分割出過熱區(qū)域，如康龍等[1]利用紅外圖像灰度直方圖確定聚類中心和聚類個數(shù)，用遺傳算法來確定最優(yōu)聚類中心，最后用模糊C均值來分割過熱區(qū)域；曾亮等[2]用大津算法和區(qū)域生長法分割過熱區(qū)域；Hui Zou[3]等利用k均值聚類算法分割過熱區(qū)域。另一類是根據(jù)需要檢測的變電設(shè)備，在紅外圖像中檢測出目標(biāo)區(qū)域或者直接分割目標(biāo)區(qū)域，對不同的目標(biāo)區(qū)域根據(jù)規(guī)范[4]判斷目標(biāo)區(qū)域的狀態(tài)，從而自動檢測帶電設(shè)備狀態(tài)。目前，第二類是紅外圖像故障診斷的主流方法，學(xué)者們對其展開了許多研究。不同電氣設(shè)備對溫度的耐受力不同，需要準(zhǔn)確定位變電設(shè)備的感興趣區(qū)域（region of interest，ROI），因此查找紅外圖像的ROI是最關(guān)鍵的一步。

近年來，國內(nèi)外學(xué)者已經(jīng)開展了一系列針對紅外缺陷智能診斷的研究。定位ROI區(qū)域主要有兩類：①提取目標(biāo)的手工特征，根據(jù)紅外圖像的顏色及紋理等特征，選擇合適的閾值分割方法和特征提取方法分割目標(biāo)，文獻(xiàn)[5]利用閾值分割法提出三相分區(qū)塊自動搜尋及溫度對比的過熱區(qū)域判定方法。Rahmani[6]等提取圖像中電氣設(shè)備的不變矩特征；文獻(xiàn)[7]提取紅外圖像的熱形狀和溫度分布作為圖像特征；文獻(xiàn)[8]對紅外視頻圖像提取時空特征，利用基于沙普利加法特征歸因聚類算法對時空特征聚類分割目標(biāo)。②基于深度學(xué)習(xí)的目標(biāo)檢測或者分割方法。隨著深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks, DCNN）的快速發(fā)展，利用CNN網(wǎng)絡(luò)提取圖像的特征實(shí)現(xiàn)不同的應(yīng)用，如目標(biāo)檢測與識別、圖像分割等。文獻(xiàn)[9]利用Faster RCNN對套管、避雷器等變電設(shè)備進(jìn)行目標(biāo)檢測定位，根據(jù)溫度閾值法實(shí)現(xiàn)缺陷檢測。經(jīng)典目標(biāo)檢測深度卷積神經(jīng)網(wǎng)絡(luò)也逐漸應(yīng)用在紅外圖像變電設(shè)備故障檢測中，如SSD[10]，YOLO[11]，Mask-RCNN[12]等網(wǎng)絡(luò)在紅外圖像電氣設(shè)備異常檢測中取得了較好的檢測結(jié)果。李文璞等[13]基于改進(jìn)R3Det模型對瓷套進(jìn)行旋轉(zhuǎn)目標(biāo)檢測，基于Faster RCNN模型對變電設(shè)備區(qū)域進(jìn)行識別。

上述基于深度學(xué)習(xí)的目標(biāo)檢測方法只是檢測出目標(biāo)區(qū)域，對檢測簡單背景下的變電設(shè)備效果較好，當(dāng)變電設(shè)備處于復(fù)雜環(huán)境下，局部遮擋導(dǎo)致框選出的目標(biāo)區(qū)域包含其他類型的設(shè)備，而不同設(shè)備對溫度的耐受力不同。需要對電氣設(shè)備進(jìn)行準(zhǔn)確分割及定位，減少背景及其他因素的干擾，再根據(jù)不同設(shè)備對溫度的耐受情況準(zhǔn)確檢測出電氣設(shè)備的故障。為了準(zhǔn)確分割出ROI，語義分割方法逐漸從可見光圖像處理中應(yīng)用到紅外圖像電氣設(shè)備故障診斷中，如文獻(xiàn)[14]構(gòu)建了FCN-32s、FCN-16s和FCN-8s三種模型對紅外圖像中劣化的絕緣子片進(jìn)行分割，證明了FCN-8S的分割效果更好，但該方法只用在了實(shí)驗(yàn)室環(huán)境下拍攝的絕緣子片圖像，并不適用于戶外復(fù)雜環(huán)境下目標(biāo)分割。文獻(xiàn)[15]將深度殘差網(wǎng)絡(luò)ResNet與Deeplabv3＋網(wǎng)絡(luò)相結(jié)合，利用ResNet網(wǎng)絡(luò)代替Deeplabv3＋網(wǎng)絡(luò)中VGG16模塊實(shí)現(xiàn)編碼，構(gòu)建的Res-Deeplabv3＋網(wǎng)絡(luò)對紅外圖像中的電流互感器進(jìn)行分割，其分割準(zhǔn)確性優(yōu)于FCN-8s，SegNet和Deeplabv3＋網(wǎng)絡(luò)。

本文結(jié)合ResNet和UNet網(wǎng)絡(luò)的優(yōu)勢，構(gòu)建Res-UNet網(wǎng)絡(luò)對復(fù)雜環(huán)境下紅外圖像的變電設(shè)備進(jìn)行語義分割，從復(fù)雜背景下準(zhǔn)確分割、定位和識別出電氣設(shè)備，為電氣設(shè)備故障診斷提供準(zhǔn)確的數(shù)據(jù)源。

1 數(shù)據(jù)集來源及標(biāo)注

數(shù)據(jù)集來源于某網(wǎng)省公司現(xiàn)場采集的紅外圖像，圖像大小為640×480彩色圖，原始樣本圖像數(shù)量為2860張。不同拍攝角度和環(huán)境，對同樣的設(shè)備成像不同。因此，對樣本進(jìn)行擴(kuò)充，包括旋轉(zhuǎn)、縮放、調(diào)整圖像亮度、飽和度等方法進(jìn)行隨機(jī)數(shù)據(jù)增強(qiáng)，以提高網(wǎng)絡(luò)模型的魯棒性和準(zhǔn)確性，擴(kuò)充后的樣本數(shù)量為4380張。圖1為樣本集中隨機(jī)選取的幾張紅外圖像及預(yù)處理效果，第一行圖1(a)為原圖，第二行圖1(b)對應(yīng)第一行的增強(qiáng)效果，其增強(qiáng)處理分別是調(diào)整溫度區(qū)間、降低飽和度、降低亮度、提高色調(diào)。

樣本數(shù)據(jù)中電流互感器和斷路器兩種變電設(shè)備的圖像比較完整，其他變電設(shè)備圖像不完整或者樣本少，因此，以電流互感器和斷路器為分割目標(biāo)，使用Labelme工具分別對電流互感器和斷路器兩種電氣設(shè)備進(jìn)行標(biāo)注。建立統(tǒng)一的標(biāo)注規(guī)范是保證訓(xùn)練模型精度的基礎(chǔ)，本文標(biāo)注時將電流互感器和斷路器分別標(biāo)記為CT和QS，標(biāo)記時盡量標(biāo)記目標(biāo)可見的全部像素，標(biāo)注示例如圖2所示，對目標(biāo)標(biāo)注形成分割圖像的標(biāo)簽（真值），并生成json文件，標(biāo)簽圖像中綠色表示的是斷路器，紅色表示的是電流互感器。

圖1 樣本增強(qiáng)示例

圖2 樣本圖像標(biāo)簽

2 算法理論

圖像語義分割是對每一個像素點(diǎn)進(jìn)行分類，根據(jù)每個點(diǎn)的所屬類別從而實(shí)現(xiàn)區(qū)域劃分。目前，語義分割已被廣泛應(yīng)用于自動駕駛、醫(yī)學(xué)圖像分割等場景中。近年來，CNN已經(jīng)在圖像語義分割中取得了巨大的應(yīng)用，比較經(jīng)典的網(wǎng)絡(luò)模型有FCN，Segnet，DeepLab和UNet系列等。UNet網(wǎng)絡(luò)最早應(yīng)用在醫(yī)學(xué)圖像分割中，相比于FCN，Segnet，Deeplab等系列的經(jīng)典圖像分割模型，UNet網(wǎng)絡(luò)在訓(xùn)練樣本較少的情況下能獲得更準(zhǔn)確的分割結(jié)果。在紅外圖像電氣設(shè)備故障檢測中，缺少公開數(shù)據(jù)集，屬于小樣本的目標(biāo)分割，因此，本文利用UNet網(wǎng)絡(luò)主體模型對紅外圖像中電氣設(shè)備進(jìn)行分割。

2.1 UNet網(wǎng)絡(luò)

UNet網(wǎng)絡(luò)結(jié)構(gòu)簡單，整個網(wǎng)絡(luò)可以分為編碼和解碼，或者主干特征提取網(wǎng)絡(luò)和加強(qiáng)特征提取網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，在主干特征提取網(wǎng)絡(luò)（編碼）中利用3×3卷積模板進(jìn)行5層卷積，卷積模板數(shù)分別是64、128、256、512和1024，2×2最大池化對卷積后的特征圖下采樣使圖像特征圖尺寸減小，且采用relu作為激活函數(shù)。

在加強(qiáng)特征提?。ń獯a）網(wǎng)絡(luò)中對特征圖逐步上采樣和卷積來恢復(fù)圖像尺寸和特征圖通道數(shù)，解碼器和編碼器之間通過跳躍連接進(jìn)行特征圖融合，融合后繼續(xù)卷積，最后通過1×1×卷積輸出分割圖像結(jié)果，其中為通道數(shù)或圖像分割類別。從圖3可以看出，UNet像一個U型結(jié)構(gòu)，因此，將其稱之為UNet網(wǎng)絡(luò)。

圖3 UNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 ResNet

在深度卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)層數(shù)越多，越能夠提取圖像的深層特征，網(wǎng)絡(luò)模型的分割效果越好，但是網(wǎng)絡(luò)層數(shù)的增加容易導(dǎo)致淺層網(wǎng)絡(luò)的學(xué)習(xí)效果不佳，阻礙模型的收斂[16]。深度殘差網(wǎng)絡(luò)ResNet為解決這一問題而誕生。該網(wǎng)絡(luò)的一部分輸入不經(jīng)過卷積網(wǎng)絡(luò)傳到輸出，保留了部分淺層信息，避免了因特征提取網(wǎng)絡(luò)的加深而導(dǎo)致特征細(xì)節(jié)的丟失，在殘差網(wǎng)絡(luò)內(nèi)部將輸入與輸出直接相連，有效緩解了深層網(wǎng)絡(luò)中的梯度消失問題[15]。殘差網(wǎng)絡(luò)結(jié)構(gòu)原型如圖4所示，設(shè)輸入為，期望輸出為()，實(shí)際輸出為()，通過跳躍連接將輸入值直接連接到輸出，使實(shí)際輸出變?yōu)?)＋，學(xué)習(xí)目標(biāo)變?yōu)?)＝()＋，從而使得網(wǎng)絡(luò)學(xué)習(xí)的內(nèi)容變?yōu)檩斎肱c輸出的差值。深度殘差系列網(wǎng)絡(luò)有ResNet18，ResNet34，ResNet50，ResNet101等，18，34，50，101代表網(wǎng)絡(luò)層數(shù)。

2.3 Res-UNet模型

UNet的編碼部分實(shí)際上是VGG16網(wǎng)絡(luò)的特征提取部分，利用ResNet代替VGG16實(shí)現(xiàn)對UNet網(wǎng)絡(luò)中的編碼模塊，構(gòu)建Res-UNet網(wǎng)絡(luò)，如圖5所示，圖5中用ResNet18網(wǎng)絡(luò)構(gòu)建的UNet簡稱為Res18-UNet。

圖4 ResNet網(wǎng)絡(luò)結(jié)構(gòu)

Res-UNet網(wǎng)絡(luò)編碼部分：編碼部分分為4個模塊，與UNet模塊的編碼部分保持一致，不同的是UNet中每層卷積及下采樣模塊用ResNet代替，如圖5的ResNet18，block_（＝1,2,3,4），卷積模板均是3×3，每個模塊的第二層卷積的strid＝2，從而實(shí)現(xiàn)下采樣。每個模塊的卷積核的數(shù)量與UNet模型一一對應(yīng)。

解碼部分：解碼部分最后一層輸出的特征圖的數(shù)量為1024，對圖像進(jìn)行上采樣及卷積，并與編碼模塊的特征進(jìn)行特征拼接融合，逐層上采樣，使輸出的圖像與輸入圖像的大小一致，最后通過1×1×的卷積輸出分割結(jié)果，其中為圖像中目標(biāo)分割種類數(shù)，本文中＝3。

圖5 改進(jìn)UNet網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評價指標(biāo)

為了評估分割效果，用平均交并比（mean intersection over union，MIoU）MIoU和精確率（Precision）[17]來評價紅外圖像目標(biāo)分割效果。MIOU是語義分割效果的度量標(biāo)準(zhǔn)之一，通過計(jì)算兩個集合的交集和并集（intersection over union，IoU）的比例來反映分割結(jié)果與真實(shí)值之間的重合程度，在圖像語義分割中，這兩個集合分別是真實(shí)值（標(biāo)簽）和預(yù)測值。MIOU的值范圍為[0,1]，其值越大表示分割效果越好。MIOU的定義如下：

式中：p和p分別表示預(yù)測結(jié)果為實(shí)際結(jié)果為的像素總數(shù)和預(yù)測結(jié)果為、實(shí)際結(jié)果為的像素總數(shù)，而p表示預(yù)測結(jié)果為、真實(shí)結(jié)果也為的像素總數(shù)[15]。

Precision表示語義分割的類別像素準(zhǔn)確率，是在被所有預(yù)測為正的樣本中實(shí)際為正樣本的概率。精確率定義為：

式中：TP，F(xiàn)P分別表示真陽性和假陽性，表示被分為正例的示例中實(shí)際為正例的比例。

3.2 網(wǎng)絡(luò)訓(xùn)練

模型訓(xùn)練平臺操作系統(tǒng)Ubuntu 18.04，采用了tensorflow深度學(xué)習(xí)框架搭建的改進(jìn)ResNet網(wǎng)絡(luò)。硬件處理器為Intel(R) Core(TM) i5-9300H CPU @2.40GHz（2400MHz），顯卡型號為NVIDIA Geforce GTX 1660Ti。本文分別利用ResNet18，ResNet34，ResNet50作為UNet的編碼部分構(gòu)建Res18-UNet，Res34-UNet，Res50-UNet網(wǎng)絡(luò)，這些網(wǎng)絡(luò)稱之為Res-UNet系列網(wǎng)絡(luò)。為了測試不同網(wǎng)絡(luò)對復(fù)雜環(huán)境下的電氣設(shè)備分割效果，將Res-UNet系列網(wǎng)絡(luò)與UNet網(wǎng)絡(luò)，Deeplabv3＋網(wǎng)絡(luò)進(jìn)行了對比。文獻(xiàn)[15]在研究紅外圖像電流互感器的分割方法時指出Deeplabv3＋網(wǎng)絡(luò)比segnet和FCN系列網(wǎng)絡(luò)對電流互感器的分割效果更好，因此，本文選擇與Deeplabv3＋進(jìn)行對比。

UNet、Deeplabv3＋和Res-UNet系列網(wǎng)絡(luò)均為在tensorflow學(xué)習(xí)框架下搭建的平臺。將已標(biāo)注的2300張紅外圖片作為訓(xùn)練樣本，以4:1的比例隨機(jī)分配訓(xùn)練集與測試集，兩者的樣本圖數(shù)量分別是3504和876，樣本圖像中包含了電流互感器和斷路開關(guān)。Res-UNet系列，UNet和Deeplabv3＋網(wǎng)絡(luò)都采用交叉熵作為損失函數(shù)，損失函數(shù)定義如下：

式中：為類別的損失權(quán)重；p(z)為像素z屬于真實(shí)類別的概率。

3種方法訓(xùn)練得到的損失函數(shù)曲線如圖6所示，模型在epoch為100左右就達(dá)到收斂，Res18-UNet模型在epoch為10時基本達(dá)到收斂，收斂速度快，且收斂時其loss值更接近0。

圖6 網(wǎng)絡(luò)訓(xùn)練過程損失函數(shù)對比

相同的樣本對不同的網(wǎng)絡(luò)模型訓(xùn)練得到網(wǎng)絡(luò)參數(shù)，輸入測試樣本得到分割預(yù)測結(jié)果，并且用MIoU和Precision來評價紅外圖像目標(biāo)分割效果。圖7～10是在測試集中隨機(jī)選擇一些樣本測試分割效果，圖7～10均是在某省變電站拍攝的紅外圖像，表1是圖7～10分割結(jié)果對應(yīng)的MIoU值。圖7、8的分割目標(biāo)是電流互感器，圖9、10的分割目標(biāo)是斷路器。從圖7～10及表1的結(jié)果可以看出，UNet網(wǎng)絡(luò)的分割效果比Deeplabv3＋網(wǎng)絡(luò)分割效果更佳，Res-UNet系列網(wǎng)絡(luò)中，Res18-UNet網(wǎng)絡(luò)分割效果優(yōu)于其他4個網(wǎng)絡(luò)。圖7電流互感器所處背景簡單，Res18-UNet網(wǎng)絡(luò)的目標(biāo)分割率為0.9315，圖8中電流互感器處于復(fù)雜環(huán)境下，除了有電流互感器以外，還存在其他電氣設(shè)備，Res18-UNet網(wǎng)絡(luò)能夠在復(fù)雜背景下準(zhǔn)確分割出目標(biāo)，分割的準(zhǔn)確率達(dá)到0.8839。圖9、10兩張圖都包含了3個斷路器，個別斷路器被局部遮擋或者被其背景干擾，斷路器的紋理不清晰，Res18-UNet對兩者的分割準(zhǔn)確率在0.9左右，能分割出斷路器的主要輪廓。

圖7 簡單背景下電流互感器分割結(jié)果

圖8 復(fù)雜背景下電流互感器分割結(jié)果

表2是不同網(wǎng)絡(luò)對460張測試樣本集分割準(zhǔn)確率的統(tǒng)計(jì)結(jié)果，測試樣本被分為了3類，分別是電流互感器、斷路器和背景。利用MIoU和準(zhǔn)確率來衡量不同樣本對3類目標(biāo)分割的準(zhǔn)確性，其分割結(jié)果如表2所示，從表2的數(shù)據(jù)可知，UNet網(wǎng)絡(luò)比Deeplabv3＋網(wǎng)絡(luò)的分割結(jié)果更準(zhǔn)確，相比于其他4種網(wǎng)絡(luò)，Res18-UNet對兩種電氣設(shè)備的分割效果更好，Res34-UNet和Res50-UNet兩種網(wǎng)絡(luò)的分割效果反而比UNet的分割效果更差。可見，利用ResNet網(wǎng)絡(luò)作為UNet的編碼部分提取特征構(gòu)建的Res-UNet網(wǎng)絡(luò)的確可以提高目標(biāo)分割的準(zhǔn)確性，但是深層網(wǎng)絡(luò)（如Res34-UNet和Res50-UNet）因訓(xùn)練樣本少導(dǎo)致的過擬合反而導(dǎo)致分割準(zhǔn)確性下降。

圖10 局部遮擋下斷路器分割結(jié)果

表1 不同分割方法得到的MIOU值

表2 測試數(shù)據(jù)集的準(zhǔn)確率

4 結(jié)論

本文研究了復(fù)雜背景下紅外圖像電氣設(shè)備目標(biāo)分割，以電流互感器和斷路器為分割目標(biāo)，構(gòu)建Res-UNet系列網(wǎng)絡(luò)模型對小樣本的紅外圖像電氣設(shè)備進(jìn)行分割。通過對Deeplabv3＋網(wǎng)絡(luò)，UNet和Res-UNet網(wǎng)絡(luò)在紅外圖像中電氣設(shè)備的分割效果進(jìn)行對比，發(fā)現(xiàn)廣泛應(yīng)用在醫(yī)學(xué)圖像分割的UNet模型對紅外圖像的分割效果較好，準(zhǔn)確性優(yōu)于Deeplabv3＋模型。Res18-UNet比UNet的分割效果更好，在測試樣本數(shù)量為876的數(shù)據(jù)集下，MIoU值超過89%，對電流互感器和斷路器的分割準(zhǔn)確率Precision超過93%。由于樣本數(shù)量小，Res34-UNet和Res50-UNet兩種更深層網(wǎng)絡(luò)分割準(zhǔn)確性反而下降，在樣本量充足的情況下，深層Res-UNet網(wǎng)絡(luò)可以提高電氣設(shè)備的分割準(zhǔn)確性。限于篇幅，本文只針對電氣設(shè)備的分割問題展開了部分研究，對分割的目標(biāo)后處理能進(jìn)一步優(yōu)化分割結(jié)果，如膨脹，腐蝕、輪廓區(qū)域提取和空洞填充，從而提取整個電氣設(shè)備的完整輪廓，為后續(xù)電氣故障缺陷自動檢測提供準(zhǔn)確的數(shù)據(jù)源。

[1] 康龍. 基于紅外圖像處理的變電站設(shè)備故障診斷[D]. 北京: 華北電力大學(xué), 2016.

KANG Long. Substation Equipment Fault Diagnosis Based on Infrared Image[D]. Beijing: North China Electric Power University, 2016.

[2] 曾亮. 基于紅外圖像的變電站設(shè)備故障精準(zhǔn)定位方法的研究[D]. 重慶: 重慶理工大學(xué), 2019.

ZENG Liang. Research on Precise Fault Location Method of Substation Equipment Based on Infrared Image[D]. Chongqing: Chongqing University of Technology, 2019.

[3] ZOU H, HUANG F. A novel intelligent fault diagnosis method for electrical equipment using infrared thermography[J]., 2015, 73: 29-35.

[4] 周建國, 雷民, 楊褚明, 等. 帶電設(shè)備紅外診斷應(yīng)用規(guī)范: DL/T 664-2008[S]. 國家能源局, [2016-12-05].

ZHOU Jianguo, LEI Min, YANG Chuming, et al. Application Specification for Infrared Diagnosis of Live Equipment[S]. National Energy Administration, [2016-12-05].

[5] 許志浩, 鄭詩泉, 康兵, 等. 基于三相自搜尋比較法的電氣設(shè)備過熱故障識別方法[J]. 紅外技術(shù), 2021, 43(11): 1112-1118.

XU Zhihao, ZHENG Shiquan, KANG Bing, et al. Overheat fault identification method for electrical equipment based on three-phase self-searching comparison method[J]., 2021, 43(11): 1112-1118.

[6] Rahmani A, Haddadnia J, SeryasatO. Intelligent fault detection of electrical equipment in ground substations using thermo vision technique[C]//2010 2, 2010: V2-150-V2-154.

[7] LIN K C, LAI C S. Fault recognition system of electrical components in scrubber using infrared images[C]//, 2003: 1303-1310.

[8] 王晶, 姚鄒靜, 趙春暉. 基于紅外圖像時空特征的電力設(shè)備故障診斷[J]. 控制工程, 2021, 28(8): 1683-1690.

WANG Jing, YAO Zoujing, ZHAO Chunhui. A fault diagnosis method for power equipment based on spatiotemporal features of infrared images[J]., 2021, 28(8): 1683-1690.

[9] 李文璞, 謝可, 廖逍, 等. 基于Faster RCNN變電設(shè)備紅外圖像缺陷識別方法[J]. 南方電網(wǎng)技術(shù), 2019, 13(12): 79-84.

LI Wenpu, XIE Ke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for transformer equipment based on improved faster RCNN[J]., 2019, 13(12): 79-84.

[10] 王旭紅, 李浩, 樊紹勝, 等. 基于改進(jìn)SSD的電力設(shè)備紅外圖像異常自動檢測方法[J]. 電工技術(shù)學(xué)報, 2020, 35(S1): 302-310.

WANG Xuhong, LI Hao, FAN Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J].2020, 35(S1): 302-310.

[11] 鄭含博, 李金恒, 劉洋, 等. 基于改進(jìn)YOLOv3的電力設(shè)備紅外目標(biāo)檢測模型[J]. 電工技術(shù)學(xué)報, 2021, 36(7): 1389-1398.

ZHENG Hanbo, LI Jinheng, LIU Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]., 2021, 36(7): 1389-1398.

[12] 黃新宇, 張洋, 王黎明, 等. 基于Mask-RCNN算法的復(fù)合絕緣子串紅外圖像分割與溫度讀取[J]. 高壓電器, 2021, 57(9): 87-94.

HUANG Xinyu, ZHANG Yang, WANG Liming, et al. Infrared image segmentation and temperature reading of composite insulator strings based on mask?RCNN algorithm[J]., 2021, 57(9): 87-94.

[13] 李文璞, 毛穎科, 廖逍, 等. 基于旋轉(zhuǎn)目標(biāo)檢測的變電設(shè)備紅外圖像電壓致熱型缺陷智能診斷方法[J]. 高電壓技術(shù), 2021, 47(9): 3246-3253.

LI Wenpu, MAO Yingke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for substation equipment voltage type thermal defects based on rotating target detection [J]., 2021, 47(9): 3246-3253.

[14] 劉云鵬, 張喆, 裴少通, 等. 基于深度學(xué)習(xí)的紅外圖像中劣化絕緣子片的分割方法[J]. 電測與儀表, 2022, 59(9): 63-68.

LIU Yunpeng, ZHANG Zhe, PEI Shaotong, et al. Faulty insulator segmentation method in infrared image based on deep learning[J]., 2022, 59(9): 63-68.

[15] 袁剛, 許志浩, 康兵, 等. 基于DeepLabv3+網(wǎng)絡(luò)的電流互感器紅外圖像分割方法[J]. 紅外技術(shù), 2021, 43(11): 1127-1134.

YUAN Gang, XU Zhihao, KANG Bing, et al. Deep Labv3+ network-based infrared image segmentation method for current transformer[J]., 2021, 43(11): 1127-1134.

[16] 谷世舉, 卜雄洙, 靳建偉, 等. 基于改進(jìn)Unet網(wǎng)絡(luò)的炮口火焰分割方法[J]. 國外電子測量技術(shù), 2021, 40(4): 16-21.

GU Shiju, BU Xingzhu, JIN Jianwei, et al. Muzzle flame segmentation method based on improved Unet network[J]., 2021, 40(4): 16-21.

[17] CHEN Z, ZHU H. Visual quality evaluation for semantic segmentation: subjective assessment database and objective assessment measure[J]., 2019, 28(12): 5785-5796.

Deep Residual UNet Network-based Infrared Image Segmentation Method for Electrical Equipment

LIU He1，ZHAO Tiancheng1，LIU Junbo1，JIAO Lixin1，XU Zhihao2，YUAN Xiaocui2

(1.,130021,;2.,,330099,)

Infrared thermal image processing is an effective method for detecting defects in electrical equipment. Aiming at the problem of electrical equipment segmentation in infrared thermal images with a complex background, in this study we propose a deep residual UNet network for infrared thermal image segmentation. Using a deep residual network to replace VGG16 to perform feature extraction and coding for the UNet network, a deep residual series UNET network was constructed to segment electrical equipment. To validate the effectiveness of the Res-UNet network, infrared images, including current transformers and circuit breakers, were used to test the segmentation results and were compared with the traditional UNet and Deeplabv3+ networks. The networks were tested using 876 images. The experimental results show that RES18-UNET can accurately segment electrical equipment; the segmentation precision of current transformers and circuit breakers is greater than 93%, and the mean intersection over union (MIoU) is greater than 89%. Our method obtains more accurate segmentation results than UNet and Deeplabv3+, setting the basis for intelligent diagnosis of electrical faults.

infrared image, electrical fault diagnosis, image segmentation, UNet

TN219；TM452

A

1001-8891(2022)12-1351-07

2022-03-25；

2022-04-29.

劉赫（1984-），男，吉林長春人，高級工程師，研究方向?yàn)殡娏υO(shè)備故障檢測與診斷。E-mail: liuhehe1984@163.com。

趙天成（1992-），男，吉林長春人，工程師，碩士，研究方向?yàn)殡娏υO(shè)備故障檢測與診斷。E-mail: 583107503@qq.com。

國網(wǎng)吉林省電力有限公司揭榜掛帥項(xiàng)目（2021JBGS-06）。