基于DeepLabv3+網(wǎng)絡(luò)的電流互感器紅外圖像分割方法

袁 剛，許志浩，康 兵，羅 呂，張文華，趙天成

基于DeepLabv3+網(wǎng)絡(luò)的電流互感器紅外圖像分割方法

袁 剛1，許志浩1，康 兵1，羅 呂1，張文華1，趙天成2

（1. 南昌工程學(xué)院 電氣工程學(xué)院，江西 南昌 330099；2. 國網(wǎng)吉林省電力有限公司電力科學(xué)研究院，吉林 長春 130021）

紅外圖像智能分析是變電設(shè)備故障診斷的一種有效方法，目標(biāo)設(shè)備分割是其關(guān)鍵技術(shù)。本文針對復(fù)雜背景下電流互感器整體分割難的問題，采用基于ResNet50的DeepLabv3＋神經(jīng)網(wǎng)絡(luò)，用電流互感器的紅外圖像訓(xùn)練語義分割模型的方法，對收集到的樣本采用限制對比度自適應(yīng)直方圖均衡化方法實現(xiàn)圖像輪廓增強(qiáng)，構(gòu)建樣本數(shù)據(jù)集，并運用圖像變換擴(kuò)充樣本數(shù)據(jù)集，搭建語義分割網(wǎng)絡(luò)訓(xùn)練語義分割模型，實現(xiàn)電流互感器像素與背景像素的二分類。通過文中方法對420張電流互感器紅外圖像測試，結(jié)果表明，該方法的平均交并比（Mean Intersection over Union, MIoU）為87.5%，能夠從測試圖像中精確分割出電流互感器設(shè)備，為后續(xù)電流互感器的故障智能診斷做鋪墊。

紅外圖像；電流互感器；ResNet50；DeepLabv3＋；語義分割

0 引言

在變電設(shè)備紅外圖像分析的過程中，高質(zhì)量的圖像能簡化故障診斷算法流程。然而，真實的變電站場景復(fù)雜，背景干擾大，拍攝的紅外圖像成像質(zhì)量低；此外，某些紅外熱像儀還自帶標(biāo)記，紅外圖像中的比色條、熱像儀logo、溫度標(biāo)簽等覆蓋了圖像中部分溫度信息，造成數(shù)據(jù)污染，增加了變電設(shè)備故障診斷難度[1]。當(dāng)前基于紅外圖像變電設(shè)備故障自動診斷主要分為3步：查找感興趣區(qū)域（Region of Interest，ROI）、特征提取和狀態(tài)分類[2]。其中查找ROI的目的主要是縮小目標(biāo)對象分析范圍，主流方法包括目標(biāo)分割與目標(biāo)檢測兩種手段。該類方法在實施過程中可分為兩種思路，即一步定位熱點區(qū)域法和多步定位熱點區(qū)域法。

一步定位熱點區(qū)域是用一些分割算法或目標(biāo)檢測算法直接從變電設(shè)備的紅外圖像中分割或界定過熱區(qū)域。康龍等[3]利用紅外圖像灰度直方圖確定聚類中心和聚類個數(shù)，用遺傳算法來確定最優(yōu)聚類中心，最后用模糊C均值（Fuzzy C-means）來分割過熱區(qū)域；曾亮等[4]用大津（OTSU）算法和區(qū)域生長法分割過熱區(qū)域；Hui Zou等[5]利用均值聚類算法（k-means clustering algorithm）將灰度圖像分割成個區(qū)域，計算個區(qū)域中的平均值，將其作為聚類中心不斷迭代來分割最終的過熱區(qū)域。隨著深度卷積網(wǎng)絡(luò)在圖像處理領(lǐng)域取得突破性進(jìn)展，目標(biāo)檢測算法定位故障區(qū)域的方式也取得了較好的成績。王旭紅等[6]利用Single Shot MultiBox Detector（SSD），林穎等[7]利用You Only Look Once（YOLO），劉云鵬等[8]利用Faster Region-based CNN等目標(biāo)檢測網(wǎng)絡(luò)實現(xiàn)紅外輸變電設(shè)備異常發(fā)熱區(qū)域界定。

然而，上述方法難以自動規(guī)避數(shù)據(jù)污染和背景熱源干擾，處理結(jié)果都缺少對象語義表達(dá)，且主要適用于發(fā)熱較大的電流致熱型故障；而對于發(fā)熱較小的電壓致熱產(chǎn)生的熱點區(qū)域卻難以做到準(zhǔn)確定位，甚至失敗。此外，用神經(jīng)網(wǎng)絡(luò)直接實現(xiàn)變電設(shè)備故障區(qū)域界定的算法需要大量的訓(xùn)練數(shù)據(jù)集，紅外故障數(shù)據(jù)集樣本量不足是限制該方法的主要問題。

綜上所述，用一步定位熱點區(qū)域方法實現(xiàn)局部過熱區(qū)域定位難以滿足變電設(shè)備故障檢測需求，利用多步定位熱點區(qū)域可以提高故障分析準(zhǔn)確率。這類方法的主要思想是：先將目標(biāo)設(shè)備整體從復(fù)雜背景中進(jìn)行分割，減少數(shù)據(jù)污染和背景干擾，再進(jìn)一步分割可疑熱區(qū)域，保證后續(xù)提取的熱特征量的空間位置信息是來自被分析的變電設(shè)備本體[1]。

圖像語義分割是一種能讓計算機(jī)理解圖像的技術(shù)，在一個網(wǎng)絡(luò)中同時實現(xiàn)圖像中的物體類別識別和高精度的圖像分割。近年來，該技術(shù)在可見光的圖像語義分割已經(jīng)取得不俗的效果[9]，而對變電設(shè)備紅外圖像的場景理解的研究還處于初級階段。本文用電流互感器作為訓(xùn)練樣本，DeepLabv3＋網(wǎng)絡(luò)訓(xùn)練模型[10]，從復(fù)雜背景中分割設(shè)備整體，結(jié)合圖像形態(tài)學(xué)方法對語義分割結(jié)果進(jìn)行后處理，以提高最終分割的精度，為后續(xù)變電設(shè)備不同致熱因素導(dǎo)致的故障預(yù)判做鋪墊。

1 算法理論

語義分割技術(shù)是利用計算機(jī)將圖像中的像素按照圖像表達(dá)的語義信息進(jìn)行分類[10]。在以往的分類網(wǎng)絡(luò)中，會將圖片進(jìn)行降維處理，丟棄圖片原有的空間信息。而圖像的語義分割算法需要分類每個像素并將分類結(jié)果還原成帶有語義信息的與原圖同等大小的圖片。因此，保留像素的空間信息對于圖像語義分割而言尤為重要。隨著全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）的提出，Long[11]等人將AlexNet，VGGNet和GoogLeNet等主流分類網(wǎng)絡(luò)中的全連接層替換成卷積層，并在最后添加轉(zhuǎn)置卷積將特征圖恢復(fù)到原來的尺寸[12]，圖像像素的空間位置特征得以保留，語義分割才有了突破性發(fā)展。本文利用近年來在公共數(shù)據(jù)集中測試MIoU得分最高的DeepLabv3＋作為訓(xùn)練變電設(shè)備語義分割模型的網(wǎng)絡(luò)。

1.1 DeepLabv3＋網(wǎng)絡(luò)結(jié)構(gòu)

編碼解碼（Encode-Decode）結(jié)構(gòu)[13]是語義分割網(wǎng)絡(luò)中的主流結(jié)構(gòu)，所謂的編碼過程是通過特征提取網(wǎng)絡(luò)提取變電設(shè)備的特征，再經(jīng)過解碼實現(xiàn)特征信息重組，在這個過程中，網(wǎng)絡(luò)根據(jù)圖像的標(biāo)簽信息不斷修正參數(shù)，最終實現(xiàn)監(jiān)督式學(xué)習(xí)的對像語義分割。

DeepLabv3＋的特征提取主干網(wǎng)絡(luò)為殘差神經(jīng)網(wǎng)絡(luò)ResNet[14]。深度殘差網(wǎng)絡(luò)的設(shè)計是為了克服由于網(wǎng)絡(luò)深度加深而產(chǎn)生的學(xué)習(xí)效率變低與準(zhǔn)確率無法有效提升的問題。該網(wǎng)絡(luò)允許一部分輸入不經(jīng)過卷積網(wǎng)絡(luò)傳到輸出，保留了部分淺層信息，避免了因特征提取網(wǎng)絡(luò)的加深而導(dǎo)致特征細(xì)節(jié)的丟失[15]，殘差模塊的引入可以使網(wǎng)絡(luò)在加深的同時保證較高的準(zhǔn)確率，且更易于網(wǎng)絡(luò)的優(yōu)化，提高網(wǎng)絡(luò)收斂速度。

ResNet殘差網(wǎng)絡(luò)原型如圖1(a)所示，網(wǎng)絡(luò)結(jié)構(gòu)主要由卷積殘差塊（Conv-block）和恒等殘差塊（Identity-block）兩部分基本塊組成，如圖1(b)(c)所示。以ResNet50為例，其中Conv-block共4個，是用來調(diào)整輸入的長、寬及通道數(shù)；Identity-block共12個，是用來串聯(lián)網(wǎng)絡(luò)，增加網(wǎng)絡(luò)層數(shù)。殘差網(wǎng)絡(luò)的計算公式如下：

y＝(x)＋(x,W) (1)

x＋1＝(y) (2)

式(1)、(2)中：x，y分別表示第個殘差網(wǎng)絡(luò)的輸入和輸出；x＋1表示第＋1層殘差網(wǎng)絡(luò)的輸入；W表示卷積操作；(x,W)表示殘差函數(shù)；表示Relu激活函數(shù)。其中(x)表示殘差邊的輸出，在Conv-block網(wǎng)絡(luò)中殘差邊的輸出需要調(diào)整輸入圖像的大小并進(jìn)行歸一化，而在Identity-block結(jié)構(gòu)中殘差邊的輸入和輸出恒等，這兩種網(wǎng)絡(luò)結(jié)構(gòu)輸出計算公式為：

式中：g(m, n)為卷積核。

在整個編碼網(wǎng)絡(luò)結(jié)構(gòu)中為了獲得更加高級的圖像特征，在ResNet50網(wǎng)絡(luò)末端添加空洞卷積空間金字塔模塊（Atrous Spatial Pyramid Pooling, ASPP）[16]，它接受基網(wǎng)絡(luò)提取的高級特征圖作為輸入，經(jīng)過具有不同空洞速率的空洞卷積，最后將結(jié)果輸出進(jìn)行堆疊，達(dá)到覆蓋多尺度感受野的目的。

上述兩部分構(gòu)成了DeepLabv3＋網(wǎng)絡(luò)的編碼模塊。將編碼模塊輸出的特征圖與編碼模塊中的淺層特征相結(jié)合，經(jīng)過上采樣步驟構(gòu)成解碼模塊，該模塊的功能是利用轉(zhuǎn)置卷積將特征圖像進(jìn)行逐層放大最終還原成與輸入圖像尺寸同等大小的圖像，最后經(jīng)過Softmax Layer求出輸出圖像的像素所在類別的概率，Pixel Classification Layer對像素進(jìn)行分類[17]，輸出網(wǎng)絡(luò)預(yù)測的label。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其中softmax函數(shù)定義為：

式中：zi表示第i個節(jié)點輸出的像素值；K表示網(wǎng)絡(luò)分類的分類個數(shù)；pk(zi)表示zi屬于第k個類別的概率。

1.2 數(shù)學(xué)形態(tài)學(xué)運算

考慮到訓(xùn)練的模型難以準(zhǔn)確無誤地完成對輸入圖像像素分類，或多或少會有一些與設(shè)備本體顏色相近的像素點被分割出來。因此本文采用數(shù)學(xué)形態(tài)學(xué)中的開閉運算對分割后的圖片進(jìn)行處理。利用開運算對分割后的圖像進(jìn)行腐蝕，之后做膨脹運算，平滑分割后圖像的輪廓，同時刪除一些誤分割的像素塊，該運算的數(shù)學(xué)表達(dá)式為：

利用閉運算對圖像做膨脹之后再進(jìn)行腐蝕處理，填充一些圖像中出現(xiàn)的孔洞或裂口，其表達(dá)式為：

以上兩式中為待處理圖像；是單個結(jié)構(gòu)化元素對象。

2 電流互感器紅外圖像數(shù)據(jù)集預(yù)處理

由于拍攝設(shè)備紅外圖像的熱像儀型號各異，拍攝環(huán)境復(fù)雜，部分熱攝像儀拍攝的圖片噪點多，此外，當(dāng)有設(shè)備表面溫度與環(huán)境溫度相差較小時，設(shè)備特征被淹沒在環(huán)境中，丟失了大量細(xì)節(jié)特征，不利于圖像標(biāo)注和網(wǎng)絡(luò)提取設(shè)備的輪廓特征。因此需要對收集到的圖像做增強(qiáng)處理。

2.1 基于對比度限制自適應(yīng)直方圖均衡化的圖像增強(qiáng)算法

由于紅外圖像反應(yīng)的是設(shè)備溫度和環(huán)境溫度的高低分布，當(dāng)環(huán)境溫度與設(shè)備本體溫度相近時或在拍攝時設(shè)置較大的溫度區(qū)間，將使設(shè)備輪廓與背景環(huán)境混為一體，邊界模糊。如采用直方圖均化（Histogram Equalization，HE）方法對全局圖像進(jìn)行增強(qiáng)，直方圖大峰值可能落在背景噪聲或非感興趣區(qū)域；在這種情況下，直方圖均衡化會導(dǎo)致圖像背景和設(shè)備灰度值提高，對比度降低。處理效果圖和直方圖如圖3(b)，(e)所示。

與上述方法相比，使用自適應(yīng)直方圖均衡化（Adaptive histogram equalization，AHE）[18]改進(jìn)的對比度限制自適應(yīng)直方圖均衡化（Contrast limit adaptive histogram equalization，CLAHE）[19]算法能夠在一定程度上抑制噪聲的放大，這主要是通過限制AHE算法的對比提高程度來達(dá)到的。CLAHE通過在計算累積直方圖函數(shù)前用預(yù)先定義的閾值來裁剪直方圖以達(dá)到限制放大幅度的目的。在處理過程中，對于給定的輸入圖像，CLAHE算法將圖像分割為互不重疊的圖像塊，對劃分后的每一個子塊計算其對應(yīng)的直方圖，使用預(yù)先設(shè)定的閾值對每個子塊直方圖進(jìn)行裁剪，同時統(tǒng)計整個直方圖中超過上限閾值的像素數(shù)，并將這些像素數(shù)重新分布到對應(yīng)子塊的直方圖中。最后，通過使用雙線性插值來消除邊界偽影，在子矩陣上下文區(qū)域內(nèi)實現(xiàn)像素的新灰度級分配的計算。處理效果圖和直方圖如圖3(c)、(f)所示。

2.2 數(shù)據(jù)集制作與劃分

在制作訓(xùn)練數(shù)據(jù)集時，使用圖像標(biāo)注軟件將上一步預(yù)處理好的圖像中占據(jù)主體像素的設(shè)備進(jìn)行精細(xì)標(biāo)注，其余區(qū)域都視作背景。此外電流互感器的常見故障為電流致熱型故障，常發(fā)生于導(dǎo)線與設(shè)備的連接處，在標(biāo)注時應(yīng)把導(dǎo)線與設(shè)備連接處也視為設(shè)備的一個特征包含到設(shè)備本體當(dāng)中，如圖4所示。

圖3 圖像增強(qiáng)及對應(yīng)直方圖

圖4 數(shù)據(jù)集中原圖與標(biāo)簽圖

數(shù)據(jù)擴(kuò)充是一種常見的技術(shù)，已被證明有利于機(jī)器學(xué)習(xí)模型的一般培訓(xùn)，特別是深層架構(gòu)，要么加速收斂，要么充當(dāng)正則化器，從而避免過擬合，提高泛化能力[20]。數(shù)據(jù)量的不足是當(dāng)前網(wǎng)絡(luò)模型泛化能力弱的關(guān)鍵因素。本文收集到的電流互感器紅外圖像數(shù)量有限，共700張，在訓(xùn)練時還要從中劃分一部分作為驗證集和測試集，以這些數(shù)據(jù)來訓(xùn)練語義分割模型難以達(dá)到一個好的分割精度。因此，采取圖像扭曲變換來創(chuàng)建新樣本擴(kuò)充數(shù)據(jù)集，以避免訓(xùn)練過程中出現(xiàn)過擬合。針對電流互感器的紅外圖像數(shù)據(jù)集采用平移、旋轉(zhuǎn)、翻轉(zhuǎn)等圖像變換方式來擴(kuò)充，如圖5所示，每一張圖片和對應(yīng)的標(biāo)簽經(jīng)過3次變換，最終樣本總數(shù)為2100張。將上述處理好的數(shù)據(jù)集劃分60%作為訓(xùn)練樣本集，用來建立像素分類器模型；劃分20%作為驗證集，用來驗證訓(xùn)練效果并且做超參數(shù)調(diào)整；劃分20%作為測試集，用來測試模型的泛化能力。

3 實驗過程與分析

3.1 實驗流程

本文中通過構(gòu)建電流互感器紅外圖像作為訓(xùn)練語義分割模型的數(shù)據(jù)集，該數(shù)據(jù)集中包含了多種不同電壓等級的電流互感器，同時也包含了不同拍照角度，不同背景和不同氣候條件下的圖像，這些圖像能夠真實反映變電站內(nèi)的復(fù)雜環(huán)境。訓(xùn)練模型的網(wǎng)絡(luò)是以ResNet50為基網(wǎng)絡(luò)的DeepLabv3＋。此外，本文還設(shè)計了多組對比實驗，第一組是基于ResNet50的DeepLabv3＋模型和基于ResNet18的DeepLabv3＋模型對比；第二組是用上述兩個模型和FCN-8s、SegNet模型對比；第三組是在DeepLabv3＋（基網(wǎng)絡(luò)為ResNet50）網(wǎng)絡(luò)之后加入形態(tài)學(xué)開閉運算對比。

圖5 原圖像數(shù)據(jù)集與擴(kuò)充數(shù)據(jù)

由于實驗過程需要進(jìn)行大量的圖像計算，對電腦的內(nèi)存和GPU性能要求都比較高。因此本文在工作站平臺上以Matlab的深度學(xué)習(xí)工具箱作為實驗軟件平臺，搭建了FCN-8s，SegNet，DeepLabv3＋（基網(wǎng)絡(luò)為ResNet50）和DeepLabv3＋（基網(wǎng)絡(luò)為ResNet18）網(wǎng)絡(luò)進(jìn)行分別訓(xùn)練。電腦的硬件參數(shù)為：CPU為intel(R)Xeon(R) Gold5120T, 128G內(nèi)存，配備QuadorP2000顯卡。

在訓(xùn)練過程中，首先對數(shù)據(jù)集進(jìn)行擴(kuò)充，然后將數(shù)據(jù)集分批送入網(wǎng)絡(luò)訓(xùn)練。設(shè)置訓(xùn)練最小批次為10，迭代次數(shù)為9800次，學(xué)習(xí)率采用分段調(diào)整，設(shè)置初始學(xué)習(xí)率為0.01，每迭代10輪低0.1，這允許網(wǎng)絡(luò)以更高的初始學(xué)習(xí)率快速學(xué)習(xí)，而一旦學(xué)習(xí)率下降，能夠求得接近局部最優(yōu)的解。通過設(shè)置‘Vidation Data’參數(shù)，在每輪都對照驗證數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行測試。'Validation Patience'設(shè)置為4，在驗證準(zhǔn)確度收斂時提前停止訓(xùn)練，這可以防止網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)集進(jìn)行過擬合。采用帶動量的隨機(jī)梯度下降（Stochastic Gradient Descent with Momentum，SGDM）算法，動量參數(shù)為0.9。利用交叉熵計算預(yù)測誤差，進(jìn)行反向傳遞，更新網(wǎng)絡(luò)參數(shù)。損失函數(shù)為：

式中：wk為類別k的損失權(quán)重；pk(zi)為像素zi屬于真實類別k的概率。訓(xùn)練過程如圖6所示，隨著學(xué)習(xí)率的下降，最終訓(xùn)練6850次，驗證準(zhǔn)確度為95.49%，驗證損失為0.1189。

3.2 評估指標(biāo)

在實驗中用MIoU[21]作為分割結(jié)果評價指標(biāo)，它計算兩個集合的交集和并集之間的比值的平均值，可以反應(yīng)分割結(jié)果和真實標(biāo)簽的重合程度。假設(shè)為像素分類類別總數(shù)，p和p分別表示預(yù)測結(jié)果為實際結(jié)果為的像素總數(shù)和預(yù)測結(jié)果為，實際結(jié)果為的像素總數(shù)，而p表示預(yù)測結(jié)果為，真實結(jié)果也為的像素總數(shù)。計算公式如(8)所示。

3.3 測試數(shù)據(jù)集分析

表1是基于ResNet50的DeepLabv3＋，基于ResNet18的DeepLabv3＋，SegNet和FCN-8s等模型在420張測試數(shù)據(jù)集上測試的結(jié)果。

表1 多種模型測試數(shù)據(jù)表

在測試過程中數(shù)據(jù)集中依然使用多種不同電壓等級的電流互感器進(jìn)行測試，測試結(jié)果如圖7所示，其中(a)表示測試圖，(b)表示測試圖的標(biāo)簽圖，(c)表示基于ResNet50的DeepLabv3＋模型的預(yù)測圖，(d)表示基于ResNet18的DeepLabv3＋模型的預(yù)測圖，(e)表示SegNet模型的預(yù)測圖，(f)表示FCN-8s模型的預(yù)測圖。從實際的測試結(jié)果可以看出，4種模型都能夠從復(fù)雜背景中預(yù)測設(shè)備空間位置和部分輪廓，但是依然難以避免地會出現(xiàn)部分不屬于電流互感器的像素被分類到該類別中，屬于電流互感器類別的像素卻被預(yù)測成背景，其中SegNet模型誤分割和漏分割程度更高，F(xiàn)CN-8s模型次之，與DeepLabv3＋的兩個模型相比，SegNet和FCN-8s模型分割結(jié)果較為粗糙；而基于ResNet18的DeepLabv3＋模型的分割結(jié)果能較大程度上接近原標(biāo)簽圖像，但與基于ResNet50的DeepLabv3＋模型相比而言，基于ResNet50的DeepLabv3＋模型對圖像分割的細(xì)節(jié)控制更好。

對比實驗結(jié)果可以看出使用殘差網(wǎng)絡(luò)和ASPP模塊的DeepLabv3＋相比于以VGG-16為特征提取網(wǎng)絡(luò)的SegNet和FCN-8s網(wǎng)絡(luò)結(jié)構(gòu)能夠提取更加高級的特征，同時DeepLabv3＋在進(jìn)行上采樣時能夠融合大量的淺層信息特征，對于后期的像素分類和分割結(jié)果能夠保留更多細(xì)節(jié)。由于本文用于訓(xùn)練的圖像數(shù)量小，因此，選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)可訓(xùn)練參數(shù)量是訓(xùn)練模型的關(guān)鍵。經(jīng)本文實驗得出，基于ResNet50的DeepLabv3＋網(wǎng)絡(luò)能夠滿足在小樣本條件下訓(xùn)練語義分割模型從復(fù)雜背景環(huán)境下分割電流互感器設(shè)備的要求。

對于基于ResNet50的DeepLabv3＋模型誤分割的情況，采用形態(tài)學(xué)中的開運算去除誤分割產(chǎn)生的小區(qū)域像素，同時處理分割邊緣，使電流互感器邊緣變得平滑。根據(jù)統(tǒng)計，單個電流互感器在圖像中的面積均大于1200，而誤分割區(qū)域通常較小，因此可以設(shè)置一個面積閾值為1200，當(dāng)面積小于1200時刪除該區(qū)域，其余像素保留；開運算操作后進(jìn)行閉運算，使圖像中的孔洞封閉。加入數(shù)學(xué)形態(tài)學(xué)運算處理后在測試數(shù)據(jù)集中的表現(xiàn)如表2所示，處理圖像如圖8所示，其中(a)表示基于ResNet50的DeepLabv3＋模型的預(yù)測圖，(b)表示預(yù)測圖經(jīng)過后處理的圖像。

表2 基于ResNet50的DeepLabv3＋模型加入后處理前后測試對比

圖8 語義分割后處理圖像

4 總結(jié)

本文以電流互感器為研究對象，針對復(fù)雜背景和圖片中數(shù)據(jù)污染的電流互感器設(shè)備分割問題，采用了基于ResNet50的DeepLabv3＋神經(jīng)網(wǎng)絡(luò)，利用電流互感器紅外圖像訓(xùn)練語義分割模型。通過實驗表明：基于ResNet50的DeepLabv3＋神經(jīng)網(wǎng)絡(luò)訓(xùn)練的語義分割模型能夠較為精細(xì)地從紅外圖像中分割出電流互感器，并且結(jié)合圖像的開閉運算能夠處理誤分割的像素點，最終在測試集上的MIoU為0.875，有效地提高了分割精度，最終實現(xiàn)電流互感器設(shè)備像素與背景像素的分類。

限于文章篇幅有限，本文僅研究了深度學(xué)習(xí)方法用于電流互感器紅外圖像場景理解的問題，僅是分割出目標(biāo)設(shè)備。在后續(xù)的工作當(dāng)中，逐步實現(xiàn)可疑故障區(qū)域的分割以及故障類型分類，最終實現(xiàn)電流互感器設(shè)備故障自動診斷。

[1] 王小芳, 毛華敏. 一種復(fù)雜背景下的電力設(shè)備紅外圖像分割方法[J].紅外技術(shù), 2019, 41(12): 1111-1116.

WANG Xiaofang, MAO Huamin. Infrared Image Segmentation Method for Power Equipment in Complex Background[J]., 2019, 41(12): 1111-1116.

[2] GONG X, YAO Q, WANG M, et al. A deep learning approach for oriented electrical equipment detection in thermal images[J]., 2018: 1-1. Doi: 10.1109/ACCESS.2018.2859048.

[3] 康龍. 基于紅外圖像處理的變電站設(shè)備故障診斷[D]. 北京: 華北電力大學(xué), 2016.

KANG Long. Substation equipment fault diagnosis based on infrared image processing[D]. Beijing: North China Electric Power University, 2016.

[4] 曾亮. 基于紅外圖像的變電站設(shè)備故障精準(zhǔn)定位方法的研究[D]. 重慶: 重慶理工大學(xué), 2019.

ZENG Liang. Research on precise fault location method of substation equipment based on infrared image[D]. Chongqing: Chongqing University of Technology, 2019.

[5] ZOU H, HUANG F. A novel intelligent fault diagnosis method for electrical equipment using infrared thermography[J]., 2015, 73: 29-35.

[6] 王旭紅, 李浩, 樊紹勝, 等. 基于改進(jìn)SSD的電力設(shè)備紅外圖像異常自動檢測方法[J]. 電工技術(shù)學(xué)報, 2020, 35(S1): 302-310.

WANG Xuhong, LI Hao, FAN Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]., 2020, 35(S1): 302-310.

[7] 林穎, 郭志紅, 陳玉峰. 基于卷積遞歸網(wǎng)絡(luò)的電流互感器紅外故障圖像診斷[J]. 電力系統(tǒng)保護(hù)與控制, 2015, 43(16): 87-94.

LIN Ying, GUO Zhihong, CHEN Yufeng. Convolutional-recursive network based current transformer infrared fault image diagnosis[J]., 2015, 43(16): 87-94.

[8] 劉云鵬, 裴少通, 武建華, 等. 基于深度學(xué)習(xí)的輸變電設(shè)備異常發(fā)熱點紅外圖片目標(biāo)檢測方法[J]. 南方電網(wǎng)技術(shù), 2019, 13(2): 27-33.

LIU Yunpeng, PEI Shaotong, WU Jianhua, et al. Deep learning based target detection method for abnormal hot spots infraredimages of transmission and transformation equipment[J]., 2019, 13(2): 27-33.

[9] 王晨. 基于深度學(xué)習(xí)的紅外圖像語義分割技術(shù)研究[D]. 上海: 中國科學(xué)院大學(xué)（中國科學(xué)院上海技術(shù)物理研究所）, 2017.

WANG Chen. Research on infrared image semantic segmentation technology based on deep learning[D]. Shanghai: University of Chinese Academy of Sciences (Shanghai Institute of Technical Physics，Chinese Academy of Sciences), 2017.

[10] 鄺輝宇, 吳俊君. 基于深度學(xué)習(xí)的圖像語義分割技術(shù)研究綜述[J]. 計算機(jī)工程與應(yīng)用, 2019, 55(19): 12-21, 42.

KUANG Huiyu, WU Junjun. Survey of image semantic segmentation based on deep learning[J]., 2019, 55(19): 12-21, 42.

[11] LONG J, Shelhamer E, Darrell T. Fully convolutional net-works for semantic segmentation[C]//, 2015: 3431-3440.

[12] 袁銘陽, 黃宏博, 周長勝. 全監(jiān)督學(xué)習(xí)的圖像語義分割方法研究進(jìn)展[J]. 計算機(jī)工程與應(yīng)用, 2021, 57(4): 43-54.

YUAN Mingyang, HUANG Hongbo, ZHOU Changsheng. Research progress of image semantic segmentation based on fully supervised learning[J]., 2021, 57(4): 43-54.

[13] Badrinarayanan V, Kendall A, Cipolla R. SegNet: a deep convolutional encoder-decoder architecture for image segmentation[C]//, 2017, 39(12): 2481-2495, DOI: 10.1109/TPAMI.2016. 2644615.

[14] Garcia-Garcia A, Orts-Escolano S, Oprea S, et al. A review on deep learning techniques applied to semantic segmentation[J/OL]., 2017.https://arxiv.org/ abs/1704.06857.

[15] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, inception-ResNet and the impact of residual connections on learning[J/OL]., 2016. https://arxiv.org/abs/1602.07261.

[16] CHEN L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs[J]., 2018, 40(4): 834-848.

[17] 劉致驛, 孫韶媛, 任正云, 等. 基于改進(jìn)DeepLabv3+的無人車夜間紅外圖像語義分割[J]. 應(yīng)用光學(xué), 2020, 41(1): 180-185.

LIU Zhiyi, SUN Shaoyuan, REN Zhengyun, et al. Semantic segmentation of nocturnal infrared images of unmannedvehicles based on improved DeepLabv3+[J]., 2020, 41(1): 180-185.

[18] 于天河, 趙樹梅, 蘭朝鳳. 結(jié)合視覺特性的紅外圖像增強(qiáng)方法[J]. 激光與紅外, 2020, 50(1): 124-128.

YU Tianhe, ZHAO Shumei, LAN Chaofeng. Infrared image enhancement method combining visual characteristics[J]., 2020, 50(1): 124-128.

[19] Zuiderveld Karel. Contrast Limited Adaptive Histograph Equalization[J]., 1994: 474-485.DOI: 10.1016/B978-0-12-336156-1. 50061-6.

[20] WONG S C, Gatt A, Stamatescu V, et al. Understanding data augmentation for classification: when to warp?[C/OL]//(DICTA)., 2016.https://arxiv.org/pdf/1609.08764.pdf.

[21] Csurka G, Larlus D, Perronnin F. What is a good evaluation measure for semantic segmentation?[C/OL]//, 2013.http://www.bmva.org/ bmvc/2013/Papers/paper0032/abstract0032.pdf.

DeepLabv3+ Network-based Infrared Image Segmentation Method for Current Transformer

YUAN Gang1，XU Zhihao1，KANG Bing1，LUO Lyu1，ZHANG Wenhua1，ZHAO Tiancheng2

(1.,330099,;2.,130021,)

Infrared image intelligent analysis is aneffective method forthe fault diagnosis of transformer equipment, and its key technology is target device segmentation. In this study, aiming to address the difficulty in overall segmentation of current transformers with complex backgrounds, the DeepLabv3+ neural network based on ResNet50 was applied to train the semantic segmentation model with infrared image of CT. The collected samples were enhanced by the limited contrast adaptive histogram equalization method, and a sample dataset was constructed. The sample dataset was expanded by image distortion, and a semantic segmentation network was built to train the semantic segmentation model to realize the binary classification of current transformer pixels and background pixels. The test results of 420 current transformer infrared images showed that the MIOU of this method is 87.5%, which can accurately divide the current transformer equipment from the test images and lay a foundation for the subsequent intelligent fault diagnosis of current transformers.

infrared image, current transformer, ResNet50, DeepLabv3+, semantic segmentation

TN219；TM452

A

1001-8891(2021)11-1127-08

2021-08-02；

2021-10-16.

袁剛（1997-），男，貴州盤州人，碩士研究生，研究方向為電力設(shè)備故障檢測與診斷。E-mail:862635457@qq.com。

許志浩（1988-），男，湖北武漢人，講師，博士，碩導(dǎo)，研究方向為電力設(shè)備智能檢測與人工智能應(yīng)用。E-mail:zhxuhi@whu.edu.cn。

吉林省電力科學(xué)研究院有限公司科技項目（KY-GS-20-01-07）。