基于Yolact++的氧化鋅避雷器紅外圖譜智能識(shí)別診斷

葉兆平 黃亞藝 劉 旭 紀(jì)錫亮 戴沈祥

(1.國網(wǎng)福建省電力有限公司電力科學(xué)研究院,福建 福州 350007；2.福建中試所電力調(diào)整試驗(yàn)有限責(zé)任公司，福建 福州 350007；3.國網(wǎng)福建省電力有限公司，福建 福州 350003；4.南京南瑞信息通信科技有限公司，江蘇 南京 210015)

0 引言

隨著帶電檢測工作的發(fā)展和應(yīng)用，紅外成像檢測成為評(píng)估變電站設(shè)備的重要手段[1-5]，避雷器的內(nèi)部受潮或者閥片劣化，均能引起避雷器的發(fā)熱[6-9]。根據(jù)《帶電設(shè)備紅外診斷應(yīng)用規(guī)范》(DL/T 664-2016)，紅外測溫檢測工作已經(jīng)納入變電設(shè)備的例行檢測工作，330kV～750kV變電站全站設(shè)備，每年不宜少于2次紅熱檢測，220kV及以下變電站，每年不少于1次檢測。

以福建省為例，全省每年可產(chǎn)生數(shù)萬張避雷器紅外熱成像圖譜?，F(xiàn)階段，對(duì)紅外圖譜中的設(shè)備進(jìn)行故障判別，可采用人工直觀觀察法和軟件后期判斷法，使用人工直觀觀察避雷器紅外圖譜，由于避雷器缺陷溫差小，易造成誤判或漏判；采用紅外后期軟件處理，需檢測人員手動(dòng)標(biāo)注避雷器溫度框，標(biāo)準(zhǔn)溫度框如圖1所示，進(jìn)而讀取每一溫度框中的溫度，進(jìn)行不同區(qū)域或不同相溫度比對(duì)，判斷避雷器有無缺陷及缺陷等級(jí)，造成極大人力負(fù)擔(dān)。 本文采用軟件圖譜智能識(shí)別，能夠自動(dòng)完成紅外圖譜中避雷器本體的識(shí)別，圖像分割、避雷器溫度提取、溫度自動(dòng)比對(duì)及缺陷分類工作，減少檢測人員的工作量，降低缺陷設(shè)備的漏檢率。

圖1 紅外熱成像人工讀取溫度方框

目前，圖譜識(shí)別一般分為傳統(tǒng)分割算法和深度學(xué)習(xí)方法[10]。傳統(tǒng)分割算法有閾值分割法、局部區(qū)域聚類及邊緣檢測分割算法等[11-17]，深度學(xué)習(xí)算法有Mask-RCNN、Fast-RCNN、U-net等[18-25]。采用Mask-RCNN、Fast-RCNN等算法在紅外圖譜識(shí)別上已經(jīng)取得了一定的應(yīng)用效果[21-24]，但上述算法在圖像分割速度達(dá)百毫秒級(jí)別[26-27]，無法滿足現(xiàn)場圖譜的實(shí)時(shí)判斷及診斷。本項(xiàng)目提出了基于Yolact++的避雷器紅外圖譜的分割技術(shù)，能夠?qū)崟r(shí)識(shí)別設(shè)備目標(biāo)、輪廓分割及溫度提取。該算法可進(jìn)一步應(yīng)用在無人機(jī)及變電站巡視機(jī)器人等實(shí)時(shí)性要求高的系統(tǒng)。

1 圖譜智能識(shí)別手段

本項(xiàng)目采用目標(biāo)檢測和實(shí)例分割相結(jié)合的方法，將避雷器實(shí)例分割過程分為二步，第一步進(jìn)行目標(biāo)檢測，確定目標(biāo)避雷器的矩形框，除去紅外圖譜背景中的雜亂信息，本文采用Yolov 5s算法；第二步實(shí)例分割，對(duì)含有避雷器紅外圖像的矩形框進(jìn)行實(shí)例分割，得到的實(shí)例掩碼即為避雷器的實(shí)例掩碼，本文采用Yolact++算法。

1.1 Yolov 5s算法

Yolov 5s由Ultralytics LLC公司提出，該模型整體結(jié)構(gòu)與Yolov 4類似，分為Input、Backbone、Neck和Prediction 4個(gè)部分，Input 部分包括數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放等創(chuàng)新點(diǎn)； Backbone含有Focus結(jié)構(gòu)和CSP結(jié)構(gòu)，為Yolov 5s主體結(jié)構(gòu)；Neck由FPN及PAN結(jié)構(gòu)組成，利用上一部分提取到的信息，提高提取能力；Prediction使用GIOU_Loss作為損失函數(shù)。

該部分為目標(biāo)檢測部分，智能識(shí)別電氣設(shè)備類型，屏蔽紅外圖譜中背景信息，減少訓(xùn)練庫圖譜數(shù)量，提高精度。

1.2 Yolact++算法原理

Yolact++是一種實(shí)時(shí)實(shí)例分割算法，為Daniel Bolya等在Yolact算法上加以改進(jìn)[28]，在保證精度的同時(shí)，進(jìn)一步提升實(shí)時(shí)性。不同于Mask-RCNN算法，Yolact++是一種單階(one-stage)模型算法，該算法分成兩個(gè)并行子分支，并在Yolact算法基礎(chǔ)上，對(duì)以下幾個(gè)方面加以改進(jìn)[27,29]：①Backbone加入可變形卷積，提升主干網(wǎng)絡(luò)對(duì)不同形狀實(shí)例的特征采樣能力；②優(yōu)化預(yù)測頭，使用更好的anchor長寬比以提高大目標(biāo)的召回；③引入了一個(gè)掩膜重評(píng)分支。

1.2.1 可變形卷積

可變形卷積(DCNs)將采樣位置偏移作為可學(xué)習(xí)參數(shù)的自由式采樣代替了傳統(tǒng)CNN中采樣位置偏移為零作為先驗(yàn)假設(shè)的剛性網(wǎng)格采樣，提高了圖像分割模型的精度，可變形卷積的實(shí)現(xiàn)方式如圖2所示。

圖2 3×3可變形卷積示意圖

從圖2可以看出，可變形卷積是在不同的卷積層后面加入一個(gè)卷積層來學(xué)習(xí)輸入特征圖中每個(gè)像素點(diǎn)的位置偏移ΔP。傳統(tǒng)CNN中對(duì)pk處的值的計(jì)算公式如下：

(1)

其中，R為剛性網(wǎng)格感受野位置集合；pi是對(duì)R中所列位置枚舉；y(pk)為卷積結(jié)果。

可變形卷積對(duì)pk處的值的計(jì)算公式如下：

(2)

其中，R為剛性網(wǎng)格感受野位置集合；pi是對(duì)R中所列位置枚舉；y(pk)為卷積結(jié)果；ΔP為每個(gè)像素點(diǎn)的位置偏移；Δpi∈ΔP，由于Δpi一般不是整數(shù)，因此x(pk+pi+Δpi)的值需要通過雙線性插值計(jì)算后得到。

1.2.2 Prediction Head優(yōu)化

Prediction Head分支的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 Prediction Head 網(wǎng)絡(luò)結(jié)構(gòu)

該結(jié)構(gòu)有3個(gè)分支Class Layer、Box Layer和Mask Layer，對(duì)不同尺寸的特征圖采用共享參數(shù)的方式，在減少卷積網(wǎng)絡(luò)參數(shù)的同時(shí)提高了推理速度，使得網(wǎng)絡(luò)推理速度能達(dá)到實(shí)時(shí)分割的效果。特征圖的每一個(gè)像素點(diǎn)生成3個(gè)anchor，由于生成了大量的anchor，根據(jù)IoU的計(jì)算特點(diǎn)，提出了 Fast NMS篩選算法，在輕微損失精度的情況下，提高了篩選效率。由于Yolact++沒有使用全連接(FC)網(wǎng)絡(luò)和拼接操作，使得Yolact++網(wǎng)絡(luò)的推理速度相較于Mask-RCNN有了較大的提升。

1.2.3 掩膜重評(píng)分支

掩膜重評(píng)(Mask Re-Scoring)分支使用 Yolact 生成的裁剪后的原型 mask(未進(jìn)行閾值化操作)作為輸入，輸出對(duì)應(yīng)每個(gè)類別的GT-mask的IoU。該結(jié)構(gòu)分為69×69×8、35×35×16、18×18×32、9×9×64、5×5×128及5×5×c等6層卷積和1個(gè)池化層組成。

1.3 項(xiàng)目目標(biāo)識(shí)別及溫度提取

本項(xiàng)目整體流程圖如圖4所示，該算法優(yōu)先對(duì)目標(biāo)檢測，可擴(kuò)展性強(qiáng)，若有其他電氣設(shè)備開展此工作，可以對(duì)標(biāo)注對(duì)象進(jìn)行動(dòng)態(tài)調(diào)整，利于模型的更換迭代訓(xùn)練。另外，該方法可處理拍攝紅外圖譜中設(shè)備輕微遮擋情況。

圖4 避雷器輪廓識(shí)別流程圖

1.4 整體模型介紹

在對(duì)避雷器進(jìn)行實(shí)例分割的基礎(chǔ)上，通過紅外圖譜處理軟件的接口或者采用溫度數(shù)據(jù)與溫度值對(duì)應(yīng)關(guān)系的擬合曲線[21]，讀取避雷器區(qū)域的溫度，過程如圖5所示。

圖5 避雷器狀態(tài)智能判斷流程圖

根據(jù)《帶電設(shè)備紅外診斷應(yīng)用規(guī)范》(DL/T 664-2016)，氧化鋅避雷器正常為整體輕微發(fā)熱，分布均勻，當(dāng)存在一處溫度高于整體溫度的0.5～1K，判斷避雷器存在異常情況，把上述判斷導(dǎo)則寫入圖5的缺陷診斷部分，最后以狀態(tài)情況結(jié)果呈現(xiàn)。

對(duì)于紅外熱成像圖譜，常用的有3種分辨率：640×480、320×240、160×120，如今，現(xiàn)場檢測普遍采用640×480，本項(xiàng)目采用640×480的紅外熱成像圖譜。

2 實(shí)例測試結(jié)果及分析

避雷器相比變壓器、斷路器等其他電力設(shè)備，結(jié)構(gòu)較為單一，按照避雷器的外形進(jìn)行分類，35kV～110kV氧化鋅避雷器一般為單節(jié)避雷器，220kV氧化鋅避雷器一般具有上下兩節(jié)，500kV氧化鋅避雷器一般分為上、中、下三節(jié)，在訓(xùn)練樣本庫中分為上述三類。本次收集各電壓等級(jí)避雷器樣本，含不同廠家的瓷外套及復(fù)合外套的避雷器，35kV～110kV避雷器共收集樣本365張，220kV避雷器收集樣本210張，500kV避雷器收集樣本150張。

①為避免彩色圖像帶來的算法泛化性能差的問題，對(duì)避雷器紅外圖譜進(jìn)行灰度處理，在灰度值與溫度值的關(guān)系中應(yīng)用最小二乘擬合[30]，把紅外圖譜的真彩色線性映射到[0,255]灰度區(qū)間。

②對(duì)收集的圖譜進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、平移，增強(qiáng)紅外圖譜數(shù)據(jù)工作。

③采用Labelme軟件對(duì)避雷器紅外圖譜進(jìn)行預(yù)處理，使用人工的方法對(duì)收集到的每一張紅外圖譜進(jìn)行輪廓框圖，制成訓(xùn)練樣本庫，如圖6所示。

圖6 避雷器紅外圖譜預(yù)處理

2.1 數(shù)據(jù)處理及模型訓(xùn)練

2.1.1 數(shù)據(jù)處理

由于偽彩色圖譜的顏色可以進(jìn)行色彩調(diào)整，因此直接采用偽彩色圖像進(jìn)行訓(xùn)練得到的模型參數(shù)難以進(jìn)行推廣應(yīng)用。本文首先從紅外圖譜中解析出溫度數(shù)據(jù)，然后剔除異常數(shù)據(jù)，最后通過映射變換將溫度數(shù)據(jù)映射到[0,255]區(qū)間以生成灰度圖像，圖譜映射如公式(3)所示。以灰度圖像作為訓(xùn)練數(shù)據(jù)，提升模型的泛化能力和魯棒性。

(3)

其中，T為經(jīng)過處理后的溫度矩陣，Tmin為T的最低溫，Tmax為T的最高溫，?」為向下取整運(yùn)算符。

2.1.2 模型訓(xùn)練

為了加快模型收斂，在模型訓(xùn)練過程中采用了遷移學(xué)習(xí)的方式進(jìn)行模型訓(xùn)練。首先將氧化鋅避雷器的灰度圖像按照3∶7的比例將數(shù)據(jù)劃分為測試集和訓(xùn)練集兩部分，然后加載以COCO數(shù)據(jù)集為基礎(chǔ)進(jìn)行訓(xùn)練的權(quán)重文件，進(jìn)行20000次的模型訓(xùn)練，記錄每輪模型的損失函數(shù)。各個(gè)損失函數(shù)的變化情況如圖7所示，其中box_loss，cls_loss,mask_loss，seg_loss，instance_loss，total_loss分別代表方框回歸損失、目標(biāo)分類損失、掩碼損失、分割損失、實(shí)例損失、總損失。

圖7 20000次迭代損失函數(shù)變化

通過觀察圖7各損失函數(shù)變化，各損失值隨著訓(xùn)練次數(shù)的增加逐漸減小并趨于穩(wěn)定。可以看出，損失函數(shù)并不是每次都會(huì)降低而是整體上趨于下降，在16000次以后損失函數(shù)逐漸穩(wěn)定，沒有明顯下降，而是在一個(gè)小范圍內(nèi)震蕩。

2.2 避雷器智能識(shí)別情況

如圖8所示，在只有單只氧化鋅避雷器的情況下，避雷器的輪廓完全被紅外的綠色掩膜標(biāo)記出，并對(duì)避雷器的邊緣進(jìn)行了細(xì)致描繪，紅外的分割掩碼也完全覆蓋在避雷器的目標(biāo)上，此方法從理論上能夠完全正確識(shí)別紅外圖譜中的避雷器，并正確對(duì)紅外圖譜中的避雷器的特征進(jìn)行框選。

圖8 單只避雷器識(shí)別情況

圖9為2只避雷器的紅外圖譜的結(jié)果分析，目標(biāo)可以清晰被識(shí)別出來，并分析出2個(gè)避雷器的特征部位，取得了理想結(jié)果。

圖9 多只避雷器識(shí)別情況

2.3 性能對(duì)比測試情況

采用Yolact++，對(duì)像素640×480的避雷器紅外圖譜進(jìn)行智能識(shí)別，讀取避雷器區(qū)域每個(gè)像素的溫度，測試結(jié)果為：在CPU為Intel Core i7-6800K，GPU為RTX2080ti環(huán)境下，目標(biāo)檢測時(shí)間14ms～15ms，實(shí)例分割時(shí)間29ms～30ms，溫度解析、數(shù)據(jù)分析及處理時(shí)間為200ms～300ms，平均精度32.1。

在相同測試條件下，采用Mask-RCNN的目標(biāo)檢測和實(shí)例分割算法，時(shí)間總長達(dá)約2000ms，平均精度34.7，現(xiàn)有路線與Mask-RCNN相比，在平均精度持平的情況下，時(shí)長得到了很大提高。

2.4 避雷器紅外圖譜特點(diǎn)及識(shí)別難點(diǎn)

由于紅外圖譜的自身情況及拍攝者的技能差別，紅外圖譜在智能識(shí)別訓(xùn)練過程中，存在以下幾個(gè)難點(diǎn)：

①部分紅外圖譜質(zhì)量較差，存在圖譜照片所呈現(xiàn)的設(shè)備較模糊，對(duì)圖譜樣本造成一定污染，需前期篩選剔除。

②部分避雷器紅外圖譜存在遮擋特點(diǎn)，現(xiàn)場拍攝過程只拍攝出部分設(shè)備。

③紅外圖譜的數(shù)據(jù)格式不統(tǒng)一，讀取圖譜溫度的難度增大，全國范圍每一廠家紅外圖譜格式不相同，單一程序不能有效讀取全種類圖譜溫度。本次采用國家電網(wǎng)統(tǒng)一的紅外圖譜格式，便于后期圖譜溫度的讀取。

3 結(jié)束語

本項(xiàng)目基于Yolact++的紅外圖譜智能識(shí)別技術(shù)，能夠?qū)崟r(shí)、準(zhǔn)確判斷變電站避雷器設(shè)備，并對(duì)其進(jìn)行實(shí)例分割，通過軟件后期處理，讀取避雷器本體部分的溫度，判斷避雷器的運(yùn)行狀態(tài)。實(shí)例證明，該算法能夠快速準(zhǔn)確地完成避雷器紅外圖譜的實(shí)時(shí)實(shí)例分割，滿足現(xiàn)場無人機(jī)或機(jī)器人實(shí)時(shí)判斷，下一步工作將研究推廣至變壓器、斷路器、互感器等設(shè)備。

另外，在算法成熟的基礎(chǔ)上，建立基于人工智能平臺(tái)，實(shí)現(xiàn)現(xiàn)場紅外圖譜自動(dòng)上傳、自動(dòng)識(shí)別及智能診斷的全流程作業(yè)，提高設(shè)備狀態(tài)檢測智能化水平，降低現(xiàn)場人員的工作量。