基于改進RetinaNet的電力設(shè)備紅外目標精細化檢測模型

蘇海鋒，趙 巖，武澤君，程 博，呂林飛

基于改進RetinaNet的電力設(shè)備紅外目標精細化檢測模型

蘇海鋒，趙 巖，武澤君，程 博，呂林飛

（華北電力大學 電力工程系，河北 保定 071000）

電力設(shè)備在運行過程中會產(chǎn)生大量紅外圖像，當紅外圖像中的電力設(shè)備存在排列密集、具有傾斜角度、大長寬比的情況時，基于水平矩形框的目標檢測網(wǎng)絡只能給出目標概略位置，易發(fā)生目標檢測區(qū)域重疊，引入冗余背景信息，使得檢測結(jié)果不夠精細。針對此問題，提出在RetinaNet目標檢測網(wǎng)絡中引入旋轉(zhuǎn)矩形框機制，并在網(wǎng)絡輸入端引入Mosaic數(shù)據(jù)增強技術(shù)；將原特征提取網(wǎng)絡中ReLU函數(shù)替換為梯度流更平滑的Mish激活函數(shù)；在原模型FPN模塊后追加PAN模塊進一步融合圖像特征。最后利用現(xiàn)場采集的電力設(shè)備紅外圖像制作數(shù)據(jù)集，將改進后的模型與Faster R-CNN、YOLOv3、原RetinaNet三種基于水平矩形框定位的目標檢測網(wǎng)絡進行對比評估，實驗表明改進后的模型可以更為精細地檢測出密集場景下帶有傾角的電力設(shè)備紅外目標，在多類別電力設(shè)備檢測準確率對比上高于以上3種模型。

紅外圖像；RetinaNet；電力設(shè)備；卷積神經(jīng)網(wǎng)絡；目標檢測；

0 引言

電氣設(shè)備的可靠運行直接關(guān)系到電力系統(tǒng)的安全與穩(wěn)定，其在故障早期往往會出現(xiàn)溫度異常的現(xiàn)象。紅外熱成像技術(shù)作為一種非接觸式的測溫技術(shù)，可以全天候地獲取電力設(shè)備溫度分布信息并形成熱譜圖進行顯示[1]，及時有效地發(fā)現(xiàn)設(shè)備過熱缺陷。目前該技術(shù)已廣泛地應用到了變電站電氣設(shè)備運行狀態(tài)檢測當中，但其產(chǎn)生的大量紅外圖像仍然要靠人工進行故障判別與分析[2]，效率低下、主觀性強，難以提升設(shè)備狀態(tài)檢測過程的實時性與可靠性。因此利用快速、準確地自動檢測算法對海量的紅外圖像數(shù)據(jù)進行分析成為當下研究的重點[3]。而對紅外圖像中出現(xiàn)的多種電氣設(shè)備進行精確的定位與識別，是后續(xù)進行設(shè)備故障診斷與精準報警的基礎(chǔ)[4]。

近年來深度學習的發(fā)展使得越來越多的學者將基于深度學習的目標檢測網(wǎng)絡引入到電氣設(shè)備的紅外圖像檢測中[5-7]。目前主流的目標檢測深度學習算法可分為兩大類：①Two-stage檢測算法，此類方法分兩步進行，首先利用RPN（region proposal network）等結(jié)構(gòu)生成候選區(qū)域，之后對候選區(qū)域進行目標分類與位置調(diào)整。代表作有Faster R-CNN[8]；②One-stage檢測算法，這類方法無需單獨生成候選區(qū)域，只通過全卷積的結(jié)構(gòu)即可得出目標的分類與邊框回歸參數(shù)。典型方法有YOLOv3（you only look once）[9]、SSD（single shot multibox detector）[10]等。One-stage類算法較Two-stage類算法速度提升明顯，但準確率低于Two-stage類算法。文獻[11]利用Faster R-CNN對紅外圖像進行處理，實現(xiàn)了變壓器、套管、斷路器等7種電氣設(shè)備的定位與識別，取得了較高的識別精度。文獻[12]基于改進YOLOv3算法對5種高壓開關(guān)設(shè)備紅外圖像進行識別，并達到了對異常發(fā)熱點進行檢測的目的。

目前用于電氣設(shè)備紅外圖像目標檢測的深度學習算法主要利用水平矩形框?qū)ξ矬w進行定位與識別，在電力設(shè)備密集、大長寬比、多角度的場景下水平矩形框無法保證足夠的定位精細度，甚至會框選到臨近設(shè)備，造成識別錯位。當紅外圖像中的電氣設(shè)備目標存在一定旋轉(zhuǎn)角度，尤其是接近45°傾角時，水平矩形框易引入與目標無關(guān)的大量背景冗余信息[13]，不利于后續(xù)基于設(shè)備區(qū)域顏色值進行的狀態(tài)評估操作。針對水平框定位不精細的問題，本文提出基于改進RetinaNet[14]的旋轉(zhuǎn)目標精細化檢測方法，利用帶有角度的旋轉(zhuǎn)矩形框?qū)A斜密集的電氣設(shè)備紅外目標進行精細化的定位，以減少目標框選過程中的干擾物影響。同時為進一步提升模型在紅外圖像中的檢測準確率，在原RetinaNet網(wǎng)絡中引入Mosaic[15]數(shù)據(jù)增強算法、Mish[16]激活函數(shù)和路徑聚合網(wǎng)絡（Path Aggregation Network，PAN）[17]進行優(yōu)化。最后在隔離開關(guān)、斷路器、絕緣子串、電壓互感器、電流互感器5類紋理特征理相似，大長寬比，易因拍攝等問題產(chǎn)生傾斜角度的設(shè)備中進行對比實驗，證明本文所提模型在提升定位精細化程度上的有效性以及檢測準確率上的優(yōu)勢。

1 RetinaNet目標檢測模型

RetinaNet屬于One-stage方法，該網(wǎng)絡利用Focal Loss損失函數(shù)降低了圖像中大量簡單背景信息所占權(quán)重，突出圖像目標區(qū)域正樣本信息，解決了One-stage目標檢測算法中存在的正負樣本比例失衡的問題，從而使網(wǎng)絡專注于難分樣本的訓練。Focal Loss的利用使得RetinaNet網(wǎng)絡在COCO數(shù)據(jù)集上的檢測精度首次高于Two-stage算法[14]，且保有One-stage算法的速度優(yōu)勢。RetinaNet目標檢測網(wǎng)絡主要包括特征提取網(wǎng)絡、特征金字塔結(jié)構(gòu)（Feature Pyramid Networks，F(xiàn)PN）[18]、預測網(wǎng)絡3部分。特征提取部分采用深度殘差網(wǎng)絡ResNet101來進行圖像特征的初步提取，殘差結(jié)構(gòu)的使用避免了因網(wǎng)絡層次過深引起的梯度消失與梯度爆炸問題；FPN模塊對特征提取網(wǎng)絡輸出的特征圖進行進一步的特征融合，從單一分辨率的圖片構(gòu)建出特征信息豐富、多尺度的特征金字塔，最終輸出包含5個不同尺度目標區(qū)域信息的特征圖集合；預測網(wǎng)絡分為目標分類子網(wǎng)絡與邊框位置回歸子網(wǎng)絡兩條支路，對5個特征圖進行全卷積[19]操作，其中目標分類子網(wǎng)負責預測目標的類別置信度分布，位置回歸子網(wǎng)用于預測目標邊框的位置信息。

2 改進RetinaNet的紅外目標檢測模型

為達到對紅外圖像中電氣設(shè)備精細化檢測的目的，本文主要對RetinaNet進行4個方面的改進：①在原網(wǎng)絡中引入旋轉(zhuǎn)框機制，實現(xiàn)在大長寬比、傾斜密集場景下的電氣設(shè)備紅外目標精細化定位。旋轉(zhuǎn)框與水平框定位效果對比如圖1所示；②在網(wǎng)絡的圖像輸入端增加Mosaic數(shù)據(jù)增強算法，進一步豐富紅外圖像背景信息，增加樣本的多樣性并提升模型的泛化能力；③在特征提取網(wǎng)絡引入Mish激活函數(shù)，用于增強梯度變化的平滑性，避免原ReLU[20]激活函數(shù)導致負值梯度消失的問題；④最后采用FPN＋PAN結(jié)構(gòu)進行多尺度特征融合，充分利用多層特征圖的不同信息。改進后的網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖1 水平框與旋轉(zhuǎn)框定位效果對比

圖2 改進RetinaNet網(wǎng)絡結(jié)構(gòu)

2.1 Mosaic數(shù)據(jù)增強

改進后的RetinaNet旋轉(zhuǎn)目標檢測網(wǎng)絡采用Mosaic數(shù)據(jù)增強方法處理輸入端電氣設(shè)備紅外圖片，Mosaic數(shù)據(jù)增強方法每次讀取4張紅外圖片，首先對每張圖片進行隨機縮放、裁剪、色域變換、水平翻轉(zhuǎn)中的一種或多種操作，之后將處理過的4張圖片進行隨機排布拼接成一張圖片，如圖3所示。將拼接好的紅外圖片以及標簽數(shù)據(jù)送入神經(jīng)網(wǎng)絡進行進一步的特征提取。Mosaic數(shù)據(jù)增強技術(shù)通過對多張圖片的拼接操作豐富了待檢測電氣設(shè)備目標的背景信息，使得改進RetinaNet網(wǎng)絡對復雜背景的紅外圖像檢測適應性更強，對圖片的縮放操作進一步豐富了圖像內(nèi)部小目標電氣設(shè)備樣本的數(shù)目，增強了模型對不同尺度紅外目標的魯棒性。該方法一次處理4張圖片的數(shù)據(jù)，因而mini-batch大小不需要很大，降低了訓練門檻，單GPU即可達到較好的訓練效果[15]。

圖3 Mosaic數(shù)據(jù)增強

2.2 Mish激活函數(shù)

原ResNet101網(wǎng)絡中使用ReLU激活函數(shù)，其表達式如下：

ReLU()＝max(0,)(1)

相比于sigmoid和tanh激活函數(shù)，ReLU激活函數(shù)存在正區(qū)間不飽和的優(yōu)勢，當＞0時激活值輸出始終大于零，解決了正區(qū)間值過大進入飽和區(qū)造成的梯度消失的問題。但當≤0時激活值恒為0，對應導數(shù)為0，存在著負區(qū)間梯度消失的缺點，在＜0時梯度無法繼續(xù)更新導致神經(jīng)元死亡。為解決ReLU函數(shù)存在的問題，本文將ReLU函數(shù)替換為Mish激活函數(shù)，具體表達式如下：

Mish()＝tanh(ln(1＋e)) (2)

相較于ReLU函數(shù)，Mish函數(shù)在負值的時候并非完全截斷，如圖4所示，而是允許一定的負值梯度存在，從而穩(wěn)定了網(wǎng)絡的梯度流，其平滑的特性能有效地允許電氣設(shè)備圖像信息深入地滲透到神經(jīng)網(wǎng)絡中。Mish函數(shù)保證每一點的平滑性，使得訓練過程中梯度下降效果優(yōu)于ReLU函數(shù)。隨著特征提取網(wǎng)絡層數(shù)的加深，利用Mish激活函數(shù)替代ReLU激活函數(shù)取得了比原網(wǎng)絡更高的測試準確率與訓練穩(wěn)定性[16]。

2.3 PAN模塊

本文在原RetinaNet的FPN模塊后面新增PAN模塊，電氣設(shè)備紅外圖像輸入ResNet101特征提取網(wǎng)絡后，得到不同深度的特征圖，不同深度的特征圖所含特征信息有所不同，深層特征圖攜帶有更強的電氣設(shè)備語義特征信息和較弱的目標位置信息，而淺層的特征圖含有豐富的電氣設(shè)備目標位置特征與較弱的語義特征。FPN模塊采用自頂向下進行上采樣的方式將深層特征圖與淺層特征圖進行疊加融合，以達到向淺層特征圖傳遞深層語義特征的目的，但淺層豐富的目標位置信息并未傳遞到深層特征圖。為了進一步融合電氣設(shè)備紅外圖像深層語義特征與淺層目標位置特征，在FPN模塊后添加PAN模塊，PAN結(jié)構(gòu)對FPN輸出的特征圖進行自底向上的下采樣操作，通過卷積模塊調(diào)整特征圖尺寸與通道數(shù)，之后逐級與深層特征圖疊加融合，把淺層的豐富的目標位置特征傳遞到深層的特征圖。FPN和PAN結(jié)構(gòu)的組合充分利用了紅外圖像不同尺度特征圖的信息，避免了One-stage方法利用單一尺度特征圖無法同時有效地表征各個尺度的物體的缺點，提高了模型對電氣設(shè)備紅外圖像的特征利用能力。

圖4 兩種激活函數(shù)

2.4 預測網(wǎng)絡與損失函數(shù)

RetinaNet目標檢測算法利用水平矩形框?qū)ξ矬w進行定位識別，因此在電氣設(shè)備紅外圖像目標檢測中的應用存在一定的局限性。當紅外圖像中的電氣設(shè)備排列密集時，一個矩形框可能包含多個目標，矩形框之間的重疊區(qū)域較大；在電氣設(shè)備存在傾斜角度時，水平矩形框會引入較多背景噪聲信息，影響后續(xù)圖像處理工作。針對以上局限性，本文將RetinaNet網(wǎng)絡的水平矩形框調(diào)整為帶有旋轉(zhuǎn)角度的矩形框，并對預測子網(wǎng)絡與損失函數(shù)做出調(diào)整。

2.4.1 旋轉(zhuǎn)矩形框機制

本文定義的旋轉(zhuǎn)矩形框如圖5所示，矩形框中與軸正方向成銳角的邊定義為，另一條邊定義為，角度為邊與軸正方向所成的銳角，取值區(qū)間為[－p/2,0)。旋轉(zhuǎn)矩形框以(,,,,)位置向量的形式給出，、表示矩形框中心點坐標，、代表矩形框的寬度和高度。

輸入RetinaNet網(wǎng)絡的圖片大小為800×800，在經(jīng)過特征提取、特征圖融合后輸出7×7、13×13、25×25、50×50、100×100五個不同尺度的特征圖來預測不同尺度的物體，5個特征圖分別記為1～5。特征圖在原圖的映射點稱為錨點，以每個錨點為中心形成不同大小的先驗框（anchor）。先驗框的面積尺度在1～5上分別為{5122, 2562, 1282, 642, 322}，原RetinaNet模型對每個尺度的先驗框添加{20, 21/3, 22/3}3種不同尺度的面積比例因子與{1/2, 1/1, 2/1}3種不同的長寬比例因子，每個錨點生成9個不同的先驗框。由于電氣設(shè)備多具有大長寬比的特點，本文將原來3種長寬比拓展為{1:1,1:2,2:1,1:3,3:1,5:1,1:5}7種長寬比，增加了更大的長寬比例因子以適應電氣設(shè)備紅外目標的定位框選，并對每個先驗框引入{－p/2, －5p/2, －p/3, －p/4, －p/6, －p/12}6種角度變換因子，實現(xiàn)對帶有傾斜角度的紅外電氣設(shè)備精細化定位。每個錨點由原模型的9個水平矩形先驗框增加為126個帶有角度的先驗框，改進后的先驗框策略如圖6所示，先驗框的位置坐標向量由(a,a,a,a,a)表示。

圖5 旋轉(zhuǎn)矩形框示意圖

圖6 本文使用的先驗框策略

2.4.2 預測網(wǎng)絡

特征提取部分輸出的1～5五個不同尺度特征圖分別進入對應的預測網(wǎng)絡，如圖2右側(cè)所示。預測網(wǎng)絡分為目標分類子網(wǎng)絡與位置回歸子網(wǎng)絡兩條支路，兩支路均進行4個連續(xù)的卷積操作來提取特征，每次卷積操作后使用ReLU作為激活函數(shù)，最后通過一個卷積層調(diào)整特征圖通道數(shù)?；貧w子網(wǎng)絡負責預測每個錨點對應預測框的位置參數(shù)，原RetinaNet利用水平框?qū)ξ矬w進行框選，只需要預測(￠,￠,￠,￠)4個位置參數(shù)來表示預測框中心點位置與寬高，每個錨點周圍生成9個預測框，故回歸子網(wǎng)絡輸出××4的張量，其中的值為9，×等于輸入特征圖對應錨點數(shù)量。改進RetinaNet采用旋轉(zhuǎn)矩形框，在得到預測框中心點位置與寬高的基礎(chǔ)上還需要增加額外的傾斜角度變量，需要預測(￠,￠,￠,￠,￠)5個旋轉(zhuǎn)框位置預測量，由于每個錨點生成21個預測框，每個框含有6個旋轉(zhuǎn)角度因子，此時每個錨點生成126個大小、角度不同的框，故調(diào)整回歸子網(wǎng)絡最后一層卷積的通道數(shù)由4變?yōu)?，其中為126。分類子網(wǎng)絡負責估計每個預測框的種類置信度分布，每個錨點對應預測框數(shù)量由9變?yōu)?26，故調(diào)整分類子網(wǎng)絡最后一層卷積的通道數(shù)由×9變?yōu)椤?26，輸出××126的張量，為待識別的電氣設(shè)備種類數(shù)。本文總共識別隔離開關(guān)、斷路器、絕緣子串、電壓互感器、電流互感器5類電氣設(shè)備，因此值取5。

同一時間，使用日本SPAD502葉綠素含量測定儀采集對不同作物葉片葉綠素相對含量，打開電源后校準，然后測定作物葉片的SPAD值，測作物上、中、下不同位置的葉片的SPAD值，記錄這個作物的葉綠素含量值，每塊地選擇3個樣點，每個樣點選擇3株測定后，平均后作為這個地塊的這個作物的SPAD值。

2.4.3 損失函數(shù)

RetinaNet損失函數(shù)分為分類損失與回歸損失兩部分。由于加入了角度預測量，改進RetinaNet回歸損失函數(shù)在原損失函數(shù)上加入了角度這一回歸變量。真實標注框（Ground Truth，GT）與先驗框的相對坐標以及預測框與先驗框的相對坐標可表示為：

式中：(x,y,w,h,)、(￠,￠,￠,￠,￠)、(,,,,)分別表示先驗框、預測框、真實標簽框的位置參數(shù)及傾斜角；(t,t,t,t,)表示標簽框與先驗框的相對坐標；(t￠,t￠,t￠,t￠,￠)為預測框與先驗框的相對坐標。邊框位置回歸損失函數(shù)通過預測框與真實標簽框的差異計算損失值的大小，本文使用smooth L1函數(shù)，定義如下：

式中：t表示標簽框與先驗框的相對坐標，取值范圍為(t,t,t,t,)，t￠表示預測框與先驗框的相對坐標，取值范圍為(t￠,t￠,t￠,t￠,￠)。

總損失函數(shù)為回歸子網(wǎng)絡損失與分類子網(wǎng)絡損失加權(quán)和，如下式：

式中：表示先驗框數(shù)量；t￠有兩個取值，當先驗框為前景時t￠取1，當先驗框為背景時取0。t￠表示第個預測框相對于先驗框的坐標，t表示第個先驗框相對于真實標簽框的坐標。p表示分類子網(wǎng)絡預測的第個先驗框的多類別置信度分布經(jīng)過Sigmoid函數(shù)計算后的值，t為第個先驗框?qū)鎸嵞繕说念悇e標簽。cls表示類別判定損失，使用原RetinaNet的Focal Loss損失函數(shù)計算；參數(shù)1、2默認取1。

3 實驗結(jié)果與分析

實驗環(huán)境為Ubuntu16.04系統(tǒng)，利用Pytorch框架搭建網(wǎng)絡結(jié)構(gòu)。計算機硬件配置為GeForce GTX1080Ti 11-GB GPU，CPU為i7-10700，16GB內(nèi)存。利用GPU進行訓練和測試過程的加速。

3.1 實驗數(shù)據(jù)

本文采集我國西北某電力公司多個變電站的運檢紅外圖像，主要包括隔離開關(guān)、斷路器、絕緣子串、電壓互感器（potential transformer，PT）、電流互感器（current transformer，CT）5類常見電氣設(shè)備，部分紅外圖像中的電氣設(shè)備存在排列密集、傾斜角度較大的問題。對原圖片進行增強和擴充預處理，包括隨機縮放填充、隨機平移翻轉(zhuǎn)、隨機調(diào)整色調(diào)亮度等操作，最終得到3000張紅外圖像，統(tǒng)一調(diào)整為800×800大小，其中包括897個斷路器、4219個絕緣子串、1710個隔離開關(guān)，831個電壓互感器、597個電流互感器。利用roLabelImg工具對所有紅外圖像中的電氣設(shè)備進行旋轉(zhuǎn)矩形框標注制成數(shù)據(jù)集。最終對3000張紅外圖像隨機選取，2400張用于模型的訓練，600張用于模型測試。

3.2 訓練過程

由于目前樣本數(shù)量有限，本文采用遷移學習的方法訓練新模型。遷移學習可將一個領(lǐng)域內(nèi)學習到的知識遷移到另一個相似領(lǐng)域，充分利用了原始數(shù)據(jù)集和目標數(shù)據(jù)集之間潛在相同特征或者結(jié)構(gòu)，可以明顯加速網(wǎng)絡收斂[21]。在網(wǎng)絡訓練時，載入利用PASCAL VOC 2007數(shù)據(jù)集訓練得到的權(quán)重，將網(wǎng)絡參數(shù)遷移過來進行紅外圖像數(shù)據(jù)集的訓練，訓練時初始學習率設(shè)置為5×e－4，動量為0.9，權(quán)重衰減為0.0001，采用Adam優(yōu)化器，batch size大小為4，共進行30000次迭代。圖7為前20000訓練過程中損失值隨迭代次數(shù)增加而變化的曲線。訓練開始時損失值隨訓練迭代次數(shù)的增加而迅速下降，收斂速度較快。當?shù)螖?shù)超過5000時損失值下降明顯變慢，迭代10000次以后損失值幾乎不再下降，維持在0.6左右震蕩，此時模型的訓練達到收斂。

圖7 損失曲線

3.3 性能比較與結(jié)果分析

為驗證本文改進RetinaNet網(wǎng)絡的檢測精度，將所提算法與當前主流的目標檢測器進行對比，包括Faster R-CNN、YOLOv3以及原RetinaNet網(wǎng)絡。以上網(wǎng)絡均在相同的電氣設(shè)備紅外數(shù)據(jù)集進行測試評估，實驗條件以及訓練參數(shù)完全相同。評估指標包括平均準確率（Average Precision，AP）、平均準確率均值（mean AP，mAP）。其中AP值是評判某一類電氣設(shè)備目標檢測效果的指標，mAP是所有5類別電氣設(shè)備的平均準確率均值。AP與mAP定義如下：

式中：TP表示正確分類的正樣本個數(shù)；FP表示錯誤標記成正樣本的負樣本個數(shù)；FN表示將正樣本錯誤判別為負樣本的個數(shù)；、分別為查全率與查準率。表1給出了4種不同網(wǎng)絡模型在IoU閾值為0.5時各個不同種類電氣設(shè)備的AP值以及mAP值對比結(jié)果。

表1 不同檢測模型對比測試結(jié)果

由表1可知，在相同的IoU閾值下，本文所提模型在隔離開關(guān)、斷路器、絕緣子、電壓互感器、電流互感器5類設(shè)備的AP值均高于其余3種目標檢測網(wǎng)絡，改進后模型在測試集上的mAP值高于原RetinaNet網(wǎng)絡2.34%，對比結(jié)果證明了本模型在檢測準確率上的優(yōu)勢以及本文所提改進措施對原模型準確率的提升。此外，在測試集的513張存在傾斜角度、排列密集的電氣設(shè)備圖像中，由于改進RetinaNet網(wǎng)絡采用了帶有角度的旋轉(zhuǎn)框進行目標定位，取得了比其余3種目標檢測網(wǎng)絡更加精細的定位效果。在具有較大長寬比且存在傾斜角度的電氣設(shè)備紅外目標圖像檢測中，帶有旋轉(zhuǎn)角度的矩形框相較于水平矩形框引入了更少的冗余背景溫度信息，降低了后續(xù)熱故障區(qū)域判別及提取算法的數(shù)據(jù)處理量，減小了因背景異常溫度干擾而產(chǎn)生的誤報警幾率，使得基于電氣設(shè)備紅外圖像的熱故障診斷算法可以有更快的處理速度以及更高的故障判別準確率?；谛D(zhuǎn)矩形框的目標檢測區(qū)域之間相互重疊的部分更少，這也為后續(xù)的電氣設(shè)備紅外圖像分離操作提供便利。部分電氣設(shè)備紅外圖像的定位效果對比如圖8所示，(a)、(d)圖中絕緣子與電流互感器存在較大的傾斜角度，利用水平矩形框框選引入了大量與目標無關(guān)的背景圖像，而利用本文方法則能夠精細地識別出其中的紅外設(shè)備。(b)、(c)圖由于設(shè)備存在傾斜角度且排列密集，導致矩形框之間發(fā)生了重疊，難以進行后續(xù)圖像分離操作，本文基于旋轉(zhuǎn)矩形框進行目標定位，避免了電氣設(shè)備排列密集時水平框重復框選、相互重疊的缺點，實現(xiàn)了更精細的目標檢測效果。

(a) 絕緣子 (b) 斷路器 (c) 隔離開關(guān) (d) 電流互感器

4 結(jié)論

本文提出一種基于改進RetinaNet的電氣設(shè)備紅外圖像檢測模型，將原網(wǎng)絡的水平矩形框定位改為帶有角度的旋轉(zhuǎn)矩形框進行目標的定位。并且在網(wǎng)絡的輸入端、特征提取部分、特征融合部分均作出相應改進。改進后的模型在隔離開關(guān)、斷路器、絕緣子串、電壓互感器、電流互感器5類常見電氣設(shè)備構(gòu)成的數(shù)據(jù)集中進行了對比試驗，結(jié)果表明：

1）本文所提模型在5類常見電氣設(shè)備上每一類的檢測精度均達到90%以上，取得了較優(yōu)的檢測結(jié)果。

2）在IoU閾值為0.5時，本文所提方法平均準確率均值高達95.50%，高于當前主流的Faster R-CNN、YOLOv3目標檢測算法，且優(yōu)于原Retinate網(wǎng)絡。

3）本文采用旋轉(zhuǎn)矩形框定位機制，在紅外圖像中的電氣設(shè)備存在排列密集、有傾斜角度的情況下，減小了冗余干擾信息的框選，取得了更精細的目標檢測效果，為后續(xù)電力設(shè)備的帶電狀態(tài)評估與診斷奠定了基礎(chǔ)。

[1] 譚宇璇, 樊紹勝. 基于圖像增強與深度學習的變電設(shè)備紅外熱像識別方法[J/OL]. 中國電機工程學報, [2021-07-30]. http://kns.cnki.net/ kcms/dtail/11.2107.tm.20210601.1000.002.html.

TAN Yuxuan, FAN Shaosheng. Infrared thermal image recognition of substation equipment based on image enhancement and deep learning[J/OL]., [2021-07-30]. http://kns.cnki.net/ kcms/dtail/11.2107.tm.20210601.1000.002.html.

[2] 馮振新, 周東國, 江翼, 等. 基于改進MSER算法的電力設(shè)備紅外故障區(qū)域提取方法[J]. 電力系統(tǒng)保護與控制, 2019, 47(5): 123-128.

FENG Zhenxin, ZHOU Dongguo, JIANG Yi, et al. Fault region extraction using improved MSER algorithm with application to the electrical system[J]., 2019, 47(5): 123-128.

[3] Jadin M S, Taib S. Recent progress in diagnosing the reliability of electrical equipment by using infrared thermography[J]., 2012, 55(4): 236-245.

[4] 曾軍, 王東杰, 范偉, 等. 基于紅外熱成像的電氣設(shè)備組件識別研究[J]. 紅外技術(shù), 2021, 43(7): 679-687.

ZENG Jun, WANG Dongjie, FAN Wei, et al. Research on electrical equipment component recognition based on infrared thermal imaging[J]., 2021, 43(7): 679-687.

[5] 朱惠玲, 牛哲文, 黃克燦, 等. 基于單階段目標檢測算法的變電設(shè)備紅外圖像目標識別及定位[J]. 電力自動化設(shè)備, 2021, 41(8): 217-224.

ZHU Huiling, NIU Zhewen, HUANG Kecan, et al. Infrared image target recognition and location of substation equipment based on single-stage target detection algorithm[J]., 2021, 41(8): 217-224.

[6] 吳克河, 王敏鑒, 李淵博. 基于Mask R-CNN的電力設(shè)備紅外圖像分割技術(shù)研究[J]. 計算機與數(shù)字工程, 2020, 48(2): 417-422.

WU Kehe, WANG Minjian, LI Yuanbo. Research on infrared image segmentation technology of power equipment based on mask R-CNN[J]., 2020, 48(2): 417-422.

[7] 劉云鵬, 裴少通, 武建華, 等. 基于深度學習的輸變電設(shè)備異常發(fā)熱點紅外圖片目標檢測方法[J]. 南方電網(wǎng)技術(shù), 2019, 13(2): 27-33.

LIU Yunpeng, PEI Shaotong, WU Jianhua, et al. Deep learning based target detection method for abnormal hot spots infrared images of transmission and transformation equipment[J]., 2019, 13(2): 27-33.

[8] REN Shaoqing, HE Kaiming, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]//, Montreal, Canada, 2015: 91-99.

[9] Redmon J, Farhadi A. YOLOv3: An incremental improvement[J/OL]. [2018-04-08]. https://arxiv.org/abs/1804.02767.

[10] LIU W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//, 2016: 21-37

[11] 李文璞, 謝可, 廖逍, 等. 基于Faster RCNN變電設(shè)備紅外圖像缺陷識別方法[J]. 南方電網(wǎng)技術(shù), 2019, 13(12): 79-84.

LI Wenpu, XIE Ke, LIAO Xiao, et al. Intelligent diagnosis method of infrared image for transformer equipment based on improved faster RCNN[J]., 2019, 13(12): 79-84.

[12] 王永平, 張紅民, 彭闖, 等. 基于YOLO v3的高壓開關(guān)設(shè)備異常發(fā)熱點目標檢測方法[J]. 紅外技術(shù), 2020, 42(10): 983-987.

WANG Yongping, ZHANG Hongmin, PENG Chuang, et al. The Target detection method for abnormal heating point of high-voltage switchgear based on YOLO v3[J]., 2020, 42(10): 983-987.

[13] 梁杰, 李磊, 周紅麗. 基于改進SSD的艦船目標精細化檢測方法[J].導航定位與授時, 2019, 6(5): 43-51.

LIANG Jie, LI Lei, ZHOU Hongli. A ship target refinement detection method based on improved SSD[J]., 2019, 6(5): 43-51.

[14] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//, 2017: 2999-3007.

[15] Bochkovskiy A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[J/OL]., 2020, https://arxiv.org/abs/2004.10934.

[16] Misra D. Mish: a self regularized non-monotonic neural activation function[J/OL]., 2019, https://arxiv.org/abs/1908.08681.

[17] LIU Shu, QI Lu, QIN Haifang, et al. Path aggregation network for instance segmentation[C]//, 2018: 8759-8768.

[18] LIN T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//, 2017: 2117-2125.

[19] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[J]., 2014, 39(4): 640-651.

[20] NAIR V, HINTON G E. Rectified linear units improve restricted boltzmann machines[C]//27th(ICML-10), 2010: 807-814.

[21] WEN Long, GAO Liang, LI Xinyu. A new deep transfer learning based on sparse auto-encoder for fault diagnosis[J]., 2019, 49(1): 136-144.

Refined Infrared Object Detection Model for Power Equipment Based on Improved RetinaNet

SU Haifeng，ZHAO Yan，WU Zejun，CHENG Bo，LYU Linfei

(Department of Electrical Engineering, North China Electric Power University, Baoding 071000, China)

A large number of infrared images are generated during the operation of power equipment. When the power equipment in the infrared image is densely arranged, incline-angled, and has a large aspect ratio, the target detection network based on a horizontal rectangular frame can only provide the approximate position of the target, which is prone to overlap with the target detection area and introduce redundant background information, giving detection results that are not sufficiently accurate. To solve this problem, we propose to introduce a rotating rectangular box mechanism into the retina net target detection network and mosaic data enhancement technology at the network input, replacing the ReLU function in the original backbone network with a smoother mish activation function of gradient flow; the Pan module is added after the FPN module of the original model to further fuse image features. Finally, the data set is made by using the power-equipment infrared images collected on-site. The improved model is compared and evaluated with three target detection networks based on horizontal rectangular frame positioning: fast R-CNN, YOLOv3, and original RetinaNet. The experiments show that the improved model can detect the infrared targets of power equipment with inclination in dense scenes more accurately, and the detection accuracy of multi-category power equipment is higher than that of the above three models.Key words: infrared image, RetinaNet, power equipment, convolutional neural network, object detection;

TM85

A

1001-8891(2021)11-1104-08

2021-09-08；

2021-10-16.

蘇海鋒（1977-），男，河北石家莊人，講師，博士，主要研究方向為智能配電網(wǎng)研究。E-mail：hfsups@163.com。

趙巖（1996-），男，河北保定人，碩士研究生，主要研究方向為電氣設(shè)備智能檢測。E-mail：1191755813@qq.com。

國家重點研發(fā)計劃（2017BJ0080）。